JP4209647B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4209647B2 JP4209647B2 JP2002258990A JP2002258990A JP4209647B2 JP 4209647 B2 JP4209647 B2 JP 4209647B2 JP 2002258990 A JP2002258990 A JP 2002258990A JP 2002258990 A JP2002258990 A JP 2002258990A JP 4209647 B2 JP4209647 B2 JP 4209647B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- occlusion
- image
- parallax
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に係り、特に、たとえばオクルージョンが発生している画像において、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定する画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
近年、一対の撮像画像を用いて、この画像内に写し出された対象物の認識を行う画像処理装置が知られている。この類の画像処理装置では、ステレオ画像に基づいて対象物に関する距離(すなわち、視差)を算出することにより、或いは、時系列的に並ぶ一対の撮像画像に基づいて対象物の位置的な変化(オプティカルフロー)を求めることにより、対象物の認識が行われる。このような画像処理装置は、対象物の認識を行う前提として、一方の撮像画像における小領域毎の画素群、すなわち、所定面積の画像領域(相関元)に関して、この画像領域の輝度特性と相関を有する領域(相関先)を他方の撮像画像において特定する。そして、例えば、前者の一例であるステレオ画像処理装置では、相関元と相関先との位置的なずれ量、すなわち、両撮像画像に写し出された同一対象物に関する位置的なずれ量に基づき、対象物の距離(視差)を算出する(例えば、特許文献1参照。)。
【0003】
ところで、このような画像処理装置において、相関関係の評価対象となる画像領域の面積を大きくすることは、評価対象となる画素数が増えるので、相関先を正確に特定するといった観点で有利である。
【0004】
【特許文献1】
特開平10−289315号公報(第6−9頁、第1−5図)
【0005】
【発明が解決しようとする課題】
しかしながら、処理対象とする撮像画像に写し出された景色によっては、画像領域の面積を大きくすることにより、相関先の特定がかえって困難となることが考えられる。このような撮像画像の一例としては、オクルージョン(occlusion)が発生している画像が挙げられる。例えば、異なる視点から対象物を撮像するステレオカメラでは、一方のカメラで撮像される対象物が、他方のカメラでは撮像されない(或いは、対象物の一部が撮像されない)場合がある(オクルージョン)。したがって、このような状況で出力される撮像画像では、一方の撮像画像に写し出された対象物が、他方の撮像画像には写し出されない(或いは、対象物の一部しか写し出されない)こととなる。
【0006】
画像領域の面積を大きくした場合、画像領域内に含まれる画素数が増えるので、その面積を小さくした場合よりも、オクルージョンが生じているエリアを含む画像領域の数は増える。上述したように、オクルージョンの発生しているエリアでは、一方の撮像画像に写し出された対象物が他方の撮像画像には写し出されていない(或いは、一部しか写し出されていない)。したがって、このようなエリアでは、相関先を特定することが困難となる。この結果、一フレーム相当の撮像画像から相関先を特定し得ない相関元の数、すなわち、視差を算出できない画像領域が増加し、対象物認識の精度を低下させる可能性がある。
【0007】
本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理におけるマッチングの確実性を図るとともに、例えば、オクルージョンが発生している撮像画像であっても、一方の撮像画像における画像領域の相関先を他方の撮像画像において特定可能にすることである。
【0008】
また、本発明の別の目的は、特定された相関元と相関先との画像平面上での位置的なずれに基づき、撮像画像に写し出された対象物を正確に認識することである。
【0009】
【課題を解決するための手段】
かかる課題を解決するために、第1の発明は、ステレオマッチング部と、特定部と、係数制御部とを有する画像処理装置を提供する。ステレオマッチング部は、一方の撮像画像上に画像領域を複数設定し、重み係数を初期値としたシティブロック距離に基づく相関評価によって、画像領域のそれぞれの相関先を他方の撮像画像において特定するとともに、画像領域のそれぞれの視差の集合である距離データを算出する。特定部は、距離データ上において、周囲と似た視差同士をグループ化することによって特定される立体物を基準としたオクルージョンの発生方向に、視差が周囲と異なる領域または周囲に有効な視差がない領域が存在する場合、これらの領域をオクルージョンエリアとして特定する。係数制御部は、オクルージョンエリアに関して、オクルージョンエリア内における画素のシティブロック距離への影響を低減するために、画像領域における中央領域の周囲に位置する周辺領域の重み係数を初期値よりも小さな値に変更する。そして、ステレオマッチング部は、オクルージョンエリアに関して、重み係数を上記変更された値としたシティブロック距離に基づく相関評価を再度行い、新たな視差を算出する。
【0010】
ここで、第1の発明において、係数制御部は、オクルージョンエリアに関して、周辺領域の重み係数を0に設定してもよい。
【0011】
また、第1の発明において、係数制御部は、オクルージョンの発生方向において、立体物に近い方よりも遠い方が、周辺領域の重み係数が大きくなるように設定してもよい。
【0012】
さらに、第1の発明において、係数制御部は、オクルージョンの発生方向に関して、立体物に近い方から遠い方に向かって、周辺領域の重み係数が連続的に増大するように設定してもよい。
【0013】
第2の発明は、一方の撮像画像上に画像領域を複数設定し、重み係数を初期値としたシティブロック距離に基づく相関評価によって、画像領域のそれぞれの相関先を他方の撮像画像において特定するとともに、画像領域のそれぞれの視差の集合である距離データを算出する第1のステップと、距離データ上において、周囲と似た視差同士をグループ化することによって特定される立体物を基準としたオクルージョンの発生方向に、視差が周囲と異なる領域または周囲に有効な視差がない領域が存在する場合、これらの領域をオクルージョンエリアとして特定する第2のステップと、オクルージョンエリアに関して、オクルージョンエリア内における画素のシティブロック距離への影響を低減するために、画像領域における中央領域の周囲に位置する周辺領域の重み係数を初期値よりも小さな値に変更する第3のステップと、オクルージョンエリアに関して、重み係数を上記変更された値としたシティブロック距離に基づく相関評価を再度行い、新たな視差を算出する第4のステップとを有する画像処理方法を提供する。
【0014】
ここで、第2の発明において、上記第3のステップは、オクルージョンエリアに関して、周辺領域の重み係数を0に設定するステップであってもよい。
【0015】
また、第2の発明において、上記第3のステップは、オクルージョンの発生方向において、立体物に近い方よりも遠い方が、周辺領域の重み係数が大きくなるように設定するステップであってもよい。
【0016】
さらに、第2の発明において、上記第3のステップは、オクルージョンの発生方向に関して、立体物に近い方から遠い方に向かって、周辺領域の重み係数が連続的に増大するように設定するステップであってもよい。
【0017】
【発明の実施の形態】
図1は、本実施形態にかかる画像処理装置のブロック構成図である。同図に示す画像処理装置1は、一例として、車外監視装置の一部として機能しており、一対の撮像画像(ステレオ画像)を用いて対象物の視差を算出するとともに、この算出された視差に基づき、自車両前方の状況を認識・監視する。
【0018】
車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、イメージセンサ(CCDセンサやCMOSセンサ等)を内蔵した一対のカメラ2,3で構成されている。メインカメラ2は、ステレオ画像処理を行う際に必要な基準画像(右画像)を撮像し、サブカメラ3は、比較画像(左画像)を撮像する。互いの同期が取れている状態において、カメラ2,3から出力された各アナログ画像は、A/Dコンバータ4,5により、所定の輝度階調(例えば、256階調のグレースケール)のデジタル画像に変換される。このデジタル化された一対の画像データ(ステレオ画像データ)は、1フレーム分のデジタルデータを記憶可能な容量を有するフレームメモリ6,7にそれぞれ格納される。
【0019】
フレームメモリ6,7に格納された各画像データのそれぞれは、画像補正部8によって読み出され、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ2,3の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【0020】
このような画像処理を経て、メインカメラ2より基準画像データが得られ、サブカメラ3より比較画像データが得られる。これらの画像データは、各画素の輝度値(0〜255)の集合である。ここで、画像データによって規定される画像平面は、i−j座標系で表現され、画像の左下隅を原点として、水平方向をi座標軸、垂直方向をj座標軸とする。一フレーム(一画像の表示単位)相当のステレオ画像データは、後段のステレオ画像処理ユニット9に出力されるとともに、画像データメモリ13に格納される。
【0021】
ステレオ画像処理ユニット9は、機能的な要素として、ステレオマッチング部10、視差算出部11および係数制御部12を有し、基準画像データと比較画像データとに基づいて一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差dの集合であり、個々の視差dは画像平面上の位置(i,j)と対応付けられている。それぞれの視差dは、基準画像の一部を構成する所定面積(例えば、4×4画素)の画像領域(以下、単に「画素ブロック」と称する)毎に1つ算出される。
【0022】
図2は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックPBijの個数相当(50×128個)の視差群が算出され得る。周知のように、視差dは、その算出単位である画素ブロックPBijに関する水平方向のずれ量であり、画素ブロックPBijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックPBij内に写し出されている対象物がカメラ2,3に近いほど、この画素ブロックPBijの視差dは大きくなり、対象物が遠いほど視差dは小さくなる(無限に遠い場合、視差dは0になる)。
【0023】
ステレオマッチング部10は、基準画像(すなわち、基準画像データ)において、相関元となる画素ブロックPBij、すなわち、視差dの算出対象となる画素ブロックPBijを特定する。特定された画素ブロックPBij(相関元)を対象として視差dを算出する場合、この画素ブロックPBijの輝度特性と相関関係を有する領域(相関先)を比較画像(すなわち、比較画像データ)において特定する。上述したように、カメラ2,3から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量d’として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックPBijのj座標と同じ水平線(エピポーラライン)上を探索すればよい。そこで、ステレオマッチング部10は、相関元のi座標を基準に設定された所定の探索範囲内において、相関元として特定された画素ブロックPBijの相関先の候補となる画像領域を特定する。そして、この所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性が順次評価される(ステレオマッチング)。
【0024】
2つの画素ブロックの相関関係は、例えば、シティブロック距離CBを算出することにより評価することができる。本実施形態では、相関性の評価精度を向上させるために、視差の算出単位である画素ブロックPBijそのものを用いるのではなく、これよりも広範囲な領域(演算対象ブロック)をベースとして、シティブロック距離CBを算出する。
【0025】
図3は、演算対象ブロックの説明図である。この演算対象ブロックPB’ijは、画素ブロックPBijを基準に設定される。具体的には、ある画素ブロックPBijに関する相関関係を評価する場合、この画素ブロックPBijを中心とし、かつ、これを上下左右方向にそれぞれ4画素分拡幅することで、8×8画素の演算対象ブロックPB'ijを設定する。そして、シティブロック距離CBは、この演算対象ブロックPB'ij内に存在する64個の輝度値を用いて行う。シティブロック距離CBの算出ベースとして、画素ブロックPBij相当の4×4画素領域よりも、8×8画素領域の演算対象ブロックPB'ijを用いた方が、ブロック内の画素数が増える(輝度情報が増える)。これは、ミスマッチの発生率を低減するという観点で有利である。一方、画素ブロックPBijの右側に隣接した画素ブロックPBi+1jが評価対象である場合、この画素ブロックPBi+1jを中心とした広範囲な演算対象ブロックPB'i+1jを用いる。換言すれば、演算対象ブロックPB'i+1jは、左の演算対象ブロックPB'ijを4画素分だけ右側にシフトすることにより設定され、両ブロックPB'ij,PB'i+1jは、水平方向に4画素分オーバーラップしている。同様に、演算対象ブロックPB'ij+1は、上の演算対象ブロックPB'ijを4画素分だけ下側にシフトすることにより設定され、両ブロックPB'ij,PB'ij+1は、垂直方向に4画素分だけオーバーラップしている。
【0026】
なお、撮像画像の四辺の縁部では、演算対象ブロックPB'ijの周辺領域が有効画像領域からはみ出してしまう事態が生じ得る。この場合は、有効画像領域外の画素を用いて演算対象ブロックPB'ijを定義するか、或いは、4×4画素の画素ブロックPBijのまま相関性を評価する。
【0027】
図4に示すように、基準画像側の演算対象ブロックPB’ij(相関元)における各画素pijの輝度値をA11〜A88、比較画像側の演算対象ブロックPB’ij(相関先の候補)における各画素pijの輝度値をB11〜B88とすると、シティブロック距離CBは一例として下式で表現される。本実施形態では、シティブロック距離CBを、位置的に対応した二つの輝度値Aij,Bijの差(絶対値)に重み係数wijを乗じた値の画素ブロック全体における総和として定義している。そして、この総和が小さいほど両ブロックの相関関係が大きいことを意味している。同図に示したように、重み係数wijは、演算対象ブロックPB’ij中の各要素(輝度値Aij,Bij)に応じて、所定の範囲内で値が予め設定されている。なお、一例として、図4に示した重み係数群は正規化された値を示している。
【数1】
CB=Σwij|Aij−Bij|
【0028】
そして、上述した探索範囲の全域に渡って水平/垂直方向に一画素ずつオフセットさせながら(二次元マッチング)、相関先の候補となる演算対象ブロックPB’ij毎に一つのシティブロック距離CBを算出する。算出されたシティブロック距離CB、すなわち、相関関係の評価結果に基づいて、最も相関関係が高いと判断される相関先(相関先の候補の内のいずれか)が、画素ブロックPBijの相関先として特定される。このとき、原則として、基準画像側の相関元と、比較画像側の相関先との画像平面上での水平方向のずれ量d’が、画素ブロックPBij(相関元)の視差dとして決定される。
【0029】
再び図1を参照し、ステレオ画像処理ユニット9の機能的な要素の一つである視差算出部11は、最も相関関係が高いと判断された相関先が、相関元と真の一致を示すものであるか否かを判断する。視差算出部11は、算出されたシティブロック距離CBのうち、例えば、最小値(すなわち、相関関係が最も高いCB値)および最大値(すなわち、相関関係が最も低いCB値)を評価することにより、この判断を行う。そして、この判断を満足した場合に、シティブロック距離CBの値が最小となる相関元と相関先とのずれ量d’が、視差dとして決定される。一方、この判断を満足しない場合には、視差算出部11は、この相関元に関する視差を無効とすべく、このずれ量d’を採用せずに視差dの値を、例えば、0として決定する。このような判断を満足しない状況としては、例えば、オクルージョンの影響が挙げられる。ここで、本明細書において、「オクルージョン」とは、ある対象物が他の対象物に隠れてしまう、或いは、ある対象物がこの対象物自身によりその一部が隠れてしまうことをいう。
【0030】
図5および図6は、オクルージョンの説明図である。図5に示すように、所定のカメラ基線長だけ離間されたカメラ2,3から構成されるステレオカメラで前方の対象物を撮像する。この場合、対象物と、カメラ2,3のそれぞれとの位置的な相違(カメラ基線長に起因する)にともない、一方のカメラ(例えば、メインカメラ2)で撮像されている対象物の領域が、他方のカメラ(例えば、サブカメラ3)では撮像されない領域となる場合がある。図5に示す状態で撮像された画像では、例えば、メインカメラ2側の基準画像において、対象物のA,BおよびC面が写し出されているものの、サブカメラ3側の比較画像において、対象物のAおよびC面しか写し出されない(図6参照)。基準画像に写し出される景色を基準に考えた場合、比較画像において対象物のB面が写し出されていない訳であるから、このような状態は、オクルージョンである。
【0031】
このように、撮像画像においてオクルージョンが発生している場合、一方の撮像画像に写し出されている像が他方の撮像画像に写し出されない。したがって、オクルージョンが発生しているエリア(以下、単に「オクルージョンエリア」と称する)では、相関元と相関先との相関性は、オクルージョンの発生していないエリア(以下、単に「非オクルージョンエリア」と称する)よりも、相対的に低くなる。それ故に、相関元と相関先との真の一致を示すものとは判断されず、上述した判断を満足しないこととなる。
【0032】
そして、上述した処理が1フレーム相当の基準画像において、相関元として特定されるすべての画素ブロックPBijのそれぞれについて行われ、視差dがそれぞれ決定される。そして、画像上の位置(i,j)に対応付けられた視差dの集合、すなわち、距離データが、距離データメモリ14に格納される。
【0033】
ただし、相関関係の評価対象となる画素群を、画素ブロックPBijよりも大きな面積の演算対象ブロックPB’ijとした場合、オクルージョンが生じているエリアを含む演算対象ブロックPB’ijの数が増えてしまう可能性がある。ミスマッチの発生を抑制するべく演算対象ブロックPB’ijの面積を大きくしたにも拘わらず、オクルージョンの影響により無効となる視差dの数が増加することは好ましくない。そこで、本実施形態では、ステレオマッチング部10によって取り扱われ、演算対象ブロックPB’ijに設定された重み係数wijの値を、係数制御部12によって制御している。具体的には、係数制御部12は、撮像画像におけるオクルージョンエリアでは、相関関係の評価対象となる演算対象ブロックPB’ij内の中央領域の周囲に位置する周辺領域の重み係数wijの値を、非オクルージョンエリアよりも小さくしている。なぜならば、周辺領域の重み係数wijの値を小さくすることで、演算対象ブロックPB’ijにおけるオクルージョンエリアに関与してしまう画素(すなわち、周辺領域における画素)のシティブロック距離CBへの影響を低減することができるからである。このように、本実施形態の特徴の一つは、オクルージョンエリアにおいて、周辺領域の重み係数wijの値を、設定された値よりも小さくする点にあり、その詳しい手法については、後述する。
【0034】
マイクロコンピュータ15は、CPU、ROM、RAM、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部16と、特定部17とを有する。
【0035】
認識部16は、画像データメモリ13および距離データメモリ14に格納された各情報に基づき、車両前方の道路状態等を認識したり(道路形状認識)、車両前方の立体物(走行車)等を認識する(立体物認識)。道路形状の認識に際し、認識部16は、三次元的な道路形状を左右の車線(白線や追い越し禁止ライン等)に関する関数で表現する。そして、この関数の各パラメータを、実際の道路形状(直線、カーブ曲率または起伏)に合致するような値に設定することにより、道路形状が認識される。また、立体物の認識に際し、認識部16は、距離データに基づき、周囲と似た視差dをグループにまとめ、これらまとめられたグループのそれぞれを立体物として認識する。具体的には、ある画素ブロックPBijについて算出された視差dが、周囲(上下、左右)に位置する画素ブロックPBijについて算出された視差dと比較される。そして、視差dの差が、例えば±1pix以内であれば、その視差dを周囲の視差dと同じグループとして、同一のグループ番号を付す。一方、視差dの差が、例えば±1pixより大きいのであれば、その視差dを周囲の視差dと異なるグループとして、異なるグループ番号を付す。このグループ番号は、例えば、画素ブロックPBijの座標位置(或いは、ij座標の画素位置)に対応付けたテーブル(以下、「グループテーブル」と称する)として算出される。これにより、撮像画像に写し出された立体物(すなわち、略同一視差dの集合)がグループにまとめられるとともに、グループのそれぞれに異なるグループ番号が付される。この結果、このグループを把握することで立体物のそれぞれが認識される。また、このとき、視差dが周囲と異なる、または、周囲に有効な視差がない画素ブロックPBijに関する視差dは、立体物とは異なるグループにまとめられ、新たなグループ番号が付される。なお、このような立体物をグループにまとめる手法については、特開平10−285582号公報に提案されているので、必要ならば参照されたい。
【0036】
特定部17は、距離データに基づき、オクルージョンエリアを特定する。具体的には、特定部17は、このエリアの特定に当たり、認識部16によって算出される距離データのグループに基づき、オクルージョンエリアを特定する。なお、本実施形態の別の特徴の一つは、オクルージョンエリアを特定する点にあり、その詳しい手法については、後述する。ただし、本実施形態では、特定部17は、認識部16によって算出されたグループテーブルを利用するが、特定部17は、距離データを用いてグループテーブルを自ら算出してもよい。
【0037】
図7は、本実施形態にかかる画像処理手順を示したフローチャートである。なお、このフローチャートに示したルーチンは、所定の間隔で呼び出され、マイクロコンピュータ15によって実行される。まず、ステップ1において、認識部16は、距離データメモリ14より距離データを読み出す。なお、この距離データの算出に当たり、係数制御部12は、演算対象ブロックPB’ijにおける重み係数wijを、初期値として、図4に示した値に設定する。認識部16は、読み出された距離データ(或いは、画像データ)に基づき、道路形状認識および立体物認識を行う。そして、この認識処理にともない、グループテーブルが算出される(ステップ2)。
【0038】
ステップ2に続くステップ3において、特定部17は、オクルージョンエリアがあるか否かの判断を行う。図8は、グループ番号の説明図である。例えば、グループテーブル算出処理(ステップ2)において、ある立体物のグループに番号「1」が付されるとする。また、視差dが周囲と異なる、または、周囲に有効な視差がない画素ブロックPBijに関する視差dには、番号「0」が付されるとする。ところで、メインカメラ2がサブカメラ3に対して右側に存在する場合、相関元の画像には写し出されるものの相関先の画像には写し出されない領域、所謂、オクルージョンが立体物の右側に発生することは既知である(一方、メインカメラ2がサブカメラ3に対して左側に存在する場合、オクルージョンは立体物の左側に発生する)。また、上述したように、オクルージョンエリアでは、視差は無効と判断されるので、グループ番号「0」は、オクルージョンを表している可能性が高い。したがって、同図に示すように、立体物(グループ番号「1」)の右側に存在するグループ番号「0」の領域を、オクルージョンが発生してるエリアとして推定することができる。そして、特定部17は、この立体物を基準として、オクルージョンの発生方向(本実施形態では、右方向)に、次の立体物のグループまで、或いは、このグループ番号「0」が延在する位置までを、オクルージョンエリアとして特定する(ステップ4)。ただし、本実施形態において、特定部17によって特定されるオクルージョンエリアは、撮像画像においてオクルージョンが発生している領域と厳密に一致することを必要としない。すなわち、本明細書に示す「オクルージョンエリア」とは、少なくともオクルージョンが発生している領域、或いは、オクルージョンと思しき領域を含む撮像画像内のエリアであることに理解されたい。一方、立体物の右側にグループ「0」の領域がない、すなわち、オクルージョンエリアがない場合には、本ルーチンを抜ける。
【0039】
そして、ステップ5において、特定部17は、このオクルージョンエリアを、ステレオ画像処理ユニット9に対して指示し、本ルーチンを抜ける。この特定部17からの指示を受け、係数制御部12は、このオクルージョンエリアに対して、演算対象ブロックPB’ij内の中央領域の周囲に位置する周辺領域の重み係数wijの値を、非オクルージョンエリアよりも小さくするべく旨を、ステレオマッチング部10に対して指示をする。そして、ステレオマッチング部10は、例えば、図9に示す重み係数wijを用いて、このオクルージョンエリアについて再度ステレオマッチングを行う。ここで、図9は、周辺領域の重み係数wijを小さくした演算対象ブロックPB’ijの一例を示す説明図である。同図に示す例では、周辺領域の重み係数wijの値は、0になっている。上述したように、周辺領域の重み係数wijの値を小さくすることで、オクルージョンエリアに関与する画素のシティブロック距離CBへの影響を低減することができる。特に、重み係数wijが0の場合には、周辺領域の画素はシティブロック距離CBの算出にまったく考慮されない。換言すれば、この図9に示す演算対象ブロックPB’ijは、演算対象ブロックPB’ijの面積を4×4画素でシティブロック距離CBを算出することと等価となる。
【0040】
これにより、オクルージョンエリアに存在する画素ブロックPBijに関し、4×4画素相当の演算対象ブロックPB’ijで、相関関係が評価される。そして、相関関係の評価結果に基づいて、最も相関関係が高いと判断される相関先(相関先の候補の内のいずれか)が、画素ブロックPBijの相関先として特定される。このとき、原則として、基準画像側の相関元と、比較画像側の相関先との画像平面上での水平方向のずれ量d’が、画素ブロックPBij(相関元)の視差dとして決定される。そして、新たに決定された視差dが距離データメモリ14で更新される。
【0041】
ここで、図10は、演算対象ブロックPB’ijの面積を小さくした場合のステレオマッチングの様子を示した説明図である。図11は、演算対象ブロックPB’ijの面積を大きくした場合のステレオマッチングの様子を示した説明図である。両図に示すように、基準画像において、ある画素ブロックPBij▲1▼〜▲3▼(相関元)に関し、その相関先を比較画像に特定する場合を仮定する。図10に示すように、演算対象ブロックPB’ijの面積を、画素ブロックPBij相当の4×4画素と同等とした場合、オクルージョンエリアに相当する画素ブロックPBij▲2▼は、その相関先を比較画像において特定することが難しい。しかしながら、演算対象ブロックPB’ij▲1▼,▲3▼内の画素はオクルージョンエリアに含まれていないため、マッチングが可能となる。一方、演算対象ブロックPB’ijを8×8画素としてステレオマッチングを行う場合、ブロックの面積が大きいため、画素ブロックPBij▲1▼,▲3▼内の画素の一部は、オクルージョンエリアに含まれてしまう(図11参照)。したがって、図11に示す状態では、画素ブロックPBij▲2▼ばかりでなく、画素ブロックPBij▲1▼,▲3▼であっても、その相関先の特定が困難となる。このことから理解されるように、オクルージョンエリア、或いは、オクルージョンエリアの周辺では、演算対象ブロックPB’ijの面積を小さくした方が、オクルージョンの影響を受け難いので、ステレオマッチングを行ううえで有利である。
【0042】
認識部16は、この更新された視差dを含む距離データを用いて、道路形状や立体物認識を行う。また、このとき、認識部16は、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置(図示せず)を作動させてドライバーに注意を促す。また、必要に応じて制御装置(図示せず)を制御することにより、AT(自動変速機)のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。
【0043】
以上説明したように、本実施形態に示す画像処理手法では、ある画素ブロックPBijに関する視差dを算出するに当たり、まず、この画素ブロックPBijよりも拡幅した8×8画素の演算対象ブロックPB’ijを用いて相関評価を行う。そして、オクルージョンがあると認められた場合には、オクルージョンエリアにおいて、再度相関評価を行っている。このとき、ステレオ画像処理ユニット9は、係数制御部12において演算対象ブロックPB’ij内の周辺領域の重み係数wijの値として0を用いて、シティブロック距離CBを算出している。このとき、演算対象ブロックPB’ijの面積が等価的に小さくなるので、オクルージョンの影響を低減することができる。これにより、8×8画素相当の演算対象ブロックPB’ijでは、マッチングが取れなかった画素ブロックPBijであっても、周辺領域の重み係数wijを0とすることで、その相関先の特定を行うことができる。この結果、算出される距離データの信頼性向上を図ることができる。さらに、このようにして算出された距離データを用いることで、監視精度の向上を図ることができる。
【0044】
なお、本実施形態では、画素ブロックPBijを4×4画素、この画素ブロックPBijを基準に設定される演算対象ブロックPB’ijを8×8画素としたが、本発明はこれらのサイズに限定されるものではないのは当然である。当業者であれば、本発明の趣旨に逸脱しない範囲内において、任意のサイズを選択可能であろう。また、画素ブロックPBijの面積と、演算対象ブロックPB’ijの面積とを同一の面積(例えば、8×8画素)として扱ってもよい。ただし、本実施形態にかかる画像処理手法では、一フレーム相当の撮像画像より得られる視差の数は、演算対象ブロックPB’ijより小領域である画素ブロックPBijの数に依存している。このため、画素ブロックPBijの面積を演算対象ブロックPB’ijの面積よりも小さくすることで、十分な空間分解能を有する距離データを算出できるので有利である。
【0045】
また、本実施形態では、最もオクルージョンの影響を受けにくい例として、演算対象ブロックPB’ijにおける周辺領域の重み係数wijを一律で0としたが、本発明はこれに限定されるものではない。図12は、周辺領域の重み係数wijを小さくした演算対象ブロックPB’ijの別の一例を示す説明図である。同図に示すように、周辺領域の重み係数wijの値を、図4に示す設定値、すなわち、非オクルージョンエリアにおける重み係数wijの値よりも小さくすればよい。このような重み付けであっても、周辺領域の画素に関するシティブロック距離CBへの評価の割合が小さくなるので、面積を小さくすることと実質的に等価である。
【0046】
また、上述した実施形態では、グループ番号「0」が連続している領域をオクルージョンエリアとして特定したが、立体物の右側の何処までが真のオクルージョンであるかを推定することは難しい。ただし、オクルージョンは立体物の近傍に生じ得るということを考慮すれば、オクルージョンの発生方向(本実施形態では、立体物の右側)に関し、対象物に近い方よりも遠い方がオクルージョンの影響は受け難い。そこで、オクルージョンエリアにおいて、オクルージョンの発生方向に関し、対象物から遠い演算対象ブロックPB’ijにおける周辺領域の重み係数wijの値を、対象物に近い演算対象ブロックPB’ijにおける周辺領域の重み係数wijの値よりも大きくすることもできる。このときの、重み係数wijは、例えば線形的に、周囲の重み係数wijの値を連続的に増大するように制御すれば、立体物近傍から遠い位置にかけて順次大面積での演算が可能となる。これによりオクルージョンの影響を低減しながら、マッチングを行うことができる。
【0047】
なお、本実施形態では、車外監視を例にとって説明したが、踏切監視、地形認識または高度測定といった様々な用途において、このようなステレオ画像処理手法を用いた三次元認識を適用することができる。
【0048】
さらに、本発明の画像処理手法は、ステレオカメラから出力される一対の撮像画像を用いたステレオ画像処理に限定されない。例えば、単眼カメラから出力される一対の時系列的な画像を用いて、一方の撮像画像における所定面積の画像領域の相関先を他方の撮像画像において特定し、オプティカルフローを求めるような場合にも適用可能である。
【0049】
【発明の効果】
このように本発明によれば、ある画像領域に関する視差を算出するにあたり、まず、この画像領域を基準とした演算対象領域を用いて相関評価を行う。そして、オクルージョンがあると認められた場合には、オクルージョンが発生しているエリアにおいて、周辺領域の重み係数wijの値を、オクルージョンが発生していない領域の値よりも小さくして、相関評価が行われる。これにより、演算対象領域の面積を等価的に小さくすることになるので、オクルージョンの影響を低減することができる。
【図面の簡単な説明】
【図1】本実施形態にかかる画像処理装置のブロック構成図
【図2】基準画像に設定される画素ブロックの説明図
【図3】演算対象ブロックの説明図
【図4】シティブロック距離算出の説明図
【図5】オクルージョンの説明図
【図6】オクルージョンの説明図
【図7】本実施形態にかかる画像処理手順を示したフローチャート
【図8】グループ番号の説明図
【図9】周辺領域の重み係数を小さくした演算対象ブロックの一例を示す説明図
【図10】演算対象ブロックの面積を小さくした場合のステレオマッチングの様子を示した説明図
【図11】演算対象ブロックの面積を大きくした場合のステレオマッチングの様子を示した説明図
【図12】周辺領域の重み係数を小さくした演算対象ブロックの別の一例を示す説明図
【符号の説明】
1 画像処理装置
2 メインカメラ
3 サブカメラ
4 A/Dコンバータ
5 A/Dコンバータ
6 フレームメモリ
7 フレームメモリ
8 画像補正部
9 ステレオ画像処理ユニット
10 ステレオマッチング部
11 視差算出部
12 係数制御部
13 画像データメモリ
14 距離データメモリ
15 マイクロコンピュータ
16 認識部
17 特定部
Claims (8)
- 画像処理装置において、
一方の撮像画像上に画像領域を複数設定し、重み係数を初期値としたシティブロック距離に基づく相関評価によって、前記画像領域のそれぞれの相関先を他方の撮像画像において特定するとともに、前記画像領域のそれぞれの視差の集合である距離データを算出するステレオマッチング部と、
前記距離データ上において、周囲と似た視差同士をグループ化することによって特定される立体物を基準としたオクルージョンの発生方向に、視差が周囲と異なる領域または周囲に有効な視差がない領域が存在する場合、当該領域をオクルージョンエリアとして特定する特定部と、
前記オクルージョンエリアに関して、前記オクルージョンエリア内における画素の前記シティブロック距離への影響を低減するために、前記画像領域における中央領域の周囲に位置する周辺領域の重み係数を前記初期値よりも小さな値に変更する係数制御部とを有し、
前記ステレオマッチング部は、前記オクルージョンエリアに関して、重み係数を前記変更された値とした前記シティブロック距離に基づく相関評価を再度行い、新たな視差を算出することを特徴とする画像処理装置。 - 前記係数制御部は、前記オクルージョンエリアに関して、前記周辺領域の重み係数を0に設定することを特徴とする請求項1に記載された画像処理装置。
- 前記係数制御部は、前記オクルージョンの発生方向において、前記立体物に近い方よりも遠い方が、前記周辺領域の重み係数が大きくなるように設定することを特徴とする請求項1に記載された画像処理装置。
- 前記係数制御部は、前記オクルージョンの発生方向に関して、前記立体物に近い方から遠い方に向かって、前記周辺領域の重み係数が連続的に増大するように設定することを特徴とする請求項1に記載された画像処理装置。
- 画像処理方法において、
一方の撮像画像上に画像領域を複数設定し、重み係数を初期値としたシティブロック距離に基づく相関評価によって、前記画像領域のそれぞれの相関先を他方の撮像画像において特定するとともに、前記画像領域のそれぞれの視差の集合である距離データを算出する第1のステップと、
前記距離データ上において、周囲と似た視差同士をグループ化することによって特定される立体物を基準としたオクルージョンの発生方向に、視差が周囲と異なる領域または周囲に有効な視差がない領域が存在する場合、当該領域をオクルージョンエリアとして特定する第2のステップと、
前記オクルージョンエリアに関して、前記オクルージョンエリア内における画素の前記シティブロック距離への影響を低減するために、前記画像領域における中央領域の周囲に位置する周辺領域の重み係数を前記初期値よりも小さな値に変更する第3のステップと、
前記オクルージョンエリアに関して、重み係数を前記変更された値とした前記シティブロック距離に基づく相関評価を再度行い、新たな視差を算出する第4のステップと
を有することを特徴とする画像処理方法。 - 前記第3のステップは、前記オクルージョンエリアに関して、前記周辺領域の重み係数を0に設定するステップであることを特徴とする請求項5に記載された画像処理方法。
- 前記第3のステップは、前記オクルージョンの発生方向において、前記立体物に近い方よりも遠い方が、前記周辺領域の重み係数が大きくなるように設定するステップであることを特徴とする請求項5に記載された画像処理方法。
- 前記第3のステップは、前記オクルージョンの発生方向に関して、前記立体物に近い方から遠い方に向かって、前記周辺領域の重み係数が連続的に増大するように設定するステップであることを特徴とする請求項5に記載された画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002258990A JP4209647B2 (ja) | 2002-09-04 | 2002-09-04 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002258990A JP4209647B2 (ja) | 2002-09-04 | 2002-09-04 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004102323A JP2004102323A (ja) | 2004-04-02 |
JP4209647B2 true JP4209647B2 (ja) | 2009-01-14 |
Family
ID=32260154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002258990A Expired - Fee Related JP4209647B2 (ja) | 2002-09-04 | 2002-09-04 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4209647B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9426337B2 (en) | 2012-07-19 | 2016-08-23 | Samsung Electronics Co., Ltd. | Apparatus, method and video decoder for reconstructing occlusion region |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8300085B2 (en) | 2005-10-14 | 2012-10-30 | Microsoft Corporation | Occlusion handling in stereo imaging |
JP4832227B2 (ja) * | 2006-09-07 | 2011-12-07 | 富士重工業株式会社 | 物体検出装置および物体検出方法 |
KR20120049997A (ko) * | 2010-11-10 | 2012-05-18 | 삼성전자주식회사 | 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들 |
CN113077510B (zh) * | 2021-04-12 | 2022-09-20 | 广州市诺以德医疗科技发展有限公司 | 遮蔽下的立体视功能检查*** |
GB2625549A (en) * | 2022-12-20 | 2024-06-26 | Hack Partners Ltd | System and method for monitoring level crossing |
-
2002
- 2002-09-04 JP JP2002258990A patent/JP4209647B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9426337B2 (en) | 2012-07-19 | 2016-08-23 | Samsung Electronics Co., Ltd. | Apparatus, method and video decoder for reconstructing occlusion region |
Also Published As
Publication number | Publication date |
---|---|
JP2004102323A (ja) | 2004-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6355052B2 (ja) | 撮像装置、画像処理装置、撮像方法および記録媒体 | |
JP4956452B2 (ja) | 車両用環境認識装置 | |
JP3064928B2 (ja) | 被写体抽出方式 | |
JP4275378B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP2001082955A (ja) | ステレオ画像の位置ずれ調整装置 | |
JP5949314B2 (ja) | 視差マップ生成装置および視差マップ生成装置用のプログラム | |
JP2009176090A (ja) | 環境認識装置 | |
JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
JP3287465B2 (ja) | ステレオ画像処理装置 | |
JP2018044943A (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム | |
JP4209647B2 (ja) | 画像処理装置および画像処理方法 | |
JP2002267441A (ja) | ステレオマッチング方法および監視装置 | |
JP4394487B2 (ja) | ステレオ画像処理装置 | |
JP4209637B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
JP4804202B2 (ja) | ステレオ式監視装置 | |
JPH0814860A (ja) | モデル作成装置 | |
US11847784B2 (en) | Image processing apparatus, head-mounted display, and method for acquiring space information | |
JP4204818B2 (ja) | 画像処理装置 | |
JP2004117049A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP4410521B2 (ja) | 画像処理装置および画像処理方法 | |
KR20210152741A (ko) | 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 | |
JP4099011B2 (ja) | 監視装置および監視方法 | |
JP2004069437A (ja) | テストチャート、ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 | |
WO2021245973A1 (ja) | 演算装置、視差探索方法 | |
JP4555635B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4209647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |