JP2001184497A - ステレオ画像処理装置及び記録媒体 - Google Patents
ステレオ画像処理装置及び記録媒体Info
- Publication number
- JP2001184497A JP2001184497A JP2000310696A JP2000310696A JP2001184497A JP 2001184497 A JP2001184497 A JP 2001184497A JP 2000310696 A JP2000310696 A JP 2000310696A JP 2000310696 A JP2000310696 A JP 2000310696A JP 2001184497 A JP2001184497 A JP 2001184497A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- pixel
- boundary
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 画像間の誤対応を正確に認識することのでき
るステレオ画像装置を提供すること。 【解決手段】 対応候補視差抽出部104は、マッチン
グエラーの分布を基に、最小値Em1のマッチングエラ
ー(1次ピークエラー)となった視差Dp=m1(第1
の対応候補視差)と、その次に小さい値Em2のマッチ
ングエラー(2次ピークエラー)となった視差Dp=m
2(第2の対応候補視差)を抽出する。誤対応画素認識
部105は、第1の対応候補視差におけるエラーの値と
第2の対応候補視差におけるエラーの値との差「2次ピ
ークエラーの値と1次ピークエラーの値との差」)を求
め、この差の値が、予め設定される閾値Thと比較して
小さいものを誤対応の可能性が大きい画素と認識する。
るステレオ画像装置を提供すること。 【解決手段】 対応候補視差抽出部104は、マッチン
グエラーの分布を基に、最小値Em1のマッチングエラ
ー(1次ピークエラー)となった視差Dp=m1(第1
の対応候補視差)と、その次に小さい値Em2のマッチ
ングエラー(2次ピークエラー)となった視差Dp=m
2(第2の対応候補視差)を抽出する。誤対応画素認識
部105は、第1の対応候補視差におけるエラーの値と
第2の対応候補視差におけるエラーの値との差「2次ピ
ークエラーの値と1次ピークエラーの値との差」)を求
め、この差の値が、予め設定される閾値Thと比較して
小さいものを誤対応の可能性が大きい画素と認識する。
Description
【0001】
【発明の属する技術分野】本発明は、物体の認識装置に
関し、異なる位置に配置された複数の撮像手段による画
像情報から三角測量の原理を利用して認識対象物体まで
の距離情報を計測するステレオ画像処理装置及び記録媒
体に関する。
関し、異なる位置に配置された複数の撮像手段による画
像情報から三角測量の原理を利用して認識対象物体まで
の距離情報を計測するステレオ画像処理装置及び記録媒
体に関する。
【0002】
【従来の技術】従来より、撮像手段たる画像センサ(カ
メラ)の撮像結果に基づき認識対象物体までの距離を計
算する方法として、ステレオビジョン(ステレオ視)に
よる計測方法が広く知られている。
メラ)の撮像結果に基づき認識対象物体までの距離を計
算する方法として、ステレオビジョン(ステレオ視)に
よる計測方法が広く知られている。
【0003】この計測方法は2次元画像から、距離、深
度、奥行きといった3次元情報を得るために有用な方法
である。
度、奥行きといった3次元情報を得るために有用な方法
である。
【0004】すなわち、2台の画像センサを例えば左右
に配置し、これら2台の画像センサで同一の認識対象物
を撮像したときに生じる視差から、三角測量の原理で対
象物までの距離を測定するという方法である。このとき
左右に画像センサの対は、ステレオ対と呼ばれており、
2台で計測を行うことから2眼ステレオ視と呼ばれてい
る。
に配置し、これら2台の画像センサで同一の認識対象物
を撮像したときに生じる視差から、三角測量の原理で対
象物までの距離を測定するという方法である。このとき
左右に画像センサの対は、ステレオ対と呼ばれており、
2台で計測を行うことから2眼ステレオ視と呼ばれてい
る。
【0005】図45は、こうした2眼ステレオ視の原理
を示す。
を示す。
【0006】2眼ステレオ視では、左右の画像センサ
1、2の画像#Ch1(撮像面1a上で得られる)、画
像#Ch2(撮像面2a上で得られる)中の、対応する
P1、P2の位置の差である視差(ディスパリティ)D
pを計測する必要がある。
1、2の画像#Ch1(撮像面1a上で得られる)、画
像#Ch2(撮像面2a上で得られる)中の、対応する
P1、P2の位置の差である視差(ディスパリティ)D
pを計測する必要がある。
【0007】一般に視差Dpは、3次元空間中の50a
(認識対象物体50上の点)までの距離zとの間に、次
式で示す関係が成立する。
(認識対象物体50上の点)までの距離zとの間に、次
式で示す関係が成立する。
【0008】 z=(F・B)/(A・Dp) ・・・(1) ここに、Bは左右の画像センサ1、2間の距離(基線
長)であり、Fは画像センサ1のレンズ31、画像セン
サ2のレンズ32の焦点距離であり、Aは画像センサ上
の画素の大きさ(CCD画素の大きさ)である。通常、
基線長Bと焦点距離Fと画素の大きさAは既知であるの
で、視差Dpがわかれば、距離zは一義的に求められる
ことになる。
長)であり、Fは画像センサ1のレンズ31、画像セン
サ2のレンズ32の焦点距離であり、Aは画像センサ上
の画素の大きさ(CCD画素の大きさ)である。通常、
基線長Bと焦点距離Fと画素の大きさAは既知であるの
で、視差Dpがわかれば、距離zは一義的に求められる
ことになる。
【0009】この視差Dpは、両画像#ch1、#ch
2間で、どの点がどの点に対応するかを逐一探索するこ
とにより算出することができる。このときの一方の画像
#ch1上の点P1に対応する他方の画像#ch2上の
点P2のことを「対応点」と以下呼ぶこととし、対応点
を探すことを、以下「対応点探索」と呼ぶこととする。
物体50までの距離を仮定したとき、この仮定距離をも
って探索される一方の画像#ch1上の点P1に対応す
る他方の画像#ch2上の点のことを以下「対応候補
点」と呼ぶことにする。
2間で、どの点がどの点に対応するかを逐一探索するこ
とにより算出することができる。このときの一方の画像
#ch1上の点P1に対応する他方の画像#ch2上の
点P2のことを「対応点」と以下呼ぶこととし、対応点
を探すことを、以下「対応点探索」と呼ぶこととする。
物体50までの距離を仮定したとき、この仮定距離をも
って探索される一方の画像#ch1上の点P1に対応す
る他方の画像#ch2上の点のことを以下「対応候補
点」と呼ぶことにする。
【0010】2眼ステレオ視による計測を行う場合、上
記対応点探索を行った結果、真の距離zに対応する真の
対応点P2を検出することができれば、真の視差Dpを
算出することができたことになり、このとき対象物50
上の点50aまでの真の距離zが計測できたと言える。
記対応点探索を行った結果、真の距離zに対応する真の
対応点P2を検出することができれば、真の視差Dpを
算出することができたことになり、このとき対象物50
上の点50aまでの真の距離zが計測できたと言える。
【0011】次に、2台の撮像センサ(カメラ)を用い
て、認識対象物体(車)上の人を撮影した場合の例を図
46に示す。
て、認識対象物体(車)上の人を撮影した場合の例を図
46に示す。
【0012】なお、図46においては、画像センサ1、
2において、レンズ31、32と反転された画像#ch
1、#ch2が示されているが、これらの画像は実際に
は、撮像面(CCD画素)1a、2aに投影されるもの
である。そこで以下、説明の都合上、撮像面(CCD画
素)1a、2aを省略し、ここに投影される画像を示す
ものとする。
2において、レンズ31、32と反転された画像#ch
1、#ch2が示されているが、これらの画像は実際に
は、撮像面(CCD画素)1a、2aに投影されるもの
である。そこで以下、説明の都合上、撮像面(CCD画
素)1a、2aを省略し、ここに投影される画像を示す
ものとする。
【0013】上述したように画像センサ(カメラ)1、
2にはレンズ31、32とその後ろに撮像面(CCD画
素)1a、2aがあるので、認識対象物体を撮影した場
合、該認識対象物体はレンズの中心を通る直線上のCC
D画素に投影され、図46に示すように反転した画像#
ch1、#ch2が得られる。
2にはレンズ31、32とその後ろに撮像面(CCD画
素)1a、2aがあるので、認識対象物体を撮影した場
合、該認識対象物体はレンズの中心を通る直線上のCC
D画素に投影され、図46に示すように反転した画像#
ch1、#ch2が得られる。
【0014】これを逆に考えると、撮影した画像上の認
識対象物体は、対応するCCD画素とレンズの中心とを
結ぶ直線上に存在することが分かる。
識対象物体は、対応するCCD画素とレンズの中心とを
結ぶ直線上に存在することが分かる。
【0015】この場合、1台の画像センサによる画像情
報だけでは3次元的な位置を特定するこはできないが、
位置の異なる2台以上の画像センサ1、2による画像情
報を用いれば、三角測量の原理により、認識対象物体
(図46中の点50a=人)までの距離が特定できる。
ここで、点50aまでの距離zは上記数式(1)で表さ
れる。
報だけでは3次元的な位置を特定するこはできないが、
位置の異なる2台以上の画像センサ1、2による画像情
報を用いれば、三角測量の原理により、認識対象物体
(図46中の点50a=人)までの距離が特定できる。
ここで、点50aまでの距離zは上記数式(1)で表さ
れる。
【0016】上述した手順の中で、最も重要になるの
は、対応点の探索である。つまり、三角測量の原理で認
識対象物体までの距離を求めるには、左右の画像上で同
じ物体が選択されなければならない。
は、対応点の探索である。つまり、三角測量の原理で認
識対象物体までの距離を求めるには、左右の画像上で同
じ物体が選択されなければならない。
【0017】すなわち、例えば基準画像#ch1におけ
る位置座標(i,j)で特定される選択画素P1につい
ては、この位置座標(i,j)におけるY座標値(j)
と同位置のY座標値で、X軸方向に1画素づつ移動させ
ながら、対応点を探索する必要がある。
る位置座標(i,j)で特定される選択画素P1につい
ては、この位置座標(i,j)におけるY座標値(j)
と同位置のY座標値で、X軸方向に1画素づつ移動させ
ながら、対応点を探索する必要がある。
【0018】なお、ステレオ画像処理装置(認識装置)
においては、左右の画像上の物体の対応点を自動的に求
める必要がある。これについて、左右に配された撮像セ
ンサ1、2を用いる場合の例を示す図47を参照して説
明する。
においては、左右の画像上の物体の対応点を自動的に求
める必要がある。これについて、左右に配された撮像セ
ンサ1、2を用いる場合の例を示す図47を参照して説
明する。
【0019】この左右の画像上の物体の対応を求める従
来の方法(対応点探索の方法)としては、ブロックマッ
チングという手法がある。
来の方法(対応点探索の方法)としては、ブロックマッ
チングという手法がある。
【0020】この手法は、基準とする撮像センサ(以
下、基準撮像センサという)1の基準画像#ch1で、
計測対象の物体の近傍周囲の模様を含むウインドウを参
照ウインドウとして、他の撮像センサ(以下、対象撮像
センサという)の対象画像#ch2上で視差を変化させ
て類似の模様を探し(つまり、ウインドウ内の模様を比
較して、マッチングエラーの分布を求め)、最も似た模
様を有する視差を見つける(つまり、マッチングエラー
が最も小さくなる視差を対応点とする)方法である。
下、基準撮像センサという)1の基準画像#ch1で、
計測対象の物体の近傍周囲の模様を含むウインドウを参
照ウインドウとして、他の撮像センサ(以下、対象撮像
センサという)の対象画像#ch2上で視差を変化させ
て類似の模様を探し(つまり、ウインドウ内の模様を比
較して、マッチングエラーの分布を求め)、最も似た模
様を有する視差を見つける(つまり、マッチングエラー
が最も小さくなる視差を対応点とする)方法である。
【0021】対応点の探索を開始する対象撮像センサの
対象画像#ch2上の水平位置を基準撮像センサの参照
ウインドウの水平位置と同じ位置とし、1画素づつ横に
ずらしながら、マッチングエラーを計算し、マッチング
エラーの分布を求める。
対象画像#ch2上の水平位置を基準撮像センサの参照
ウインドウの水平位置と同じ位置とし、1画素づつ横に
ずらしながら、マッチングエラーを計算し、マッチング
エラーの分布を求める。
【0022】例えば図47に示すように、例えば、位置
座標P2(i,j)、位置座標P2(i−1,j)、位
置座標P2(i−m,j)、位置座標P2(i−n,
j)のように1画素づつX方向(水平方向)に移動させ
ながら、当該各位置座標のそれぞれの画素におけるマッ
チングエラーを算出する。
座標P2(i,j)、位置座標P2(i−1,j)、位
置座標P2(i−m,j)、位置座標P2(i−n,
j)のように1画素づつX方向(水平方向)に移動させ
ながら、当該各位置座標のそれぞれの画素におけるマッ
チングエラーを算出する。
【0023】そしてX方向(水平方向)の全ての画素に
ついてマッチングエラーが算出されると、図47に示す
ようなマッチングエラー分布が得られることになる。こ
のマッチングエラー分布において、マッチングエラーが
最も小さくなる視差が対応点ということになり、図47
においては、視差Dp=mつまり位置座標P2(i−
m,j)に存在する画素が対応点に相当する。
ついてマッチングエラーが算出されると、図47に示す
ようなマッチングエラー分布が得られることになる。こ
のマッチングエラー分布において、マッチングエラーが
最も小さくなる視差が対応点ということになり、図47
においては、視差Dp=mつまり位置座標P2(i−
m,j)に存在する画素が対応点に相当する。
【0024】なお、位置座標P2(i,j)、位置座標
P2(i−1,j)、位置座標P2(i−m,j)、お
よび位置座標P2(i−n,j)のそれぞれの座標にお
ける視差Dpは、Dp=0、Dp=1、Dp=m、およ
びDp=nになっているものとする。
P2(i−1,j)、位置座標P2(i−m,j)、お
よび位置座標P2(i−n,j)のそれぞれの座標にお
ける視差Dpは、Dp=0、Dp=1、Dp=m、およ
びDp=nになっているものとする。
【0025】ところで、認識対象の物体に特有の模様が
ある場合には、正解の視差におけるマッチングエラーは
小さくなり、かつ、周辺のマッチングエラーに比べても
小さな値になるという特徴がある。
ある場合には、正解の視差におけるマッチングエラーは
小さくなり、かつ、周辺のマッチングエラーに比べても
小さな値になるという特徴がある。
【0026】この対応点探索のためのブロックマッチン
グの方法は、認識対象の物体に特有な模様がある場合に
は、例えば図47に示す位置座標(i−m,j)に存在
する画素のように、マッチングエラーの最小値を示す画
素が一つだけ見つかり正解の距離が求まる。
グの方法は、認識対象の物体に特有な模様がある場合に
は、例えば図47に示す位置座標(i−m,j)に存在
する画素のように、マッチングエラーの最小値を示す画
素が一つだけ見つかり正解の距離が求まる。
【0027】しかし、認識対象の物体に模様がない場
合、あるいは模様が少ない場合には、対応点検索を失敗
し誤った距離が求まるという誤対応の問題が発生する。
この物体の誤対応について幾つかの具体例を挙げて説明
する。
合、あるいは模様が少ない場合には、対応点検索を失敗
し誤った距離が求まるという誤対応の問題が発生する。
この物体の誤対応について幾つかの具体例を挙げて説明
する。
【0028】「誤対応1:模様がない場合」例えば、図
48に示すように、基準画像#ch1における参照ウイ
ンドWD1内において、模様がない背景側の点までの距
離を求める場合に、この参照ウインドWD1と、画像#
ch2において設定されるウインドウWD2−1、WD
2−2、WD2−3とのマッチングを実施した結果は、
図48に示すようなマッチングエラーの分布となる。
48に示すように、基準画像#ch1における参照ウイ
ンドWD1内において、模様がない背景側の点までの距
離を求める場合に、この参照ウインドWD1と、画像#
ch2において設定されるウインドウWD2−1、WD
2−2、WD2−3とのマッチングを実施した結果は、
図48に示すようなマッチングエラーの分布となる。
【0029】この分布では、マッチングエラーが「0」
となる領域が存在するものの、マッチングエラーの最小
値を示す視差が一意に求まらない。
となる領域が存在するものの、マッチングエラーの最小
値を示す視差が一意に求まらない。
【0030】「誤対応2:模様が少ない場合」例えば、
図49に示すように、基準画像#ch1における参照ウ
インドWD1内において、模様が少ない道路上の点まで
距離を計測する場合に、この参照ウインドWD1と、画
像#ch2において設定されるウインドウWD2−1、
WD2−2、WD2−3とのマッチングを実施した結果
は、図49に示すようなマッチングエラーの分布とな
る。
図49に示すように、基準画像#ch1における参照ウ
インドWD1内において、模様が少ない道路上の点まで
距離を計測する場合に、この参照ウインドWD1と、画
像#ch2において設定されるウインドウWD2−1、
WD2−2、WD2−3とのマッチングを実施した結果
は、図49に示すようなマッチングエラーの分布とな
る。
【0031】この分布では、マッチングエラーが最小値
を示す視差が明確に求まらない。
を示す視差が明確に求まらない。
【0032】「誤対応3:繰り返し模様がある場合」例
えば、図50に示すように、基準画像#ch1における
参照ウインドWD1内において、車の左側のタイヤまで
の距離を計測する場合に、この参照ウインドWD1と、
画像#ch2において設定されるウインドウWD2−
1、WD2−2、WD2−3とのマッチングを実施した
結果は、図50に示すようなマッチングエラーの分布と
なる。
えば、図50に示すように、基準画像#ch1における
参照ウインドWD1内において、車の左側のタイヤまで
の距離を計測する場合に、この参照ウインドWD1と、
画像#ch2において設定されるウインドウWD2−
1、WD2−2、WD2−3とのマッチングを実施した
結果は、図50に示すようなマッチングエラーの分布と
なる。
【0033】この分布では、参照ウインドウWD1内の
模様と、ウインドウWD2−1、WD2−3内の模様と
が類似しているので、視差Dp=m1、視差Dp=m2
において、マッチングエラーが最小となる視差が二つ存
在し、一意に求まらない。
模様と、ウインドウWD2−1、WD2−3内の模様と
が類似しているので、視差Dp=m1、視差Dp=m2
において、マッチングエラーが最小となる視差が二つ存
在し、一意に求まらない。
【0034】「誤対応4:オクルージョン(隠れ)があ
る場合」例えば、図51に示すように、基準画像#ch
1における参照ウインドWD1内において、距離を計測
したい物体の前に別の物体が存在し、撮像センサによる
見え方が異なるというオクルージョン(隠れ)があるよ
うな場合に、この参照ウインドWD1と、画像#ch2
において設定されるウインドウWD2−1、WD2−2
とのマッチングを実施した結果は、図51に示すような
マッチングエラーの分布となる。
る場合」例えば、図51に示すように、基準画像#ch
1における参照ウインドWD1内において、距離を計測
したい物体の前に別の物体が存在し、撮像センサによる
見え方が異なるというオクルージョン(隠れ)があるよ
うな場合に、この参照ウインドWD1と、画像#ch2
において設定されるウインドウWD2−1、WD2−2
とのマッチングを実施した結果は、図51に示すような
マッチングエラーの分布となる。
【0035】この分布では、視差Dp=m1、視差Dp
=m2において、マッチングエラーが最小となる視差が
二つ存在し、一意に求まらない。
=m2において、マッチングエラーが最小となる視差が
二つ存在し、一意に求まらない。
【0036】これは、ウインドウWD2−1内の模様つ
まり視差Dp=m1での模様が、図51に示すように参
照ウインドウWD1内の左側の模様(図中符号Lで示さ
れる部分)と似ており、また、ウインドウWD2−2内
の模様つまり視差Dp=m2での模様が、図51に示す
ように参照ウインドウWD1内の右側の模様(図中符号
Rで示される部分)と似たために、マッチングエラーの
値が小さくなるためである。このように、オクルージョ
ンが発生するような場合には、画像間の誤対応が発生す
る可能性がある。
まり視差Dp=m1での模様が、図51に示すように参
照ウインドウWD1内の左側の模様(図中符号Lで示さ
れる部分)と似ており、また、ウインドウWD2−2内
の模様つまり視差Dp=m2での模様が、図51に示す
ように参照ウインドウWD1内の右側の模様(図中符号
Rで示される部分)と似たために、マッチングエラーの
値が小さくなるためである。このように、オクルージョ
ンが発生するような場合には、画像間の誤対応が発生す
る可能性がある。
【0037】上述したような誤対応1〜4の問題に対応
する方法として、求めた視差Dpmにおけるエラーの大
きさと信頼度の大きさを考慮する方法がある。
する方法として、求めた視差Dpmにおけるエラーの大
きさと信頼度の大きさを考慮する方法がある。
【0038】「認識方法1:エラーの大きさを考慮する
方法」これは、図52に示すようにエラーの最小値を示
す視差Dpmにおけるマッチングエラーの大きさをEm
とし、このエラーの値Emが予め設定される閾値より大
きい場合に、誤対応とする方法である。
方法」これは、図52に示すようにエラーの最小値を示
す視差Dpmにおけるマッチングエラーの大きさをEm
とし、このエラーの値Emが予め設定される閾値より大
きい場合に、誤対応とする方法である。
【0039】(このエラーは、マッチングの悪さを示す
ものであり、この値Emが大きい程、誤対応の可能性が
高いと考えられる) 「認識方法2:信頼度を考慮する方法」これは、図53
に示すように、エラーの最小値を示す視差Dpm、及び
この視差の前後の視差におけるマッチングエラーの大き
さを各々Em、Em−1、Em+1として、信頼度を数
式(2)により求め、この求めた信頼度の値が予め設定
される閾値よりも小さい場合に、誤対応とする方法であ
る。
ものであり、この値Emが大きい程、誤対応の可能性が
高いと考えられる) 「認識方法2:信頼度を考慮する方法」これは、図53
に示すように、エラーの最小値を示す視差Dpm、及び
この視差の前後の視差におけるマッチングエラーの大き
さを各々Em、Em−1、Em+1として、信頼度を数
式(2)により求め、この求めた信頼度の値が予め設定
される閾値よりも小さい場合に、誤対応とする方法であ
る。
【0040】 信頼度=(Em−1−Em)+(Em+1−Em) ・・・(2) (この信頼度は、模様の特有性を示すものであり、この
値が小さい程、誤対応の可能性が大きいと考えられる) 「認識方法3:マッチングエラーと信頼度の両方を考慮
する方法」これは、上記認識方法1、2を組み合わせ
て、例えば、マッチングエラーが大きい、または、信頼
度が小さい場合は、誤対応とする方法である。
値が小さい程、誤対応の可能性が大きいと考えられる) 「認識方法3:マッチングエラーと信頼度の両方を考慮
する方法」これは、上記認識方法1、2を組み合わせ
て、例えば、マッチングエラーが大きい、または、信頼
度が小さい場合は、誤対応とする方法である。
【0041】「認識方法4:オクルージョンを考慮する
方法」上記認識方法1〜3では、基準撮像センサを左側
の撮像センサとし、左の撮像センサの画像上に参照ウイ
ンドウを設定して、右側の撮像センサの画像上で類似の
模様を探すという処理を行うようにしているが、この方
法は、上述した処理に加えて、逆に、右の撮像センサの
画像上に参照ウインドウを設定して、左側の撮像センサ
の画像上で類似の模様を探すという処理を行い、左右の
撮像センサの画像上にそれぞれ参照ウインドウを設定し
た場合における両者の視差が一致するかどうかのチェッ
クを行う方法である。
方法」上記認識方法1〜3では、基準撮像センサを左側
の撮像センサとし、左の撮像センサの画像上に参照ウイ
ンドウを設定して、右側の撮像センサの画像上で類似の
模様を探すという処理を行うようにしているが、この方
法は、上述した処理に加えて、逆に、右の撮像センサの
画像上に参照ウインドウを設定して、左側の撮像センサ
の画像上で類似の模様を探すという処理を行い、左右の
撮像センサの画像上にそれぞれ参照ウインドウを設定し
た場合における両者の視差が一致するかどうかのチェッ
クを行う方法である。
【0042】また、従来においては、上述したようなブ
ロックマッチングを全画素について行った視差画像を基
に、任意の視点から見た画像を作成したり、着目した物
体のみを画像から切り出したりする画像処理を行い、所
望の画像を得るようにしたものもある。
ロックマッチングを全画素について行った視差画像を基
に、任意の視点から見た画像を作成したり、着目した物
体のみを画像から切り出したりする画像処理を行い、所
望の画像を得るようにしたものもある。
【0043】さらに、2眼ステレオ視の他に、多眼ステ
レオ視を用いたものもある。この多眼ステレオ視は、対
応点のあいまいさを低減できるため、格段に信頼性を向
上できるので最近良く用いられている。
レオ視を用いたものもある。この多眼ステレオ視は、対
応点のあいまいさを低減できるため、格段に信頼性を向
上できるので最近良く用いられている。
【0044】この多眼ステレオ視による物体認識装置で
は、一般に知られているように、複数の画像センサを、
2台の画像センサからステレオ対に分割し、それぞれの
ステレオ対に対し、上述した2眼ステレオ視の原理を繰
り返し適用する方式である。この場合、複数ある画像セ
ンサの中から基準となる画像センサを選択し、この基準
画像センサと他の画像センサとの間で、ステレオ対を構
成する。そして、各ステレオ対に対して2眼ステレオ視
の場合の処理を適用していく。この結果、基準センサか
ら基準画像センサの視野内に存在する認識物体まで距離
が計測されることになる。
は、一般に知られているように、複数の画像センサを、
2台の画像センサからステレオ対に分割し、それぞれの
ステレオ対に対し、上述した2眼ステレオ視の原理を繰
り返し適用する方式である。この場合、複数ある画像セ
ンサの中から基準となる画像センサを選択し、この基準
画像センサと他の画像センサとの間で、ステレオ対を構
成する。そして、各ステレオ対に対して2眼ステレオ視
の場合の処理を適用していく。この結果、基準センサか
ら基準画像センサの視野内に存在する認識物体まで距離
が計測されることになる。
【0045】
【発明が解決しようとする課題】しかしながら、上記従
来の物体の誤対応の認識方法1〜4では、上述した誤対
応1〜4の全ての問題には対応できないという問題点が
あった。
来の物体の誤対応の認識方法1〜4では、上述した誤対
応1〜4の全ての問題には対応できないという問題点が
あった。
【0046】特に、上記誤対応4の場合(繰り返しの模
様がある場合)には、対応する方法が提案されていな
い。
様がある場合)には、対応する方法が提案されていな
い。
【0047】また、上記認識方法4(オクルージョンを
考慮する方法)では、ブロックマッチングを2回実施
(左右の撮像センサの画像上にそれぞれ参照ウインドウ
を設定した場合の視差を求める)する必要があり、高速
な計測が必要な場合には不利である。なお、この認識方
法4単独では、模様が無い、あるいは、模様が少ない場
合には対応できず、他の認識方法との併用になり、計算
コストが大きくなるという問題があった。
考慮する方法)では、ブロックマッチングを2回実施
(左右の撮像センサの画像上にそれぞれ参照ウインドウ
を設定した場合の視差を求める)する必要があり、高速
な計測が必要な場合には不利である。なお、この認識方
法4単独では、模様が無い、あるいは、模様が少ない場
合には対応できず、他の認識方法との併用になり、計算
コストが大きくなるという問題があった。
【0048】そこで、本発明の第1の課題は、画像間の
誤対応を正確に認識することのできるステレオ画像装置
及び記録媒体を提供することにある。
誤対応を正確に認識することのできるステレオ画像装置
及び記録媒体を提供することにある。
【0049】また従来においては、ブロックマッチング
による画像間の対応づけを行う方法では、画像の輝度差
で対応づけを行うため、求めようとするウインドウ中心
の画素の視差が、回りのコントラストの強い画素の視差
に置き換わってしまい、視差画像上で視差が不連続に変
化する位置と輝度画像上の物体境界の位置がずれてしま
う(境界の不一致)という問題が発生する。
による画像間の対応づけを行う方法では、画像の輝度差
で対応づけを行うため、求めようとするウインドウ中心
の画素の視差が、回りのコントラストの強い画素の視差
に置き換わってしまい、視差画像上で視差が不連続に変
化する位置と輝度画像上の物体境界の位置がずれてしま
う(境界の不一致)という問題が発生する。
【0050】この境界の不一致について説明する。ここ
では、図54(a)に示すように、基準撮像センサ1で
撮像して基準画像#ch1、つまりコントラストの強い
物体72が前にあり、コントラストの弱い物体71が後
ろにある場合において、参照ウインドウWD1内の画素
A(後方物体71を意味する)の視差をブロックマッチ
ングで求める場合を考える。
では、図54(a)に示すように、基準撮像センサ1で
撮像して基準画像#ch1、つまりコントラストの強い
物体72が前にあり、コントラストの弱い物体71が後
ろにある場合において、参照ウインドウWD1内の画素
A(後方物体71を意味する)の視差をブロックマッチ
ングで求める場合を考える。
【0051】この参照ウインドウWD1(ブロック)は
ある程度の大きさ(例えば15*15)が必要なため、
参照ウインドウWD1内に前方物体72(コントラスト
の強い物体)が一部含まれている。
ある程度の大きさ(例えば15*15)が必要なため、
参照ウインドウWD1内に前方物体72(コントラスト
の強い物体)が一部含まれている。
【0052】この状態で、撮像センサ2で撮像した画像
#ch2において、図54(a)中符号Eで示される探
索方向に設定されるウインドウWD2内の画像と 参照
ウインドウWD1内の画像とのマッチングを行うと、本
来の距離である座標位置「B」ではなく、前方物体が含
まれる座標位置「C」、すなわち前方物体の視差位置で
最もマッチング度合いが良くなってしまう。
#ch2において、図54(a)中符号Eで示される探
索方向に設定されるウインドウWD2内の画像と 参照
ウインドウWD1内の画像とのマッチングを行うと、本
来の距離である座標位置「B」ではなく、前方物体が含
まれる座標位置「C」、すなわち前方物体の視差位置で
最もマッチング度合いが良くなってしまう。
【0053】何故ならば、ウインドウWD1内の画素A
(後方物体71)の対応候補点が座標位置「C」の画素
に来たとき、前方物体がウインドウWD1と同様にウイ
ンドウWD2内に一部含まれ、この位置すなわち前方物
体の視差位置で最もマッチング度合いが良くなるからで
ある。
(後方物体71)の対応候補点が座標位置「C」の画素
に来たとき、前方物体がウインドウWD1と同様にウイ
ンドウWD2内に一部含まれ、この位置すなわち前方物
体の視差位置で最もマッチング度合いが良くなるからで
ある。
【0054】このため、ブロックマッチングを全画素に
ついて行った視差画像は、図54(b)に示すように、
前方物体の距離を示す画素が実際より膨らんでしまう。
これは視差画像と輝度画像の境界の不一致である。
ついて行った視差画像は、図54(b)に示すように、
前方物体の距離を示す画素が実際より膨らんでしまう。
これは視差画像と輝度画像の境界の不一致である。
【0055】そして、このような境界の不一致が発生し
た場合に、その視差画像を用いて任意の視点から見た画
像を作成すると、物体の輪郭部が乱れたり、着目物体を
切り出す場合においては、物体と一緒に背景も切り出さ
れてしまうという問題が発生する。
た場合に、その視差画像を用いて任意の視点から見た画
像を作成すると、物体の輪郭部が乱れたり、着目物体を
切り出す場合においては、物体と一緒に背景も切り出さ
れてしまうという問題が発生する。
【0056】そして、従来より、このような境界の不一
致の問題を対処すべく方法または装置が要望されている
ものの、実現されていないのが実状である。
致の問題を対処すべく方法または装置が要望されている
ものの、実現されていないのが実状である。
【0057】なお、境界の不一致の問題を対処すべくも
のとしては、特開平9−27969号公報(以下、公報
1という)および特開平10−28347号公報(以
下、公報2という)に記載されたものが知られている。
のとしては、特開平9−27969号公報(以下、公報
1という)および特開平10−28347号公報(以
下、公報2という)に記載されたものが知られている。
【0058】上記公報1に記載されたものは、物体輪郭
付近に矩形領域を設定し、その領域内の視差の分散か
ら、距離が不連続に変化する位置と物体輪郭の位置とを
一致させるようにしている。
付近に矩形領域を設定し、その領域内の視差の分散か
ら、距離が不連続に変化する位置と物体輪郭の位置とを
一致させるようにしている。
【0059】しかしながら、この公報1のものでは、物
体輪郭を正しく見つけることが困難であるという問題
や、見つかったとしても形状が複雑な場合、うまく対応
できないといった問題がある。
体輪郭を正しく見つけることが困難であるという問題
や、見つかったとしても形状が複雑な場合、うまく対応
できないといった問題がある。
【0060】また、公報2に記載されたものは、ウイン
ドウを段階的に小さくしていき、オクルージョン部の精
度を上げるようにしている。
ドウを段階的に小さくしていき、オクルージョン部の精
度を上げるようにしている。
【0061】しかしながら、この公報2のものでは、境
界部で小さなウインドウを用いても視差を正しく求めら
れるかどうかの記載はなく、また示唆もされておらず、
依然として境界付近に間違った視差を示す画素が残って
しまう。
界部で小さなウインドウを用いても視差を正しく求めら
れるかどうかの記載はなく、また示唆もされておらず、
依然として境界付近に間違った視差を示す画素が残って
しまう。
【0062】そこで、本発明の第2の課題は、画像間の
対応をブロックマッチングにより求めて視差を推定する
際に、視差画像の境界と輝度画像上の物体の境界を精度
良く一致させるこのできるステレオ画像処理装置及び記
録媒体を提供することにある。
対応をブロックマッチングにより求めて視差を推定する
際に、視差画像の境界と輝度画像上の物体の境界を精度
良く一致させるこのできるステレオ画像処理装置及び記
録媒体を提供することにある。
【0063】
【課題を解決するための手段、作用および効果】上記第
1の課題を達成するため、第1の発明では、異なる位置
に配置された複数の撮像手段で撮像された対象物体の画
像を用いて、該複数の撮像手段のうちの基準とする撮像
手段で撮像された前記対象物体の画像中の選択画素と、
他の撮像手段で撮像された前記対象物体の画像中の前記
選択画素に対応する対応候補点を示す画素との間の対応
をブロックマッチングにより求めて視差を推定するステ
レオ画像処理装置において、前記選択画素に対応する画
素として推定される複数の前記対応候補点のそれぞれに
対応する視差を変化させて得られるマッチングエラーと
視差との関係を表すマッチングエラー分布を基に、第1
の対応候補視差と第2の対応候補視差を求めると共に、
前記第1の対応候補視差におけるマッチングエラーの値
と前記第2の対応候補視差におけるマッチングエラーの
値との差を求め、この求めた差が予め設定される閾値以
下の場合は、前記選択画素は誤対応であると認識する認
識手段を備えたことを特徴とする。
1の課題を達成するため、第1の発明では、異なる位置
に配置された複数の撮像手段で撮像された対象物体の画
像を用いて、該複数の撮像手段のうちの基準とする撮像
手段で撮像された前記対象物体の画像中の選択画素と、
他の撮像手段で撮像された前記対象物体の画像中の前記
選択画素に対応する対応候補点を示す画素との間の対応
をブロックマッチングにより求めて視差を推定するステ
レオ画像処理装置において、前記選択画素に対応する画
素として推定される複数の前記対応候補点のそれぞれに
対応する視差を変化させて得られるマッチングエラーと
視差との関係を表すマッチングエラー分布を基に、第1
の対応候補視差と第2の対応候補視差を求めると共に、
前記第1の対応候補視差におけるマッチングエラーの値
と前記第2の対応候補視差におけるマッチングエラーの
値との差を求め、この求めた差が予め設定される閾値以
下の場合は、前記選択画素は誤対応であると認識する認
識手段を備えたことを特徴とする。
【0064】上記第1の発明について、図1及び図2を
参照して説明する。
参照して説明する。
【0065】図2に示すように、対応候補視差抽出部1
04(図1参照)は、マッチングエラーの分布におい
て、第1の対応候補視差と第2の対応候補視差を求め
る。ここでは、最小値Em1のマッチングエラー(1次
ピークエラー)となった視差Dp=m1(第1の対応候
補視差)と、その次に小さい値Em2のマッチングエラ
ー(2次ピークエラー)となった視差Dp=m2(第2
の対応候補視差)を抽出する。
04(図1参照)は、マッチングエラーの分布におい
て、第1の対応候補視差と第2の対応候補視差を求め
る。ここでは、最小値Em1のマッチングエラー(1次
ピークエラー)となった視差Dp=m1(第1の対応候
補視差)と、その次に小さい値Em2のマッチングエラ
ー(2次ピークエラー)となった視差Dp=m2(第2
の対応候補視差)を抽出する。
【0066】誤対応画素認識部105(図1参照)は、
第1の対応候補視差におけるエラーの値と第2の対応候
補視差におけるエラーの値との差(「2次ピークエラー
の値と1次ピークエラーの値との差」)を求め、この差
の値が、予め設定される閾値Thと比較して小さいもの
を誤対応の可能性が大きい画素と認識する。
第1の対応候補視差におけるエラーの値と第2の対応候
補視差におけるエラーの値との差(「2次ピークエラー
の値と1次ピークエラーの値との差」)を求め、この差
の値が、予め設定される閾値Thと比較して小さいもの
を誤対応の可能性が大きい画素と認識する。
【0067】以上説明したように、第1の発明によれ
ば、第1の対応候補視差におけるマッチングエラーの値
と第2の対応候補視差におけるマッチングエラーの値と
の差が閾値以下の場合には、当該第1及び第2の対応候
補視差にそれぞれ対応する画素は誤対応であると認識す
るので、例えば、対象物体に繰り返し模様がある場合
や、対象物体にオクルージョンがある場合であっても、
画像間の誤対応を確実に認識することができる。
ば、第1の対応候補視差におけるマッチングエラーの値
と第2の対応候補視差におけるマッチングエラーの値と
の差が閾値以下の場合には、当該第1及び第2の対応候
補視差にそれぞれ対応する画素は誤対応であると認識す
るので、例えば、対象物体に繰り返し模様がある場合
や、対象物体にオクルージョンがある場合であっても、
画像間の誤対応を確実に認識することができる。
【0068】また、上記第2の課題を達成するため、第
2の発明では、異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、前記基準画像中の画素のエッジ強度を検出するエ
ッジ強度検出手段と、前記基準画像について所定サイズ
の領域を設定し、当該領域内の着目画素を含む全画素に
ついての前記エッジ強度検出手段により検出されたエッ
ジ強度の分布を求め、当該エッジ強度の分布が予め設定
されるエッジ強度の分布に適合する場合は、前記着目画
素を、前記ブロックマッチングによる画像間の対応付け
に基づく視差画像の境界と前記対象物体に対応する輝度
画像の境界とが一致しない旨の境界不一致可能性を示す
画素として検出する画素検出手段とを備えたことを特徴
とする。
2の発明では、異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、前記基準画像中の画素のエッジ強度を検出するエ
ッジ強度検出手段と、前記基準画像について所定サイズ
の領域を設定し、当該領域内の着目画素を含む全画素に
ついての前記エッジ強度検出手段により検出されたエッ
ジ強度の分布を求め、当該エッジ強度の分布が予め設定
されるエッジ強度の分布に適合する場合は、前記着目画
素を、前記ブロックマッチングによる画像間の対応付け
に基づく視差画像の境界と前記対象物体に対応する輝度
画像の境界とが一致しない旨の境界不一致可能性を示す
画素として検出する画素検出手段とを備えたことを特徴
とする。
【0069】第2の発明について、図3及び図4を参照
して説明する。
して説明する。
【0070】図4に示すように、境界不一致可能性画素
検出部204(図3参照)は、基準画像#ch1の画像
データを基に基準画像#ch1について所定のエッジ強
度を計算する(ステップS101)。
検出部204(図3参照)は、基準画像#ch1の画像
データを基に基準画像#ch1について所定のエッジ強
度を計算する(ステップS101)。
【0071】この検出処理は、図54(b)に示したよ
うに実際の物体境界と一致しない可能性、すなわち膨ら
み部分となる可能性を示す境界不一致を引き起こす可能
性がある画素を検出するために行う。
うに実際の物体境界と一致しない可能性、すなわち膨ら
み部分となる可能性を示す境界不一致を引き起こす可能
性がある画素を検出するために行う。
【0072】すなわち、上記エッジ強度の平均値a5が
予め設定される閾値th1以上か否かを判断し(ステッ
プS102)、閾値th1以上の場合には着目画素は境
界不一致可能性なしと判定し(ステップS103)、一
方、閾値th1より小さい場合は、エッジ強度の平均値
a9が予め設定される閾値th2以上か否か、あるいは
(平均値b95−平均値a5)の値が予め設定される閾
値th3以上か否かを判断する(ステップS104)。
予め設定される閾値th1以上か否かを判断し(ステッ
プS102)、閾値th1以上の場合には着目画素は境
界不一致可能性なしと判定し(ステップS103)、一
方、閾値th1より小さい場合は、エッジ強度の平均値
a9が予め設定される閾値th2以上か否か、あるいは
(平均値b95−平均値a5)の値が予め設定される閾
値th3以上か否かを判断する(ステップS104)。
【0073】平均値a9が閾値th2以上あるいは(平
均値b95−平均値a5)の値が閾値th3以上の場合
には、着目画素は境界不一致可能性ありと判定し(ステ
ップS105)、一方、これらの平均値が閾値より小さ
い場合は、着目画素は境界不一致可能性なしと判定する
(ステップS106)。
均値b95−平均値a5)の値が閾値th3以上の場合
には、着目画素は境界不一致可能性ありと判定し(ステ
ップS105)、一方、これらの平均値が閾値より小さ
い場合は、着目画素は境界不一致可能性なしと判定する
(ステップS106)。
【0074】そして、境界不一致可能性ありと判定され
た画素(着目画素)については、境界不一致可能性を示
す旨を付与して境界不一致可能性画素とする。
た画素(着目画素)については、境界不一致可能性を示
す旨を付与して境界不一致可能性画素とする。
【0075】このような境界不一致可能性画素検出処理
は、基準画像#ch1の全画素について(各画素がそれ
ぞれ着目画素として)実施される。
は、基準画像#ch1の全画素について(各画素がそれ
ぞれ着目画素として)実施される。
【0076】以上説明したように、第2の発明によれ
ば、所定サイズの領域のエッジ強度の分布を考慮して境
界不一致の推定を行うので、ウインドウサイズを変更し
て再度視差計算を行ったり、物体の輪郭を抽出したりす
ることなく、視差画像と輝度画像の境界を精度良く簡単
に推定できる。
ば、所定サイズの領域のエッジ強度の分布を考慮して境
界不一致の推定を行うので、ウインドウサイズを変更し
て再度視差計算を行ったり、物体の輪郭を抽出したりす
ることなく、視差画像と輝度画像の境界を精度良く簡単
に推定できる。
【0077】また、上記第2の課題を達成するため、第
3の発明では、異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、前記ブロックマッチングによる画像間の対応付け
に基づく視差画像を生成する生成手段と、前記基準画像
中の画素のエッジ強度を検出するエッジ強度検出手段
と、前記基準画像について所定サイズの領域を設定し、
当該領域内の着目画素を含む全画素についての前記エッ
ジ強度検出手段により検出されたエッジ強度の分布を求
め、当該エッジ強度の分布が予め設定されるエッジ強度
の分布に適合する場合は、前記着目画素を、前記生成手
段により生成された視差画像の境界と前記対象物体に対
応する輝度画像の境界とが一致しない旨の境界不一致可
能性を示す画素として検出する画素検出手段と、前記生
成手段により生成された視差画像に対して、前記画素検
出手段により検出された前記境界不一致可能性を示す画
素に対応する画素を視差画像としない処理を施して、最
終的な視差画像を生成する視差画像生成手段とを備えた
ことを特徴とする。
3の発明では、異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、前記ブロックマッチングによる画像間の対応付け
に基づく視差画像を生成する生成手段と、前記基準画像
中の画素のエッジ強度を検出するエッジ強度検出手段
と、前記基準画像について所定サイズの領域を設定し、
当該領域内の着目画素を含む全画素についての前記エッ
ジ強度検出手段により検出されたエッジ強度の分布を求
め、当該エッジ強度の分布が予め設定されるエッジ強度
の分布に適合する場合は、前記着目画素を、前記生成手
段により生成された視差画像の境界と前記対象物体に対
応する輝度画像の境界とが一致しない旨の境界不一致可
能性を示す画素として検出する画素検出手段と、前記生
成手段により生成された視差画像に対して、前記画素検
出手段により検出された前記境界不一致可能性を示す画
素に対応する画素を視差画像としない処理を施して、最
終的な視差画像を生成する視差画像生成手段とを備えた
ことを特徴とする。
【0078】上記第3の発明について、図3、図12及
び図13を参照して説明する。
び図13を参照して説明する。
【0079】図12に示すように、初期視差推定部20
3(図3参照)は、ブロックマッチングによる初期視差
を推定して、図13に示すような視差画像211を作成
する(ステップS112)。
3(図3参照)は、ブロックマッチングによる初期視差
を推定して、図13に示すような視差画像211を作成
する(ステップS112)。
【0080】視差画像211において、前方視差211
aは前方物体210aに対応するものであり、後方視差
211bは後方物体210bに対応するものである。し
かし、実際の前方物体210aに対応する視差の境界
は、視差画像211においては実際の境界211cであ
る。
aは前方物体210aに対応するものであり、後方視差
211bは後方物体210bに対応するものである。し
かし、実際の前方物体210aに対応する視差の境界
は、視差画像211においては実際の境界211cであ
る。
【0081】境界不一致可能性画素検出部204(図3
参照)は、画像データ記憶部202に記憶されている基
準画像#ch1及び参照画像#ch2を基に、図4に示
した処理手順に従って境界不一致可能性画素を検出する
と共に、この境界不一致可能性画素を基に、図13に示
すように境界不一致可能性画素を示す画像212を生成
する(ステップS113)。
参照)は、画像データ記憶部202に記憶されている基
準画像#ch1及び参照画像#ch2を基に、図4に示
した処理手順に従って境界不一致可能性画素を検出する
と共に、この境界不一致可能性画素を基に、図13に示
すように境界不一致可能性画素を示す画像212を生成
する(ステップS113)。
【0082】視差画像生成部205(図3参照)は、初
期視差推定部203により求められた視差画像におい
て、視差不連続画素を検出する。
期視差推定部203により求められた視差画像におい
て、視差不連続画素を検出する。
【0083】これは、ある画素aの視差値dp(a)、
この画素aの周り8近傍の画素が持つ視差値のうち、最
小のもの(撮像センサから最も離れていることを示すも
の)をdp(b)、一方、最大のもの(撮像センサに最
も近いことを示すもの)をdp(c)とした場合に、数
式(5)または数式(6)が成立するときの画素aを、
視差不連続画素とする。
この画素aの周り8近傍の画素が持つ視差値のうち、最
小のもの(撮像センサから最も離れていることを示すも
の)をdp(b)、一方、最大のもの(撮像センサに最
も近いことを示すもの)をdp(c)とした場合に、数
式(5)または数式(6)が成立するときの画素aを、
視差不連続画素とする。
【0084】 dp(a)−dp(b)>th(dp) ・・・(5) dp(a)−dp(c)<−th(dp) ・・・(6) 但し、th(dp)は視差不連続とみなすための視差値
の差の閾値を表す。
の差の閾値を表す。
【0085】このようにして得られた視差不連続画素
は、図13に示す画像213における視差不連続画素2
13aのように、実際の境界よりも膨らんだ境界を表現
している。
は、図13に示す画像213における視差不連続画素2
13aのように、実際の境界よりも膨らんだ境界を表現
している。
【0086】そして、視差画像生成部205は、画像2
13における視差不連続画素213aが、画像212に
おける境界不一致可能性画素212aの場合、その画素
の視差を、計測不能を示す「−1」にする。
13における視差不連続画素213aが、画像212に
おける境界不一致可能性画素212aの場合、その画素
の視差を、計測不能を示す「−1」にする。
【0087】次に、画像212における境界不一致可能
性画素をラベリングし、このラベリングされた領域が、
視差「−1」の画素を含む場合、その領域の全ての画素
を計測不能を示す「−1」にする。
性画素をラベリングし、このラベリングされた領域が、
視差「−1」の画素を含む場合、その領域の全ての画素
を計測不能を示す「−1」にする。
【0088】最後に、図13に示すように、視差画像の
不連続位置(視差が不連続に変化する位置)が実際の物
体の不連続位置に一致する最終的な視差画像214を生
成する(ステップS114)。
不連続位置(視差が不連続に変化する位置)が実際の物
体の不連続位置に一致する最終的な視差画像214を生
成する(ステップS114)。
【0089】以上説明したように、第3の発明によれ
ば、生成手段により生成された視差画像に対して、画素
検出手段により検出された境界不一致可能性を示す画素
に対応する画素を視差画像としない処理を施して、最終
的な視差画像を生成するようにしているので、視差画像
の境界と輝度画像の境界とを精度良く一致させることが
できる。よって、膨らみのない視差画像を生成すること
ができる。
ば、生成手段により生成された視差画像に対して、画素
検出手段により検出された境界不一致可能性を示す画素
に対応する画素を視差画像としない処理を施して、最終
的な視差画像を生成するようにしているので、視差画像
の境界と輝度画像の境界とを精度良く一致させることが
できる。よって、膨らみのない視差画像を生成すること
ができる。
【0090】さらに、上記第2の課題を達成するため、
第4の発明では、異なる位置に配置された複数の撮像手
段で撮像された対象物体の画像を用いて、該複数の撮像
手段のうちの基準とする撮像手段で撮像された前記対象
物体の画像を示す基準画像と、他の撮像手段で撮像され
た前記対象物体の画像との間の対応をブロックマッチン
グにより求めて視差を推定するステレオ画像処理装置に
おいて、前記ブロックマッチングによる画像間の対応付
けに基づく視差画像を生成する生成手段と、前記生成手
段により生成された視差画像中の画素のエッジ強度を検
出するエッジ強度検出手段と、前記生成手段により生成
された視差画像から、視差が不連続に変化する不連続境
界および前記対象物体に対応する輝度画像の境界を検出
すると共に、前記生成手段により生成された視差画像に
対して前記不連続境界を前記輝度画像の境界まで移動す
る境界移動手段と、前記境界移動手段による移動後の前
記不連続境界に基づく視差画像を生成する視差画像生成
手段とを備えたことを特徴とする。
第4の発明では、異なる位置に配置された複数の撮像手
段で撮像された対象物体の画像を用いて、該複数の撮像
手段のうちの基準とする撮像手段で撮像された前記対象
物体の画像を示す基準画像と、他の撮像手段で撮像され
た前記対象物体の画像との間の対応をブロックマッチン
グにより求めて視差を推定するステレオ画像処理装置に
おいて、前記ブロックマッチングによる画像間の対応付
けに基づく視差画像を生成する生成手段と、前記生成手
段により生成された視差画像中の画素のエッジ強度を検
出するエッジ強度検出手段と、前記生成手段により生成
された視差画像から、視差が不連続に変化する不連続境
界および前記対象物体に対応する輝度画像の境界を検出
すると共に、前記生成手段により生成された視差画像に
対して前記不連続境界を前記輝度画像の境界まで移動す
る境界移動手段と、前記境界移動手段による移動後の前
記不連続境界に基づく視差画像を生成する視差画像生成
手段とを備えたことを特徴とする。
【0091】上記第4の発明について、図29、図30
及び図31を参照して説明する。
及び図31を参照して説明する。
【0092】初期視差不連続境界検出部311(図29
参照)は、初期視差推定部203によるブロックマッチ
ングにより求められた視差画像において視差不連続画素
を検出し、この検出した視差不連続画素を、計測不能を
示す「−1」にする(図30のステップS153)。図
31に示す画像411参照。
参照)は、初期視差推定部203によるブロックマッチ
ングにより求められた視差画像において視差不連続画素
を検出し、この検出した視差不連続画素を、計測不能を
示す「−1」にする(図30のステップS153)。図
31に示す画像411参照。
【0093】エッジ検出部316(図29参照)は、基
準画像のエッジ強度を例えばソーベルフィルタ(エッジ
強調フィルタ)により計算し、この計算結果(基準画像
のエッジ強度の値)を「e」とし、このエッジ強度eが
閾値th1以上の画素を「1」とし、それ以外の画素を
「0」とするエッジ画像(図31エッジ画像412)を
作成する(図30のステップS154)。
準画像のエッジ強度を例えばソーベルフィルタ(エッジ
強調フィルタ)により計算し、この計算結果(基準画像
のエッジ強度の値)を「e」とし、このエッジ強度eが
閾値th1以上の画素を「1」とし、それ以外の画素を
「0」とするエッジ画像(図31エッジ画像412)を
作成する(図30のステップS154)。
【0094】境界移動部317(図29参照)は、初期
視差推定部203により得られた視差画像(図31に示
す視差画像411)の中で、視差値「−1」を持つ画素
に接してかつ視差値が「−1」でない画素を検出する。
図31に示す視差画像411の前方視差411aを示す
画素領域においては、視差不連続画素411dが計測不
能(「−1」)とされる。
視差推定部203により得られた視差画像(図31に示
す視差画像411)の中で、視差値「−1」を持つ画素
に接してかつ視差値が「−1」でない画素を検出する。
図31に示す視差画像411の前方視差411aを示す
画素領域においては、視差不連続画素411dが計測不
能(「−1」)とされる。
【0095】こうして検出した画素の周りにw1*w2
のウインドウを設定し、その後、数式(15)を計算す
る。
のウインドウを設定し、その後、数式(15)を計算す
る。
【0096】 d=Σ(e(i)*m(i))/n−ee (i=0〜w1*w2) ・・・(15) ただし、iはウインドウ内の画素の位置を表し、mは位
置iに存在する画素の視差値が「−1」なら0、それ以
外なら1を表し、eはエッジ強度を表し、eeは検出し
た画素のエッジ強度を表し、nはm(i)が1である数
を表す。
置iに存在する画素の視差値が「−1」なら0、それ以
外なら1を表し、eはエッジ強度を表し、eeは検出し
た画素のエッジ強度を表し、nはm(i)が1である数
を表す。
【0097】数式(15)を演算して得られた値dが予
め設定される閾値th1以上なら、この検出した画素の
視差を計測不能を示す「−1」にする。
め設定される閾値th1以上なら、この検出した画素の
視差を計測不能を示す「−1」にする。
【0098】この操作を1回あるいは複数回繰り返すこ
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部を輝度画像の境界と一致させる
(図30のステップS155)。
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部を輝度画像の境界と一致させる
(図30のステップS155)。
【0099】そして、視差画像生成部313(図29参
照)は、輝度画像の境界と視差画像の境界が一致した視
差画像(図31に示す視差画像432)を生成する(図
30のステップS156)。
照)は、輝度画像の境界と視差画像の境界が一致した視
差画像(図31に示す視差画像432)を生成する(図
30のステップS156)。
【0100】以上説明したように、第4の発明によれ
ば、生成手段により生成された視差画像に対して不連続
境界を輝度画像の境界まで移動し、この移動後の不連続
境界に基づいて視差画像を生成するようにしているの
で、視差画像と輝度画像の境界を精度良く簡単に一致さ
せることができる。
ば、生成手段により生成された視差画像に対して不連続
境界を輝度画像の境界まで移動し、この移動後の不連続
境界に基づいて視差画像を生成するようにしているの
で、視差画像と輝度画像の境界を精度良く簡単に一致さ
せることができる。
【0101】また、上記第1の解決課題を達成するた
め、第5の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像中
の選択画素と他の撮像手段で撮像された前記対象物体の
画像中の前記選択画素に対応する画素として推定される
複数の対応候補点の画素との間のブロックマッチングに
より求められるマッチングエラーと、視差を変化させて
得られる各視差との対応関係を表すマッチングエラー分
布を基に、第1の対応候補視差および第2の対応候補視
差を求めるステップと、前記第1の対応候補視差におけ
るマッチングエラーの値と前記第2の対応候補視差にお
けるマッチングエラーの値との差を求め、この求めた差
が予め設定される閾値以下の場合は、前記選択画素は誤
対応であると認識するステップとをコンピュータに実行
させるためのプログラムを記録したことを特徴とする。
め、第5の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像中
の選択画素と他の撮像手段で撮像された前記対象物体の
画像中の前記選択画素に対応する画素として推定される
複数の対応候補点の画素との間のブロックマッチングに
より求められるマッチングエラーと、視差を変化させて
得られる各視差との対応関係を表すマッチングエラー分
布を基に、第1の対応候補視差および第2の対応候補視
差を求めるステップと、前記第1の対応候補視差におけ
るマッチングエラーの値と前記第2の対応候補視差にお
けるマッチングエラーの値との差を求め、この求めた差
が予め設定される閾値以下の場合は、前記選択画素は誤
対応であると認識するステップとをコンピュータに実行
させるためのプログラムを記録したことを特徴とする。
【0102】また、上記第2の解決課題を達成するた
め、第6の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像中の画素のエッジ強度を検出するエッジ強
度検出ステップと、前記基準画像について所定サイズの
領域を設定し、当該領域内の着目画素を含む全画素につ
いての前記エッジ強度検出ステップにより検出されたエ
ッジ強度の分布を求める求ステップと、前記求ステップ
により求められたエッジ強度の分布が予め設定されるエ
ッジ強度の分布に適合する場合は、前記着目画素を、前
記基準とする撮像手段とは異なる他の撮像手段で撮像さ
れた前記対象物体の画像と前記基準画像との間のブロッ
クマッチングによる対応付けに基づく視差画像の境界
と、前記対象物体に対応する輝度画像の境界とが一致し
ない旨の境界不一致可能性を示す画素として検出する画
素検出ステップとをコンピュータに実行させるためのプ
ログラムを記録したことを特徴とする。
め、第6の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像中の画素のエッジ強度を検出するエッジ強
度検出ステップと、前記基準画像について所定サイズの
領域を設定し、当該領域内の着目画素を含む全画素につ
いての前記エッジ強度検出ステップにより検出されたエ
ッジ強度の分布を求める求ステップと、前記求ステップ
により求められたエッジ強度の分布が予め設定されるエ
ッジ強度の分布に適合する場合は、前記着目画素を、前
記基準とする撮像手段とは異なる他の撮像手段で撮像さ
れた前記対象物体の画像と前記基準画像との間のブロッ
クマッチングによる対応付けに基づく視差画像の境界
と、前記対象物体に対応する輝度画像の境界とが一致し
ない旨の境界不一致可能性を示す画素として検出する画
素検出ステップとをコンピュータに実行させるためのプ
ログラムを記録したことを特徴とする。
【0103】また、上記第2の解決課題を達成するた
め、第7の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像と他の撮像手段で撮像された前記対象物体
の画像との間のブロックマッチングによる対応付けに基
づく、視差画像を生成する生成ステップと、前記基準画
像中の画素のエッジ強度を検出するエッジ強度検出ステ
ップと、前記基準画像について所定サイズの領域を設定
し、当該領域内の着目画素を含む全画素についての前記
エッジ強度検出ステップにより検出されたエッジ強度の
分布を求める求ステップと、前記求ステップにより求め
られたエッジ強度の分布が予め設定されるエッジ強度の
分布に適合する場合は、前記着目画素を、前記生成ステ
ップにより生成された視差画像の境界と前記対象物体に
対応する輝度画像の境界とが一致しない旨の境界不一致
可能性を示す画素として検出する画素検出ステップと、
前記生成ステップにより生成された視差画像に対して、
前記画素検出ステップにより検出された前記境界不一致
可能性を示す画素に対応する画素を視差画像としない処
理を施して、最終的な視差画像を生成する視差画像生成
ステップとをコンピュータに実行させるためのプログラ
ムを記録したことを特徴とする。
め、第7の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像と他の撮像手段で撮像された前記対象物体
の画像との間のブロックマッチングによる対応付けに基
づく、視差画像を生成する生成ステップと、前記基準画
像中の画素のエッジ強度を検出するエッジ強度検出ステ
ップと、前記基準画像について所定サイズの領域を設定
し、当該領域内の着目画素を含む全画素についての前記
エッジ強度検出ステップにより検出されたエッジ強度の
分布を求める求ステップと、前記求ステップにより求め
られたエッジ強度の分布が予め設定されるエッジ強度の
分布に適合する場合は、前記着目画素を、前記生成ステ
ップにより生成された視差画像の境界と前記対象物体に
対応する輝度画像の境界とが一致しない旨の境界不一致
可能性を示す画素として検出する画素検出ステップと、
前記生成ステップにより生成された視差画像に対して、
前記画素検出ステップにより検出された前記境界不一致
可能性を示す画素に対応する画素を視差画像としない処
理を施して、最終的な視差画像を生成する視差画像生成
ステップとをコンピュータに実行させるためのプログラ
ムを記録したことを特徴とする。
【0104】さらに、上記第2の解決課題を達成するた
め、第8の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像と他の撮像手段で撮像された前記対象物体
の画像との間のブロックマッチングによる対応付けに基
づく、視差画像を生成する生成ステップと、前記生成ス
テップにより生成された視差画像中の画素のエッジ強度
を検出するエッジ強度検出ステップと、前記生成ステッ
プにより生成された視差画像から、視差が不連続に変化
する不連続境界および前記対象物体に対応する輝度画像
の境界を検出すると共に、前記生成ステップにより生成
された視差画像に対して前記不連続境界を前記輝度画像
の境界まで移動する境界移動ステップと、前記境界移動
ステップにより移動された移動後の前記不連続境界に基
づく視差画像を生成する視差画像生成ステップとをコン
ピュータに実行させるためのプログラムを記録したこと
を特徴とする。
め、第8の発明に係るコンピュータ読み取り可能な記録
媒体では、異なる位置に配置された複数の撮像手段のう
ちの基準とする撮像手段で撮像された対象物体の画像を
示す基準画像と他の撮像手段で撮像された前記対象物体
の画像との間のブロックマッチングによる対応付けに基
づく、視差画像を生成する生成ステップと、前記生成ス
テップにより生成された視差画像中の画素のエッジ強度
を検出するエッジ強度検出ステップと、前記生成ステッ
プにより生成された視差画像から、視差が不連続に変化
する不連続境界および前記対象物体に対応する輝度画像
の境界を検出すると共に、前記生成ステップにより生成
された視差画像に対して前記不連続境界を前記輝度画像
の境界まで移動する境界移動ステップと、前記境界移動
ステップにより移動された移動後の前記不連続境界に基
づく視差画像を生成する視差画像生成ステップとをコン
ピュータに実行させるためのプログラムを記録したこと
を特徴とする。
【0105】第5の発明は、第1の発明に係るステレオ
画像処理装置が実行すべき処理に基づく処理手順を示す
プログラムを記録したコンピュータ読み取り可能な記録
媒体として捉えたものである。この第5の発明によれ
ば、上記第1の発明と同様の作用効果を得ることができ
る。
画像処理装置が実行すべき処理に基づく処理手順を示す
プログラムを記録したコンピュータ読み取り可能な記録
媒体として捉えたものである。この第5の発明によれ
ば、上記第1の発明と同様の作用効果を得ることができ
る。
【0106】また、第6の発明は第2の発明に係るステ
レオ画像処理装置が実行すべき処理に基づく処理手順を
示すプログラムを記録したコンピュータ読み取り可能な
記録媒体として捉えたものである。この第6の発明によ
れば、上記第2の発明と同様の作用効果を得ることがで
きる。
レオ画像処理装置が実行すべき処理に基づく処理手順を
示すプログラムを記録したコンピュータ読み取り可能な
記録媒体として捉えたものである。この第6の発明によ
れば、上記第2の発明と同様の作用効果を得ることがで
きる。
【0107】また、第7の発明は第3の発明に係るステ
レオ画像処理装置が実行すべき処理に基づく処理手順を
示すプログラムを記録したコンピュータ読み取り可能な
記録媒体として捉えたものである。この第7の発明によ
れば、上記第3の発明と同様の作用効果を得ることがで
きる。
レオ画像処理装置が実行すべき処理に基づく処理手順を
示すプログラムを記録したコンピュータ読み取り可能な
記録媒体として捉えたものである。この第7の発明によ
れば、上記第3の発明と同様の作用効果を得ることがで
きる。
【0108】さらに、第8の発明は第4の発明に係るス
テレオ画像処理装置が実行すべき処理に基づく処理手順
を示すプログラムを記録したコンピュータ読み取り可能
な記録媒体として捉えたものである。この第8の発明に
よれば、上記第4の発明と同様の作用効果を得ることが
できる。
テレオ画像処理装置が実行すべき処理に基づく処理手順
を示すプログラムを記録したコンピュータ読み取り可能
な記録媒体として捉えたものである。この第8の発明に
よれば、上記第4の発明と同様の作用効果を得ることが
できる。
【0109】
【発明の実施の形態】以下、本発明の実施形態を添付図
面を参照して説明する。
面を参照して説明する。
【0110】図1は、本実施形態の2眼ステレオ視によ
る物体認識装置100の構成を示すブロック図である。
る物体認識装置100の構成を示すブロック図である。
【0111】なお、本実施形態では、2眼ステレオ視を
行う撮像手段として図45に示す配置関係の画像センサ
1、2を想定している。
行う撮像手段として図45に示す配置関係の画像センサ
1、2を想定している。
【0112】同図に示すように、基準画像入力部101
には、視差Dp(距離z)を算出する際に基準となる画
像センサ1で撮像された基準画像#ch1が取り込まれ
る。一方、参照画像入力部102には、画像センサ2で
撮像された画像#ch2が上記画像#ch1と同一時刻
に取り込まれる。
には、視差Dp(距離z)を算出する際に基準となる画
像センサ1で撮像された基準画像#ch1が取り込まれ
る。一方、参照画像入力部102には、画像センサ2で
撮像された画像#ch2が上記画像#ch1と同一時刻
に取り込まれる。
【0113】対応点探索部103は、位置情報部103
Aとマッチング部103Bとから構成されており、例え
ばブロックマッチングを行う。
Aとマッチング部103Bとから構成されており、例え
ばブロックマッチングを行う。
【0114】位置情報部103Aは、基準画像#ch1
の各画素に対して、仮定した距離zn毎に、画像センサ
2の画像#ch2の対応候補点の位置情報を記憶、格納
しており、これを読み出すことにより対応候補点の位置
座標を得る。
の各画素に対して、仮定した距離zn毎に、画像センサ
2の画像#ch2の対応候補点の位置情報を記憶、格納
しており、これを読み出すことにより対応候補点の位置
座標を得る。
【0115】すなわち、位置情報部103Aから対応点
の位置座標を読み出し、次に、基準画像センサ1の基準
画像#ch1の中から所定位置(i,j)で特定される
選択画素P1が選択されると共に、認識対象物体までの
距離zが仮定される。
の位置座標を読み出し、次に、基準画像センサ1の基準
画像#ch1の中から所定位置(i,j)で特定される
選択画素P1が選択されると共に、認識対象物体までの
距離zが仮定される。
【0116】そして、この仮定距離zに対応する他方の
画像センサ2の画像#ch2内の対応候補点P2の位置
座標(X2,Y2)が読み出される。マッチング部10
3Bは、基準画像#ch1の選択画素P1の位置座標を
中心とするウインドウWD1を切り出すと共に、画像セ
ンサ2の画像#ch2の対応候補点P2の位置座標を中
心とするウインドウWD2を切り出し、これらウインド
ウWD1、WD2同士についてパターンマッチングを行
うことにより、マッチングエラーを算出する。
画像センサ2の画像#ch2内の対応候補点P2の位置
座標(X2,Y2)が読み出される。マッチング部10
3Bは、基準画像#ch1の選択画素P1の位置座標を
中心とするウインドウWD1を切り出すと共に、画像セ
ンサ2の画像#ch2の対応候補点P2の位置座標を中
心とするウインドウWD2を切り出し、これらウインド
ウWD1、WD2同士についてパターンマッチングを行
うことにより、マッチングエラーを算出する。
【0117】ここで、画像#ch2において同一のY座
標値(座標(i,j)のj値)で、X方向に1画素ずつ
移動(座標(i,j)のi値が変更)させたときのウイ
ンドウWD2と参照ウインドウWD1とのパターンマッ
チングを実施した場合のマッチングエラーの分布例を図
2に示す。
標値(座標(i,j)のj値)で、X方向に1画素ずつ
移動(座標(i,j)のi値が変更)させたときのウイ
ンドウWD2と参照ウインドウWD1とのパターンマッ
チングを実施した場合のマッチングエラーの分布例を図
2に示す。
【0118】このパターンマッチングは各視差Dp(仮
定距離z)毎に行われる。そして同様のパターンマッチ
ングが、基準画像#ch1の各画素毎に全画素について
行われる。
定距離z)毎に行われる。そして同様のパターンマッチ
ングが、基準画像#ch1の各画素毎に全画素について
行われる。
【0119】対応候補視差抽出部104は、マッチング
エラーの分布を基に、例えば図2に示すマッチングエラ
ーの分布において、第1の対応候補視差と第2の対応候
補視差を求める。ここでは、最小値Em1のマッチング
エラー(1次ピークエラー)となった視差Dp=m1
(第1の対応候補視差)と、その次に小さい値Em2の
マッチングエラー(2次ピークエラー)となった視差D
p=m2(第2の対応候補視差)を抽出する。
エラーの分布を基に、例えば図2に示すマッチングエラ
ーの分布において、第1の対応候補視差と第2の対応候
補視差を求める。ここでは、最小値Em1のマッチング
エラー(1次ピークエラー)となった視差Dp=m1
(第1の対応候補視差)と、その次に小さい値Em2の
マッチングエラー(2次ピークエラー)となった視差D
p=m2(第2の対応候補視差)を抽出する。
【0120】これら第1および第2の対応候補視差が抽
出された場合には、画像センサ2で撮像された画像#c
h2における対応候補点の画素を知ることができる。
出された場合には、画像センサ2で撮像された画像#c
h2における対応候補点の画素を知ることができる。
【0121】誤対応画素認識部105は、第1の対応候
補視差におけるエラーの値と第2の対応候補視差におけ
るエラーの値との差(「2次ピークエラーの値と1次ピ
ークエラーの値との差」)を求め、この差の値が、予め
設定される閾値Thと比較して小さいものを誤対応の可
能性が大きい画素と認識する。
補視差におけるエラーの値と第2の対応候補視差におけ
るエラーの値との差(「2次ピークエラーの値と1次ピ
ークエラーの値との差」)を求め、この差の値が、予め
設定される閾値Thと比較して小さいものを誤対応の可
能性が大きい画素と認識する。
【0122】すなわち、「Em2−Em1」の値が閾値
Thよりも小さい場合には、1次ピークエラーを発生し
ている第1の対応候補視差(Dp=m1)に対応する対
応候補点の画素、および2次ピークエラーを発生してい
る第2の対応候補視差(Dp=m2)に対応する対応候
補点の画素は、それぞれ誤対応の画素であると認識され
る。またこのとき、基準画像#ch1中の選択画素P1
も誤対応であると認識される。すなわち、第1及び第2
の対応候補視差にそれぞれ対応する画素と、選択画素P
1とは誤対応であると認識される。
Thよりも小さい場合には、1次ピークエラーを発生し
ている第1の対応候補視差(Dp=m1)に対応する対
応候補点の画素、および2次ピークエラーを発生してい
る第2の対応候補視差(Dp=m2)に対応する対応候
補点の画素は、それぞれ誤対応の画素であると認識され
る。またこのとき、基準画像#ch1中の選択画素P1
も誤対応であると認識される。すなわち、第1及び第2
の対応候補視差にそれぞれ対応する画素と、選択画素P
1とは誤対応であると認識される。
【0123】なお、マッチングエラーのピーク(最小
値)が1つしか存在しない場合には、「Em2−Em
1」=閾値Thよりも非常に大きい値(例えば∞)と定
義すればよく、この場合は、当該マッチングエラーのピ
ーク(最小値)を発生している対応候補視差に対応する
対応候補点の画素が、対応点として認識される。
値)が1つしか存在しない場合には、「Em2−Em
1」=閾値Thよりも非常に大きい値(例えば∞)と定
義すればよく、この場合は、当該マッチングエラーのピ
ーク(最小値)を発生している対応候補視差に対応する
対応候補点の画素が、対応点として認識される。
【0124】上述したように、マッチングエラー分布を
基に、第1の対応候補視差と第2の対応候補視差を求め
ると共に、第1の対応候補視差におけるマッチングエラ
ーの値と第2の対応候補視差におけるマッチングエラー
の値との差を求め、この求めた差が予め設定される閾値
以下の場合は、第1及び第2の対応候補視差にそれぞれ
対応する画素、及び基準画像#ch1中の選択画素につ
いては誤対応であると認識するようにしているので、上
述した従来技術の欄で述べた誤対応1(模様がない場
合)、誤対応2(模様が少ない場合)、誤対応3(繰り
返し模様がある場合)および誤対応4(オクルージョン
がある場合)全てを正確に認識することができる。
基に、第1の対応候補視差と第2の対応候補視差を求め
ると共に、第1の対応候補視差におけるマッチングエラ
ーの値と第2の対応候補視差におけるマッチングエラー
の値との差を求め、この求めた差が予め設定される閾値
以下の場合は、第1及び第2の対応候補視差にそれぞれ
対応する画素、及び基準画像#ch1中の選択画素につ
いては誤対応であると認識するようにしているので、上
述した従来技術の欄で述べた誤対応1(模様がない場
合)、誤対応2(模様が少ない場合)、誤対応3(繰り
返し模様がある場合)および誤対応4(オクルージョン
がある場合)全てを正確に認識することができる。
【0125】例えば、誤対応3(繰り返し模様がある場
合)の例では、図50に示すマッチングエラー分布とな
り、また誤対応4(オクルージョンがある場合)の例で
は、図51に示すマッチングエラー分布となるが、何れ
の場合も、視差Dp=m1及び視差Dp=m2でマッチ
ングエラーが最小となり、視差が一意に求まらず、画像
間の誤対応が発生している。
合)の例では、図50に示すマッチングエラー分布とな
り、また誤対応4(オクルージョンがある場合)の例で
は、図51に示すマッチングエラー分布となるが、何れ
の場合も、視差Dp=m1及び視差Dp=m2でマッチ
ングエラーが最小となり、視差が一意に求まらず、画像
間の誤対応が発生している。
【0126】これに対し、本実施形態では、この場合に
は、第1の対応候補視差(視差Dp=m1)におけるマ
ッチングエラーの値と第2の対応候補視差(視差Dp=
m2)におけるマッチングエラーの値との差は、閾値以
下となるため、視差Dp=m1および視差Dp=m2に
それぞれ対応する画素は誤対応であると認識することが
できる。勿論、これらの画素に対応する基準画像#ch
1中の選択画素P1も誤対応であると認識される。
は、第1の対応候補視差(視差Dp=m1)におけるマ
ッチングエラーの値と第2の対応候補視差(視差Dp=
m2)におけるマッチングエラーの値との差は、閾値以
下となるため、視差Dp=m1および視差Dp=m2に
それぞれ対応する画素は誤対応であると認識することが
できる。勿論、これらの画素に対応する基準画像#ch
1中の選択画素P1も誤対応であると認識される。
【0127】なお、本実施形態では、誤対応画素認識部
105は、2次ピークエラーと1次ピークエラーとの差
が予め設定される閾値Thより小さい場合に、当該各ピ
ークエラーにそれぞれ対応する対応候補点の画素を誤対
応であると認識するようにしたが、これに限定されるこ
となく、次のようにして良い。
105は、2次ピークエラーと1次ピークエラーとの差
が予め設定される閾値Thより小さい場合に、当該各ピ
ークエラーにそれぞれ対応する対応候補点の画素を誤対
応であると認識するようにしたが、これに限定されるこ
となく、次のようにして良い。
【0128】すなわち、誤対応画素認識部105は、探
索する視差を変えて得られるマッチングエラーの分布を
用いて求めた第1の対応候補視差と第2の対応候補視差
におけるマッチングエラーの大きさと信頼度の両方を比
較して、誤対応の可能性が大きい画素を認識するように
しても良い。
索する視差を変えて得られるマッチングエラーの分布を
用いて求めた第1の対応候補視差と第2の対応候補視差
におけるマッチングエラーの大きさと信頼度の両方を比
較して、誤対応の可能性が大きい画素を認識するように
しても良い。
【0129】以上説明したように、第1の実施形態によ
れば、「2次ピークエラーの値と1次ピークエラーの値
との差」を指標とするだけで、画像間の誤対応を正確に
認識することができる。
れば、「2次ピークエラーの値と1次ピークエラーの値
との差」を指標とするだけで、画像間の誤対応を正確に
認識することができる。
【0130】また、2眼ステレオでなく、2台以上の画
像センサを用いる多眼ステレオにおいても同様に誤対応
認識をすることができる。この場合、マッチングエラー
分布は、全てのステレオペアのマッチングエラーを足し
た分布を用いても良いし、1つあるいは複数のステレオ
ペアを選択し、これらを足し合わせたマッチングエラー
分布を用いても良い。
像センサを用いる多眼ステレオにおいても同様に誤対応
認識をすることができる。この場合、マッチングエラー
分布は、全てのステレオペアのマッチングエラーを足し
た分布を用いても良いし、1つあるいは複数のステレオ
ペアを選択し、これらを足し合わせたマッチングエラー
分布を用いても良い。
【0131】[第2の実施の形態]図3は、第2の実施
形態に係るステレオ画像処理装置の構成を示すブロック
図である。
形態に係るステレオ画像処理装置の構成を示すブロック
図である。
【0132】同図に示すように、ステレオ画像処理装置
は、画像データ入力部201、画像データ記憶部20
2、初期視差推定部203、境界不一致可能性画素検出
部204、および視差画像生成部205から構成されて
いる。
は、画像データ入力部201、画像データ記憶部20
2、初期視差推定部203、境界不一致可能性画素検出
部204、および視差画像生成部205から構成されて
いる。
【0133】画像データ入力部201には、視差Dp
(物体50までの距離z)を算出する際に基準となる画
像センサ1で撮像された基準画像#ch1が取り込まれ
る。また、この基準画像#ch1上の選択画素P1に対
応する対応点P2が存在する画像である画像センサ2の
参照画像#ch2が取り込まれる。
(物体50までの距離z)を算出する際に基準となる画
像センサ1で撮像された基準画像#ch1が取り込まれ
る。また、この基準画像#ch1上の選択画素P1に対
応する対応点P2が存在する画像である画像センサ2の
参照画像#ch2が取り込まれる。
【0134】画像データ記憶部202には、画像データ
入力部201に取り込まれた基準画像#ch1及び参照
画像#ch2が記憶される。
入力部201に取り込まれた基準画像#ch1及び参照
画像#ch2が記憶される。
【0135】初期視差推定部203は、画像データ記憶
部202に記憶された画像データを基に、ブロックマッ
チングによる初期視差を推定する。
部202に記憶された画像データを基に、ブロックマッ
チングによる初期視差を推定する。
【0136】すなわち、設定したブロック(ブロックサ
イズ=w1*w2)毎に、数式(3−1)の演算を行い
sadが最小となる視差dを求める。
イズ=w1*w2)毎に、数式(3−1)の演算を行い
sadが最小となる視差dを求める。
【0137】 sad=Σ│Ga(x+i)−Gb(x+i+d)│ (i=1〜w1*w2 ) ・・・(3−1) ただし、G(x)は画像上の画素xにおける輝度値ある
いはR、G、Bの各値を表し、iは設定したブロック内
の位置を表し、dは視差を表している。
いはR、G、Bの各値を表し、iは設定したブロック内
の位置を表し、dは視差を表している。
【0138】ここで、sadが最小となる視差dの代わ
りに、数式(3−2)の演算を行い、ssdが最小とな
る視差dを求めても良い。
りに、数式(3−2)の演算を行い、ssdが最小とな
る視差dを求めても良い。
【0139】 ssd=Σ{Ga(x+i)−Gb(x+i+d)}^2 ・・・(3−2) ただし、G(x)は画像上の画素xにおける輝度値ある
いはR、G、Bの各値を表し、iは「1〜w1*w2」
で、かつ設定したブロック内の位置を表し、dは視差を
表している。さらに、Ga( )は基準画像に関するも
のであり、Gb( )は参照画像に関するものである。
いはR、G、Bの各値を表し、iは「1〜w1*w2」
で、かつ設定したブロック内の位置を表し、dは視差を
表している。さらに、Ga( )は基準画像に関するも
のであり、Gb( )は参照画像に関するものである。
【0140】なお、視差推定時のブロックマッチングの
ウインドウサイズを9*9(w1*w2)とする。
ウインドウサイズを9*9(w1*w2)とする。
【0141】境界不一致可能性画素検出部204は、画
像データ記憶部202に記憶された画像データを基に、
詳細は後述する境界不一致可能性画素を検出する。
像データ記憶部202に記憶された画像データを基に、
詳細は後述する境界不一致可能性画素を検出する。
【0142】視差画像生成部205は、輝度画像の境界
と視差画像の境界とが一致した視差画像を生成する。
と視差画像の境界とが一致した視差画像を生成する。
【0143】次に、境界不一致可能性画素検出部204
による境界不一致可能性画素検出処理について、図4を
参照して説明する。
による境界不一致可能性画素検出処理について、図4を
参照して説明する。
【0144】境界不一致可能性画素検出部204は、基
準画像#ch1の画像データを基に基準画像#ch1に
ついて所定のエッジ強度を計算する(ステップS10
1)。
準画像#ch1の画像データを基に基準画像#ch1に
ついて所定のエッジ強度を計算する(ステップS10
1)。
【0145】すなわち基準画像#ch1の各画素のエッ
ジ強度を例えばソーベルフィルタを用いて計算する。こ
の計算により得られた各画素のエッジ強度をa1とす
る。
ジ強度を例えばソーベルフィルタを用いて計算する。こ
の計算により得られた各画素のエッジ強度をa1とす
る。
【0146】このソーベルフィルタは、着目画素の周り
8近傍の画素からなる3*3画素の値を基に、数式
(4)を演算して着目画素のエッジ強度eを求めるエッ
ジ強調フィルタである。
8近傍の画素からなる3*3画素の値を基に、数式
(4)を演算して着目画素のエッジ強度eを求めるエッ
ジ強調フィルタである。
【0147】 e=│A+2B+C−G−2H−I│+│A+2D+G−C−2F−I│ ・・・(4) ここで、数式(4)におけるA〜Iは、図5に示す3*
3の画素に付されている符号A〜Iに対応し、その画素
における輝度値あるいはR(赤)、G(緑)、B(青)
の各値を表している。
3の画素に付されている符号A〜Iに対応し、その画素
における輝度値あるいはR(赤)、G(緑)、B(青)
の各値を表している。
【0148】なお、エッジ強調フィルタは、ソーベルフ
ィルタに限らず、他のフィルタでも良い。
ィルタに限らず、他のフィルタでも良い。
【0149】次に、基準画像#ch1について、図6に
示すように、自己の画素(着目画素)を中心とする5*
5のウインドウWD5および9*9のウインドウWD9
を設定し、ウインドウWD5(5*5)内に含まれる全
ての画素のエッジ強度の平均を計算するとともに(この
平均値をa5とする)、ウインドウWD9(9*9)内
に含まれる全ての画素のエッジ強度の平均を計算する
(この平均値をa9とする)。
示すように、自己の画素(着目画素)を中心とする5*
5のウインドウWD5および9*9のウインドウWD9
を設定し、ウインドウWD5(5*5)内に含まれる全
ての画素のエッジ強度の平均を計算するとともに(この
平均値をa5とする)、ウインドウWD9(9*9)内
に含まれる全ての画素のエッジ強度の平均を計算する
(この平均値をa9とする)。
【0150】また、ウインドウWD9には含まれるがウ
インドウWD5には含まれない全ての画素のエッジ強度
の平均を計算し、この平均値をb95とする。
インドウWD5には含まれない全ての画素のエッジ強度
の平均を計算し、この平均値をb95とする。
【0151】このようにしてエッジ強度a1、エッジ強
度の平均値a5、a9、b95を求めたならば、境界不
一致可能性画素検出部204は、境界不一致可能性画素
の検出処理を行う。
度の平均値a5、a9、b95を求めたならば、境界不
一致可能性画素検出部204は、境界不一致可能性画素
の検出処理を行う。
【0152】この検出処理は、図54(b)に示したよ
うに実際の物体境界と一致しない可能性、すなわち膨ら
み部分となる可能性を示す境界不一致を引き起こす可能
性がある画素を検出するために行う。
うに実際の物体境界と一致しない可能性、すなわち膨ら
み部分となる可能性を示す境界不一致を引き起こす可能
性がある画素を検出するために行う。
【0153】この境界不一致を引き起こす可能性がある
のは、着目画素を中心として、ウインドウWD9内の中
央付近のエッジ強度が弱く、かつウインドウWD9内の
端付近のエッジ強度が強い画素であるので、そのような
画素を検出すれば良いことになる。
のは、着目画素を中心として、ウインドウWD9内の中
央付近のエッジ強度が弱く、かつウインドウWD9内の
端付近のエッジ強度が強い画素であるので、そのような
画素を検出すれば良いことになる。
【0154】すなわち、上記エッジ強度の平均値a5が
予め設定される閾値th1以上か否かを判断し(ステッ
プS102)、閾値th1以上の場合には着目画素は境
界不一致可能性なしと判定し(ステップS103)、一
方、閾値th1より小さい場合は、エッジ強度の平均値
a9が予め設定される閾値th2以上か否か、あるいは
(平均値b95−平均値a5)の値が予め設定される閾
値th3以上か否かを判断する(ステップS104)。
予め設定される閾値th1以上か否かを判断し(ステッ
プS102)、閾値th1以上の場合には着目画素は境
界不一致可能性なしと判定し(ステップS103)、一
方、閾値th1より小さい場合は、エッジ強度の平均値
a9が予め設定される閾値th2以上か否か、あるいは
(平均値b95−平均値a5)の値が予め設定される閾
値th3以上か否かを判断する(ステップS104)。
【0155】平均値a9が閾値th2以上あるいは(平
均値b95−平均値a5)の値が閾値th3以上の場合
には、着目画素は境界不一致可能性ありと判定し(ステ
ップS105)、一方、これらの平均値が閾値より小さ
い場合は、着目画素は境界不一致可能性なしと判定する
(ステップS106)。
均値b95−平均値a5)の値が閾値th3以上の場合
には、着目画素は境界不一致可能性ありと判定し(ステ
ップS105)、一方、これらの平均値が閾値より小さ
い場合は、着目画素は境界不一致可能性なしと判定する
(ステップS106)。
【0156】そして、境界不一致可能性ありと判定され
た画素(着目画素)については、境界不一致可能性を示
す旨を付与して境界不一致可能性画素とする。
た画素(着目画素)については、境界不一致可能性を示
す旨を付与して境界不一致可能性画素とする。
【0157】このような境界不一致可能性画素検出処理
は、基準画像#ch1の全画素について(各画素がそれ
ぞれ着目画素として)実施される。
は、基準画像#ch1の全画素について(各画素がそれ
ぞれ着目画素として)実施される。
【0158】次に、上述した境界不一致可能性画素検出
処理について、図7乃至図11に示す具体例を挙げて説
明する。
処理について、図7乃至図11に示す具体例を挙げて説
明する。
【0159】ここでは、図54(a)に示した基準画像
#ch1について、参照ウインドウWD1の設定位置の
近傍に、ウインドウWD5(5*5)およびのウインド
ウWD9(9*9)の2種類のウインドウを設定して処
理するものとする。
#ch1について、参照ウインドウWD1の設定位置の
近傍に、ウインドウWD5(5*5)およびのウインド
ウWD9(9*9)の2種類のウインドウを設定して処
理するものとする。
【0160】上記ステップS103で境界不一致可能性
なしと判定されるのは、2種類のウインドウの内容が例
えば図7に示すような内容の場合である。
なしと判定されるのは、2種類のウインドウの内容が例
えば図7に示すような内容の場合である。
【0161】図7において、矩形はウインドウ内の画素
を表し、記号が記載されている矩形は着目画素を表し、
斜線が施されている矩形は前方物体を示す画素を表し、
さらに白の矩形は後方物体を示す画素を表す。なお図8
乃至図11においても同様とする。
を表し、記号が記載されている矩形は着目画素を表し、
斜線が施されている矩形は前方物体を示す画素を表し、
さらに白の矩形は後方物体を示す画素を表す。なお図8
乃至図11においても同様とする。
【0162】また、上記ステップS106で境界不一致
可能性なしと判定されるのは、2種類のウインドウの内
容が例えば図8に示すような内容の場合である。
可能性なしと判定されるのは、2種類のウインドウの内
容が例えば図8に示すような内容の場合である。
【0163】さらに、上記ステップS105で境界不一
致可能性ありと判定されるのは、2種類のウインドウの
内容が例えば図9あるいは図10に示すような内容の場
合である。
致可能性ありと判定されるのは、2種類のウインドウの
内容が例えば図9あるいは図10に示すような内容の場
合である。
【0164】そして、図9あるいは図10の例におい
て、着目画素(i,j)が垂直方向(j方向)に移動さ
れた場合も、同様に図9あるいは図10に示すような着
目画素と前方物体を示す画素の配置関係にあるとした場
合には、図11に示すように2列分の画素が境界不一致
可能性画素とされる。
て、着目画素(i,j)が垂直方向(j方向)に移動さ
れた場合も、同様に図9あるいは図10に示すような着
目画素と前方物体を示す画素の配置関係にあるとした場
合には、図11に示すように2列分の画素が境界不一致
可能性画素とされる。
【0165】上述したように、中心が一致し、サイズの
異なるウインドウを複数種類用意し、それらのウインド
ウ内のエッジ強度の分布を基に、境界不一致可能性画素
を検出することができる。
異なるウインドウを複数種類用意し、それらのウインド
ウ内のエッジ強度の分布を基に、境界不一致可能性画素
を検出することができる。
【0166】次に、このようにして得られる境界不一致
可能性画素を利用して、視差画像を生成する処理につい
て、図12及び図13を参照して説明する。
可能性画素を利用して、視差画像を生成する処理につい
て、図12及び図13を参照して説明する。
【0167】図12は視差画像を生成する処理フローを
示し、図13はその生成処理過程を説明するための図を
示している。
示し、図13はその生成処理過程を説明するための図を
示している。
【0168】図12に示すように、初期視差推定部20
3は、画像データ記憶部202に記憶されている基準画
像#ch1及び参照画像#ch2を基に(ステップS1
11)、ブロックマッチングによる初期視差を推定し
て、図13に示すような視差画像211を作成する(ス
テップS112)。この視差画像211は基準画像#c
h1である元画像210と参照画像#ch2とのブロッ
クマッチングにより求められる。
3は、画像データ記憶部202に記憶されている基準画
像#ch1及び参照画像#ch2を基に(ステップS1
11)、ブロックマッチングによる初期視差を推定し
て、図13に示すような視差画像211を作成する(ス
テップS112)。この視差画像211は基準画像#c
h1である元画像210と参照画像#ch2とのブロッ
クマッチングにより求められる。
【0169】視差画像211において、前方視差211
aは前方物体210aに対応するものであり、後方視差
211bは後方物体210bに対応するものである。し
かし、実際の前方物体210aに対応する視差の境界
は、視差画像211においては実際の境界211cであ
る。この場合は、輝度画像と視差画像の境界に不一致が
発生していることになる。
aは前方物体210aに対応するものであり、後方視差
211bは後方物体210bに対応するものである。し
かし、実際の前方物体210aに対応する視差の境界
は、視差画像211においては実際の境界211cであ
る。この場合は、輝度画像と視差画像の境界に不一致が
発生していることになる。
【0170】境界不一致可能性画素検出部204は、画
像データ記憶部202に記憶されている基準画像#ch
1及び参照画像#ch2を基に、図4に示した処理手順
に従って境界不一致可能性画素を検出すると共に、この
境界不一致可能性画素を基に、図13に示すように境界
不一致可能性画素を示す画像212を生成する(ステッ
プS113)。
像データ記憶部202に記憶されている基準画像#ch
1及び参照画像#ch2を基に、図4に示した処理手順
に従って境界不一致可能性画素を検出すると共に、この
境界不一致可能性画素を基に、図13に示すように境界
不一致可能性画素を示す画像212を生成する(ステッ
プS113)。
【0171】視差画像生成部205は、初期視差推定部
203により求められた視差画像において、視差不連続
画素を検出する。
203により求められた視差画像において、視差不連続
画素を検出する。
【0172】これは、ある画素aの視差値dp(a)、
この画素aの周り8近傍の画素が持つ視差値のうち、最
小のもの(撮像センサから最も離れていることを示すも
の)をdp(b)、一方、最大のもの(撮像センサに最
も近いことを示すもの)をdp(c)とした場合に、数
式(5)または数式(6)が成立するときの画素aを、
視差不連続画素とする。
この画素aの周り8近傍の画素が持つ視差値のうち、最
小のもの(撮像センサから最も離れていることを示すも
の)をdp(b)、一方、最大のもの(撮像センサに最
も近いことを示すもの)をdp(c)とした場合に、数
式(5)または数式(6)が成立するときの画素aを、
視差不連続画素とする。
【0173】 dp(a)−dp(b)>th(dp) ・・・(5) dp(a)−dp(c)<−th(dp) ・・・(6) 但し、th(dp)は視差不連続とみなすための視差値
の差の閾値を表す。
の差の閾値を表す。
【0174】このようにして得られた視差不連続画素
は、図13に示す画像213における視差不連続画素2
13aのように、実際の境界よりも膨らんだ境界を表現
している。
は、図13に示す画像213における視差不連続画素2
13aのように、実際の境界よりも膨らんだ境界を表現
している。
【0175】そして、視差画像生成部205は、画像2
13における視差不連続画素213aが、画像212に
おける境界不一致可能性画素212aの場合、その画素
の視差を、計測不能を示す「−1」にする。
13における視差不連続画素213aが、画像212に
おける境界不一致可能性画素212aの場合、その画素
の視差を、計測不能を示す「−1」にする。
【0176】次に、画像212における境界不一致可能
性画素をラベリングし、このラベリングされた領域が、
視差「−1」の画素を含む場合、その領域の全ての画素
を計測不能を示す「−1」にする。
性画素をラベリングし、このラベリングされた領域が、
視差「−1」の画素を含む場合、その領域の全ての画素
を計測不能を示す「−1」にする。
【0177】最後に、図13に示すように、視差画像の
不連続位置(視差が不連続に変化する位置)が実際の物
体の不連続位置に一致する最終的な視差画像214を生
成する(ステップS114)。
不連続位置(視差が不連続に変化する位置)が実際の物
体の不連続位置に一致する最終的な視差画像214を生
成する(ステップS114)。
【0178】視差画像214においては、計測不能画素
214aは、視差が計測不能を意味しているので、前方
視差211aおよび後方視差211bでもない、所定の
処理に基づく画素となっている。
214aは、視差が計測不能を意味しているので、前方
視差211aおよび後方視差211bでもない、所定の
処理に基づく画素となっている。
【0179】しかし計測不能画素214aに囲まれてい
る視差画像は、前方視差211aと一致している。つま
り視差画素の不連続位置と実際の物体の不連続位置とが
一致している。
る視差画像は、前方視差211aと一致している。つま
り視差画素の不連続位置と実際の物体の不連続位置とが
一致している。
【0180】この実施形態においては、視差画像生成部
205は、膨らみをなくす処理を行う際、背景側に計測
不能画素が広がらないような処理を行っても良い。
205は、膨らみをなくす処理を行う際、背景側に計測
不能画素が広がらないような処理を行っても良い。
【0181】例えば、膨らみ可能性画素を除去する際、
膨らみ可能性画素のうち高い側の視差値(撮像センサか
ら距離が近いということ=前方視差側)をもつ画素は除
去するが、低い側の視差値(撮像センサから距離が遠い
ということ=後方視差側)を持つ画素は除去しないとい
う方法が考えられる。
膨らみ可能性画素のうち高い側の視差値(撮像センサか
ら距離が近いということ=前方視差側)をもつ画素は除
去するが、低い側の視差値(撮像センサから距離が遠い
ということ=後方視差側)を持つ画素は除去しないとい
う方法が考えられる。
【0182】すなわち、図14(a)に示すように、視
差画像211の視差不連続位置211dから強いエッジ
の部分まで膨らみを無くす処理を実施するようにした場
合には、背景側つまり後方視差には強いエッジが存在し
ないので、最終的に得られる視差画像215の当該後方
視差(背景側)全てが計測不能画素215aになってし
まう。
差画像211の視差不連続位置211dから強いエッジ
の部分まで膨らみを無くす処理を実施するようにした場
合には、背景側つまり後方視差には強いエッジが存在し
ないので、最終的に得られる視差画像215の当該後方
視差(背景側)全てが計測不能画素215aになってし
まう。
【0183】そこで、視差画像の視差不連続位置211
dから膨らみを無くす処理を実施する際には、視差不連
続位置211dを境にして、低い側の視差値(撮像セン
サから距離が遠いということ=後方視差211b側)を
持つ画素に対しては、膨らみを無くす処理を実施せず、
一方、高い側の視差値(撮像センサから距離が近いとい
うこと=前方視差211a側)をもつ画素に対しては、
膨らみを無くす処理を実施するようにする。
dから膨らみを無くす処理を実施する際には、視差不連
続位置211dを境にして、低い側の視差値(撮像セン
サから距離が遠いということ=後方視差211b側)を
持つ画素に対しては、膨らみを無くす処理を実施せず、
一方、高い側の視差値(撮像センサから距離が近いとい
うこと=前方視差211a側)をもつ画素に対しては、
膨らみを無くす処理を実施するようにする。
【0184】このような膨らみを無くす処理を実施する
ことにより、図14(b)に示すように、実際に膨らん
でいる画素すなわち計測不能画素216aのみが除去さ
れている視差画像216(最終的な視差画像)を得るこ
とができる。また、図14(b)に示す後方視差216
bは、図14(a)に示す後方視差211bと同様のも
の、つまり膨らみを無くす処理を実施する前と同様の視
差となっている。
ことにより、図14(b)に示すように、実際に膨らん
でいる画素すなわち計測不能画素216aのみが除去さ
れている視差画像216(最終的な視差画像)を得るこ
とができる。また、図14(b)に示す後方視差216
bは、図14(a)に示す後方視差211bと同様のも
の、つまり膨らみを無くす処理を実施する前と同様の視
差となっている。
【0185】また、上述したような膨らみを無くす処理
は、例えば2重ウインドウを用いて膨らみ画素を検出し
て、膨らみを除去する際にも実施することができる。
は、例えば2重ウインドウを用いて膨らみ画素を検出し
て、膨らみを除去する際にも実施することができる。
【0186】なお、上記実施形態では、2眼ステレオ視
を実施すべく、画像データ入力部201では、基準画像
#ch1と参照画像#ch2の2つの画像を取り込むよ
うにしているが、これに限定されることなく、多眼ステ
レオ視を実施すべく、基準画像#ch1と複数の参照画
像#ch2の複数の画像(3以上の画像)を取り込むよ
うにしても良い。
を実施すべく、画像データ入力部201では、基準画像
#ch1と参照画像#ch2の2つの画像を取り込むよ
うにしているが、これに限定されることなく、多眼ステ
レオ視を実施すべく、基準画像#ch1と複数の参照画
像#ch2の複数の画像(3以上の画像)を取り込むよ
うにしても良い。
【0187】また、初期視差推定部203による視差画
像の作成においては、ブロックマッチングを行う画像は
輝度画像だけでなく、何らかの前処理(エッジ強調処理
など)を施した画像でも良い。
像の作成においては、ブロックマッチングを行う画像は
輝度画像だけでなく、何らかの前処理(エッジ強調処理
など)を施した画像でも良い。
【0188】また、初期視差推定部203は、図15
(a)に示すように、何の処理も施していない視差画像
を視差画像211とするようにしているが、これに限定
されることなく、次のようにしても良い。
(a)に示すように、何の処理も施していない視差画像
を視差画像211とするようにしているが、これに限定
されることなく、次のようにしても良い。
【0189】すなわち、図15(b)に示すように、視
差推定後に何らかの指標で誤対応の画素を除去した視差
画像を視差画像211としても良い。つまり、図15
(a)に示す視差画像に対して、上述した第1の実施形
態で説明したように誤対応の画素を除去した視差画像を
視差画像211としても良い。
差推定後に何らかの指標で誤対応の画素を除去した視差
画像を視差画像211としても良い。つまり、図15
(a)に示す視差画像に対して、上述した第1の実施形
態で説明したように誤対応の画素を除去した視差画像を
視差画像211としても良い。
【0190】さらに、誤対応の画素を除去すると視差画
像上に小さな抜け領域が多少発生するので、図15
(c)に示すように、図15(b)に示す視差画像に対
して、平面とみなされる小領域を埋めた処理画像を視差
画像211としても良い。
像上に小さな抜け領域が多少発生するので、図15
(c)に示すように、図15(b)に示す視差画像に対
して、平面とみなされる小領域を埋めた処理画像を視差
画像211としても良い。
【0191】例えば、抜け領域をラベリングし、大きさ
が所定の個数以下の領域を選ぶ。その各領域について、
その境界画素の視差を調べ、それらの最大値と最小値の
差が所定の値以下の場合は、抜け領域を平面領域とみな
し、その境界画素の視差の平均で抜け領域を埋める。
が所定の個数以下の領域を選ぶ。その各領域について、
その境界画素の視差を調べ、それらの最大値と最小値の
差が所定の値以下の場合は、抜け領域を平面領域とみな
し、その境界画素の視差の平均で抜け領域を埋める。
【0192】以上のことは、図15(a)、(b)及び
(c)に示す視差画像のうち、いずれかの視差画像を、
視差画像214を生成するための初期視差画像(視差画
像211)として採用できることを意味する。
(c)に示す視差画像のうち、いずれかの視差画像を、
視差画像214を生成するための初期視差画像(視差画
像211)として採用できることを意味する。
【0193】また、境界不一致可能性画素検出部204
により境界不一致可能性画素を検出する際に、2種類の
ウインドウの大きさを5*5、9*9に設定するように
したが、これに限定されることなく、次のようにしても
良い。
により境界不一致可能性画素を検出する際に、2種類の
ウインドウの大きさを5*5、9*9に設定するように
したが、これに限定されることなく、次のようにしても
良い。
【0194】すなわち、3種類以上のウインドウを用い
たり、また、最大ウインドウサイズをブロックマッチン
グのウインドウサイズに合わせる必要はなく、数種類の
ウインドウを用いても良い。例えば、3*3、5*5、
9*9、13*13の4種類のウインドウを採用しても
良い。
たり、また、最大ウインドウサイズをブロックマッチン
グのウインドウサイズに合わせる必要はなく、数種類の
ウインドウを用いても良い。例えば、3*3、5*5、
9*9、13*13の4種類のウインドウを採用しても
良い。
【0195】また、視差画像生成部205による視差不
連続画素を算出する際に、着目する画素aの周り8近傍
を採用するようにしたが、これに限定されることなく、
例えば4近傍を採用しても良い。
連続画素を算出する際に、着目する画素aの周り8近傍
を採用するようにしたが、これに限定されることなく、
例えば4近傍を採用しても良い。
【0196】さらに、視差画像211にソーベルフィル
タのようなエッジ強調フィルタをかけ、強度の強いもの
を検出することにより得られる画素を視差不連続画素
(つまり画像213)としても良い。
タのようなエッジ強調フィルタをかけ、強度の強いもの
を検出することにより得られる画素を視差不連続画素
(つまり画像213)としても良い。
【0197】以上説明したように、第2の実施形態によ
れば、ウインドウ内のエッジ強度の分布を考慮して境界
不一致の推定を行うので、ウインドウサイズを変更して
再度視差計算を行ったり、物体の輪郭を抽出したりする
ことなく、視差画像と輝度画像の境界を精度良く簡単に
推定できる。
れば、ウインドウ内のエッジ強度の分布を考慮して境界
不一致の推定を行うので、ウインドウサイズを変更して
再度視差計算を行ったり、物体の輪郭を抽出したりする
ことなく、視差画像と輝度画像の境界を精度良く簡単に
推定できる。
【0198】[第3の実施の形態]図16は、第3の実
施形態に係るステレオ画像処理装置による視差画像生成
処理を説明するための図を示したものである。
施形態に係るステレオ画像処理装置による視差画像生成
処理を説明するための図を示したものである。
【0199】この第3の実施形態のステレオ画像処理装
置は、基本的には図3に示した第2の実施形態の構成と
同一であるが、視差画像生成部205による処理が少し
変更された構成になっている。
置は、基本的には図3に示した第2の実施形態の構成と
同一であるが、視差画像生成部205による処理が少し
変更された構成になっている。
【0200】この視差画像生成部205においては、図
13に示した視差不連続画素を示す画像213を生成す
る処理は、第2の実施形態の構成と同一であり、最終的
な視差画像を生成する処理が異なっている。
13に示した視差不連続画素を示す画像213を生成す
る処理は、第2の実施形態の構成と同一であり、最終的
な視差画像を生成する処理が異なっている。
【0201】したがって、図16に示す画像210、2
11、212、213は、第2の実施形態と同様の処理
により得られることになる。
11、212、213は、第2の実施形態と同様の処理
により得られることになる。
【0202】ところで、図16において、画像213の
視差不連続画素213aが画像212の境界不一致可能
性画素212aの場合には、その画素の視差は、計測不
能を示す「−1」で表されている。
視差不連続画素213aが画像212の境界不一致可能
性画素212aの場合には、その画素の視差は、計測不
能を示す「−1」で表されている。
【0203】そこで、この実施形態の視差画像生成部2
05は、画像212の境界不一致可能性画素212aを
ラベリングし、このラベリングされた領域中において、
視差「−1」の画素を含む領域を抽出する。
05は、画像212の境界不一致可能性画素212aを
ラベリングし、このラベリングされた領域中において、
視差「−1」の画素を含む領域を抽出する。
【0204】ここで、図16において、画像212の境
界不一致可能性画素212aには、画像213の視差不
連続画素が含まれているので、抽出された領域は画像2
12の境界不一致可能性画素212aに一致する。
界不一致可能性画素212aには、画像213の視差不
連続画素が含まれているので、抽出された領域は画像2
12の境界不一致可能性画素212aに一致する。
【0205】この抽出された領域の境界画素が持つ初期
視差のうち最も小さい画素(その画素が撮像センサから
最も距離が遠いという意味であり、例えば後方物体=背
景画像)の視差で、その領域を埋めて、図16に示す最
終的な視差画像217を生成する。
視差のうち最も小さい画素(その画素が撮像センサから
最も距離が遠いという意味であり、例えば後方物体=背
景画像)の視差で、その領域を埋めて、図16に示す最
終的な視差画像217を生成する。
【0206】すなわち、抽出された領域である境界不一
致可能性画素212aに相当する領域は、視差画像にお
いて膨らんだ部分、つまり本来は後方視差211bであ
るので、抽出した領域を後方視差で埋める。
致可能性画素212aに相当する領域は、視差画像にお
いて膨らんだ部分、つまり本来は後方視差211bであ
るので、抽出した領域を後方視差で埋める。
【0207】これにより、視差画像217のように、視
差画素の不連続位置が実際の物体の不連続位置に一致
し、しかも抜けのない視差画像が得られる。
差画素の不連続位置が実際の物体の不連続位置に一致
し、しかも抜けのない視差画像が得られる。
【0208】なお、この実施形態では、視差画像生成部
205は、ラベリングされた領域中の視差「−1」の画
素を含む領域を埋めるのに、境界画素が持つ初期視差の
うち最も小さい画素の視差で埋めるようにしているが、
これに限定されることなく、境界画素が持つ初期視差の
平均値で埋めたり、境界からの距離に従った内挿式から
推定して求めた視差で埋めても良い。
205は、ラベリングされた領域中の視差「−1」の画
素を含む領域を埋めるのに、境界画素が持つ初期視差の
うち最も小さい画素の視差で埋めるようにしているが、
これに限定されることなく、境界画素が持つ初期視差の
平均値で埋めたり、境界からの距離に従った内挿式から
推定して求めた視差で埋めても良い。
【0209】以上説明したように、第3の実施形態にお
いても、上記第2の実施形態の作用効果を期待すること
ができる。
いても、上記第2の実施形態の作用効果を期待すること
ができる。
【0210】[第4の実施の形態]図17は、第4の実
施形態に係るステレオ画像処理装置における境界不一致
可能性画素検出部の処理手順を示すフローチャートであ
る。
施形態に係るステレオ画像処理装置における境界不一致
可能性画素検出部の処理手順を示すフローチャートであ
る。
【0211】この第4の実施形態のステレオ画像処理装
置は、基本的には図3に示した第2の実施形態の構成と
同一であるが、境界不一致可能性画素検出部204によ
る境界不一致可能性画素検出処理が少し変更された構成
になっている。
置は、基本的には図3に示した第2の実施形態の構成と
同一であるが、境界不一致可能性画素検出部204によ
る境界不一致可能性画素検出処理が少し変更された構成
になっている。
【0212】次に、この境界不一致可能性画素検出処理
について、図17の処理手順を示すフローチャートを参
照して説明する。
について、図17の処理手順を示すフローチャートを参
照して説明する。
【0213】この実施形態での境界不一致可能性画素検
出部204は、基準画像#ch1の画像データを基に基
準画像#ch1について所定のエッジ強度を計算する
(ステップS121)。
出部204は、基準画像#ch1の画像データを基に基
準画像#ch1について所定のエッジ強度を計算する
(ステップS121)。
【0214】すなわち、最初に第2の実施形態で説明し
たように、基準画像#ch1の各画素のエッジ強度を例
えばソーベルフィルタを用いて計算する。この計算によ
り得られた各画素のエッジ強度をa1とする。
たように、基準画像#ch1の各画素のエッジ強度を例
えばソーベルフィルタを用いて計算する。この計算によ
り得られた各画素のエッジ強度をa1とする。
【0215】次に、図18に示すように、自己の画素
(着目画素)を中心とする、1ブロックが3*3のウイ
ンドウWD3−3から構成されている9ブロック(3*
3)のウインドウWD3を設定し、そのウインドウWD
3内に含まれる全ての画素のエッジ強度の平均を計算す
る。つまり、このウインドウWD3は9*9のウインド
ウが設定されたのと同じことになるので、81の画素に
ついてのエッジ強度の平均値が求められる。
(着目画素)を中心とする、1ブロックが3*3のウイ
ンドウWD3−3から構成されている9ブロック(3*
3)のウインドウWD3を設定し、そのウインドウWD
3内に含まれる全ての画素のエッジ強度の平均を計算す
る。つまり、このウインドウWD3は9*9のウインド
ウが設定されたのと同じことになるので、81の画素に
ついてのエッジ強度の平均値が求められる。
【0216】なお、図18において、9ブロックに示さ
れている番号はブロック番号を意味する。
れている番号はブロック番号を意味する。
【0217】次に、ウインドウWD3(3*3)におけ
るブロック0内の各画素(9画素分)のエッジ強度の平
均を計算し、この平均値をa0とすると共に、着目画素
の周り8ブロック(ブロック1〜8)のそれぞれについ
てウインドウWD3−3内の各画素(9画素分)のエッ
ジ強度の平均を計算し、これらの平均値をそれぞれのブ
ロック(ブロック番号)に対応してb1〜b8とする。
るブロック0内の各画素(9画素分)のエッジ強度の平
均を計算し、この平均値をa0とすると共に、着目画素
の周り8ブロック(ブロック1〜8)のそれぞれについ
てウインドウWD3−3内の各画素(9画素分)のエッ
ジ強度の平均を計算し、これらの平均値をそれぞれのブ
ロック(ブロック番号)に対応してb1〜b8とする。
【0218】このようにしてエッジ強度a1、a0、b
1〜b8を求めたならば、境界不一致可能性画素検出部
204は、境界不一致可能性画素の検出処理を実行す
る。
1〜b8を求めたならば、境界不一致可能性画素検出部
204は、境界不一致可能性画素の検出処理を実行す
る。
【0219】この検出処理は、図54(b)に示したよ
うに実際の物体境界73cと一致しない可能性、すなわ
ち膨らみ部分となる可能性を示す境界不一致を引き起こ
す可能性がある画素を検出するために行われる。
うに実際の物体境界73cと一致しない可能性、すなわ
ち膨らみ部分となる可能性を示す境界不一致を引き起こ
す可能性がある画素を検出するために行われる。
【0220】この境界不一致を引き起こす可能性がある
のは、ウインドウWD3において、ブロック0である中
央のウインドウ内のエッジ強度が弱く、周りの8ブロッ
クのエッジ強度分布に偏りがある画素であるので、その
ような画素を検出すれば良いことになる。
のは、ウインドウWD3において、ブロック0である中
央のウインドウ内のエッジ強度が弱く、周りの8ブロッ
クのエッジ強度分布に偏りがある画素であるので、その
ような画素を検出すれば良いことになる。
【0221】すなわち、境界不一致可能性画素検出部2
04は、上記エッジ強度の平均値a0が予め設定される
閾値th5以上か否かを判断し(ステップS122)、
閾値th5以上の場合には、着目画素は境界不一致可能
性なしと判定し(ステップS123)、一方、閾値th
5より小さい場合は、後述する数式(5)〜(12)の
うちの何れかの数式により示される条件が成立するか否
かを判断し(ステップS124)、その何れかの数式が
成立する場合には着目画素は境界不一致可能性ありと判
定し(ステップS125)、一方、何れの数式も不成立
の場合は着目画素は境界不一致可能性なしと判定する
(ステップS126)。
04は、上記エッジ強度の平均値a0が予め設定される
閾値th5以上か否かを判断し(ステップS122)、
閾値th5以上の場合には、着目画素は境界不一致可能
性なしと判定し(ステップS123)、一方、閾値th
5より小さい場合は、後述する数式(5)〜(12)の
うちの何れかの数式により示される条件が成立するか否
かを判断し(ステップS124)、その何れかの数式が
成立する場合には着目画素は境界不一致可能性ありと判
定し(ステップS125)、一方、何れの数式も不成立
の場合は着目画素は境界不一致可能性なしと判定する
(ステップS126)。
【0222】そして、境界不一致可能性ありと判定され
た画素(着目画素)については、境界不一致可能性画素
とする。その着目画素には、境界不一致可能性を示す旨
が付与される。
た画素(着目画素)については、境界不一致可能性画素
とする。その着目画素には、境界不一致可能性を示す旨
が付与される。
【0223】具体的には、ステップS125において
は、エッジ強度の平均値a0が閾値th5より小さく、
しかもエッジ強度の平均値b1〜b8から計算される値
が閾値th6以上の場合に、着目画素は、境界不一致可
能性画素とされる。
は、エッジ強度の平均値a0が閾値th5より小さく、
しかもエッジ強度の平均値b1〜b8から計算される値
が閾値th6以上の場合に、着目画素は、境界不一致可
能性画素とされる。
【0224】ここで、上記ステップS124の処理にお
いて判断基準となる条件(数式(7)〜(14))を記
述する。
いて判断基準となる条件(数式(7)〜(14))を記
述する。
【0225】 (b1+b2+b3)/3−(b4+b5+b6+b7+b8)/5>th6 ・・・(7) (b2+b3+b4)/3−(b5+b6+b7+b8+b1)/5>th6 ・・・(8) (b3+b4+b5)/3−(b6+b7+b8+b1+b2)/5>th6 ・・・(9) (b4+b5+b6)/3−(b7+b8+b1+b2+b3)/5>th6 ・・・(10) (b5+b6+b7)/3−(b8+b1+b2+b3+b4)/5>th6 ・・・(11) (b6+b7+b8)/3−(b1+b2+b3+b4+b5)/5>th6 ・・・(12) (b7+b8+b1)/3−(b2+b3+b4+b5+b6)/5>th6 ・・・(13) (b8+b1+b2)/3−(b3+b4+b5+b6+b7)/5>th6 ・・・(14) 因みに、これら数式(7)〜(14)の条件が成立する
のは、ウインドウWD3内のエッジ強度が、例えば図1
9に示すような分布となるときである。
のは、ウインドウWD3内のエッジ強度が、例えば図1
9に示すような分布となるときである。
【0226】この図19において、ウインドウWD11
〜WD18はそれぞれ上記数式(7)〜(14)に対応
しており、また、これらウインドウWD11〜WD18
内の各ブロックは、図18に示したブロック番号に対応
している。さらにウインドウWD11〜WD18におい
て、ブロック番号0に相当するブロックは、着目画素が
中心に位置しているブロックを表している。
〜WD18はそれぞれ上記数式(7)〜(14)に対応
しており、また、これらウインドウWD11〜WD18
内の各ブロックは、図18に示したブロック番号に対応
している。さらにウインドウWD11〜WD18におい
て、ブロック番号0に相当するブロックは、着目画素が
中心に位置しているブロックを表している。
【0227】ところで、図19の例においては、黒の塗
りつぶしの矩形で示されるブロックのエッジ強度の平均
値が、白い部分の矩形のブロックのエッジ強度の平均値
よりも閾値th6以上大きい場合に、エッジ強度の分布
に偏りがあると判定されて、着目画素は境界不一致可能
性画素とされる。
りつぶしの矩形で示されるブロックのエッジ強度の平均
値が、白い部分の矩形のブロックのエッジ強度の平均値
よりも閾値th6以上大きい場合に、エッジ強度の分布
に偏りがあると判定されて、着目画素は境界不一致可能
性画素とされる。
【0228】次に、上述した境界不一致可能性画素検出
処理について、図20及び図21に示す具体例を挙げて
説明する。
処理について、図20及び図21に示す具体例を挙げて
説明する。
【0229】ここでは、図54(a)に示した基準画像
#ch1について、参照ウインドウWD1の設定位置の
近傍に、1ブロックが3*3のウインドウWD3−3を
有するウインドウWD3(3*3ブロック)を設定して
処理するものとする。
#ch1について、参照ウインドウWD1の設定位置の
近傍に、1ブロックが3*3のウインドウWD3−3を
有するウインドウWD3(3*3ブロック)を設定して
処理するものとする。
【0230】上記ステップS126で境界不一致可能性
なしと判定されるのは、ウインドウWD3の内容が例え
ば図20に示すような内容の場合である。
なしと判定されるのは、ウインドウWD3の内容が例え
ば図20に示すような内容の場合である。
【0231】ここで図20及び図21において、各矩形
は画素を表し、記号が記載されている矩形は着目画素を
表し、斜線が施されている矩形は前方物体を示す画素を
表す。
は画素を表し、記号が記載されている矩形は着目画素を
表し、斜線が施されている矩形は前方物体を示す画素を
表す。
【0232】また、上記ステップS125で境界不一致
可能性ありと判定されるのは、ウインドウWD3の内容
が例えば図21に示すような内容の場合である。
可能性ありと判定されるのは、ウインドウWD3の内容
が例えば図21に示すような内容の場合である。
【0233】上述したように、所定のウインドウサイズ
のウインドウにおいて、そのウインドウ中を小さなウイ
ンドウブロックに分割し、そのブロックのエッジ強度の
分布を基に、境界不一致可能性画素を検出することがで
きる。
のウインドウにおいて、そのウインドウ中を小さなウイ
ンドウブロックに分割し、そのブロックのエッジ強度の
分布を基に、境界不一致可能性画素を検出することがで
きる。
【0234】なお、この実施形態では、第2の実施形態
における境界不一致可能性画素検出処理についての他の
処理方法としての代替案を説明してきたが、これに限定
されることなく、上述した第3の実施形態における境界
不一致可能性画素検出処理の代替の処理方法とすること
ができる。つまり第3の実施形態において、本実施形態
の処理方法を採用することができる。
における境界不一致可能性画素検出処理についての他の
処理方法としての代替案を説明してきたが、これに限定
されることなく、上述した第3の実施形態における境界
不一致可能性画素検出処理の代替の処理方法とすること
ができる。つまり第3の実施形態において、本実施形態
の処理方法を採用することができる。
【0235】また、上記実施形態では、ウインドウWD
3−3の大きさを3*3に設定しているが、これに限定
されることなく、例えばウインドウWD3−3の大きさ
を5*5に設定しても良い。また、ウインドウWD3−
3の配置はタイル上でなくても一部重なっていても良
い。さらに、ウインドウWD3のウインドウサイズを、
ブロックマッチングのウインドウサイズ(9*9)に合
わせる必要はなく、大きくしたり、小さくしても良い。
3−3の大きさを3*3に設定しているが、これに限定
されることなく、例えばウインドウWD3−3の大きさ
を5*5に設定しても良い。また、ウインドウWD3−
3の配置はタイル上でなくても一部重なっていても良
い。さらに、ウインドウWD3のウインドウサイズを、
ブロックマッチングのウインドウサイズ(9*9)に合
わせる必要はなく、大きくしたり、小さくしても良い。
【0236】また、着目画素が存在するブロック0の周
りのブロックのエッジ強度が偏っているかどうかの判断
について、8種類の計算を行っているが、これに限る必
要はなく、もっと組み合わせを複雑にして細かく判断し
ても良い。
りのブロックのエッジ強度が偏っているかどうかの判断
について、8種類の計算を行っているが、これに限る必
要はなく、もっと組み合わせを複雑にして細かく判断し
ても良い。
【0237】以上説明したように、第4の実施形態によ
れば、所定のウインドウサイズのウインドウにおいて、
そのウインドウ中を小さなウインドウブロックに分割
し、そのブロックのエッジ強度の分布を基に、境界不一
致可能性画素を検出することができる。そして、この境
界不一致可能性画素を基に、視差画像の不連続位置と実
際の物体の不連続位置とを一致させることが可能とな
る。
れば、所定のウインドウサイズのウインドウにおいて、
そのウインドウ中を小さなウインドウブロックに分割
し、そのブロックのエッジ強度の分布を基に、境界不一
致可能性画素を検出することができる。そして、この境
界不一致可能性画素を基に、視差画像の不連続位置と実
際の物体の不連続位置とを一致させることが可能とな
る。
【0238】[第5の実施の形態]図22は、第5の実
施形態に係るステレオ画像処理装置における視差画像生
成部の処理を説明するための図を示したものである。
施形態に係るステレオ画像処理装置における視差画像生
成部の処理を説明するための図を示したものである。
【0239】この第5の実施形態のステレオ画像処理装
置は、基本的には図3に示した第2の実施形態の構成と
同一であるが、視差画像生成部205による視差生成処
理が少し変更された構成になっている。
置は、基本的には図3に示した第2の実施形態の構成と
同一であるが、視差画像生成部205による視差生成処
理が少し変更された構成になっている。
【0240】この視差画像生成部205は、第2の実施
形態における視差画像生成部の代替機能と、第3の実施
形態における視差画像生成部の代替機能とを有し、これ
らの機能が選択設定されて使用される。
形態における視差画像生成部の代替機能と、第3の実施
形態における視差画像生成部の代替機能とを有し、これ
らの機能が選択設定されて使用される。
【0241】このため本実施形態は、視差画像生成部2
05において何れかの機能を選択することで、第2又は
第3の実施形態の他の実施形態として実施することがで
きる。
05において何れかの機能を選択することで、第2又は
第3の実施形態の他の実施形態として実施することがで
きる。
【0242】ところで、本実施形態の視差画像生成部2
05は、第2の実施形態における境界不一致可能性画素
のラベリングの代わりに、「−1」を示す画素を起点と
して、その画素に接する境界不一致可能性画素のみを、
計測不能画素を示す「−1」にするという操作を複数回
行う。例えば図11に示すように2列分の境界不一致可
能性画素が存在する場合(第2の実施形態参照)には、
これらの画素について、図22に示すように、計測不能
画素を示す「−1」にするという操作が2回行われるこ
とになる。
05は、第2の実施形態における境界不一致可能性画素
のラベリングの代わりに、「−1」を示す画素を起点と
して、その画素に接する境界不一致可能性画素のみを、
計測不能画素を示す「−1」にするという操作を複数回
行う。例えば図11に示すように2列分の境界不一致可
能性画素が存在する場合(第2の実施形態参照)には、
これらの画素について、図22に示すように、計測不能
画素を示す「−1」にするという操作が2回行われるこ
とになる。
【0243】これによって、視差画像の不連続位置を実
際の物体の不連続位置に一致させることができる。
際の物体の不連続位置に一致させることができる。
【0244】また、視差画像生成部205は、第3の実
施形態における境界不一致可能性画素のラベリングの代
わりに、「−1」を示す画素を起点として、その画素に
接する境界不一致可能性画素のみを、計測不能画素を示
す「−1」にするという操作を複数回行う。
施形態における境界不一致可能性画素のラベリングの代
わりに、「−1」を示す画素を起点として、その画素に
接する境界不一致可能性画素のみを、計測不能画素を示
す「−1」にするという操作を複数回行う。
【0245】この場合も、上記同様に例えば図11に示
すように2列分の境界不一致可能性画素が存在する場合
(第2の実施形態参照)には、これらの画素について、
図22に示すように、計測不能画素を示す「−1」にす
るという操作が2回行われることになる。
すように2列分の境界不一致可能性画素が存在する場合
(第2の実施形態参照)には、これらの画素について、
図22に示すように、計測不能画素を示す「−1」にす
るという操作が2回行われることになる。
【0246】次に、この「−1」が示されている計測不
能画素をラベリングし、このラベリングされた領域を、
該領域の境界画素が持つ初期視差のうち最も小さい画素
の視差(その画素が撮像センサから最も遠く離れている
ことを意味する)で埋める。
能画素をラベリングし、このラベリングされた領域を、
該領域の境界画素が持つ初期視差のうち最も小さい画素
の視差(その画素が撮像センサから最も遠く離れている
ことを意味する)で埋める。
【0247】なおこの場合、境界画素が持つ初期視差の
平均値で埋めたり、境界からの距離に従った内挿式から
推定して求めた視差で埋めても良い。
平均値で埋めたり、境界からの距離に従った内挿式から
推定して求めた視差で埋めても良い。
【0248】このようにラベリングされた領域を所定の
視差の画素で埋めることにより、視差画素の不連続位置
が実際の物体の不連続位置に一致し、しかも抜けのない
視差画像が得られる。
視差の画素で埋めることにより、視差画素の不連続位置
が実際の物体の不連続位置に一致し、しかも抜けのない
視差画像が得られる。
【0249】以上説明したように、第5の実施形態によ
れば、上記第2の実施形態の作用効果を期待することが
できる。
れば、上記第2の実施形態の作用効果を期待することが
できる。
【0250】また、最終的に計測不能と判断された画素
を周りの視差で置き換えて境界が一致し、しかも抜けの
ない視差画像を生成することができる。
を周りの視差で置き換えて境界が一致し、しかも抜けの
ない視差画像を生成することができる。
【0251】[第6の実施の形態]図23は、第6の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
【0252】この実施形態では、物体境界は輝度画像上
で所定のエッジ強度を持つという仮定の下に、最終的な
視差画像を生成するようにしている。
で所定のエッジ強度を持つという仮定の下に、最終的な
視差画像を生成するようにしている。
【0253】図23に示すステレオ画像処理装置は、図
3に示した第2の実施形態の構成において、境界不一致
可能性画素検出部204および視差画像生成部205を
削除し、初期視差不連続境界検出部311、エッジ処理
部312および視差画像生成部313を追加した構成に
なっている。なお、同図において、図3に示した構成要
素と同一の機能を果たす部分には同一符号を付してい
る。
3に示した第2の実施形態の構成において、境界不一致
可能性画素検出部204および視差画像生成部205を
削除し、初期視差不連続境界検出部311、エッジ処理
部312および視差画像生成部313を追加した構成に
なっている。なお、同図において、図3に示した構成要
素と同一の機能を果たす部分には同一符号を付してい
る。
【0254】この実施形態においても、基本的には第2
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。
【0255】ここでは、概略の処理手順を示す図24お
よび最終的な視差画像を生成するための処理過程を示す
図25を参照しながら、この処理内容とともに新たに追
加された構成要素について説明する。
よび最終的な視差画像を生成するための処理過程を示す
図25を参照しながら、この処理内容とともに新たに追
加された構成要素について説明する。
【0256】初期視差推定部203は、画像データ記憶
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図24のステップS131)、ブロ
ックマッチングによる初期視差を推定して、図25に示
すような視差画像411を作成する(図24のステップ
S132)。この視差画像411は、基準画像#ch1
である元画像410と参照画像#ch2とのブロックマ
ッチングにより求められたものである。
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図24のステップS131)、ブロ
ックマッチングによる初期視差を推定して、図25に示
すような視差画像411を作成する(図24のステップ
S132)。この視差画像411は、基準画像#ch1
である元画像410と参照画像#ch2とのブロックマ
ッチングにより求められたものである。
【0257】初期視差不連続境界検出部311は、上記
境界不一致可能性画素検出部204と同様の機能を有す
るものであり、第2の実施形態で説明した初期視差推定
部203により求められた視差画像において視差不連続
画素を検出し、この検出した視差不連続画素を、計測不
能を示す「−1」にする(図24のステップS13
3)。 例えば図25に示す視差画像411において、
前方視差411aを示す画素領域の最も外側の画素(例
えば1画素分)、つまり後方視差を示す画素領域との境
界の画素が視差不連続画素411dであり、計測不能
(「−1」)とされる。従って、前方視差411aを示
す画素領域において、視差不連続画素以外の画素は値は
「−1」ではない。
境界不一致可能性画素検出部204と同様の機能を有す
るものであり、第2の実施形態で説明した初期視差推定
部203により求められた視差画像において視差不連続
画素を検出し、この検出した視差不連続画素を、計測不
能を示す「−1」にする(図24のステップS13
3)。 例えば図25に示す視差画像411において、
前方視差411aを示す画素領域の最も外側の画素(例
えば1画素分)、つまり後方視差を示す画素領域との境
界の画素が視差不連続画素411dであり、計測不能
(「−1」)とされる。従って、前方視差411aを示
す画素領域において、視差不連続画素以外の画素は値は
「−1」ではない。
【0258】エッジ処理部312は、エッジ検出および
エッジ膨張収縮処理を実施するものであり、基準画像の
エッジ強度を第2の実施形態で説明したソーベルフィル
タ(エッジ強調フィルタ)により計算する。これにより
得られた基準画像のエッジ強度の値を「e」とする。ま
た、このエッジ強度eが予め設定される閾値th1以上
の値を有する画素を「1」とし、それ以外の画素を
「0」とするエッジ画像(図25に示す画像412)を
作成する。輝度のエッジ412aが値「1」に相当し、
それ以外の部分は値「0」に相当する。この輝度のエッ
ジ412aは視差画像411の実際の境界411cに相
当する。
エッジ膨張収縮処理を実施するものであり、基準画像の
エッジ強度を第2の実施形態で説明したソーベルフィル
タ(エッジ強調フィルタ)により計算する。これにより
得られた基準画像のエッジ強度の値を「e」とする。ま
た、このエッジ強度eが予め設定される閾値th1以上
の値を有する画素を「1」とし、それ以外の画素を
「0」とするエッジ画像(図25に示す画像412)を
作成する。輝度のエッジ412aが値「1」に相当し、
それ以外の部分は値「0」に相当する。この輝度のエッ
ジ412aは視差画像411の実際の境界411cに相
当する。
【0259】なお、このエッジ画像に対して膨張収縮処
理を複数回行い、エッジ画像を整えても良い。また各画
素のエッジ強度を計算するのにソーベルフィルタに限定
する必要はなく、他のエッジ強調フィルタを使用しても
良い。
理を複数回行い、エッジ画像を整えても良い。また各画
素のエッジ強度を計算するのにソーベルフィルタに限定
する必要はなく、他のエッジ強調フィルタを使用しても
良い。
【0260】視差画像生成部313は、視差画像411
の中で、初期視差不連続境界検出部311により検出さ
れた視差値「−1」を持つ画素に接して、かつ視差値が
「−1」でない画素を検出する。接し方は4近傍、8近
傍どちらでも良い。そしてその画素がエッジでないなら
(エッジ画像での値が0なら)偽の不連続境界としてそ
の画素の値を「−1」にする。そして、視差画像生成部
313は、上述した操作を複数回繰り返すことにより視
差画像の視差不連続境界を輝度画像の境界に一致させ、
図25に示す最終的な視差画像414を生成する(図2
4のステップS135)。
の中で、初期視差不連続境界検出部311により検出さ
れた視差値「−1」を持つ画素に接して、かつ視差値が
「−1」でない画素を検出する。接し方は4近傍、8近
傍どちらでも良い。そしてその画素がエッジでないなら
(エッジ画像での値が0なら)偽の不連続境界としてそ
の画素の値を「−1」にする。そして、視差画像生成部
313は、上述した操作を複数回繰り返すことにより視
差画像の視差不連続境界を輝度画像の境界に一致させ、
図25に示す最終的な視差画像414を生成する(図2
4のステップS135)。
【0261】すなわち、視差画像生成部313は、初期
視差画像の不連続境界を輝度画像のエッジ強度が所定値
以上の画素の位置に一致させる。
視差画像の不連続境界を輝度画像のエッジ強度が所定値
以上の画素の位置に一致させる。
【0262】ここで、視差画像生成部313は、この実
施形態においては、背景側に計測不能画素が広がらない
ような処理を行っている。
施形態においては、背景側に計測不能画素が広がらない
ような処理を行っている。
【0263】これは、初期視差画像の不連続位置から強
いエッジ(エッジ画像で「1」を示す画像)のところま
で膨らみをなくす処理を単純に行うと、背景側にも計測
不能画素が広がってしまうためである。
いエッジ(エッジ画像で「1」を示す画像)のところま
で膨らみをなくす処理を単純に行うと、背景側にも計測
不能画素が広がってしまうためである。
【0264】例えば、図14(a)に示したように、前
方物体210aおよび後方物体210bからなる元画像
210からは、視差画像211が得られる。
方物体210aおよび後方物体210bからなる元画像
210からは、視差画像211が得られる。
【0265】この視差画像211が、図14(a)に示
したように、前方視差211a、後方視差211b、実
際の境界(強いエッジ)211c、および視差不連続位
置211dなる関係がある場合に、初期視差画像(視差
画像211)の不連続位置(視差不連続位置211d)
から強いエッジのところまで膨らみをなくす処理を行っ
た場合には、次のような問題が発生する。
したように、前方視差211a、後方視差211b、実
際の境界(強いエッジ)211c、および視差不連続位
置211dなる関係がある場合に、初期視差画像(視差
画像211)の不連続位置(視差不連続位置211d)
から強いエッジのところまで膨らみをなくす処理を行っ
た場合には、次のような問題が発生する。
【0266】すなわち、背景側(後方視差)には強いエ
ッジがないので、視差不連続位置211dから実際の境
界(強いエッジ)211cまで計測不能画素とされるこ
とは勿論のこと、視差不連続位置211dから後方視差
(背景側)211b側へも計測不能画素とされる。要す
るに、視差画像215のように、実際の境界(強いエッ
ジ)211cから背景側全てが計測不能画素222aと
なってしまう。
ッジがないので、視差不連続位置211dから実際の境
界(強いエッジ)211cまで計測不能画素とされるこ
とは勿論のこと、視差不連続位置211dから後方視差
(背景側)211b側へも計測不能画素とされる。要す
るに、視差画像215のように、実際の境界(強いエッ
ジ)211cから背景側全てが計測不能画素222aと
なってしまう。
【0267】そこで、初期視差画像の視差不連続から膨
らみをなくす際には、不連続位置(視差不連続位置21
1d)を境にして低い視差を示す側(つまり後方視差
側)には膨らみをなくす処理を行わず、高い方(実際の
境界(強いエッジ)211c側)のみ膨らみをなくす処
理を行うようにする。このようにすることで実際に膨ら
んでいる画素のみを除くことができる。
らみをなくす際には、不連続位置(視差不連続位置21
1d)を境にして低い視差を示す側(つまり後方視差
側)には膨らみをなくす処理を行わず、高い方(実際の
境界(強いエッジ)211c側)のみ膨らみをなくす処
理を行うようにする。このようにすることで実際に膨ら
んでいる画素のみを除くことができる。
【0268】また、この実施形態においては、偽の不連
続境界を示す値「−1」を示す画素つまり領域413b
についてはラベリングを行い、このラベリングされた各
領域内の画素の視差値を、その領域の境界画素の視差値
の平均あるいは最小値で補間しても良いし、境界からの
距離に従った内挿式から推定して補間しても良い。
続境界を示す値「−1」を示す画素つまり領域413b
についてはラベリングを行い、このラベリングされた各
領域内の画素の視差値を、その領域の境界画素の視差値
の平均あるいは最小値で補間しても良いし、境界からの
距離に従った内挿式から推定して補間しても良い。
【0269】以上説明したように、第6の実施形態によ
れば、視差画像の不連続部、あるいは切り出した視差画
像の境界を輝度画像のエッジ強度の強い部分に一致させ
ることにより、ウインドウサイズを変更して再度視差計
算を行ったり、物体の輪郭を抽出したりすることなく、
視差画像と輝度画像の境界を精度良く簡単に一致させる
ことができる。
れば、視差画像の不連続部、あるいは切り出した視差画
像の境界を輝度画像のエッジ強度の強い部分に一致させ
ることにより、ウインドウサイズを変更して再度視差計
算を行ったり、物体の輪郭を抽出したりすることなく、
視差画像と輝度画像の境界を精度良く簡単に一致させる
ことができる。
【0270】[第7の実施の形態]図26は、第7の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
【0271】同図に示すステレオ画像処理装置は、図2
3に示した第6の実施形態の構成において、初期視差不
連続境界検出部311および視差画像生成部313を削
除し、画像切出部314および切出視差画像生成部31
5を追加した構成になっている。なお、同図において、
図23に示した構成要素と同一の機能を果たす部分には
同一符号を付している。
3に示した第6の実施形態の構成において、初期視差不
連続境界検出部311および視差画像生成部313を削
除し、画像切出部314および切出視差画像生成部31
5を追加した構成になっている。なお、同図において、
図23に示した構成要素と同一の機能を果たす部分には
同一符号を付している。
【0272】この実施形態においても、基本的には第6
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図27および最終的な視差画像を生成する
ための処理過程を示す図28を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図27および最終的な視差画像を生成する
ための処理過程を示す図28を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
【0273】初期視差推定部203は、画像データ記憶
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図27のステップS141)、ブロ
ックマッチングによる初期視差を推定して視差画像41
1(図28に示す視差画像411)を作成する(図27
のステップS142)。
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図27のステップS141)、ブロ
ックマッチングによる初期視差を推定して視差画像41
1(図28に示す視差画像411)を作成する(図27
のステップS142)。
【0274】画像切出部314は、初期視差推定部20
3により求められた視差画像において着目物体の視差値
を持つ画素を抜き出すと共に、その画素値を「1」と
し、それ以外の画素の画素値を「−1」にした切り出し
画像(図28に示す切り出し視差画像421)を作成す
る(図27のステップS143)。
3により求められた視差画像において着目物体の視差値
を持つ画素を抜き出すと共に、その画素値を「1」と
し、それ以外の画素の画素値を「−1」にした切り出し
画像(図28に示す切り出し視差画像421)を作成す
る(図27のステップS143)。
【0275】これは、着目物体が視差値「a」以上でか
つ視差値「b」以下の値をもつものの場合、視差値a以
上でかつ視差値b以下の値を持つ画素の値を「1」に
し、それ以外の画素の値を「−1」にすることに相当す
る。
つ視差値「b」以下の値をもつものの場合、視差値a以
上でかつ視差値b以下の値を持つ画素の値を「1」に
し、それ以外の画素の値を「−1」にすることに相当す
る。
【0276】具体的には、図28に示す例において、視
差画像411の着目物体の視差値を持つ画素は前方視差
411aを示す画素が相当するので、この前方視差41
1aを示す画素が画素値「1」とされ、また後方視差4
11bを示す画素が画素値「−1」とされて切り出し画
像が作成される。結果的に、視差画像411の切り出し
画像は、画像421中の切り出し視差画像421bであ
り、この画像が画素値「1」であり、それ以外の画素
(図中白色部分)が画素値「−1」である。
差画像411の着目物体の視差値を持つ画素は前方視差
411aを示す画素が相当するので、この前方視差41
1aを示す画素が画素値「1」とされ、また後方視差4
11bを示す画素が画素値「−1」とされて切り出し画
像が作成される。結果的に、視差画像411の切り出し
画像は、画像421中の切り出し視差画像421bであ
り、この画像が画素値「1」であり、それ以外の画素
(図中白色部分)が画素値「−1」である。
【0277】エッジ処理部312は、エッジ検出および
エッジ膨張収縮処理を実施するものであり、基準画像の
エッジ強度をソーベルフィルタ(エッジ強調フィルタ)
により計算し、この計算結果である基準画像のエッジ強
度の値を「e」とすると共に、該エッジ強度eが閾値t
h1以上の画素を「1」とし、それ以外の画素を「0」
とするエッジ画像(図28に示すエッジ画像412)を
作成する(図27のステップS144)。このエッジ画
像412においては、輝度のエッジ412aは値「1」
であり、それ以外の画素は値「0」である。また、輝度
412aは切り出し画像421中の輝度のエッジ421
aに相当する。
エッジ膨張収縮処理を実施するものであり、基準画像の
エッジ強度をソーベルフィルタ(エッジ強調フィルタ)
により計算し、この計算結果である基準画像のエッジ強
度の値を「e」とすると共に、該エッジ強度eが閾値t
h1以上の画素を「1」とし、それ以外の画素を「0」
とするエッジ画像(図28に示すエッジ画像412)を
作成する(図27のステップS144)。このエッジ画
像412においては、輝度のエッジ412aは値「1」
であり、それ以外の画素は値「0」である。また、輝度
412aは切り出し画像421中の輝度のエッジ421
aに相当する。
【0278】そして、切出視差画像生成部315は、画
像切出部314により切り出された切り出し視差画像の
画素値「1」を持つ画素の中で、画素値「−1」を持つ
画素に接する画素を検出する。接し方は4近傍、8近傍
どちらでも良い。そしてその画素がエッジでないなら
(エッジ画像での値が0なら)偽の不連続境界としてそ
の画素の値を「−1」にする。
像切出部314により切り出された切り出し視差画像の
画素値「1」を持つ画素の中で、画素値「−1」を持つ
画素に接する画素を検出する。接し方は4近傍、8近傍
どちらでも良い。そしてその画素がエッジでないなら
(エッジ画像での値が0なら)偽の不連続境界としてそ
の画素の値を「−1」にする。
【0279】そして、切出視差画像生成部315は、上
述した操作を繰り返すことにより視差画像の視差不連続
境界を輝度画像の境界に一致させて、切り出し視差画像
(図28に示す視差画像422)を生成する(図27の
ステップS145)。
述した操作を繰り返すことにより視差画像の視差不連続
境界を輝度画像の境界に一致させて、切り出し視差画像
(図28に示す視差画像422)を生成する(図27の
ステップS145)。
【0280】すなわち、切出視差画像生成部315は、
初期視差画像から、着目する物体の存在する視差値を持
つ画素を切り出した切り出し画像の境界を、輝度画像の
エッジ強度が所定値以上の画素の位置に一致させる。
初期視差画像から、着目する物体の存在する視差値を持
つ画素を切り出した切り出し画像の境界を、輝度画像の
エッジ強度が所定値以上の画素の位置に一致させる。
【0281】なお、この実施形態では、図28に示すよ
うに、画像412の輝度のエッジ412aと、画像42
1の切り出し視差画像421bとに基づいて、最終的な
切り出し視差画像422を生成するようにしているが、
これに限定されることなく、次のようにしても良い。
うに、画像412の輝度のエッジ412aと、画像42
1の切り出し視差画像421bとに基づいて、最終的な
切り出し視差画像422を生成するようにしているが、
これに限定されることなく、次のようにしても良い。
【0282】すなわち、第2の実施形態で説明した境界
不一致可能性画素と画像421の切り出し視差画像42
1bとに基づいて、最終的な切り出し視差画像422を
生成するようにしても良い。
不一致可能性画素と画像421の切り出し視差画像42
1bとに基づいて、最終的な切り出し視差画像422を
生成するようにしても良い。
【0283】具体的には、図26に示す構成において、
エッジ処理部312を削除し、第2の実施形態で説明し
た境界不一致可能性画素検出部204(図3参照)を追
加する。
エッジ処理部312を削除し、第2の実施形態で説明し
た境界不一致可能性画素検出部204(図3参照)を追
加する。
【0284】境界不一致可能性画素検出部204は、図
13に示したように、元画像210を基に、境界不一致
可能性画素を示す画像212を生成する。つまり、境界
不一致可能性画素212aを検出する。その後の処理
は、図28を用いて説明したのと同様に、初期視差推定
部203により視差画像411を生成し、画像切出部3
14により画像421つまり切り出し視差画像421b
を得る。
13に示したように、元画像210を基に、境界不一致
可能性画素を示す画像212を生成する。つまり、境界
不一致可能性画素212aを検出する。その後の処理
は、図28を用いて説明したのと同様に、初期視差推定
部203により視差画像411を生成し、画像切出部3
14により画像421つまり切り出し視差画像421b
を得る。
【0285】そして、切出視差画像生成部315によっ
て、境界不一致可能性画素212aと、切り出し視差画
像421bとに基づいて、最終的な切り出し視差画像4
22を生成する。
て、境界不一致可能性画素212aと、切り出し視差画
像421bとに基づいて、最終的な切り出し視差画像4
22を生成する。
【0286】以上説明したように、第7の実施形態にお
いても、上記第6の実施形態の作用効果を期待すること
ができる。
いても、上記第6の実施形態の作用効果を期待すること
ができる。
【0287】[第8の実施の形態]図29は、第8の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
【0288】同図に示すステレオ画像処理装置は、図2
3に示した第6の実施形態の構成において、エッジ処理
部312を削除し、エッジ検出部316および境界移動
部317を追加した構成になっている。なお、同図にお
いて、図23に示した構成要素と同一の機能を果たす部
分には同一符号を付している。
3に示した第6の実施形態の構成において、エッジ処理
部312を削除し、エッジ検出部316および境界移動
部317を追加した構成になっている。なお、同図にお
いて、図23に示した構成要素と同一の機能を果たす部
分には同一符号を付している。
【0289】この実施形態においても、基本的には第6
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図30および最終的な視差画像を生成する
ための処理過程を示す図31を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図30および最終的な視差画像を生成する
ための処理過程を示す図31を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
【0290】初期視差推定部203は、画像データ記憶
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図30のステップS151)、ブロ
ックマッチングによる初期視差を推定して視差画像(図
31に示す視差画像411)を作成する(図30のステ
ップS152)。
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図30のステップS151)、ブロ
ックマッチングによる初期視差を推定して視差画像(図
31に示す視差画像411)を作成する(図30のステ
ップS152)。
【0291】初期視差不連続境界検出部311は、初期
視差推定部203によるブロックマッチングにより求め
られた視差画像において視差不連続画素を検出し、この
検出した視差不連続画素を、計測不能を示す「−1」に
する(図30のステップS153)。図31に示す画像
411参照。
視差推定部203によるブロックマッチングにより求め
られた視差画像において視差不連続画素を検出し、この
検出した視差不連続画素を、計測不能を示す「−1」に
する(図30のステップS153)。図31に示す画像
411参照。
【0292】エッジ検出部316は、基本的には第6の
実施形態で説明したエッジ処理部312と同様の機能を
有するものの、エッジ膨張収縮処理については実施しな
い。
実施形態で説明したエッジ処理部312と同様の機能を
有するものの、エッジ膨張収縮処理については実施しな
い。
【0293】つまり、基準画像のエッジ強度を例えばソ
ーベルフィルタ(エッジ強調フィルタ)により計算し、
この計算結果(基準画像のエッジ強度の値)を「e」と
し、このエッジ強度eが閾値th1以上の画素を「1」
とし、それ以外の画素を「0」とするエッジ画像(図3
1エッジ画像412)を作成する(図30のステップS
154)。
ーベルフィルタ(エッジ強調フィルタ)により計算し、
この計算結果(基準画像のエッジ強度の値)を「e」と
し、このエッジ強度eが閾値th1以上の画素を「1」
とし、それ以外の画素を「0」とするエッジ画像(図3
1エッジ画像412)を作成する(図30のステップS
154)。
【0294】境界移動部317は、初期視差推定部20
3により得られた視差画像(図31に示す視差画像41
1)の中で、視差値「−1」を持つ画素に接してかつ視
差値が「−1」でない画素を検出する。接し方は4近
傍、8近傍いずれでも良い。
3により得られた視差画像(図31に示す視差画像41
1)の中で、視差値「−1」を持つ画素に接してかつ視
差値が「−1」でない画素を検出する。接し方は4近
傍、8近傍いずれでも良い。
【0295】ここに図25を用いて説明したのと同様
に、図31に示す視差画像411の前方視差411aを
示す画素領域においては、視差不連続画素411dが計
測不能(「−1」)とされる。これ以外の画素の値は
「−1」ではない。
に、図31に示す視差画像411の前方視差411aを
示す画素領域においては、視差不連続画素411dが計
測不能(「−1」)とされる。これ以外の画素の値は
「−1」ではない。
【0296】したがって、視差画像411の中で、視差
値「−1」を持つ画素に接してかつ視差値が「−1」で
ない画素を検出するということは、視差不連続画素41
1dを境にして前方視差411a側または後方視差41
1b側の画素を検出することになる。
値「−1」を持つ画素に接してかつ視差値が「−1」で
ない画素を検出するということは、視差不連続画素41
1dを境にして前方視差411a側または後方視差41
1b側の画素を検出することになる。
【0297】こうして検出した画素の周りにw1*w2
のウインドウを設定し、その後、数式(15)を計算す
る。
のウインドウを設定し、その後、数式(15)を計算す
る。
【0298】 d=Σ(e(i)*m(i))/n−ee (i=0〜w1*w2) ・・・(15) ただし、iはウインドウ内の画素の位置を表し、mは位
置iに存在する画素の視差値が「−1」なら0、それ以
外なら1を表し、eはエッジ強度を表し、eeは検出し
た画素のエッジ強度を表し、nはm(i)が1である数
を表す。
置iに存在する画素の視差値が「−1」なら0、それ以
外なら1を表し、eはエッジ強度を表し、eeは検出し
た画素のエッジ強度を表し、nはm(i)が1である数
を表す。
【0299】数式(15)を演算して得られた値dが予
め設定される閾値th1以上なら、この検出した画素の
視差を計測不能を示す「−1」にする。
め設定される閾値th1以上なら、この検出した画素の
視差を計測不能を示す「−1」にする。
【0300】この操作を1回あるいは複数回繰り返すこ
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部を輝度画像の境界と一致させる
(図30のステップS155)。
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部を輝度画像の境界と一致させる
(図30のステップS155)。
【0301】すなわち、境界移動部317は、初期視差
画像の不連続境界を検出し、不連続画素あるいはその画
素に接する画素についてウインドウを設定し、その画素
のエッジ強度が、ウインドウ内のエッジ強度の平均より
も、所定値以上小さい場合、当該画素を偽の不連続境界
とみなすという操作を1回あるいは複数回行うことによ
り視差画像の不連続境界を輝度画像の物体境界に一致さ
せる。
画像の不連続境界を検出し、不連続画素あるいはその画
素に接する画素についてウインドウを設定し、その画素
のエッジ強度が、ウインドウ内のエッジ強度の平均より
も、所定値以上小さい場合、当該画素を偽の不連続境界
とみなすという操作を1回あるいは複数回行うことによ
り視差画像の不連続境界を輝度画像の物体境界に一致さ
せる。
【0302】そして、視差画像生成部313は、輝度画
像の境界と視差画像の境界が一致した視差画像(図31
に示す視差画像432)を生成する(図30のステップ
S156)。
像の境界と視差画像の境界が一致した視差画像(図31
に示す視差画像432)を生成する(図30のステップ
S156)。
【0303】なお、この実施形態においては、上記の操
作で、「−1」(計測不能)を示す画素については、ラ
ベリングを行い、ラベリングされた各領域内の画素の視
差値を、その領域の境界画素の視差値の平均あるいは最
小値で補間しても良いし、境界からの距離に従った内挿
式から推定して補間しても良い。
作で、「−1」(計測不能)を示す画素については、ラ
ベリングを行い、ラベリングされた各領域内の画素の視
差値を、その領域の境界画素の視差値の平均あるいは最
小値で補間しても良いし、境界からの距離に従った内挿
式から推定して補間しても良い。
【0304】また、最初に不連続画素を検出した際、そ
の画素は無条件で「−1」と設定したが、その画素につ
いても上記数式(15)の演算を行い、この値dが、閾
値th1以上なら「−1」とするようにしても良い。さ
らに、背景側に計測不能画素が広がらないような処理を
行っても良い。
の画素は無条件で「−1」と設定したが、その画素につ
いても上記数式(15)の演算を行い、この値dが、閾
値th1以上なら「−1」とするようにしても良い。さ
らに、背景側に計測不能画素が広がらないような処理を
行っても良い。
【0305】以上説明したように、第8の実施形態によ
れば、視差画像の不連続部、あるいは切り出し視差画像
の境界付近のエッジ強度から偽の境界を検出することに
より、ウインドウサイズを変更して再度視差計算を行っ
たり、物体の輪郭を抽出したりすることなく、視差画像
と輝度画像の境界を精度良く簡単に一致させることがで
きる。
れば、視差画像の不連続部、あるいは切り出し視差画像
の境界付近のエッジ強度から偽の境界を検出することに
より、ウインドウサイズを変更して再度視差計算を行っ
たり、物体の輪郭を抽出したりすることなく、視差画像
と輝度画像の境界を精度良く簡単に一致させることがで
きる。
【0306】[第9の実施の形態]図32は、第9の実
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
施形態に係るステレオ画像処理装置の構成を示すブロッ
ク図である。
【0307】同図に示すステレオ画像処理装置は、図2
3に示した第6の実施形態の構成において、視差画像生
成部313を削除し、境界移動部318および視差画像
生成部319を追加した構成になっている。なお、同図
において、図23に示した構成要素と同一の機能を果た
す部分には同一符号を付している。
3に示した第6の実施形態の構成において、視差画像生
成部313を削除し、境界移動部318および視差画像
生成部319を追加した構成になっている。なお、同図
において、図23に示した構成要素と同一の機能を果た
す部分には同一符号を付している。
【0308】この実施形態においても、基本的には第6
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図33、および最終的な視差画像を生成す
るための処理過程を示す図34及び図35を参照しなが
ら、この処理内容とともに新たに追加された構成要素に
ついて説明する。
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図33、および最終的な視差画像を生成す
るための処理過程を示す図34及び図35を参照しなが
ら、この処理内容とともに新たに追加された構成要素に
ついて説明する。
【0309】初期視差推定部203は、画像データ記憶
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図33のステップS161)、ブロ
ックマッチングによる初期視差を推定して視差画像(図
35に示す視差画像411)を作成する(図33のステ
ップS162)。
部202に記憶されている基準画像#ch1及び参照画
像#ch2を基に(図33のステップS161)、ブロ
ックマッチングによる初期視差を推定して視差画像(図
35に示す視差画像411)を作成する(図33のステ
ップS162)。
【0310】初期視差不連続境界検出部311は、初期
視差推定部203により求められた視差画像において視
差不連続画素を検出し、この検出した視差不連続画素
を、計測不能を示す「−1」にする(図33のステップ
S163)。図35に示す画像411参照。
視差推定部203により求められた視差画像において視
差不連続画素を検出し、この検出した視差不連続画素
を、計測不能を示す「−1」にする(図33のステップ
S163)。図35に示す画像411参照。
【0311】エッジ処理部312は、基準画像のエッジ
強度および方向をソーベルフィルタにより計算する。
強度および方向をソーベルフィルタにより計算する。
【0312】すなわち、エッジ強度eについては上述し
た数式(4)を演算することにより求め、エッジの方向
drは数式(16)を演算して求める。
た数式(4)を演算することにより求め、エッジの方向
drは数式(16)を演算して求める。
【0313】 dr=tan−1((A+2D+G−2F−I)/(A+2B+C−G−2H −I)) ・・・(16) なお、各画素のエッジ強度およびエッジ方向を計算する
のにソーベルフィルタに限定する必要はなく、他のエッ
ジ強調フィルタあるいは方向検出フィルタを使っても良
い。
のにソーベルフィルタに限定する必要はなく、他のエッ
ジ強調フィルタあるいは方向検出フィルタを使っても良
い。
【0314】そして、エッジ処理部312は、エッジ強
度eが閾値th1以上の画素を「1」とし、それ以外の
画素を「0」とするエッジ画像(図35に示すエッジ画
像412)を作成する(図33のステップS164)。
度eが閾値th1以上の画素を「1」とし、それ以外の
画素を「0」とするエッジ画像(図35に示すエッジ画
像412)を作成する(図33のステップS164)。
【0315】境界移動部318は、初期視差推定部20
3により生成された視差画像(図35視差画像411参
照)の中で、視差値「−1」を持つ画素に接してかつ視
差値が「−1」でない画素を検出する。接し方は4近
傍、8近傍どちらでもよい。
3により生成された視差画像(図35視差画像411参
照)の中で、視差値「−1」を持つ画素に接してかつ視
差値が「−1」でない画素を検出する。接し方は4近
傍、8近傍どちらでもよい。
【0316】検出した画素のエッジの所定方向(例えば
エッジの向きの法線方向)にある画素のエッジ強度が、
自己の画素のエッジ強度よりも予め設定される閾値th
2以上大きい場合、自己の画素の視差を計測不能を示す
「−1」とする。
エッジの向きの法線方向)にある画素のエッジ強度が、
自己の画素のエッジ強度よりも予め設定される閾値th
2以上大きい場合、自己の画素の視差を計測不能を示す
「−1」とする。
【0317】すなわち、初期視差画像の不連続位置から
エッジ強度が強いところまで膨らみをなくす処理におい
て、エッジ強度が所定値以下の場合に偽の物体境界とみ
なすのではなく、隣り合う画素とのエッジ強度の差から
偽の物体境界であると判断する。
エッジ強度が強いところまで膨らみをなくす処理におい
て、エッジ強度が所定値以下の場合に偽の物体境界とみ
なすのではなく、隣り合う画素とのエッジ強度の差から
偽の物体境界であると判断する。
【0318】例えば、図34に示す画素中の画素440
bが偽の物体かどうかを画素440bのエッジ強度から
判断するのではなく、画素440bの周りの画素とのエ
ッジ強度の差から判断する。具体的には、画素440b
の周り8近傍の画素を参照し、エッジ強度の差が所定の
閾値以上になる場合は、画素440bは偽の物体境界と
する。
bが偽の物体かどうかを画素440bのエッジ強度から
判断するのではなく、画素440bの周りの画素とのエ
ッジ強度の差から判断する。具体的には、画素440b
の周り8近傍の画素を参照し、エッジ強度の差が所定の
閾値以上になる場合は、画素440bは偽の物体境界と
する。
【0319】勿論、画素440bやその周りの画素のエ
ッジ強度の絶対値も判断に加えても良い。なお、周りの
画素全てについて調べるのではなく、所定方向(例えば
エッジの向きの法線方向)に存在する画素との差のみ調
べても良い。
ッジ強度の絶対値も判断に加えても良い。なお、周りの
画素全てについて調べるのではなく、所定方向(例えば
エッジの向きの法線方向)に存在する画素との差のみ調
べても良い。
【0320】このような操作を1回あるいは複数回繰り
返すことにより、初期視差不連続境界付近のエッジ強度
を基に所定方向(例えばエッジの向きの法線方向)に境
界を移動させ、視差画像の不連続部を輝度画像の境界と
一致させる(図33のステップS165)。
返すことにより、初期視差不連続境界付近のエッジ強度
を基に所定方向(例えばエッジの向きの法線方向)に境
界を移動させ、視差画像の不連続部を輝度画像の境界と
一致させる(図33のステップS165)。
【0321】すなわち、境界移動部318は、初期視差
画像の不連続境界を検出し、不連続画素あるいはその画
素に接する画素の所定方向(例えばエッジの向きの法線
方向)の画素のエッジ強度が、自己の画素の強度よりも
所定値以上大きい場合、その自己の画素を偽の不連続境
界とみなすという操作を1回あるいは複数回行うことに
より、視差画像の不連続境界を輝度画像の物体境界に一
致させる。
画像の不連続境界を検出し、不連続画素あるいはその画
素に接する画素の所定方向(例えばエッジの向きの法線
方向)の画素のエッジ強度が、自己の画素の強度よりも
所定値以上大きい場合、その自己の画素を偽の不連続境
界とみなすという操作を1回あるいは複数回行うことに
より、視差画像の不連続境界を輝度画像の物体境界に一
致させる。
【0322】そして、視差画像生成部319は、輝度画
像の境界と視差画像の境界が一致した視差画像(図35
に示す視差画像442)を生成する(図33のステップ
S166)。
像の境界と視差画像の境界が一致した視差画像(図35
に示す視差画像442)を生成する(図33のステップ
S166)。
【0323】なお、上記実施形態においては、上記の操
作で、「−1」(計測不能)を示す画素については、ラ
ベリングを行い、ラベリングされた各領域内の画素の視
差値を、その領域の境界画素の視差値の平均あるいは最
小値で補間しても良いし、境界からの距離に従った内挿
式から推定して補間しても良い。
作で、「−1」(計測不能)を示す画素については、ラ
ベリングを行い、ラベリングされた各領域内の画素の視
差値を、その領域の境界画素の視差値の平均あるいは最
小値で補間しても良いし、境界からの距離に従った内挿
式から推定して補間しても良い。
【0324】また、最初に不連続画素を検出した際、そ
の画素は無条件で「−1」と設定したが、所定の向き
(例えばエッジの向きの法線方向)に存在する画素のエ
ッジ強度を調べ、そのエッジ強度の値が、自己の画素の
エッジ強度よりも閾値th2以上大きい値の場合には、
自己の画素を「−1」とするようにしても良い。さら
に、背景側に計測不能画素が広がらないような処理を行
っても良い。
の画素は無条件で「−1」と設定したが、所定の向き
(例えばエッジの向きの法線方向)に存在する画素のエ
ッジ強度を調べ、そのエッジ強度の値が、自己の画素の
エッジ強度よりも閾値th2以上大きい値の場合には、
自己の画素を「−1」とするようにしても良い。さら
に、背景側に計測不能画素が広がらないような処理を行
っても良い。
【0325】以上説明したように第9の実施形態におい
ても、上記第8の実施形態の作用効果を期待することが
できる。
ても、上記第8の実施形態の作用効果を期待することが
できる。
【0326】[第10の実施の形態]図36は、第10
の実施形態に係るステレオ画像処理装置の構成を示すブ
ロック図である。
の実施形態に係るステレオ画像処理装置の構成を示すブ
ロック図である。
【0327】同図に示すステレオ画像処理装置は、図2
6に示した第7の実施形態の構成において、エッジ処理
部312および切出視差画像生成部315を削除し、境
界移動部318、切出視差画像生成部322およびエッ
ジ検出部320を追加した構成になっている。なお、同
図において、図26に示した構成要素と同一の機能を果
たす部分には同一符号を付している。
6に示した第7の実施形態の構成において、エッジ処理
部312および切出視差画像生成部315を削除し、境
界移動部318、切出視差画像生成部322およびエッ
ジ検出部320を追加した構成になっている。なお、同
図において、図26に示した構成要素と同一の機能を果
たす部分には同一符号を付している。
【0328】この実施形態においても、基本的には第7
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図37および最終的な視差画像を生成する
ための処理過程に示す図38を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図37および最終的な視差画像を生成する
ための処理過程に示す図38を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
【0329】初期視差推定部203は、図27のステッ
プS141、S142と同様の処理を行って視差画像4
11(図38に示す視差画像411)を作成する(図3
7のステップS171、172)。
プS141、S142と同様の処理を行って視差画像4
11(図38に示す視差画像411)を作成する(図3
7のステップS171、172)。
【0330】画像切出部314は、図27のステップS
143と同様の処理を行って切り出し画像(図38に示
す切り出し画像451)を作成する(図37のステップ
S173)。
143と同様の処理を行って切り出し画像(図38に示
す切り出し画像451)を作成する(図37のステップ
S173)。
【0331】この切り出し画像は、着目物体の視差値を
持つ画素の画素値が「1」で、それ以外の画素の画素値
が「−1」になっている。
持つ画素の画素値が「1」で、それ以外の画素の画素値
が「−1」になっている。
【0332】エッジ検出部320は、図30のステップ
S154と同様の処理を行ってエッジ画像(図38に示
すエッジ画像412)を作成する(図37のステップS
174)。
S154と同様の処理を行ってエッジ画像(図38に示
すエッジ画像412)を作成する(図37のステップS
174)。
【0333】境界移動部318は、基本的には境界移動
部317と同様の機能を有しており、画像切出部314
により得られた切り出し画像(図38に示す切り出し画
像451)の中で、視差値「−1」を持つ画素に接して
かつ視差値が「−1」でない画素を検出する。また、上
記数式(15)を演算して得られた値dが閾値th1以
上なら、この検出した画素の視差を計測不能を示す「−
1」にする。
部317と同様の機能を有しており、画像切出部314
により得られた切り出し画像(図38に示す切り出し画
像451)の中で、視差値「−1」を持つ画素に接して
かつ視差値が「−1」でない画素を検出する。また、上
記数式(15)を演算して得られた値dが閾値th1以
上なら、この検出した画素の視差を計測不能を示す「−
1」にする。
【0334】この操作を1回あるいは複数回繰り返すこ
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部(切り出し境界)を輝度画像の
境界(輝度エッジ)と一致させる(図37のステップS
175)。
とにより、初期視差不連続境界付近のエッジ強度を基
に、視差画像の不連続部(切り出し境界)を輝度画像の
境界(輝度エッジ)と一致させる(図37のステップS
175)。
【0335】そして、切出視差画像生成部322は、輝
度画像の境界と視差画像の境界が一致した切り出し視差
画像(図38に示す視差画像452)を生成する(図3
7のステップS176)。
度画像の境界と視差画像の境界が一致した切り出し視差
画像(図38に示す視差画像452)を生成する(図3
7のステップS176)。
【0336】以上説明したように第10の実施形態にお
いても、上記第8の実施形態の作用効果を期待すること
ができる。
いても、上記第8の実施形態の作用効果を期待すること
ができる。
【0337】[第11の実施の形態]図39は、第11
の実施形態に係るステレオ画像処理装置の構成を示すブ
ロック図である。
の実施形態に係るステレオ画像処理装置の構成を示すブ
ロック図である。
【0338】同図に示すステレオ画像処理装置は、図3
6に示した第10の実施形態の構成において、エッジ検
出部320を削除し、エッジ処理部321を追加した構
成になっている。なお、同図において、図26に示した
構成要素と同一の機能を果たす部分には同一符号を付し
ている。
6に示した第10の実施形態の構成において、エッジ検
出部320を削除し、エッジ処理部321を追加した構
成になっている。なお、同図において、図26に示した
構成要素と同一の機能を果たす部分には同一符号を付し
ている。
【0339】この実施形態においても、基本的には第7
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図40および最終的な視差画像を生成する
ための処理過程に示す図41を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
の実施形態の場合と同様に、元画像から、初期視差画像
とエッジ強調画像を得て、これらの画像から最終的な視
差画像を生成するようにしている。ここでは、概略の処
理手順を示す図40および最終的な視差画像を生成する
ための処理過程に示す図41を参照しながら、この処理
内容とともに新たに追加された構成要素について説明す
る。
【0340】初期視差推定部203は、図27のステッ
プS141、S142と同様の処理を行って視差画像4
11(図41に示す視差画像411)を作成する(図4
0のステップS181、182)。
プS141、S142と同様の処理を行って視差画像4
11(図41に示す視差画像411)を作成する(図4
0のステップS181、182)。
【0341】画像切出部314は、図27のステップS
143と同様の処理を行って切り出し画像(図41に示
す切り出し画像461)を作成する(図40のステップ
S183)。
143と同様の処理を行って切り出し画像(図41に示
す切り出し画像461)を作成する(図40のステップ
S183)。
【0342】この切り出し画像は、着目物体の視差値を
持つ画素の画素値が「1」で、それ以外の画素の画素値
が「−1」になっている。
持つ画素の画素値が「1」で、それ以外の画素の画素値
が「−1」になっている。
【0343】エッジ処理部321は、図33のステップ
S164と同様の処理を行って、基準画像のエッジ強度
および方向をソーベルフィルタにより計算し、この計算
結果であるエッジ強度eが閾値th1以上の画素を
「1」とし、それ以外の画素を「0」とするエッジ画像
(図41に示すエッジ画像412)を作成する(図40
のステップS184)。
S164と同様の処理を行って、基準画像のエッジ強度
および方向をソーベルフィルタにより計算し、この計算
結果であるエッジ強度eが閾値th1以上の画素を
「1」とし、それ以外の画素を「0」とするエッジ画像
(図41に示すエッジ画像412)を作成する(図40
のステップS184)。
【0344】境界移動部318は、図33のステップS
165と同様の処理を行って、画像切出部314により
得られた切り出し画像(図41に示す切り出し画像46
1)の中で、視差値「−1」を持つ画素に接してかつ視
差値が「−1」でない画素を検出する。 この検出した
画素のエッジの所定方向(例えばエッジの向きの法線方
向)にある画素のエッジ強度が、自己の画素のエッジ強
度よりも予め設定される閾値th2以上大きい場合、自
己の画素の視差を計測不能を示す「−1」とする。
165と同様の処理を行って、画像切出部314により
得られた切り出し画像(図41に示す切り出し画像46
1)の中で、視差値「−1」を持つ画素に接してかつ視
差値が「−1」でない画素を検出する。 この検出した
画素のエッジの所定方向(例えばエッジの向きの法線方
向)にある画素のエッジ強度が、自己の画素のエッジ強
度よりも予め設定される閾値th2以上大きい場合、自
己の画素の視差を計測不能を示す「−1」とする。
【0345】このような操作を1回あるいは複数回繰り
返すことにより、初期視差不連続境界付近のエッジ強度
を基に所定方向(例えばエッジの向きの法線方向)に境
界を移動させ、視差画像の不連続部を輝度画像の境界と
一致させる(図40のステップS185)。
返すことにより、初期視差不連続境界付近のエッジ強度
を基に所定方向(例えばエッジの向きの法線方向)に境
界を移動させ、視差画像の不連続部を輝度画像の境界と
一致させる(図40のステップS185)。
【0346】そして、切出視差画像生成部322は、輝
度画像の境界と視差画像の境界が一致した切り出し視差
画像(図41に示す視差画像462)を生成する(図4
0のステップS186)。
度画像の境界と視差画像の境界が一致した切り出し視差
画像(図41に示す視差画像462)を生成する(図4
0のステップS186)。
【0347】以上説明したように第11の実施形態にお
いても、上記第9の実施形態の作用効果を期待すること
ができる。
いても、上記第9の実施形態の作用効果を期待すること
ができる。
【0348】上述してきたように第1乃至第11の実施
形態によれば、画像間の誤対応を正確に認識することが
でき、しかも認識視差画像と輝度画像の境界を精度良く
簡単に一致させることができる。
形態によれば、画像間の誤対応を正確に認識することが
でき、しかも認識視差画像と輝度画像の境界を精度良く
簡単に一致させることができる。
【0349】このように本発明においては、図42に示
すように、元画像510を基に、視差画像520、エッ
ジ画像530および境界不一致可能性画像540を得る
と共に、これらの画像を基に最終的な視差画像550ま
たは切り出し視差画像560を得ることが出来る。視差
画像と輝度画像の境界を精度良く一致させることができ
る。
すように、元画像510を基に、視差画像520、エッ
ジ画像530および境界不一致可能性画像540を得る
と共に、これらの画像を基に最終的な視差画像550ま
たは切り出し視差画像560を得ることが出来る。視差
画像と輝度画像の境界を精度良く一致させることができ
る。
【0350】図42において、画像510は例えば図2
5の元画像410に相当し、画像520は例えば図25
の視差画像411に相当し、画像530は例えば図25
のエッジ画像412に相当し、画像540は例えば図1
3の境界不一致可能性画素画像212に相当し、画像5
50は例えば図25の視差画像414に相当し、画像5
60は例えば図13の視差画像214に相当する。
5の元画像410に相当し、画像520は例えば図25
の視差画像411に相当し、画像530は例えば図25
のエッジ画像412に相当し、画像540は例えば図1
3の境界不一致可能性画素画像212に相当し、画像5
50は例えば図25の視差画像414に相当し、画像5
60は例えば図13の視差画像214に相当する。
【0351】これに対し、従来においては、図42に示
すように、元画像510から得られた視差画像570
(視差画像520と同様の画像)を基に、最終的な視差
画像580を生成するようにしているので、視差画像と
輝度画像の境界が一致せず、着目物体に膨らみが発生し
ている。
すように、元画像510から得られた視差画像570
(視差画像520と同様の画像)を基に、最終的な視差
画像580を生成するようにしているので、視差画像と
輝度画像の境界が一致せず、着目物体に膨らみが発生し
ている。
【0352】すなわち、図42を参照しても分かるよう
に、本発明によれば、最終的な視差画像は、視差画像5
50あるいは視差画像560に示すように、視差画像と
輝度画像の境界を精度良く一致しているのに対し、従来
においては、視差画像580に示すように、輪郭に膨ら
みが発生している。
に、本発明によれば、最終的な視差画像は、視差画像5
50あるいは視差画像560に示すように、視差画像と
輝度画像の境界を精度良く一致しているのに対し、従来
においては、視差画像580に示すように、輪郭に膨ら
みが発生している。
【0353】ところで、上述した第1乃至第11の実施
形態において、上記第1の実施形態における誤対応認識
処理に基づく処理手順、及び上記第2乃至第11の実施
形態における処理手順を示すフローチャート、処理過程
を説明するための図および処理手順を示す図に基づく処
理手順をそれぞれプログラム(ソフトウェア)として実
現してこのプログラムを記録媒体に記録しておき、コン
ピュータがこの記録媒体から当該プログラムを読み出し
て実行することにより、上述した第1乃至第11の実施
形態に係る各処理を実行するようにしても良い。
形態において、上記第1の実施形態における誤対応認識
処理に基づく処理手順、及び上記第2乃至第11の実施
形態における処理手順を示すフローチャート、処理過程
を説明するための図および処理手順を示す図に基づく処
理手順をそれぞれプログラム(ソフトウェア)として実
現してこのプログラムを記録媒体に記録しておき、コン
ピュータがこの記録媒体から当該プログラムを読み出し
て実行することにより、上述した第1乃至第11の実施
形態に係る各処理を実行するようにしても良い。
【0354】図43は、上述した第1乃至第11の実施
形態に係る各処理を実行するコンピュータ600の一実
施例の構成図を示している。
形態に係る各処理を実行するコンピュータ600の一実
施例の構成図を示している。
【0355】コンピュータ600は、インタフェース6
10、620と、プログラム記録媒体630と、記憶装
置640と、中央処理装置(以下、CPUという)65
0とを有して構成されている。これらの構成要素はバス
660を介して各々接続されている。
10、620と、プログラム記録媒体630と、記憶装
置640と、中央処理装置(以下、CPUという)65
0とを有して構成されている。これらの構成要素はバス
660を介して各々接続されている。
【0356】インタフェース610は、例えば上述した
画像センサ1、2(図45参照)との間のインタフェー
スを司るものである。このインタフェース610を介し
て前記画像センサ1、2で撮像された対象物体の各々の
画像を示す画像情報が取り込まれるようになっている。
前記各画像を示す画像情報のうち、基準とする撮像セン
サで撮像された画像は基準画像として用いられる。例え
ば、基準とする撮像センサとして撮像センサ1が設定さ
れている場合には、当該撮像センサ1により撮像された
画像が基準画像として用いられる。
画像センサ1、2(図45参照)との間のインタフェー
スを司るものである。このインタフェース610を介し
て前記画像センサ1、2で撮像された対象物体の各々の
画像を示す画像情報が取り込まれるようになっている。
前記各画像を示す画像情報のうち、基準とする撮像セン
サで撮像された画像は基準画像として用いられる。例え
ば、基準とする撮像センサとして撮像センサ1が設定さ
れている場合には、当該撮像センサ1により撮像された
画像が基準画像として用いられる。
【0357】インタフェース620は、ネットワークや
電話回線等の通信回線と接続され、該通信回線との間の
インタフェースを司るものである。このインタフェース
620を介して前記通信回線を経由して入力される例え
ば上記対象物体の各々の画像を示す画像情報が取り込ま
れるようになっている。この場合も、上記同様に、前記
各画像を示す画像情報のうち、基準とする撮像センサで
撮像された画像は基準画像として用いられる。
電話回線等の通信回線と接続され、該通信回線との間の
インタフェースを司るものである。このインタフェース
620を介して前記通信回線を経由して入力される例え
ば上記対象物体の各々の画像を示す画像情報が取り込ま
れるようになっている。この場合も、上記同様に、前記
各画像を示す画像情報のうち、基準とする撮像センサで
撮像された画像は基準画像として用いられる。
【0358】プログラム記録媒体630は、例えばRO
M(読み出し専用メモリ)等の記録媒体から構成されて
おり、上述した第1乃至第11の実施形態に係る各処理
のうち処理対象となる所定の実施形態に係る処理に対応
する処理手順を示すプログラムを記録する。
M(読み出し専用メモリ)等の記録媒体から構成されて
おり、上述した第1乃至第11の実施形態に係る各処理
のうち処理対象となる所定の実施形態に係る処理に対応
する処理手順を示すプログラムを記録する。
【0359】記憶装置640は、例えばハードディスク
やRAM(随時書き込み読み出しメモリ)等の記憶装置
から構成されており、インタフェース610あるいはイ
ンタフェース620を介して取り込まれる上記対象物体
の各々の画像を示す画像情報を記憶するための元画像記
憶領域641と、CPU650がデータ処理を実施する
ときに必要となるワークエリア632と、プログラム記
録媒体630からローディングされたプログラムを記憶
するプログラム記憶領域643とが割り当てられてい
る。
やRAM(随時書き込み読み出しメモリ)等の記憶装置
から構成されており、インタフェース610あるいはイ
ンタフェース620を介して取り込まれる上記対象物体
の各々の画像を示す画像情報を記憶するための元画像記
憶領域641と、CPU650がデータ処理を実施する
ときに必要となるワークエリア632と、プログラム記
録媒体630からローディングされたプログラムを記憶
するプログラム記憶領域643とが割り当てられてい
る。
【0360】CPU650は、プログラム記録媒体63
0から記憶装置640のプログラム記憶領域643へ処
理対象となる処理手順を示すプログラムをロードして当
該処理を実行すると共に、元画像記憶領域641に記憶
されている画像情報に対して当該プログラムの実行に基
づく処理(つまり第1乃至第11の実施形態のうちの何
れかの実施形態に係る処理)を遂行する。
0から記憶装置640のプログラム記憶領域643へ処
理対象となる処理手順を示すプログラムをロードして当
該処理を実行すると共に、元画像記憶領域641に記憶
されている画像情報に対して当該プログラムの実行に基
づく処理(つまり第1乃至第11の実施形態のうちの何
れかの実施形態に係る処理)を遂行する。
【0361】なお、コンピュータ600による実行対象
のプログラムの実行に基づいて処理される基の画像情報
は、実行対象のプログラムがコンピュータ600により
実行される直前にインタフェース610を介してリアル
タイムで取り込まれ、元画像記憶領域641に記憶され
た画像センサ1、2からの画像情報であっても良いし、
また、インタフェース610を介して取り込まれ、事前
に元画像記憶領域641に記憶されている画像センサ
1、2からの画像情報であっても良い。
のプログラムの実行に基づいて処理される基の画像情報
は、実行対象のプログラムがコンピュータ600により
実行される直前にインタフェース610を介してリアル
タイムで取り込まれ、元画像記憶領域641に記憶され
た画像センサ1、2からの画像情報であっても良いし、
また、インタフェース610を介して取り込まれ、事前
に元画像記憶領域641に記憶されている画像センサ
1、2からの画像情報であっても良い。
【0362】ここで、上述した第1乃至第11の実施形
態に係る装置の構成要素と図43に示すコンピュータ6
00の構成要素との対応関係を示す。
態に係る装置の構成要素と図43に示すコンピュータ6
00の構成要素との対応関係を示す。
【0363】基準画像入力部101、参照画像入力部1
02、及び画像データ入力部201は、上記インタフェ
ース610あるいはインタフェース620に対応する。
02、及び画像データ入力部201は、上記インタフェ
ース610あるいはインタフェース620に対応する。
【0364】また、画像データ記憶部202は、上記記
憶装置640の元画像記憶領域641に対応する。
憶装置640の元画像記憶領域641に対応する。
【0365】さらに、対応点探索部103、対応候補視
差抽出部104、誤対応画素認識部105、初期視差推
定部203、境界不意一致可能性検出部204、視差画
像生成部205、313、319、初期視差不連続境界
検出部311、エッジ処理部312、321、エッジ検
出部316、320、画像切出部314、切出視差画像
生成部315、322および境界移動部317、318
は、CPU650がプログラム記録媒体630から該当
するプログラムを読み出して実行することにより実現さ
れる。
差抽出部104、誤対応画素認識部105、初期視差推
定部203、境界不意一致可能性検出部204、視差画
像生成部205、313、319、初期視差不連続境界
検出部311、エッジ処理部312、321、エッジ検
出部316、320、画像切出部314、切出視差画像
生成部315、322および境界移動部317、318
は、CPU650がプログラム記録媒体630から該当
するプログラムを読み出して実行することにより実現さ
れる。
【0366】次に、上述した第1の実施形態において、
誤対応認識処理の記述内容に基づく処理手順を、図44
を参照して説明する。
誤対応認識処理の記述内容に基づく処理手順を、図44
を参照して説明する。
【0367】ここでは、インタフェース610を介して
撮像センサ1、2からの画像情報を取得するものとし、
また撮像センサ1を基準とする撮像センサとする。
撮像センサ1、2からの画像情報を取得するものとし、
また撮像センサ1を基準とする撮像センサとする。
【0368】さて、CPU650は、インタフェース6
10を介して撮像センサ1、2からの同一の対象物体に
対応する画像情報を取得し、この取得した各画像情報を
記憶装置640の元画像記憶領域641に格納すると共
に(ステップS201)、基準とする撮像センサ1によ
り撮像された基準画像中の選択画素P1と、撮像センサ
2により撮像された画像中の前記選択画素P1に対応す
る対応候補点を示す画素との間の対応をブロックマッチ
ングにより求めて視差を推定する(ステップS20
2)。
10を介して撮像センサ1、2からの同一の対象物体に
対応する画像情報を取得し、この取得した各画像情報を
記憶装置640の元画像記憶領域641に格納すると共
に(ステップS201)、基準とする撮像センサ1によ
り撮像された基準画像中の選択画素P1と、撮像センサ
2により撮像された画像中の前記選択画素P1に対応す
る対応候補点を示す画素との間の対応をブロックマッチ
ングにより求めて視差を推定する(ステップS20
2)。
【0369】このステップS202は、第1の実施形態
の対応点探索部103の位置情報部103Aによる対応
候補点の位置座標の取得、およびマッチング部103B
によるパターンマッチングおよびマッチングエラー算出
の処理に相当する。
の対応点探索部103の位置情報部103Aによる対応
候補点の位置座標の取得、およびマッチング部103B
によるパターンマッチングおよびマッチングエラー算出
の処理に相当する。
【0370】次に、CPU650は、選択画素P1に対
応する画素として推定される複数の対応候補点のそれぞ
れに対応する視差を変化させて得られるマッチングエラ
ーと視差との関係を表すマッチングエラー分布を基に、
第1の対応候補視差と第2の対応候補視差(図2参照)
を求める(ステップS203)。
応する画素として推定される複数の対応候補点のそれぞ
れに対応する視差を変化させて得られるマッチングエラ
ーと視差との関係を表すマッチングエラー分布を基に、
第1の対応候補視差と第2の対応候補視差(図2参照)
を求める(ステップS203)。
【0371】このステップS203は、第1の実施形態
の対応候補視差抽出部104による視差Dp=m1およ
び視差Dp=m2を抽出する処理に相当する。
の対応候補視差抽出部104による視差Dp=m1およ
び視差Dp=m2を抽出する処理に相当する。
【0372】次いで、CPU650は、第1の対応候補
視差(例えば視差Dp=m1)におけるマッチングエラ
ーの値と第2の対応候補視差(例えば視差Dp=m2)
におけるマッチングエラーの値との差を求め(ステップ
S204)、この求めた差が予め設定された閾値以下か
否かを判断し(ステップS205)、閾値以下であると
判断した場合には、第1及び第2の対応候補視差に対応
する各画素と選択画素P1とは誤対応であると認識し
(ステップS206)、一方、閾値を超えていると判断
した場合は、第1及び第2の対応候補視差に対応する各
画素と選択画素P1との対応は適合であると認識する
(ステップS207)。
視差(例えば視差Dp=m1)におけるマッチングエラ
ーの値と第2の対応候補視差(例えば視差Dp=m2)
におけるマッチングエラーの値との差を求め(ステップ
S204)、この求めた差が予め設定された閾値以下か
否かを判断し(ステップS205)、閾値以下であると
判断した場合には、第1及び第2の対応候補視差に対応
する各画素と選択画素P1とは誤対応であると認識し
(ステップS206)、一方、閾値を超えていると判断
した場合は、第1及び第2の対応候補視差に対応する各
画素と選択画素P1との対応は適合であると認識する
(ステップS207)。
【0373】ステップS204〜S207は、第1の実
施形態の誤対応画素認識部105による第1の対応候補
視差におけるエラー値と第2の対応候補視差におけるエ
ラー値との差「2次ピークエラー値と1次ピークエラー
値との差」を求め、さらにこの求めた差に応じた処理を
実施する処理に相当する。
施形態の誤対応画素認識部105による第1の対応候補
視差におけるエラー値と第2の対応候補視差におけるエ
ラー値との差「2次ピークエラー値と1次ピークエラー
値との差」を求め、さらにこの求めた差に応じた処理を
実施する処理に相当する。
【0374】そして、CPU650は、基準画像の全画
素についてパターンマッチングが実施されたか否かを判
断し(ステップS208)、まだパターンマッチングす
べき画素が存在すると判断した場合には、上記ステップ
S202に戻り、一方、全画素についてパターンマッチ
ングが終了したと判断した場合は、この誤対応認識処理
を終了する。
素についてパターンマッチングが実施されたか否かを判
断し(ステップS208)、まだパターンマッチングす
べき画素が存在すると判断した場合には、上記ステップ
S202に戻り、一方、全画素についてパターンマッチ
ングが終了したと判断した場合は、この誤対応認識処理
を終了する。
【0375】このような処理手順に基づく処理を実行す
ることにより、第1の実施形態と同様に、基準画像にお
ける参照ウインドウ内において、模様がない場合、ある
いは模様が少ない場合、あるいは繰り返し模様がある場
合、あるいはオクルージョンがある場合に、第1及び第
2の対応候補視差に対応する各画素は誤対応であり、か
つこれら各画素と基準画像中の注目画素とは誤対応であ
ると認識することができる。
ることにより、第1の実施形態と同様に、基準画像にお
ける参照ウインドウ内において、模様がない場合、ある
いは模様が少ない場合、あるいは繰り返し模様がある場
合、あるいはオクルージョンがある場合に、第1及び第
2の対応候補視差に対応する各画素は誤対応であり、か
つこれら各画素と基準画像中の注目画素とは誤対応であ
ると認識することができる。
【0376】一方、第2乃至第11の実施形態に係る処
理に対応する処理手順は、当該各実施形態における処理
手順を示すフローチャート、処理過程を説明するための
図および処理手順を示す図に基づく処理手順をそのまま
用いることができるので、ここではその処理手順につい
ての説明は省略する。
理に対応する処理手順は、当該各実施形態における処理
手順を示すフローチャート、処理過程を説明するための
図および処理手順を示す図に基づく処理手順をそのまま
用いることができるので、ここではその処理手順につい
ての説明は省略する。
【0377】ところで、上述した図43に示す例におい
ては画像センサ1、2はインタフェース610を介して
コンピュータ600と接続されているが、本発明はこれ
に限定されることなく、画像センサ1、2は、コンピュ
ータ600とはグローバル的に配置されていても良く、
例えばインタフェースを介して上記通信回線と接続さ
れ、この通信回線およびインタフェース620を介して
コンピュータ600と接続されていても良い。
ては画像センサ1、2はインタフェース610を介して
コンピュータ600と接続されているが、本発明はこれ
に限定されることなく、画像センサ1、2は、コンピュ
ータ600とはグローバル的に配置されていても良く、
例えばインタフェースを介して上記通信回線と接続さ
れ、この通信回線およびインタフェース620を介して
コンピュータ600と接続されていても良い。
【0378】この場合は、画像センサ1、2からの画像
情報は、通信回線及びインタフェース620を介してコ
ンピュータ600の記憶装置640の元画像記憶領域6
41に記憶される。
情報は、通信回線及びインタフェース620を介してコ
ンピュータ600の記憶装置640の元画像記憶領域6
41に記憶される。
【0379】また、画像センサ1、2は、インタフェー
スを介して撮像した画像情報を上記通信回線に接続され
るサーバ装置に転送するようにし、コンピュータ600
は、前記サーバ装置に対して処理対象となる画像情報を
要求して、この要求に応答して転送されてきたサーバ装
置からの画像情報を、インタフェース620を介して取
り込んで記憶装置640の元画像記憶領域641に記憶
するようにしても良い。
スを介して撮像した画像情報を上記通信回線に接続され
るサーバ装置に転送するようにし、コンピュータ600
は、前記サーバ装置に対して処理対象となる画像情報を
要求して、この要求に応答して転送されてきたサーバ装
置からの画像情報を、インタフェース620を介して取
り込んで記憶装置640の元画像記憶領域641に記憶
するようにしても良い。
【0380】また、図43に示す例においては、上述し
た第1乃至第11の実施形態に係る各処理のうち処理対
象となる所定の実施形態に係る処理に対応する処理手順
を示すプログラムを、プログラム記録媒体630として
のROMに記録するようにしているが、本発明はこれに
限定されることなく、次にようにしても良い。
た第1乃至第11の実施形態に係る各処理のうち処理対
象となる所定の実施形態に係る処理に対応する処理手順
を示すプログラムを、プログラム記録媒体630として
のROMに記録するようにしているが、本発明はこれに
限定されることなく、次にようにしても良い。
【0381】すなわち、上記プログラムをハードディス
クに格納しておき、CPU650が必要に応じて記憶装
置640のプログラム記憶領域643にローディングし
て実行するようにする。
クに格納しておき、CPU650が必要に応じて記憶装
置640のプログラム記憶領域643にローディングし
て実行するようにする。
【0382】また、上記プログラムをDVD−ROM、
CD−ROM、MO(光磁気ディスク)、フロッピー
(登録商標)ディスクなどのコンピュータ読み取り可能
な記録媒体に格納して配布するようにしても良い。この
場合、その記録媒体に記録されたプログラムをコンピュ
ータ600にインストールした後、このプログラムをC
PU650が実行するようにする。プログラムのインス
トール先としては、RAMやEPROM等のメモリやハ
ードディスクなどの記憶装置がある。そしてコンピュー
タ600は、必要に応じてこの記憶装置に記憶されたプ
ログラムをプログラム記憶領域641にローディングし
て実行するようにする。
CD−ROM、MO(光磁気ディスク)、フロッピー
(登録商標)ディスクなどのコンピュータ読み取り可能
な記録媒体に格納して配布するようにしても良い。この
場合、その記録媒体に記録されたプログラムをコンピュ
ータ600にインストールした後、このプログラムをC
PU650が実行するようにする。プログラムのインス
トール先としては、RAMやEPROM等のメモリやハ
ードディスクなどの記憶装置がある。そしてコンピュー
タ600は、必要に応じてこの記憶装置に記憶されたプ
ログラムをプログラム記憶領域641にローディングし
て実行するようにする。
【0383】さらには、コンピュータ600が接続され
る通信回線に接続されているサーバ装置あるいはホスト
コンピュータ等の装置からの上記プログラムをダウンロ
ードした後、このプログラムをCPU650が実行する
ようにしても良い。この場合、プログラムのダウンロー
ド先としては、RAMやEPROM等のメモリやハード
ディスクなどの記憶装置がある。そしてコンピュータ6
00は、必要に応じてこの記憶装置に記憶されたプログ
ラムをプログラム記憶領域641にローディングして実
行するようにする。
る通信回線に接続されているサーバ装置あるいはホスト
コンピュータ等の装置からの上記プログラムをダウンロ
ードした後、このプログラムをCPU650が実行する
ようにしても良い。この場合、プログラムのダウンロー
ド先としては、RAMやEPROM等のメモリやハード
ディスクなどの記憶装置がある。そしてコンピュータ6
00は、必要に応じてこの記憶装置に記憶されたプログ
ラムをプログラム記憶領域641にローディングして実
行するようにする。
【図1】図1は第1の実施形態に係る物体認識装置の構
成を示すブロック図である。
成を示すブロック図である。
【図2】図2は誤対応の認識方法を説明するための図で
ある。
ある。
【図3】図3は第2の実施形態に係るステレオ画像処理
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図4】図4は第2の実施形態における境界不一致可能
性画素検出処理の処理手順を示すフローチャートであ
る。
性画素検出処理の処理手順を示すフローチャートであ
る。
【図5】図5はソーベルフィルタを説明するための図で
ある。
ある。
【図6】図6は2種類のウインドウを説明するための図
である。
である。
【図7】図7は第2の実施形態の処理過程を説明するた
めの図である。
めの図である。
【図8】図8は第2の実施形態の処理過程を説明するた
めの図である。
めの図である。
【図9】図9は第2の実施形態の処理過程を説明するた
めの図である。
めの図である。
【図10】図10は第2の実施形態の処理過程を説明す
るための図である。
るための図である。
【図11】図11は第2の実施形態の処理過程を説明す
るための図である。
るための図である。
【図12】図12は第2の実施形態の処理手順を示す図
である。
である。
【図13】図13は第2の実施形態の処理過程を説明す
るための図である。
るための図である。
【図14】図14は第2の実施形態の処理過程を説明す
るための図である。
るための図である。
【図15】図15はスタートの視差画像を説明するため
の図である。
の図である。
【図16】図16は第3の実施形態の処理過程を説明す
るための図である。
るための図である。
【図17】図17は第4の実施形態における境界不一致
可能性画素検出処理の処理手順を示すフローチャートで
ある。
可能性画素検出処理の処理手順を示すフローチャートで
ある。
【図18】図18は第4の実施形態の処理過程を説明す
るための図である。
るための図である。
【図19】図19は第4の実施形態の処理過程を説明す
るための図である。
るための図である。
【図20】図20は第4の実施形態の処理過程を説明す
るための図である。
るための図である。
【図21】図21は第4の実施形態の処理過程を説明す
るための図である。
るための図である。
【図22】図22は第5の実施形態の処理過程を説明す
るための図である。
るための図である。
【図23】図23は第6の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。
処理装置の構成を示すブロック図である。
【図24】図24は第6の実施形態の処理手順を示す図
である。
である。
【図25】図25は第6の実施形態の処理過程を説明す
るための図である。
るための図である。
【図26】図26は第7の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。
処理装置の構成を示すブロック図である。
【図27】図27は第7の実施形態の処理手順を示す図
である。
である。
【図28】図28は第7の実施形態の処理過程を説明す
るための図である。
るための図である。
【図29】図29は第8の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。
処理装置の構成を示すブロック図である。
【図30】図30は第8の実施形態の処理手順を示す図
である。
である。
【図31】図31は第8の実施形態の処理過程を説明す
るための図である。
るための図である。
【図32】図32は第9の実施形態に係るステレオ画像
処理装置の構成を示すブロック図である。
処理装置の構成を示すブロック図である。
【図33】図33は第9の実施形態の処理手順を示す図
である。
である。
【図34】図34は第9の実施形態の処理過程を説明す
るための図である。
るための図である。
【図35】図35は第9の実施形態の処理過程を説明す
るための図である。
るための図である。
【図36】図36は第10の実施形態に係るステレオ画
像処理装置の構成を示すブロック図である。
像処理装置の構成を示すブロック図である。
【図37】図37は第10の実施形態の処理手順を示す
図である。
図である。
【図38】図38は第10の実施形態の処理過程を説明
するための図である。
するための図である。
【図39】図39は第11の実施形態に係るステレオ画
像処理装置の構成を示すブロック図である。
像処理装置の構成を示すブロック図である。
【図40】図40は第11の実施形態の処理手順を示す
図である。
図である。
【図41】図41は第11の実施形態の処理過程を説明
するための図である。
するための図である。
【図42】図42は本発明の特徴を説明するための図で
ある。
ある。
【図43】図43は第1乃至第11の実施形態での処理
を実行するコンピュータの構成を示すブロック図であ
る。
を実行するコンピュータの構成を示すブロック図であ
る。
【図44】図44は第1の実施形態での処理に基づく処
理手順を示すフローチャートである。
理手順を示すフローチャートである。
【図45】図45は2眼ステレオの原理を説明するため
の図である。
の図である。
【図46】図46は2眼ステレオによる距離計測を説明
するための図である。
するための図である。
【図47】図47はブロックマッチングの原理を説明す
るための図である。
るための図である。
【図48】図48は従来における画像間の誤対応の問題
点を説明するための図である。
点を説明するための図である。
【図49】図49は従来における画像間の誤対応の問題
点を説明するための図である。
点を説明するための図である。
【図50】図50は従来における画像間の誤対応の問題
点を説明するための図である。
点を説明するための図である。
【図51】図51は従来における画像間の誤対応の問題
点を説明するための図である。
点を説明するための図である。
【図52】図52は従来における画像間の誤対応の問題
点に対処する方法を説明するための図である。
点に対処する方法を説明するための図である。
【図53】図53は従来における画像間の誤対応の問題
点に対処する方法を説明するための図である。
点に対処する方法を説明するための図である。
【図54】図54は従来における視差画像と輝度画像の
境界の不一致を説明するための図である。
境界の不一致を説明するための図である。
1、2 画像センサ、101 基準画像入力部、102
参照画像入力部、103 対応点探索部、104 対
応候補視差抽出部、105 誤対応画素認識部、201
画像データ入力部、202 画像データ記憶部、20
3 初期視差推定部、204 境界不一致可能性画素検
出部、205 視差画像生成部、311 初期視差不連
続境界検出部、312、321 エッジ処理部、31
3、319 視差画像生成部、314 画像切出部、3
15、322 切出視差画像生成部、316、320
エッジ検出部、317、318 境界移動部、600
コンピュータ、610、620 インタフェース、63
0 プログラム記録媒体、640 記憶装置、650
CPU。
参照画像入力部、103 対応点探索部、104 対
応候補視差抽出部、105 誤対応画素認識部、201
画像データ入力部、202 画像データ記憶部、20
3 初期視差推定部、204 境界不一致可能性画素検
出部、205 視差画像生成部、311 初期視差不連
続境界検出部、312、321 エッジ処理部、31
3、319 視差画像生成部、314 画像切出部、3
15、322 切出視差画像生成部、316、320
エッジ検出部、317、318 境界移動部、600
コンピュータ、610、620 インタフェース、63
0 プログラム記録媒体、640 記憶装置、650
CPU。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/00 G06T 7/00 300E 300 G01B 11/24 K (72)発明者 三輪 浩史 神奈川県平塚市万田1200 株式会社小松製 作所研究所内 (72)発明者 滝口 章広 神奈川県平塚市万田1200 株式会社小松製 作所研究所内
Claims (8)
- 【請求項1】 異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像中の選択画素と、他の撮像手段で撮像された前
記対象物体の画像中の前記選択画素に対応する対応候補
点を示す画素との間の対応をブロックマッチングにより
求めて視差を推定するステレオ画像処理装置において、 前記選択画素に対応する画素として推定される複数の前
記対応候補点のそれぞれに対応する視差を変化させて得
られるマッチングエラーと視差との関係を表すマッチン
グエラー分布を基に、第1の対応候補視差と第2の対応
候補視差を求めると共に、前記第1の対応候補視差にお
けるマッチングエラーの値と前記第2の対応候補視差に
おけるマッチングエラーの値との差を求め、この求めた
差が予め設定される閾値以下の場合は、前記選択画素は
誤対応であると認識する認識手段を備えたことを特徴と
するステレオ画像処理装置。 - 【請求項2】 異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、 前記基準画像中の画素のエッジ強度を検出するエッジ強
度検出手段と、 前記基準画像について所定サイズの領域を設定し、当該
領域内の着目画素を含む全画素についての前記エッジ強
度検出手段により検出されたエッジ強度の分布を求め、
当該エッジ強度の分布が予め設定されるエッジ強度の分
布に適合する場合は、前記着目画素を、前記ブロックマ
ッチングによる画像間の対応付けに基づく視差画像の境
界と前記対象物体に対応する輝度画像の境界とが一致し
ない旨の境界不一致可能性を示す画素として検出する画
素検出手段とを備えたことを特徴とするステレオ画像処
理装置。 - 【請求項3】 異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、 前記ブロックマッチングによる画像間の対応付けに基づ
く視差画像を生成する生成手段と、 前記基準画像中の画素のエッジ強度を検出するエッジ強
度検出手段と、 前記基準画像について所定サイズの領域を設定し、当該
領域内の着目画素を含む全画素についての前記エッジ強
度検出手段により検出されたエッジ強度の分布を求め、
当該エッジ強度の分布が予め設定されるエッジ強度の分
布に適合する場合は、前記着目画素を、前記生成手段に
より生成された視差画像の境界と前記対象物体に対応す
る輝度画像の境界とが一致しない旨の境界不一致可能性
を示す画素として検出する画素検出手段と、 前記生成手段により生成された視差画像に対して、前記
画素検出手段により検出された前記境界不一致可能性を
示す画素に対応する画素を視差画像としない処理を施し
て、最終的な視差画像を生成する視差画像生成手段とを
備えたことを特徴とするステレオ画像処理装置。 - 【請求項4】 異なる位置に配置された複数の撮像手段
で撮像された対象物体の画像を用いて、該複数の撮像手
段のうちの基準とする撮像手段で撮像された前記対象物
体の画像を示す基準画像と、他の撮像手段で撮像された
前記対象物体の画像との間の対応をブロックマッチング
により求めて視差を推定するステレオ画像処理装置にお
いて、 前記ブロックマッチングによる画像間の対応付けに基づ
く視差画像を生成する生成手段と、 前記生成手段により生成された視差画像中の画素のエッ
ジ強度を検出するエッジ強度検出手段と、 前記生成手段により生成された視差画像から、視差が不
連続に変化する不連続境界および前記対象物体に対応す
る輝度画像の境界を検出すると共に、前記生成手段によ
り生成された視差画像に対して前記不連続境界を前記輝
度画像の境界まで移動する境界移動手段と、 前記境界移動手段による移動後の前記不連続境界に基づ
く視差画像を生成する視差画像生成手段とを備えたこと
を特徴とするステレオ画像処理装置。 - 【請求項5】 異なる位置に配置された複数の撮像手段
のうちの基準とする撮像手段で撮像された対象物体の画
像中の選択画素と他の撮像手段で撮像された前記対象物
体の画像中の前記選択画素に対応する画素として推定さ
れる複数の対応候補点の画素との間のブロックマッチン
グにより求められるマッチングエラーと、視差を変化さ
せて得られる各視差との対応関係を表すマッチングエラ
ー分布を基に、第1の対応候補視差および第2の対応候
補視差を求めるステップと、 前記第1の対応候補視差におけるマッチングエラーの値
と前記第2の対応候補視差におけるマッチングエラーの
値との差を求め、この求めた差が予め設定される閾値以
下の場合は、前記選択画素は誤対応であると認識するス
テップとをコンピュータに実行させるためのプログラム
を記録したことを特徴とするコンピュータ読み取り可能
な記録媒体。 - 【請求項6】 異なる位置に配置された複数の撮像手段
のうちの基準とする撮像手段で撮像された対象物体の画
像を示す基準画像中の画素のエッジ強度を検出するエッ
ジ強度検出ステップと、 前記基準画像について所定サイズの領域を設定し、当該
領域内の着目画素を含む全画素についての前記エッジ強
度検出ステップにより検出されたエッジ強度の分布を求
める求ステップと、 前記求ステップにより求められたエッジ強度の分布が予
め設定されるエッジ強度の分布に適合する場合は、前記
着目画素を、前記基準とする撮像手段とは異なる他の撮
像手段で撮像された前記対象物体の画像と前記基準画像
との間のブロックマッチングによる対応付けに基づく視
差画像の境界と、前記対象物体に対応する輝度画像の境
界とが一致しない旨の境界不一致可能性を示す画素とし
て検出する画素検出ステップとをコンピュータに実行さ
せるためのプログラムを記録したことを特徴とするコン
ピュータ読み取り可能な記録媒体。 - 【請求項7】 異なる位置に配置された複数の撮像手段
のうちの基準とする撮像手段で撮像された対象物体の画
像を示す基準画像と他の撮像手段で撮像された前記対象
物体の画像との間のブロックマッチングによる対応付け
に基づく、視差画像を生成する生成ステップと、 前記基準画像中の画素のエッジ強度を検出するエッジ強
度検出ステップと、 前記基準画像について所定サイズの領域を設定し、当該
領域内の着目画素を含む全画素についての前記エッジ強
度検出ステップにより検出されたエッジ強度の分布を求
める求ステップと、 前記求ステップにより求められたエッジ強度の分布が予
め設定されるエッジ強度の分布に適合する場合は、前記
着目画素を、前記生成ステップにより生成された視差画
像の境界と前記対象物体に対応する輝度画像の境界とが
一致しない旨の境界不一致可能性を示す画素として検出
する画素検出ステップと、 前記生成ステップにより生成された視差画像に対して、
前記画素検出ステップにより検出された前記境界不一致
可能性を示す画素に対応する画素を視差画像としない処
理を施して、最終的な視差画像を生成する視差画像生成
ステップとをコンピュータに実行させるためのプログラ
ムを記録したことを特徴とするコンピュータ読み取り可
能な記録媒体。 - 【請求項8】 異なる位置に配置された複数の撮像手段
のうちの基準とする撮像手段で撮像された対象物体の画
像を示す基準画像と他の撮像手段で撮像された前記対象
物体の画像との間のブロックマッチングによる対応付け
に基づく、視差画像を生成する生成ステップと、 前記生成ステップにより生成された視差画像中の画素の
エッジ強度を検出するエッジ強度検出ステップと、 前記生成ステップにより生成された視差画像から、視差
が不連続に変化する不連続境界および前記対象物体に対
応する輝度画像の境界を検出すると共に、前記生成ステ
ップにより生成された視差画像に対して前記不連続境界
を前記輝度画像の境界まで移動する境界移動ステップ
と、 前記境界移動ステップにより移動された移動後の前記不
連続境界に基づく視差画像を生成する視差画像生成ステ
ップとをコンピュータに実行させるためのプログラムを
記録したことを特徴とするコンピュータ読み取り可能な
記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000310696A JP2001184497A (ja) | 1999-10-14 | 2000-10-11 | ステレオ画像処理装置及び記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29298799 | 1999-10-14 | ||
JP11-292987 | 1999-10-14 | ||
JP2000310696A JP2001184497A (ja) | 1999-10-14 | 2000-10-11 | ステレオ画像処理装置及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001184497A true JP2001184497A (ja) | 2001-07-06 |
Family
ID=26559204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000310696A Withdrawn JP2001184497A (ja) | 1999-10-14 | 2000-10-11 | ステレオ画像処理装置及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001184497A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031423A (ja) * | 2004-07-16 | 2006-02-02 | Sony Corp | 画像処理方法および画像処理装置 |
JP2006285415A (ja) * | 2005-03-31 | 2006-10-19 | Sony Corp | 画像処理方法、その装置およびプログラム |
JP2007510575A (ja) * | 2003-11-11 | 2007-04-26 | テクニクス エージー | 車両の走行および/または交通状況記録装置と記録評価方法 |
KR100762670B1 (ko) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 |
JP2011237215A (ja) * | 2010-05-07 | 2011-11-24 | Nikon Corp | デプスマップ出力装置 |
WO2012111755A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2012111756A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2012144340A1 (ja) * | 2011-04-20 | 2012-10-26 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
WO2012147495A1 (ja) * | 2011-04-28 | 2012-11-01 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
JP2014003486A (ja) * | 2012-06-19 | 2014-01-09 | Sharp Corp | 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム |
US9076215B2 (en) | 2011-11-28 | 2015-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Arithmetic processing device |
CN111508012A (zh) * | 2019-01-31 | 2020-08-07 | 先临三维科技股份有限公司 | 线条纹误配检测和三维重建的方法、装置 |
-
2000
- 2000-10-11 JP JP2000310696A patent/JP2001184497A/ja not_active Withdrawn
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007510575A (ja) * | 2003-11-11 | 2007-04-26 | テクニクス エージー | 車両の走行および/または交通状況記録装置と記録評価方法 |
JP2006031423A (ja) * | 2004-07-16 | 2006-02-02 | Sony Corp | 画像処理方法および画像処理装置 |
JP4608978B2 (ja) * | 2004-07-16 | 2011-01-12 | ソニー株式会社 | 画像処理方法および画像処理装置 |
JP4617965B2 (ja) * | 2005-03-31 | 2011-01-26 | ソニー株式会社 | 画像処理方法、その装置およびプログラム |
JP2006285415A (ja) * | 2005-03-31 | 2006-10-19 | Sony Corp | 画像処理方法、その装置およびプログラム |
KR100762670B1 (ko) | 2006-06-07 | 2007-10-01 | 삼성전자주식회사 | 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 |
US7876954B2 (en) | 2006-06-07 | 2011-01-25 | Samsung Electronics Co., Ltd | Method and device for generating a disparity map from stereo images and stereo matching method and device therefor |
JP2011237215A (ja) * | 2010-05-07 | 2011-11-24 | Nikon Corp | デプスマップ出力装置 |
WO2012111755A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
WO2012111756A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US9361734B2 (en) | 2011-02-18 | 2016-06-07 | Sony Corporation | Image processing device and image processing method |
US10122986B2 (en) | 2011-02-18 | 2018-11-06 | Sony Corporation | Image processing device and image processing method |
US9716873B2 (en) | 2011-02-18 | 2017-07-25 | Sony Corporation | Image processing device and image processing method |
CN103348689A (zh) * | 2011-02-18 | 2013-10-09 | 索尼公司 | 图像处理装置和图像处理方法 |
WO2012144340A1 (ja) * | 2011-04-20 | 2012-10-26 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
JP5214062B1 (ja) * | 2011-04-28 | 2013-06-19 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
WO2012147495A1 (ja) * | 2011-04-28 | 2012-11-01 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
US9076215B2 (en) | 2011-11-28 | 2015-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Arithmetic processing device |
JP2014003486A (ja) * | 2012-06-19 | 2014-01-09 | Sharp Corp | 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム |
CN111508012A (zh) * | 2019-01-31 | 2020-08-07 | 先临三维科技股份有限公司 | 线条纹误配检测和三维重建的方法、装置 |
CN111508012B (zh) * | 2019-01-31 | 2024-04-19 | 先临三维科技股份有限公司 | 线条纹误配检测和三维重建的方法、装置 |
US11989917B2 (en) | 2019-01-31 | 2024-05-21 | Shining 3D Tech Co., Ltd. | Line stripe mismatch detection and three-dimensional reconstruction method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6865289B1 (en) | Detection and removal of image occlusion errors | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
US10659762B2 (en) | Stereo camera | |
JP6121776B2 (ja) | 画像処理装置及び画像処理方法 | |
TW201923713A (zh) | 點雲網格化方法、裝置、設備及電腦儲存介質 | |
CN107016348B (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
JP2001184497A (ja) | ステレオ画像処理装置及び記録媒体 | |
KR100930626B1 (ko) | 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법 | |
US8170339B2 (en) | Image processing apparatus and image processing method | |
WO2005116936A1 (en) | Method and system for detecting and evaluating 3d changes from images and a 3d reference model | |
WO2007052191A2 (en) | Filling in depth results | |
WO2012049098A1 (en) | Range image pixel matching method | |
KR101272574B1 (ko) | 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법 | |
CN116029996A (zh) | 立体匹配的方法、装置和电子设备 | |
CN112785705A (zh) | 一种位姿获取方法、装置及移动设备 | |
JP2018195070A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Ling et al. | A dense 3D reconstruction approach from uncalibrated video sequences | |
JPH0991436A (ja) | 画像処理方法及びその装置 | |
JP2019096212A (ja) | 手位置検出方法、手位置検出装置、及び手位置検出プログラム | |
JP4876742B2 (ja) | 画像処理装置及び画像処理プログラム | |
WO2019019160A1 (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
JP2001116513A (ja) | 距離画像算出装置 | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061025 |