JPH10334244A - ステレオマッチング装置 - Google Patents
ステレオマッチング装置Info
- Publication number
- JPH10334244A JPH10334244A JP9161891A JP16189197A JPH10334244A JP H10334244 A JPH10334244 A JP H10334244A JP 9161891 A JP9161891 A JP 9161891A JP 16189197 A JP16189197 A JP 16189197A JP H10334244 A JPH10334244 A JP H10334244A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image
- pixel
- stereo
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 ステレオ画像について高速のステレオマ
ッチングを簡単な回路構成で実現すること。 【解決手段】 左画像101と右画像102の対応する
画素位置どうしの画素データを合成して、複数のメモリ
M0〜Mn-1に保存する。コントローラ127がメモリへ
の書込みアドレスを以下の如く制御する。垂直方向の画
素位置のインデックスをy(0≦y≦NV-1)として、 y=n×kの合成画素値をメモリM0 y=n×k+1の合成画素値をメモリM1 : y=n×k+(n−1)の合成画素値をメモリMn-1 に基づいて合成データを書き込む。
ッチングを簡単な回路構成で実現すること。 【解決手段】 左画像101と右画像102の対応する
画素位置どうしの画素データを合成して、複数のメモリ
M0〜Mn-1に保存する。コントローラ127がメモリへ
の書込みアドレスを以下の如く制御する。垂直方向の画
素位置のインデックスをy(0≦y≦NV-1)として、 y=n×kの合成画素値をメモリM0 y=n×k+1の合成画素値をメモリM1 : y=n×k+(n−1)の合成画素値をメモリMn-1 に基づいて合成データを書き込む。
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ステレオ画像間の
対応付け(ステレオマッチング)を高速で行う高速ステ
レオマッチング装置に関するものである。
対応付け(ステレオマッチング)を高速で行う高速ステ
レオマッチング装置に関するものである。
【0002】
【従来の技術】ステレオ画像による3次元計測(以下、
「ステレオ画像計測」という)の原理について図9を用
いて説明する。図9において、実空間を表す座標として
(x,y,z)を用い、画像面(カメラの撮像面)上の
位置を表す座標として(X,Y)を用いる。ただし、2
台のカメラ8L、8Rを区別するために、左カメラの画
像面上の位置を表す座標として(XL、YL)を用い、右
カメラの画像面上の位置を表す座標として(XR、YR)
を用いる。x軸とXL軸、x軸とXR軸、y軸とYL軸、
y軸とYR軸は各々互いに平行であり、z軸は2台のカ
メラの光軸にともに平行であるとする。実空間座標系の
原点を左右カメラの投影中心の中点にとり、投影中心間
の距離を基線長と呼びその長さを2aで表すことにす
る。また、投影中心と画像面との距離(焦点距離)をf
で表す。
「ステレオ画像計測」という)の原理について図9を用
いて説明する。図9において、実空間を表す座標として
(x,y,z)を用い、画像面(カメラの撮像面)上の
位置を表す座標として(X,Y)を用いる。ただし、2
台のカメラ8L、8Rを区別するために、左カメラの画
像面上の位置を表す座標として(XL、YL)を用い、右
カメラの画像面上の位置を表す座標として(XR、YR)
を用いる。x軸とXL軸、x軸とXR軸、y軸とYL軸、
y軸とYR軸は各々互いに平行であり、z軸は2台のカ
メラの光軸にともに平行であるとする。実空間座標系の
原点を左右カメラの投影中心の中点にとり、投影中心間
の距離を基線長と呼びその長さを2aで表すことにす
る。また、投影中心と画像面との距離(焦点距離)をf
で表す。
【0003】今、実空間内の点pが左画像面上の点PL
(XL、YL)、右画像面上の点PR(XR、YR)にそれ
ぞれ投影されたとする。ステレオ画像計測では、画像面
上においてPL、PRを決定し(ステレオマッチング)、
三角測量の原理に基づいて点pの実空間座標(x,y,
z)を求める。ここでは、2台のカメラの光軸が同一平
面上にありx軸とX軸とを平行にとっていることから、
YLとYRとは同じ値をとる。画像面上の座標XL、YL、
XR、YRと実空間内の座標x、y,zとの関係は、
(XL、YL)、右画像面上の点PR(XR、YR)にそれ
ぞれ投影されたとする。ステレオ画像計測では、画像面
上においてPL、PRを決定し(ステレオマッチング)、
三角測量の原理に基づいて点pの実空間座標(x,y,
z)を求める。ここでは、2台のカメラの光軸が同一平
面上にありx軸とX軸とを平行にとっていることから、
YLとYRとは同じ値をとる。画像面上の座標XL、YL、
XR、YRと実空間内の座標x、y,zとの関係は、
【数1】 あるいは、
【数2】 と求められる。
【0004】ここで、 d=XL−XR (3) は視差を表している。(2)式からa>0であるので XL>XR かつ、YL=YR (4) が成り立つ。
【0005】これは、一方の画像面上の1点の他方の画
像面上での対応点は、同じ走査線上、かつXL>XRの範
囲に存在することを表す。したがって、一方の画像上の
1点に対応した他方の画像上の点は、対応点が存在する
可能性のある直線に沿ったある小領域について画像の類
似性を調べて見いだすことができる。
像面上での対応点は、同じ走査線上、かつXL>XRの範
囲に存在することを表す。したがって、一方の画像上の
1点に対応した他方の画像上の点は、対応点が存在する
可能性のある直線に沿ったある小領域について画像の類
似性を調べて見いだすことができる。
【0006】次に、類似性の評価方法について説明す
る。類似性の評価方法の一例として、尾上守夫他編「画
像処理ハンドブック」(昭晃堂)に両画像間の相互相関
値を調べる方法が記載されている。図10を用いて、両
画像間の相互相関値を調べる方法について説明する。
る。類似性の評価方法の一例として、尾上守夫他編「画
像処理ハンドブック」(昭晃堂)に両画像間の相互相関
値を調べる方法が記載されている。図10を用いて、両
画像間の相互相関値を調べる方法について説明する。
【0007】いま、右画像上のある画素903に対応す
る左画像中の点(対応点)を決定するものとする。対応
点を決定したい右画像上の画素903を中心とする大き
さn×m画素の矩形小領域904を設定し、その内部に
おける画素の輝度値をΙR(i,j)とする。一方、
(4)式の条件を満たす左画像上の画素を中心とする大
きさn×m画素の矩形小領域905の内部における画素
の輝度値をΙL(i,j)とする。それぞれの小領域につ
いての輝度値の平均と分散をμL、μR、σL2、σR
2とすると、これらの小領域間の相互相関値は次式で与
えられる。
る左画像中の点(対応点)を決定するものとする。対応
点を決定したい右画像上の画素903を中心とする大き
さn×m画素の矩形小領域904を設定し、その内部に
おける画素の輝度値をΙR(i,j)とする。一方、
(4)式の条件を満たす左画像上の画素を中心とする大
きさn×m画素の矩形小領域905の内部における画素
の輝度値をΙL(i,j)とする。それぞれの小領域につ
いての輝度値の平均と分散をμL、μR、σL2、σR
2とすると、これらの小領域間の相互相関値は次式で与
えられる。
【数3】 対応点が存在する可能性のある直線(この場合、走査
線)に沿ってこの値を計算し、この値が最大となる部分
を対応点とする。
線)に沿ってこの値を計算し、この値が最大となる部分
を対応点とする。
【0008】この方法では、対応点を画素単位に決定す
ることができ、また対応点が決まればその対応点の座標
位置から(3)式を用いて、画素毎の視差が求まること
になる。しかしながら、対応点の決定には非常に多くの
演算量を要することになる。対応点を決定するすべての
画素について、上式の演算を対応点が存在する可能性の
ある範囲全域にわたって実行するからである。
ることができ、また対応点が決まればその対応点の座標
位置から(3)式を用いて、画素毎の視差が求まること
になる。しかしながら、対応点の決定には非常に多くの
演算量を要することになる。対応点を決定するすべての
画素について、上式の演算を対応点が存在する可能性の
ある範囲全域にわたって実行するからである。
【0009】相関計算のための小領域の大きさを小さく
すれば演算速度は速くできるが、画像の歪みや雑音の影
響を受けやすくなり、対応点検出の安定性が悪くなる。
逆に、小領域の大きさを大きくすると、多くの演算時間
を要するのみでなく、相関値の変化が緩やかになりす
ぎ、対応点検出の精度が低下する。小領域の大きさは、
対象とする画像の性質により適当に設定することが必要
である。
すれば演算速度は速くできるが、画像の歪みや雑音の影
響を受けやすくなり、対応点検出の安定性が悪くなる。
逆に、小領域の大きさを大きくすると、多くの演算時間
を要するのみでなく、相関値の変化が緩やかになりす
ぎ、対応点検出の精度が低下する。小領域の大きさは、
対象とする画像の性質により適当に設定することが必要
である。
【0010】以上説明したように、画素毎に対応点を決
定する方法では膨大な演算量を必要とする。そこで、画
像をある大きさのブロックの単位に分割し、ブロック毎
に対応領域を決定する方法がある。ブロック毎に左右画
像間の対応領域を求める方法としては、たとえば、特開
平5―114099号がある。
定する方法では膨大な演算量を必要とする。そこで、画
像をある大きさのブロックの単位に分割し、ブロック毎
に対応領域を決定する方法がある。ブロック毎に左右画
像間の対応領域を求める方法としては、たとえば、特開
平5―114099号がある。
【0011】図11を用いて上記公開公報記載の方法に
ついて説明する。今、右画像1002を基準とし、右画
像をn×m画素のサイズのブロック1004を1単位と
して分割し、分割されたブロック毎に左画像1001中
より対応領域を探索し視差を求める。対応領域決定のた
めの類似度評価式として、
ついて説明する。今、右画像1002を基準とし、右画
像をn×m画素のサイズのブロック1004を1単位と
して分割し、分割されたブロック毎に左画像1001中
より対応領域を探索し視差を求める。対応領域決定のた
めの類似度評価式として、
【数4】 を用いる。ここでLi、Riはそれぞれ左ブロック100
3、右ブロック1004内のi番目の画素における輝度
値である。この評価式は、(5)式のような平均値を引
く等の操作を伴わないため類似度評価式(5)式に比べ
れば演算量は少なくて済む。
3、右ブロック1004内のi番目の画素における輝度
値である。この評価式は、(5)式のような平均値を引
く等の操作を伴わないため類似度評価式(5)式に比べ
れば演算量は少なくて済む。
【0012】以上説明したように、ステレオ画像の対応
付け処理には、膨大な演算量を要するため、実用化に際
しては、これらの演算を高速に実行するハードウェア
(ステレオマッチング回路)が必要となる。前述の特開
平5―114099号には、具体的なステレオマッチン
グ回路の構成についても開示されている。これは、51
2(H)×200(V)画素からなる画像を、4×4画
素からなる矩形小領域(水平128、垂直20)に分割
し、前記矩形小領域毎にステレオマッチングを実行する
ことによって実空間の3次元(例えば距離)情報を計測
するものである。前記ステレオマッチング回路では、2
クロックに1回の割合で前記矩形小領域の一致度評価を
行う。すなわち、2クロックに1回、(6)式の演算を
実行するような構成になっており、探索範囲が100画
素の場合、約200クロックでひとつの矩形小領域のマ
ッチングを終了する。この装置では、合計128×20
ケの矩形小領域のステレオマッチングをおよそ0.07
6秒で実行することができる。
付け処理には、膨大な演算量を要するため、実用化に際
しては、これらの演算を高速に実行するハードウェア
(ステレオマッチング回路)が必要となる。前述の特開
平5―114099号には、具体的なステレオマッチン
グ回路の構成についても開示されている。これは、51
2(H)×200(V)画素からなる画像を、4×4画
素からなる矩形小領域(水平128、垂直20)に分割
し、前記矩形小領域毎にステレオマッチングを実行する
ことによって実空間の3次元(例えば距離)情報を計測
するものである。前記ステレオマッチング回路では、2
クロックに1回の割合で前記矩形小領域の一致度評価を
行う。すなわち、2クロックに1回、(6)式の演算を
実行するような構成になっており、探索範囲が100画
素の場合、約200クロックでひとつの矩形小領域のマ
ッチングを終了する。この装置では、合計128×20
ケの矩形小領域のステレオマッチングをおよそ0.07
6秒で実行することができる。
【0013】
【発明が解決しようとする課題】上記したように、従来
のステレオマッチング回路は、2クロックに1回の割で
矩形小領域の一致度評価を行うような構成になってお
り、画面全体のステレオマッチングをおよそ0.076
秒で計測することができる。
のステレオマッチング回路は、2クロックに1回の割で
矩形小領域の一致度評価を行うような構成になってお
り、画面全体のステレオマッチングをおよそ0.076
秒で計測することができる。
【0014】しかしながら、上記回路構成でさらに処理
時間を短縮するためには、クロックの周波数を上げるし
かないため、回路構成が複雑化する問題がある。
時間を短縮するためには、クロックの周波数を上げるし
かないため、回路構成が複雑化する問題がある。
【0015】本発明は、以上のような実状に鑑みてなさ
れたもので、簡単な回路構成で、しかも1クロックに1
回の割合で矩形小領域の一致度評価を行うことができ、
上記従来装置に比べ約1/2の時間でステレオマッチン
グが可能な、優れた高速ステレオマッチング装置を提供
することを目的とする。
れたもので、簡単な回路構成で、しかも1クロックに1
回の割合で矩形小領域の一致度評価を行うことができ、
上記従来装置に比べ約1/2の時間でステレオマッチン
グが可能な、優れた高速ステレオマッチング装置を提供
することを目的とする。
【0016】
【課題を解決するための手段】上記目的を達成するため
に、本発明は次のような手段を講じた。請求項1記載の
発明は、ステレオ画像上の各ブロックについて同一画素
位置の画素データを合成する合成手段と、前記ブロック
の垂直方向の各画素位置に対応して設けられた複数のメ
モリと、前記メモリに対して対応する垂直方向の画素位
置の合成データを書き込むメモリ制御手段と、前記各メ
モリに書き込まれた合成データを同時に読み出してステ
レオマッチングを行うマッチング手段とを具備する構成
を採る。
に、本発明は次のような手段を講じた。請求項1記載の
発明は、ステレオ画像上の各ブロックについて同一画素
位置の画素データを合成する合成手段と、前記ブロック
の垂直方向の各画素位置に対応して設けられた複数のメ
モリと、前記メモリに対して対応する垂直方向の画素位
置の合成データを書き込むメモリ制御手段と、前記各メ
モリに書き込まれた合成データを同時に読み出してステ
レオマッチングを行うマッチング手段とを具備する構成
を採る。
【0017】この構成により、ステレオ画像を合成して
水平ライン毎に各々対応するメモリに書き込むようにし
たので、簡単な回路構成で、1クロック毎に矩形小領域
の一致度評価を行うことが可能となり、非常に高速にス
テレオマッチングを実行することができるという効果を
有する。
水平ライン毎に各々対応するメモリに書き込むようにし
たので、簡単な回路構成で、1クロック毎に矩形小領域
の一致度評価を行うことが可能となり、非常に高速にス
テレオマッチングを実行することができるという効果を
有する。
【0018】請求項2記載の発明は、請求項1記載のス
テレオマッチング装置において、メモリ制御手段が、ス
テレオ画像の水平方向画素数がNH、垂直方向画素数が
NVの場合、1ブロック分の合成データからなる合成画
像の水平方向の画素位置を表すインデックスをx(0≦
x≦NH-1)、垂直方向の画素位置を表すインデックス
をy(0≦y≦NV-1)とし、kを0〜((NV/n)−1)
の正の整数(nは定数)とするとき、下記インデックス
y、 y=n×kの合成画素値をメモリM0 y=n×k+1の合成画素値をメモリM1 : : y=n×k+(n−1)の合成画素値をメモリMn-1 に基づいて合成データを書き込む構成を採る。
テレオマッチング装置において、メモリ制御手段が、ス
テレオ画像の水平方向画素数がNH、垂直方向画素数が
NVの場合、1ブロック分の合成データからなる合成画
像の水平方向の画素位置を表すインデックスをx(0≦
x≦NH-1)、垂直方向の画素位置を表すインデックス
をy(0≦y≦NV-1)とし、kを0〜((NV/n)−1)
の正の整数(nは定数)とするとき、下記インデックス
y、 y=n×kの合成画素値をメモリM0 y=n×k+1の合成画素値をメモリM1 : : y=n×k+(n−1)の合成画素値をメモリMn-1 に基づいて合成データを書き込む構成を採る。
【0019】この構成により、ステレオ画像を合成した
合成データを水平ライン毎に各々対応するメモリに書き
込むことができ、簡単な回路構成で、1クロック毎に矩
形小領域の一致度評価を行うことが可能となる。
合成データを水平ライン毎に各々対応するメモリに書き
込むことができ、簡単な回路構成で、1クロック毎に矩
形小領域の一致度評価を行うことが可能となる。
【0020】請求項3記載の発明は、請求項1又は請求
項2記載のステレオマッチング装置において、マッチン
グ手段に、夫々対応するメモリから読み出された合成デ
ータを画像別に保存すると共にクロックに同期してステ
レオ画像間の水平方向の相関値を検出する複数のマッチ
ング回路を備える構成を採る。
項2記載のステレオマッチング装置において、マッチン
グ手段に、夫々対応するメモリから読み出された合成デ
ータを画像別に保存すると共にクロックに同期してステ
レオ画像間の水平方向の相関値を検出する複数のマッチ
ング回路を備える構成を採る。
【0021】この構成により、1クロックでステレオ画
像間の水平方向の相関値を検出することができるので、
1クロック毎に矩形小領域の一致度評価を行うことが可
能となる。
像間の水平方向の相関値を検出することができるので、
1クロック毎に矩形小領域の一致度評価を行うことが可
能となる。
【0022】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら詳細に説明する。
て、図面を参照しながら詳細に説明する。
【0023】なお、以下の説明に於いては、従来技術で
引用した特開平5―114099号のステレオマッチン
グ方法を、本発明の高速ステレオマッチング回路で実現
する場合を例に説明を行う。したがって、図6に示すよ
うに、入力画像401(左画像および右画像)のサイズ
は、水平方向画素数NHが512画素、垂直方向画素数
NVが200画素、1画素当たりのビット数Aは8ビッ
トとする。また、入力画像を4×4画素からなる矩形小
領域402で分割し、合計128×50ケの矩形小領域
についてステレオマッチング処理を行うものとする。
引用した特開平5―114099号のステレオマッチン
グ方法を、本発明の高速ステレオマッチング回路で実現
する場合を例に説明を行う。したがって、図6に示すよ
うに、入力画像401(左画像および右画像)のサイズ
は、水平方向画素数NHが512画素、垂直方向画素数
NVが200画素、1画素当たりのビット数Aは8ビッ
トとする。また、入力画像を4×4画素からなる矩形小
領域402で分割し、合計128×50ケの矩形小領域
についてステレオマッチング処理を行うものとする。
【0024】図1は、本発明の一実施の形態に係る高速
ステレオマッチング回路のブロック図を示したものであ
る。
ステレオマッチング回路のブロック図を示したものであ
る。
【0025】この高速ステレオマッチング回路は、水平
方向画素数がNH(=512)、垂直方向画素数がN
V(=200)、1画素当たりA(=8)ビットの画素
値を有する2系統の画像(左画像101および右画像1
02)が入力される。
方向画素数がNH(=512)、垂直方向画素数がN
V(=200)、1画素当たりA(=8)ビットの画素
値を有する2系統の画像(左画像101および右画像1
02)が入力される。
【0026】本実施の形態の高速ステレオマッチング回
路には、左画像101と右画像102との合成画像が後
述するルールにしたがって書き込まれるメモリM0〜M3
119〜122が備えられ、各メモリM0〜M3119〜
122から読み出される4系統のデータ104〜107
が入力される1次元マッチング回路123〜126が備
えられている。さらに、高速ステレオマッチング回路に
は、1次元マッチング回路123〜126の出力108
と109並びに110と111をそれぞれ加算する加算
器128、129と、加算器128、129の出力11
2、113を加算する加算器130と、加算器130の
出力114から最小の差分絶対値和を検出する最小値/
視差検出回路131と、コントローラ127が備えられ
ている。
路には、左画像101と右画像102との合成画像が後
述するルールにしたがって書き込まれるメモリM0〜M3
119〜122が備えられ、各メモリM0〜M3119〜
122から読み出される4系統のデータ104〜107
が入力される1次元マッチング回路123〜126が備
えられている。さらに、高速ステレオマッチング回路に
は、1次元マッチング回路123〜126の出力108
と109並びに110と111をそれぞれ加算する加算
器128、129と、加算器128、129の出力11
2、113を加算する加算器130と、加算器130の
出力114から最小の差分絶対値和を検出する最小値/
視差検出回路131と、コントローラ127が備えられ
ている。
【0027】図2は1次元マッチング回路(123〜1
26)の機能ブロックである。1次元マッチング回路
は、参照データ保持ブロック601とスキャンデータ保
持ブロック602を備える。参照データ保持ブロック6
01は、4つのイネーブル付きDフリップフロップ60
3〜606を直列接続した構成であり、スキャンデータ
保持ブロック602は4つのDフリップフロップ607
〜610を直列接続した構成である。イネーブル付きD
フリップフロップ603〜606はコントローラ127
からの制御信号によって制御される。同一段に配置され
たイネーブル付きDフリップフロップ603〜606及
びDフリップフロップ607〜610の各出力を差分絶
対値回路611〜614に入力している。差分絶対値回
路611、612が一方の加算器615に接続され、残
りの差分絶対値回路613,614がもう一方の加算器
616に接続される。これら2つの加算器615,61
6を加算器617に接続している。
26)の機能ブロックである。1次元マッチング回路
は、参照データ保持ブロック601とスキャンデータ保
持ブロック602を備える。参照データ保持ブロック6
01は、4つのイネーブル付きDフリップフロップ60
3〜606を直列接続した構成であり、スキャンデータ
保持ブロック602は4つのDフリップフロップ607
〜610を直列接続した構成である。イネーブル付きD
フリップフロップ603〜606はコントローラ127
からの制御信号によって制御される。同一段に配置され
たイネーブル付きDフリップフロップ603〜606及
びDフリップフロップ607〜610の各出力を差分絶
対値回路611〜614に入力している。差分絶対値回
路611、612が一方の加算器615に接続され、残
りの差分絶対値回路613,614がもう一方の加算器
616に接続される。これら2つの加算器615,61
6を加算器617に接続している。
【0028】以上のように構成された高速ステレオマッ
チングの動作について説明する。まず、入力と同時に、
左画像101および右画像102の各々対応する画素位
置どうしで画素毎に、上位8ビットが一方(右画像)の
画素値、下位8ビットがもう一方(左画像)の画素値と
なる16ビットの値(以下、「合成画素値」と呼ぶ)に
合成される。この合成画素値は、後記のルールにしたが
ってn個の対応するメモリM0〜M3(n=4)にそれぞ
れ書き込まれる。“n”は、矩形小領域の垂直方向の画
素数(=4)と同じ値にとる。メモリへの書き込み制御
はコントローラ127からの制御信号116によって行
う。なお、合成画素値で構成される画像を合成画像と呼
ぶことにするが、この合成画像は、水平方向画素数が5
12、垂直方向画素数が200、1画素当たり16ビッ
トの画素値をもつ画像となる。
チングの動作について説明する。まず、入力と同時に、
左画像101および右画像102の各々対応する画素位
置どうしで画素毎に、上位8ビットが一方(右画像)の
画素値、下位8ビットがもう一方(左画像)の画素値と
なる16ビットの値(以下、「合成画素値」と呼ぶ)に
合成される。この合成画素値は、後記のルールにしたが
ってn個の対応するメモリM0〜M3(n=4)にそれぞ
れ書き込まれる。“n”は、矩形小領域の垂直方向の画
素数(=4)と同じ値にとる。メモリへの書き込み制御
はコントローラ127からの制御信号116によって行
う。なお、合成画素値で構成される画像を合成画像と呼
ぶことにするが、この合成画像は、水平方向画素数が5
12、垂直方向画素数が200、1画素当たり16ビッ
トの画素値をもつ画像となる。
【0029】<ルール>合成画像の水平方向の画素位置
を表すインデックスをx(0≦x≦511)、垂直方向の
画素位置を表すインデックスをy(0≦y≦199)と
し、kを0〜49の正の整数とするとき、 y=4×kの合成画素値をメモリM0 y=4×k+1の合成画素値をメモリM1 y=4×k+2の合成画素値をメモリM2 y=4×k+3の合成画素値をメモリM3 に書き込むものとする。
を表すインデックスをx(0≦x≦511)、垂直方向の
画素位置を表すインデックスをy(0≦y≦199)と
し、kを0〜49の正の整数とするとき、 y=4×kの合成画素値をメモリM0 y=4×k+1の合成画素値をメモリM1 y=4×k+2の合成画素値をメモリM2 y=4×k+3の合成画素値をメモリM3 に書き込むものとする。
【0030】したがって、図3に示すように、合成画像
の垂直方向インデックスy(0≦y≦199)毎に、 y=0、4、8、…、196の合成画素値はメモリM0 y=1、5、9、…、197の合成画素値はメモリM1 y=2、6、10、…、198の合成画素値はメモリM
2 y=3、7、11、…、199の合成画素値はメモリM
3 に書き込まれることになる。一例として、メモリM0ヘ
のデータ格納例を図4に示し、メモリM1へのデータ格
納例を図5に示す。
の垂直方向インデックスy(0≦y≦199)毎に、 y=0、4、8、…、196の合成画素値はメモリM0 y=1、5、9、…、197の合成画素値はメモリM1 y=2、6、10、…、198の合成画素値はメモリM
2 y=3、7、11、…、199の合成画素値はメモリM
3 に書き込まれることになる。一例として、メモリM0ヘ
のデータ格納例を図4に示し、メモリM1へのデータ格
納例を図5に示す。
【0031】以上のようにして、合成画像がメモリM0
〜M3に書き込まれた後、コントローラ127からの制
御信号116によって、同じアドレスのデータ(画素
値)が1クロック周期でメモリM0〜M3から同時にx=
0、1、2、3、…の順で読み出される。
〜M3に書き込まれた後、コントローラ127からの制
御信号116によって、同じアドレスのデータ(画素
値)が1クロック周期でメモリM0〜M3から同時にx=
0、1、2、3、…の順で読み出される。
【0032】クロックに同期して順次読み出される4系
統のデータ104〜107は、それぞれ1次元マッチン
グ回路123〜126に入力され水平方向4画素の差分
絶対値和がクロックに同期して演算される。1次元マッ
チング回路123〜126から出力される水平方向4画
素の差分絶対値和は、加算器128〜130によってさ
らに加算され、最終的に矩形小領域内のすべての画素
(4×4)の差分絶対値和すなわち(6)式の演算結果
114が1クロック毎に得られる。最小値/視差検出回
路131では、探索範囲100画素に渡って1クロック
毎に得られる差分絶対値和のうち、最小となる値とその
ときの視差を検出/保持し、探索終了時にその結果11
5を出力する。
統のデータ104〜107は、それぞれ1次元マッチン
グ回路123〜126に入力され水平方向4画素の差分
絶対値和がクロックに同期して演算される。1次元マッ
チング回路123〜126から出力される水平方向4画
素の差分絶対値和は、加算器128〜130によってさ
らに加算され、最終的に矩形小領域内のすべての画素
(4×4)の差分絶対値和すなわち(6)式の演算結果
114が1クロック毎に得られる。最小値/視差検出回
路131では、探索範囲100画素に渡って1クロック
毎に得られる差分絶対値和のうち、最小となる値とその
ときの視差を検出/保持し、探索終了時にその結果11
5を出力する。
【0033】一例として、図7に示す画像左上の矩形小
領域501を例にマッチング処理の流れを説明する。y
=0およびy=1およびy=2およびy=3の画素デー
タ(k=0)が、それぞれメモリM0〜M3からx=0、
1、2、3、…の順で同時に読み出され、それぞれ1次
元マッチング回路123〜126に入力される。
領域501を例にマッチング処理の流れを説明する。y
=0およびy=1およびy=2およびy=3の画素デー
タ(k=0)が、それぞれメモリM0〜M3からx=0、
1、2、3、…の順で同時に読み出され、それぞれ1次
元マッチング回路123〜126に入力される。
【0034】図8に1次元マッチング回路の動作タイミ
ングを示す。1次元マッチング回路123には、y=0
の画素データが、x=0、1、2、3、…の順で入力さ
れる。入力された画素データ16ビットは、右画像デー
タ(上位8ビット)と左画像データ(下位8ビット)に
分離され、右画像データは参照データ保持ブロック60
1へ、右画像データはスキャンデータ保持ブロック60
2へ入力される。
ングを示す。1次元マッチング回路123には、y=0
の画素データが、x=0、1、2、3、…の順で入力さ
れる。入力された画素データ16ビットは、右画像デー
タ(上位8ビット)と左画像データ(下位8ビット)に
分離され、右画像データは参照データ保持ブロック60
1へ、右画像データはスキャンデータ保持ブロック60
2へ入力される。
【0035】参照データ保持ブロック601では、イネ
ーブル付きDフリップフロップ603に(x,y)=
(0、0)の画素データが、イネーブル付きDフリップ
フロップ604に(x,y)=(1、0)の画素データ
が、イネーブル付きDフリップフロップ605に(x,
y)=(2、0)の画素データが、イネーブル付きDフ
リップフロップ605に(x,y)=(3、0)の画素
データがそれぞれ保持されるように、コントローラ12
7からの制御信号117によって制御される。イネーブ
ル付きDフリップフロップ603〜605は制御信号1
17がアクティブのときのみ入力データをクロックの立
ち上がりに同期してラッチするようなフリップフロップ
である。
ーブル付きDフリップフロップ603に(x,y)=
(0、0)の画素データが、イネーブル付きDフリップ
フロップ604に(x,y)=(1、0)の画素データ
が、イネーブル付きDフリップフロップ605に(x,
y)=(2、0)の画素データが、イネーブル付きDフ
リップフロップ605に(x,y)=(3、0)の画素
データがそれぞれ保持されるように、コントローラ12
7からの制御信号117によって制御される。イネーブ
ル付きDフリップフロップ603〜605は制御信号1
17がアクティブのときのみ入力データをクロックの立
ち上がりに同期してラッチするようなフリップフロップ
である。
【0036】一方、スキャンデータ保持ブロック602
では、クロックに同期して入力される左画像データがD
フリップフロップで構成されたシフトレジスタ607〜
610によって、1クロック毎に1画素ずつシフトされ
ていく。
では、クロックに同期して入力される左画像データがD
フリップフロップで構成されたシフトレジスタ607〜
610によって、1クロック毎に1画素ずつシフトされ
ていく。
【0037】参照データ保持ブロック601に保持され
ている画素データ(y=0のx=0、1、2、3の4画
素)と、スキャンデータ保持ブロック602でクロック
毎にシフトされ逐次更新される画素データ(4画素)
は、それぞれ、差分絶対値回路611〜614にて画素
毎の差分絶対値が演算され、加算器615〜617にて
4画素分の差分絶対値の総和がとられて1次元マッチン
グ回路123から出力される。
ている画素データ(y=0のx=0、1、2、3の4画
素)と、スキャンデータ保持ブロック602でクロック
毎にシフトされ逐次更新される画素データ(4画素)
は、それぞれ、差分絶対値回路611〜614にて画素
毎の差分絶対値が演算され、加算器615〜617にて
4画素分の差分絶対値の総和がとられて1次元マッチン
グ回路123から出力される。
【0038】同様に、1次元マッチング回路124には
y=1、1次元マッチング回路125にはy=2、1次
元マッチング回路126にはy=3の画素データが、そ
れぞれx=0、1、2、3、…の順で入力され同様に処
理される。
y=1、1次元マッチング回路125にはy=2、1次
元マッチング回路126にはy=3の画素データが、そ
れぞれx=0、1、2、3、…の順で入力され同様に処
理される。
【0039】上述のように、4ライン分(y=0、1、
2、3)の差分絶対値和が並列に演算され、矩形小領域
501の一致度評価すなわち(6)式の演算は、1クロ
ックに1度実行されることになる。これを探索範囲全域
に渡って(例えば100画素)実行し、その最小値およ
び最小値を与える視差が、最小値/視差検出回路131
で検出されて保持され、探索終了時に結果115として
出力される。
2、3)の差分絶対値和が並列に演算され、矩形小領域
501の一致度評価すなわち(6)式の演算は、1クロ
ックに1度実行されることになる。これを探索範囲全域
に渡って(例えば100画素)実行し、その最小値およ
び最小値を与える視差が、最小値/視差検出回路131
で検出されて保持され、探索終了時に結果115として
出力される。
【0040】最小値/視差検出回路131への制御信号
118は、(1クロック毎に更新される)現在の視差お
よび矩形小領域毎の評価結果出力タイミング(評価終了
タイミング)である。
118は、(1クロック毎に更新される)現在の視差お
よび矩形小領域毎の評価結果出力タイミング(評価終了
タイミング)である。
【0041】以上説明したように、本発明の実施の形態
によれば、ひとつの矩形小領域のマッチングは探索範囲
を100画素とした場合、およそ100クロックで実行
することが可能であり、特開平5―114099号に記
載の回路構成に比べ、同じクロック周波数を用いた場
合、約1/2の時間(0.076÷2=0.036秒)で
ステレオマッチングを実行することができる。
によれば、ひとつの矩形小領域のマッチングは探索範囲
を100画素とした場合、およそ100クロックで実行
することが可能であり、特開平5―114099号に記
載の回路構成に比べ、同じクロック周波数を用いた場
合、約1/2の時間(0.076÷2=0.036秒)で
ステレオマッチングを実行することができる。
【0042】なお、以上の説明では、特開平5―114
099号に記載のステレオマッチング方法(左右画像の
差分絶対値和を一致度評価に用いる方法)を本発明の高
速ステレオマッチング回路で実現する場合を例に説明を
行ったが、本発明は、前記ステレオマッチング方法に限
定されるものではない。
099号に記載のステレオマッチング方法(左右画像の
差分絶対値和を一致度評価に用いる方法)を本発明の高
速ステレオマッチング回路で実現する場合を例に説明を
行ったが、本発明は、前記ステレオマッチング方法に限
定されるものではない。
【0043】
【発明の効果】以上説明したように、本発明によれば、
簡単な回路構成で、1クロック毎に矩形小領域の一致度
評価を行うことが可能となり、非常に高速にステレオマ
ッチングを実行することができるという効果を有する。
簡単な回路構成で、1クロック毎に矩形小領域の一致度
評価を行うことが可能となり、非常に高速にステレオマ
ッチングを実行することができるという効果を有する。
【図1】本発明の一実施の形態に係る高速ステレオマッ
チング回路のブロック図。
チング回路のブロック図。
【図2】上記実施の形態における1次元マッチング回路
のブロック図。
のブロック図。
【図3】上記実施の形態における高速ステレオマッチン
グ回路のメモリ構成を説明するための図。
グ回路のメモリ構成を説明するための図。
【図4】上記実施の形態におけるメモリM0へのデータ
格納方法の具体例を示すメモリ構成図。
格納方法の具体例を示すメモリ構成図。
【図5】上記実施の形態におけるメモリM1へのデータ
格納方法の具体例を示すメモリ構成図。
格納方法の具体例を示すメモリ構成図。
【図6】上記実施の形態における入力画像のサイズおよ
び矩形小領域への分割方法の一例を示す図。
び矩形小領域への分割方法の一例を示す図。
【図7】上記実施の形態における矩形小領域毎のマッチ
ングの処理の説明図。
ングの処理の説明図。
【図8】上記実施の形態における本発明の高速ステレオ
マッチング回路における、1次元マッチング回路の動作
タイミングを説明するための図。
マッチング回路における、1次元マッチング回路の動作
タイミングを説明するための図。
【図9】ステレオ画像による3次元情報計測方法の原理
説明図。
説明図。
【図10】ステレオ画像による3次元情報計測のステレ
オマッチング法の説明図。
オマッチング法の説明図。
【図11】ステレオ画像による3次元情報計測の別のス
テレオマッチング法の説明図。
テレオマッチング法の説明図。
101…左画像、 102…右画像、 103…合成画像、 123〜126…1次元マッチング回路 127…コントローラ、 128〜130…加算器 131…最小値/視差検出回路 401…入力画像、 402…矩形小領域、 501…矩形小領域、 601…参照データ保持ブロック、 602…スキャンデータ保持ブロック、 603〜606…イネーブル付きDフリップフロップ、 607〜610…Dフリップフロップ、 611〜614…差分絶対値回路、 615〜617…加算器、
Claims (3)
- 【請求項1】 ステレオ画像上の各ブロックについて同
一画素位置の画素データを合成する合成手段と、前記ブ
ロックの垂直方向の各画素位置に対応して設けられた複
数のメモリと、前記メモリに対して対応する垂直方向の
画素位置の合成データを書き込むメモリ制御手段と、前
記各メモリに書き込まれた合成データを同時に読み出し
てステレオマッチングを行うマッチング手段とを具備す
るステレオマッチング装置。 - 【請求項2】 メモリ制御手段は、ステレオ画像の水平
方向画素数がNH、垂直方向画素数がNVの場合、1ブロ
ック分の合成データからなる合成画像の水平方向の画素
位置を表すインデックスをx(0≦x≦NH-1)、垂直方
向の画素位置を表すインデックスをy(0≦y≦NV-1)
とし、kを0〜((NV/n)−1)の正の整数(nは定
数)とするとき、下記インデックスy、 y=n×kの合成画素値をメモリM0 y=n×k+1の合成画素値をメモリM1 : : y=n×k+(n−1)の合成画素値をメモリMn-1 に基づいて合成データを書き込むことを特徴とする請求
項1記載のステレオマッチング装置。 - 【請求項3】 マッチング手段は、夫々対応するメモリ
から読み出された合成データを画像別に保存すると共に
クロックに同期してステレオ画像間の水平方向の相関値
を検出する複数のマッチング回路を備えることを特徴と
する請求項1又は請求項2記載のステレオマッチング装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9161891A JPH10334244A (ja) | 1997-06-04 | 1997-06-04 | ステレオマッチング装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9161891A JPH10334244A (ja) | 1997-06-04 | 1997-06-04 | ステレオマッチング装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10334244A true JPH10334244A (ja) | 1998-12-18 |
Family
ID=15743975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9161891A Pending JPH10334244A (ja) | 1997-06-04 | 1997-06-04 | ステレオマッチング装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10334244A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
JP2010055508A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 入出力装置 |
JP2016009427A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社リコー | 画像処理装置、画像処理方法、機器制御システム |
-
1997
- 1997-06-04 JP JP9161891A patent/JPH10334244A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
US7015951B1 (en) | 1998-05-08 | 2006-03-21 | Sony Corporation | Picture generating apparatus and picture generating method |
JP2010055508A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 入出力装置 |
US8681123B2 (en) | 2008-08-29 | 2014-03-25 | Sony Corporation | Input/output device |
US9164626B2 (en) | 2008-08-29 | 2015-10-20 | Sony Corporation | Input/output device |
JP2016009427A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社リコー | 画像処理装置、画像処理方法、機器制御システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5202928A (en) | Surface generation method from boundaries of stereo images | |
US4677476A (en) | Method for detecting a movement of a television signal | |
CN110070598B (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
US6049625A (en) | Method of and an apparatus for 3-dimensional structure estimation | |
JP2961264B1 (ja) | 3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH08223578A (ja) | 動きベクトル探索方法および装置 | |
JPH08292014A (ja) | パターン位置の計測方法および計測装置 | |
US6483949B1 (en) | Image processing apparatus and method, and medium therefor | |
JPH10334244A (ja) | ステレオマッチング装置 | |
JP2001338280A (ja) | 3次元空間情報入力装置 | |
JP3221384B2 (ja) | 三次元座標計測装置 | |
JPH10320558A (ja) | キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに3次元位置情報検出方法及び装置並びに記録媒体 | |
JP2000171214A (ja) | 対応点検索方法及びこれを利用した三次元位置計測方法 | |
US6625301B2 (en) | Image processing apparatus, image processing method and transmission medium | |
JPH0875454A (ja) | 測距装置 | |
JP2961140B2 (ja) | 画像処理方法 | |
JP3047017B2 (ja) | 画像処理方法 | |
US5682438A (en) | Method and apparatus for determining a motion vector | |
JP2000028355A (ja) | 3次元画像処理装置 | |
JP2003331263A (ja) | カメラ画像−実空間座標対応付けマップ生成方法、カメラ画像−実空間座標対応付けマップ生成装置、プログラムおよび記録媒体 | |
JP3316682B2 (ja) | ステレオ画像測定装置 | |
CN117635849B (zh) | 一种动态实时高精度三维成像*** | |
JP2001124519A (ja) | 回帰的対応点探索方法、これを利用した三次元位置計測方法、これらの装置、並びに、記録媒体 | |
Jeon et al. | A robust stereo-matching algorithm using multiple-baseline cameras |