JPH10334244A - ステレオマッチング装置 - Google Patents
ステレオマッチング装置Info
- Publication number
- JPH10334244A JPH10334244A JP9161891A JP16189197A JPH10334244A JP H10334244 A JPH10334244 A JP H10334244A JP 9161891 A JP9161891 A JP 9161891A JP 16189197 A JP16189197 A JP 16189197A JP H10334244 A JPH10334244 A JP H10334244A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image
- pixel
- stereo
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 ステレオ画像について高速のステレオマ
ッチングを簡単な回路構成で実現すること。 【解決手段】 左画像１０１と右画像１０２の対応する
画素位置どうしの画素データを合成して、複数のメモリ
Ｍ0〜Ｍn-1に保存する。コントローラ１２７がメモリへ
の書込みアドレスを以下の如く制御する。垂直方向の画
素位置のインデックスをｙ(０≦ｙ≦ＮV-１)として、 ｙ＝ｎ×ｋの合成画素値をメモリＭ0 ｙ＝ｎ×ｋ＋１の合成画素値をメモリＭ1 ： ｙ＝ｎ×ｋ＋（ｎ−１）の合成画素値をメモリＭn-1 に基づいて合成データを書き込む。
ッチングを簡単な回路構成で実現すること。 【解決手段】 左画像１０１と右画像１０２の対応する
画素位置どうしの画素データを合成して、複数のメモリ
Ｍ0〜Ｍn-1に保存する。コントローラ１２７がメモリへ
の書込みアドレスを以下の如く制御する。垂直方向の画
素位置のインデックスをｙ(０≦ｙ≦ＮV-１)として、 ｙ＝ｎ×ｋの合成画素値をメモリＭ0 ｙ＝ｎ×ｋ＋１の合成画素値をメモリＭ1 ： ｙ＝ｎ×ｋ＋（ｎ−１）の合成画素値をメモリＭn-1 に基づいて合成データを書き込む。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ステレオ画像間の
対応付け（ステレオマッチング）を高速で行う高速ステ
レオマッチング装置に関するものである。
対応付け（ステレオマッチング）を高速で行う高速ステ
レオマッチング装置に関するものである。
【０００２】
【従来の技術】ステレオ画像による３次元計測（以下、
「ステレオ画像計測」という）の原理について図９を用
いて説明する。図９において、実空間を表す座標として
（ｘ，ｙ，ｚ）を用い、画像面（カメラの撮像面）上の
位置を表す座標として（Ｘ，Ｙ）を用いる。ただし、２
台のカメラ８Ｌ、８Ｒを区別するために、左カメラの画
像面上の位置を表す座標として（ＸL、ＹL）を用い、右
カメラの画像面上の位置を表す座標として（ＸR、ＹR）
を用いる。ｘ軸とＸL軸、ｘ軸とＸR軸、ｙ軸とＹL軸、
ｙ軸とＹR軸は各々互いに平行であり、ｚ軸は２台のカ
メラの光軸にともに平行であるとする。実空間座標系の
原点を左右カメラの投影中心の中点にとり、投影中心間
の距離を基線長と呼びその長さを２ａで表すことにす
る。また、投影中心と画像面との距離（焦点距離）をｆ
で表す。
「ステレオ画像計測」という）の原理について図９を用
いて説明する。図９において、実空間を表す座標として
（ｘ，ｙ，ｚ）を用い、画像面（カメラの撮像面）上の
位置を表す座標として（Ｘ，Ｙ）を用いる。ただし、２
台のカメラ８Ｌ、８Ｒを区別するために、左カメラの画
像面上の位置を表す座標として（ＸL、ＹL）を用い、右
カメラの画像面上の位置を表す座標として（ＸR、ＹR）
を用いる。ｘ軸とＸL軸、ｘ軸とＸR軸、ｙ軸とＹL軸、
ｙ軸とＹR軸は各々互いに平行であり、ｚ軸は２台のカ
メラの光軸にともに平行であるとする。実空間座標系の
原点を左右カメラの投影中心の中点にとり、投影中心間
の距離を基線長と呼びその長さを２ａで表すことにす
る。また、投影中心と画像面との距離（焦点距離）をｆ
で表す。
【０００３】今、実空間内の点ｐが左画像面上の点ＰL
（ＸL、ＹL）、右画像面上の点ＰR（ＸR、ＹR）にそれ
ぞれ投影されたとする。ステレオ画像計測では、画像面
上においてＰL、ＰRを決定し（ステレオマッチング）、
三角測量の原理に基づいて点ｐの実空間座標（ｘ，ｙ，
ｚ）を求める。ここでは、２台のカメラの光軸が同一平
面上にありｘ軸とＸ軸とを平行にとっていることから、
ＹLとＹRとは同じ値をとる。画像面上の座標ＸL、ＹL、
ＸR、ＹRと実空間内の座標ｘ、ｙ，ｚとの関係は、
（ＸL、ＹL）、右画像面上の点ＰR（ＸR、ＹR）にそれ
ぞれ投影されたとする。ステレオ画像計測では、画像面
上においてＰL、ＰRを決定し（ステレオマッチング）、
三角測量の原理に基づいて点ｐの実空間座標（ｘ，ｙ，
ｚ）を求める。ここでは、２台のカメラの光軸が同一平
面上にありｘ軸とＸ軸とを平行にとっていることから、
ＹLとＹRとは同じ値をとる。画像面上の座標ＸL、ＹL、
ＸR、ＹRと実空間内の座標ｘ、ｙ，ｚとの関係は、
【数１】 あるいは、
【数２】 と求められる。
【０００４】ここで、 ｄ＝ＸL−ＸR （３） は視差を表している。（２）式からａ＞０であるので ＸL＞ＸR かつ、ＹL＝ＹR （４） が成り立つ。
【０００５】これは、一方の画像面上の１点の他方の画
像面上での対応点は、同じ走査線上、かつＸL＞ＸRの範
囲に存在することを表す。したがって、一方の画像上の
１点に対応した他方の画像上の点は、対応点が存在する
可能性のある直線に沿ったある小領域について画像の類
似性を調べて見いだすことができる。
像面上での対応点は、同じ走査線上、かつＸL＞ＸRの範
囲に存在することを表す。したがって、一方の画像上の
１点に対応した他方の画像上の点は、対応点が存在する
可能性のある直線に沿ったある小領域について画像の類
似性を調べて見いだすことができる。
【０００６】次に、類似性の評価方法について説明す
る。類似性の評価方法の一例として、尾上守夫他編「画
像処理ハンドブック」（昭晃堂）に両画像間の相互相関
値を調べる方法が記載されている。図１０を用いて、両
画像間の相互相関値を調べる方法について説明する。
る。類似性の評価方法の一例として、尾上守夫他編「画
像処理ハンドブック」（昭晃堂）に両画像間の相互相関
値を調べる方法が記載されている。図１０を用いて、両
画像間の相互相関値を調べる方法について説明する。
【０００７】いま、右画像上のある画素９０３に対応す
る左画像中の点（対応点）を決定するものとする。対応
点を決定したい右画像上の画素９０３を中心とする大き
さｎ×ｍ画素の矩形小領域９０４を設定し、その内部に
おける画素の輝度値をΙR（ｉ,ｊ）とする。一方、
（４）式の条件を満たす左画像上の画素を中心とする大
きさｎ×ｍ画素の矩形小領域９０５の内部における画素
の輝度値をΙL（ｉ,ｊ）とする。それぞれの小領域につ
いての輝度値の平均と分散をμＬ、μＲ、σＬ２、σＲ
２とすると、これらの小領域間の相互相関値は次式で与
えられる。
る左画像中の点（対応点）を決定するものとする。対応
点を決定したい右画像上の画素９０３を中心とする大き
さｎ×ｍ画素の矩形小領域９０４を設定し、その内部に
おける画素の輝度値をΙR（ｉ,ｊ）とする。一方、
（４）式の条件を満たす左画像上の画素を中心とする大
きさｎ×ｍ画素の矩形小領域９０５の内部における画素
の輝度値をΙL（ｉ,ｊ）とする。それぞれの小領域につ
いての輝度値の平均と分散をμＬ、μＲ、σＬ２、σＲ
２とすると、これらの小領域間の相互相関値は次式で与
えられる。
【数３】 対応点が存在する可能性のある直線（この場合、走査
線）に沿ってこの値を計算し、この値が最大となる部分
を対応点とする。
線）に沿ってこの値を計算し、この値が最大となる部分
を対応点とする。
【０００８】この方法では、対応点を画素単位に決定す
ることができ、また対応点が決まればその対応点の座標
位置から（３）式を用いて、画素毎の視差が求まること
になる。しかしながら、対応点の決定には非常に多くの
演算量を要することになる。対応点を決定するすべての
画素について、上式の演算を対応点が存在する可能性の
ある範囲全域にわたって実行するからである。
ることができ、また対応点が決まればその対応点の座標
位置から（３）式を用いて、画素毎の視差が求まること
になる。しかしながら、対応点の決定には非常に多くの
演算量を要することになる。対応点を決定するすべての
画素について、上式の演算を対応点が存在する可能性の
ある範囲全域にわたって実行するからである。
【０００９】相関計算のための小領域の大きさを小さく
すれば演算速度は速くできるが、画像の歪みや雑音の影
響を受けやすくなり、対応点検出の安定性が悪くなる。
逆に、小領域の大きさを大きくすると、多くの演算時間
を要するのみでなく、相関値の変化が緩やかになりす
ぎ、対応点検出の精度が低下する。小領域の大きさは、
対象とする画像の性質により適当に設定することが必要
である。
すれば演算速度は速くできるが、画像の歪みや雑音の影
響を受けやすくなり、対応点検出の安定性が悪くなる。
逆に、小領域の大きさを大きくすると、多くの演算時間
を要するのみでなく、相関値の変化が緩やかになりす
ぎ、対応点検出の精度が低下する。小領域の大きさは、
対象とする画像の性質により適当に設定することが必要
である。
【００１０】以上説明したように、画素毎に対応点を決
定する方法では膨大な演算量を必要とする。そこで、画
像をある大きさのブロックの単位に分割し、ブロック毎
に対応領域を決定する方法がある。ブロック毎に左右画
像間の対応領域を求める方法としては、たとえば、特開
平５―１１４０９９号がある。
定する方法では膨大な演算量を必要とする。そこで、画
像をある大きさのブロックの単位に分割し、ブロック毎
に対応領域を決定する方法がある。ブロック毎に左右画
像間の対応領域を求める方法としては、たとえば、特開
平５―１１４０９９号がある。
【００１１】図１１を用いて上記公開公報記載の方法に
ついて説明する。今、右画像１００２を基準とし、右画
像をｎ×ｍ画素のサイズのブロック１００４を１単位と
して分割し、分割されたブロック毎に左画像１００１中
より対応領域を探索し視差を求める。対応領域決定のた
めの類似度評価式として、
ついて説明する。今、右画像１００２を基準とし、右画
像をｎ×ｍ画素のサイズのブロック１００４を１単位と
して分割し、分割されたブロック毎に左画像１００１中
より対応領域を探索し視差を求める。対応領域決定のた
めの類似度評価式として、
【数４】 を用いる。ここでＬi、Ｒiはそれぞれ左ブロック１００
３、右ブロック１００４内のｉ番目の画素における輝度
値である。この評価式は、（５）式のような平均値を引
く等の操作を伴わないため類似度評価式（５）式に比べ
れば演算量は少なくて済む。
３、右ブロック１００４内のｉ番目の画素における輝度
値である。この評価式は、（５）式のような平均値を引
く等の操作を伴わないため類似度評価式（５）式に比べ
れば演算量は少なくて済む。
【００１２】以上説明したように、ステレオ画像の対応
付け処理には、膨大な演算量を要するため、実用化に際
しては、これらの演算を高速に実行するハードウェア
（ステレオマッチング回路）が必要となる。前述の特開
平５―１１４０９９号には、具体的なステレオマッチン
グ回路の構成についても開示されている。これは、５１
２（Ｈ）×２００（Ｖ）画素からなる画像を、４×４画
素からなる矩形小領域（水平１２８、垂直２０）に分割
し、前記矩形小領域毎にステレオマッチングを実行する
ことによって実空間の３次元（例えば距離）情報を計測
するものである。前記ステレオマッチング回路では、２
クロックに１回の割合で前記矩形小領域の一致度評価を
行う。すなわち、２クロックに１回、（６）式の演算を
実行するような構成になっており、探索範囲が１００画
素の場合、約２００クロックでひとつの矩形小領域のマ
ッチングを終了する。この装置では、合計１２８×２０
ケの矩形小領域のステレオマッチングをおよそ０.０７
６秒で実行することができる。
付け処理には、膨大な演算量を要するため、実用化に際
しては、これらの演算を高速に実行するハードウェア
（ステレオマッチング回路）が必要となる。前述の特開
平５―１１４０９９号には、具体的なステレオマッチン
グ回路の構成についても開示されている。これは、５１
２（Ｈ）×２００（Ｖ）画素からなる画像を、４×４画
素からなる矩形小領域（水平１２８、垂直２０）に分割
し、前記矩形小領域毎にステレオマッチングを実行する
ことによって実空間の３次元（例えば距離）情報を計測
するものである。前記ステレオマッチング回路では、２
クロックに１回の割合で前記矩形小領域の一致度評価を
行う。すなわち、２クロックに１回、（６）式の演算を
実行するような構成になっており、探索範囲が１００画
素の場合、約２００クロックでひとつの矩形小領域のマ
ッチングを終了する。この装置では、合計１２８×２０
ケの矩形小領域のステレオマッチングをおよそ０.０７
６秒で実行することができる。
【００１３】
【発明が解決しようとする課題】上記したように、従来
のステレオマッチング回路は、２クロックに１回の割で
矩形小領域の一致度評価を行うような構成になってお
り、画面全体のステレオマッチングをおよそ０.０７６
秒で計測することができる。
のステレオマッチング回路は、２クロックに１回の割で
矩形小領域の一致度評価を行うような構成になってお
り、画面全体のステレオマッチングをおよそ０.０７６
秒で計測することができる。
【００１４】しかしながら、上記回路構成でさらに処理
時間を短縮するためには、クロックの周波数を上げるし
かないため、回路構成が複雑化する問題がある。
時間を短縮するためには、クロックの周波数を上げるし
かないため、回路構成が複雑化する問題がある。
【００１５】本発明は、以上のような実状に鑑みてなさ
れたもので、簡単な回路構成で、しかも１クロックに１
回の割合で矩形小領域の一致度評価を行うことができ、
上記従来装置に比べ約１／２の時間でステレオマッチン
グが可能な、優れた高速ステレオマッチング装置を提供
することを目的とする。
れたもので、簡単な回路構成で、しかも１クロックに１
回の割合で矩形小領域の一致度評価を行うことができ、
上記従来装置に比べ約１／２の時間でステレオマッチン
グが可能な、優れた高速ステレオマッチング装置を提供
することを目的とする。
【００１６】
【課題を解決するための手段】上記目的を達成するため
に、本発明は次のような手段を講じた。請求項１記載の
発明は、ステレオ画像上の各ブロックについて同一画素
位置の画素データを合成する合成手段と、前記ブロック
の垂直方向の各画素位置に対応して設けられた複数のメ
モリと、前記メモリに対して対応する垂直方向の画素位
置の合成データを書き込むメモリ制御手段と、前記各メ
モリに書き込まれた合成データを同時に読み出してステ
レオマッチングを行うマッチング手段とを具備する構成
を採る。
に、本発明は次のような手段を講じた。請求項１記載の
発明は、ステレオ画像上の各ブロックについて同一画素
位置の画素データを合成する合成手段と、前記ブロック
の垂直方向の各画素位置に対応して設けられた複数のメ
モリと、前記メモリに対して対応する垂直方向の画素位
置の合成データを書き込むメモリ制御手段と、前記各メ
モリに書き込まれた合成データを同時に読み出してステ
レオマッチングを行うマッチング手段とを具備する構成
を採る。
【００１７】この構成により、ステレオ画像を合成して
水平ライン毎に各々対応するメモリに書き込むようにし
たので、簡単な回路構成で、１クロック毎に矩形小領域
の一致度評価を行うことが可能となり、非常に高速にス
テレオマッチングを実行することができるという効果を
有する。
水平ライン毎に各々対応するメモリに書き込むようにし
たので、簡単な回路構成で、１クロック毎に矩形小領域
の一致度評価を行うことが可能となり、非常に高速にス
テレオマッチングを実行することができるという効果を
有する。
【００１８】請求項２記載の発明は、請求項１記載のス
テレオマッチング装置において、メモリ制御手段が、ス
テレオ画像の水平方向画素数がＮH、垂直方向画素数が
ＮVの場合、１ブロック分の合成データからなる合成画
像の水平方向の画素位置を表すインデックスをｘ(０≦
ｘ≦ＮH-１)、垂直方向の画素位置を表すインデックス
をｙ(０≦ｙ≦ＮV-１)とし、ｋを０〜((ＮV／ｎ)−１)
の正の整数（ｎは定数）とするとき、下記インデックス
ｙ、 ｙ＝ｎ×ｋの合成画素値をメモリＭ0 ｙ＝ｎ×ｋ＋１の合成画素値をメモリＭ1 ： ： ｙ＝ｎ×ｋ＋（ｎ−１）の合成画素値をメモリＭn-1 に基づいて合成データを書き込む構成を採る。
テレオマッチング装置において、メモリ制御手段が、ス
テレオ画像の水平方向画素数がＮH、垂直方向画素数が
ＮVの場合、１ブロック分の合成データからなる合成画
像の水平方向の画素位置を表すインデックスをｘ(０≦
ｘ≦ＮH-１)、垂直方向の画素位置を表すインデックス
をｙ(０≦ｙ≦ＮV-１)とし、ｋを０〜((ＮV／ｎ)−１)
の正の整数（ｎは定数）とするとき、下記インデックス
ｙ、 ｙ＝ｎ×ｋの合成画素値をメモリＭ0 ｙ＝ｎ×ｋ＋１の合成画素値をメモリＭ1 ： ： ｙ＝ｎ×ｋ＋（ｎ−１）の合成画素値をメモリＭn-1 に基づいて合成データを書き込む構成を採る。
【００１９】この構成により、ステレオ画像を合成した
合成データを水平ライン毎に各々対応するメモリに書き
込むことができ、簡単な回路構成で、１クロック毎に矩
形小領域の一致度評価を行うことが可能となる。
合成データを水平ライン毎に各々対応するメモリに書き
込むことができ、簡単な回路構成で、１クロック毎に矩
形小領域の一致度評価を行うことが可能となる。
【００２０】請求項３記載の発明は、請求項１又は請求
項２記載のステレオマッチング装置において、マッチン
グ手段に、夫々対応するメモリから読み出された合成デ
ータを画像別に保存すると共にクロックに同期してステ
レオ画像間の水平方向の相関値を検出する複数のマッチ
ング回路を備える構成を採る。
項２記載のステレオマッチング装置において、マッチン
グ手段に、夫々対応するメモリから読み出された合成デ
ータを画像別に保存すると共にクロックに同期してステ
レオ画像間の水平方向の相関値を検出する複数のマッチ
ング回路を備える構成を採る。
【００２１】この構成により、１クロックでステレオ画
像間の水平方向の相関値を検出することができるので、
１クロック毎に矩形小領域の一致度評価を行うことが可
能となる。
像間の水平方向の相関値を検出することができるので、
１クロック毎に矩形小領域の一致度評価を行うことが可
能となる。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら詳細に説明する。
て、図面を参照しながら詳細に説明する。
【００２３】なお、以下の説明に於いては、従来技術で
引用した特開平５―１１４０９９号のステレオマッチン
グ方法を、本発明の高速ステレオマッチング回路で実現
する場合を例に説明を行う。したがって、図６に示すよ
うに、入力画像４０１（左画像および右画像）のサイズ
は、水平方向画素数ＮHが５１２画素、垂直方向画素数
ＮVが２００画素、１画素当たりのビット数Ａは８ビッ
トとする。また、入力画像を４×４画素からなる矩形小
領域４０２で分割し、合計１２８×５０ケの矩形小領域
についてステレオマッチング処理を行うものとする。
引用した特開平５―１１４０９９号のステレオマッチン
グ方法を、本発明の高速ステレオマッチング回路で実現
する場合を例に説明を行う。したがって、図６に示すよ
うに、入力画像４０１（左画像および右画像）のサイズ
は、水平方向画素数ＮHが５１２画素、垂直方向画素数
ＮVが２００画素、１画素当たりのビット数Ａは８ビッ
トとする。また、入力画像を４×４画素からなる矩形小
領域４０２で分割し、合計１２８×５０ケの矩形小領域
についてステレオマッチング処理を行うものとする。
【００２４】図１は、本発明の一実施の形態に係る高速
ステレオマッチング回路のブロック図を示したものであ
る。
ステレオマッチング回路のブロック図を示したものであ
る。
【００２５】この高速ステレオマッチング回路は、水平
方向画素数がＮH（＝５１２）、垂直方向画素数がＮ
V（＝２００）、１画素当たりＡ（＝８）ビットの画素
値を有する２系統の画像（左画像１０１および右画像１
０２）が入力される。
方向画素数がＮH（＝５１２）、垂直方向画素数がＮ
V（＝２００）、１画素当たりＡ（＝８）ビットの画素
値を有する２系統の画像（左画像１０１および右画像１
０２）が入力される。
【００２６】本実施の形態の高速ステレオマッチング回
路には、左画像１０１と右画像１０２との合成画像が後
述するルールにしたがって書き込まれるメモリＭ0〜Ｍ3
１１９〜１２２が備えられ、各メモリＭ0〜Ｍ3１１９〜
１２２から読み出される４系統のデータ１０４〜１０７
が入力される１次元マッチング回路１２３〜１２６が備
えられている。さらに、高速ステレオマッチング回路に
は、１次元マッチング回路１２３〜１２６の出力１０８
と１０９並びに１１０と１１１をそれぞれ加算する加算
器１２８、１２９と、加算器１２８、１２９の出力１１
２、１１３を加算する加算器１３０と、加算器１３０の
出力１１４から最小の差分絶対値和を検出する最小値／
視差検出回路１３１と、コントローラ１２７が備えられ
ている。
路には、左画像１０１と右画像１０２との合成画像が後
述するルールにしたがって書き込まれるメモリＭ0〜Ｍ3
１１９〜１２２が備えられ、各メモリＭ0〜Ｍ3１１９〜
１２２から読み出される４系統のデータ１０４〜１０７
が入力される１次元マッチング回路１２３〜１２６が備
えられている。さらに、高速ステレオマッチング回路に
は、１次元マッチング回路１２３〜１２６の出力１０８
と１０９並びに１１０と１１１をそれぞれ加算する加算
器１２８、１２９と、加算器１２８、１２９の出力１１
２、１１３を加算する加算器１３０と、加算器１３０の
出力１１４から最小の差分絶対値和を検出する最小値／
視差検出回路１３１と、コントローラ１２７が備えられ
ている。
【００２７】図２は１次元マッチング回路（１２３〜１
２６）の機能ブロックである。１次元マッチング回路
は、参照データ保持ブロック６０１とスキャンデータ保
持ブロック６０２を備える。参照データ保持ブロック６
０１は、４つのイネーブル付きＤフリップフロップ６０
３〜６０６を直列接続した構成であり、スキャンデータ
保持ブロック６０２は４つのＤフリップフロップ６０７
〜６１０を直列接続した構成である。イネーブル付きＤ
フリップフロップ６０３〜６０６はコントローラ１２７
からの制御信号によって制御される。同一段に配置され
たイネーブル付きＤフリップフロップ６０３〜６０６及
びＤフリップフロップ６０７〜６１０の各出力を差分絶
対値回路６１１〜６１４に入力している。差分絶対値回
路６１１、６１２が一方の加算器６１５に接続され、残
りの差分絶対値回路６１３，６１４がもう一方の加算器
６１６に接続される。これら２つの加算器６１５，６１
６を加算器６１７に接続している。
２６）の機能ブロックである。１次元マッチング回路
は、参照データ保持ブロック６０１とスキャンデータ保
持ブロック６０２を備える。参照データ保持ブロック６
０１は、４つのイネーブル付きＤフリップフロップ６０
３〜６０６を直列接続した構成であり、スキャンデータ
保持ブロック６０２は４つのＤフリップフロップ６０７
〜６１０を直列接続した構成である。イネーブル付きＤ
フリップフロップ６０３〜６０６はコントローラ１２７
からの制御信号によって制御される。同一段に配置され
たイネーブル付きＤフリップフロップ６０３〜６０６及
びＤフリップフロップ６０７〜６１０の各出力を差分絶
対値回路６１１〜６１４に入力している。差分絶対値回
路６１１、６１２が一方の加算器６１５に接続され、残
りの差分絶対値回路６１３，６１４がもう一方の加算器
６１６に接続される。これら２つの加算器６１５，６１
６を加算器６１７に接続している。
【００２８】以上のように構成された高速ステレオマッ
チングの動作について説明する。まず、入力と同時に、
左画像１０１および右画像１０２の各々対応する画素位
置どうしで画素毎に、上位８ビットが一方（右画像）の
画素値、下位８ビットがもう一方（左画像）の画素値と
なる１６ビットの値（以下、「合成画素値」と呼ぶ）に
合成される。この合成画素値は、後記のルールにしたが
ってｎ個の対応するメモリＭ0〜Ｍ3（ｎ＝４）にそれぞ
れ書き込まれる。“ｎ”は、矩形小領域の垂直方向の画
素数（＝４）と同じ値にとる。メモリへの書き込み制御
はコントローラ１２７からの制御信号１１６によって行
う。なお、合成画素値で構成される画像を合成画像と呼
ぶことにするが、この合成画像は、水平方向画素数が５
１２、垂直方向画素数が２００、１画素当たり１６ビッ
トの画素値をもつ画像となる。
チングの動作について説明する。まず、入力と同時に、
左画像１０１および右画像１０２の各々対応する画素位
置どうしで画素毎に、上位８ビットが一方（右画像）の
画素値、下位８ビットがもう一方（左画像）の画素値と
なる１６ビットの値（以下、「合成画素値」と呼ぶ）に
合成される。この合成画素値は、後記のルールにしたが
ってｎ個の対応するメモリＭ0〜Ｍ3（ｎ＝４）にそれぞ
れ書き込まれる。“ｎ”は、矩形小領域の垂直方向の画
素数（＝４）と同じ値にとる。メモリへの書き込み制御
はコントローラ１２７からの制御信号１１６によって行
う。なお、合成画素値で構成される画像を合成画像と呼
ぶことにするが、この合成画像は、水平方向画素数が５
１２、垂直方向画素数が２００、１画素当たり１６ビッ
トの画素値をもつ画像となる。
【００２９】＜ルール＞合成画像の水平方向の画素位置
を表すインデックスをｘ(０≦ｘ≦５１１)、垂直方向の
画素位置を表すインデックスをｙ(０≦ｙ≦１９９)と
し、ｋを０〜４９の正の整数とするとき、 ｙ＝４×ｋの合成画素値をメモリＭ0 ｙ＝４×ｋ＋１の合成画素値をメモリＭ1 ｙ＝４×ｋ＋２の合成画素値をメモリＭ2 ｙ＝４×ｋ＋３の合成画素値をメモリＭ3 に書き込むものとする。
を表すインデックスをｘ(０≦ｘ≦５１１)、垂直方向の
画素位置を表すインデックスをｙ(０≦ｙ≦１９９)と
し、ｋを０〜４９の正の整数とするとき、 ｙ＝４×ｋの合成画素値をメモリＭ0 ｙ＝４×ｋ＋１の合成画素値をメモリＭ1 ｙ＝４×ｋ＋２の合成画素値をメモリＭ2 ｙ＝４×ｋ＋３の合成画素値をメモリＭ3 に書き込むものとする。
【００３０】したがって、図３に示すように、合成画像
の垂直方向インデックスｙ(０≦ｙ≦１９９)毎に、 ｙ＝０、４、８、…、１９６の合成画素値はメモリＭ0 ｙ＝１、５、９、…、１９７の合成画素値はメモリＭ1 ｙ＝２、６、１０、…、１９８の合成画素値はメモリＭ
2 ｙ＝３、７、１１、…、１９９の合成画素値はメモリＭ
3 に書き込まれることになる。一例として、メモリＭ0ヘ
のデータ格納例を図４に示し、メモリＭ1へのデータ格
納例を図５に示す。
の垂直方向インデックスｙ(０≦ｙ≦１９９)毎に、 ｙ＝０、４、８、…、１９６の合成画素値はメモリＭ0 ｙ＝１、５、９、…、１９７の合成画素値はメモリＭ1 ｙ＝２、６、１０、…、１９８の合成画素値はメモリＭ
2 ｙ＝３、７、１１、…、１９９の合成画素値はメモリＭ
3 に書き込まれることになる。一例として、メモリＭ0ヘ
のデータ格納例を図４に示し、メモリＭ1へのデータ格
納例を図５に示す。
【００３１】以上のようにして、合成画像がメモリＭ0
〜Ｍ3に書き込まれた後、コントローラ１２７からの制
御信号１１６によって、同じアドレスのデータ（画素
値）が１クロック周期でメモリＭ0〜Ｍ3から同時にｘ＝
０、１、２、３、…の順で読み出される。
〜Ｍ3に書き込まれた後、コントローラ１２７からの制
御信号１１６によって、同じアドレスのデータ（画素
値）が１クロック周期でメモリＭ0〜Ｍ3から同時にｘ＝
０、１、２、３、…の順で読み出される。
【００３２】クロックに同期して順次読み出される４系
統のデータ１０４〜１０７は、それぞれ１次元マッチン
グ回路１２３〜１２６に入力され水平方向４画素の差分
絶対値和がクロックに同期して演算される。１次元マッ
チング回路１２３〜１２６から出力される水平方向４画
素の差分絶対値和は、加算器１２８〜１３０によってさ
らに加算され、最終的に矩形小領域内のすべての画素
（４×４）の差分絶対値和すなわち（６）式の演算結果
１１４が１クロック毎に得られる。最小値／視差検出回
路１３１では、探索範囲１００画素に渡って１クロック
毎に得られる差分絶対値和のうち、最小となる値とその
ときの視差を検出／保持し、探索終了時にその結果１１
５を出力する。
統のデータ１０４〜１０７は、それぞれ１次元マッチン
グ回路１２３〜１２６に入力され水平方向４画素の差分
絶対値和がクロックに同期して演算される。１次元マッ
チング回路１２３〜１２６から出力される水平方向４画
素の差分絶対値和は、加算器１２８〜１３０によってさ
らに加算され、最終的に矩形小領域内のすべての画素
（４×４）の差分絶対値和すなわち（６）式の演算結果
１１４が１クロック毎に得られる。最小値／視差検出回
路１３１では、探索範囲１００画素に渡って１クロック
毎に得られる差分絶対値和のうち、最小となる値とその
ときの視差を検出／保持し、探索終了時にその結果１１
５を出力する。
【００３３】一例として、図７に示す画像左上の矩形小
領域５０１を例にマッチング処理の流れを説明する。ｙ
＝０およびｙ＝１およびｙ＝２およびｙ＝３の画素デー
タ（ｋ＝０）が、それぞれメモリＭ0〜Ｍ3からｘ＝０、
１、２、３、…の順で同時に読み出され、それぞれ１次
元マッチング回路１２３〜１２６に入力される。
領域５０１を例にマッチング処理の流れを説明する。ｙ
＝０およびｙ＝１およびｙ＝２およびｙ＝３の画素デー
タ（ｋ＝０）が、それぞれメモリＭ0〜Ｍ3からｘ＝０、
１、２、３、…の順で同時に読み出され、それぞれ１次
元マッチング回路１２３〜１２６に入力される。
【００３４】図８に１次元マッチング回路の動作タイミ
ングを示す。１次元マッチング回路１２３には、ｙ＝０
の画素データが、ｘ＝０、１、２、３、…の順で入力さ
れる。入力された画素データ１６ビットは、右画像デー
タ（上位８ビット）と左画像データ（下位８ビット）に
分離され、右画像データは参照データ保持ブロック６０
１へ、右画像データはスキャンデータ保持ブロック６０
２へ入力される。
ングを示す。１次元マッチング回路１２３には、ｙ＝０
の画素データが、ｘ＝０、１、２、３、…の順で入力さ
れる。入力された画素データ１６ビットは、右画像デー
タ（上位８ビット）と左画像データ（下位８ビット）に
分離され、右画像データは参照データ保持ブロック６０
１へ、右画像データはスキャンデータ保持ブロック６０
２へ入力される。
【００３５】参照データ保持ブロック６０１では、イネ
ーブル付きＤフリップフロップ６０３に（ｘ，ｙ）＝
（０、０）の画素データが、イネーブル付きＤフリップ
フロップ６０４に（ｘ，ｙ）＝（１、０）の画素データ
が、イネーブル付きＤフリップフロップ６０５に（ｘ，
ｙ）＝（２、０）の画素データが、イネーブル付きＤフ
リップフロップ６０５に（ｘ，ｙ）＝（３、０）の画素
データがそれぞれ保持されるように、コントローラ１２
７からの制御信号１１７によって制御される。イネーブ
ル付きＤフリップフロップ６０３〜６０５は制御信号１
１７がアクティブのときのみ入力データをクロックの立
ち上がりに同期してラッチするようなフリップフロップ
である。
ーブル付きＤフリップフロップ６０３に（ｘ，ｙ）＝
（０、０）の画素データが、イネーブル付きＤフリップ
フロップ６０４に（ｘ，ｙ）＝（１、０）の画素データ
が、イネーブル付きＤフリップフロップ６０５に（ｘ，
ｙ）＝（２、０）の画素データが、イネーブル付きＤフ
リップフロップ６０５に（ｘ，ｙ）＝（３、０）の画素
データがそれぞれ保持されるように、コントローラ１２
７からの制御信号１１７によって制御される。イネーブ
ル付きＤフリップフロップ６０３〜６０５は制御信号１
１７がアクティブのときのみ入力データをクロックの立
ち上がりに同期してラッチするようなフリップフロップ
である。
【００３６】一方、スキャンデータ保持ブロック６０２
では、クロックに同期して入力される左画像データがＤ
フリップフロップで構成されたシフトレジスタ６０７〜
６１０によって、１クロック毎に１画素ずつシフトされ
ていく。
では、クロックに同期して入力される左画像データがＤ
フリップフロップで構成されたシフトレジスタ６０７〜
６１０によって、１クロック毎に１画素ずつシフトされ
ていく。
【００３７】参照データ保持ブロック６０１に保持され
ている画素データ（ｙ＝０のｘ＝０、１、２、３の４画
素）と、スキャンデータ保持ブロック６０２でクロック
毎にシフトされ逐次更新される画素データ（４画素）
は、それぞれ、差分絶対値回路６１１〜６１４にて画素
毎の差分絶対値が演算され、加算器６１５〜６１７にて
４画素分の差分絶対値の総和がとられて１次元マッチン
グ回路１２３から出力される。
ている画素データ（ｙ＝０のｘ＝０、１、２、３の４画
素）と、スキャンデータ保持ブロック６０２でクロック
毎にシフトされ逐次更新される画素データ（４画素）
は、それぞれ、差分絶対値回路６１１〜６１４にて画素
毎の差分絶対値が演算され、加算器６１５〜６１７にて
４画素分の差分絶対値の総和がとられて１次元マッチン
グ回路１２３から出力される。
【００３８】同様に、１次元マッチング回路１２４には
ｙ＝１、１次元マッチング回路１２５にはｙ＝２、１次
元マッチング回路１２６にはｙ＝３の画素データが、そ
れぞれｘ＝０、１、２、３、…の順で入力され同様に処
理される。
ｙ＝１、１次元マッチング回路１２５にはｙ＝２、１次
元マッチング回路１２６にはｙ＝３の画素データが、そ
れぞれｘ＝０、１、２、３、…の順で入力され同様に処
理される。
【００３９】上述のように、４ライン分（ｙ＝０、１、
２、３）の差分絶対値和が並列に演算され、矩形小領域
５０１の一致度評価すなわち（６）式の演算は、１クロ
ックに１度実行されることになる。これを探索範囲全域
に渡って（例えば１００画素）実行し、その最小値およ
び最小値を与える視差が、最小値／視差検出回路１３１
で検出されて保持され、探索終了時に結果１１５として
出力される。
２、３）の差分絶対値和が並列に演算され、矩形小領域
５０１の一致度評価すなわち（６）式の演算は、１クロ
ックに１度実行されることになる。これを探索範囲全域
に渡って（例えば１００画素）実行し、その最小値およ
び最小値を与える視差が、最小値／視差検出回路１３１
で検出されて保持され、探索終了時に結果１１５として
出力される。
【００４０】最小値／視差検出回路１３１への制御信号
１１８は、（１クロック毎に更新される）現在の視差お
よび矩形小領域毎の評価結果出力タイミング（評価終了
タイミング）である。
１１８は、（１クロック毎に更新される）現在の視差お
よび矩形小領域毎の評価結果出力タイミング（評価終了
タイミング）である。
【００４１】以上説明したように、本発明の実施の形態
によれば、ひとつの矩形小領域のマッチングは探索範囲
を１００画素とした場合、およそ１００クロックで実行
することが可能であり、特開平５―１１４０９９号に記
載の回路構成に比べ、同じクロック周波数を用いた場
合、約１／２の時間（０.０７６÷２＝０.０３６秒）で
ステレオマッチングを実行することができる。
によれば、ひとつの矩形小領域のマッチングは探索範囲
を１００画素とした場合、およそ１００クロックで実行
することが可能であり、特開平５―１１４０９９号に記
載の回路構成に比べ、同じクロック周波数を用いた場
合、約１／２の時間（０.０７６÷２＝０.０３６秒）で
ステレオマッチングを実行することができる。
【００４２】なお、以上の説明では、特開平５―１１４
０９９号に記載のステレオマッチング方法（左右画像の
差分絶対値和を一致度評価に用いる方法）を本発明の高
速ステレオマッチング回路で実現する場合を例に説明を
行ったが、本発明は、前記ステレオマッチング方法に限
定されるものではない。
０９９号に記載のステレオマッチング方法（左右画像の
差分絶対値和を一致度評価に用いる方法）を本発明の高
速ステレオマッチング回路で実現する場合を例に説明を
行ったが、本発明は、前記ステレオマッチング方法に限
定されるものではない。
【００４３】
【発明の効果】以上説明したように、本発明によれば、
簡単な回路構成で、１クロック毎に矩形小領域の一致度
評価を行うことが可能となり、非常に高速にステレオマ
ッチングを実行することができるという効果を有する。
簡単な回路構成で、１クロック毎に矩形小領域の一致度
評価を行うことが可能となり、非常に高速にステレオマ
ッチングを実行することができるという効果を有する。
【図１】本発明の一実施の形態に係る高速ステレオマッ
チング回路のブロック図。
チング回路のブロック図。
【図２】上記実施の形態における１次元マッチング回路
のブロック図。
のブロック図。
【図３】上記実施の形態における高速ステレオマッチン
グ回路のメモリ構成を説明するための図。
グ回路のメモリ構成を説明するための図。
【図４】上記実施の形態におけるメモリＭ0へのデータ
格納方法の具体例を示すメモリ構成図。
格納方法の具体例を示すメモリ構成図。
【図５】上記実施の形態におけるメモリＭ1へのデータ
格納方法の具体例を示すメモリ構成図。
格納方法の具体例を示すメモリ構成図。
【図６】上記実施の形態における入力画像のサイズおよ
び矩形小領域への分割方法の一例を示す図。
び矩形小領域への分割方法の一例を示す図。
【図７】上記実施の形態における矩形小領域毎のマッチ
ングの処理の説明図。
ングの処理の説明図。
【図８】上記実施の形態における本発明の高速ステレオ
マッチング回路における、１次元マッチング回路の動作
タイミングを説明するための図。
マッチング回路における、１次元マッチング回路の動作
タイミングを説明するための図。
【図９】ステレオ画像による３次元情報計測方法の原理
説明図。
説明図。
【図１０】ステレオ画像による３次元情報計測のステレ
オマッチング法の説明図。
オマッチング法の説明図。
【図１１】ステレオ画像による３次元情報計測の別のス
テレオマッチング法の説明図。
テレオマッチング法の説明図。
１０１…左画像、 １０２…右画像、 １０３…合成画像、 １２３〜１２６…１次元マッチング回路 １２７…コントローラ、 １２８〜１３０…加算器 １３１…最小値／視差検出回路 ４０１…入力画像、 ４０２…矩形小領域、 ５０１…矩形小領域、 ６０１…参照データ保持ブロック、 ６０２…スキャンデータ保持ブロック、 ６０３〜６０６…イネーブル付きＤフリップフロップ、 ６０７〜６１０…Ｄフリップフロップ、 ６１１〜６１４…差分絶対値回路、 ６１５〜６１７…加算器、
Claims (3)
- 【請求項１】 ステレオ画像上の各ブロックについて同
一画素位置の画素データを合成する合成手段と、前記ブ
ロックの垂直方向の各画素位置に対応して設けられた複
数のメモリと、前記メモリに対して対応する垂直方向の
画素位置の合成データを書き込むメモリ制御手段と、前
記各メモリに書き込まれた合成データを同時に読み出し
てステレオマッチングを行うマッチング手段とを具備す
るステレオマッチング装置。 - 【請求項２】 メモリ制御手段は、ステレオ画像の水平
方向画素数がＮH、垂直方向画素数がＮVの場合、１ブロ
ック分の合成データからなる合成画像の水平方向の画素
位置を表すインデックスをｘ(０≦ｘ≦ＮH-１)、垂直方
向の画素位置を表すインデックスをｙ(０≦ｙ≦ＮV-１)
とし、ｋを０〜((ＮV／ｎ)−１)の正の整数（ｎは定
数）とするとき、下記インデックスｙ、 ｙ＝ｎ×ｋの合成画素値をメモリＭ0 ｙ＝ｎ×ｋ＋１の合成画素値をメモリＭ1 ： ： ｙ＝ｎ×ｋ＋（ｎ−１）の合成画素値をメモリＭn-1 に基づいて合成データを書き込むことを特徴とする請求
項１記載のステレオマッチング装置。 - 【請求項３】 マッチング手段は、夫々対応するメモリ
から読み出された合成データを画像別に保存すると共に
クロックに同期してステレオ画像間の水平方向の相関値
を検出する複数のマッチング回路を備えることを特徴と
する請求項１又は請求項２記載のステレオマッチング装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9161891A JPH10334244A (ja) | 1997-06-04 | 1997-06-04 | ステレオマッチング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9161891A JPH10334244A (ja) | 1997-06-04 | 1997-06-04 | ステレオマッチング装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10334244A true JPH10334244A (ja) | 1998-12-18 |
Family
ID=15743975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9161891A Pending JPH10334244A (ja) | 1997-06-04 | 1997-06-04 | ステレオマッチング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10334244A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
| JP2010055508A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 入出力装置 |
| JP2016009427A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社リコー | 画像処理装置、画像処理方法、機器制御システム |
-
1997
- 1997-06-04 JP JP9161891A patent/JPH10334244A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
| US7015951B1 (en) | 1998-05-08 | 2006-03-21 | Sony Corporation | Picture generating apparatus and picture generating method |
| JP2010055508A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 入出力装置 |
| US8681123B2 (en) | 2008-08-29 | 2014-03-25 | Sony Corporation | Input/output device |
| US9164626B2 (en) | 2008-08-29 | 2015-10-20 | Sony Corporation | Input/output device |
| JP2016009427A (ja) * | 2014-06-26 | 2016-01-18 | 株式会社リコー | 画像処理装置、画像処理方法、機器制御システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5202928A (en) | Surface generation method from boundaries of stereo images | |
| US4677476A (en) | Method for detecting a movement of a television signal | |
| CN110070598B (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| US6049625A (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH08223578A (ja) | 動きベクトル探索方法および装置 | |
| JPH08292014A (ja) | パターン位置の計測方法および計測装置 | |
| US6483949B1 (en) | Image processing apparatus and method, and medium therefor | |
| JPH10334244A (ja) | ステレオマッチング装置 | |
| JP2001338280A (ja) | ３次元空間情報入力装置 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| JPH10320558A (ja) | キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体 | |
| JP2000171214A (ja) | 対応点検索方法及びこれを利用した三次元位置計測方法 | |
| US6625301B2 (en) | Image processing apparatus, image processing method and transmission medium | |
| JPH0875454A (ja) | 測距装置 | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JP3047017B2 (ja) | 画像処理方法 | |
| US5682438A (en) | Method and apparatus for determining a motion vector | |
| JP2000028355A (ja) | ３次元画像処理装置 | |
| JP2003331263A (ja) | カメラ画像−実空間座標対応付けマップ生成方法、カメラ画像−実空間座標対応付けマップ生成装置、プログラムおよび記録媒体 | |
| JP3316682B2 (ja) | ステレオ画像測定装置 | |
| CN117635849B (zh) | 一种动态实时高精度三维成像*** | |
| JP2001124519A (ja) | 回帰的対応点探索方法、これを利用した三次元位置計測方法、これらの装置、並びに、記録媒体 | |
| Jeon et al. | A robust stereo-matching algorithm using multiple-baseline cameras |