JP2001045523A - 三次元画像処理装置 - Google Patents
三次元画像処理装置Info
- Publication number
- JP2001045523A JP2001045523A JP11217361A JP21736199A JP2001045523A JP 2001045523 A JP2001045523 A JP 2001045523A JP 11217361 A JP11217361 A JP 11217361A JP 21736199 A JP21736199 A JP 21736199A JP 2001045523 A JP2001045523 A JP 2001045523A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- pixel
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Multi Processors (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 三次元画像処理装置において、対応点探索処
理における処理量を少なくするとともにハードウェア規
模を小さくする。 【解決手段】 処理アレイ部２０は、画像の各画素に対
応して配置された処理ブロックＰＥからなる。各処理ブ
ロックＰＥは、左画像、右画像の画素データＰＬ、Ｐ
Ｒ、差分絶対値ＡＤ、差分絶対値和ＳＡＤ、過去最小値
ＭＳＡＤ、視差情報ＭＤを記憶する記憶部２６と、デー
タ受信部２１と、差分絶対値演算部２２と、差分絶対値
和演算部２３と、比較更新処理部２４と、データ送信部
２５を有している。カメラ１０からの左画像、右画像の
入力、画像データの格納、差分絶対値算出処理、差分絶
対値和算出処理、比較更新処理、画像データシフトを指
定された回数だけ繰り返した後、処理ブロックＰＥ内に
格納されている視差情報ＭＤを読み出し、該視差情報か
ら距離情報を得る。
理における処理量を少なくするとともにハードウェア規
模を小さくする。 【解決手段】 処理アレイ部２０は、画像の各画素に対
応して配置された処理ブロックＰＥからなる。各処理ブ
ロックＰＥは、左画像、右画像の画素データＰＬ、Ｐ
Ｒ、差分絶対値ＡＤ、差分絶対値和ＳＡＤ、過去最小値
ＭＳＡＤ、視差情報ＭＤを記憶する記憶部２６と、デー
タ受信部２１と、差分絶対値演算部２２と、差分絶対値
和演算部２３と、比較更新処理部２４と、データ送信部
２５を有している。カメラ１０からの左画像、右画像の
入力、画像データの格納、差分絶対値算出処理、差分絶
対値和算出処理、比較更新処理、画像データシフトを指
定された回数だけ繰り返した後、処理ブロックＰＥ内に
格納されている視差情報ＭＤを読み出し、該視差情報か
ら距離情報を得る。
Description
【０００１】
【発明の属する技術分野】本発明は、異なる視点から撮
られた複数枚の画像を入力とし、画像間で画素の対応点
探索を行って得られる視差情報から距離画像を得る装置
に関するものである。
られた複数枚の画像を入力とし、画像間で画素の対応点
探索を行って得られる視差情報から距離画像を得る装置
に関するものである。
【０００２】
【従来の技術】従来、異なる視点から撮られたステレオ
画像から、距離画像（奥行き画像）を得る方法や装置と
して、第１の画像上のすべての画素について、各画素に
対応する点を他方の画像中から探し出し、両画素位置の
差（視差）から三角測量の原理により距離画像を求める
方法がある。対応点を検索する方法としては、両画像の
画素間の相関値を求め、最も相関のあるもの同士を対応
付ける方法が多く用いられる。
画像から、距離画像（奥行き画像）を得る方法や装置と
して、第１の画像上のすべての画素について、各画素に
対応する点を他方の画像中から探し出し、両画素位置の
差（視差）から三角測量の原理により距離画像を求める
方法がある。対応点を検索する方法としては、両画像の
画素間の相関値を求め、最も相関のあるもの同士を対応
付ける方法が多く用いられる。
【０００３】このような方法を用いた三次元画像処理装
置の第１の従来方法として、筑波大のＤＳＰを用いたス
テレオシステム（野口、大田、“ＤＳＰを用いた多眼ス
テレオ法”、信学技報、ＰＲＭＵ９６−１９８、ｐｐ．
４３−５０，１９９７）がある。本方法は、対応点探索
時の相関値として、第１の画像の着目画素を含んだ近傍
ブロックと、他方の画像の探索対象の画素を含んだ近傍
ブロックとの間の差分絶対値和を用い、他方の画像上で
該差分絶対値和の値が最小となる画素を探し出すことに
より、視差情報を得て距離画像を求める方法である。本
方法では、対応点探索処理における近傍ブロックのサイ
ズは３×３に固定されている。また、高速処理のため複
数のＤＳＰボードを用いて構成されている。
置の第１の従来方法として、筑波大のＤＳＰを用いたス
テレオシステム（野口、大田、“ＤＳＰを用いた多眼ス
テレオ法”、信学技報、ＰＲＭＵ９６−１９８、ｐｐ．
４３−５０，１９９７）がある。本方法は、対応点探索
時の相関値として、第１の画像の着目画素を含んだ近傍
ブロックと、他方の画像の探索対象の画素を含んだ近傍
ブロックとの間の差分絶対値和を用い、他方の画像上で
該差分絶対値和の値が最小となる画素を探し出すことに
より、視差情報を得て距離画像を求める方法である。本
方法では、対応点探索処理における近傍ブロックのサイ
ズは３×３に固定されている。また、高速処理のため複
数のＤＳＰボードを用いて構成されている。
【０００４】また、第２の従来方法として、ＣＭＵのス
テレオマシン（金出ら、“ビデオレート・ステレオマシ
ンの開発”、ロボット学会誌、ｖｏｌ．１５，Ｎｏ．
２，ｐｐ．２６１−２６７，１９９７）がある。本方法
は、第１の従来方法と同様に対応点探索時の相関値とし
て、着目画素を含んだ近傍ブロック同士の差分絶対値和
を求め、複数画像を用いた場合の複数のステレオ対に対
して更にその和を求めたものを相関値とし、他方の画像
上で該相関値の値が最小となる画素を探し出すことによ
り、視差情報を得て距離画像を求める方法である。
テレオマシン（金出ら、“ビデオレート・ステレオマシ
ンの開発”、ロボット学会誌、ｖｏｌ．１５，Ｎｏ．
２，ｐｐ．２６１−２６７，１９９７）がある。本方法
は、第１の従来方法と同様に対応点探索時の相関値とし
て、着目画素を含んだ近傍ブロック同士の差分絶対値和
を求め、複数画像を用いた場合の複数のステレオ対に対
して更にその和を求めたものを相関値とし、他方の画像
上で該相関値の値が最小となる画素を探し出すことによ
り、視差情報を得て距離画像を求める方法である。
【０００５】
【発明が解決しようとする課題】しかしながら、前記従
来手法では、以下に示す問題があった。
来手法では、以下に示す問題があった。
【０００６】（１）対応点探索において、第１の従来方
法は近傍ブロックのサイズを３×３に固定した方法およ
び装置であるため、任意のブロックサイズに対して処理
を実行することが困難である。
法は近傍ブロックのサイズを３×３に固定した方法およ
び装置であるため、任意のブロックサイズに対して処理
を実行することが困難である。
【０００７】（２）対応点探索において、いずれの従来
方法も、全画素に対して差分絶対値を求める処理は逐次
的に実行されるため、画像サイズが大きくなった場合、
処理時間が大きくなる。
方法も、全画素に対して差分絶対値を求める処理は逐次
的に実行されるため、画像サイズが大きくなった場合、
処理時間が大きくなる。
【０００８】（３）いずれの従来方法も、装置はＤＳＰ
ボードもしくは専用のボードを複数枚用いており、ハー
ドウェア規模が大きくなる。
ボードもしくは専用のボードを複数枚用いており、ハー
ドウェア規模が大きくなる。
【０００９】（４）対応点探索を行うために異なる画像
間で近傍ブロック同士の相関値をめる際、ブロック領域
同士の間で対応する画素毎の差分絶対値を求めた後それ
らの和を求める際に、１画素ずつブロック領域内の画素
数に応じた回数の加算処理が必要であり、大きなブロッ
クを設定した場合、加算処理の演算回数が大きくなる。
間で近傍ブロック同士の相関値をめる際、ブロック領域
同士の間で対応する画素毎の差分絶対値を求めた後それ
らの和を求める際に、１画素ずつブロック領域内の画素
数に応じた回数の加算処理が必要であり、大きなブロッ
クを設定した場合、加算処理の演算回数が大きくなる。
【００１０】本発明の目的は、前述した従来方法に対し
て、対応点探索処理における処理量が大きくなる問題点
とハードウェア規模が大きくなる問題点を解決した三次
元画像処理装置を提供することにある。
て、対応点探索処理における処理量が大きくなる問題点
とハードウェア規模が大きくなる問題点を解決した三次
元画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】前記目的を達成するため
に、本発明の三次元画像処理装置は、異なる視点から撮
られた複数枚の画像を入力とし、第１の画像の各画素に
ついて、第１の画像を除く画像中の最も相応する画素位
置を検索し、それらの画素位置の差分を視差情報として
抽出し、該視差情報から距離画像を得る装置であって、
他の画像の比較対象とする画素を順次変化させるため、
他の画像全体を１画素分ずつ順次ずらした画像を生成す
る手段と、第１の画像の１画素毎に、前記ずらした他の
画像の同一位置の画素との相関値を求める手段と、各画
素毎に上下の複数の画素の相関値を累積して該画素と上
下近傍の画素を含む縦ラインのブロックの相関値を求め
る手段と、該縦ラインの左右の前記ブロックの相関値を
累積して該画素の上下左右近傍の複数の画素を含むブロ
ックの相関値を求める手段と、前記他の画像をずらして
いるうちで、該ブロック相関値を最小とする画像のずら
し量から視差情報を画素毎に決定する手段とを有する処
理ブロックを第１の画像の１画素毎または複数の画素毎
に備え、各処理ブロック内の前記各手段による処理を予
め定めた回数繰り返すように全処理ブロックを制御し、
前記処理が前記回数繰り返された後、各処理ブロックの
視差情報から距離情報を得る処理シーケンス制御部と、
前記画像全体をずらす際の画像情報、およびブロックの
相関値を求めるための上下左右からの相関値を全処理ブ
ロック間で一斉に転送可能な前記処理ブロック間の転送
パスを備えている。
に、本発明の三次元画像処理装置は、異なる視点から撮
られた複数枚の画像を入力とし、第１の画像の各画素に
ついて、第１の画像を除く画像中の最も相応する画素位
置を検索し、それらの画素位置の差分を視差情報として
抽出し、該視差情報から距離画像を得る装置であって、
他の画像の比較対象とする画素を順次変化させるため、
他の画像全体を１画素分ずつ順次ずらした画像を生成す
る手段と、第１の画像の１画素毎に、前記ずらした他の
画像の同一位置の画素との相関値を求める手段と、各画
素毎に上下の複数の画素の相関値を累積して該画素と上
下近傍の画素を含む縦ラインのブロックの相関値を求め
る手段と、該縦ラインの左右の前記ブロックの相関値を
累積して該画素の上下左右近傍の複数の画素を含むブロ
ックの相関値を求める手段と、前記他の画像をずらして
いるうちで、該ブロック相関値を最小とする画像のずら
し量から視差情報を画素毎に決定する手段とを有する処
理ブロックを第１の画像の１画素毎または複数の画素毎
に備え、各処理ブロック内の前記各手段による処理を予
め定めた回数繰り返すように全処理ブロックを制御し、
前記処理が前記回数繰り返された後、各処理ブロックの
視差情報から距離情報を得る処理シーケンス制御部と、
前記画像全体をずらす際の画像情報、およびブロックの
相関値を求めるための上下左右からの相関値を全処理ブ
ロック間で一斉に転送可能な前記処理ブロック間の転送
パスを備えている。
【００１２】相関値を求める処理を第１の画像の全画素
について一斉に実行可能な処理ブロックと、処理ブロッ
ク間で一斉に上下左右の転送が可能な転送パスを備えて
いることにより、対応点探索時に相関値を求める処理を
全画素にわたって一斉に処理することができるため、処
理時間を短縮することが可能である。また、全画素に対
応した処理ブロックを備えていることにより、前記相関
値を求める処理はブロックサイズに依存しないので、装
置の構成を変えずに任意のブロックサイズに対する処理
を実行できる。
について一斉に実行可能な処理ブロックと、処理ブロッ
ク間で一斉に上下左右の転送が可能な転送パスを備えて
いることにより、対応点探索時に相関値を求める処理を
全画素にわたって一斉に処理することができるため、処
理時間を短縮することが可能である。また、全画素に対
応した処理ブロックを備えていることにより、前記相関
値を求める処理はブロックサイズに依存しないので、装
置の構成を変えずに任意のブロックサイズに対する処理
を実行できる。
【００１３】また、対応点探索時に相関値を求める処理
において、上下近傍の画素を含む縦ラインのブロックの
相関値を求めた後、左右近傍で求められた縦ラインのブ
ロック装置を累積して上下左右近傍の画素を含むブロッ
クの相関値を求めることにより、近傍ブロック領域内の
画素数に応じた演算処理回数（例えばブロックサイズを
ＭＸ×ＭＹとしたとき（ＭＸ×ＭＹ−１）回）を必要と
せず、半分以下の少ない回数（ＭＸ＋ＭＹ−２）回）の
処理で実行できる。このように、処理時間を短縮するこ
とが可能である。この作用はブロックサイズが大きいほ
ど効果が大きい。
において、上下近傍の画素を含む縦ラインのブロックの
相関値を求めた後、左右近傍で求められた縦ラインのブ
ロック装置を累積して上下左右近傍の画素を含むブロッ
クの相関値を求めることにより、近傍ブロック領域内の
画素数に応じた演算処理回数（例えばブロックサイズを
ＭＸ×ＭＹとしたとき（ＭＸ×ＭＹ−１）回）を必要と
せず、半分以下の少ない回数（ＭＸ＋ＭＹ−２）回）の
処理で実行できる。このように、処理時間を短縮するこ
とが可能である。この作用はブロックサイズが大きいほ
ど効果が大きい。
【００１４】本発明の実施態様によれば、前記処理ブロ
ックおよび転送パスとして連想メモリを備えている。
ックおよび転送パスとして連想メモリを備えている。
【００１５】処理ブロックとして、左右の画像の異なる
位置の画素を両者とも同一ワードに格納できるメモリベ
ースの並列ハードウェアである連想メモリ（ＣＡＭ）を
備えており、連想メモリの持つメモリ上での並列演算機
能や並列書き込み機能を用いることにより、処理ブロッ
ク毎に演算器等のハードウェアを持つ必要がなく、全体
の処理を制御するシーケンス制御部であるだけでよく、
ハードウェア量を小さくすることが可能である。
位置の画素を両者とも同一ワードに格納できるメモリベ
ースの並列ハードウェアである連想メモリ（ＣＡＭ）を
備えており、連想メモリの持つメモリ上での並列演算機
能や並列書き込み機能を用いることにより、処理ブロッ
ク毎に演算器等のハードウェアを持つ必要がなく、全体
の処理を制御するシーケンス制御部であるだけでよく、
ハードウェア量を小さくすることが可能である。
【００１６】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１７】図１は本発明の第１の実施形態の三次元画
像処理装置の構成図である。
像処理装置の構成図である。
【００１８】本実施形態の三次元画像処理装置は、左画
像と右画像を入力し、左右画像間で画素同士の対応付け
を行い、画素毎の視差情報を得ることにより、奥行き画
像（距離画像）を出力するものである。
像と右画像を入力し、左右画像間で画素同士の対応付け
を行い、画素毎の視差情報を得ることにより、奥行き画
像（距離画像）を出力するものである。
【００１９】本装置での左右の対応点探索方法は、各画
像上の画素近傍のブロック同士の相関値を求め、最も相
関度の高い画素同士を対応付けする方法を用いる。対応
付けの例を図２に示す。この例では、左右視点の位置姿
勢等により探索範囲を絞ることができるため、右画像の
ブロックＡＲは、左画像上の図に示した探索範囲に絞
り、エピポーラ線上（もしくはエピポーラ線近傍）のあ
る範囲のみ探索している。ブロックサイズは３×３の例
を示しているが、任意のサイズと形状に容易に拡張でき
る。左右の対応点探索のための相関値として、例えば以
下で説明するようなブロック間の差分絶対値和を相関値
として用いることができる。
像上の画素近傍のブロック同士の相関値を求め、最も相
関度の高い画素同士を対応付けする方法を用いる。対応
付けの例を図２に示す。この例では、左右視点の位置姿
勢等により探索範囲を絞ることができるため、右画像の
ブロックＡＲは、左画像上の図に示した探索範囲に絞
り、エピポーラ線上（もしくはエピポーラ線近傍）のあ
る範囲のみ探索している。ブロックサイズは３×３の例
を示しているが、任意のサイズと形状に容易に拡張でき
る。左右の対応点探索のための相関値として、例えば以
下で説明するようなブロック間の差分絶対値和を相関値
として用いることができる。
【００２０】本装置は、後述する処理ブロックＰＥを図
１（ａ）のようにＮＸ×ＮＹ個の二次元アレイ状に配置
する。ＰＥアレイの接続形態は、例えば４隣接のメッシ
ュ結合で構成する。処理ブロックＰＥの数は画像の画素
数と同じとし、１個の処理ブロックＰＥは、左画像の１
画素と右画像の１画素の情報を格納し、下記にて説明さ
れる相関値演算等の処理を行う。入力画像サイズをＩＸ
×ＩＹとしたとき、ＩＸ＝ＮＸ，ＩＹ＝ＮＹであり、座
標（Ｘ，Ｙ）の画素に関わる処理を行う処理ブロックＰ
ＥをＰＥ（Ｘ，Ｙ）とする。
１（ａ）のようにＮＸ×ＮＹ個の二次元アレイ状に配置
する。ＰＥアレイの接続形態は、例えば４隣接のメッシ
ュ結合で構成する。処理ブロックＰＥの数は画像の画素
数と同じとし、１個の処理ブロックＰＥは、左画像の１
画素と右画像の１画素の情報を格納し、下記にて説明さ
れる相関値演算等の処理を行う。入力画像サイズをＩＸ
×ＩＹとしたとき、ＩＸ＝ＮＸ，ＩＹ＝ＮＹであり、座
標（Ｘ，Ｙ）の画素に関わる処理を行う処理ブロックＰ
ＥをＰＥ（Ｘ，Ｙ）とする。
【００２１】１個の処理ブロックＰＥは、図１（ｂ）の
ように、データ記憶部２６として、左画像の画素データ
ＰＬを記憶するメモリ、右画像の画素データＰＲを記憶
するメモリ、また差分絶対値ＡＤ、差分絶対値和ＳＡ
Ｄ、過去最小値ＭＳＡＤを記憶するメモリ、視差情報Ｍ
Ｄを記憶するメモリ、および必要に応じて演算時に必要
なワークメモリｗｏｒｋを持つ。また、差分絶対値演算
部２２、差分絶対値和演算部２３、比較更新処理部２４
を持ち、以下に示す動作においてデータ記憶部２６に記
憶されている各データと隣接処理ブロックＰＥから受け
取るデータを用いた演算およびデータの更新処理を行
う。
ように、データ記憶部２６として、左画像の画素データ
ＰＬを記憶するメモリ、右画像の画素データＰＲを記憶
するメモリ、また差分絶対値ＡＤ、差分絶対値和ＳＡ
Ｄ、過去最小値ＭＳＡＤを記憶するメモリ、視差情報Ｍ
Ｄを記憶するメモリ、および必要に応じて演算時に必要
なワークメモリｗｏｒｋを持つ。また、差分絶対値演算
部２２、差分絶対値和演算部２３、比較更新処理部２４
を持ち、以下に示す動作においてデータ記憶部２６に記
憶されている各データと隣接処理ブロックＰＥから受け
取るデータを用いた演算およびデータの更新処理を行
う。
【００２２】画像入力初期化部１１は、全処理ブロック
ＰＥのデータ受信部２１に対して、装置に入力された左
画像と右画像の画素データを送信する。このとき、デー
タ受信部２１は座標（Ｘ，Ｙ）の画素データは、ＰＥ
（Ｘ，Ｙ）のデータ記憶部２６のＰＬ（Ｘ，Ｙ）、ＰＲ
（Ｘ，Ｙ）に格納し、過去最小値ＭＳＡＤに、データ記
憶部２６のメモリ上で許容される最大値を格納する。
ＰＥのデータ受信部２１に対して、装置に入力された左
画像と右画像の画素データを送信する。このとき、デー
タ受信部２１は座標（Ｘ，Ｙ）の画素データは、ＰＥ
（Ｘ，Ｙ）のデータ記憶部２６のＰＬ（Ｘ，Ｙ）、ＰＲ
（Ｘ，Ｙ）に格納し、過去最小値ＭＳＡＤに、データ記
憶部２６のメモリ上で許容される最大値を格納する。
【００２３】差分絶対値算出制御部１２は命令受信部２
７を介して、全処理ブロックＰＥの差分絶対値演算部２
２に対して、画素データＰＬ（Ｘ，Ｙ）、ＰＲ（Ｘ，
ｙ）の差分絶対値ＡＤ（Ｘ，Ｙ）＝｜ＰＬ（Ｘ，Ｙ）−
ＰＲ（Ｘ，Ｙ）｜を求めさせる。
７を介して、全処理ブロックＰＥの差分絶対値演算部２
２に対して、画素データＰＬ（Ｘ，Ｙ）、ＰＲ（Ｘ，
ｙ）の差分絶対値ＡＤ（Ｘ，Ｙ）＝｜ＰＬ（Ｘ，Ｙ）−
ＰＲ（Ｘ，Ｙ）｜を求めさせる。
【００２４】差分絶対値和算出制御部１３は、命令受信
部２７を介して全処理ブロックＰＥの差分絶対値和演算
部２３に対して、着目処理ブロックＰＥの近傍領域内に
含まれる全処理ブロックＰＥの持つ差分絶対値ＡＤの和
（すなわち差分絶対値和ＳＡＤ）を求めさせる。この
際、近傍処理ブロックＰＥとのデータ転送、および処理
ブロックＰＥ内での加算処理の制御を行う。
部２７を介して全処理ブロックＰＥの差分絶対値和演算
部２３に対して、着目処理ブロックＰＥの近傍領域内に
含まれる全処理ブロックＰＥの持つ差分絶対値ＡＤの和
（すなわち差分絶対値和ＳＡＤ）を求めさせる。この
際、近傍処理ブロックＰＥとのデータ転送、および処理
ブロックＰＥ内での加算処理の制御を行う。
【００２５】比較更新処理制御部１４は命令受信部２７
を介して全処理ブロックの比較更新処理部２４に対し
て、カウンタ（次の画像データシフト制御部１５で説
明）の値がｄ＝ｉの時点で得られた前記ＳＡＤと、それ
までに（０≦ｄ＜ｉの間で）得られたＭＳＡＤに記憶さ
れている過去最小値を比較させ、比較結果に基づき過去
最小値ＭＳＡＤと視差情報ＭＤを更新させる。
を介して全処理ブロックの比較更新処理部２４に対し
て、カウンタ（次の画像データシフト制御部１５で説
明）の値がｄ＝ｉの時点で得られた前記ＳＡＤと、それ
までに（０≦ｄ＜ｉの間で）得られたＭＳＡＤに記憶さ
れている過去最小値を比較させ、比較結果に基づき過去
最小値ＭＳＡＤと視差情報ＭＤを更新させる。
【００２６】画像データシフト制御部１５は全処理ブロ
ックＰＥに対して、右画像の画素データＰＲ（もしくは
左画像の画素データＰＬ）をすべて一斉に、同一方向に
同じ画素数だけシフトさせる。画像データシフト制御部
１５は該シフト数を計数するためのカウンタを持ち、カ
ウンタの値ｄは比較更新処理時にＰＥアレイ処理部２０
へ転送される。
ックＰＥに対して、右画像の画素データＰＲ（もしくは
左画像の画素データＰＬ）をすべて一斉に、同一方向に
同じ画素数だけシフトさせる。画像データシフト制御部
１５は該シフト数を計数するためのカウンタを持ち、カ
ウンタの値ｄは比較更新処理時にＰＥアレイ処理部２０
へ転送される。
【００２７】処理の簡単化のため、カメラ１０の両視線
が平行でかつ画像の両Ｘ軸が平行になるように、カメラ
１０の位置姿勢を定める。このとき、エピポーラ線は水
平となることから、画素ＰＲ（Ｘ，Ｙ）に対するシフト
量を（ｄＸ，０）とすると、処理ブロックＰＥ（Ｘ，
Ｙ）のデータは処理ブロックＰＥ（Ｘ＋ｄＸ，Ｙ）に転
送される。一方の画像上で常にエピポーラ線上のみを対
応点探索するために、探索位置をＸ軸方向にｄＸずつず
らしている。
が平行でかつ画像の両Ｘ軸が平行になるように、カメラ
１０の位置姿勢を定める。このとき、エピポーラ線は水
平となることから、画素ＰＲ（Ｘ，Ｙ）に対するシフト
量を（ｄＸ，０）とすると、処理ブロックＰＥ（Ｘ，
Ｙ）のデータは処理ブロックＰＥ（Ｘ＋ｄＸ，Ｙ）に転
送される。一方の画像上で常にエピポーラ線上のみを対
応点探索するために、探索位置をＸ軸方向にｄＸずつず
らしている。
【００２８】以上の差分絶対値算出、差分絶対値和算
出、比較更新処理、画像データシフトは、予め定めた指
定回数ｄＭＡＸだけ繰り返す。対応点の探索範囲はエピ
ポーラ線上で、かつ最大視差に応じた範囲内で充分であ
るので、予め定められる左右の画像間での最大視差をｄ
ＭＡＸとすればよい。最大視差は撮影対象領域中で最も
手前にある物体に対する左右画像上での視差（画素座標
の差）として求められ、カメラ１０の位置姿勢等の設定
を変えない限り最大視差は変わらない。上記処理をｄＭ
ＡＸ繰り返した後、視差データ読み出し部１６は、処理
ブロックＰＥ内に格納されている視差情報ＭＤを読み出
し、該視差情報から距離画像を得る。
出、比較更新処理、画像データシフトは、予め定めた指
定回数ｄＭＡＸだけ繰り返す。対応点の探索範囲はエピ
ポーラ線上で、かつ最大視差に応じた範囲内で充分であ
るので、予め定められる左右の画像間での最大視差をｄ
ＭＡＸとすればよい。最大視差は撮影対象領域中で最も
手前にある物体に対する左右画像上での視差（画素座標
の差）として求められ、カメラ１０の位置姿勢等の設定
を変えない限り最大視差は変わらない。上記処理をｄＭ
ＡＸ繰り返した後、視差データ読み出し部１６は、処理
ブロックＰＥ内に格納されている視差情報ＭＤを読み出
し、該視差情報から距離画像を得る。
【００２９】各処理ブロックＰＥ内での具体的な処理に
ついて以下に説明する。データ受信部２１は、他の隣接
処理ブロックＰＥから送られてきたデータをデータ記憶
部２６に格納する。データ送信部２５は、処理ブロック
ＰＥ内で転送が必要なデータを隣接した１個の処理ブロ
ックＰＥに送出する。
ついて以下に説明する。データ受信部２１は、他の隣接
処理ブロックＰＥから送られてきたデータをデータ記憶
部２６に格納する。データ送信部２５は、処理ブロック
ＰＥ内で転送が必要なデータを隣接した１個の処理ブロ
ックＰＥに送出する。
【００３０】差分絶対値演算部２２は、減算器および絶
対値処理器により、差分絶対値ＡＤ（Ｘ，Ｙ）＝｜ＰＬ
（Ｘ，Ｙ）−ＰＲ（Ｘ，Ｙ）｜を求め、メモリＡＤに格
納する。画素毎に対応した処理ブロックＰＥを備えてい
るため、該差分絶対値演算処理は、全処理ブロックＰＥ
すなわち全画素において一斉に実行できる。
対値処理器により、差分絶対値ＡＤ（Ｘ，Ｙ）＝｜ＰＬ
（Ｘ，Ｙ）−ＰＲ（Ｘ，Ｙ）｜を求め、メモリＡＤに格
納する。画素毎に対応した処理ブロックＰＥを備えてい
るため、該差分絶対値演算処理は、全処理ブロックＰＥ
すなわち全画素において一斉に実行できる。
【００３１】差分絶対値和演算部２３は、近傍処理ブロ
ックＰＥとのデータ転送および処理ブロックＰＥ内での
加算処理により、近傍領域内の差分絶対値和ＳＡＤを求
める。着目処理ブロックＰＥをＰＥ（Ｘ，Ｙ）、近傍領
域の処理ブロックＰＥをＰＥ（Ｘ＋ｉ，Ｙ＋ｊ）とした
とき、差分絶対値和ＳＡＤは、
ックＰＥとのデータ転送および処理ブロックＰＥ内での
加算処理により、近傍領域内の差分絶対値和ＳＡＤを求
める。着目処理ブロックＰＥをＰＥ（Ｘ，Ｙ）、近傍領
域の処理ブロックＰＥをＰＥ（Ｘ＋ｉ，Ｙ＋ｊ）とした
とき、差分絶対値和ＳＡＤは、
【００３２】
【数１】 により求められる。ここで、（Ｘ，Ｙ）座標の近傍ＰＥ
（Ｘｉ，Ｙ＋ｊ）は、例えば下記のようなＭＸ×ＭＹの
ブロック処理内の処理ブロックＰＥとする。
（Ｘｉ，Ｙ＋ｊ）は、例えば下記のようなＭＸ×ＭＹの
ブロック処理内の処理ブロックＰＥとする。
【００３３】
【数２】 ただし、ブロック領域の形状や大きさは任意とすること
ができ、その場合も容易に実施できる。画素毎に対応し
た処理ブロックＰＥを備え、かつ隣接間の処理ブロック
ＰＥ間の転送パス３０を持っているため、上記差分絶対
値和演算処理は、全処理ブロックＰＥ、すなわち全画素
において一斉に実行できる。
ができ、その場合も容易に実施できる。画素毎に対応し
た処理ブロックＰＥを備え、かつ隣接間の処理ブロック
ＰＥ間の転送パス３０を持っているため、上記差分絶対
値和演算処理は、全処理ブロックＰＥ、すなわち全画素
において一斉に実行できる。
【００３４】具体的な方法を図３を参照して以下説明す
る。最初にＳＡＤ，ＳＡＤ１を初期化する。ＳＡＤ１は
途中計算結果で、ワークメモリｗｏｒｋに格納してお
く。まず、上下方向の転送および加算処理により、縦ラ
インのブロックについて次式のＳＡＤ１を求める（図３
（１）（２））。
る。最初にＳＡＤ，ＳＡＤ１を初期化する。ＳＡＤ１は
途中計算結果で、ワークメモリｗｏｒｋに格納してお
く。まず、上下方向の転送および加算処理により、縦ラ
インのブロックについて次式のＳＡＤ１を求める（図３
（１）（２））。
【００３５】
【数３】 次に、前記得られたＳＡＤ１を用いて、左右方向の転送
および加算処理を行い次式のＳＡＤを求めることによ
り、ＭＸ×ＭＹブロック内のすべての差分絶対値ＡＤの
和が求められる（図３（３）（４））。
および加算処理を行い次式のＳＡＤを求めることによ
り、ＭＸ×ＭＹブロック内のすべての差分絶対値ＡＤの
和が求められる（図３（３）（４））。
【００３６】
【数４】 ここで、差分絶対値ＡＤを転送する際には、全処理ブロ
ックＰＥ一斉にデータを同じ方向にシフトできるととも
に、画素毎に対応した処理ブロックＰＥを備えているの
で、全処理ブロックＰＥ一斉に加算処理を行えるため、
差分絶対値和ＳＡＤの演算は、全処理ブロックＰＥにつ
いて一斉に実行できる。また、上下方向の転送と加算処
理の結果を用いて左右の転送と処理ブロック加算処理を
行うため、ブロック内の全処理ブロックＰＥに対して１
処理ブロックＰＥずつ加算処理する（（ＭＸ×ＭＹ−
１）回ステップを要する）場合に比べ、（ＭＸ＋ＭＹ−
２）回の処理ステップで済むので処理量を削減できる。
ブロックサイズが大きくなった場合も同様に実行でき、
ブロックサイズが大きいほど処理の効果が大きい。
ックＰＥ一斉にデータを同じ方向にシフトできるととも
に、画素毎に対応した処理ブロックＰＥを備えているの
で、全処理ブロックＰＥ一斉に加算処理を行えるため、
差分絶対値和ＳＡＤの演算は、全処理ブロックＰＥにつ
いて一斉に実行できる。また、上下方向の転送と加算処
理の結果を用いて左右の転送と処理ブロック加算処理を
行うため、ブロック内の全処理ブロックＰＥに対して１
処理ブロックＰＥずつ加算処理する（（ＭＸ×ＭＹ−
１）回ステップを要する）場合に比べ、（ＭＸ＋ＭＹ−
２）回の処理ステップで済むので処理量を削減できる。
ブロックサイズが大きくなった場合も同様に実行でき、
ブロックサイズが大きいほど処理の効果が大きい。
【００３７】比較更新処理部２４は、得られた差分絶対
値和ＳＡＤと、記憶されている過去最小値ＭＳＡＤを比
較し、ＳＡＤがＭＳＡＤより小さい場合は、ＭＳＡＤに
ＳＡＤを格納し、そのときの視差値ｄをＭＤに代入す
る。画素毎に対応した処理ブロックＰＥを備えているた
め、該比較処理および更新処理は、いずれも全処理ブロ
ックＰＥすなわち全画素において一斉に実行できる。命
令受信部２７は画像入力初期化部から画像データシフト
制御部１５からの命令を受信し、解読し、データ受信部
２１からデータ送信部２５のいずれかを起動する。
値和ＳＡＤと、記憶されている過去最小値ＭＳＡＤを比
較し、ＳＡＤがＭＳＡＤより小さい場合は、ＭＳＡＤに
ＳＡＤを格納し、そのときの視差値ｄをＭＤに代入す
る。画素毎に対応した処理ブロックＰＥを備えているた
め、該比較処理および更新処理は、いずれも全処理ブロ
ックＰＥすなわち全画素において一斉に実行できる。命
令受信部２７は画像入力初期化部から画像データシフト
制御部１５からの命令を受信し、解読し、データ受信部
２１からデータ送信部２５のいずれかを起動する。
【００３８】画像データシフト制御部１５は、該処理ブ
ロックＰＥ（Ｘ，Ｙ）中の右画像の画素データＰＲを処
理ブロックＰＥ（Ｘ＋ｄＸ，Ｙ）へ転送する。画素毎に
対応した処理ブロックＰＥを備え、かつ隣接間のＰＥ間
の転送パスを持っているため、該画像データのシフト処
理は、全処理ブロックＰＥ、すなわち全画素において一
斉に実行できる。
ロックＰＥ（Ｘ，Ｙ）中の右画像の画素データＰＲを処
理ブロックＰＥ（Ｘ＋ｄＸ，Ｙ）へ転送する。画素毎に
対応した処理ブロックＰＥを備え、かつ隣接間のＰＥ間
の転送パスを持っているため、該画像データのシフト処
理は、全処理ブロックＰＥ、すなわち全画素において一
斉に実行できる。
【００３９】以上、各処理ブロックＰＥ内での処理（差
分絶対値演算、差分絶対値和演算、比較更新処理、画像
データシフト処理）は、いずれも全処理ブロックＰＥ、
すなわち全画素において一斉に実行できる。
分絶対値演算、差分絶対値和演算、比較更新処理、画像
データシフト処理）は、いずれも全処理ブロックＰＥ、
すなわち全画素において一斉に実行できる。
【００４０】図４は本発明の第２の実施形態の三次元画
像処理装置の構成図である。
像処理装置の構成図である。
【００４１】本実施形態の三次元画像処理装置は、第１
の実施形態と同様に左画像と右画像を入力し、左右画像
間で画素同士の対応付けを行い、画素毎の視差情報を得
ることにより、奥行き画像（距離画像）を出力する。
の実施形態と同様に左画像と右画像を入力し、左右画像
間で画素同士の対応付けを行い、画素毎の視差情報を得
ることにより、奥行き画像（距離画像）を出力する。
【００４２】本実施形態では、第１の実施形態で示した
ＰＥアレイ処理部２０を連想メモリ（ＣＡＭ）２０’で
構成する。ＣＡＭ２０’は、画像の画素数と同じワード
数Ｖ＝ＭＸ×ＮＹを持たせ、１ワードは左画像の１画素
および右画像の１画素に関わる情報を格納する（図
５）。
ＰＥアレイ処理部２０を連想メモリ（ＣＡＭ）２０’で
構成する。ＣＡＭ２０’は、画像の画素数と同じワード
数Ｖ＝ＭＸ×ＮＹを持たせ、１ワードは左画像の１画素
および右画像の１画素に関わる情報を格納する（図
５）。
【００４３】ここで用いるＣＡＭ２０’は、既に池永ら
が提案している二次元ＰＥアレイ型のＣＡＭ(T.Ikenag
a, T.Ogura,“A Fully-Parallel 1Mb CAM LSI for Real
-TimePixel-Parallel Image Processing”、池永、小
倉、“超並列型２次元セルラーオートマトン」ＣＡＭ
2 ”、信学技報、CPSY-ICD-ETS, 1996. ）を対象として
いる。このＣＡＭ２０’は、１画素を１ワードに割り当
て、論理的に二次元ＰＥアレイ状に配置および接続され
ており、外部からの制御により各種並列処理を実行でき
る。具体的な並列処理例を図６に示す。図６（ａ）は参
照データを入力すると、サーチマスクが１のビットの部
分だけ等しい値を持つワードを全ワード一斉に検索し、
答えをヒットフラグに格納する処理例を表している。ま
た、図６（ｂ）はヒットフラグが１になっているワード
のみに、ライトマスクでマスクされた入力データを並列
に書き込みする例を表している。このような並列検索と
並列書き込み機能を組み合わせることにより、ＣＡＭ２
０’では加算処理等の任意の算術および論理演算を全ワ
ード並列に実行することが可能である。メモリ上で演算
するので、演算のための演算器を持つ必要がないという
特徴を持つ。また、ヒットフラグを介して上下ワード間
の全ワード一斉転送が可能である。ここでは、上記二次
元ＰＥアレイ型のＣＡＭ２０’を例に説明しているが、
通常の一次元アレイ型のＣＡＭで、上下ワード間でデー
タを転送できる機能持っていれば、図５のように画素と
ワードを割り当てることにより、前記と同様の方法で容
易に実現できる。以下、このような特徴を持つＣＡＭを
用いた実施形態の具体的な動作を説明する。
が提案している二次元ＰＥアレイ型のＣＡＭ(T.Ikenag
a, T.Ogura,“A Fully-Parallel 1Mb CAM LSI for Real
-TimePixel-Parallel Image Processing”、池永、小
倉、“超並列型２次元セルラーオートマトン」ＣＡＭ
2 ”、信学技報、CPSY-ICD-ETS, 1996. ）を対象として
いる。このＣＡＭ２０’は、１画素を１ワードに割り当
て、論理的に二次元ＰＥアレイ状に配置および接続され
ており、外部からの制御により各種並列処理を実行でき
る。具体的な並列処理例を図６に示す。図６（ａ）は参
照データを入力すると、サーチマスクが１のビットの部
分だけ等しい値を持つワードを全ワード一斉に検索し、
答えをヒットフラグに格納する処理例を表している。ま
た、図６（ｂ）はヒットフラグが１になっているワード
のみに、ライトマスクでマスクされた入力データを並列
に書き込みする例を表している。このような並列検索と
並列書き込み機能を組み合わせることにより、ＣＡＭ２
０’では加算処理等の任意の算術および論理演算を全ワ
ード並列に実行することが可能である。メモリ上で演算
するので、演算のための演算器を持つ必要がないという
特徴を持つ。また、ヒットフラグを介して上下ワード間
の全ワード一斉転送が可能である。ここでは、上記二次
元ＰＥアレイ型のＣＡＭ２０’を例に説明しているが、
通常の一次元アレイ型のＣＡＭで、上下ワード間でデー
タを転送できる機能持っていれば、図５のように画素と
ワードを割り当てることにより、前記と同様の方法で容
易に実現できる。以下、このような特徴を持つＣＡＭを
用いた実施形態の具体的な動作を説明する。
【００４４】ＣＡＭ２０’の１ワードの構成は、図４で
示したように第１の実施形態と同様の情報を記憶し、１
ワードが１処理ブロックＰＥとして機能する。すなわ
ち、左画像の画素データＰＬを記憶するメモリ、右画像
の画素データＰＲを記憶するメモリ、また差分絶対値Ａ
Ｄ、差分絶対値和ＳＡＤ、過去最小値ＭＳＡＤを記憶す
るメモリ、視差情報ＭＤを記憶するメモリ、および必要
に応じて演算時に必要なワークメモリｗｏｒｋを持つ。
差分絶対値の演算、差分絶対値和の演算、比較更新処理
は、ＣＡＭ２０’の持つ並列演算機能等により、ＣＡＭ
２０’のメモリ上で実行できる。
示したように第１の実施形態と同様の情報を記憶し、１
ワードが１処理ブロックＰＥとして機能する。すなわ
ち、左画像の画素データＰＬを記憶するメモリ、右画像
の画素データＰＲを記憶するメモリ、また差分絶対値Ａ
Ｄ、差分絶対値和ＳＡＤ、過去最小値ＭＳＡＤを記憶す
るメモリ、視差情報ＭＤを記憶するメモリ、および必要
に応じて演算時に必要なワークメモリｗｏｒｋを持つ。
差分絶対値の演算、差分絶対値和の演算、比較更新処理
は、ＣＡＭ２０’の持つ並列演算機能等により、ＣＡＭ
２０’のメモリ上で実行できる。
【００４５】全体の処理の流れは第１の実施形態とほぼ
同じである。画像入力初期化部３１は、装置に入力され
た左画像と右画像の画素データをＣＡＭ２０’のＰＬ，
ＰＲに入力し、過去最小値ＭＳＡＤにＭＡＸ値（データ
記憶部のメモリ上で許容される最大値）を格納する。
同じである。画像入力初期化部３１は、装置に入力され
た左画像と右画像の画素データをＣＡＭ２０’のＰＬ，
ＰＲに入力し、過去最小値ＭＳＡＤにＭＡＸ値（データ
記憶部のメモリ上で許容される最大値）を格納する。
【００４６】差分絶対値算出制御部３２は、ＣＡＭ２
０’の全ワードに対して、画素データＰＬ（Ｘ，Ｙ）、
ＰＲ（Ｘ，Ｙ）の差分絶対値ＡＤ（Ｘ，Ｙ）＝（｜ＰＬ
（Ｘ，Ｙ）−ＰＲ（Ｘ，Ｙ）｜を求めさせる。
０’の全ワードに対して、画素データＰＬ（Ｘ，Ｙ）、
ＰＲ（Ｘ，Ｙ）の差分絶対値ＡＤ（Ｘ，Ｙ）＝（｜ＰＬ
（Ｘ，Ｙ）−ＰＲ（Ｘ，Ｙ）｜を求めさせる。
【００４７】差分絶対値和制御部３３は、ＣＡＭ２０’
の全ワードに対して、着目ワードに対応した画素の近傍
領域内に含まれる画素に対応したすべてのワードの持つ
ＡＤの和（すなわち差分絶対値和ＳＡＤ）を求めさせ
る。この際、近傍画素に対応したワードとデータ転送、
およびＣＡＭ２０’内での加算処理の制御を行う。
の全ワードに対して、着目ワードに対応した画素の近傍
領域内に含まれる画素に対応したすべてのワードの持つ
ＡＤの和（すなわち差分絶対値和ＳＡＤ）を求めさせ
る。この際、近傍画素に対応したワードとデータ転送、
およびＣＡＭ２０’内での加算処理の制御を行う。
【００４８】比較更新処理制御部３４は、ＣＡＭ２０’
の全ワードに対して、ワード内で、カウンタ（次の画像
データシフト制御部３５で説明）の値がｄ＝ｉの時点で
得られた前記ＳＡＤと、それまでに（０≦ｄ＜ｉの間
で）得られたＭＳＡＤに記憶されている過去最小値を比
較させ、比較結果に基づきＭＳＡＤとＭＤを更新させ
る。 画像データシフト制御部３５は、ＣＡＭ２０’の
全ワードに対して、右画像の画素データＰＲ（もしくは
左画像の画素データＰＬ）をすべて一斉に、同一方向に
同じ画素数だけシフトさせる。画像データシフト制御部
３５は該シフト数を計数するためのカウンタを持ち、カ
ウンタの値ｄ（０≦ｄ≦ｄＭＡＸ）は比較更新処理時に
ＣＡＭ２０’へ転送される。
の全ワードに対して、ワード内で、カウンタ（次の画像
データシフト制御部３５で説明）の値がｄ＝ｉの時点で
得られた前記ＳＡＤと、それまでに（０≦ｄ＜ｉの間
で）得られたＭＳＡＤに記憶されている過去最小値を比
較させ、比較結果に基づきＭＳＡＤとＭＤを更新させ
る。 画像データシフト制御部３５は、ＣＡＭ２０’の
全ワードに対して、右画像の画素データＰＲ（もしくは
左画像の画素データＰＬ）をすべて一斉に、同一方向に
同じ画素数だけシフトさせる。画像データシフト制御部
３５は該シフト数を計数するためのカウンタを持ち、カ
ウンタの値ｄ（０≦ｄ≦ｄＭＡＸ）は比較更新処理時に
ＣＡＭ２０’へ転送される。
【００４９】処理の簡単化のため、第１の実施形態と同
様にカメラ１０の両視線が平行で、かつ画像の両Ｘ軸が
平行になるように、カメラ１０の位置姿勢を定める。こ
のとき、エピポーラ線は水平となることから、画素ＰＲ
（Ｘ，Ｙ）に対するシフト量を（ｄＸ，０）とすると、
ＰＥ（Ｘ，Ｙ）のデータはＰＥ（Ｘ＋ｄＸ，Ｙ）に転送
される。一方の画像上で常にエピポーラ線上のみを対応
点探索するために、探索位置をＸ軸方向にｄＸずつずら
している。
様にカメラ１０の両視線が平行で、かつ画像の両Ｘ軸が
平行になるように、カメラ１０の位置姿勢を定める。こ
のとき、エピポーラ線は水平となることから、画素ＰＲ
（Ｘ，Ｙ）に対するシフト量を（ｄＸ，０）とすると、
ＰＥ（Ｘ，Ｙ）のデータはＰＥ（Ｘ＋ｄＸ，Ｙ）に転送
される。一方の画像上で常にエピポーラ線上のみを対応
点探索するために、探索位置をＸ軸方向にｄＸずつずら
している。
【００５０】以上の差分絶対値算出、差分絶対値和算
出、比較更新処理、画像データシフトは、予め定めた指
定回数ｄＭＡＸ（第１の実施形態と同じ）だけ繰り返
す。対応点の探索範囲はエピポーラ線上で、かつ最大視
差に応じた範囲内で充分であるので、予め求められる左
右の画像間での最大視差をｄＭＡＸとすればよい。最大
視差は撮影対象領域中で最も手前にある物体に対する左
右画像上での視差として求められ、カメラの位置姿勢等
の設定を変えない限り最大視差は変わらない。ｄＭＡＸ
繰り返した後、視差データ読み出し部３６は、ＰＥ内に
格納されている視差情報ＭＤを読み出し、該視差情報か
ら距離画像を得る。ＣＡＭ２０’内での具体的な処理に
ついて以下説明する。
出、比較更新処理、画像データシフトは、予め定めた指
定回数ｄＭＡＸ（第１の実施形態と同じ）だけ繰り返
す。対応点の探索範囲はエピポーラ線上で、かつ最大視
差に応じた範囲内で充分であるので、予め求められる左
右の画像間での最大視差をｄＭＡＸとすればよい。最大
視差は撮影対象領域中で最も手前にある物体に対する左
右画像上での視差として求められ、カメラの位置姿勢等
の設定を変えない限り最大視差は変わらない。ｄＭＡＸ
繰り返した後、視差データ読み出し部３６は、ＰＥ内に
格納されている視差情報ＭＤを読み出し、該視差情報か
ら距離画像を得る。ＣＡＭ２０’内での具体的な処理に
ついて以下説明する。
【００５１】ＣＡＭ２０’は、隣接したワード間でデー
タの転送が可能であり、ワードのデータ近傍画素に対応
したワードへ転送することができる。また、ＣＡＭ２
０’内ではワード内の任意のデータ間で、全ワード並列
に検索処理、書き込み処理、加算処理が可能であり、こ
れらの並列処理機能を利用することにより、まず、各ワ
ード毎に差分絶対値ＡＤ（Ｘ，Ｙ）＝｜ＰＬ（Ｘ，Ｙ）
−ＰＲ（Ｘ，Ｙ）｜を求め、メモリＡＤに格納する。こ
のとき、ＣＡＭは全ワード並列に検索処理、書き込み処
理、加算処理が可能であるため、これらの減算処理と絶
対値処理、および書き込み処理では、いずれも全ワード
一斉に実行することができる。
タの転送が可能であり、ワードのデータ近傍画素に対応
したワードへ転送することができる。また、ＣＡＭ２
０’内ではワード内の任意のデータ間で、全ワード並列
に検索処理、書き込み処理、加算処理が可能であり、こ
れらの並列処理機能を利用することにより、まず、各ワ
ード毎に差分絶対値ＡＤ（Ｘ，Ｙ）＝｜ＰＬ（Ｘ，Ｙ）
−ＰＲ（Ｘ，Ｙ）｜を求め、メモリＡＤに格納する。こ
のとき、ＣＡＭは全ワード並列に検索処理、書き込み処
理、加算処理が可能であるため、これらの減算処理と絶
対値処理、および書き込み処理では、いずれも全ワード
一斉に実行することができる。
【００５２】次に、差分絶対値和ＳＡＤを求めるが、こ
のときも、隣接画素に対応するワード間で全ワード一斉
に転送ができる手段と、前記のＣＡＭ２０’における各
種並列処理機能とにより、ＳＡＤの演算も同様に、全ワ
ードに対して一斉に実行できる。また、比較処理と更新
処理も同様に、ＣＡＭ２０’の並列処理機能により、全
ワード一斉に実行できる。
のときも、隣接画素に対応するワード間で全ワード一斉
に転送ができる手段と、前記のＣＡＭ２０’における各
種並列処理機能とにより、ＳＡＤの演算も同様に、全ワ
ードに対して一斉に実行できる。また、比較処理と更新
処理も同様に、ＣＡＭ２０’の並列処理機能により、全
ワード一斉に実行できる。
【００５３】具体的な方法を以下図３を参照して説明す
る。最初にＳＡＤ，ＳＡＤ１を初期化する。ＳＡＤ１は
途中計算結果で、ワークメモリｗｏｒｋに格納してお
く。まず、上下方向の転送および加算処理により、縦ラ
インのブロックについて次式のＳＡＤ１を求める（図３
（１）（２））。
る。最初にＳＡＤ，ＳＡＤ１を初期化する。ＳＡＤ１は
途中計算結果で、ワークメモリｗｏｒｋに格納してお
く。まず、上下方向の転送および加算処理により、縦ラ
インのブロックについて次式のＳＡＤ１を求める（図３
（１）（２））。
【００５４】
【数５】 次に、前記得られたＳＡＤ１を用いて、左右方向の転送
および加算処理を行い次式のＳＡＤを求めることによ
り、ＭＸ×ＭＹブロッック内のすべての差分絶対値ＡＤ
の和を求める（図３（３）（４））。
および加算処理を行い次式のＳＡＤを求めることによ
り、ＭＸ×ＭＹブロッック内のすべての差分絶対値ＡＤ
の和を求める（図３（３）（４））。
【００５５】
【数６】 ここで、差分絶対値ＡＤを転送する際には、ＣＡＭ２
０’の並列転送機能により、全ワード一斉にデータを同
じ方向にシフトできるとともに、画素毎に対応したワー
ドを備え、ＣＡＭ２０’の並列加算機能により、全画素
一斉に加算処理を行うことができることから、全画素に
おける転送と加算処理を必要とする差分絶対値和の演算
は、全処理ブロックＰＥについて一斉に実行できる。
０’の並列転送機能により、全ワード一斉にデータを同
じ方向にシフトできるとともに、画素毎に対応したワー
ドを備え、ＣＡＭ２０’の並列加算機能により、全画素
一斉に加算処理を行うことができることから、全画素に
おける転送と加算処理を必要とする差分絶対値和の演算
は、全処理ブロックＰＥについて一斉に実行できる。
【００５６】また、第１の実施形態と同様に、上下方向
の転送と加算処理の結果を用いて左右の転送と加算処理
を行うため、ブロック内の全処理ブロックＰＥに対して
１処理ブロックＰＥずつ加算する（（ＭＸ×ＭＹ−１）
回のステップを要する）場合に比べ、（ＭＸ＋ＭＹ−
２）回の処理のステップで済むので処理量を削減でき
る。ブロックサイズが大きくなった場合も同様に実行で
き、ブロックサイズが大きいほど処理の効果が大きい。
の転送と加算処理の結果を用いて左右の転送と加算処理
を行うため、ブロック内の全処理ブロックＰＥに対して
１処理ブロックＰＥずつ加算する（（ＭＸ×ＭＹ−１）
回のステップを要する）場合に比べ、（ＭＸ＋ＭＹ−
２）回の処理のステップで済むので処理量を削減でき
る。ブロックサイズが大きくなった場合も同様に実行で
き、ブロックサイズが大きいほど処理の効果が大きい。
【００５７】さらに、各ワードにおいて、得られたＳＡ
Ｄと、記憶されているＭＳＡＤを比較し、ＳＡＤがＭＳ
ＡＤより小さい場合は、ＭＳＡＤにＳＡＤを格納し、そ
のときの視差値ｄをＭＤに代入する。画素毎に対応した
ワードを備えているため、該比較処理および更新処理
は、いずれも全ワード、すなわち全画素において一斉に
実行できる。
Ｄと、記憶されているＭＳＡＤを比較し、ＳＡＤがＭＳ
ＡＤより小さい場合は、ＭＳＡＤにＳＡＤを格納し、そ
のときの視差値ｄをＭＤに代入する。画素毎に対応した
ワードを備えているため、該比較処理および更新処理
は、いずれも全ワード、すなわち全画素において一斉に
実行できる。
【００５８】その後、ＰＥ（Ｘ，Ｙ）中の右画像の画素
データＰＲをすべてＰＥ（Ｘ＋ｄＸ，Ｙ）へ転送する。
画素毎に対応したワードを備え、かつ隣接間のＰＥ間の
転送パスを持っているため、該画像データのシフト処理
は、全ＰＥすなわち全画素において一斉に実行できる。
データＰＲをすべてＰＥ（Ｘ＋ｄＸ，Ｙ）へ転送する。
画素毎に対応したワードを備え、かつ隣接間のＰＥ間の
転送パスを持っているため、該画像データのシフト処理
は、全ＰＥすなわち全画素において一斉に実行できる。
【００５９】以上の各ＰＥ内での処理（差分絶対値演
算、差分絶対値和演算、比較更新処理、画素データ転送
処理）は、いずれも全ワード、すなわち全画素において
一斉に実行される。また、これらの処理はすべてＣＡＭ
２０’のメモリ上で演算されるので、そのための専用の
演算器を持つ必要がなく、ハードウェア量を小さくでき
る。
算、差分絶対値和演算、比較更新処理、画素データ転送
処理）は、いずれも全ワード、すなわち全画素において
一斉に実行される。また、これらの処理はすべてＣＡＭ
２０’のメモリ上で演算されるので、そのための専用の
演算器を持つ必要がなく、ハードウェア量を小さくでき
る。
【００６０】第１、第２の実施形態の装置において、１
個の処理ブロックＰＥは、１画素だけでなく、複数の画
素に関わる処理を実行することも可能である。入力画像
サイズをＩＸ×ＩＹ、処理ブロック数をＮＸ×ＮＹと
し、１個の処理ブロックＰＥがａ×ｂ画素の近傍領域を
処理したとき、必要な処理ブロックＰＥの数は１画素１
ＰＥの場合に比べ１／（ａ×ｂ）倍に削減できる。
個の処理ブロックＰＥは、１画素だけでなく、複数の画
素に関わる処理を実行することも可能である。入力画像
サイズをＩＸ×ＩＹ、処理ブロック数をＮＸ×ＮＹと
し、１個の処理ブロックＰＥがａ×ｂ画素の近傍領域を
処理したとき、必要な処理ブロックＰＥの数は１画素１
ＰＥの場合に比べ１／（ａ×ｂ）倍に削減できる。
【００６１】この場合、各処理ブロックＰＥ内のデータ
記憶部は、対象とする画素数に応じた容量が必要である
が、処理ブロックＰＥ内の各処理部が１個ずつしかなく
ても、時分割で実行できる。処理時間はその分長くなる
が、ハードウェア量が削減できる。また、この場合で
も、処理ブロックＰＥ内の処理は全処理ブロックＰＥに
おいて一斉に実行される。
記憶部は、対象とする画素数に応じた容量が必要である
が、処理ブロックＰＥ内の各処理部が１個ずつしかなく
ても、時分割で実行できる。処理時間はその分長くなる
が、ハードウェア量が削減できる。また、この場合で
も、処理ブロックＰＥ内の処理は全処理ブロックＰＥに
おいて一斉に実行される。
【００６２】以上の実施形態では、左右画像の対応点検
索の指標として近傍ブロック領域間の差分絶対値和
索の指標として近傍ブロック領域間の差分絶対値和
【００６３】
【数７】 を相関値として用いたが、他の相関値でも同様に容易に
構成できる。例えば下記に示すような正規化相関値Ｅ
（Ｘ，Ｙ）を求める方法も考えられる。
構成できる。例えば下記に示すような正規化相関値Ｅ
（Ｘ，Ｙ）を求める方法も考えられる。
【００６４】
【数８】 処理ブロックＰＥ内の処理は全処理ブロックＰＥにおい
て一斉に実行できるとともに、対応付けの精度向上が期
待できる。
て一斉に実行できるとともに、対応付けの精度向上が期
待できる。
【００６５】以上の各実施形態では、入力画像として左
画像と右画像の２つの画像としたが、一方の画像として
１視点からの画像を基準の画像とし、これに対し他方の
画像として視点の異なる複数の画像を各々対象として、
同様に実施する方法も容易に考えられる。
画像と右画像の２つの画像としたが、一方の画像として
１視点からの画像を基準の画像とし、これに対し他方の
画像として視点の異なる複数の画像を各々対象として、
同様に実施する方法も容易に考えられる。
【００６６】例えば、第２の従来方法で用いられている
ように、一方の画像の着目画素に対して得られる複数の
ステレオ対を用いた差分絶対値和の和を相関値として求
める方法がある。
ように、一方の画像の着目画素に対して得られる複数の
ステレオ対を用いた差分絶対値和の和を相関値として求
める方法がある。
【００６７】また、別の方法として、各々のステレオ対
で個別にブロック間の差分絶対値和を求め、最小値探索
し対応点を探し出して奥行き情報を得た後、同一画素に
対して異なるステレオ対から得られた奥行き情報を統
合、例えば平均値を求める等して、各々の画素について
１つの奥行き情報を得る方法がある。このように複数の
画像情報を用いることにより、視差情報の推定精度を向
上させることができる。
で個別にブロック間の差分絶対値和を求め、最小値探索
し対応点を探し出して奥行き情報を得た後、同一画素に
対して異なるステレオ対から得られた奥行き情報を統
合、例えば平均値を求める等して、各々の画素について
１つの奥行き情報を得る方法がある。このように複数の
画像情報を用いることにより、視差情報の推定精度を向
上させることができる。
【００６８】
【発明の効果】以上説明したように、請求項１の発明に
よれば、相関値を求める処理を第１の画像の全画素につ
いて一斉に実行可能な処理ブロックと、処理ブロック間
で一斉に上下左右の転送が可能な転送パスを備えている
ことにより、対応点探索時に相関値を求める処理を全画
素にわたって一斉に処理することができるため、処理時
間を短縮することが可能である。また、全画素に対応し
た処理ブロックを備えていることにより、前記相関値を
求める処理はブロックサイズに依存しないので、装置の
構成を変えずに任意のブロックサイズに対する処理を実
行できる。
よれば、相関値を求める処理を第１の画像の全画素につ
いて一斉に実行可能な処理ブロックと、処理ブロック間
で一斉に上下左右の転送が可能な転送パスを備えている
ことにより、対応点探索時に相関値を求める処理を全画
素にわたって一斉に処理することができるため、処理時
間を短縮することが可能である。また、全画素に対応し
た処理ブロックを備えていることにより、前記相関値を
求める処理はブロックサイズに依存しないので、装置の
構成を変えずに任意のブロックサイズに対する処理を実
行できる。
【００６９】また、対応点探索時に相関値を求める処理
において、上下近傍の画素を含む縦ラインのブロックの
相関値を求めた後、左右近傍で求められた縦ラインのブ
ロックの相関値を累積して上下左右近傍の画素を含むブ
ロック相関値で求めることにより、近傍ブロック領域内
の画素数に応じた演算処理回数（例えばブロックサイズ
をＭＸ×ＭＹとしたとき（ＭＸ×ＭＹ−１）回）を必要
とせず、半分以下の少ない回数（ＭＸ＋ＭＹ−２）回）
の処理で実行できる。このように、処理時間を短縮する
ことが可能である。この作用はブロックサイズが大きい
ほど効果が大きい。
において、上下近傍の画素を含む縦ラインのブロックの
相関値を求めた後、左右近傍で求められた縦ラインのブ
ロックの相関値を累積して上下左右近傍の画素を含むブ
ロック相関値で求めることにより、近傍ブロック領域内
の画素数に応じた演算処理回数（例えばブロックサイズ
をＭＸ×ＭＹとしたとき（ＭＸ×ＭＹ−１）回）を必要
とせず、半分以下の少ない回数（ＭＸ＋ＭＹ−２）回）
の処理で実行できる。このように、処理時間を短縮する
ことが可能である。この作用はブロックサイズが大きい
ほど効果が大きい。
【００７０】請求項２の発明によれば、請求項１の効果
に加え、処理ブロックおよび転送パスとして、左右の画
像の異なる位置の画素を両者とも同一ワードに格納でき
るメモリベースの並列ハードウェアである連想メモリ
（ＣＡＭ）を備えており、連想メモリの持つメモリ上で
の並列演算機能や並列書き込み機能を用いることによ
り、処理ブロック毎に演算器等のハードウェアを持つ必
要がなく、全体の処理を制御するシーケンス制御部があ
るだけでよく、ハードウェア量を小さくすることが可能
である。
に加え、処理ブロックおよび転送パスとして、左右の画
像の異なる位置の画素を両者とも同一ワードに格納でき
るメモリベースの並列ハードウェアである連想メモリ
（ＣＡＭ）を備えており、連想メモリの持つメモリ上で
の並列演算機能や並列書き込み機能を用いることによ
り、処理ブロック毎に演算器等のハードウェアを持つ必
要がなく、全体の処理を制御するシーケンス制御部があ
るだけでよく、ハードウェア量を小さくすることが可能
である。
【図１】本発明の第１の実施形態の三次元画像処理装置
の構成図である。
の構成図である。
【図２】本発明の第１の実施形態における対応点探索方
法を説明する図である。
法を説明する図である。
【図３】本発明の第１の実施形態における差分絶対値和
の算出手順を説明する図である。
の算出手順を説明する図である。
【図４】本発明の第２の実施形態の三次元画像処理装置
の構成図である。
の構成図である。
【図５】本発明の第２の実施形態における画像とＣＡＭ
ワードの関係を説明する図である。
ワードの関係を説明する図である。
【図６】本発明の第２の実施形態におけるＣＡＭの並列
処理例を説明する図である。
処理例を説明する図である。
１０ カメラ １１，３１ 画像入力初期化部 １２，３２ 差分絶対値算出制御部 １３，３３ 差分絶対値和算出制御部 １４，３４ 比較更新処理制御部 １５，３５ 画像データシフト制御部 １６，３６ 視差データ読み出し部 ２０ ＰＥアレイ処理部 ２０’ ＣＡＭ ２１ データ受信部 ２２ 差分絶対値演算部 ２３ 差分絶対値和演算部 ２４ 比較更新処理部 ２５ データ送信部 ２６ データ記憶部 ２７ 命令受信部 ３０ 転送パス
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 AA53 DD02 DD06 FF05 FF09 JJ03 JJ05 JJ19 JJ26 QQ13 QQ25 QQ27 QQ31 QQ41 QQ51 2F112 AD05 BA05 BA09 CA08 CA12 FA03 FA21 FA27 FA35 FA41 5B057 CH03 CH14 DA07 DB03 DC02 DC34 5C061 AA29 AB03 AB12
Claims (5)
- 【請求項１】 異なる視点から撮られた複数枚の画像を
入力し、第１の画像の各画素について、第１の画像を除
く画像中の最も相応する画素位置を探索し、それらの画
素位置の差分を視差情報として抽出し、該視差情報から
距離画像を得る三次元画像処理装置であって、 他の画像の比較対象とする画素を順次変化させるため、
他の画像全体を１画素分ずつ順次ずらした画像を生成す
る手段と、 第１の画像の１画素毎に、前記ずらした他の画像の同一
位置の画素との相関値を求める手段と、 各画素毎に上下の複数の画素の相関値を累積して該画素
と上下近傍の画素を含む縦ラインのブロックの相関値を
求める手段と、 該縦ラインの左右の前記ブロックの相関値を累積して該
画素の上下左右近傍の複数の画素を含むブロックの相関
値を求める手段と、 前記他の画像をずらしているうちで、該ブロック相関値
を最小とする画像のずらし量から視差情報を画素毎に決
定する手段とを有する処理ブロックを第１の画像の１画
素毎または複数の画素毎に備え、 各処理ブロック内の前記各手段による処理を定めた回数
繰り返すように全処理ブロックを制御し、前記処理が前
記回数繰り返された後、各処理ブロックの視差情報から
距離情報を得る処理シーケンス制御部と、前記画像全体
をずらす際の画像情報、およびブロックの相関値を求め
るための上下左右からの相関値を全処理ブロック間で一
斉に転送可能な前記処理ブロック間の転送パスを有する
三次元画像処理装置。 - 【請求項２】 前記処理ブロックおよび転送パスとして
連想メモリを有する請求項１記載の三次元画像処理装
置。 - 【請求項３】 第１の画像と他の画像を入力し、第１の
画像と他の画像間で画素同士の対応付けを行い、画素毎
の視差情報を得ることにより、距離画像を出力する三次
元画像処理装置であって、 第１の画像の画素データを記憶するメモリ、他の画像の
画素データを記憶するメモリ、相関値を記憶するメモ
リ、相関値和を記憶するメモリ、過去最小値を記憶する
メモリ、視差情報を記憶するメモリを含むデータ記憶部
と、隣接する処理ブロックからデータを受け取り、前記
データ記憶部に格納するデータ受信部と、第１の画像と
他の画像の画素データの相関値を演算し、前記データ記
憶部に格納する相関値演算部と、当該処理ブロックの近
傍領域に含まれる全処理ブロックの相関値の和を求め、
前記データ記憶部に格納する相関値和演算部と、現在得
られた相関値和とそれまでに得られた、前記データ記憶
部に記憶されている過去最小値を比較し、比較結果に応
じて前記データ記憶部内の過去最小値と視差情報を更新
する比較更新処理部と、処理ブロック内で転送が必要な
データを隣接する１個の処理ブロックに転送するデータ
送信部と、命令を受信し、該命令に応じて前記データ受
信部、前記相関値演算部、前記相関値和演算部、前記比
較更新処理部、前記データ送信部のいずれかを起動する
命令受信部を含む処理ブロックが前記画像データの各画
素に対応して配列されたＰＥアレイ処理部と、 入力された第１の画像と他の画像の画素データを対応す
る処理ブロックのデータ受信部に送信するとともに、デ
ータ格納を指示する命令を対応する処理ブロックの命令
受信部に送信する画像入力初期化部と、 全処理ブロックの命令受信部に対して、前記相関値演算
部を起動する命令を前記命令受信部に出す相関値算出制
御部と、 全処理ブロックの命令受信部に対して、前記相関値和演
算部を起動する命令を前記命令受信部に出す相関値和算
出制御部と、 全処理ブロックの命令受信部に対して、前記比較更新処
理部を起動する命令を前記命令受信部に出す比較更新処
理制御部と、 全処理ブロックの命令受信部に対して、他の画像の画素
データを同一方向の同じ画素数だけシフトする命令を出
す画像データシフト制御部と、 前記相関値算出制御部、前記相関値和算出制御部、前記
比較更新処理制御部、前記画像データシフト制御部の各
制御を予め定めた回数繰り返した後、各処理ブロックの
データ記憶部に格納されている視差情報を読み出し、該
視差情報から距離情報を得る視差データ読み出し部を有
する三次元画像処理装置。 - 【請求項４】 第１の画像と他の画像を入力し、第１の
画像と他の画像間で画素同士の対応付けを行い、画素毎
の視差情報を得ることにより、距離画像を出力する三次
元画像処理装置であって、 画像の画素数と同じワード数を有し、各ワードに第１の
画像の画素データ、他の画像の画素データ、相関値、相
関値和、過去最小値、視差情報を格納する連想メモリ
と、 入力された第１の画像と他の画像の画素データを前記連
想メモリに格納し、過去最小値として最大値を前記連想
メモリに格納する画像入力初期化部と、 前記連想メモリの全ワードに対して第１の画像画素デー
タと他の画像画素データの差分の絶対値を求めさせる相
関値算出制御部と、 前記連想メモリの全ワードに対して、当該ワードに対応
した画素の近傍領域に含まれる画素に対応したすべての
ワードの持つ相関値の和を求めさせる相関値和算出制御
部と、 前記連想メモリの全ワードに対して、当該ワード内で現
時点の差分絶対値和と前記過去最小値を比較させ、比較
結果に基づき前記過去最小値と視差情報を更新させる比
較更新処理制御部と、 前記連想メモリの全ワードに対して、他の画像の画素デ
ータをすべて一斉に、同一方向に同じ画素数だけシフト
させる画像データシフト制御部と、 前記相関値算出制御部、前記相関値和算出制御部、前記
比較更新処理制御部、前記画像データシフト制御部の各
制御部を予め定められた回数繰り返した後、前記連想メ
モリの各ワードに格納されている視差情報を読み出し、
該視差情報から距離画像を得る視差データ読み出し部を
有する三次元画像処理装置。 - 【請求項５】 前記相関値が差分値である請求項３また
は４に記載の装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21736199A JP3471262B2 (ja) | 1999-07-30 | 1999-07-30 | 三次元画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21736199A JP3471262B2 (ja) | 1999-07-30 | 1999-07-30 | 三次元画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001045523A true JP2001045523A (ja) | 2001-02-16 |
| JP3471262B2 JP3471262B2 (ja) | 2003-12-02 |
Family
ID=16702981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21736199A Expired - Fee Related JP3471262B2 (ja) | 1999-07-30 | 1999-07-30 | 三次元画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3471262B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2003092304A1 (ja) * | 2002-04-25 | 2005-09-08 | シャープ株式会社 | 画像データ生成装置、画像データ再生装置、および画像データ記録媒体 |
| US7383421B2 (en) | 2002-12-05 | 2008-06-03 | Brightscale, Inc. | Cellular engine for a data processing system |
| JP2009212664A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP2009296338A (ja) * | 2008-06-05 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| US8106939B2 (en) | 2005-11-02 | 2012-01-31 | Sony Corporation | Image processing method, image processing device and image display apparatus employing the image processing device |
| CN102547343A (zh) * | 2010-12-20 | 2012-07-04 | 三星电子株式会社 | 立体图像处理方法、立体图像处理装置和显示装置 |
| JP2013517677A (ja) * | 2010-01-13 | 2013-05-16 | トムソン ライセンシング | ３ｄテキストを３ｄコンテンツと合成するシステムおよび方法 |
| US8922627B2 (en) | 2011-08-09 | 2014-12-30 | Fujitsu Semiconductor Limited | Image processing device, image processing method and imaging device |
| JP2017005719A (ja) * | 2016-06-27 | 2017-01-05 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ３ｄテキストを３ｄコンテンツと合成するシステムおよび方法 |
| US9563433B1 (en) | 2006-09-01 | 2017-02-07 | Allsearch Semi Llc | System and method for class-based execution of an instruction broadcasted to an array of processing elements |
| WO2023089857A1 (ja) * | 2021-11-22 | 2023-05-25 | Ｔｏｗａ株式会社 | 検査システム、制御方法、電子部品の製造方法及び切断装置 |
-
1999
- 1999-07-30 JP JP21736199A patent/JP3471262B2/ja not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2003092304A1 (ja) * | 2002-04-25 | 2005-09-08 | シャープ株式会社 | 画像データ生成装置、画像データ再生装置、および画像データ記録媒体 |
| US7679616B2 (en) | 2002-04-25 | 2010-03-16 | Sharp Kabushiki Kaisha | Image data generation apparatus for adding attribute information regarding image pickup conditions to image data, image data reproduction apparatus for reproducing image data according to added attribute information, and image data recording medium related thereto |
| US7908461B2 (en) | 2002-12-05 | 2011-03-15 | Allsearch Semi, LLC | Cellular engine for a data processing system |
| US7383421B2 (en) | 2002-12-05 | 2008-06-03 | Brightscale, Inc. | Cellular engine for a data processing system |
| US8106939B2 (en) | 2005-11-02 | 2012-01-31 | Sony Corporation | Image processing method, image processing device and image display apparatus employing the image processing device |
| US9563433B1 (en) | 2006-09-01 | 2017-02-07 | Allsearch Semi Llc | System and method for class-based execution of an instruction broadcasted to an array of processing elements |
| JP2009212664A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP2009296338A (ja) * | 2008-06-05 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP2013517677A (ja) * | 2010-01-13 | 2013-05-16 | トムソン ライセンシング | ３ｄテキストを３ｄコンテンツと合成するシステムおよび方法 |
| CN102547343A (zh) * | 2010-12-20 | 2012-07-04 | 三星电子株式会社 | 立体图像处理方法、立体图像处理装置和显示装置 |
| US9380285B2 (en) | 2010-12-20 | 2016-06-28 | Samsung Display Co., Ltd. | Stereo image processing method, stereo image processing device and display device |
| US8922627B2 (en) | 2011-08-09 | 2014-12-30 | Fujitsu Semiconductor Limited | Image processing device, image processing method and imaging device |
| JP2017005719A (ja) * | 2016-06-27 | 2017-01-05 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ３ｄテキストを３ｄコンテンツと合成するシステムおよび方法 |
| WO2023089857A1 (ja) * | 2021-11-22 | 2023-05-25 | Ｔｏｗａ株式会社 | 検査システム、制御方法、電子部品の製造方法及び切断装置 |
| JP2023076250A (ja) * | 2021-11-22 | 2023-06-01 | Ｔｏｗａ株式会社 | 検査システム、制御方法、電子部品の製造方法及び切断装置 |
| JP7291766B2 (ja) | 2021-11-22 | 2023-06-15 | Ｔｏｗａ株式会社 | 検査システム、制御方法、電子部品の製造方法及び切断装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3471262B2 (ja) | 2003-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111465962B (zh) | 用于手持式用户设备的增强现实的运动深度 | |
| Long et al. | Multi-view depth estimation using epipolar spatio-temporal networks | |
| EP0680014B1 (en) | Image processing method and apparatus | |
| US20180249144A1 (en) | System and Method for Virtually-Augmented Visual Simultaneous Localization and Mapping | |
| JP3471262B2 (ja) | 三次元画像処理装置 | |
| WO1999053681A2 (en) | Method and apparatus for measuring similarity using matching pixel count | |
| JP2009133753A (ja) | 画像処理装置及びその方法 | |
| CN108776989A (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| JP4991873B2 (ja) | メッセージ伝達基盤ステレオ映像整合システム | |
| US10713806B2 (en) | Image processing apparatus and image processing system | |
| KR100503820B1 (ko) | 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법 | |
| Hariyama et al. | FPGA implementation of a stereo matching processor based on window-parallel-and-pixel-parallel architecture | |
| CN113436057B (zh) | 数据处理方法及双目立体匹配方法 | |
| JP2008090583A (ja) | 情報処理システム、プログラムおよび情報処理方法 | |
| JP2017037426A (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN107392898A (zh) | 应用于双目立体视觉中的像素点视差值计算方法及装置 | |
| Ueshiba | An efficient implementation technique of bidirectional matching for real-time trinocular stereo vision | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| JP3524826B2 (ja) | 三次元画像処理方法、装置、および三次元画像処理プログラムを記録した記録媒体 | |
| JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
| CN110910438B (zh) | 一种超高分辨率双目图像的高速立体匹配算法 | |
| KR20190072742A (ko) | 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템 | |
| JP2022182120A (ja) | 映像生成装置、映像処理システム、映像生成装置の制御方法及びプログラム | |
| JP4539203B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4159798B2 (ja) | 画像処理装置及び画像処理のプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080912 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080912 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090912 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090912 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |