JPH09138112A

JPH09138112A - 特徴点の３次元情報抽出方法及び抽出装置

Info

Publication number: JPH09138112A
Application number: JP7322994A
Authority: JP
Inventors: Hidekazu Hosoya; 英一細谷; Takeshi Ogura; 武小倉; Mamoru Nakanishi; 衛中西
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1994-12-13
Filing date: 1995-12-12
Publication date: 1997-05-27
Anticipated expiration: 2015-12-12
Also published as: JP3332310B2

Abstract

(57)【要約】【課題】逆投影線の投票処理に要する記憶容量を小さ
くし、かつ処理時間を短縮する。【解決手段】３次元空間の所定の断面における逆投影
線の通過位置を算出し、複数枚の画像のうちの所定の画
像を基準画像とし、この基準画像の逆統制線に関する情
報を基準逆投影線情報記憶部（３４）に記憶し、基準画
像以外の画像を参照画像とし、この参照画像の逆投影線
に関する情報を投票に係わる情報として投票情報記憶部
（３２Ｍ）に記憶し、３次元空間の所定の断面において
上記基準画像の逆投影線と通過位置が同じ参照画像の逆
投影線の数をボーティング処理部（３２）で計数し、こ
の計数値に基づいて基準画像の逆投影線に関する情報を
比較更新処理部（３３）で更新し、制御部（３５）の制
御により３次元空間の全ての断面について各処理を実行
した後、逆投影線についての情報を基準逆投影線情報記
憶部から読み出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元物体の形状
を表す特徴点の３次元情報を抽出する３次元情報抽出方
法及び抽出装置に関するものである。

【０００２】

【従来の技術】３次元情報を抽出する技術としては、従
来、同一被写体を異なる視点からそれぞれの視線方向で
撮像した複数枚の２次元画像を用意し、これらの画像上
に現れた被写体の特徴点へ向かってそれぞれの視点から
直線をのばし、被写体が存在する３次元空間上を通過さ
せ、その３次元空間内のその直線が通過したボクセルに
それぞれ“１”を投票することによって、高い投票値を
得たボクセル位置（３次元空間内の座標）を被写体の特
徴点が存在する可能性のある位置として求める方法が知
られている。なお、同一被写体を異なる視点から撮像し
た複数枚の２次元画像上に現れた被写体の特徴点へ向か
って視点から延ばされた直線を“逆投影線”と呼ぶ。

【０００３】図１は、そのような３次元情報抽出方法を
用いた従来の３次元情報入力装置の構成を示す図であ
る。従来の３次元情報入力装置は、画像入力部１０と逆
投影線情報生成部２０と３次元情報抽出装置３０とによ
って構成されている。画像入力部１０において、カメラ
11₀〜11_R-1は、Ｒ個（Ｒは２以上の予め決めた整数）の
視点から同時に３次元物体OBを撮像するものであり、例
えばR=5 個のカメラが用意されている。撮像された複数
のアナログ画像は、それぞれA/D 変換部12₀〜12_R-1で同
時にA/D 変換され、ディジタル画像として画像メモリ13
₀〜13_R-1に入力される。

【０００４】画像メモリ部13₀〜13_R-1から読み出された
複数の画像I_r(r=0,1,…,R-1)は、それぞれ特徴抽出部14
₀〜14_R-1に与えられ、画像上の特徴点（２次元特徴点と
呼ぶ）が同時に検出される。画像I_r中の特徴点数をF_rと
する。これら特徴点は、例えば物体上のエッジ、直線、
領域等である。特徴点が抽出された複数の画像は、画像
メモリ部15₀〜15_R-1に入力される。逆投影線情報生成部
２０は、画像入力部１０で特徴点が抽出された入力画像
を用いて逆投影線を生成するものである。

【０００５】図２は、３次元ボクセル空間VSでの逆投影
線Ｌとボーティング処理とを説明する図である。逆投影
線Ｌは各カメラ11_r のレンズの中心（視点）から、その
カメラ11_r によって撮像された２次元画像I_r上の各特徴
点P_fを通って延長され、３次元ボクセル空間VSを貫通す
る直線である。逆投影線情報生成部２０において、画像
上の特徴点のワールド座標、視点のワールド座標等の逆
投影線Ｌに関する情報が求められる。“ボクセル”は、
単位３次元画素のことであり、“３次元ボクセル空間”
は、対象とする物体が存在する３次元空間を多数のボク
セルで分割し、この多数のボクセルで隙間なく埋められ
た空間のことである。なお、各ボクセルの座標を(X,Y,
Z) で表し、座標値Ｘ，Ｙ，ＺはそれぞれX=0,1,…,N_X-
1、Y=0,1,…,N_Y-1、Z=0,1,…,N_Z-1 で表されるように整
数値をとる。なお、N_X,N_Y,N_Zは、それぞれボクセル空間
VSのＸ，Ｙ，Ｚ軸方向のボクセル数である。

【０００６】３次元物体OB上の同一３次元特徴点が複数
のカメラで観測された場合、それら複数のカメラにより
形成された画像にはそれぞれ対応する２次元特徴点P_fが
含まれており、それらの２次元特徴点からの逆投影線は
元の３次元空間の３次元特徴点の位置で交差する。従っ
て、その交差点を含むボクセルを通過する逆投影線の数
はそれらの逆投影線上の他のボクセルをそれぞれ通る逆
投影線数より大となる。図１の３次元情報抽出装置３０
は、逆投影線情報生成部２０が出力した逆投影線情報が
与えられ、画像上に現れた被写体の特徴点P_fに対応して
３次元特徴点が存在する可能性のある各逆投影線Ｌ上の
全ボクセルにそれぞれ１票を投票し、これによって、投
票数が極大となるボクセルの位置を対象とする物体の特
徴点の３次元位置として求め、出力するものである。即
ち、各ボクセルに対する投票数は、そのボクセルを通る
逆投影線の数を表している。

【０００７】３次元情報抽出技術における第１の従来方
法では、３次元ボクセル空間VS内の全てのボクセル位置
に対応してボーティング値を記憶する記憶手段を持ち、
上述のようにそれぞれの逆投影線Ｌが通過する全てのボ
クセル位置にボーティング処理を行い、その後に、３次
元ボクセル空間内でボーティング値が極大値であるボク
セル位置を探し出し、それらの位置を、特徴点の３次元
位置として抽出する方法である。この第１の従来方法に
ついては、浜野輝夫等の“空間へのVotingによる３次元
環境情報抽出手法”信学論(D-II),J75-D-II,pp.342-35
0,1992-02. に記載されている。

【０００８】つまり、上記第１の従来方法においては、
まず、３次元ボクセル空間上における全てのボクセル位
置に対応してそれぞれボーティング値を記憶する記憶手
段を用意し、全ての画像上の全ての２次元特徴点に対し
て、逆投影線情報生成部２０で求められた情報に基づい
て、対象物体が存在する３次元ボクセル空間へそれぞれ
逆投影線を引く。それぞれの逆投影線上には、画像上に
現れた２次元特徴点に対応する実空間における３次元特
徴点が必ず存在するので、逆投影線が通過するどのボク
セル位置も３次元特徴点が存在する可能性があるといえ
る。そこで、逆投影線が通過する全てのボクセル位置に
対応する記憶手段の内容に１を加算する処理（ボーティ
ング処理）を実行する。このボーティング処理を全ての
逆投影線に対して実行した後に、３次元ボクセル空間内
でボーティング値が極大値となるボクセル位置を探し出
し、これらのボクセル位置を全て、特徴点の３次元座標
として出力する。

【０００９】

【発明が解決しようとする課題】しかし、この第１の従
来方法においては、１つの逆投影線Ｌ上に複数の極大値
が存在することがあり、この場合には、その極大値に対
応する全ての座標に３次元特徴点が存在していると判断
するので、そのうちの少なくとも１つは、図２に示すよ
うに“偽の３次元特徴点”P_f3d' であり、従って、第１
の従来方法では、偽の３次元特徴点が抽出される可能性
があるという問題がある。

【００１０】そこで、この偽の特徴点が抽出されやすい
という問題を解決するために、３次元情報抽出技術に関
する第２の従来方法が提案されている（川戸慎二郎“２
回逆投影法による複数画像からの３次元情報の抽出”、
情処研資、CV-79-7、pp.43−50, 1992）。この第２の従
来方法は、全ての逆投影線が通過する全てのボクセル位
置に対するボーティング処理を、上記第１の方法と同様
に行った後に、逆投影線上には特徴点が１つのみ存在す
ることを利用した２回目のボーティング処理によって、
偽の特徴点の抽出を抑制するようにしたものである。

【００１１】即ち、この第２の従来方法は、３次元ボク
セル空間上の全てのボクセル位置についてボーティング
値を記憶する記憶手段（第１の従来方法と同様の記憶手
段）を２組用意し（第１の記憶手段及び第２の記憶手段
とする）、全ての逆投影線上に対するボーティング処理
を第１の従来方法と同様に行う。その結果として第１の
記憶手段に得られる各ボクセル毎のボーティング値をK₁
とする。全逆投影線を再度引き、その各逆投影線上のボ
クセルに対するボーティング値K₁を第１の記憶手段から
読み出して最大であるボクセルの位置を探し、ボーティ
ング値K₁が最大であるボクセルの位置を、２つ目のボー
ティング値記憶手段の対応する位置にボーティング処理
をする。

【００１２】この最大値検索とボーティング処理とを、
全ての逆投影線に対して行った結果、各ボクセル位置に
記憶されているボーティング値をK₂とする。最後に、各
ボクセルにおけるK₂/K₁ を求め、その値がある閾値以上
であるものを抽出し、その位置を特徴点の３次元座標と
して出力する。このようにすれば、各逆投影線上のそれ
ぞれのボクセルに対するボーティング値の中の最大値が
抽出され、従って、第２の従来方法では、偽の３次元特
徴点が抽出されない。

【００１３】上記第１の従来方法は、３次元ボクセル空
間における全てのボクセル位置に対してボーティング値
を記憶するために、全てのボクセル位置に対応してボー
ティング値を記憶する記憶手段を用意する必要があり、
従って、膨大なハードウェアが必要であるという問題が
あり、また、偽の３次元特徴点が抽出されやすいという
問題もある。また、第１の従来方法では、全ての逆投影
線について３次元ボクセル空間へボーティング処理を行
った後に、ボーティング値が極大値であるボクセル位置
を求める際に、３次元ボクセル空間における極大値の探
索を行う必要があり、このために、処理時間が長くなる
という問題がある。更に、偽の特徴点が抽出されやすい
ため、３次元情報の抽出性能が低下するという問題点が
ある。

【００１４】一方、上記第２の従来方法は、偽の３次元
特徴点が抽出されやすいという問題はないものの、３次
元ボクセル空間における全てのボクセル位置に対してボ
ーティング値を記憶する記憶手段を２つづつ用意する必
要があるので、第１の従来方法よりも更に多くのハード
ウェア量が必要であるという問題があり、また、逆投影
線を生成し、３次元ボクセル空間に対し行うボーティン
グ処理を、全ての特徴点に対して２回実行する必要があ
り、この場合も処理時間が長くなるという問題がある。

【００１５】さらに、第１、第２の従来方法では、物体
ＯＢの撮影時の誤差や量子化（ボクセル化）の誤差の影
響によって、または、３次元ボクセル空間の解像度を画
像の解像度よりも細かくすることによって、異なる画像
からの逆投影線が互いの特徴点に対応した同一のボクセ
ルにおいて交差しなくなる可能性があり、従って、３次
元情報の抽出性能が低下するという問題がある。

【００１６】この同一の特徴点において交差しなくなる
という問題を解決するために、第３の従来方法が提案さ
れている。この第３の従来方法は、逆投影線を錐体型と
し、逆投影線に幅を持たせてボーティングする方法であ
り浜野輝夫等の“すい体型視線を用いた空間へのVoting
による３次元環境情報抽出手法”、信学論（D-II）、J7
6-D-II、No.1、pp.50-58に示されている。

【００１７】この第３の従来方法では、まず、第１の方
法と同様に、３次元ボクセル空間における全てのボクセ
ル位置についてボーティング値を記憶する記憶手段を用
意し、全特徴点について、逆投影線情報生成部２０で求
められた情報に基づいて、３次元ボクセル空間上へそれ
ぞれ逆投影線を引く。このときに、図３に示すように、
画像Ｉ上で特徴点P_fが存在する画素の輪郭を通るよう
に、錐体型の逆投影線Ｌを視点１１から引き、その錐体
の中に含まれるボクセルにボーティング処理をする。全
ての逆投影線についてボーティング処理を実行した後、
錐体型の逆投影線が互いに交差する領域Ａにおいて、そ
の重心位置(X_W,Y_W,Z_W)を算出し、この算出された重心位
置を、特徴点の３次元座標として出力する。

【００１８】このように、第３の従来方法では、逆投影
線Ｌに幅を持たせているので、上記のように交差しなく
なる問題は回避されるが、そのために処理時間が大幅に
増大するという問題点がある。また、第１、第２、第３
の従来方法では、３次元ボクセル空間の解像度を、画像
の解像度よりも粗くする等の処理を行うと、基準画像の
逆投影線上で最大値が連続して同じ値になる場合が発生
するという問題点がある。

【００１９】本発明の目的は、逆投影線のボーティング
処理に要するハードウェアの規模を縮小することがで
き、また、処理時間を短縮することができる３次元情報
抽出方法及び抽出装置を提供することである。

【００２０】

【課題を解決するための手段】請求項１の発明による３
次元情報抽出装置は、撮像された複数枚の画像の予め決
めた少なくとも１枚を基準画像とし、その基準画像から
の各逆投影線を基準逆投影線とすると、それぞれの基準
逆投影線に対してその基準逆投影線に関する最大点情報
を記憶するための領域を有する基準逆投影線情報記憶手
段と、上記最大点情報はその基準逆投影線上の過去の投
票数の最大値とその最大値を与えたボクセルの位置を含
み、各上記基準逆投影線が通過するボクセルに対する他
の画像から通過する逆投影線の数を計数し、その計数値
に対応する投票数を得るボーティング手段と、上記ボー
ティング手段により求めた投票数を対応する上記基準逆
投影線情報記憶手段の領域の最大点情報の最大値と比較
し、それより大きければその投票数とそれを与えたボク
セルの位置を新しい最大点情報として上記対応する領域
の最大点情報を更新する比較更新処理手段と、３次元空
間内の各基準逆投影線上の全てのボクセルについての上
記投票数を得る処理と上記最大点情報を比較更新する処
理を繰り返させ、終了後に上記基準逆投影線情報記憶手
段のそれぞれの領域から最大値を与えたボクセルの位置
を物体上の特徴点の３次元情報として出力する制御手
段、とを含む。

【００２１】請求項１の構成によれば、各基準逆投影線
に対応する記憶領域が必要なだけで、３次元ボクセル空
間の全ボクセルに対応して記憶領域を設ける必要がな
く、かつ各基準逆投影線上の全ボクセルについての投票
と比較更新が終了した時点で直ちに全基準逆投影線上の
最大投票数位置が得られ、処理量及び処理時間を削減す
ることができる。

【００２２】請求項４の発明によれば、上記第１の観点
の装置において、上記ボーティング手段は、上記３次元
空間の１つの断面を埋める全ボクセルにそれぞれ対応し
た領域からなり、各ボクセルを通過する逆投影線数を投
票数として記憶する投票情報記憶手段と、上記通過位置
算出手段により算出された各通過位置のボクセルに対応
した領域に記憶している投票数を読み出し、その投票数
に１を加えた値を更新した投票数として再び同じ領域に
書き込む投票数更新手段を含み、上記制御手段は上記ボ
ーティング手段と上記比較更新処理手段による処理が各
断面について終了する毎に上記投票情報記憶手段の全領
域をクリアする手段を含む。

【００２３】この構成によれば、３次元空間のボクセル
スライス上の全ボクセルに対応した記憶領域を有する投
票情報記憶手段が設けられ、各ボクセルスライス上のボ
クセルに対し全逆投影線により投票することによりボク
セルスライス毎のボーティングと比較更新処理が行われ
ることになり、処理量を削減できる。請求項５の発明に
よれば、上記第１の観点の装置において、それぞれの上
記逆投影線が通過する上記３次元空間の各断面での通過
位置を算出する通過位置算出手段が設けられ、上記基準
画像以外の画像を参照画像とし、それらの参照画像の逆
投影線を参照逆投影線とすると、上記ボーティング手段
は、各断面において上記通過位置算出手段が算出した全
参照逆投影線の通過位置情報を投票に係わる情報として
記憶する投票情報記憶手段と、各上記基準逆投影線の通
過位置に対応する上記参照逆投影線通過位置情報を上記
投票情報記憶手段から検索してその数を求め、その数か
ら上記基準逆投影線の通過位置のボクセルを通過する逆
投影線の数を得る参照逆投影線計数手段とを含む。

【００２４】この構成によれば、投票情報記憶手段が設
けられ、全参照逆投影線のボクセルスライス上の通過ボ
クセル位置のみを記憶すればよいので、請求項４の場合
に比べて更に投票情報記憶手段の記憶容量を小さくでき
る。請求項７の発明では、投票情報記憶手段を連想メモ
リで構成し、検索を並列処理可能としているため処理時
間が短縮される。

【００２５】請求項８の発明では、投票情報記憶手段と
して複数の画像に対応した複数の連想メモリを設け、並
列検索するため、ボーティング処理時間が短縮される。
請求項９の発明では、全参照逆投影線に対しそれぞれ設
けられた通過位置算出手段を並列に動作させることによ
り位置算出処理時間を短縮できる。請求項１０の発明で
は、全基準逆投影線に対しそれぞれ設けられた通過位置
算出手段を並列に動作させることができ、位置算出処理
時間を短縮できる。

【００２６】請求項１２の発明では、基準逆投影線情報
記憶手段と投票情報記憶手段とをそれぞれ連想メモリで
構成し、通過位置算出手段と兼用しているため、構成が
簡単となる。請求項１４の発明では、通過位置の近傍ボ
クセルについても投票数を計数するので、特徴点の検出
ミスを減らすことができる。

【００２７】請求項１６の発明では、同じ最大投票数が
連続して繰り返された場合、その繰り返し回数が基準逆
投影線情報記憶手段に設けた連続数フィールドに得られ
るので、それを使って特徴点の位置を修正することがで
きる。請求項１８の発明では、基準逆投影線情報記憶手
段を構成する連想メモリの並列処理機能により、投票数
フィールド中の投票数と、それに対応する投票数最大値
との比較と、比較結果に基づく更新を全基準逆投影線に
ついて並列に実行できるので、構成が簡単になり、処理
時間も短縮される。

【００２８】請求項１９の発明によれば、請求項１の発
明において、上記３次元空間の断面の全ボクセルの配列
に対応して処理ブロックの配列が設けられ、配列された
上記処理ブロックは互いに隣接間で接続され、上記ボー
ティング手段はそれぞれの処理ブロックに設けられた第
１データパケット記憶部と計数部を含み、各処理ブロッ
クの上記第１データパケット記憶部は対応するボクセル
を通過する全ての逆投影線のそれぞれの情報をそれぞれ
第１データパケットとして保持し、各逆投影線の上記情
報はその逆投影線が対応するボクセルを通過する位置の
ワールド座標とその逆投影線の方向ベクトルを含み、各
処理ブロックの上記計数部はその処理ブロックの上記第
１データパケット記憶部に書き込まれた全ての第１デー
タパケットの数を計数しその数に対応する投票数を生成
し、上記基準逆投影線情報記憶手段はそれぞれの処理ブ
ロックに、対応するボクセルを通過する基準逆投影線の
上記最大点情報を第２データパケットとして記憶する上
記領域を第２データパケット記憶部として有し、上記比
較更新処理手段は、それぞれの処理ブロックに設けられ
た第２データパケット更新部を有し、各処理ブロックの
上記第２データパケット更新部はその処理ブロックの上
記計数部が生成した投票数とその処理ブロックの上記第
２データパケット記憶部の最大値とを比較し、前者の方
が大きければその投票数とその処理ブロックに対応する
ボクセルの位置を新しい最大点情報としてそのブロック
の上記第２データパケット記憶部の内容を更新し、各上
記処理ブロックは更に、入力された第１データパケット
を上記第１データパケット記憶部に書き込み、第２デー
タパケットを上記第２データパケット記憶部に書き込む
データパケット受信部と、上記第２データパケット更新
部の動作後に上記第１データパケット記憶部内の全ての
第１データパケットの通過位置ワールド座標にそれぞれ
の方向ベクトルを加算して次の断面の通過位置ワールド
座標を生成し上記方向ベクトルと合わせて更新された第
１データパケットを生成する第１データパケット更新部
と、上記更新された第１データパケットを、その第１デ
ータパケットが係わる逆投影線が基準逆投影線の場合は
第２データパケットと併せてそれぞれそれらの通過位置
ワールド座標に対応する処理ブロックに転送するデータ
パケット転送部とを含み、上記制御手段はそれぞれの処
理ブロックの第１データパケット記憶部に、それぞれ対
応するボクセルを通過する逆投影線の初期通過位置ワー
ルド座標とその逆投影線の方向ベクトルを初期の第１デ
ータパケットとして与える初期データ入力手段と、それ
ぞれの処理ブロックの上記計数部と上記第２データパケ
ット更新部の動作を指示する命令制御部と、上記３次元
空間のそれぞれの断面について上記処理ブロックによる
処理を繰り返した後それぞれの処理ブロックの上記第２
データパケット記憶部から最大点情報を読みだして上記
物体の特徴点の３次元情報として出力する第２データパ
ケット読み出し部とを含む。

【００２９】この構成によれば、各ボクセルスライス上
の逆投影線通過ボクセルに対応した全処理ブロックが並
列的に、ボーティング、比較更新、次の通過位置算出を
順次実行するので、高速処理が可能となる。請求項２１
の発明では、基準画像からの基準逆投影線が３次元ボク
セル空間を発散するように通過するため、画像毎にデー
タパケットの水平方向と垂直方向の同時転送が可能とな
り、パイプライン処理による時間短縮が可能となる。

【００３０】請求項２３の発明による３次元情報抽出方
法は、以下のステップを含む： (a) 逆投影線が通過する上記３次元空間の選択した１つ
の断面での通過位置を算出し、(b) 撮像された上記複数
枚の画像の予め決めた少なくとも１枚を基準画像とし、
その基準画像からの各逆投影線を基準逆投影線とする
と、上記算出された通過位置に基づいて、各上記基準逆
投影線上のボクセルを通過する他の異なる画像からの逆
投影線を計数し、その計数値から対応する投票数を求
め、(c) 各上記基準逆投影線に対応して基準逆投影線情
報記憶手段に保持されている過去の最大値の投票数とそ
れを与えたボクセルの位置からなる最大点情報を参照て
上記ステップ(b) で求めた投票数と上記最大値とを比較
し、上記投票数が上記最大値より大きければその投票数
とそれを与えたボクセルの位置を新しい最大点情報とし
て上記基準逆投影線情報記憶手段に保持されてる対応す
る最大点情報を更新し、(d) ３次元空間内の各基準逆投
影線上の全てのボクセルについて上記ステップ(a),
(b), (c) の処理を繰り返し、終了後に上記基準逆投影
線情報記憶手段から最大値を与えたボクセルの位置を上
記物体上の特徴点の３次元情報として出力する。

【００３１】

【発明の実施の形態及び実施例】図４はこの発明による
３次元情報抽出装置の動作原理を説明するために、視点
11₀〜11_R-1から画像I₀〜I_R-1上のそれぞれの特徴点P_fを
通り、ボクセル空間VS内のボクセルを通過する逆投影線
L₀₀,L₀₁,…,L_R-1,0,L_R-1,1を示している。ボクセル空間
VS内のボクセルの位置を表すボクセル座標(X,Y,Z) を規
定する座標軸Ｘ，Ｙ，Ｚをボクセル空間VSの互いに交わ
る３辺に沿って図示するように定め、ワールド座標軸
ｘ，ｙ，ｚを簡単のためこれらボクセル座標軸Ｘ，Ｙ，
Ｚと一致して定める。従ってこれらボクセル座標系の原
点Ｏも共通であるものとする。ボクセル座標(X,Y,Z) と
ワールド座標(x,y,z) の関係は、簡単のため例えば[x],
[y],[z] をそれぞれｘ，ｙ，ｚ以下の最大の整数とする
とX=[x],Y=[y],Z=[z] である。即ち、ワールド座標値
ｘ，ｙ，ｚのそれぞれの整数部をボクセル座標値Ｘ，
Ｙ，Ｚとする。またボクセル空間はX=0,1,…,N_X-1,Y=0,
1,…,N_Y-1,Z=0,1,…,N_Z-1 とする。この発明では画像I₀
〜I_R-1の予め決めた少なくとも１枚の画像例えばI₀を基
準画像I_sと決め、他の画像を参照画像I_rと決める。さら
に、基準画像I_s上の上記特徴点P_fを通って投影される直
線L₀₀,L₀₁,…を特に基準逆投影線と呼びL_sで表し、参照
画像I_r上の特徴点P_fを通って投影される直線L_r0,L_r1,…
を特に参照逆投影線と呼びL_rで表す。

【００３２】図５は、この発明による３次元情報抽出装
置３０の原理的構成を示す。この発明による装置３０は
逆投影線通過位置算出部３１と、ボーティング処理部３
２と、比較更新処理部３３と、基準逆投影線情報記憶部
３４と、制御部３５とを有している。逆投影線通過位置
算出部３１は図１で説明した逆投影線情報生成部２０か
らそれぞれの画像I₀〜I_R-1中の全特徴点（２次元特徴
点）の位置情報が与えられ、それらの特徴点を通る逆投
影線を求め、さらにそれらの逆投影線がボクセル空間VS
において通過するボクセルの位置座標(X_t,Y_t,Z_t)を計算
により求める。ボーティング処理部３２は各基準逆投影
線上の各ボクセル位置(X_t,Y_t,Z_t)のボクセルに対する参
照画像I_rからの逆投影線によるボーティングを行い、投
票数Ｖを計数する。比較更新処理部３３は、各基準逆投
影線上の任意の順に選択した一連のボクセルについて、
ボーティング処理部３２で計数された投票数Ｖがそれま
でに選択したボクセルの最大の投票数V_Mを基準逆投影線
情報記憶部３４から読みだし、今回選択されているボク
セルの投票数Ｖと比較し、V_M＞Ｖであれば今回選択した
ボクセルの投票数Ｖとその位置(X_t,Y_t,Z_t)を新たな最大
投票数V_Mと最大点位置(X_M,Y_M,Z_M)として基準逆投影線情
報記憶部３４内の対応する基準逆投影線についての情報
を書き換える。

【００３３】このようにして１本の基準逆投影線（例え
ばL₀₀ ）上の全てのボクセルについて任意の順にボーテ
ィング処理と比較更新処理を終了すると基準逆投影線情
報記憶部３４のその基準逆投影線L₀₀ についての記憶領
域に最大の投票数V_Mと、その最大投票数V_Mが与えられた
ボクセルの位置(X_M,Y_M,Z_M)が得られる。この位置は１つ
の３次元特徴点の位置を表している。ほかの基準逆投影
線L₀₁,…についても同様の処理を行うことによりそれぞ
れ最大投票数V_Mを与えるボクセルの位置(X_M,Y_M,Z_M) が
それぞれの３次元特徴点の位置として得られる。制御部
３５は各部３１、３２、３３におけるそれぞれの基準逆
投影線通過ボクセルに対する上述のような処理の順序と
繰り返しを制御し、全基準逆投影線についての処理の終
了後に基準逆投影線情報記憶部３４から３次元特徴点の
位置を読み出して出力する。

【００３４】図５の装置では、(a) 全基準逆投影線を１
本ずつ選択し、選択した基準逆投影線についてそれが通
過するボクセルの位置を求め、そのボクセルに対するボ
ーティング処理、及び比較更新処理を実行することを全
通過ボクセルに対し繰り返し、同様の処理を全基準逆投
影線に対し繰り返してもよい。(b) あるいはボクセル空
間VSの基準逆投影線が入射する面（図４ではX-Y 面）と
平行な面（即ちＺ軸に垂直な面）でボクセル長ごとにボ
クセル空間VSをスライスして得られる各スライスS_tをボ
クセルスライスと定義すると、同一ボクセルスライス内
の全基準逆投影線が通過する全てのボクセルに対しボー
ティング処理と比較更新処理を実行し、同様の処理を全
てのボクセルスライスについて所望の順に繰り返しても
よい。前者(a) の場合、もし図５の装置で、１つの３次
元特徴点の位置が得られる毎に、その位置をこの装置か
ら出力すればよい場合は、基準逆投影線情報記憶部３４
には少なくとも１本の基準逆投影線についての最大投票
数V_Mとそれを与えたボクセル位置(X_M,Y_M,Z_M)を記憶する
領域があればよい。

【００３５】後者(b) の場合のように、ボクセルスライ
ス毎に全基準逆投影線が通過する全ボクセルに対するボ
ーティング処理を行う場合は、全基準逆投影線について
それまでに得られている最大投票値V_Mと、そのボクセル
位置(X_M,Y_M,Z_M)をそれぞれ保持しておく必要があるの
で、少なくとも全基準逆投影線の数F_sに対応するだけの
数のV_Mと(X_M,Y_M,Z_M)の組を記憶する領域を用意しておけ
ばよい。この場合は、(b-1) ボクセルスライスS_tの全基
準逆投影線が通過する全てのボクセルについてのボーテ
ィング処理と比較更新処理を、１つのボクセルごとに実
行する場合と、(b-2) それら全てのボクセルについてボ
ーティング処理を終了後にそれらのボーティング結果に
基づいて比較更新処理を全てのボクセルについて行う２
つの方法がある。後者(b-2) の場合は、各ボクセルスラ
イス毎に全ボーティング結果に対し比較更新処理が終了
するまでそのボーティング結果を保持するための投票情
報記憶部３２M をボーティング処理部３２に設けてもよ
い。

【００３６】いずれの場合にせよ、従来技術で必要とさ
れるメモリの規模と比べて著しく少なくてすむ。しかも
基準逆投影線上のボクセルに対してのみボーティング処
理を行えばよいので従来に比べて処理量及び処理時間を
著しく削減できる。図６は図５の装置による３次元特徴
点抽出処理の手順を上記第２の方法(b) に従って示す。
ステップS1で、全基準逆投影線及び全参照逆投影線を、
入力された２次元特徴点データから求める。次にステッ
プS2で１枚のボクセルスライスS_tを選択し、そのボクセ
ルスライス内の全基準逆投影線が通過する全ボクセルを
選択する。ステップS3では、選択したボクセルに対する
参照逆投影線によるボーティングをそれぞれ行う。次に
ステップS4で、それぞれの基準逆投影線についてそれま
での最大投票数V_MとステップS3で得られた投票数Ｖとを
比較し、Ｖ＞V_MであればステップS5で今回の投票数Ｖと
そのボクセル位置(X_t,Y_t,Z_t)を新たな最大投票数（単に
最大値と呼ぶ）V_M及びそのボクセル位置(X_M,Y_M,Z_M)とし
て更新し、ステップS6に移る。ステップS4でＶ＞V_Mでな
ければそのままステップS6に進む。ステップS6で全ボク
セルスライスについて処理が終了したか判定し、終了し
ていなければステップS2に戻り、再び他のボクセルスラ
イスを選択し、前述と同様の処理を繰り返す。図６にお
いて、基準逆投影線毎にボクセルの選択（ステップS
2）、ボーティング処理（ステップS3）、比較更新（ス
テップS4,S5 ）を繰り返してもよいことは前述の通りで
ある。

【００３７】図５及び６で説明したこの発明の原理を使
った各種実施例について以下に説明する。第１実施例図７は図５に示した本発明の原理に基づく第１の実施例
の３次元情報抽出装置の概略構成図である。図５で示し
た原理的構成と同様に逆投影線通過位置算出部３１と、
ボーティング処理部３２と、比較更新処理部３３と基準
逆投影線情報記憶部３４とを有している。制御部３５は
これら各部３１、３２、３３、３４の動作及び処理手順
を制御するためのものである。この実施例では各ボクセ
ルスライスS_t毎にボーティング処理と比較更新処理を行
うため、ボーティング処理部３２内に１枚のボクセルス
ライスを構成するN_X×N_Y個のボクセルにそれぞれ対応し
たN_X×N_Y個のメモリ領域を有する投票情報記憶部３２Ｍ
が設けられる。本実施例の３次元情報抽出装置は、図１
の逆投影線情報生成部２０で求められた逆投影線情報が
与えられ、対象とする３次元物体上の特徴点の３次元座
標を抽出して出力するものである。施例の３次元情報抽
出装置の動作について説明する。

【００３８】この第１実施例による本装置の全体の処理
は、図８に示すように３次元ボクセル空間VSをボクセル
の厚さでスライスしたボクセルスライスS_t毎に実行され
る。以下、対象とするボクセルスライスS_tを図４に示す
ようにＺ軸に垂直な場合を例として説明する。また、図
１の場合と同様に簡単化のためボクセル座標（Ｘ、Ｙ、
Ｚ）とワールド座標（ｘ，ｙ，ｚ）の原点位置及び座標
系の整数単位長は互いに等しいものとする。またある逆
投影線が通過するボクセルとは、その逆投影線が入射す
る面を座標原点Ｏ側の側面として有するボクセルを指
し、通過位置とはそのボクセルを含むスライスに対する
逆投影線が入射する面上の入射点のワールド座標（ｘ，
ｙ，ｚ）を指すものとする。あるボクセルスライスS_tに
ついて、全逆投影線Ｌの通過位置を算出する処理、全逆
投影線Ｌをボーティングする処理、基準画像I_sの全基準
逆投影線L_sに関する最大点情報を比較更新する処理が行
われ、これらの処理を全てのボクセルスライスS_t（t=1,
2,…,N_Z-1 ）に対して順次実行していく。以下、１枚の
ボクセルスライスS_tについて実行されるこれらの処理に
ついて説明する。

【００３９】逆投影線通過位置算出部３１では、従来例
と同様にして図１の逆投影線情報生成部２０で求められ
た逆投影線情報が与えられ、対象とするボクセルスライ
スS_t(Z=t,t=0,1,…,N_Z-1) における全逆投影線Ｌのそれ
ぞれの通過位置のボクセル座標(X_t,Y_t) を求めて、ボー
ティング処理部３２のボーティング部３２Ａに順次与え
る。また、同時に求められた基準画像I_sからの逆投影線
L_sの通過位置のボクセル座標(X_t,Y_t) とボクセルスライ
スS_tの座標Z=t は、後述する基準逆投影線情報記憶部３
４へも出力する。以下、通過位置（ｘ，ｙ）を求める際
の算出方法の例を示す。

【００４０】例えば、視点11₀ と画像I₀上の１つの特徴
点P_fを結ぶ直線である逆投影線L₀は、その画像I₀の視点
11₀ のワールド座標(x_c,y_c,z_c)と、画像I₀上の特徴点P_f
のワールド座標(x_f,y_f,z_f)から、次の直線の式 (x -x_c)/(x_f-x_c)＝(y -y_c)/(y_f-y_c)＝(z -z_c)/(z_f-z_c) (1) により表すことができる。簡単のため各ボクセルを一辺
がワールド座標における長さ“１”の立方体であると
し、対象としている第ｔ番ボクセルスライスS_tのワール
ド座標のｚ軸方向の位置を例えばz_t=tとすると、次式 x_t＝(t-z_c)(x_f-x_c)/(z_f-z_c)＋x_c y_t＝(t-z_c)(y_f-y_c)/(z_f-z_c)＋y_c (2) より逆投影線L₀がボクセルスライスS_tを通過する位置の
ワールド座標(x_t,y_t,z_t)が得られる。前述と同様に任意
の実数ａ以下の最大の整数を[ａ]と表すとボクセルスラ
イスS_tで逆投影線が通過するボクセルのボクセル座標(X
_t,Y_t) はX_t=[x_t],Y_t=[y_t] により与えられる。即ち、ボ
クセル座標値X_t,Y_t はワールド座標値x_t,y _t のそれぞれ
の整数部で与えられる。

【００４１】この実施例では投票情報記憶部３２Ｍは、
１枚のボクセルスライスS_t上の全ボクセル(N_X・N_Y個）に
それぞれ対応する記憶領域（N_X・N_Yワード)を有し、ボク
セルスライスS_t内の逆投影線が通過する各ボクセルに対
応する記憶領域にはそのボクセルを通過する逆投影線数
（即ち投票数）が記憶される。投票情報記憶部３２Ｍ
は、例えば図８に模式的に示すように１枚のボクセルス
ライスS_tに対応して記憶領域が２次元配列状にアドレス
されたRAM などで構成される。また、投票情報記憶部３
２Ｍの内容は予め“０”に初期化されるものとする。

【００４２】ボーティング部３２Ａは、全逆投影線に対
して、逆投影線通過位置算出部３１で求められた各逆投
影線のボクセルスライスS_t上の通過ボクセル位置(X_t,
Y_t) が与えられる毎に、投票情報記憶部３２Ｍ内のその
通過ボクセル位置に対応する領域に記憶されている値を
読み出し、その値に＋１をして、再び投票情報記憶部３
２Ｍ内の同じ領域に書き込むことを全ての逆投影線につ
いて行うことにより、ボーティング処理を行うものであ
る。即ち、ボーティング処理部３２は逆投影線数計数手
段を構成している。

【００４３】基準逆投影線情報記憶部３４のF_s本の基準
逆投影線L₀₀,L₀₁,…にそれぞれ対応するアドレス0,1,
…,F_s-1 で指定される各領域は、対応する基準逆投影線
について前回までのボクセルスライスの処理により得ら
れている最大点座標(X_M,Y_M,Z_M)を格納するフィールド４
Ａと、その最大投票数V_Mを格納するフィールド４Ｂと、
基準逆投影線の現スライスS_tの通過ボクセル座標(X_t,
Y_t) を格納するフィールド４Ｃとを有している。現スラ
イスS_tに対する基準逆投影線L_sがそれぞれ通過するボク
セルの座標(X_t,Y_t) は、それらのボクセルに対する投票
数Ｖを投票情報記憶部３２Ｍから読み出すためのアドレ
スとして比較更新処理部３３により使用される。基準逆
投影線情報記憶部３４は基準逆投影線にそれぞれ対応す
るアドレスにより指定された領域の読み出し、書き込み
が可能な、例えばRAM により構成される。フィールド４
Ｂの最大投票数V_Mは装置全体の処理の開始時に予め
“０”に初期化される。

【００４４】比較更新処理部３３では、Ｚ軸方向の位置
Z_tのボクセルスライスS_tの処理において、基準画像の全
基準逆投影線L_sに対して、まず基準逆投影線情報記憶部
３４のフィールド４Ｃに記憶されている基準逆投影線L_s
の各通過位置のボクセル座標(X_t,Y_t) をアドレスとし
て、投票情報記憶部３２Ｍの対応する領域に記憶されて
いる投票数Ｖを読み出し、次に読み出された投票数Ｖ
と、基準逆投影線情報記憶部３４のフィールド４Ｂに記
憶されているその基準逆投影線L_sに関する過去のボクセ
ルスライスでの最大投票数V_Mとを比較し、Ｖ＞V_Mであれ
ば、この投票数Ｖを新しい最大投票数V_Mとして、基準逆
投影線情報記憶部３４のフィールド４Ｂ内のその基準逆
投影線についての最大投票数V_Mを書き換え、またそのと
きのボクセル座標(X_t,Y_t,Z_t)を最大得票ボクセル座標(X
_M,Y_M,Z_M)としてフィールド４Ａの内容を更新する。最大
点の座標と最大値の組(X_M,Y_M,Z_M,V_M) を最大点情報と呼
ぶ。投票情報記憶部３２Ｍから読み出された投票数Ｖが
Ｖ≦V_Mであれば最大点情報の更新は行わない。

【００４５】制御部３５は各ボクセルスライスS_tについ
ての通過位置算出処理と、ボーティング処理と、比較更
新処理とを終了する毎に投票情報記憶部３２Ｍの全内容
をクリアし、次のボクセルスライスS_t+1についての全逆
投影線が通過するボクセル座標(X_t,Y_t) の計算と、ボー
ティング処理及び比較更新処理を同様に実行させる。こ
のようにして全ボクセルスライスについて任意の順番に
順次処理を実行し、全てのボクセルスライスS_tの処理が
終了すると、基準逆投影線情報記憶部３４のフィールド
４Ａに記憶されている最大点座標(X_M,Y_M,Z_M)は、基準画
像の各基準逆投影線L_s上で異なる参照画像から通過する
基準逆投影線数が最も大きいボクセルの位置を示してい
る。従って、３次元空間上で特徴点が存在する可能性が
最も高い位置であり、制御部３５はその記憶されている
最大点位置のボクセル座標(X_M,Y_M,Z_M)を特徴点の３次元
座標として読み出し、必要があればさらにZ_Mから式(2)
を使ってワールド座標(x,y,z) に変換して出力する。た
だし、測定誤差やボクセル量子化誤差などの影響による
誤検出を防ぐため、記憶されている最大値V_Mに基づいて
閾値処理などを行うことにより、抽出精度を上げてもよ
い。

【００４６】図９のＡ及びＣは、各ボクセルスライスに
対し実行される上述の処理を、それぞれのボクセルスラ
イスに対し次々と実行して進めていく場合の、あるボク
セルスライスS_t(Z_t=5)における基準逆投影線情報記憶部
３４の４本の基準逆投影線L₀ ₀,L₀₁,L₀₂,L₀₃ についての
比較更新処理前と比較更新処理後の内容を示し、図９Ｂ
は同じボクセルスライスS_t(Z_t=5)における投票情報記憶
部３２Ｍのボーティング処理後の内容を示している。こ
の例ではボクセルスライスのサイズN_X×N_Yは８×８の場
合を示しているがもちろん任意の大きさに対しても同様
に処理することができる。以下、図９Ａ，Ｂ，Ｃにおけ
る処理の流れの例について説明する。

【００４７】まず、ボクセルスライス(Z_t=5)に対して逆
投影線通過位置算出部３１で全逆投影線Ｌの通過ボクセ
ル位置を算出する。このとき、基準画像の基準逆投影線
(L₀₁,L₀₂,L₀₃,L₀₄) については、求められた通過ボクセ
ル位置(X_t,Y_t) を図９Ａに示す基準逆投影線情報記憶部
３４内のフィールド４Ｃに書き込む。次に、ボーティン
グ部３２Ａは図９Ｂに示す投票情報記憶部３２Ｍ内の全
逆投影線Ｌの通過ボクセル位置(X_t,Y_t) に対応する領域
の値をそれぞれ読み出し、その値に＋１処理をして、そ
の値を再び同じ領域に書き込む。これにより通過ボクセ
ル位置の逆投影線数が順次計数され、最終的な逆投影線
数、即ち投票数Ｖが投票情報記憶部３２Ｍに書き込まれ
る。その結果が図９Ｂの状態である。

【００４８】次に、基準逆投影線情報比較更新処理を行
う。例えば基準逆投影線L₀₀ の過去の最大投票数V_M=1と
し（図９Ａ）、基準逆投影線L₀₀ の通過ボクセル位置(X
_t,Y_t)=(2,2) に対応する投票情報記憶部３２Ｍの値V=5
（図９Ｂ）とを比較すると、１＜５であるので、基準逆
投影線L₀₀ の過去の最大値をV_M=5に更新し、そのときの
最大点ボクセル位置も(X_M,Y_M,Z_M)=(2,2,5)に更新する
（図９Ｃ）。基準画像の残りの基準逆投影線L₀₁,L₀₂,L
₀₃ についても同様にして比較更新処理を行った結果、
基準逆投影線L₀₂については更新され、L₀₁,L_D3について
は更新されずに前の値のまま保持され、図９Ｃの基準逆
投影線情報記憶部３４のフィールド４Ａ，４Ｂに示され
た値(X_M,Y_M,Z_M,V_M) のようになる。

【００４９】以上のボクセルスライスS_tに対し実行され
る処理を全てのボクセルスライスに対して実行したなら
ば、最終的に残った最大点位置のボクセル座標(X_M,Y_M,Z
_M)は、基準逆投影線上で参照画像から通過する逆投影線
数がもっとも大きいボクセルの位置であるから、その最
大点ボクセル座標(X_M,Y_M,Z_M)を特徴点の３次元座標とし
て出力する。

【００５０】この第１実施例の３次元情報抽出装置によ
れば、投票情報記憶部３２Ｍ及び基準逆投影線情報記憶
部３４を通常のRAM で構成することが可能であり、ハー
ドウェア化に際して極めて低コストで実現することがで
きる。また、逆投影線通過位置算出処理、ボーティング
処理及び最大点情報の比較更新処理は、いずれも単純な
処理の繰り返しによるものであり、従ってパイプライン
処理に適しており、処理を高速化することができるとい
う利点がある。なお、図７において、基準逆投影線情報
記憶部３４内に位置算出部３１で計算した現在処理対象
となっているボクセルスライスS_tの基準逆投影線が通過
するボクセル座標(X_t,Y_t) を格納するフィールド４Ｃを
設けたが、これら基準逆投影線通過ボクセル座標(X_t,
Y_t) を記憶するメモリを位置算出部３１または比較更新
処理部３３に設けてもよい。また上述において、基準画
像として他の画像の１つを選び、同様の３次元特徴抽出
処理を再び行うことにより、３次元特徴点の確からしさ
を高めることができ、かつ、１つの基準画像で観察され
ていない３次元特徴点を検出することもできる。

【００５１】第２実施例図１０は本発明の第２の実施例を示す３次元情報抽出装
置の概略構成図である。図中、３４は基準逆投影線情報
記憶部、34₁〜34_Dは基準逆投影線情報メモリであり、第
１の実施例と同様の構成部分には同一の符号を付して示
す。本実施例は、Ｒ枚の画像のうち基準画像として他の
画像を選んで第１実施例の処理を繰り返すかわりに、前
述の第１の実施例において、撮像されたＲ枚の画像のう
ちのＤ枚（Ｄ≧２）を同時に基準画像として用い、残り
のＲ−Ｄ枚を参照画像として用いる場合の例である。第
１実施例と比較した場合、基準逆投影線情報記憶部３４
内に基準画像として用いる画像枚数Ｄに相当するだけの
基準逆投影線情報メモリ34₁〜34_Dが設けられている点で
異なる。以下、本実施例の３次元情報抽出装置の動作に
ついて説明する。

【００５２】全体の処理については、第１実施例と同
様、ボクセルスライスごとに実行される。また、同様に
各ボクセルスライスS_tの処理において、全逆投影線の通
過するボクセル位置を算出する処理、全参照逆投影線を
ボーティングする処理、基準画像（ここではＤ枚の画
像）の全基準逆投影線に関する最大点情報を比較更新す
る処理が行われ、これらの処理を全てのボクセルスライ
スS_t(Z_t=t,t=0,1,…,N_Z-1)に対して順次実行していく。
ボクセルスライスS_tに対し実行されるこれらの処理にお
いて、図１０の逆投影線通過位置算出部３１、ボーティ
ング部３２Ａ及び投票情報記憶部３２Ｍ、比較更新処理
部３３、制御部３５は、図７に示した第１の実施例と同
様の構成でよい。

【００５３】基準逆投影線情報記憶部３４は、図１０に
示すように基準画像として用いる画像枚数Ｄに相当する
だけのメモリ34₁〜34_Dを持つ。各メモリ34₁〜34_Dは全基
準逆投影線のそれぞれについて図７の実施例と同様に最
大点ボクセル座標(X_M,Y_M,Z_M)を格納するフィールド４
Ａ、最大得票数V_Mを格納するフィールド４Ｂ、現ボクセ
ルスライスS_tの通過ボクセル位置(X_t,Y_t) を格納するフ
ィールド４Ｃを有している。

【００５４】比較更新処理部３３では、Ｄ枚の基準画像
のそれぞれについて全基準逆投影線に対して、図７の実
施例と同様の処理を行う。即ち、基準逆投影線情報メモ
リ34 ₁〜34_Dに記憶されている基準逆投影線の通過位置の
ボクセル座標(X_t,Y_t) に基づき、投票情報記憶部３２Ｍ
の対応する領域から読み出した投票数Ｖと、記憶されて
いる最大投票数V_Mとを比較し、V_M＜Ｖであれば最大投票
数V_Mと最大点ボクセル座標(X_M,Y_M,Z_M)を更新する。この
処理を全ての基準画像に対して行う。

【００５５】上記処理を全てのボクセルスライスS_tに対
して実行したならば、図７の第１実施例と同様に、メモ
リ34₁〜34_D内に最終的に残った最大点ボクセル座標(X_M,
Y_M,Z _M)は、Ｄ枚の基準画像の基準逆投影線上で参照画像
から通過する逆投影線数が最も大きいボクセルの位置で
あるから、その最大点位置がボクセル座標(X_M,Y_M,Z_M)を
読み出して特徴点の３次元座標として出力する。このと
き、図７の第１実施例と同様に、測定誤差や量子化誤差
などの影響による誤検出を減らすため、記憶されている
最大値V_Mに基づいた閾値処理などを行うことにより、抽
出精度を上げることができる。また、本実施例では、基
準画像として視点の異なる複数枚の画像を用いるので、
各画像において得られた最大点ボクセル座標を統合化し
て特徴点の３次元座標を抽出することができる。統合化
する方法としては、Ｄ個のメモリ34₁〜34_Dに得られた最
大点位置情報のうち、例えば座標の異なる全ての最大点
位置をそれぞれ異なる３次元特徴点の座標として抽出す
る方法や、座標の等しい最大点位置情報を１個の最大点
位置情報としてまとめる場合に、その最大点位置(X _M,
Y_M,Z_M)における所定閾値以上の最大得票数V_Mの抽出最大
位置が所定数以上存在したボクセル位置のみ特徴点の３
次元座標として抽出する方法など、種々の方法が容易に
考えられる。

【００５６】このように、第２実施例では、入力された
複数基準画像からの基準逆投影線に対して、それぞれ最
大点情報を記憶し、比較更新処理することにより、基準
画像を１枚だけ使う場合に比べ、物体の形状による遮蔽
などの影響を低減することができ、実在する特徴点のう
ちの未検出特徴点の数を減らすことができる。また、基
準画像を１枚のみにした場合には、カメラレンズの中心
の位置ずれや量子化誤差による画像上特徴点の位置ずれ
のために生ずる逆投影線の位置ずれの影響を直接受け、
真の特徴点位置を検出できない場合が発生する恐れがあ
るが、基準画像を複数枚にした場合、最終的に得られる
複数基準画像に対する最大点情報を用いることにより、
真の特徴点位置の未検出を減らすことができる。

【００５７】さらに、入力画像の中から基準画像を選ぶ
際、カメラ位置が互いに離れた画像を適切に選ぶことに
より、基準画像の枚数を少なくしても３次元座標の抽出
の精度を高くすることが可能である。以上説明したよう
に、第１及び第２実施例の３次元情報抽出装置によれ
ば、投票数を記憶するための手段として、３次元ボクセ
ル空間内の全ボクセルに対応した記憶領域を持つ必要が
なく、３次元空間の１つの断面上の全ボクセルに対応す
るだけの記憶領域があればよく、ハードウェア量を大幅
に削減することができる。

【００５８】また、逆投影線数を計数する処理と逆投影
線情報を比較更新する処理を一連のボクセルスライスに
対する処理の中で行うことができ、しかも従来例のよう
に逆投影線数を計数した後、３次元空間上で極大値を求
めるといった複雑な処理を必要としないため、処理量を
大幅に低減することができる。また、第２実施例の３次
元情報抽出装置によれば、３次元物体の形状による遮蔽
などの影響を低減することができ、また特徴点の検出位
置精度を高めることができる。

【００５９】第３実施例図１１、図１２、図１３Ａ及びＢは本発明の第３実施例
を示すもので、図１１は３次元情報抽出装置の概略構成
図、図１２は本装置が具備する処理ブロックアレイPBA
の１つの処理ブロックPBの概略構成図、図１３Ａ及びＢ
はデータパケットの例を示す図である。

【００６０】前述の第１及び第２実施例では各基準逆投
影線上のボクセルに対しボクセルスライス毎にボーティ
ング処理を行い、投票数Ｖがその基準逆投影線上のボク
セルのそれまでの最大の得票数V_Mより大の場合は、記憶
部３４内のその最大得票数V_Mとそのボクセル位置(X_M,
Y_M,Z_M)を今回の投票数Ｖと、そのボクセル位置(X_t,Y_t,Z
_t)で更新することを基準逆投影線上のすべてのボクセル
について繰り返し実行し、最終的に各基準逆投影線上の
最大投票数V_Mを得たボクセルの位置(X_M,Y_M,Z_M)を３次元
特徴点の位置として求めた。この基本的考えは同じであ
るが第３実施例では１枚のボクセルスライスのボクセル
配列に対応して処理ブロック配列を設け、ボクセルスラ
イス内の基準逆投影線が通過するボクセルに対応する処
理ブロックにおいてそのボクセルに対するボーティング
処理と比較更新処理を行い、その基準逆投影線が通過す
る次のボクセルスライスのボクセルに対応する処理ブロ
ックに処理結果を転送することを順次繰り返し実行する
ことによって最終的に最大得票数V_Mのボクセル位置を得
るように構成している。以下にその詳細を説明する。

【００６１】本実施例の３次元情報抽出装置は、制御装
置３５と処理ブロックアレイPBA から構成されている。
制御装置３５は第１データパケット投入部351 と、第２
データパケット初期化部352 と、第１データパケット計
数命令制御部353 と、第２データパケット更新命令制御
部354 と、第１データパケット更新命令制御部355 と、
データパケット転送命令制御部356 と、第２データパケ
ット読み出し部357 とから構成されている。処理ブロッ
クアレイPBA は１ボクセルスライス内のN_X×N_Y個のボク
セルに対してN_X×N_Y個の処理ブロックPBを有している。
初期化部352 及び読み出し部357 は共通データパスCDB
により全処理ブロックPBに接続されており、命令制御部
353〜356は共通制御バスCCB を通して各処理ブロックPB
に接続されている。

【００６２】各処理ブロックPBは図１２に示すように、
データパケット受信部B36 と、第１データパケット計数
部B32Aと、第２データパケット更新部B33 と、第１デー
タパケット更新部B31 と、データパケット送出部B37
と、第１データパケット記憶部B32Mと、第２データパケ
ット記憶部B34 とからなる。本装置の全体の処理は、図
１１に示すように３次元ボクセル空間VSをスライスした
断面であるボクセルスライスS_tごとにその配列順に実行
される。

【００６３】２次元アレイ状に配列された処理ブロック
PBは、互いにデータ転送線ＤＬで接続されている。その
PBアレイの接続形態は、基準逆投影線に関わる情報が８
隣接PBのいずれへでも移動することができるように、例
えば後述の図１４に示すように８隣接のメッシュ結合と
されている逆投影線に関わる情報であるデータパケットは、図１３
Ａ及びＢに示すような構成の第１のデータパケットDP1
と第２のデータパケットDP2 とがある。第１のデータパ
ケットDP1 は、ある基準逆投影線があるボクセルスライ
スS_t(Z=t) を通過する位置のワールド座標(x_t,y_t) と、
その通過位置座標と次のボクセルスライスでの通過位置
ワールド座標(x_t+1,y_t+1) との差分である方向ベクトル
（Δx,Δy)によって構成されている。第２のデータパケ
ットDP2 は、基準画像の全ての基準逆投影線に対応する
第１のデータパケットDP1 にそれぞれ付随して設けら
れ、基準逆投影線上で過去に計数された中で最大であっ
た投票数（最大値）V_Mと、その最大点位置のボクセル座
標（最大点座標）(X_M,Y_M,Z_M)によって構成されている。
また、基準画像としては前述の第１及び第２の実施例と
同様にR(R≧3) 枚の入力画像の中の任意の１枚又は複数
枚を予め決める。

【００６４】第１データパケット記憶部B32Mは、使用す
る全画像に対応した領域0,1,…,R-1を有し、自又は隣接
処理ブロックPBから転送されてきた逆投影線に関する第
１データパケットDP1(x_t,y_t,Δx,Δy)をそれらの逆投影
線の投影元画像にそれぞれ対応する領域に記憶する。こ
の例では、例えば０番目の領域を基準画像からの逆投影
線に関わる第１データパケットに割り当て、他の参照画
像からの逆投影線に関わる第１データパケットを第１〜
R-1 番目の予め決めた領域にそれぞれ割り当てるものと
する。１つの特徴点に対応する１つの処理ブロックPBに
送られる第１データパケット数の最大値、即ち１ボクセ
ルを通過する逆投影線数は、３次元ボクセル空間の解像
度や入力画像の解像度等によっても変わるが、同一画像
の異なる特徴点からの２本以上の逆投影線が同じボクセ
ルを通過しないものとすれば、理想的には１つの処理ブ
ロックPBに送られる第１データパケットDP1 の数の最大
値は、画像枚数と同じＲ個なので、第１データパケット
記憶部B32Mの領域数は少なくとも使用画像数Ｒだけあれ
ばよい。第２データパケット記憶部B34 は、処理ブロッ
クPBに送られて来た基準逆投影線に関する第２データパ
ケットDP2 を記憶するもので、上記と同様に同一基準画
像の異なる特徴点から投影された２本以上の基準逆投影
線が同じボクセルを通過しないものとすれば、１つの処
理ブロックPBに送られる第２データパケット数の最大値
は、１個である。従って、第２データパケットDP1 を記
憶する領域は１個でよい。

【００６５】次に図１１、１２の実施例による装置の動
作を説明する。ステップＳ１：まず、第１データパケット投入部351 で
は、処理ブロックアレイPBA の初期化として、本装置に
全画像について入力された逆投影線に関わる情報、即ち
全逆投影線が最初に通過するボクセルスライスS₀におけ
る初期通過位置ワールド座標(x ₀,y₀) と方向ベクトル
（Δx，Δy）からなる情報を前記第１データパケットDP
1として、通過ワールド座標(x₀,y₀) に対応するボクセ
ル座標(X₀,Y₀) の処理ブロックPBへ共通データ線CDB を
通して転送する。同一画像上の複数の異なる特徴点から
逆投影される直線は同一ボクセルを通らないので、同一
ボクセルを通る複数の逆投影線はそれぞれ異なる画像か
ら投影されたものである。１つ又は複数の第１データパ
ケットを受信した各処理ブロックPBはその第１データパ
ケットDP1 の関わる逆投影線が発祥した画像に対応する
記憶領域にそれぞれ受信した第１データパケット(x₀,
y₀,Δx,Δy) を書き込む。

【００６６】ステップＳ２：次に、第２データパケット
初期化部352 では、全処理ブロックPBに対し、第２デー
タパケット記憶部B34 の初期化命令（クリア信号）CLを
与える。各処理ブロックPBは初期化命令CLに応答して第
２データパケット記憶部B34 の最大点情報(X _M,Y_M,Z_M,
V_M) を、例えば全て０に初期化する。または、別の例と
して基準逆投影線が通過するボクセルに対応する処理ブ
ロックPBに第２データパケット初期化部352 から第２デ
ータパケットDP2 を転送してもよい。以上の初期化によ
り各基準逆投影線が通過するボクセルに対応する処理ブ
ロックPBには１つの第２データパケットDP2 と少なくと
も１つの第１データパケットDP1 が与えられ、参照逆投
影線のみが通過する各ボクセルに対応する処理ブロック
PBには少なくとも１つの第１データパケットDP1 が転送
される。処理ブロックPBはデータパケット受信部B36 で
受信した第１データパケットDP1 を全て第１データパケ
ット記憶部B32Mに格納し、受信した第２データパケット
DP2 を第２データパケット記憶部B34 に格納する。

【００６７】ステップＳ３：処理ブロックアレイ初期化
の後、第１データパケット計数命令制御部353 は、全処
理ブロックPBに対し第１データパケットDP1 を計数する
命令を与える。各処理ブロックPBは計数命令に応答して
第１データパケット記憶部B32M内に存在する第１データ
パケット数をそれぞれ計数することにより、それらの処
理ブロックPBの位置を通過する逆投影線数（投票数）Ｖ
を計数する。即ち、図１２に示す処理ブロックPBでは、
データパケット受信部B36 が第１データパケット記憶部
B32Mに書き込んだ全第１データパケットDP1 を第１デー
タパケット計数部B32Aにより計数する。

【００６８】ステップＳ４：次に、第２データパケット
更新命令制御部354 は、全ての処理ブロックPBに対して
第２データパケットDP2 の比較更新処理の命令を与え
る。第１データパケット記憶部B32Mの第０領域に基準逆
投影線に関する第１データパケット(x_t,y_t,Δx,Δy) を
有する処理ブロックPBの第２データパケット更新部B33
は、第１データパケット計数部B32Aが計数した第１デー
タパケット数Ｖと、第２データパケット記憶部B34 に保
持されている最大得票数V_Mとを比較更新命令に応答して
比較し、計数した第１データパケット数Ｖの方が大きけ
れば第２データパケット記憶部B34 内の最大得票数V_Mを
その計数値Ｖにより更新し、最大点座標(X_M,Y_M,Z_M)を第
１データパケット記憶部B32Mの第０領域に保持されてい
る基準逆投影線の通過座標(x_t,y_t) とボクセルスライス
の座標(Z=t) から求めたX_M=[x_t],Y_M=[y_t],Z_M=tにより更
新する。

【００６９】ステップＳ５：第１データパケット更新命
令制御部355 は、全ての処理ブロックPBに対して第１デ
ータパケットDP1 の更新処理の命令を与える。第１デー
タパケット記憶部B32Mに逆投影線に関する第１データパ
ケットを有する処理ブロックPBの第１データパケット更
新部B31 は更新命令に応答して、第１データパケット記
憶部B32M内の各逆投影線の第１データパケットについ
て、データパケットの持つ通過位置ワールド座標(x_t,
y_t) と方向ベクトル（Δx，Δy）を基に、次の隣接した
ボクセルスライスS_t+1(Z=t+1) に対する通過位置ワール
ド座標(x_t+1,y_t+1) を x_t+1=x_t+Δx, y_t+1=y_t+Δy (3) により求め、それによりそれぞれの領域の通過位置(x_t,
y_t) を更新する。この演算は例えば加算機を第１データ
パケット更新部B31 内に持つことにより容易に実現する
ことができる。

【００７０】ステップＳ６：データパケット転送命令制
御部356 は、全ての処理ブロックPBに対して、使用画像
枚数Ｒと同じ回数だけデータパケット転送タイミング信
号を順次与える。各処理ブロックPBのデータパケット送
出部B37 は、与えられたＲ回のデータパケット転送タイ
ミング信号に同期して第１データパケット記憶部B32M内
のＲ個の領域０〜R-1 を順次読み出し、第１データパケ
ットDP1 があればその第１データパケットDP1 を、前記
第１データパケット更新部B31 で式(3) により求めた次
のにボクセルスライスS_t+1における通過位置ワールド座
標(x_t+1,y_t+1) に対応するボクセル座標(X_t+1,Y_t+1)=
([x_t+1],[y_t+1]) の処理ブロックPBに送出する。ただし
第０領域の第１データパケットについては、記憶領域B3
4 の第２データパケットDP2 を添付して送出する。デー
タパケットの送出先は、例えば８個の隣接した処理ブロ
ックPBと自処理ブロックPB中の何れか１つである。送出
先が自処理ブロックの場合はデータパケットの転送を行
わないでよい。

【００７１】このように最初のボクセルスライスS_t(t=
0) についての処理を終了すると、次にステップＳ３に
戻り、前述と同様に第２のボクセルスライスS_t+1の処理
を開始する。即ち、第１データパケット計数命令制御部
353 は全処理ブロックPBに対し、第１データパケットDP
1 の数を計数させる命令を与え、それに応答して各処理
ブロックPBは隣接処理ブロックから転送されてきた第１
データパケットDP1 の数を計数し、ステップＳ４で第２
データパケット比較更新命令に応答して記憶部B34 内の
最大得票数V_Mと計数値Ｖを比較し、計数値Ｖが大きけれ
ば最大点情報(X_M,Y_M,Z_M,V_M) を更新し、ステップＳ５で
更新命令に応答して記憶部B32M内の全ての領域の(x_t,
y_t) を対応する方向ベクトル(Δx,Δy) により式(3) を
使って更新し、ステップＳ６で更新データパケットを次
のボクセルスライスの逆投影線通過ボクセルに対応する
処理ブロックに転送する。同様にしてステップＳ３〜Ｓ
６を残りの全てのボクセルスライスについて順次実行す
る。

【００７２】このように、あるボクセルスライス上のボ
クセル位置に割り当てられた処理ブロックPBでは、図１
２に示すように、データパケットDP1,DP2 を受信する処
理、データパケットDP1,DP2 を記憶する処理、第１デー
タパケットDP1 の数を計数する処理、第２データパケッ
トDP2 を比較更新する処理、第１データパケットDP1を
更新する処理、データパケットを転送する処理を行い、
これらの処理を全ての処理ブロックPBにおいて同時に実
行する。さらに、これらボクセルスライス上で行う処理
を全てのボクセルスライス(Z=0,1,…,N_Z-1) に対して順
次実行していく。

【００７３】全てのボクセルスライスにおける処理が終
了したら、最後に全ての第２データパケットDP2 を第２
データパケット読み出し部357 を経て出力する。このと
きの第２データパケットの情報は、基準画像からの逆投
影線上で通過する逆投影線の数がもっとも大きいボクセ
ル位置を示しており、これは、３次元空間上で特徴点が
存在する可能性がもっとも高い位置であるといえるか
ら、第２データパケットが持つ最大点座標(X_M,Y_M,Z_M)を
特徴点の３次元座標とみなして出力する。このとき、測
定誤差や量子化誤差等の影響による誤検出を減らすた
め、最大点情報が持つ最大値V_Mに基づいた閾値処理など
を行うことにより、抽出精度を上げることができる。

【００７４】このように、本実施例の３次元情報抽出装
置によれば、ボクセルスライスに対応した２次元処理ブ
ロックアレイPBA を用いることにより、ボクセルスライ
ス上の各ボクセル位置で行う処理を全てのボクセル位置
で同時に実行可能になり、３次元情報の抽出処理を大幅
に高速化することができる。また、逆投影線を全てデー
タパケットに割り当てて、これらが２次元処理ブロック
アレイ上を自律分散的に移動しながら３次元ボクセル空
間へのボーティング処理と最大値比較更新処理とを行う
ことにより、処理時間が逆投影線数、即ち、入力画像上
の特徴点の数に全く依存しないので、処理時間を変えず
に任意の特徴点数の画像に対する３次元情報抽出処理が
可能である。さらに、複数の入力画像を基準画像とする
ことにより、基準画像を１枚のみにする場合に比べ、物
体の形状による遮蔽などの影響を低減し、真の特徴点の
未検出を防止できるという利点がある。

【００７５】次に上述した処理ブロックアレイPBA 内の
処理ブロック間の接続例を示す。図１４は隣接８ブロッ
クメッシュ結合の例を１つの処理ブロックPBとその隣接
８処理ブロックについて示す。各処理ブロックPB内はデ
ータパケット受信部B36とデータパケット送出部B37 の
みを示し、その他の構成要素は図を簡略化するため示し
ていない。また、制御信号用の共通制御バスCCB 及び制
御装置３５と処理ブロックPB間の共通データバスCDB に
ついても図示しない。各処理ブロックPBは、使用されて
いるＲ枚の画像I₀,I₁,…,I_R-1 の所定の順番に、同一画
像に係わる逆投影線についてのデータパケットを有する
全ての他の処理ブロックと同時に転送処理を行う。従っ
て各ボクセルスライスS_tの処理においてＲ回の転送サイ
クルが順次実行される。

【００７６】各処理ブロックPBのデータパケット受信部
B36 は隣接する８つの処理ブロックのそれぞれのデータ
パケット送出部B37 に８本のデータ転送線DL_R により接
続され、データパケット送出部B37 は隣接する８つの処
理ブロックのそれぞれのデータパケット受信部B36 に８
本のデータ転送線DL_T により接続されている。この結合
によれば、転送すべき第１データパケット（基準逆投影
線に関するパケットの場合第２データパケットも添付さ
れる）の転送先処理ブロックは転送すべき第１データパ
ケットの更新されたデータx_t+1,y_t+1 からX_t+1=[x_t+1],
Y_t+1=[y_t+1] によって決まるので、８本のデータ線DL_T
のうちの転送先に対応する１本の出力線にデータパケッ
トを出力すればよい。この隣接８ブロックメッシュ結合
によればデータパケットの転送制御は単純であり、必要
とする処理時間も短いが処理プロセサ間の接続が複雑に
なる欠点がある。

【００７７】図１５は隣接４ブロックメッシュ結合の例
を示す。この場合も各ボクセルスライスS_tの処理におけ
るデータパケット転送処理は対応画像の順に全処理ブロ
ックで同時に実行される。この例では、各処理ブロック
PBのデータパケット受信部B36 は４本のデータ転送線DL
_R により水平方向及び垂直方向に隣接する４つの処理ブ
ロックのそれぞれのデータパケット送出部B37 と接続さ
れ、データパケット送出部B37 は４本のデータ転送線DL
_T により水平方向及び垂直方向に隣接する４つの処理ブ
ロックのそれぞれのデータパケット受信部B36 に接続さ
れている。

【００７８】各データパケット受信部B36 は宛先判定部
B36Aを有し、受信した第１データパケットDP1 中のデー
タ(x_t,y_t) が自処理ブロック宛か他処理ブロック宛かを
判別し、自処理ブロック宛であれば受信データパケット
DP1（及びDP2）を記憶部B32M、の現転送サイクルに対応
する領域（即ち画像に対応する領域）に書き込む。デー
タ(x_t,y_t) が他処理ブロック宛であればそのデータパケ
ットをデータパケット送出部B37 に送り、データパケッ
ト送出部B37 から宛先処理ブロックに対応するデータ線
の１つに送出する。従って、各処理ブロックは直接接続
されている上下左右の４つの処理ブロックのいずれに対
するデータパケットの転送においても１回の転送サイク
ルで転送が可能であるが、直接接続されていない斜め隣
の４つの処理ブロックのいずれにデータパケットを転送
する場合も、水平方向転送と垂直方向転送の２サイクル
を必要とする。従って図１５の例ではどの画像に対応す
るデータパケットの転送に対しても２サイクルを割り当
てる。

【００７９】ところで図１６Ａに示すように同じ視点１
１から延長され同じ画像Ｉ上の異なる特徴点P_fを通る全
ての逆投影線Ｌは、互いの間隔が広がるように放射され
る。従って、共通の視点１１からボクセルスライスS_tへ
垂直に延ばした垂線L_PのボクセルスライスS_tとの交点を
P₀とすると、図１６Ｂに示すようにボクセルスライスS_t
上でそれぞれの逆投影線Ｌが通過するボクセル位置（○
印で示す）に対し、それらの逆投影線が次のボクセルス
ライスS_t+1で通過するボクセルの位置（●印で示す）は
交点P₀を中心に全て互いに発散する方向に広がることか
ら、処理ブロックアレイPBA 上を転送される同一画像の
データパケットも図１６Ｃに矢印で示すように互いに発
散する方向にのみ転送される。このため、処理ブロック
PBに存在するデータパケットを隣接した処理ブロックPB
へ転送する際に、例えば所定の画像順に従ってデータパ
ケットを順次転送し、またデータパケットの転送時には
全ての処理ブロックPBが同期して同じ画像についてのデ
ータパケットを転送してもデータパケットの衝突は生じ
ない。その際、画像順は常に一定である必要はなく、即
ち処理ブロックPB間では常に同じ時間には同じ画像の逆
投影線のデータパケットのみが転送されていればよい。
このように、ある１画像上の逆投影線のデータパケット
を全て同時に転送しても、データパケットが衝突するこ
とはなく、従って、衝突のない極めて効率的な処理ブロ
ックPB間の転送処理を実現することができる。

【００８０】第４実施例図１７は上述のデータパケット転送をパイプライン方式
で実施する４隣接のメッシュ結合の処理ブロックアレイ
PBA の実施例を示す。図を簡略化するため、各処理ブロ
ックPB内には図１２に示す第１データパケット記憶部B3
2Mの各画像に対応する記憶領域０からR-1 のみを示し、
領域０は第２データパケット記憶部B34も含むものとす
る。この実施例では、図１２におけるデータパケット受
信部B36及びデータパケット送出部B37 のかわりに水平
入出力部３Ｈと垂直入出力部３Ｖが設けられ、それぞれ
水平データバスHDB 及び垂直データバスVDB に直列に接
続されている。本実施例では、データパケットを水平方
向へ転送するための水平転送手段を水平データバスHDB
と水平入出力部３Ｈによって構成し、データパケットを
垂直方向へ転送するため垂直転送手段を垂直データバス
VDB と垂直入出力部３Ｖによって構成する。水平データ
バスHDB は水平方向に隣接した全ての処理ブロックPBの
水平入出力部３Ｈ間を順次接続し、垂直データバスVDB
は垂直方向に隣接した全ての処理ブロックPBの垂直入出
力部３Ｖ間を順次接続している。

【００８１】水平入出力部３Ｈは処理ブロックPBの記憶
部B32M内にある第１データパケットDP1 中の更新された
データ(x_t+1,y_t+1) に対応する転送先処理ブロックが自
分以外の処理ブロックの場合は、その転送先処理ブロッ
クが自処理ブロックを含む列の右側であるか左側である
かにより、その第１データパケットDP1 を右側又は左側
に転送する水平データバスHDB に出力する。また、右又
は左に隣接する処理ブロックから受信した第１データパ
ケットを記憶部B32Mに書き込む。同様に、垂直入出力部
３Ｖは処理ブロックPBの記憶部B32M内にある第１データ
パケットDP1 中の更新されたデータ(x_t+1,y_t+1) に対応
する転送先処理ブロックが自分以外の処理ブロックの場
合は、その転送先処理ブロックが自処理ブロックを含む
行の上側であるか下側であるかにより、その第１データ
パケットDP1 を上側又は下側に転送する垂直データバス
VDB に出力する。また、上又は下に隣接する処理ブロッ
クから受信した第１データパケットを記憶部B32Mに書き
込む。

【００８２】上述において、水平転送と垂直転送の順を
逆にしても同様に行うことができる。この図１７の実施
例においても、各ボクセルスライスS_tに対する比較更新
処理の後に行うデータパケットの転送は、Ｒ枚の画像に
それぞれ対応して所定の順に、同一画像についての第１
データパケットを有するすべての処理ブロックPBで同時
に行われる。この実施例では特に、画像I₀〜I_R-1の所定
の順に従って、全処理ブロックPBの水平出力部３Ｈがあ
る画像(I_k)の逆投影線についての第１データパケットＤ
Ｐ１を領域ｋから水平方向に転送するサイクル間に、全
処理ブロックPBの垂直入出力部３Ｖは、水平入出力部３
Ｈが前サイクルで受信して書き込んだデータパケットの
領域（例えばk-1)に現在ある第１データパケットの宛先
が自処理ブロック以外であればその第１データパケット
を垂直方向に転送する。同様に全処理ブロックの水平出
入力部３Ｈが記憶部B32Mの次の領域（例えばk+1)の第１
データパケットを水平方向に転送するサイクルの間に垂
直入出力部３Ｖは領域ｋの第１データパケットを垂直方
向に転送する。各、水平、垂直入出力部３Ｈ，３Ｖは転
送しようとする領域の第１データパケットの更新された
データ（x_t+1,y_t+1)が示す宛先が自分以外の処理ブロッ
クであれば転送を実行し、自分宛であれば転送を行わな
い。また、各水平、垂直入出力部３Ｈ，３Ｖは受信した
第１データパケットを現在処理対象になっている領域に
書き込む。

【００８３】例えば図１７の中央の処理ブロックPB₂₂の
記憶部B32Mの領域ｋに書き込まれている更新された第１
データパケットＤＰ１の更新データ（x_t+1,y_t+1)が表す
転送宛先が右上の隣接処理ブロックPB₁₃の位置(1,3) で
あるとする。全処理プロセサの水平入出力部３Ｈと垂直
入出力部３Ｖがそれぞれ記憶部B32Mの領域ｋとk-1 を選
択している状態で、それらの領域内に第１データパケッ
トが存在し、それらの転送宛先が自分以外の処理ブロッ
クであれば領域ｋ,k-1の第１データパケットをそれぞれ
水平データパス３Ｈ，垂直データパス３Ｖに同じ動作サ
イクルで送出する。これによって処理ブロックPB₂₂の記
憶部B32Mの領域Ｋの第１データパケットＤＰ１は水平デ
ータパスHDB を通って右側の処理ブロックPB₂₃の水平入
出力部３Ｈに転送され、その処理ブロックPB₂₃の記憶部
B32Mの領域Ｋに書き込まれる。次の動作サイクルで全処
理ブロックPBの水平出入力部３Ｈと垂直入出力部３Ｖは
記憶部B32Mの領域k+1 とｋをそれぞれ選択し、そこにあ
る第１データパケットの宛先が自分以外の処理ブロック
であれば、それぞれそれらの第１データパケットを水平
データパスHDB 及び垂直データパスVDB に送出する。こ
れにより、処理ブロックPB₂₃の記憶部B32Mの領域ｋにあ
る第１データパケットはその宛先が(1,3) なので垂直入
出力部３Ｖから垂直データパスVDB を通って処理ブロッ
クPB₁₃の垂直入出力部３Ｖに転送され、その処理ブロッ
クPB₁₃の記憶部B32Mの領域ｋに書き込まれる。

【００８４】このように、図１７の実施例では各処理ブ
ロックから隣接処理ブロックへのデータパケットの各転
送処理は、水平方向転送と垂直方向転送の２サイクルが
割り当てられる。もし転送すべき第１データパケットの
宛先が左右、上下のいずれかに隣接した処理ブロックで
あれば２サイクルのうちの一方のサイクルで転送が行わ
れる。もし転送すべき第１データパケットの宛先が斜め
に隣接した処理ブロックであれば２サイクルで転送が行
われる。いずれの場合も、この実施例では水平方向転送
のサイクルと垂直方向転送へサイクルが同時に実行され
るので、記憶部B32Mの全領域０〜R-1内のデータパケッ
トに対する転送処理に要する時間は(R+1)サイクルであ
る。

【００８５】このような水平方向転送と垂直方向転送の
並列処理と図１１、１２、１７の構成を適用した三次元
情報抽出装置の４枚の画像を使った場合の３次元特徴抽
出動作をパイプライン処理で実行するタイムチャートを
図１８に示す。行ＡにボクセルスライスS_t,S_t+,… がそ
れぞれ処理される区間を示している。行Ｂは処理タイミ
ングを示している。行Ｃ及びＤはそれぞれ水平及び垂直
方向からの受信処理を表し、行Ｈ及びＩはそれぞれ水平
及び垂直方向への送出処理を表している。４つずつ連続
して配列されたボックス内の数字０、１、２、３は処理
対象である記憶部B32M内の領域番号を表し、従ってそれ
らの領域に書き込まれている逆投影線情報が属する４枚
の画像の番号に対応している。行Ｅは第１データパケッ
トの計数処理タイミングを示し、行Ｆは第２データパケ
ットの更新処理タイミングを示し、行Ｇは第１データパ
ケットの更新処理タイミングを示している。

【００８６】各スライス処理区間の最初のサイクル＃１
で処理ブロックPBの記憶部B32Mの第０領域を水平入出力
部３Ｈが選択し、読み出した第１データパケットの宛先
が自分以外の処理ブロックであればその宛先に従って右
方向又は左方向の水平データパスHDB に送出する（行
Ｈ）。その送出された第１データパケットは右または左
隣の処理ブロックの水平入出力部３Ｈで同時に受信され
（行Ｃ）、記憶部B32Mの同じ領域０に書き込まれる。次
のサイクル＃２で各処理ブロックPBの水平及び垂直入出
力部３Ｈ及び３Ｖはそれぞれ記憶部B32Mの領域１及び領
域０を選択し、それぞれの第１データパケットを読みだ
し、それらが他の処理ブロック宛のものであればそれぞ
れ水平及び垂直データバスHDB 及びVDB を通して同時に
右または左及び上又は下に隣接処理ブロックの水平及び
垂直入出力部３Ｈ，３Ｖに送信し（行Ｈ、Ｉ）、それら
を受信した隣接処理ブロックの水平及び垂直入出力部に
受信した２つの第１データパケットをそれぞれ領域１及
び領域０に書き込む（行Ｃ、Ｄ）。

【００８７】次にサイクル＃３で各処理ブロック部PBの
水平及び垂直入出力部３Ｈ，３Ｖはそれぞれ記憶部B32M
の領域２及び１を選択しそれぞれの第１データパケット
を送信し（行Ｈ、Ｉ）、それと共に隣接処理ブロックか
ら受信したそれぞれの第１データパケットと対応する領
域２及び１に書き込む（行Ｃ、Ｄ）。同様にサイクル＃
４で記憶部B32Mの領域３及び２の第１データパケットを
それぞれ水平及び垂直隣接処理ブロックに転送すると共
に（行Ｈ、Ｉ）、水平及び垂直隣接処理プロセサからそ
れぞれ受信した第１データパケットを領域３及び２に書
き込み（行Ｃ、Ｄ）、サイクル＃５では垂直入出力部３
Ｖにより領域３の第１データパケットを垂直隣接処理ブ
ロックに転送すると共に（行Ｄ）、垂直隣接処理ブロッ
クから受信した第１データブロックを領域３に書き込む
（行Ｉ）。以上によりパケット転送モードTMが終了し、
次に計数／更新モードC/U に入る。

【００８８】計数／更新モードC/U ではまず、それぞれ
の処理ブロックの第１データパケット計数部B32A（図１
２）に対し記憶部B32M内の第１データパケットの数を計
数させる。次に計数結果Ｖと第２データパケット記憶部
B34 （図１７では記憶部B32Mの領域０に付加されている
ものとして説明している）に保持されている最大得票数
V_Mと比較し、それより大であれば第２データパケット記
憶部B34 内の第２データパケット(X_M,Y_M,Z_M,V_M) を更新
し（行Ｆ）、次に第１データパケット記憶部B32M内の領
域０〜R-1 の全第１データパケットを式(３)により更新
する（行Ｇ）。以上でボクセルスライスS_tに対する処理
を終了し、以下、ボクセルスライスS_t+1,S_t+2,…につい
て上述と同様の転送モードTM及び計数・更新モードC/U
を繰り返し実行する。

【００８９】このように、図１７の実施例によれば、水
平転送と垂直転送をパイプライン処理することが可能に
なるため、処理ブロックアレイを４隣接のメッシュ結合
とした場合でも、処理ブロックアレイを直接８隣接のメ
ッシュ結合にした場合と同等の処理時間で全データパケ
ットの処理ブロックPB間の転送が可能になる。従って、
８隣接のメッシュ結合の場合に比べて極めて少ない接続
配線数で効率的な処理ブロックPB間の転送を実現するこ
とができる。

【００９０】以上説明したように、図１１、１２の３次
元情報抽出装置によれば、３次元空間のあるボクセルス
ライス上の１個の座標点で実行されるボーティング処理
と、最大点情報比較更新処理とを処理ブロックアレイPB
A 上の１個の処理ブロックに割り当てることができるの
で、これらの処理をあるボクセルスライス上の全ての座
標点で同時に実行可能になり、処理時間を大幅に削減す
ることができる。また、各断面ごとに前記ボーティング
処理と最大点情報比較更新処理を一度に行うことができ
るので、従来のように３次元空間へのボーティングの
後、再び３次元空間上で極大値を求めるような複雑な処
理を行う必要がなく、処理量が小さくなり、処理時間の
大幅な短縮をはかることができる。さらに、ある断面を
通過する全ての逆投影線に対する処理を同時に実行可能
になるので、処理時間は逆投影線数、即ち入力画像上の
特徴点に依存せず、処理時間を変えずに任意の特徴点数
に対応することができる。

【００９１】また、１画像上の逆投影線に関わる情報を
全て同時に転送しても、処理ブロック間の転送時に逆投
影線に関わる情報が衝突することがないので、全ての処
理ブロックにおいて同一画像の逆投影線に関わる情報を
同時に転送させることにより、衝突のない効率的な処理
ブロック間の転送を実現することができる。また、図１
７の３次元情報抽出装置によれば、上記の効果に加え、
逆投影線に関わる情報を、例えば８隣接の処理ブロック
へ転送する際に、水平転送と垂直転送の処理をパイプラ
イン化することにより、処理ブロック間の接続配線量の
少ない４隣接メッシュ結合とした場合でも、８隣接メッ
シュ結合の場合と同等の時間で処理することが可能であ
り、４隣接メッシュ結合の処理ブロックアレイによる効
率的な処理ブロック間の転送を実現することができる。

【００９２】第５実施例図１９は、本発明の第５の実施例である３次元情報抽出
装置を示すブロック図である。この第５実施例は図７の
実施例の変形であり、図７の構成と異なる点は図７にお
ける投票情報記憶部32M がボクセルスライスの全N_X×N_Y
ボクセルに対応して投票数を記憶する領域を有している
のに対し、図１９における投票情報記憶部32Mが各ボク
セルスライス処理時に全参照逆投影線が通過するボクセ
ル位置のみを記憶する領域を有している点と、図７の基
準逆投影線最大点情報記憶部３４の各基準逆投影線L_0j
に対応する記憶領域ｊ(j=0,1,…,F_s-1) にそのボクセル
スライスでの得票数Ｖを記憶するフィールド４Ｄを追加
したことである。動作において異なる点は、図７におい
てはボクセルスライス上の逆投影線が通過するボクセル
に対応する投票情報記憶部３２Ｍ中のそれぞれの領域の
内容に“１”を加算したのに対し、図１９では各ボクセ
ルスライスの処理において記憶部32M に書き込んだ全参
照逆投影線の通過ボクセル座標から各基準逆投影線の通
過ボクセル座標と一致するものを検索し、一致が検出さ
れた数をその基準逆投影線の通過ボクセルに対する参照
逆投影線による投票数Ｖとすることと、その投票数Ｖを
基準逆投影線に対応してフィールド４Ｄに記憶すること
である。

【００９３】通過位置算出部３１は、図１に示す逆投影
線情報生成部２０で求めた逆投影線情報を入力し、対象
とするボクセルスライスS_t(Z=t,t=0,1,…,N_Z-1) におい
て全逆投影線の通過ボクセル座標(X_t,Y_t) を求め、この
求められたボクセル座標(X_t,Y_t) のうちで、基準画像か
らの基準逆投影線L_sが通過する通過ボクセル座標を、基
準逆投影線情報記憶部３４のフィールド４Ａに書き込
み、上記求められた通過ボクセル座標(X_t,Y_t) のうち
で、参照画像からの参照逆投影線L_rが通過するボクセル
座標を、投票情報記憶部32M へ出力する。

【００９４】基準逆投影線情報記憶部３４は、ボクセル
スライスS_tにおける基準逆投影線通過ボクセル座標(X_t,
Y_t) と、最大点座標(X_M,Y_M,Z_M)と、最大得票数V_Mと、計
数値Ｖとを、各基準逆投影線L_sについて記憶するメモリ
であり、RAM 等によって構成されている。記憶部３４に
おける通過ボクセル座標(X_t,Y_t) の数は少なくとも基準
逆投影線L_sの数Fsある。

【００９５】また、投票情報記憶部32M は、参照逆投影
線L_rが通過するボクセルスライスS_t上の全ての通過ボク
セル座標(X_t,Y_t) を記憶し、例えば、RAM によって構成
されている。ボーティング部32A は、基準逆投影線情報
記憶部３４に記憶されている基準逆投影線の通過ボクセ
ル座標(X_t,Y_t) を順次読み出し、この読み出した各通過
ボクセル座標と同じ投票情報記憶部32M に記憶されてい
る参照逆投影線通過ボクセル座標(X_t,Y_t) を検索し、そ
の数を計数する（即ちボーティングする）。それぞれの
基準逆投影線通過ボクセル座標について計数したこれら
の値（即ち投票数）を、基準逆投影線情報記憶部３４の
フィールド４Ｄに、計数値（投票数）Ｖとして基準逆投
影線通過ボクセル座標と対応してそれぞれ記憶する。

【００９６】その後、比較更新処理部３３は、各基準逆
投影線通過ボクセル座標について基準逆投影線情報記憶
部３４に今回記憶した計数値Ｖと過去の最大値V_Mとを比
較し、Ｖ＞V_Mであれば、計数値Ｖを最大値V_Mとしてフィ
ールド４Ｂに書き込むことによって、最大値V_Mを更新
し、またそのときのボクセル座標(X_t,Y_t) とボクセルス
ライスの座標Z=t とを、最大点座標(X_M,Y_M,Z_M)としてフ
ィールド４Ａに書き込むことによって、最大点座標(X_M,
Y_M,Z_M)を更新する。Ｖ≦V_Mであれば、最大点情報(X_M,
Y_M,Z_M,V_M) の更新を行わない。なお、ボーティング処理
部３２において記憶部３４内の各基準逆投影線通過ボク
セル座標についてのボーティング処理を行って投票数Ｖ
を得る毎に、比較更新処理部３３でその投票数Ｖと最大
値V_Mとを比較し、更新処理を行うことをそれぞれの基準
逆投影線通過ボクセル座標について順次繰り返し実行す
るように構成する場合は、基準逆投影線情報記憶部３４
に投票数Ｖを格納するフィールド４Ｄを設ける必要はな
い。

【００９７】上述の一連の通過位置算出処理、ボーティ
ング処理、比較更新処理はボクセル空間VSの全ボクセル
スライスについて予め決めた順に実行する。全てのボク
セルスライスについて上記一連の処理が終了したら、制
御部３５は基準逆投影線情報記憶部３４に記憶されてい
る最大点座標(X_M,Y_M,Z_M)を、特徴点の３次元座標と見な
して出力する。つまり、基準逆投影線情報記憶部３４に
記憶されている最大点座標(X_M,Y_M,Z_M)は、基準逆投影線
L_s上で、異なる参照画像から通過する参照逆投影線数が
もっとも大きいボクセルの位置を示しており、３次元ボ
クセル空間VS上で特徴点が存在する可能性がもっとも高
い位置であると考えられるので、その記憶されている最
大点座標を、特徴点の３次元座標とみなして出力する。
なお、この場合、測定誤差や量子化誤差等の影響による
誤検出を防ぐために、記憶されている最大値V_Mに基づい
て閾値処理を行うことによって、抽出精度を上げるよう
にしてもよい。

【００９８】このように、図１９の３次元情報抽出装置
によれば、記憶手段32M,３４として逆投影線に対応する
領域のみを有していればよく、３次元ボクセル空間上の
全量子化点（ボクセル）に対応した記憶領域を設ける必
要が無くなる。従って、従来例よりも、ハードウェア量
が大幅に少ない。また、投票情報記憶部32M は図７の実
施例で用いたボクセルスライス上のN_X×N_Y個のボクセル
に対応する領域を有する投票情報記憶部32M よりも必要
とするメモリ容量が更に少なくてすむ。また、ボクセル
スライス毎に、ボーティング処理と最大点情報の比較更
新処理とを実行することによって、従来の第１の方法に
おけるようなボーティングの後に３次元空間上で極大値
を求めるという複雑な処理を行う必要がない。従って、
処理にかかる時間が短縮される。さらに、ボクセルスラ
イス毎に、ボーティング処理と最大点情報比較更新の処
理とを行うことによって、従来の第２に方法におけるよ
うな２回ボーティング処理を行う必要が無く、全ての逆
投影線に対してボーティング処理を１回実行するだけで
足り、この意味からも、処理時間が短縮される。

【００９９】第６実施例上述の図１９の実施例においては、各基準逆投影線の通
過ボクセル座標での得票数Ｖとしては、そのボクセルを
通過する参照逆投影線の数を求めたが、そのボクセルが
真の３次元特徴点の位置であっても、本来そのボクセル
を通過すべき参照逆投影線が物体空間のボクセル化によ
る量子化誤差や、逆投影線を規定する画像上の２次元特
徴点の位置の測定誤差及び視点の位置の測定誤差のた
め、そのボクセル（中心ボクセルと呼ぶことにする）を
通過せず、その近傍のボクセルを通過する場合が生じ
る。このような場合、その中心ボクセルで計数される投
票数Ｖは理論値より小さくなり、場合によっては特徴点
として抽出されないこともある。

【０１００】図２０の実施例はこのような問題を解決す
るため、基準逆投影線通過ボクセルの近傍を通過する参
照逆投影線も投票数として計数するように構成したもの
である。この実施例の３次元情報抽出装置は基本的には
図１９の実施例と同じであるが、ボーティング処理部３
２の機能が図１９の３次元情報抽出装置におけるボーテ
ィング処理部３２の機能をより高められており、ボーテ
ィング部32A は、通過座標検索部３２ａと、近傍座標検
索部３２ｂと投票値算出部３２ｃとで構成されている。

【０１０１】通過座標検索部３２ａは、投票情報記憶部
32M の中で、着目している基準逆投影線の通過ボクセル
座標(X_t,Y_t) と同じ通過ボクセル座標を持つものを検索
する。これによって検索された参照逆投影線通過ボクセ
ル座標の数のみを計数して投票数Ｖを得るようにしたの
が図１９の場合であるが、図２０の実施例では以下に述
べるように、更に近傍ボクセルを通る参照逆投影線の数
も考慮して投票数Ｖを決める。近傍座標検索部３２ｂ
は、基準逆投影線通過ボクセル座標(X_t,Y_t) の近傍のボ
クセル座標についても、その近傍のボクセル座標を通過
する参照逆投影線の数を計数するものである。図２１の
Ａ，Ｂ及びＣは、図２０において、近傍座標検索処理に
おける近傍の範囲の例をそれぞれ示す図である。近傍の
ボクセル座標の範囲は、例えば図２１Ａの場合、左右上
下に隣接する座標(X_t-1,Y_t),(X_t+1,Y_t),(X _t,Y_t-1),(X_t,
Y_t+1) である。図２１Ｂの場合は左右上下に隣接する座
標(X_t-1,Y_t),(X_t+1,Y_t),(X_t,Y_t-1),(X_t,Y_t+1) の範囲
と、斜め四方に隣接する座標(X_t-1,Y_t-1),(X_t+1,Y_t-1),
(X_t-1,Y_t+1),(X_t+1,Y_t+1) の範囲とを、ボクセルスライ
スをＺ軸方向に順次進めるにつれ交互に適用する範囲で
ある。また、図２１Ｃの場合は、通過ボクセル座標(X_t,
Y_t) に隣接する８つのボクセル座標の範囲である。これ
ら以外にも所望の範囲を決めてもよい。

【０１０２】投票値算出部３２ｃは、通過座標検索部３
２ａによる検索と、近傍座標検索部３２ｂによる検索と
で得られた逆投影線数に基づいて、通過座標(X_t,Y_t) に
おける投票数を算出するものである。投票数算出部３２
ｃで投票値を算出する場合、例えば、通過ボクセル座標
（中心ボクセル座標）とその近傍の座標で得られた計数
値を単純に加算して投票値Ｖを求めるようにしてもよ
く、また、それらの計数を重み付け加算した値を、投票
値Ｖとして求めるようにしてもよい。例えば図２１Ａ，
２１Ｂ，２１Ｃに示すように、通過ボクセル座標(X_t,
Y_t) の近傍の座標で得られた計数値はそのままとし、通
過ボクセル座標(X_t,Y_t) で得られた計数値は例えば２倍
して、これら重み付け計数値を加算し、全体の投票値Ｖ
として求めるようにしてもよい。

【０１０３】このように、基準逆投影線L_sの通過ボクセ
ル座標(X_t,Y_t) と全く同じ座標(X_t,Y_t) を参照逆投影線
L_rが通過した場合だけ検出する（投票する）のではな
く、ボクセルスライスS_t上で、基準逆投影線L_sの通過ボ
クセル座標(X_t,Y_t) の近傍の座標を通過する参照逆投影
線L_rについても計数する（投票する）ことによって、基
準逆投影線L_sに所望の太さを持たせたことと等価にな
り、これによって、ボクセル量子化誤差や位置測定誤差
等によって逆投影線が交差しなくなる問題を改善するこ
とができる。

【０１０４】また、この場合、通過ボクセル座標(X_t,
Y_t) かその近傍の座標かというような座標の違いに応じ
て計数値に重みを付けることによって全体の投票値Ｖを
求めれば、ボクセルスライス上での二次的なフィルタの
効果が得られるので、抽出性能をより向上させることが
可能になる。第７実施例図２２は、図２０の実施例の変形実施例を示す。投票情
報記憶部32M 中の参照逆投影線通過ボクセル座標から各
基準逆投影線の通過ボクセル座標と同じものを計数する
ことにより投票数を得ることは図２０の実施例と同様で
ある。また、基準逆投影線通過ボクセルの近傍を通る参
照逆投影線も計数可能とされている。この実施例ではボ
ーティング処理を簡単な構成で行えるよう、投票情報記
憶部32Mを、並列検索機能を有する連想メモリＣＡＭ（c
ontent-addressable memory）で構成することを特徴と
している。

【０１０５】ＣＡＭは例えばIEEEのCOMPUTER, 1994年11
月、pp.12-16に紹介されているように、ＣＡＭに記憶さ
れている全ワードデータ中から所望のビット列と同じビ
ット列を含むワードを並列的に検索することが可能であ
り、検索したワードに対応してそれぞれヒットフラグＨ
Ｆを出力する機能を有している。更に、ＣＡＭはヒット
フラグＨＦの論理和をシングルヒットフラグＳＨとして
出力する機能を有しており、従って記憶しているワード
データ中の１つのワードでも検索された場合はシングル
ヒットフラグＳＨ＝“１”を出力する。

【０１０６】図２２の実施例では、投票情報記憶部32M
は、R-1 枚の参照画像に対応してR-1 個のＣＡＭ32CMを
有し、各ＣＡＭ32CMはそのメモリ部32MPに、対応する参
照画像からの参照逆投影線が通過するボクセルスライス
S_t上のボクセル座標(X_t,Y_t)が通過位置算出部３１によ
り書き込まれている。各ＣＡＭ32CMは比較パターンを保
持する比較パターンレジスタ32D と、比較パターンの比
較をビット毎に選択的にマスクするマスクレジスタ32E
を有しており、それぞれ共通の比較パターンとマスクパ
ターンが設定され、比較パターンのマスクされてないビ
ットの配列と同じビット配列を記憶部32MP内の通過ボク
セル座標から並列的に同時に検索する。それぞれのＣＡ
Ｍ32CMのヒットフラグ論理和部32F は出力レジスタ32G
に与えられ、その内容はボーティング処理部３２の投票
値算出部３２Ｃに与えられる。ボーティング処理部３２
の通過座標検索部３２ａは基準逆投影線情報記憶部３４
からの通過ボクセル座標(X_t,Y_t) を比較パターンとして
比較パターンレジスタ32Dに設定し、近傍座標検索部３
２ｂは、この例では座標値X_t,Y_t のそれぞれの最下位ビ
ットをマスクするマスクパターンを予めマスクレジスタ
32E に設定する。

【０１０７】図２３は近傍座標検索部３２ｂにより座標
値X_t,Y_t の全８ビットと対応してビット列"11101110"が
マスクパターンとしてマスクレジスタ32E に設定された
場合に指定されるハッチングで示す通過ボクセルとその
近傍の３つのボクセルを示す。比較パターンとしての座
標値X_t,Y_t の最下位ビットはマスクパターンによりマス
クされるので、座標値X_t,Y_t の最下位ビットがそれぞれ
(0,0),(0,1),(1,0),(1,1) の場合で指定される３つの近
傍ボクセルの組は図に示すように４種類ある。

【０１０８】理解を容易にするため、通過ボクセル座標
(X_t,Y_t) の各座標値X_t,Y_t は上述のようにそれぞれ４ビ
ットで表されているものとする。また、マスクレジスタ
32Eにはマスクパターンとして"11101110"が設定されて
いるものとする。従ってこの場合、通過ボクセルにおけ
る座標値X_t,Y_t を示すそれぞれ４ビットのそれぞれの最
下位１ビットがマスクされ、残りのそれぞれ３ビットが
検索データとしてＣＡＭ32CMの記憶部32MPに与えられる
ことになる。

【０１０９】まず、通過座標検索部３２ａは、基準逆投
影線情報記憶部３４から１本の基準逆投影線L_sの通過ボ
クセル座標(X_t,Y_t) を読み出して比較パターンX_tY_tとし
て比較パターンレジスタ32D に設定し、座標(X_t,Y_t) と
その近傍の各座標について、参照逆投影線L_rの全てにつ
いて検索を行う。図２２は記憶部３４から選択した基準
逆投影線の通過座標(X_t,Y_t) が(1011,0110) の場合を示
している。近傍座標検索部３２ｂにより設定されたマス
クレジスタ32E からのマスクパターンにより、この座標
値X_t,Y_t のそれぞれの最下位１ビットがマスクされる。
この各最下位１ビットがマスクされた座標値で与えられ
る座標(101*,011*) について、R-1 個の全ＣＡＭ32CMの
メモリ部32MPに対し同時に検索が行われる（＊は０また
は１）。

【０１１０】即ち、通過座標が(101*,011*) である全て
の参照逆投影線L_rが、並列検索を１回行うだけで全て検
出される。この検索された参照逆投影線に対応してヒッ
トフラグＨＦが立ち、その全ヒットフラグＨＦをカウン
トすることによって参照逆投影線数を計数することがで
きるが、この実施例では各参照画像に対応するＣＡＭ32
CM毎のヒットフラグ論理和を論理和部32F からシングル
ヒットフラグＳＨとして出力してレジスタ32G に設定
し、投票値算出部３２ｃはレジスタ32G 内のシングルヒ
ットフラグＳＨ＝１を表す“１”のビット数を計数して
投票数Ｖを得る。

【０１１１】このように、ＣＡＭの並列検索機能を用い
ることによって、通過ボクセル座標(X_t,Y_t) とその近傍
のボクセル座標について、検索を１回行うだけで、それ
らを通る全参照逆投影線を検出できるので、処理時間を
ほとんど増加させずに基準逆投影線に幅を持たせたと同
じ効果の投票処理を行うことが可能になる。また、通過
ボクセル座標に対してマスクするビットは、必ずしも最
下位ビットのみではなく、最下位から複数ビットをマス
クして検索するようにしてもよい。このようにすること
によって、近傍の対象としてさらに幅広い範囲を設定す
ることができ、誤差等によって基準逆投影線と単一ボク
セル上で交差しない参照逆投影線を、より多く有効な投
票として計数対象にすることができる。このときに、近
傍の対象範囲を広げてもＣＡＭの並列検査機能によっ
て、検索を１回行えば足りるので、処理時間の大幅な増
加を防止することができる。

【０１１２】即ち、それぞれの票としての参照逆投影線
通過座標を記憶する記憶手段として、１本の逆投影線に
関する情報に１ワードを割り当てた連想メモリ(ＣＡＭ)
を設ければ、このＣＡＭが持つ並列検索機能を利用する
ことができ、また、基準画像の１本の基準逆投影線L_sに
対して、その通過ボクセルとその周囲のある範囲内にあ
る複数のボクセルとを通過する全ての参照画像の逆投影
線を、１回の検索のみで検出することができるので、ボ
ーティング処理における検索の処理時間を短縮すること
が可能である。

【０１１３】また、図２０の実施例で説明した重み付き
投票処理をすることも可能である。例えば図２３に示す
ように基準逆投影線L_Sが通過するボクセル（ハッチング
ボクセル）には重み係数２を与え、近傍ボクセルには重
み係数１を与えるものとする。この場合は２回の検索を
行う。１回目はマスクパターンとして“11111111”をマ
スクレジスタ32E に設定し検索を行うことによって基準
逆投影線L_Sの通過するボクセル座標(X_t,Y_t) を通過する
参照逆投影線の通過ボクセル座標を有しているＣＡＭの
記憶部32MPのシングルヒットフラグＳＨをレジスタ32G
に出力させ、その数を計数する。それらによって得られ
た計数値をV₁とする。２回目はマスクパターンとして前
述と同様に“11101110”をマスクレジスタ32E に設定
し、前述と同様にシングルヒットフラグＳＨの数を計数
し、その値をV₂とする。2V₁+V₂を投票数Ｖとして得る。

【０１１４】第８実施例図２４は、本発明の第８の実施例を示すブロック図であ
る。この３次元情報抽出装置は、基本的には図１９の実
施例と同じであるが、図１９の通過位置算出部３１とし
て、通過位置算出制御部３１１と通過位置算出処理部３
１２、３１３とが設けられている点が異なる。通過位置
算出制御部３１１と通過位置算出処理部３１２、３１３
とで構成される。通過位置算出部３１は、各逆投影線に
対応して１つの通過位置算出処理手段を形成しており、
全ての画像の全ての逆投影線について、上記通過位置算
出処理を全て並列に実行させる。通過位置算出処理部３
１２、３１３は、それぞれ基準逆投影線L_s及び参照逆投
影線L_rと同じ数だけ設けられ、通過位置算出制御部３１
１からの制御によって、全て並列に通過位置算出処理が
実行される。

【０１１５】図２５のＡ及びＢは、図２４において、基
準逆投影線情報記憶部３４と投票情報記憶部32M の構成
を示す図である。基準逆投影線情報記憶部３４は、図２
５Ａに示すように、各基準逆投影線に対応する領域j(j=
0,1,…,F_s-1)にボクセルスライスS_t(Z=t) を基準逆投影
線が通過するワールド座標(x_t,y_t) と、その通過座標と
次のボクセルスライスでの通過ワールド座標(x
_t+1,y_t+1) との差分である方向ベクトル(Δx,Δy) のフ
ィールド4C1,4C2 で構成した通過位置フィールド4C、基
準逆投影線上で過去に計数された最大の参照逆投影線数
（最大値）V_Mとその最大点位置のボクセル座標(X_M,Y_M,Z
_M)のフィールド4B,4A で構成した最大点情報フィールド
4AB 、ボーティング処理部３２で求めた上記基準逆投影
線と同じ通過ボクセル座標を持つ参照逆投影線の計数値
Ｖを格納する投票数フィールド4Dで構成されている。

【０１１６】投票情報記憶部32M は、図２５Ｂに示すよ
うに、上記と同様の参照逆投影線通過ワールド座標(x_t,
y_t) と、方向ベクトル(Δx,Δy) のフィールド２Ａ，２
Ｂを有する通過位置フィールド２ＡＢで構成されてい
る。次に、通過位置算出処理部３１２、３１３の動作に
ついて説明する。まず、図１の逆投影線情報生成部２０
で求められた逆投影線情報に基づいて、基準逆投影線及
び参照逆投影線が最初に通過するボクセルスライスS_t(t
=0) における初期通過ワールド座標(x₀,y₀) と方向ベク
トル(Δx,Δy) とを全て求め、それぞれ基準逆投影線情
報記憶部３４と投票情報記憶部32M とに初期値として書
き込む。このときに、基準逆投影線情報記憶部３４の最
大値V_Mとして、例えば全て１を代入しておく。それ以降
のボクセルスライスS_t(t≧1)での処理では、通過ワール
ド座標(x_t,y_t) と方向ベクトル(Δx,Δy) とに基づい
て、隣接した次のボクセルスライスS_t+1(Z=t+1) の通過
ワールド座標(x_t+1,y_t+1) を、前述した次の式(３)の加
算演算によって求めることができる。

【０１１７】 x_t+1=x_t+Δx, y_t+1=y_t+Δy (3) それぞれの逆投影線に対応した全ての通過位置算出処理
部312、313が、式(３)の加算演算を同時に実行すること
によって、全ての基準逆投影線と参照逆投影線の通過位
置（ワールド座標）を並列に算出できる。また各ボクセ
ルスライスS_tにおける通過位置(x_t,y_t) のボクセル座標
(X_t,Y_t) はX_t=[x_t]，Y_t=[y_t]、即ちx_t及びy_tの整数部と
してそれぞれ求めることができる。

【０１１８】次に、記憶部３４、３２Ｍの初期化以降の
３次元特徴点抽出装置の動作について説明する。通過位
置算出処理部312、313による記憶部３４、３２Ｍの初期
化後、ボーティング部32A は基準逆投影線情報記憶部３
４からF_s個のうちの最初の基準逆投影線通過ワールド座
標(x_t,y_t) を読み出し、それらの座標値の整数部を通過
ボクセル座標値X_st,Y_st として得る。更に投票情報記憶
部32M からR-1 枚の参照画像の参照逆投影線通過ワール
ド座標(x_t,y_t) を順次読み出し、それぞれボクセル座標
(X _rt,Y_rt) に変換して(X_st,Y_st)=(X_rt,Y_rt) であるかを
判定し、等しければ記憶部３４の対応する投票数フィー
ルド４Ｄの内容Ｖ（初期値は０）を＋１する（投票す
る）。全参照逆投影線についてボーティング処理が終了
すると次の基準逆投影線通過ワールド座標を記憶部３４
から読み出して同様のボーティング処理を繰り返す。以
下同様にして全F_s個の基準逆投影線についてボーティン
グ処理が終了すると、比較更新処理部３３は記憶部３４
のフィールド４Ｄに得られたそれぞれの基準逆投影線に
ついての投票数Ｖを対応する最大値V_Mと比較し、Ｖが大
きければ前述の実施例と同様にフィールド４Ａの最大点
情報(X_M,Y_M,Z_M,V_M) を(X_St,Y_St,Z _t,V)により更新する。
以下同様の比較更新処理を全ての基準逆投影線について
実行する。これによりボクセルスライスS_tの処理が終了
し、次のボクセルスライスS_t+1についての処理に移る。
ボクセルスライスS_t+1の処理において通過位置算出処理
部312、313は、再び式(３)により全逆投影線の通過ワー
ルド座標(x_t+1,y_t+1) をそれぞれ求め、記憶部３４、３
２Ｍのフィールド4C1、２Ａを書き換える。以下同様に
ボーティング処理部３２でボーティング処理を行い、比
較更新処理部３３で比較更新を行い、この一連の処理を
全ボクセルスライスS_tについて終了するまで繰り返し実
行する。

【０１１９】図２４の実施例によれば、通過位置算出処
理部312、313を逆投影線毎に設けることによって、全て
の逆投影線に対して並列に通過位置算出処理を実行する
ことができ、このボクセルスライスを通過する逆投影線
の通過位置算出処理を全ての逆投影線回数だけ繰り返す
必要が無くなり、従って、処理時間を大幅に削減でき
る。

【０１２０】第９実施例図２６は、本発明の第９実施例である３次元情報抽出装
置を示す図である。前述のCAM は並列検索機能のみなら
ず、並列加算機能をも有している。この図２６の実施例
は、図２４に示した基準逆投影線情報記憶部３４と通過
位置算出処理部312 の組と、投票情報記憶部32M と通過
位置算出処理部313 の組を、それぞれCAM （連想メモ
リ）34CM、32CMで構成したものである。CAM 34CM、32CM
のいずれも、１つの逆投影線に関する情報の記憶領域に
１ワードを割り当てる。

【０１２１】つまり、この実施例では、基準逆投影線L_s
に関する情報を記憶する手段と、投票に関する情報を記
憶する手段とは、各逆投影線に対応した情報に１ワード
を割り当てた連想メモリを有する手段であり、逆投影線
の通過位置を並列に算出する手段は、連想メモリが持つ
並列加算処理機能によって、通過位置算出処理を全ての
画像の全ての逆投影線において全て並列に実行する手段
として実現されている。

【０１２２】基準逆投影線情報記憶用CAM 34CMは、図２
５Ａに示すと同様に基準逆投影線の通過ワールド座標(x
_t,y_t) と方向ベクトル(Δx，Δy)とを記憶する通過位置
フィールド４Ｃと、最大値V_Mと最大点座標(X_M,Y_M,Z_M)と
を記憶する最大点位置フィールド4AB と、計数値を格納
する計数値フィールド４Ｄとで構成されている。また、
投票情報記憶用CAM 32CMは、図２６Ｂに示すと同様に参
照逆投影線の通過ワールド座標(x_t,y_t) と、方向ベクト
ル(Δx，Δy)とを記憶する通過位置フィールド2AB で構
成されている。基準逆投影線情報記憶用CAM 34CMと投票
情報記憶用CAM 32CMはそれらが有している並列加算処理
機能をそれぞれ通過位置算出処理部312、313として使
い、前記式(3) の加算演算を、全ての逆投影線に対して
同時に並列に実行する。CAM における並列加算処理の方
法自体については公知であるので詳細は省略する。この
構成によれば、逆投影線数と同じ数の通過位置算出処理
部を記憶部３４、32CMと別体に設けず、また特別な並列
処理プロセッサ等の装置を使わないで、CAM が持つ並列
加算処理機能のみを使用し、全ての逆投影線に対する通
過位置算出処理を全て並列に実行できるので、図２４の
実施例に比べてハードウェア量を少なくすることができ
る。

【０１２３】第１０実施例図２７は、本発明の第１０実施例である３次元情報抽出
装置を示すブロック図である。前述してきた各種実施例
では、基準逆投影線に対する現ボクセルスライスでの投
票数Ｖが過去のスライスでの最大値V_Mより大の場合に最
大点情報(X_M,Y_M,Z_M,V_M) を更新したが、もし投票数Ｖが
過去の最大値V_Mと等しいことが複数のボクセルスライス
に渡って連続して生じた場合、３次元特徴点の位置とし
て常にその連続する最大値V_Mの最初の位置を検出するこ
とになるので好ましくない。この点を改善したのがこの
実施例である。

【０１２４】この実施例は、基本的には図１９の実施例
と同じであるが、図１９における比較更新処理部３３は
最大点情報更新処理部３３ａと連続数更新処理部３３ｂ
により構成され、基準逆投影線情報記憶部３４内に、更
に最大値連続数C_Mを格納するフィールド４Ｅが設けられ
た点が、図１９の実施例とは異なる。従って通過位置算
出部３１とボーティング処理部３２の説明は省略する。

【０１２５】最大点情報更新処理部３３ａは、投票数Ｖ
と最大値V_Mとを比較し、Ｖ＞V_Mの場合、投票数Ｖを新し
い最大投票数V_Mとして基準逆投影線情報記憶部３４のフ
ィールド４Ｂの最大値V_Mを書き換え、そのときのボクセ
ル座標(X_t,Y_t) とボクセルスライスの座標Z_t=tとを最大
点座標としてフィールド４Ａの最大点座標(X_M,Y_M,Z_M)を
書き換えることにより更新する。またこのときに、連続
数更新処理部３３ｂが最大点位置の連続数C_Mのフィール
ド４Ｅに“１”を書き込む（初期化する）。Ｖ＝V_Mの場
合は、連続数更新処理部３３ｂは記憶部３４のフィール
ド４Ｅ内の連続数C_Mの値に“１”を加算する。この場合
は、最大点情報更新処理部３３ａは、最大値V_Mと最大点
座標(X_M,Y_M,Z_M)との更新を行わない。Ｖ＜V_Mの場合、い
ずれの更新処理も行わない。

【０１２６】全ボクセルスライスについての上述のよう
な処理が終了すると、制御部３５は３次元特徴点を求め
るため各基準逆投影線に関する情報(X_M,Y_M,Z_M)と連続数
C_Mを読み出す。連続数C_Mに基づいて最大点位置のボクセ
ル座標(X_M,Y_M,Z_M)を補正し、出力すればよい。この補正
方法としては、例えば最大値V_Mが連続した場合に、その
連続幅（ボクセル数）C_MのＺ軸方向中央のワールド座標
値t_m＝z_m=Z_M+C_M/2を求め、それを対応する基準逆投影線
を表す式(2) に代入してワールド座標(x_m,y_m)を求め
る。必要であればこれをボクセル座標(X_M,Y_M,Z_M)に変換
する。

【０１２７】上述のように、基準逆投影線L_sに関する情
報に、逆投影線上で投票数の最大値V_Mが連続した場合で
も、最大点位置における最大値V_Mの連続数C_Mを得ること
が簡単な処理でできるので、その中央のボクセル位置を
求めることができる。従って、３次元情報の抽出性能を
向上させることが可能になり、しかも、基準逆投影線情
報記憶部３４に、最大点位置での最大値連続数C_Mを記憶
するフィールド４Ｅを付加するだけでよく、ハードウェ
ア量は全体に比べてごく僅かである。また、処理時間は
最大点位置での最大値連続数C_Mの更新処理が加わるのみ
で、ほとんど増加しない。

【０１２８】なお、上述ではV_M<Vを満足する場合に最大
点情報(X_M,Y_M,Z_M.V_M) の更新を行ったが、V_M≦V を満足
する場合に更新を行ってもよい。その場合、以下でも説
明するように、連続する同じ値の最大値V_Mの最後のボク
セル位置が最大位置(X_M,Y_M,Z _M)として得られる。従って
その位置から過去にC_M/2だけ遡った位置を３次元特徴点
の位置として求めればよい。

【０１２９】第１１実施例ところで、図２７の実施例では図２８Ａ中に領域28a で
示すように基準逆投影線L_sに対し同じ値の最大値V_MがＺ
軸方向に例えば３回続いた場合はC_M=3としてその長さが
検出されるので、その中央位置z_m=Z_M+1.5 を３次元特徴
点のワールド座標のｚ軸方向の位置と判断することによ
り３次元特徴点の抽出位置の精度を高める場合を示し
た。しかし、図２８Ａ中に領域28b で示すように、同一
基準逆投影線L_s上の領域28a とは異なる位置に同じ値の
最大投票数V_Mの連続ボクセルが生じる場合がある。この
場合、図２７の実施例では領域28b で最大点情報(X_M,
Y_M,Z_M,V_M) は更新されず、領域28a の位置Z_Mでの最大点
情報は保持されるが、最大値V_Mの連続数C_Mは図２８Ｂに
示すように領域28b で更に歩進され、C_M=5となってしま
う。従って、この処理結果から領域28a における最大値
V_Mの連続数をC_M=5と判定し、その中間点z_m=Z_M+5/2 を３
次元特徴点のｚ軸座標値と判定してしまうことになり、
３次元特徴点の抽出位置精度は改善されない。領域28b
が長くなるとむしろ精度は低下する。この点を改善した
のが図２９の実施例である。

【０１３０】図２９の実施例は、基本的には図２７の実
施例と同様の構成を有するが、基準逆投影線情報記憶部
３４に更に投票数の連続数C_Cを記憶するフィールド４Ｆ
と、直前のボクセルスライスS_t-1での投票数V_Pを記憶す
るフィールド４Ｇが設けられた点が、図２８の実施例と
異なる。前述と同様にボクセルスライスS_tでのボーティ
ング処理が終了すると、最大点情報更新処理部３３ａ
は、最大値V_Mと投票数Ｖとを比較し、V≧V_M の場合、最
大点情報更新処理部３３ａは投票数Ｖを新しい最大値V_M
としてフィールド４Ｂの最大値V_Mを更新し、また、その
ときのボクセル座標(X_t,Y_t) とボクセルスライスの座標
Z=t とを最大点座標(X_M,Y_M,Z_M)としてフィールド４Ａの
最大点座標を更新する。V<V_Mであれば更新を行わない。
一方、連続数更新処理部３３ｂは、基準逆投影線情報記
憶部３４に記憶している同じ基準逆投影線L_s上の前回の
ボクセルスライスS_t-1での投票数V_Pと今回の投票数Ｖと
を比較し、V_P=Vであれば投票数の連続数C_Cに“１”を加
算し、V_P<VであればC_Cを“１”に初期化し、V_P>Vの場合
は、V_M>V_PであればC_Cを“１”に初期化し、V_M=V_Pであれ
ばC_Cを連続数C_Mとして記憶部３４のフィールド４Ｅに書
き込んでからフィールド４ＦのC_Cを“１”に初期化す
る。最後に今回の投票数ＶをV_Pとしてフィールド４Ｇを
更新し、ボクセルスライスS_tに対する処理を終え、次の
ボクセルスライスS_t+1の処理に移る。

【０１３１】全ボクセルスライスに対するボーティング
処理が終了すると、制御部３５は基準逆投影線に関する
最大点位置(X_M,Y_M,Z_M)と連続数C_Mを記憶部３４から読み
出し、図２７の場合と同様に、最大点位置のボクセル座
標(X_M,Y_M,Z_M)を最大連続数C_Mに基づいて補正すればよ
い。ただしこの実施例では最大値V_Mが連続する領域が基
準逆投影線上に１つしかない場合は、得られた最大点位
置(X_M,Y_M,Z_M)はその最大値連続領域の最後のボクセルの
位置であり、同じ値の最大値V_Mが連続する領域が２つ以
上ある場合は、最後の最大値連続領域の最後のボクセル
位置が得られた最大点位置(X_M,Y_M,Z_M)である。補正方法
としては、図２７で示したように、例えば最大値V_Mが連
続した場合に、その連続したボクセルの中央の位置を特
徴点として求める。

【０１３２】以上の動作により同一基準逆投影線L_S上に
図２８Ａで示したような投票数Ｖの極大となるボクセル
領域が２８ａ，２８ｂと２つあり、これらの領域の最大
値V_Mが互いに異なっていれば図２６の場合と同様に大き
い方の最大値V_Mを与えた最大点位置(X_M,Y_M,Z_M)とその連
続数C_Mが正しく得られる。また２つの領域２８ａ，２８
ｂの最大値V_Mが等しい場合には、この実施例では２番目
の最大値連続領域２８ｂについての最大点位置(X_M,Y_M,Z
_M)とその連続数C_Mが得られる。

【０１３３】第１２実施例上述した図２９の実施例では最大点情報(X_M,Y_M,Z_M,V_M)
の更新をV_M≦Ｖとなる場合に行うため、同じ最大値V_Mが
連続する場合(V=V_M)、その連続領域内でボクセル毎に更
新を行い、その結果その領域の最後のボクセルでの最大
点情報が記憶部３４に保持されることになるが、次の図
３０に示す構成にしてV_M＜Ｖとなる場合に更新を行えば
図２７と同様に最大値連続領域の最初のボクセルでの最
大点情報(X_M,Y_M,Z_M,V_M) を保持することができる。この
実施例の構成は図２９とほとんど同じであるが、異なっ
ている点は図２９における基準逆投影線情報記憶部３４
内に更に最大点情報更新を示すフラグＦをたてるフィー
ルド４Ｈを設けた点である。

【０１３４】この実施例においてはボクセルスライスS_t
におけるボーティング処理後、最大情報更新部３３ａに
おいて各基準逆投影線上の過去の最大値V_Mと今回の投票
数Ｖを比較し、V_M＜Ｖであればその位置(X_t,Y_t,Z_t)とそ
の投票数Ｖで記憶部３４の最大点情報(X_M,Y_M,Z_M,V_M) を
更新するとともに更新フラグフィールド４ＨにF=1 を設
定する。連続数更新処理部３３ｂは記憶部３４のフィー
ルド４Ｇに保持されている前回の投票数V_Pと今回の投票
数Ｖを比較し、V_P＜Ｖであれば連続数C_Cを“１”に初期
化し、V_P=Ｖであれば記憶部３４のフィールド４Ｆの連
続数C_Cに“１”を加算し、V_P＞Ｖの場合はV_M=V_P でかつ
F=1 であればそのときの連続数C_Cを最大連続数C_Mとして
記憶部３４のフィールド４Ｅに書き込んでからC_Cを
“１”に初期化するとともに更新フラグをF=0 に初期化
し、V_M=V_P でかつF=0 であればC_Cを“１”に初期化す
る。ボクセルスライスS_tに対する以上の処理の後、記憶
部３４のフィールド４ＧのV_Pを今回の投票数Ｖで書き換
えて次のボクセルスライスS_t+1の処理に移る。

【０１３５】この実施例によれば同じ基準逆投影線上の
異なる位置に同じ値の最大値V_Mが連続する領域が２つ以
上存在した場合、最初の領域の最初のボクセル位置にお
ける最大点情報(X_M,Y_M,Z_M,V_M) とその最大値V_Mの連続数
C_Mが得られる。図２７、２９、３０の実施例において、
直前ボクセルスライスS_t-1の投票値V_Pと現ボクセルスラ
イスS_tの投票数Ｖとを用いて加算等の演算処理を行い、
その結果を投票数とすることにより、基準逆投影線L_sに
沿ってフィルタリングの効果を得るようにしてもよい。
またこの場合、現ボクセルスライスS_tに対し、直前ボク
セルスライスS_t-1１枚だけでなく、複数の過去のボクセ
ルスライスにおける投票数Ｖをそれぞれ保持しておき、
それらを用いてフィルタリングの効果が得られるような
演算を実行した結果を投票数とするようにしてもよく、
基準逆投影線L_s上でより効果的なフィルタリングを実現
し、最大値V_Mが連続して同じ値になることを抑制するよ
うにしてもよい。

【０１３６】上記のように、基準逆投影線に関する情報
に最大点位置の投票数V_Mの連続数C_Mを付加することが可
能になり、基準逆投影線上で最大値V_Mが連続した場合で
もその中央のボクセル位置を求めることができるので、
単純な処理を付加するだけで３次元情報の抽出精度を向
上させることが可能になる。この場合、基準逆投影線情
報記憶部３４に、投票数Ｖの連続数C_C、最大点位置での
最大値連続数C_M、前ボクセルスライスの投票値V_Pの各記
憶フィールドを付加するだけでよく、ハードウェア量の
増加は全体と比べ僅かである。

【０１３７】第１３実施例図３１は、本発明の第１３実施例である３次元情報抽出
装置を示す図である。この実施例の基本構成は図２６の
実施例と同じであり、基準逆投影線情報記憶手段として
CAM 34CMを用い、投票情報記憶手段としてCAM 32CMを用
いるが、この実施例ではCAM 34CM、32CMにより逆投影線
の通過位置の算出を行うのみならず、CAM 32CMにより基
準逆投影線通過位置と同じ位置を通過する全ての参照逆
投影線を並列検索で検出することを特徴としている。ボ
ーティング部３２Ａは、図２２と同様に通過位置指定部
３２ａと、マスクビット指定部３２ｂと、投票数算出部
３２ｃとを有しており、参照逆投影線情報用CAM 34CMは
記憶部32MPと通過位置算出部３１３と、比較パターンレ
ジスタ32D とマスクレジスタ32E を有している。

【０１３８】ボーティング部３２Ａのマスクビット指定
部３２ｂは基準逆投影線通過ワールド座標値x_t,y_t に対
し、それぞれ整数部以外をマスクするよう予め決めた複
数の下位ビット位置にそれそれ“０”を有し、整数部の
全ビット位置にそれぞれ“１”を有するマスクパターン
をマスクレジスタ32E に設定する。通過位置指定部３２
ａは記憶部３４から読み出した各基準逆投影線通過ワー
ルド座標の座標値x_t,y _t を比較パターンレジスタ32D に
設定する。従ってCAM 32CMは比較パターンレジスタ32D
に設定された座標値x_t,y_t の整数部と一致する整数部を
有する参照逆投影線通過ワールド座標(x_t,y_t) の検索を
記憶部32MPに対し並列に実行し、図２２で説明したよう
に検出した座標(x_t,y_t) に対応してヒットフラグHFを出
力する。投票数算出部３２ｃは出力された全ヒットフラ
グHFを計数して投票数Ｖを得る。図３１の例ではCAM 32
CMの記憶部32MPには全参照画像についての全参照逆投影
線のボクセルスライスS_tに対する通過ワールド座標(x_t,
y_t) が書き込まれている場合であり、全座標数に対応
し、それぞれ同時に出力され得るヒットフラグHFを計数
するには全座標に対応したヒットフラグ出力端子を走査
する必要があり、参照逆投影線の数が極端に大きいと計
数処理時間が無視できない程度に長くなる。そこで、参
照画像に付与されている番号に対応する記憶領域をCAM
32CM内にそれぞれ規定し、各参照画像に関する全参照逆
投影線の通過ワールド座標を対応する記憶領域に書き込
むものとする。CAM は各記憶領域内でヒットフラグHFが
１つでも立っていればシングルヒットフラグSHを出力す
ることができる。また、同一参照画像から同じボクセル
を通過する参照逆投影線の数は０本か１本がふつうであ
り、多くても２本である。従ってシングルヒットフラグ
SHを計数することによりヒットフラグが１つでも立って
いる記憶領域の数をカウントでき、指定されたボクセル
を少なくともその数だけ参照逆投影線が通過していると
判定できる。この構成によれば最大参照画像数R-1 だけ
のシングルヒットフラグ出力端子を走査して出力フラグ
数を計数すればよいので必要とする計数時間を著しく短
縮できる。その他の処理は図２６の実施例と同じなので
説明を省略する。

【０１３９】図３１の実施例によれば、CAM が持つ並列
検索機能を用いて、基準逆投影線L_sと通過位置が同じ参
照逆投影線L_rを、全ての逆投影線に対して並列に検索す
るので、各基準逆投影線について全ての参照逆投影線の
数と同じ回数だけ検索処理を繰り返す必要がなくなり、
従って、ボーティング処理における検索処理時間を短縮
することができる。

【０１４０】第１４実施例図３２は、本発明の第１４実施例を示すブロック図であ
り、図３１の実施例において図２２と同様に全R-1 枚の
参照画像に対応してR-1 個のCAM 32CM₁〜32CM_R _-1を設け
たものである。ただし図を簡略化するため図３２におけ
る比較パターンレジスタ32D 、マスクレジスタ32E 、論
理和部32F 、出力レジスタ32G は図示していない。ま
た、ボーティング処理部３２Ａの通過位置指定部３２
ａ、マスクビット指定部３２ｂ、投票数算出部３２ｃも
図示していない。前述のように、各CAM 32CM₁〜32CM_R-1
はその記憶部32MP中の全ワード中少なくとも１ワードに
ヒットフラグHFが立っている場合にシングルヒットフラ
グSHを出力する。従って、それぞれの参照画像に対応す
るCAM 32CM₁,32CM₂,…,32CM_R-1のうちの１つにおいて、
少なくとも１つの参照逆投影線通過ワールド座標(x_t,
y_t)に対し、ヒットフラグHFが立っている場合、その参
照画像に対応するCAM はシングルヒットフラグSH=
“１” を出力するので、全ての参照画像枚数分のシン
グルヒットフラグSHをカウントするだけでよい。このよ
うにした場合、参照画像枚数をR-1 にすると、R-1 ビッ
トのアドレスを入力するデコーダや、またはカウンタ等
によって、ボーティング処理部３２Ａを容易に実現でき
る。

【０１４１】このときに、同じ参照画像に対するCAM 内
で複数の参照逆投影線のヒットフラグHFが立つ場合も１
つとして数えられてしまうが、投票数Ｖの最大値V_Mが画
像枚数R-1 までに制限されるだけで、ボーティング処理
自体は実行可能である。図３２の３次元情報抽出装置に
よれば、参照逆投影線L_rの通過ワールド座標を記憶する
CAM を、参照画像毎に独立して設けたので、３次元情報
抽出装置のボーティング処理における並列検索処理を、
それぞれの参照画像に対応するCAM 32CM ₁〜32CM_R-1で同
時に実行できると共に、図３１で説明した検索によって
検出された参照逆投影線通過ワールド座標(x_t,y_t) の数
を計数する処理を、R-1 個（画像枚数Ｒは普通３〜５程
度である）のCAM のわずかR-1 個のシングルヒットフラ
グ出力端子のフラグを計数するだけで実現できるので、
ボーティング処理時間をさらに短縮することができる。

【０１４２】第１５実施例図３３は、本発明の第１５実施例である３次元情報抽出
装置を示す図である。この実施例は図３２の実施例にお
いて図２６、３１、３２の基準逆投影線情報記憶用のCA
M 34CMが有する並列処理機能を用いることによって、ボ
ーティング処理部３２で得られた投票数Ｖと基準逆投影
線L_s上の最大値V_Mとを比較する処理と、その比較結果に
基づいて最大点情報を更新する処理とを、基準画像の全
ての逆投影線に対して並列に実行するようにしたもので
あり、その並列比較更新処理をCAM 34CM内に各基準逆投
影線に対応して比較更新処理部331 として示してある。
従って、この実施例では図３２におけるような専用の比
較更新処理部３３は設けていない。

【０１４３】この実施例においては、ボーティング処理
部３２では記憶部３４内の各基準逆投影線の通過ワール
ド座標(x_t,y_t) で指定されるボクセルに対するボーティ
ングが終了する毎に、その投票数Ｖを図２５Ａに示すフ
ィールド４Ｄに書き込むことを全基準逆投影線について
行い、その後CAM 34CM内で比較更新処理部331 により全
基準逆投影線について並列にV>V_Mであるか否かの判定を
行い、V>V_MであればＶを新しいV_Mとしてフィールド４Ｂ
を書き換えるとともに、最大点座標フィールド４Ａを今
回のワールド座標(x_t,y_t,t) から求めたボクセル座標(X
_M,Y_M,Z_M)により更新し、V>V_Mでなければ更新を行わな
い。この処理により全基準逆投影線についての比較更新
処理が並列的に達成される。

【０１４４】この実施例によれば、CAM が持つ並列処理
機能を用いることによって、特別な比較器等のハードウ
ェアを用いずに、ボーティング処理部で計数された投票
数Ｖの大きさに基づいて、基準逆投影線L_sに関する情報
を更新する処理を、全ての基準逆投影線L_sについて並列
に実行できる。従って、処理時間を短縮できるととも
に、ハードウェア量を小さくすることが可能である。

【０１４５】前述してきたこの発明による各種実施例の
３次元情報抽出装置において、基準画像として複数枚の
画像を使用するようにしてもよい。このようにすれば、
物体の遮蔽等による影響が低減し、真の特徴点の未検出
を防ぐことが可能となる。つまり、１つの基準画像から
みたときに３次元上の２つの特徴点が重なっていた場
合、基準画像を１枚のみ使用したのではその２つの特徴
点を区別できないが、基準画像を２枚以上使用すると、
その角度が異なるので、その２つの特徴点を区別でき
る。

【０１４６】なお、図２０、３２及び３３の実施例にお
いて、使用しているCAM の代わりに、通常のメモリ（例
えばRAM ）を使用するようにしてもよい。

【発明の効果】以上説明したように本発明によれば、逆
投影線の計数処理に要する記憶手段としては基準逆投影
線の数に対応する記憶領域あるいは一枚のボクセルスラ
イス上の全ボクセル数に対応する記憶領域があればよ
く、３次元ボクセル空間の全ボクセルに対応するメモリ
領域を設ける必要がない。また、各基準逆投影線上のボ
クセルについてのみ投票処理をすればよいので処理時間
を短縮することができるという効果を奏する。

【図面の簡単な説明】

【図１】従来の３次元情報入力装置の構成を示すブロッ
ク図。

【図２】３次元ボクセル空間での逆投影線Ｌとボーティ
ング処理を説明するための図。

【図３】第３の従来方法における錐体の逆投影によるボ
ーティングを説明するための図。

【図４】本発明におけるボクセル空間に対する逆投影線
を説明するための図。

【図５】本発明の３次元情報抽出装置の原理的構成を示
すブロック図。

【図６】図５の装置による３次元情報抽出手順を示すフ
ローチャート。

【図７】本発明の第１実施例を示す３次元情報抽出装置
の概略構成図。

【図８】ボクセルスライスと投票情報記憶部３２Ｍとの
対応関係を示す説明図。

【図９】Ａは基準逆投影線情報記憶部３４に格納された
最大点座標データと通過座標データの例を示す図、Ｂは
Ａのデータに基づいて投票情報記憶部３２Ｍ上にボーテ
ィング処理を行った場合の投票数の分布の例を示す図、
ＣはＢの投票結果に基づいてＡのデータを更新した後の
基準逆投影線情報記憶部３４の内容を示す図。

【図１０】本発明の第２実施例を示す３次元情報抽出装
置の概略構成図。

【図１１】本発明の第３実施例を示す３次元情報抽出装
置の概略構成図。

【図１２】図１１の装置における各処理ブロックの概略
構成を示すブロック図。

【図１３】Ａは第１データパケットの構成例を示す図、
Ｂは第２データパケットの構成例を示す図。

【図１４】８隣接メッシュ結合された処理ブロックアレ
イの一部を示す図。

【図１５】４隣接メッシュ結合された処理ブロックアレ
イの一部を示す図。

【図１６】Ａは３次元ボクセル空間での基準逆投影線が
通過するボクセル位置を示す図、Ｂはボクセルスライス
位置の移動に伴う通過ボクセルの移動を示す図、Ｃは通
過ボクセル位置の移動に伴う処理ブロックアレイ上のデ
ータパケットの移動を示す図。

【図１７】本発明の第４の実施例を示す処理ブロックの
結合構成図。

【図１８】図１７の装置によるパイプライン動作を説明
するためのタイムチャート。

【図１９】本発明の第５実施例である３次元情報抽出装
置を示すブロック図。

【図２０】本発明の第６実施例である３次元情報抽出装
置を示すブロック図。

【図２１】Ａは図２０の実施例において、通過ボクセル
と近傍ボクセルの例を示す図、Ｂは図２０の実施例にお
いて、通過ボクセルと近傍ボクセルの他の例を示す図、
Ｃは図２０の実施例において、通過ボクセルと近傍ボク
セルの更に他の例を示す図。

【図２２】本発明の第７実施例である３次元情報抽出装
置を示すブロック図。

【図２３】図２２の実施例における近傍ボクセルの例を
示す図。

【図２４】本発明の第８実施例である３次元情報抽出装
置を示すブロック図。

【図２５】Ａは図２４における基準逆投影線情報記憶部
３４に格納されるデータの構成を示す図、Ｂは図２４に
おける投票情報記憶部３２Ｍに格納されるデータの構成
を示す図。

【図２６】本発明の第９実施例である３次元情報抽出装
置を示すブロック図。

【図２７】本発明の第１０実施例である３次元情報抽出
装置を示すブロック図。

【図２８】Ａは同一基準逆投影線上の異なる位置に同じ
値の最大値V_Mが生じる例を示す図、ＢはＡの場合の連続
数C_Mの変化を示す図。

【図２９】本発明の第１１実施例である３次元情報抽出
装置を示すブロック図。

【図３０】本発明の第１２実施例である３次元情報抽出
装置を示すブロック図。

【図３１】本発明の第１３実施例である３次元情報抽出
装置を示すブロック図。

【図３２】本発明の第１４実施例である３次元情報抽出
装置を示すブロック図。

【図３３】本発明の第１５実施例である３次元情報抽出
装置を示すブロック図。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号特願平7−259440 (32)優先日平７(1995)９月12日 (33)優先権主張国日本（ＪＰ）

Claims

【特許請求の範囲】

【請求項１】物体を異なる視角から撮像した複数枚の
画像上の特徴点を所定間隔で断面を規定する複数のボク
セルにより分割された予め決めた大きさの３次元空間へ
逆投影し、逆投影線の集中する３次元位置を求めること
により上記物体上の特徴点の３次元情報を抽出する３次
元情報抽出装置であり、 (a) 撮像された上記複数枚の画像の予め決めた少なくと
も１枚を基準画像とし、その基準画像からの各逆投影線
を基準逆投影線とすると、それぞれの基準逆投影線に対
してその基準逆投影線に関する最大点情報を記憶するた
めの領域を有する基準逆投影線情報記憶手段と、上記最
大点情報はその基準逆投影線上の過去の投票数の最大値
とその最大値を与えたボクセルの位置を含み、 (b) 各上記基準逆投影線が通過するボクセルに対する他
の画像から通過する逆投影線の数を計数し、その計数値
に対応する投票数を得るボーティング手段と、 (c) 上記ボーティング手段により求めた投票数を対応す
る上記基準逆投影線情報記憶手段の領域の最大点情報の
最大値と比較し、それより大きければその投票数とそれ
を与えたボクセルの位置を新しい最大点情報として上記
対応する領域の最大点情報を更新する比較更新処理手段
と、 (d) 上記３次元空間内の各基準逆投影線上の全てのボク
セルについての上記投票数を得る処理と上記最大点情報
を比較更新する処理を繰り返させ、終了後に上記基準逆
投影線情報記憶手段のそれぞれの領域から最大値を与え
たボクセルの位置を上記物体上の特徴点の３次元情報と
して出力する制御手段、とを含む特徴点の３次元情報抽
出装置。
【請求項２】請求項１の３次元情報抽出装置は更に、
それぞれの上記逆投影線が通過する上記３次元空間の各
断面での通過位置を算出する通過位置算出手段が設けら
れ、上記ボーティング手段は算出された上記通過位置に
対応するボクセルを通過する他の画像からの逆投影線を
計数する手段である。
【請求項３】請求項１の３次元情報抽出装置におい
て、上記比較更新手段は上記投票数が上記最大値と等し
い場合も上記最大点情報を更新する手段である。
【請求項４】請求項１又は２の３次元情報抽出装置に
おいて、上記ボーティング手段は、上記３次元空間の１
つの断面を埋める全ボクセルにそれぞれ対応した領域か
らなり、各ボクセルを通過する逆投影線数を投票数とし
て記憶する投票情報記憶手段と、上記通過位置算出手段
により算出された各通過位置のボクセルに対応した領域
に記憶している投票数を読み出し、その投票数に１を加
えた値を更新した投票数として再び同じ領域に書き込む
投票数更新手段を含み、上記制御手段は上記ボーティン
グ手段と上記比較更新処理手段による処理が各断面につ
いて終了する毎に上記投票情報記憶手段の全領域をクリ
アする手段を含む。
【請求項５】請求項２の３次元情報抽出装置におい
て、上記基準画像以外の画像を参照画像とし、それらの
参照画像の逆投影線を参照逆投影線とすると、上記ボー
ティング手段は、各断面において上記通過位置算出手段
が算出した全参照逆投影線の通過位置情報を投票に係わ
る情報として記憶する投票情報記憶手段と、各上記基準
逆投影線の通過位置に対応する上記参照逆投影線通過位
置情報を上記投票情報記憶手段から検索してその数を求
め、その数から上記基準逆投影線の通過位置のボクセル
を通過する逆投影線の数を得る参照逆投影線計数手段と
を含む。
【請求項６】請求項５の３次元情報抽出装置におい
て、上記投票情報記憶手段は上記参照逆投影線の通過位
置の情報として全参照逆投影線の通過位置に対応するボ
クセルの座標を記憶しており、上記参照逆投影線計数手
段は各基準逆投影線の通過位置に対応するボクセルの座
標と同じ座標を上記投票情報記憶手段から検索してその
数を計数する手段である。
【請求項７】請求項６の３次元情報抽出装置におい
て、上記投票情報記憶手段は連想メモリにより構成さ
れ、上記参照逆投影線計数手段による検索は上記投票情
報記憶手段内の全参照逆投影線の通過位置と対応する全
座標に対し上記連想メモリの有する並列処理機能により
並列に実行する。
【請求項８】請求項５の３次元情報抽出装置におい
て、上記投票情報記憶手段は、それぞれの上記参照画像
に対応して設けられそれぞれの上記参照画像からの参照
逆投影線の通過位置情報を記憶する複数の連想メモリを
含み、上記逆投影線計数手段は上記複数の連想メモリに
対し並列に検索を行い、その検出出力を計数する手段で
ある。
【請求項９】請求項５の３次元情報抽出装置におい
て、上記逆投影線通過位置算出手段は、それぞれの参照
逆投影線に対して１つずつ設けられた参照逆投影線通過
位置算出処理手段を有し、全ての参照画像の全ての参照
逆投影線について、上記参照逆投影線通過位置算出処理
手段を並列に実行させる手段を含む。
【請求項１０】請求項５又は９の３次元情報抽出装置
において、上記逆投影線通過位置算出手段はそれぞれの
基準逆投影線に対して１つずつ設けられた基準逆投影線
通過位置算出処理手段を有し、全ての基準画像の全ての
基準逆投影線について、上記基準逆投影線通過位置算出
処理手段を並列に実行させる手段を含む。
【請求項１１】請求項９又は１０の３次元情報抽出装
置において、各逆投影線の上記通過位置情報はその逆投
影線の通過位置のワールド座標と方向ベクトルを含み、
上記逆投影線通過位置算出手段は上記３次元空間の各断
面に対する上記最大点情報の比較更新後に上記断面での
上記通過位置のワールド座標に上記方向ベクトルを加算
して次の断面の通過位置のワールド座標を求める手段で
ある。
【請求項１２】請求項９又は１０の３次元情報抽出装
置において、上記基準逆投影線情報記憶手段及び上記投
票情報記憶手段のそれぞれは、１つの逆投影線に関する
情報に１ワードが割り当てられた連想メモリを有し、上
記通過位置算出処理を並列に実行させる手段は上記連想
メモリが有している並列加算機能により上記通過位置算
出処理を全ての画像の全ての逆投影線について並列に実
行させる手段である。
【請求項１３】請求項１２の３次元情報抽出装置にお
いて、上記逆投影線計数手段は、上記投票情報記憶手段
の上記連想メモリが有する並列検索機能により、通過位
置が同じ逆投影線を全ての参照逆投影線に対して並列に
検索し、検出された逆投影線の数を計数する手段であ
る。
【請求項１４】請求項５の３次元情報抽出装置におい
て、上記逆投影線数計数手段は上記基準逆投影線の通過
するボクセルとその周囲の所定範囲内のボクセルを通過
する全ての参照逆投影線の数を計数し、その計数値を上
記投票数として得る手段である。
【請求項１５】請求項１４の３次元情報抽出装置にお
いて、上記投票情報記憶手段は、１つの逆投影線に関す
る情報に１ワードが割り当てられた連想メモリを有し、
上記逆投影線計数手段は、上記連想メモリの有するビッ
トマスク並列検索機能により上記基準逆投影線の通過位
置に対し所望のビットをマスクして並列検索を行うこと
により上記基準逆投影線が通過するボクセルとその周囲
の所定範囲内のボクセルを通過する全ての参照逆投影線
の数を検出し、計数する手段である。
【請求項１６】請求項５の３次元情報抽出装置におい
て、上記基準逆投影線情報記憶手段は、各上記基準逆投
影線に対応して最大値の連続回数を記録する連続数記憶
フィールドを有し、上記比較更新処理手段は上記基準逆
投影線情報記憶手段から読みだした上記最大点情報の最
大値が上記投票数と一致する場合、上記連続数フィール
ドの内容をインクリメントする手段を有し、上記制御手
段は上記３次元空間の全段面についての処理が終了する
と上記最大値連続フィールドから読みだした連続数に基
づいて上記最大点情報の上記３次元座標を修正して上記
３次元情報として出力する手段を含む。
【請求項１７】請求項１６の３次元情報抽出装置にお
いて、上記比較更新処理手段は、最大値の連続が新たに
開始するとそれを検出し、いずれか一方の連続回数とそ
れに対応する最大点情報を保持する手段を含む。
【請求項１８】請求項１２の３次元情報抽出装置にお
いて、上記基準逆投影線情報記憶手段には各上記基準逆
投影線に対応して上記投票数を格納する投票数フィール
ドが設けられており、上記比較更新処理手段は、上記基
準逆投影線情報記憶手段を構成する上記連想メモリの並
列処理機能により上記投票数フィールド中のそれぞれの
上記基準逆投影線の通過位置に対して求めた上記投票数
と対応する最大値との比較と、比較結果に基づく上記最
大点情報の更新を並列に実行する手段である。
【請求項１９】請求項１の３次元情報抽出装置におい
て、上記断面の全ボクセルの配列に対応して処理ブロッ
クの配列が設けられ、配列された上記処理ブロックは互
いに隣接間で接続され、上記ボーティング手段はそれぞれの処理ブロックに設け
られた第１データパケット記憶部と計数部を含み、各処
理ブロックの上記第１データパケット記憶部は対応する
ボクセルを通過する全ての逆投影線のそれぞれの情報を
それぞれ第１データパケットとして保持し、各逆投影線
の上記情報はその逆投影線が対応するボクセルを通過す
る位置のワールド座標とその逆投影線の方向ベクトルを
含み、各処理ブロックの上記計数部はその処理ブロック
の上記第１データパケット記憶部に書き込まれた全ての
第１データパケットの数を計数しその数に対応する投票
数を生成し、上記基準逆投影線情報記憶手段はそれぞれの処理ブロッ
クに、対応するボクセルを通過する基準逆投影線の上記
最大点情報を第２データパケットとして記憶する上記領
域を第２データパケット記憶部として有し、上記比較更新処理手段は、それぞれの処理ブロックに設
けられた第２データパケット更新部を有し、各処理ブロ
ックの上記第２データパケット更新部はその処理ブロッ
クの上記計数部が生成した投票数とその処理ブロックの
上記第２データパケット記憶部の最大値とを比較し、前
者の方が大きければその投票数とその処理ブロックに対
応するボクセルの位置を新しい最大点情報としてそのブ
ロックの上記第２データパケット記憶部の内容を更新
し、各上記処理ブロックは更に、入力された第１データパケ
ットを上記第１データパケット記憶部に書き込み、第２
データパケットを上記第２データパケット記憶部に書き
込むデータパケット受信部と、上記第２データパケット
更新部の動作後に上記第１データパケット記憶部内の全
ての第１データパケットの通過位置ワールド座標にそれ
ぞれの方向ベクトルを加算して次の断面の通過位置ワー
ルド座標を生成し上記方向ベクトルと合わせて更新され
た第１データパケットを生成する第１データパケット更
新部と、上記更新された第１データパケットを、その第
１データパケットが係わる逆投影線が基準逆投影線の場
合は第２データパケットと併せてそれぞれそれらの通過
位置ワールド座標に対応する処理ブロックに転送するデ
ータパケット転送部とを含み、上記制御手段はそれぞれの処理ブロックの第１データパ
ケット記憶部に、それぞれ対応するボクセルを通過する
逆投影線の初期通過位置ワールド座標とその逆投影線の
方向ベクトルを初期の第１データパケットとして与える
初期データ入力手段と、それぞれの処理ブロックの上記
計数部と上記第２データパケット更新部の動作を指示す
る命令制御部と、上記３次元空間のそれぞれの断面につ
いて上記処理ブロックによる処理を繰り返した後それぞ
れの処理ブロックの上記第２データパケット記憶部から
最大点情報を読みだして上記物体の特徴点の３次元情報
として出力する第２データパケット読み出し部とを含
む。
【請求項２０】請求項１９の３次元情報抽出装置にお
いて、上記制御手段の上記転送制御部は、全処理ブロッ
クに対し、上記複数の画像の逆投影線についての上記第
１データパケットをそれぞれ同じ画像について同じ転送
サイクルで複数の転送サイクルに渡って順次転送させる
手段である。
【請求項２１】請求項２０の３次元情報抽出装置にお
いて、各上記処理ブロックにおいて上記第１データパケ
ット記憶部は上記複数の画像に対応してそれぞれの逆投
影線に関する上記第１データパケットを格納するための
予め割り当てた領域を有し、上記データパケット受信部
と上記データパケット転送部は水平入出力部と垂直入出
力部を構成し、配列されたそれぞれの処理ブロックの各
行の処理ブロックはそれぞれの水平入出力部を介して接
続され、各列の処理ブロックはそれぞれ垂直入出力部を
介して接続され、全ての上記処理ブロックの上記第１デ
ータパケット記憶部は上記第１データパケットの各転送
サイクルにおいて上記水平入出力部と上記垂直入出力部
の一方が上記複数の領域の１つを選択して第１データパ
ケットを転送するときに、他方が前記一方の前回に選択
した領域を選択して第１データパケットを転送する。
【請求項２２】請求項１、２、４、５、６、９、１
４、１９、２０または２１のいずれかの３次元情報抽出
装置において、上記基準画像は複数設けられている。
【請求項２３】物体を異なる視角から撮像した複数枚
の画像上の特徴点を所定間隔で断面を規定する複数のボ
クセルにより分割された予め決めた大きさの３次元空間
へ逆投影し、逆投影線の集中する３次元位置を求めるこ
とにより上記物体上の特徴点の３次元情報を抽出する３
次元情報抽出方法において、以下のステップを含む： (a) 逆投影線が通過する上記３次元空間の選択した１つ
の断面での通過位置を算出し、 (b) 撮像された上記複数枚の画像の予め決めた少なくと
も１枚を基準画像とし、その基準画像からの各逆投影線
を基準逆投影線とすると、上記算出された通過位置に基
づいて、各上記基準逆投影線上のボクセルを通過する他
の異なる画像からの逆投影線を計数し、その計数値から
対応する投票数を求め、 (c) 各上記基準逆投影線に対応して基準逆投影線情報記
憶手段に保持されている過去の最大値の投票数とそれを
与えたボクセルの位置からなる最大点情報を参照て上記
ステップ(b) で求めた投票数と上記最大値とを比較し、
上記投票数が上記最大値より大きければその投票数とそ
れを与えたボクセルの位置を新しい最大点情報として上
記基準逆投影線情報記憶手段に保持されてる対応する最
大点情報を更新し、 (d) 上記３次元空間内の各基準逆投影線上の全てのボク
セルについて上記ステップ(a), (b), (c) の処理を繰り
返し、終了後に上記基準逆投影線情報記憶手段から最大
値を与えたボクセルの位置を上記物体上の特徴点の３次
元情報として出力する。
【請求項２４】請求項２３の３次元情報抽出方法にお
いて、上記ステップ(d)は、各上記基準逆投影線につい
てその基準逆投影線上の全てのボクセルで上記ステップ
(a), (b), (c) の処理を繰り返すことを他の全ての基準
逆投影線について繰り返すことにより全ての逆投影線に
ついての処理を終了する。
【請求項２５】請求項２３の３次元情報抽出方法にお
いて、上記ステップ(d)は上記３次元空間の各断面にお
いて全ての上記基準逆投影線について上記ステップ(a),
(b), (c) を繰り返すことを全ての断面について繰り返
すことにより全ての逆投影線についての処理を終了す
る。
【請求項２６】請求項２５の３次元情報抽出方法にお
いて、上記３次元空間の１つの断面を埋める全ボクセル
にそれぞれ対応した領域を有する投票数記憶手段が設け
られ得ており、上記ステップ(b) は上記ステップ(a) で
算出された各基準逆投影線の通過位置のボクセルに対応
する上記投票数記憶手段の領域の内容に１を加算するこ
とによりその領域内に投票数を生成する処理を含み、上
記ステップ(c) は各上記基準逆投影線の通過位置のボク
セルに対応する上記投票数記憶手段の領域から読み出し
た投票数と上記最大値を比較する処理を含み、上記ステ
ップ(d) は上記ステップ(c) の比較更新処理が各断面に
ついて終了する毎に上記投票数記憶手段の全領域をクリ
アする処理を含む。
【請求項２７】請求項２５の３次元情報抽出方法にお
いて、上記基準画像以外の画像を参照画像とし、それら
の参照画像の逆投影線を参照逆投影線とし、各断面にお
いて算出された全参照逆投影線の通過位置情報を投票に
係わる情報として記憶する投票情報記憶手段が設けられ
ており、上記ステップ(b) は、各上記基準逆投影線の通
過位置に対応する上記参照逆投影線通過位置情報を上記
投票情報記憶手段から検索してその数を求め、その数か
ら上記基準逆投影線に対応する上記投票数を得る処理を
含む。
【請求項２８】請求項２３の３次元情報抽出方法にお
いて、上記３次元空間の１つの断面の全ボクセルの配列
に対応した処理ブロックの配列が設けられ、各処理ブロ
ックは対応するボクセルを通過するそれぞれの逆投影線
の通過位置と方向ベクトルを第１データパケットとして
格納する第１データパケット記憶部と、そのボクセルを
通過する基準逆投影線の最大点情報を第２データパケッ
トとして格納し上記基準逆投影線情報記憶手段の一部を
構成する第２データパケット記憶部が設けられており、上記ステップ(a) は各処理ブロックにおいて、(a-1) 上
記第１データパケット記憶部内のそれぞれの第１データ
パケットの通過位置にそれぞれの方向ベクトルを加算し
て次の断面における通過位置を有する更新された第１デ
ータパケットとし、(a-2) 上記更新された第１データパ
ケットをそれぞれの通過位置が表す処理ブロック宛に、
その第１データパケットが基準逆投影線についてのもの
であれば上記第２データパケットを添付して送出すると
共に、他の処理ブロックから受信した自処理ブロック宛
の第１データパケット及び第２データパケットをそれぞ
れ上記第１及び第２データパケット記憶部に格納し、上記ステップ(b) は各処理ブロックにおいて上記第１デ
ータパケット記憶部内の全ての第１データパケットの数
を計数してそれをその処理ブロックに対応したボクセル
に対する投票数として求め、上記ステップ(c) は上記ステップ(b) で得た上記投票数
と上記第２データパケット記憶部内の第２データパケッ
ト中の過去の最大値と比較し、前者が大きければ上記投
票数と上記第１データパケット記憶部中の基準逆投影線
に対応する第１データパケット中の通過位置とにより上
記第２データパケットを更新する。
【請求項２９】請求項２８の３次元情報抽出方法にお
いて、各上記処理ブロックの第１データパケット記憶部
は上記複数の画像に対応して予め割り当てられた記憶領
域を有し、各処理ブロックは水平入出力部と垂直入出力
部を有し、各行の処理ブロックはそれぞれ水平入出力部
を介して順次接続されており、各列の処理ブロックは垂
直入出力部を介して順次接続されており、上記ステップ(a-2) は各処理ブロックにおいて、(a-2-
1) 上記水平入出力部と垂直入出力部の一方が上記第１
データパケット記憶部の１つの記憶領域を選択してその
第１データパケットを水平方向に送出し、水平方向の他
処理ブロックから受信した第１データパケットをその記
憶領域に書き込む間に、(a-1-2) 他方は上記一方が前回
選択した記憶領域を選択してその第１データパケットを
垂直方向に送出し、垂直方向の他処理ブロックから受信
した第１データパケットをその領域に書き込み、上記ス
テップ(a-1-1) と(a-1-2) を並列にそれぞれの記憶領域
について実行する処理を含む。