JP2012008998A - ３次元の制御ポイントを認識するための方法、及び、それらを用いるコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】より正確に制御ポイントを認識するための３次元制御ポイントを認識する方法、及び、当該方法を用いるコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【解決手段】３次元制御ポイントを認識するための方法、または、当該方法を実行するための複数のプログラムコマンドを有するコンピュータ読み取り可能な記録媒体であって、当該方法は、画像取得装置によって取得された画像に対応する深さ情報要素を取得し、前記深さ情報要素に応じて、複数の３次元ブロックに対応する複数の３次元ブロック情報要素を生成し、前記深さ情報要素に応じて、少なくとも１の参照平面を生成し、前記３次元ブロック情報要素及び前記参照平面に応じて、少なくとも１の接続グループを生成し、前記接続グループから、前記画像取得装置に最も近い３次元ブロックを、制御ポイントとして、選択する、ことを特徴とする。
【選択図】図２

Description

本願は、２０１０年６月２３日に出願された台湾出願第９９１２０４９５号を基礎出願とする優先権主張出願であって、当該台湾出願の主題は、参照することにより本願に組み入れられるものとする。

本発明は、一般に制御ポイントを認識する方法、より具体的には、３次元の制御ポイントを認識するための方法、及び、それらを用いるコンピュータ読み取り可能な記録媒体に関する。

マルチタッチ(multi-touch)は、タッチスクリーンインターフェイスによって提供される非常に便利なものである。マルチタッチの目的は、ユーザーが、ユーザーの動作の習慣により適応した方法でシステムを操作できるようにし、マンマシーンインターフェイスを改善することにある。第１の一般的な従来例によれば、まず、その対象の特徴、例えば、色、形、手(fist)のパターン、が定義される。次に、画像が取得される。それから、対象の特徴が、制御ポイントを定義するために、画像の特徴ブロックと比較される。第２の一般的な従来例によれば、深さについての特徴(depth feature)が、背景(background)についての情報を、判断の誤りとなる複雑な背景情報を避けるよう、フィルタ処理するために用いられる。第３の一般的な従来例によれば、３次元制御領域が設置され、深さ情報(depth information)と手についての特徴(hand feature)に応じて、カメラに一番近い制御ポイント(control point)が、３次元制御領域から設置される。

例えば、下記特許文献は、ハンドポインティング装置(hand pointing apparatus)を開示している。展開法(perspective method)を用いて仮想３次元空間を表す画像が、ディスプレイに表示され、情報入力者の画像が、異なる方向からの複数のビデオカメラによって取得される。情報入力者が、表示された画像によって表される仮想３次元空間の中で、ある点をさす一方で、情報入力者の画像の背景に対応する参照点(reference point)、及び、指先(finger tip)に対応する特徴点がそれぞれ、各ビデオカメラによって取得される複数の画像から取得され、仮想３次元空間におけるこれらの点の座標が決定される。情報入力者によって指摘される点が仮想３次元空間内に設置される方向は、参照点から特徴点への方向に基づいて決定され、情報入力者と仮想３次元空間内で情報入力者によって指される位置との間の距離は、参照点と特徴点との間の距離に基づいて決定される。結果として、仮想３次元空間内で情報入力者によって指される３次元座標を決定することができる。

米国特許第６４３４２５５号明細書

より正確に制御ポイントを認識するための３次元制御ポイントを認識する方法、及び、当該方法を用いるコンピュータ読み取り可能な記録媒体を提供することを目的とする。

本発明は、３次元制御ポイントを認識する方法及び当該方法を用いるコンピュータ読み取り可能な記録媒体に関する。

本発明の第１の側面は、３次元制御ポイント(three-dimensional control points)を認識するための方法であって、画像取得装置によって取得された画像に対応する深さ情報要素(depth information item)を取得し、前記深さ情報要素に応じて、複数の３次元ブロックに対応する複数の３次元ブロック情報要素(three-dimensional block information item)を生成し、前記深さ情報(depth information)に応じて、少なくとも１の参照平面(reference plane)を生成し、前記３次元ブロック情報(three-dimensional block information)及び前記参照平面に応じて、少なくとも１の接続グループ(connection group)を生成し、前記接続グループから、前記画像取得装置に最も近い３次元ブロックを、制御ポイント(control point)として、選択する、ことを特徴とする。

本発明の第２の側面は、３次元制御ポイントを認識するための方法を実行するための複数のプログラムコマンドを有するコンピュータ読み取り可能な記録媒体であって、当該方法は、画像取得装置によって取得された画像に対応する深さ情報要素を取得し、前記深さ情報要素に応じて、複数の３次元ブロックに対応する複数の３次元ブロック情報要素を生成し、前記深さ情報要素に応じて、少なくとも１の参照平面を生成し、前記３次元ブロック情報要素及び前記参照平面に応じて、少なくとも１の接続グループを生成し、前記接続グループから、前記画像取得装置に最も近い３次元ブロックを、制御ポイントとして、選択することを特徴とする。

本発明の上記及びその他の側面は、下記のより好ましいが限定するものではない実施形態の記載により、より詳細に理解される。なお、下記の記載は、添付図面を参照するものである。

より正確に制御ポイントを認識するための３次元制御ポイントを認識する方法、及び、当該方法を用いるコンピュータ読み取り可能な記録媒体を提供することができる。

３次元制御ポイントを認識するシステムを示す。 ３次元制御ポイントを認識する方法のフローチャートを示す。 ３次元ブロック情報要素を生成する詳細なフローチャートを示す。 突起を示す。 ノイズブロックがフィルタ処理される状態を示す ノイズブロックがフィルタ処理された後の状態を示す。 画像中の全ての突起を示す。 画像中の全ての３次元ブロックを示す。 参照平面を生成するための詳細なフローチャートである。 空間配分の統計を示す。 接続グループを生成する詳細なフローチャートである。 第１の接続形式の３次元ブロックの結果を示す。 第２の接続形式の３次元ブロックの結果を示す。 第３の接続形式の３次元ブロックの結果を示す。 ２の３次元ブロック間の接続から決定される参照ポイントを示す。 第１の形式の３次元ブロックを示す。 第２の接続形式の３次元ブロックの結果を示す。 第３の接続形式の３次元ブロックの結果を示す。 接続グループの例を示す。

より正確に制御ポイントを認識するための３次元制御ポイントを認識する方法、及び、当該方法を用いるコンピュータ読み取り可能な記録媒体が、下記に記載される。コンピュータ読み取り可能な記録媒体は、３次元制御ポイントを認識するための方法を実施するための複数のプログラムコマンドを有する。３次元制御ポイントを認識するための方法は、次のステップを有する。画像取得装置によって取得される画像に対応する深さ情報要素が取得される。３次元ブロックに対応する３次元ブロック情報要素が、当該深さ情報に応じて生成される。少なくとも１の参照平面が、当該深さ情報に応じて、生成される。少なくとも１の接続グループが、３次元ブロック情報及び参照平面に応じて、生成される。画像取得装置に一番近い３次元ブロックが、接続グループから制御ポイントとして選択される。

[３次元制御ポイント及びコンピュータ読み取り可能な記録媒体]
図１及び図２を参照しつつ説明する。図１は、３次元制御ポイントを認識するシステムを示す。図２は、３次元制御ポイントを認識する方法のフローチャートを示す。３次元制御ポイントを認識するためのシステム１０は、コンピュータ１１０と、コンピュータ読み取り可能な記録媒体１２０と、を有する。コンピュータ読み取り可能な記録媒体１２０は、コンピュータ１１０へ、３次元制御ポイントを認識するための方法をロード(load)するための複数のプログラムコマンドを有する。コンピュータ読み取り可能な記録媒体１２０は、例えば、磁気ディスク、光ディスク、磁気テープ、またはハードディスクドライブを含む。３次元制御ポイントを認識する方法は、次のステップを有する。まず、当該方法は、ステップ２１で始まり、画像取得装置、例えば、赤外線カメラや一対のカメラ、によって取得される画像に対応する深さ情報要素が取得される。

次に、当該方法は、ステップ２２に進み、３次元ブロックに対応する３次元ブロック情報要素が、当該深さ情報に応じて生成される。次に、当該方法は、ステップ２３に進み、少なくとも１の参照平面が、当該深さ情報に応じて、生成される。その後、当該方法は、ステップ２４に進み、少なくとも１の接続グループが、当該３次元ブロック情報と参照平面に応じて生成される。最後に、当該方法は、ステップ２５に進み、画像取得装置に最も近い３次元ブロックが、接続グループから、制御ポイントとして選択される。３次元ブロック情報、参照平面、接続グループを生成するステップを、それぞれ下記に説明する。

[３次元ブロック情報要素の生成]
図３乃至図８を参照しつつ説明する。図３は、３次元ブロック情報要素を生成する詳細なフローチャートを示す。図４は、突起を示す。図５は、ノイズブロックがフィルタ処理される状態を示す。図６は、ノイズブロックがフィルタ処理された後の状態を示す。図７は、画像中の全ての突起を示す。図８は、画像中の全ての３次元ブロックを示す。ステップ２２は、更に、サブステップ２２１乃至２２５を含む。

まず、ステップ２２は、サブステップ２２１で始まり、画像取得装置によって取得された画像の突起４１０(protrusion)が、水平及び垂直方向にそった深さ情報に応じて探知される。突起４１０は、特徴画素（図４に示す）(characteristic pixel)に相当し、当該特徴画素は、画像中に存在し、周辺画素(surrounding pixels)に対してある高さ分、突出している。

次に、ステップ２２は、サブステップ２２２に進み、図７に示した突起４１０は、突起４１０とその周辺画素との間の深さの差に応じて、図８に示した３次元ブロック４２０に展開(expand)される。サブステップ２２２では、突起４１０周辺の画素の深さ情報が確認（check）される。突起４１０周辺の画素は、突起４１０とその周辺画素との間の深さ情報が所定の範囲内にある場合には、展開領域(expansion range)に含まれる。このように、突起４１０は、３次元ブロック４２０に展開される。

次に、ステップ２２は、サブステップ２２３に進み、ノイズブロック(noise block)が、３次元ブロック４２０から、深さの変位（depth change）に応じて、フィルタで除去される。なお、サブステップ２２３と２２２は、同時に行われてもよい。例えば、図５に示した突起４１０（１）を展開する際、他の突起４１０（２）に接触(touch)する。サブステップ２２３においては、突起４１０（２）の深さ情報は、４１０（１）の深さ情報と比較される。一方、突起４１０（２）の深さ情報が所定の範囲内である場合、突起４１０（２）は、突起４１０（１）の展開領域に含まれ、突起４１０（２）の展開の段階（expansion authority）は、（図６に示されるように）上げられ(lifted)、突起４１０（１）は、３次元ブロック４２０（ａ）に展開される。同様に、突起４１０（４）の深さ情報が所定の範囲内にある場合には、突起４１０（４）は、突起４１０（３）の展開領域に含まれ、突起４１０（４）の展開の段階は、上げられ、突起４１０（３）は、３次元ブロック４２０（ｂ）に展開される。したがって、サブステップ２２２の計算処理は軽減され、計算速度を、正確性に影響することなく、増加させることができる。

その後、ステップ２２は、サブステップ２２４に進み、画像の突起４１０が全て確認(check)されたかが決定される。全ての画像の突起４１０が確認されていない場合には、サブステップ２２２及び２２３が繰り返される。しかしながら、サブステップ２２３で展開の段階が上げられた突起（例えば、図５及び図６にそれぞれ示される突起４１０（２）及び突起４１０（４））は、計算に含められない。サブステップ２２４においては、当該確認が、サブステップ２２１で探知された突起４１０が、全て確認されるまで繰り返される。

次に、ステップ２２は、サブステップ２２５に進み、３次元ブロック４２０に対応する３次元ブロック情報要素が生成される。更に、全ての３次元ブロック４２０がサブステップ２２４で決定された後、代表ポイント(representative point)が、３次元ブロック４２０から設置される。当該代表ポイントは、例えば、３次元ブロック４２０の重点（gravity point）である。３次元ブロック４２０の重点が設置された後、代表ポイントに対応する３次元ブロック情報要素が生成される。

[参照平面の生成]
図９乃至図１０を参照しつつ説明する。図９は、参照平面を生成するための詳細なフローチャートである。図１０は、空間配分の統計(statistics of space distribution)を示す。ステップ２３は、更に、サブステップ２３１乃至２３３を含む。まず、ステップ２３は、サブステップ２３１で始まり、空間配分の統計が、深さ情報に応じて計算される。更に、サブステップ２３１においては、画像の各画素の３次元空間における対応する位置が、３次元シーン(three-dimensional scene)を再構築(re-construct)するために、深さ情報を用いて評価される。図１０に示した空間配分の統計は、３次元シーンで取得することができる。図１０において、始点（original point）は、画像取得装置の位置に相当し、ｘ軸は、画像取得装置への距離を示し、ｙ軸は画素の数に相当し、ｘ軸は、画像取得装置への距離に相当することから、図１０の空間配分の統計は、異なる深さにおける画素の数を示す。

次に、ステップ２３は、サブステップ２３２に進み、間隔平滑化（interval smoothing）と全体の重み付け（overall weighting）が、図１０に示した空間配分の統計に適用される。更に、空間配分の統計処理で生じた些細なノイズ(minute noises)による影響を除去するために、最初の空間配分の統計は、些細なノイズにより生じる影響を軽減する（mitigate）ために、サブステップ２３２において、ファジフィケーション(fuzzification)によって、平滑化される。例えば、サブステップ２３２においては、深さ要素のある範囲（例えば、ｙ軸におけるある範囲）が選択され、深さ要素の対応する画素が追加され、深さ要素の代表値(representative value)として、平均化される。次に、深さ要素を徐々に移動し、上記計算処理が繰り返され、結果として、後の処理は、ノイズによって影響されない。次に、全体の空間配分の統計が、重み付けされ、カメラ距離(camera distance)との関係を通じて、評価される。

次に、ステップ２３は、サブステップ２３３へ進み、ノイズ平面(noise plane)は、参照平面(reference plane)を生成するように、フィルタ処理(filtered)される。更に、図１０に示した空間配分の統計から適切な参照平面を設置するために、サブステップ２３３においては、まず、最も高いピーク値(highest peak value)、ｙｍａｘが空間配分の統計から設置(located)され、次に、最も高いピーク値、ｙｍａｘが、評価の参照（reference）として使用される。最も高いピーク値、ｙｍａｘのうちの３０％が決定の基本(basis of determination)として用いられると想定する。参照値(reference value)を超えないピーク値の画素値は、適切な参照平面としては選択されず、フィルタで除去されるノイズ平面と決定される。フィルタ処理の後、図１０に示した空間配分の統計のｙ１が要求(requirement)に合致することが分かる。サブステップ２３３においては、最も高いピーク値、ｙｍａｘ、及び、ピーク値ｙ１が、参照として、用いされ、ピーク値領域内のｘ軸の空間画素配分(space pixel distribution)が分析され、更に、異なるユーザーについて、同様の深さ(similar depth)を有する参照平面に分割される。

[接続グループの生成]
図１１乃至図１９を参照しつつ説明する。図１１は、接続グループ(connection group)を生成する詳細なフローチャートである。図１２は、第１の接続形式(connection type)の３次元ブロックの結果を示す。図１３は、第２の接続形式の３次元ブロックの結果を示す。図１４は、第３の接続形式の３次元ブロックの結果を示す。図１５は、２の３次元ブロック間の接続から決定される参照ポイントを示す。図１６は、第１の形式(type)の３次元ブロックを示す。図１７は、第２の接続形式の３次元ブロックの結果を示す。図１８は、第３の接続形式の３次元ブロックの結果を示す。図１９は、接続グループの例を示す。ステップ２４においては、３次元ブロック情報が生成された後、３次元ブロックの間の接続が、３次元ブロック情報及び参照平面に応じて分析され、接続グループが、３次元ブロックの間の接続に応じて生成される。ステップ２４は、更に、サブステップ２４１乃至２４３を含む。

まず、ステップ２４は、サブステップ２４１で始まり、付近の３次元ブロック（nearby three-dimensional blocks）が、３次元ブロック間の距離に応じて接続される。更に、ステップ２４１においては、同様の３次元ブロック(similar three-dimensional blocks)が３次元ブロックの間の距離に応じて接続（connect）され、３次元ブロック間の距離が、ユークリッド距離（Euclidean distance）に応じて、計算され得る。一般に、正しい３次元ブロック４２０（１）乃至４２０（３）の接続方向(connection direction)は、図１２に示すように、参照平面５０(reference plane)に向かうべきであり、正しい３次元ブロック４２０（４）乃至４２０（６）の接続方向もまた、図１２に示すように参照平面５０に向かうべきである。しかしながら、２の３次元ブロックが接続されるか否かが、単にユークリッド距離に基づくものであるなら、図１３または図１４に示すような接続の誤りが起こり得る。当該接続の誤りを避けるために、最も近い３次元ブロックがサブステップ２４１において設置された後、３次元ブロック間の接続が正しいか否かを次のステップ２４２で確認する。３次元ブロックの接続がサブステップ２４２の確認をパス（pass）しない場合、ステップ２４は、サブステップ２４１に戻り、２番目に最も近い３次元ブロックが設置され、３次元ブロックの接続が正しいか否かがサブステップ２４２で再度確認される。

次に、当該方法は、サブステップ２４２に進み、最も底に位置するポイント(bottommost point)が、２の接続された３次元ブロックの間の接続から、参照ポイント４３０として、選択され、参照ポイント４３０に応じて、接続が所定の接続状態(predetermined connection state)に合致しているか否かが確認される。接続が、所定の接続状態に合致していない場合には、サブステップ２４１が繰り返される。更に、図１５に示すように、３次元ブロック４２０（７）及び４２０（８）の間の接続ライン(connection line)上のポイントの深さが計算され、最も底のポイントが接続ライン上のポイントから設置され、当該最も底のポイントが参照ポイントとして定義される。最も底のポイントと参照ポイント４３０との間の関係が、図１６に示したような場合である場合、これは、参照ポイント４３０が、３次元ブロック４２０（７）と４２０（８）の間の接続ライン上で比較的低い位置にないことを示唆する。このような接続は、矢印で示す方向(hand)にそって参照平面へ向き、その結果、図１６に示した３次元ブロック４２０（７）と４２０（８）の接続は、所定の接続状態に合致しない。

最も底のポイントと参照ポイント４３０の間の関係が、図１７に示したような場合、これは、参照ポイント４３０が３次元ブロック４２０（７）と４２０（８）より低い位置にもかかわらず、参照ポイント４３０と３次元ブロック４２０（７）と４２０（８）がある限界以内(within a certain limit)であることを示唆している。全体の接続の観点から、図１７に示した接続方向は、参照平面に向いており、図１７に示した３次元ブロック４２０（７）と４２０（８）の接続は、所定の接続状態に合致していない。

最も底のポイントと参照ポイント４３０の間の関係が、図１８に示したような場合、これは、参照ポイント４３０が３次元ブロック４２０（７）と４２０（８）よりもずっと低い位置にあることを示唆している。３次元ブロック４２０（７）と４２０（８）がそれぞれ２の先端（fingertips）である場合、参照ポイント４３０は、参照平面上にあり、３次元ブロック４２０（７）と４２０（８）の間の接続は、３次元ブロック４２０（７）と４２０（８）がどれだけ近くても、所定の接続状態に合致することはない。したがって、３次元ブロック４２０（７）と４２０（８）は接続されない。次に、ステップ２４は、２番目に最も近い３次元ブロックを設置するために、サブステップ２４１に戻る。

同様に、如何に２の人物が近くても、ピットした(pitted)参照ポイント４３０が、先端(fingertips)の３次元ブロックの接続ライン上に存在する限り、その３次元ブロックは、接続されない。したがって、多数の人物が同時に操作する際に起こるマルチポイント対応(multi-point correspondence)の相互干渉(mutual interference)の問題が解決され、３次元ブロックの間の接続が、所定の接続状況に合致しないことが保証される。

次に、ステップ２４は、サブステップ２４３に進み、３次元ブロックが、接続グループを生成するために集められる(collected)。ここで、３次元ブロックは接続され、参照平面にリンク（link）される。更に、図１９に示すように、３次元ブロック４２０（１）と４２０（４）が参照平面５０に正しく接続され得る場合、３次元ブロック４２０（１）と４２０（４）は、論理的制御ポイント(logical control point)となる。逆に、３次元ブロック４２０（９）が参照平面５０に正しく接続できない場合、３次元ブロック４２０（９）は論理的制御ポイントとして使用されることはできず、空間内でノイズとなる。したがって、サブステップ２４３においては、相互に接続され参照平面にリンクされる３次元ブロック４２０（１）乃至４２０（３）は、接続グループ６０（１）を生成するために集められ、相互に接続され参照平面にリンクされる３次元ブロック４２０（４）乃至４２０（６）は、接続グループ６０（２）を生成するために集められる。次に、当該方法は、ステップ２５に進み、画像取得装置に最も近い３次元ブロック４２０（１）及び４２０（４）が、接続グループ６０（１）及び６０（２）から、制御ポイント(control point)として選択される。

本発明は、実施形態やより好適な例により記載されているが、本発明はそれに限定されるものではない。むしろ、様々な変形や同様の配置及び手順を含むように意図されたものであり、請求項に記載された発明は、そのような全ての変形や同様の配置及び手順を含むように最大限に解釈されるべきである。

５０ 参照平面、６０ 接続グループ、１１０ コンピュータ、１２０ コンピュータ読み取り可能な記録媒体、４１０ 突起、４２０ ３次元ブロック、４３０ 参照ポイント。

Claims (10)

1. 画像取得装置によって取得された画像に対応する深さ情報要素を取得し、
   前記深さ情報要素に応じて、複数の３次元ブロックに対応する複数の３次元ブロック情報要素を生成し、
   前記深さ情報要素に応じて、少なくとも１の参照平面を生成し、
   前記３次元ブロック情報要素及び前記参照平面に応じて、少なくとも１の接続グループを生成し、
   前記接続グループから、前記画像取得装置に最も近い３次元ブロックを、制御ポイントとして、選択する、
   ことを特徴とする３次元制御ポイントを認識するための方法。
2. 前記複数の３次元ブロック情報要素を生成するステップは、
   前記深さ情報要素に応じて、複数の突起を探知し、
   前記複数の突起と前記複数の突起周辺の画素との間の深さの相違に応じて、前記突起を前記３次元ブロックに展開し、
   前記３次元ブロックに対応する前記３次元ブロック情報要素を生成し、
   前記深さの変位に応じて、前記３次元ブロック情報要素からノイズブロックを除去し、
   前記突起が全て確認されたか否かを決定し、全て確認されていない場合には、前記突起を３次元ブロックに展開するステップを繰り返し、
   前記３次元ブロックから複数の代表ポイントを決定し、
   前記代表ポイントから３次元ブロック情報要素を生成する、
   ことを特徴とする請求項１に記載の３次元制御ポイントを認識するための方法。
3. 前記代表ポイントはそれぞれ、前記３次元ブロック情報の重点であることを特徴とする請求項２に記載の３次元制御ポイントを認識するための方法。
4. 前記少なくとも１の参照平面を生成するステップは、
   前記深さ情報要素に応じて、空間配分の統計を計算し、
   間隔平滑化及び全体重み付けを前記空間配分の統計に適用し、
   前記参照平面を生成するために、ノイズ平面をフィルタで除去することを特徴とし、
   前記空間配分の統計は異なる深さに対応する画素であって、
   前記ノイズ平面をフィルタで除去するステップにおいて、前記参照平面は、前記空間配分の統計の最も高いピーク値に応じて生成されることを特徴とする請求項１に記載の３次元制御ポイントを認識するための方法。
5. 前記少なくとも１の接続グループを生成するステップは、
   ３次元ブロック間の距離に応じて、周辺の３次元ブロックを接続し、
   前記２の接続された３次元ブロックの間の接続から、参照ポイントとして、最も底のポイントを選択し、前記参照ポイントに応じて、前記接続が所定の接続状態に合致するか否かを決定し、前記接続が前記所定の接続状態に合致していない場合には、前記接続ステップを繰り返し、
   前記接続グループを生成するために、相互に接続されかつ前記参照平面にリンクされた前記３次元ブロックを集めることを特徴とし、
   前記接続ステップにおいては、２の最も近い３次元ブロックを接続し、前記２の最も近い３次元ブロックの間の接続が前記所定の接続状態に合致しない場合には、２番目に最も近い３次元ブロックを接続することを特徴とする請求項１に記載の３次元制御ポイントを認識するための方法。
6. 画像取得装置によって取得された画像に対応する深さ情報要素を取得する手段、
   前記深さ情報要素に応じて、複数の３次元ブロックに対応する複数の３次元ブロック情報要素を生成する手段、
   前記深さ情報要素に応じて、少なくとも１の参照平面を生成する手段、
   前記３次元ブロック情報要素及び前記参照平面に応じて、少なくとも１の接続グループを生成する手段、
   前記接続グループから、前記画像取得装置に最も近い３次元ブロックを、制御ポイントとして、選択する手段
   としてコンピュータを機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
7. 前記複数の３次元ブロック情報要素を生成する手段は、
   前記深さ情報要素に応じて、複数の突起を探知し、
   前記複数の突起と前記複数の突起周辺の画素との間の深さの相違に応じて、前記突起を前記３次元ブロックに展開し、
   前記３次元ブロックに対応する前記３次元ブロック情報要素を生成し、
   前記深さの変位に応じて、前記３次元ブロック情報要素からノイズブロックを除去し、
   突起が全て確認されたか否かを決定し、全て確認されていない場合には、前記突起を３次元ブロックに展開することを繰り返し、
   前記３次元ブロックから複数の代表ポイントを決定し、
   前記代表ポイントから３次元ブロック情報要素を生成する
   ことを特徴とする請求項６に記載のコンピュータ読み取り可能な記録媒体。
8. 前記代表ポイントはそれぞれ、３次元ブロック情報の重点であることを特徴とする請求項７に記載のコンピュータ読み取り可能な記録媒体。
9. 前記少なくとも１の参照平面を生成する手段は、
   前記深さ情報要素に応じて、空間配分の統計を計算し、
   間隔平滑化及び全体重み付けを前記空間配分の統計に適用し、
   前記参照平面を生成するために、ノイズ平面をフィルタで除去することを特徴とし、
   前記空間配分の統計は異なる深さに対応する画素であって、
   前記ノイズ平面をフィルタで除去する手段において、前記参照平面は、前記空間配分の統計の最も高いピーク値に応じて生成されることを特徴とする請求項６に記載のコンピュータ読み取り可能な記録媒体。
10. 前記少なくとも１の接続グループを生成する手段は、
    ３次元ブロック間の距離に応じて、周辺の３次元ブロックを接続し、
    前記２の接続された３次元ブロックの間の接続から、参照ポイントとして、最も底のポイントを選択し、前記参照ポイントに応じて、前記接続が所定の接続状態に合致するか否かを決定し、前記接続が前記所定の接続状態に合致していない場合には、前記接続を繰り返し、
    前記接続グループを生成するために、相互に接続されかつ前記参照平面にリンクされた前記３次元ブロックを集めることを特徴とし、
    前記接続においては、２の最も近い３次元ブロックを接続し、前記２の最も近い３次元ブロックの間の接続が前記所定の接続状態に合致しない場合には、２番目に最も近い３次元ブロックを接続することを特徴とする請求項６に記載のコンピュータ読み取り可能な記録媒体。

Images