JP2001005976A - オブジェクト表面を探索する画像空間を順序付ける方法 - Google Patents

Abstract

(57)【要約】 【課題】 形状の構造的情報を獲得することができ最も
好ましい結果をもたらすオブジェクト表面を探索する画
像空間を順序付ける方法を得る。 【解決手段】 シーケンスの各画像におけるオブジェク
トの境界を、隣接する画像の動き情報を用いて推定する
ステップ３０２と、各画像のうちの複数の部分を順序付
けして、画像の順序付きシーケンスを生成するステップ
３２５と、各画像におけるエッジを動き情報を用いてフ
ィルタリングするステップ３４０と、シーケンスの各順
序付き画像を探索することによりフィルタリングされた
エッジの位置を突止め、それによって各順序付き画像の
推定された境界の外側の新たな境界を形成するステップ
と、新たなオブジェクトの境界がオブジェクトの表面に
収束するまで、画像のシーケンスに亙ってその新たなオ
ブジェクトの境界を射影しつつ、フィルタリングおよび
探索を繰返すステップとを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は概して、画像空間の
順序付けに関し、特にビデオオブジェクトのセグメント
化に関するオブジェクト表面を探索する画像空間を順序
付ける方法に関する。

【０００２】

【従来の技術】ＩＳＯ ＭＰＥＧ−１およびＭＰＥＧ−
２等の古い映像規格は、主に映像信号の時間的および空
間的圧縮を扱う比較的低レベルの仕様である。これらの
規格を用いて、広範囲の適用法に亙って高圧縮率の圧縮
を行うことができる。

【０００３】ＭＰＥＧ−４等、新しい映像符号化規
格（"Information Technology Genericcoding of audi
o/visual objects," ISO/IEC FDIS 14496-2(MPEG4 Visu
al), Nov.1998参照）は、任意形状のオブジェクトを、
別々のビデオオブジェクトプレーン（（ＶＯＰ）video
object planes）として符号化および復号化することを
可能にするものである。これら新しい規格は、自然のデ
ータと合成のデータとが統合され、かつ、あらゆる方法
でアクセスされる、インタラクティブ映像等のマルチメ
ディアにおける適用を可能とすることが意図されてい
る。例えば、ある映像から別の映像へ移動する像または
オブジェクトを「カット・アンド・ペースト」したい場
合がある。そのオブジェクトを識別するためには、ま
ず、映像が「セグメント化」されなければならない。映
像（アーカイブされている場合も新たに取得された場合
も含む）の量が与えられると、セグメント化プロセスは
完全に自動的に行われるかまたは半自動的に行われる。

【０００４】半自動的である場合、第１の画像に対して
セグメント化を行う。この場合、オブジェクト追跡の問
題が起こる。自動的である場合、まずオブジェクトを識
別すること、次にオブジェクトを追跡することが問題と
なる。いずれの場合も、セグメント化プロセスは、ユー
ザが必要とする入力を最小化するよう企図されていなけ
ればならず、明らかに、まったく入力を必要としないの
が最適である。

【０００５】ビデオシーケンスの各画像は、ＶＯＰを用
いて任意形状の画像領域にセグメント化される。各ＶＯ
Ｐは、例えば、形状、動きおよびテクスチャという点で
ビデオオブジェクトを記述する。上記規格では、ソース
画像からＶＯＰの画像を生成する厳密な方法は定義され
ていない。通常の輝度成分および彩度成分に加えて、形
状情報により、「自然な」オブジェクトが表現されるも
のとする。形状データを、セグメント化マスクとして、
またはグレイスケールアルファプレーンとして提供する
ことにより、複数のオーバーレイしたオブジェクトを表
現することができる。ビデオオブジェクトは、オプティ
カルフロー、色および輝度等の低レベルの特徴に関連し
て広範囲に変化するため、ＶＯＰセグメント化は非常に
困難な問題である。

【０００６】多くのセグメント化方法が知られている。
領域ベースのセグメント化方法には、メッシュベース、
動きモデルベースおよび分割併合（split-and-merge）
の方法がある。これら方法は、輝度等の空間的特徴に基
づいているため、誤った輪郭を生成する可能性があり、
場合によっては、前景のオブジェクトが背景に併合され
てしまう可能性もある。最近では、形態素時空間セグメ
ント化（morphological spatio-temporal segmentatio
n）が使用されている。この場合、空間的（輝度）およ
び時間的（動き）領域両方からの情報が、ベクトルを用
いて追跡される。この複雑な方法は、空間的領域を時間
的領域に誤って割当てる可能性があり、かつ、複数のオ
ブジェクトを含むビデオシーケンスに適用することが困
難である。

【０００７】最も新しくＭＰＥＧ委員会が規格化したも
のは、正式には「マルチメディアコンテンツ記述インタ
フェース（Multimedia Content Description Interfac
e）」と呼ばれるＭＰＥＧ−７（"MPEG-7 Context, Obje
ctives and Technical Roadmap," ISO/IEC N2729, Marc
h 1999参照）である。本質的に、この規格は、あらゆる
タイプのマルチメディア情報を記述するために使用する
ことができる１組のディスクリプタを開発しようとする
ものである。この記述は、コンテンツ自体に関連付けら
れており、ユーザが必要とする素材を高速かつ効率的に
探索することができるようにする。この規格は、それよ
り前の符号化規格に取って代ろうとするものではなく、
他の規格表現、特にＭＰＥＧ−４に基づくものであるこ
とに留意することが重要である。これは、マルチメディ
アコンテンツは、異なるオブジェクトに分解することが
できるものであり、各オブジェクトは、一意のディスク
リプタのセットに割当てることが可能であるためであ
る。また、この規格は、コンテンツが格納されるフォー
マットとは無関係である。ＭＰＥＧ−７ディスクリプタ
は、圧縮データまたは非圧縮データに付加することが可
能である。

【０００８】マルチメディアコンテンツのディスクリプ
タは、多くの方法で使用することができる（例えば、"M
PEG-7 Applications," ISO/IEC N2728, March 1999参
照）。以下の説明の目的で、最も興味深いのは、データ
ベース探索および検索に対する適用である。最も一般的
なケースでは、ユーザは、所望のオブジェクトについて
いくつかの属性を指定する。これら属性は、特定のオブ
ジェクトのテクスチャ、動きおよび形状を記述するディ
スクリプタを含むことができる。

【０００９】

【発明が解決しようとする課題】形状表現の問題は、新
しい問題ではないが、非常に難しい問題である。多くの
方法が既に存在するが、それらの中には閉輪郭の幾何学
的特質に基づくものもあり、ある種の２Ｄバイナリ信号
の分解に基づくものもある。"Description of Core Exp
eriment for Motion/Shape," ISO/IEC N2690, March 19
99 に列挙されているように、ＭＰＥＧ委員会には、既
に多くの提案がなされている。輪郭に基づく提案には、
曲率スケール空間および正規化輪郭があり、分解に基づ
く提案には、ウェーブレットベースの輪郭記述、ゼルニ
ケモーメントおよび多層固有ベクトルがある。

【００１０】形状記述はすべて、スケールおよび回転不
変量である必要がある。最も重要なのは、形状ディスク
リプタの有効性は、類似性ベースの検索におけるその性
能によって判断される、ということである。従って、形
状の構造的情報を獲得することができ、かつ境界内のノ
イズに対して頑健である、コンパクトなディスクリプタ
に対し、最も好ましい結果をもたらすことが期待されて
いる。

【００１１】

【課題を解決するための手段】本発明に係るオブジェク
ト表面を探索する画像空間を順序付ける方法において
は、画像のシーケンスにおけるオブジェクトの表面を決
定する方法であって、シーケンスの各画像におけるオブ
ジェクトの境界を、シーケンスの隣接する画像の動き情
報を用いて推定するステップと、シーケンスの各画像の
うちの複数の部分を順序付けして、画像の順序付きシー
ケンスを生成し、順序付き部分が推定されたオブジェク
トの境界の外側であるステップと、各画像におけるエッ
ジを動き情報を用いてフィルタリングするステップと、
シーケンスの各順序付き画像を探索することによりフィ
ルタリングされたエッジの位置を突止め、それによって
各順序付き画像の推定された境界の外側の新たな境界を
形成するステップと、新たなオブジェクトの境界がオブ
ジェクトの表面に収束するまで、画像のシーケンスに亙
ってその新たなオブジェクトの境界を射影しつつ、フィ
ルタリングおよび探索を繰返すステップとを有する。

【００１２】また、推定は、画像のシーケンスから動き
フィールドを抽出するステップと、動きフィールドに主
成分分析を適用することにより各画像のオブジェクトの
境界を推定するステップとを更に有する。

【００１３】また、順序付けは、ボロノイ順序付け関数
を用いて、外側部分の画素を推定されたオブジェクトの
境界の最も近接する点に射影する。

【００１４】また、探索は、推定されたオブジェクトの
境界の周囲の順序付き経路を維持しつつ、目的関数のコ
ストを最大化するステップを更に含む。

【００１５】また、順序付き経路は、順序付けに関連し
て単調に増加している。

【００１６】また、フィルタリングは、不連続な動きを
有する画像のエッジを増加させるステップと、一貫した
動きを有するエッジを減少させることにより、画像のシ
ーケンスに亙ってオブジェクトの表面を滑らかにするス
テップとを更に有する。

【００１７】また、画像のシーケンスは、複数のオブジ
ェクトを含むものであって、複数のオブジェクトの各々
の表面を決定するステップを更に有する。

【００１８】また、オブジェクトが遮蔽していない場
合、オブジェクト表面を探索により個々に決定する。

【００１９】さらに、オブジェクトが遮蔽している場
合、オブジェクト表面を探索により同時に決定する。

【００２０】

【発明の実施の形態】［概論］閉曲線の外部に関して２
次元（２Ｄ）空間を順序付ける簡単かつ有効な方法につ
いて説明する。以下に示す例では、２Ｄ空間は画像であ
り、閉曲線は、画像のグラフィックまたはビデオオブジ
ェクトの推定された境界を表す。順序付けを用いて、画
像のシーケンスにおけるオブジェクト表面を決定するこ
とができる。また、オブジェクトの形状の表現を導出す
るために閉曲線の内部に関する順序付けについても説明
する。

【００２１】以下、２Ｄ画像の順序付けが、２つの特定
の適用例、すなわち、ビデオオブジェクトのセグメント
化および形状表現における問題に対して役立つことを示
す。後述するように、これら２つの適用例は、２Ｄ空間
のみの順序付けに基づいているが、この順序付けの方法
は、閉曲線を種々の、すなわちＮ次元の表面に置換える
ことができ、より高次元空間に容易に汎化される。

【００２２】［ビデオオブジェクトセグメント化］映像
等、画像のシーケンスにおいて、ビデオオブジェクトセ
グメント化の問題は、以下のように述べることができ
る。すなわち、全体に輝度関数が定義された３Ｄ空間が
あるとすると、その輝度関数により、オブジェクトの表
面がその空間に射影すると推論する。換言すれば、ビデ
オオブジェクトセグメント化において、所定のオブジェ
クトに対応する映像の静止画像の各々の領域を見つけな
ければならない。

【００２３】米国特許出願第９／２３６，８３８号公
報" Object Boundary Detection Using a Constrained
Viterbi Search "には、この問題の解決法のつとつが提
供されている。ここでは、問題となる領域が統合される
ことによってボリュームが定義される。このボリューム
は、正確なセグメント化に対応するものであり、内部が
その問題のボリュームである対応する表面の位置を突止
めるものである。

【００２４】本実施の形態に示す解決法は、この方法に
非常に近いが、対応する表面の位置を突止める手段は、
異なる方法、すなわち、２Ｄ画像の順序付けによって実
現される。

【００２５】［形状表現］形状表現の第２の問題は、セ
グメント化問題と幾分か関係しているが、ここでは、オ
ブジェクトの表面を定義することではなく、オブジェク
トの形状に対する一意の表現を定義することに関係す
る。

【００２６】正式には、この問題は以下のように述べら
れる。すなわち、特定の瞬間においてオブジェクトを含
むボリュームの表面の「スナップショット」となる、オ
ブジェクト境界の輪郭が与えられた場合に、結果として
の形状を定義する特徴を表現する手段を決定する。

【００２７】上述したように、かかる表現を有する動機
づけの１つは、探索および検索の適用法を容易にすると
いうことである。かかる表現を見つける多くの周知の技
術に関する問題は、特定の形状が構造的に類似した形状
に歪むことにより、常に類似した表現が生成されるとは
限らない、ということである。

【００２８】例えば、多くの一般的な表現技術は、形状
の曲率に基づいている。しかしながら、透視変換または
アフィン変換によって可能なある方法によって形状が歪
められる場合、曲率を有する表現が非常に異なる結果を
もたらす可能性が非常に高い。同様に、ウェーブレット
または固有ベクトル分解に基づく他の方法、もしくは、
モーメントを抽出する手段にも、同様の問題が発生す
る。

【００２９】この問題を解決する手がかりは、オブジェ
クトの構造的表現を定義することである。このように、
形状は、元の形状の構造的特徴全体を変えずに境界の局
所的な特徴を変更するよう、変化することができる。

【００３０】説明されている、形状のかかる構造的表現
を得るための方法は、セグメント化の問題に対して用い
られるものと同じ順序付けの定義に基づいている。

【００３１】［ボロノイ順序付けの定義］ビデオオブジ
ェクトセグメント化および形状表現の上述した問題の解
決法において、閉輪郭に関する空間の順序付けは、きわ
めて重要な要素である。

【００３２】図１に示すように、画像空間Ｉ内の閉輪郭
ＣおよびＣの開始点矢印バーｘ₀が与えられている場
合、順序付け関数φ（矢印バーｙ，矢印バーｘ₀）は、
以下のように定義される。

【００３３】

【数１】

【００３４】

【数２】

【００３５】すなわち、画像空間Ｉにおける特定の点の
順序付けは、その点を曲線上のパラメータ化した点に射
影することによって得られる。点ｙにおける関数の値
は、Ｃ上のｙに最も近接した点と開始点との間の、輪郭
Ｃに沿った右回りの距離である。射影は、上記式におけ
る内部最小化を満足するよう直交している。複数の点が
この条件を満足する場合、ｓの最小値が選択される。

【００３６】レベルセットまたは距離ポテンシャルとは
対照的に、上記順序付け関数は、オブジェクトの形状を
空間に直接は射影せず、オブジェクトの周囲の「流れ
（flow）」を射影する。この順序付けは、オブジェクト
形状の柔軟な含意を画像空間に射影する。

【００３７】順序付けを更に説明するために、図２の
（ａ）および図２の（ｂ）は各々、上述した関数に従っ
て画像の外側部分と内側部分とに対して行われる順序付
けを示す。順序付けの「流れ」は、開始から終了に明か
ら暗で示されている。

【００３８】［オブジェクト境界の決定］図３は、画像
３０１の入力シーケンスからのオブジェクト境界３０９
を決定する方法３００を示す。本方法は、初期境界推定
３０２および反復ビタビ表面最適化３０４を含んでい
る。

【００３９】［動きフィールド抽出］図３に示すよう
に、複数解像度オプティカルフローを用いて、画像の入
力シーケンス（映像３０１）から非常に密な動きフィー
ルド（ＭＦ）を抽出する（３１０）。ここで手がかりと
なる概念は、映像３０１がビデオオブジェクトを含む場
合、入力映像に、背景と異なってまとまって移動する画
素のクラスタが存在するということである。動きがシー
ケンス内の画像毎に点対応であると仮定すると、画像全
体をまとまって移動する画素のクラスタを捜すことがで
きる。

【００４０】密な動きフィールドは、正確な角度から見
なければ必ずしも有益な情報を与えるものではない。入
力映像には多くの情報が存在し得るため、ここではシー
ン内のオブジェクトの単純な表現を捜す。

【００４１】密な動きフィールドによって示される情報
はすべて、切取って同様の動きの領域に分けられた単一
の画像に還元することができる。このようにして、各画
素のすべての経路を見つけた後、主成分分析（ＰＣＡ）
３２０を使用して３次元空間の情報に要約することがで
きる。

【００４２】［主成分分析］一般に、動き推定は、２つ
の画像間の対応付けの手段を提供する。抽出された動き
フィールドが経時にわたってある程度の点対応を示すと
すると、初期画像平面における各画素に対する動き経路
を考える。これら対応する点の速度は、主成分分析によ
って分析される特徴ベクトルとして使用される。

【００４３】本質的に、ＰＣＡは、実質的に同様の動き
ベクトルを有する密な動きフィールドにおける画素のク
ラスタを識別する。かかるグループのエッジの画素は、
オブジェクトの境界を近似する。

【００４４】動き経路の速度から第１の主成分を抽出す
ることにより、動き経路の速度のＰＣＡから初期空間位
置と結合された特徴ベクトルを生成する。初期位置は相
互に排他的であるため、これら特徴ベクトルは、関数型
の３Ｄ表面のサンプルを形成する。

【００４５】表面の特徴は、以下のようにして決定され
る。ピークおよび鞍点は、動きフィールド分析により、
ジッタと、２つの異なるオブジェクトの２つの動きの間
の動き経路、すなわち動き不連続性を結び付ける滑らか
さと、が低下する、同様または同種の動きの領域であ
る。いかなる表面においても同様に、ピークおよび鞍点
を見つけるために、その表面のうちのいずれかの部分が
消えている場所を決定する。

【００４６】ピークに関連する領域を見つけるために、
ピークの周囲の半高さ領域をとり、その領域を主成分空
間から実空間に戻すように変換する。そのピークに関連
する動き経路を見つけることにより、ピークを画像平面
上の点に変換することができ、それによって初期推定さ
れたオブジェクト境界の輪郭（ＩＯＢ）３０６が推定さ
れる。

【００４７】図３に示すように、このプロセスは、境界
を推定するプロセスを完了する。当然のことながら、オ
ブジェクト境界を推定する他の方法、例えばダイナミッ
クスネーク（dynamic snakes）等を用いて同様のタスク
を達成することも可能である。

【００４８】なお、オブジェクト境界を推定する本方法
の主な強みは、密な動き情報を抽出し、この十分な情報
を、ＰＣＡを用いて管理可能かつ意味のあるデータセッ
トに翻訳することができる、ということである。更に、
主成分領域のデータの分析は、基礎となる映像のシーン
に存在する複数のオブジェクトを検出することに十分役
立つ。

【００４９】［初期オブジェクト境界を用いる画像のボ
ロノイ順序付け］ステップ３２５（順序付けエンジン）
において、推定されたオブジェクト境界を用いて上述し
たように画像３０１の各々が順序付けられる。初期オブ
ジェクト境界の外側の画像の部分におけるすべての点
（画素）は、ボロノイ順序付け関数を用いて初期オブジ
ェクト境界上の最も近接した点に射影される。このボロ
ノイ順序付けは、局所的な領域をその周囲（perimete
r）を用いて順序付けすることにより、初期オブジェク
ト境界に関するより多くの情報を符号化する。探索空間
を順序付けすることにより、ボロノイ順序付き画像（Ｖ
ＯＩ）３０７を生成するために、探索空間を限定するだ
けでなく、動的計画法によって画像のシーケンスにおけ
るオブジェクト表面３０９を見つけることができるよう
にする。

【００５０】［順序付き探索］オブジェクト境界３０６
とこの境界の外側のボロノイ順序付き画像３０７とを推
定すると、次に、順序付き探索（３３０）を実行するこ
とによって、オブジェクト表面３０９をより適切に推定
する近接した輪郭のセットを捜し出すことができる。こ
れら新たな輪郭のセットは、推定されたオブジェクト境
界３０６の外側に存在し、画像シーケンス３０１から導
出される補足情報３０８を取入れることによって見付け
出される。

【００５１】なお、推定されたオブジェクト境界３０６
は、動き情報のみによって決定されたものである。初期
オブジェクト境界の周囲の順序付き探索３３０は、初期
境界の近似した形状を維持しつつ推定値を更に正確にし
ようとするものである。

【００５２】順序付き探索３３０は、以下のようにして
定義することができる。Ｉが、初期輪郭

【００５３】

【数３】

【００５４】の周囲の順序付き空間を示すものとする。
かつ、

【００５５】

【数４】

【００５６】が、Ｃを包囲する新たな輪郭であるものと
する。

【００５７】点矢印バーｘ’（ｓ）における画像輝度の
関数である、ある目的関数Ｊ（矢印バーｘ’（ｓ））が
与えられると、動的計画法を用いてＣ’を見つけること
ができる。動的計画法手順の目的は、順序付き経路を維
持しつつコストを最大化することである。以下の条件が
満たされる場合にのみ、経路がＣの周囲で順序付けられ
る。

【００５８】

【数５】

【００５９】本質的に、上記条件は、新たな輪郭のセッ
トが、順序が常に増加している、すなわち、Ｃ’の順序
付けがそのパラメータ化と共に単調に増加している経路
に従うことを確実にする。これにより、経路が、振動お
よびバックトラックしてその空間内の初期輪郭Ｃのグロ
ーバルな特徴を保持しない点になることが防止される。
当然のことながら、ある程度の偏差は許容されるが、そ
れは、順序付き空間によって定義される限界内にあるよ
う制限される。

【００６０】［動き分析エッジフィルタ］順序付き探索
３３０では、目的関数を用いて、最後に選択される経路
が決定される。１つの態様において、目的関数は、画像
内の各点のエッジ強度を決定する。この態様の主な欠点
は、画像が、真のオブジェクト境界に直接関係しない多
くの無用な情報を含むことである。ある意味で、未加工
のエッジ情報は、ノイズとみなすことができ、それはフ
ィルタリングする必要がある（３４０）。

【００６１】エッジ情報をフィルタリングするために、
再び動きを利用する。オブジェクト境界における動き
は、通常不連続であるため、推定することが困難であ
る。従って、視覚情報を導入し、この情報を動きを用い
て強化する。オブジェクト境界では、不連続な動きを含
むエッジが最もあり得る点であるため、これらエッジは
強化される。これに対して、連続的または一貫した動き
を呈するエッジは、非境界点である可能性が最も高いた
め、弱められる。

【００６２】以下に、複数の画像の輪郭間の滑らかさを
推定するために、どのようにエッジマップも使用できる
かを説明する。これは、隣接した画像におけるオブジェ
クト境界の時間射影をバイアスすることで行われる。こ
の反復フィードバック３４５プロセスを次に説明する。
経時亘るオブジェクトの境界（画像シーケンス）の滑ら
かな射影は、該オブジェクトの表面上に収束する。

【００６３】［反復ビタビ表面最適化］オブジェクトは
滑らかな表面を有する傾向にあるため、これら滑らかさ
の制約を考慮しながらオブジェクト表面を繰返し探索す
ることができる。本質的に、本実施の形態における初期
境界および動き拡張エッジ情報の順序付けを説明する反
復プロセスによって、境界を再推定する。採られる方法
は、上述した米国特許出願第９／２３６，８３８号公報
に記載されている方法と類似している。まず、輪郭最適
化を用いて、単一画像問題に対する解が求められる。次
に、その解が反復フレームワークに挿入され、表面最適
化を用いて複数の画像に対して汎化される。

【００６４】まず、単一画像問題に対する解を考える。
この目的は、順序付き探索３３０を用いて輪郭を見つけ
ることである。スコア関数は、以下の形態である。

【００６５】

【数６】

【００６６】ここで、（ｘ₁，…，ｘ_n，ｘ_(n+1)）は経
路であり、（ｘ₁，…，ｘ_n）は１画素引いた別の経路で
あり、ｘ，ｙは、順序付けに起因する歪み画像の座標を
表す。

【００６７】画像の各画素をグラフのノードとみなし、
順序が厳密に増加して画素が隣接しているノードのみを
結合することにより、問題が有向非循環グラフにおける
最短経路アルゴリズムに還元されることが明らかとな
る。この問題は、任意の点における最大スコアを追跡し
ながら、上記スコア関数の幅優先アプリケーションを用
いて解くことができる。この計算は、順序付けられた隣
接する画素から生成されるトレリス（trellis）に適用
されるビタビ方法のアプリケーションと同等のものであ
る。

【００６８】ここまで、単一画像に対する輪郭最適化に
ついて説明した。ここでは、異なる画像の輪郭間の動的
相互作用から生じる複雑さを解決するために、オブジェ
クト境界を再推定する反復表面最適化技術に頼る。

【００６９】表面最適化を達成するために、表面Ｓのエ
ネルギ関数が以下のように公式化される。

【００７０】

【数７】

【００７１】ここで、各項は、動き不連続性、視覚的不
連続性および滑らかさを表す。ある点におけるエネルギ
関数は、２つの部分に分割することが可能である。

【００７２】第１の部分は、画像の輝度または表面の形
状に依存するものであり、動きおよび視覚的不連続性の
説明となるものである。これらのエネルギは外部的なも
のであり、表面を外側に向けるものであって、初期境界
推定および動きエッジ分析において説明されるものであ
る。

【００７３】第２の部分は、経時に亘る表面の形状に依
存する。すなわち、これは、内部的なエネルギであり、
構造的制約を与える。なお、滑らかさは、それだけでは
比較的弱い構造的制約であるが、空間の定義された順序
付けと共に用いられることにより、構造的制約が非常に
強力になる。

【００７４】表面最適化に滑らかさを組込むために、各
境界は、強いエッジとして、前の画像と次の画像の動き
強化エッジ画像に射影される。この時、エッジ／動きス
コア化に対する射影によって、後の境界再推定の反復に
おいて、あるレベルまでの収束が可能となると共に時を
経て表面の滑らかさに達することができるようになる。

【００７５】オブジェクトの表面（経時に亘る境界）が
突き止められた後は、画像のシーケンスからオブジェク
トをセグメント化することは容易となる。

【００７６】［複数のオブジェクト］本実施の形態によ
るオブジェクトセグメント化の方法について、単一のオ
ブジェクトのコンテキストでのみ述べたが、本方法は、
複数のオブジェクトに対しても拡張することができる。

【００７７】更に洞察するために、複数のオブジェクト
のセグメント化について２つの異なる仮定の下で簡単に
説明する。１つ目は、遮蔽が殆ど無いかまたはまったく
無い場合であり、２つ目は、高い割合で遮蔽がある場合
である。これら２つの場合のいずれにおいても、複数の
オブジェクトの各々に対し初期オブジェクト境界が推定
される。抽出された動きフィールドから、同じ方法でＰ
ＣＡを実行することができるが、関数上の表面を画像空
間に戻すようマッピングする手順をはるかに入念に行わ
なければならない。この手順は、Ｋ平均クラスタリング
手順が分割の初期数を知っているのと同様に、シーンに
おけるオブジェクトの数を知る必要がある。

【００７８】［遮蔽無し］画像に遮蔽がまったく無く、
かつ、初期オブジェクト境界推定が正確に導き出された
場合、複数のオブジェクト境界は、独立したオーバラッ
プしない領域として現れる。そして、これら領域は、順
序付けエンジンステップ３２５によって別々に順序付け
され、反復ビタビ表面最適化ステップ３０４に個々に与
えられる。

【００７９】［遮蔽有り］複数のビデオオブジェクトの
間に遮蔽がある場合、反復ビタビ表面最適化は、ボロノ
イ順序付き画像の各々に対し同時に行われる。近傍する
画像からの境界の時間の射影によってもたさられる滑ら
かさと同様に、隣接するオブジェクト間の一貫した定義
を維持するよう、近傍するオブジェクトの境界を空間的
に射影することができる。そうすることにより、近傍す
るオブジェクトの境界を、真の境界に十分に収束させる
ことができる。

【００８０】［オブジェクト形状の表現］上記説明にお
いて、画像のうち、オブジェクトの境界Ｃの外側である
部分に、ボロノイ順序付けを用いることについて説明し
た。Ｃの補足的な内部空間において、順序付けは補足的
な機能性を有する。オブジェクト境界の探索において順
序付けの外側の射影（outside projection）を使用する
一方で、オブジェクト形状表現に対し、順序付けの内側
の射影（inside projection）を使用する。

【００８１】順序付けの単純な操作からいかにこの表現
が導出されるかについて述べ、この表現を周囲重み付け
中央軸（Perimeter Weighted Medial Axis（ＰＷＭ
Ａ））と呼ぶことにする。更に、この表現は、新たなデ
ータ構造に頑健に変換することができる、ということを
述べる。なお、これを部分的順序付きツリー（Partiall
yOrdered Tree（ＰＯＴ））と呼ぶことにする。最後
に、構造を一致させるか、または複数の部分的順序付き
ツリーを比較することができる動的計画方法について述
べる。

【００８２】［中央軸から重み付けされた周囲］ＰＷＭ
Ａは、Ｃの内側に亙って関数χ_Cによって以下のように
定義される。

【００８３】

【数８】

【００８４】すなわち、上記関数は、初期オブジェクト
境界Ｃ内で行われる順序付けのあらゆる不連続ステップ
の値を含む。

【００８５】まず、画像の内側部分の大半に亙ってχ_C
がゼロであることを観測する。このサンプルケースで
は、境界が円形である場合、１／２の値を有する中心点
を除いて、すべての部分がゼロであることが分る。次
に、ある点がゼロ以外である場合、その点は、その境界
における２つの隣接しない点の間で等距離にある。その
非ゼロ点の値は、それら２つの隣接しない点の間で周囲
（perimeter）に沿って最小距離、すなわち、非ゼロ点
が及ぶ境界の長さである。

【００８６】言換えれば、χ_Cは、物体の形状の「スケ
ルトン」を表し、更に、それは、末端が中心点より低い
値を有するように「重み付けされた」スケルトンであ
る。

【００８７】Ｃが単純な閉輪郭である場合、ＰＷＭＡの
別の特徴は、非ゼロ点が常に、ルートノードが最大値で
ありノードが下降すると値が減少するツリーを形成する
ことである。更に、オブジェクトの形状がＰＷＭＡにお
いてある含意を有することが明らかである。このように
して、ＰＷＭＡにおける「結合点（joints）」での構造
的歪みを説明することができる。

【００８８】［ＰＷＭＡの順序付きツリーへの変換］Ｐ
ＷＭＡが、ルートツリーとしてコンパクトな表現になる
とすると、これらツリー構造を比較する頑健な方法を定
義することが必要となる。比較方法は、構造的マッチン
グにおいて、および構造的変化性に対して頑健でなけれ
ばならない。

【００８９】構造的マッチングについて述べる場合、あ
るツリーから別のツリーにおけるすべてのノードおよび
エッジの最適対応を決定する。１つのツリーから別のツ
リーへの構造的マッチングは、Ｐ完全性問題とＮＰ完全
性問題との間の難点に存在する可能性のある、現在未解
決の問題であるグラフ同型の問題に関連している。ここ
での問題に対する手がかりとなる観測は、ＰＷＭＡが順
序付きツリーになるということである。

【００９０】ＰＷＭＡは、以下のステップにより順序付
きツリーに変換される。 １．ツリーのルートノードは、ＰＷＭＡの最大値にあ
る。 ２．ツリーの各エッジは、任意の２ノード間のＰＷＭＡ
線分を表す。 ３．各ノードは、等間隔の３つ以上の非ゼロラインが交
差するか、または１つが終端するＰＷＭＡの点に対応す
る。 ４．ＰＷＭＡの値が減少する方向に親子関係が順次発生
する。すなわち、下位のノードほどＰＷＭＡの弱いセグ
メントを表す。

【００９１】最後の観測は、ＰＷＭＡ構造が２Ｄ平面に
あり、それを、それらの反時計回りの角度に関して順序
付けすることができる、ということである。単純なＰＷ
ＭＡ構造は、上記特徴を有する順序付きツリーである。
ノードはセグメント化点を表し、エッジはセグメント化
点間の情報を表す。

【００９２】［順序付きツリーの比較］順序付きツリー
に対し、マッチング用の分析は比較的簡単である（Corm
en等による"Introduction to Algorithms," MIT Press,
1990 参照）。３つのツリーとそれらの複数の子につい
て考える。マッチングに対する相互に再帰的な関係が、
シーケンスマッチング問題を介して発生する。

【００９３】基本として、ルートノードだけを有する２
つのツリーが完全に一致するものとする。図４のツリー
Ａ４０１およびツリーＢ４０２に対し、本実施の形態に
よる帰納的（inductive）ステップに対し最長共通部分
列（ＬＣＳ）比較手順を用いる。

【００９４】

【数９】

【００９５】ここで、ｅ_anおよびｅ_bnは、サブツリーＴ
_an４０４およびＴ_bn４０５に向かうエッジ４０３であ
る。シーケンス内でサブツリーをマッチングさせるため
にＴｒｅｅＣｏｍｐａｒｅ（ツリー比較）手順を呼出す
ことにより、再帰が発生する。すなわち、

【００９６】

【数１０】

【００９７】なお、すべての動的計画法問題の場合と同
様に、可能なツリー比較の数は有限である。このよう
に、順序付きツリーの計算コストは、以下の式によって
制限される。

【００９８】

【数１１】

【００９９】更に、この種の構造的マッチングは、分岐
の喪失に対して頑健である。

【０１００】問題は、セグメント化によってもたらされ
るノイズによる。このプロセスでは、同じ深さのサブツ
リーのみが比較されることは明らかである。そのため、
セグメント化方法におけるノイズにより、ツリーに余分
のノードおよびエッジが擬似的に付加される場合、その
子の深さが増大し、この小さい誤配列が重大な不一致を
もたらすこととなる。

【０１０１】［部分的順序付きツリー］図５に示すよう
に、ここで説明するＰＷＭＡマッチング中に新たなレベ
ルの頑健性を強要するために、部分的順序付きツリー
（（ＰＯＴ）Partially OrderedTree）５００と呼ばれ
る新たなデータ構造を導入する。部分的順序付きツリー
は、再帰的グラフ状データ構造である。図５において、
主要素（例えば、ノード５０１、エッジ５０２）は太線
で示し、従要素は細線５０３で示す。

【０１０２】部分的順序付きツリーにおけるＰＯＴ主ノ
ードは、単一ソース／単一シンクの有向非循環グラフ
（ＤＡＧ）を含む。このグラフのエッジをＰＯＴ従エッ
ジと呼び、そのノードをＰＯＴ従ノードと呼ぶことにす
る。ＰＯＴ従エッジは、データベクトルと、ＰＯＴ主エ
ッジと呼ばれる別のＰＯＴ主ノードへの参照と、を含
む。

【０１０３】なお、ＰＯＴ主グラフと言う場合は、ＰＯ
Ｔ主要素がもたらすグラフのことを言う。ＰＯＴ主ノー
ドのＰＯＴ従グラフと言う場合は、ＰＯＴ主ノードが含
むＤＡＧのことを言う。ＰＯＴ主グラフは、２つの特別
な制約を有する。すなわち、１）ＰＯＴ主グラフの部分
グラフは、ルートツリーであり、２）このルートツリー
に無いエッジはいずれも、ノードから下位へ降りるのみ
である。なお、順序付きツリーはＰＯＴツリーの特別な
ケースであり、各ＰＯＴ従グラフは、単に線形グラフで
ある。

【０１０４】［ＰＷＭＡの部分的順序付きツリーへの変
換］上述したように、順序付きツリーは、部分的順序付
きツリーの特別なケースであり、ＰＷＭＡを部分的順序
付きツリーに変換するための開始点となるものである。
本実施の形態による初期構造を得るために、ＰＷＭＡの
順序付きツリーへの変換と同じ変換が実行される。ＰＯ
Ｔとするために、ＰＯＴ従グラフに並行経路を付加する
ことによって、代替セグメント化および表現をコード化
する。

【０１０５】図６および図７に示すように、入力は初期
オブジェクト境界３０６であり、出力は部分的順序付き
ツリー６０２であり、変換のステップは、以下の通りで
ある。

【０１０６】１．図７の（ａ）に示すように、境界７０
０によって定義されるオブジェクトの内側部分に対し、
（ボロノイ）順序付けを施す（ステップ３２５）。

【０１０７】２．順序付けからＰＷＭＡ７０１を導出す
る（ステップ６２０）。図７の（ｂ）において、オブジ
ェクトの形状の「スケルトン」が比較的細いことは、末
端が中心点より低い値を有するようなＰＷＭＡの重み付
けがなされていることを示している。

【０１０８】３．ノードおよびエッジ７０２（図７の
（ｃ））により、ＰＷＭＡ７０１をセグメント化する
（ステップ６３０）。

【０１０９】４．セグメント化したＰＷＭＡから順序付
きツリー７０３（図７の（ｄ））を生成する（ステップ
６４０）。

【０１１０】５．順序付きツリーを部分的順序付きツリ
ー７０４（図７の（ｅ））に変換する（ステップ６５
０）。

【０１１１】順序付きツリーとは対象的に、ＰＯＴの構
造上の自由度により、構造的変化に対する双対性および
頑健性等の複雑な情報を符号化することができる。ＰＯ
Ｔのコアがまだ元の順序付きツリーであり、順序付きツ
リーのノードと部分的順序付きツリーのノードとの間に
単純な同型が存在するが、部分的順序付きツリーは、そ
の下位の部分的順序付けによる柔軟性と、その下位に向
かう経路とをより多く有する。

【０１１２】ＰＯＴ従グラフにおける並行経路は、各分
岐の種々のあり得るセグメント化を符号化する。従っ
て、セグメントをスキップすることができる場合を考慮
すると、次のＰＯＴ主子からのＰＯＴ従枝が、並行経路
としてコピーされる。擬似ノードの可能性を考慮する
と、ＰＯＴ従グラフにおける並行経路を付加して余分な
ＰＯＴ主エッジを有する問題のノードをバイパスするこ
とにより、ノードを無視する可能性を付加することがで
きる。

【０１１３】［ＰＯＴ比較］ＰＯＴの構造的比較では、
順序付きツリーに対して同様の分析を行うが、ＬＣＳ比
較を用いる代りに、ＤＡＧ比較アルゴリズムを用いる
（Lin等による"Codingand Comparison of DAGs as a no
vel neural structure with application toon-line ha
ndwritten recognition, " IEEE Trans Signal Proces
sing, 1996参照）。

【０１１４】

【数１２】

【０１１５】シーケンスの要素マッチングの代りに、Ｄ
ＡＧにおけるエッジのマッチングを行う。ＤＡＧのエッ
ジに関連するサブツリーのマッチングに対しＰＯＴ比較
関数を呼出すことにより、再帰が発生する。すなわち、

【０１１６】

【数１３】

【０１１７】なお、すべての動的計画法の場合と同様
に、可能なＰＯＴ比較の数は有限である。従って、ＰＯ
Ｔ比較が比較の大部分であるとすると、順序付きツリー
の計算コストは、以下の式によって制限される。

【０１１８】

【数１４】

【０１１９】図８は、単純なシステム８００を示す。こ
こでは、まず２つの輪郭８０１−８０１が別個に変換さ
れ（６００）、その後、上述した手順を用いて比較され
（８１０）、類似性スコア８２０が得られる。

【０１２０】［適用例：形状クエリ］ＰＯＴ比較プロセ
スによって補足される部分的順序付きツリーの構造によ
り、エッジの喪失に対するだけでなく擬似的セグメント
化点に対しても頑健な比較方法が得られる。オブジェク
トの中央軸をこの中間ＰＯＴ表現に変換し、ＰＯＴ比較
を類似性基準として使用することにより、所与の形状に
ついて、直観的にその形状と類似した他の形状を見つけ
ることができる。

【０１２１】図９は、このタスクを実行するデータベー
ス検索システム９００を示す。このデータベース検索の
適用例において、ユーザ９０１は、入力クエリ９０２を
用いて１つまたは一連のデータベース９１０に問合せを
行う。このクエリは、画像、オブジェクト境界等の形態
とすることができる。クエリは、手書きされたものであ
っても、ローカルに取得されたものでもどちらでもよ
い。データベースインタフェースコントローラ９２０
は、その入力に類似する出力９０３を検索する。

【０１２２】第１のステップとして、クエリが、部分的
順序付きツリー６００に変換される。ステップ８１０で
は、変換された輪郭（ＰＯＴ）が、データベース９１０
に格納された輪郭と比較される。高速かつ効率的な探索
手順を可能とするために、輪郭データベースは、各々が
対応するヘッダ情報を有すると共に事前計算されたＰＯ
Ｔ表現を含む多くの輪郭から構成されているものとす
る。

【０１２３】マルチメディアコンテンツにかかるヘッダ
情報を付加することは、実際には、新たなＭＰＥＧ−７
規格の意向である。データベースインタフェースコント
ローラは、あるデータの要求を制御するために、データ
ベース自体の外側に存在する。クエリとの比較を行うた
めに、コントローラは、データベースに格納された輪郭
のＰＯＴをＰＯＴ比較８１０に受渡す。上述したよう
に、ＰＯＴ比較の出力は、類似性スコアである。この値
に基づいて、最も類似する輪郭９０３がユーザに対し検
索結果として与えられる。

【０１２４】要約すると、ＰＷＭＡのＰＯＴ表現および
ＰＯＴ比較は、形状の効率的かつ頑健なクエリを可能と
する多くの有用な利点を有している。 １．圧縮 ＰＷＭＡのＰＯＴ表現は、未加工の点よりもコンパクト
な形状表現方法である。 ２．拡張性 ＰＷＭＡのＰＯＴ表現は、異なる詳細度に対して異なる
レベルで閾値化することができる。更に、ＰＯＴ比較
は、これら詳細における変化に対して頑健である。 ３．形状柔軟性 ＰＷＭＡのＰＯＴ表現はまた、類似性スコアを維持しな
がら結合部における曲げの影響を受け易い構造の概念を
符号化する。 ４．頑健性 ＰＯＴ表現は、ＰＷＭＡの構造の複数の表現を符号化す
る。ＰＯＴ比較は、効率的に、多項式時間における動的
計画法アルゴリズムを用いて各々に対するこれらあり得
る表現すべてをチェックし、頑健な類似性基準を与え
る。 ５．適応性 ＰＯＴ表現を用いることにより、ＰＯＴ比較はまた、問
合せ中にいずれの経路が使用されているか追跡すること
ができる。システムは、その類似性基準を調整するため
にＰＯＴ表現を適応的に簡潔にすることを選択すること
ができる。 ６．汎化 ＰＯＴ表現を用いて、同様の部分構造を構造的に一緒に
併合することにより、複数クラスの形状に対して、表現
の構築を探求することができる。

【０１２５】閉曲線の外側および内側に関して空間を順
序付けする方法について説明した。第１の順序付けを用
いて、画像のシーケンスに亙るオブジェクトの境界を決
定することができ、第２の順序付けを用いて、オブジェ
クトの形状を表現することができる。両方の決定は、映
像特徴抽出の適用例において適用が可能である。

【０１２６】本発明を、好ましい実施の形態の例として
説明したが、本発明の精神および範囲内において他の様
々な適用および変更が可能であることは理解されるべき
である。従って、本発明の真の精神および範囲内にある
かかるすべての変形態様および変更態様を網羅すること
が、特許請求の範囲の目的である。

【０１２７】

【発明の効果】上述のように、本発明のオブジェクト表
面を探索する画像空間を順序付ける方法は、画像のビデ
オシーケンスにおけるオブジェクトの表面を決定する方
法を提供する。本方法は、シーケンスの隣接画像の動き
情報を用いて、そのシーケンスの各画像のオブジェクト
の境界を推定することから開始する。そして、そのシー
ケンス各画像の部分が順序付けられることにより、順序
付き画像のシーケンスが生成される。この順序付けとし
て、ボロノイ順序付けを用いることができる。順序付け
られた部分は、推定されたオブジェクトの境界の外側で
ある。

【０１２８】また、各順序付き画像のエッジは、動き情
報を用いてフィルタリングされ、そのシーケンスの各順
序付き画像は、フィルタイリングされたエッジの位置を
突止めるために探索され、それによって、推定された境
界の外側の新たな境界が形成される。このフィルタリン
グおよび探索は、画像のシーケンスに亙って新たなオブ
ジェクトの境界を射影している間、その新たなオブジェ
クトの境界がオブジェクトの表面に収束するまで繰返さ
れる。

【０１２９】また、オブジェクトの表面、すなわち、シ
ーケンスにおける境界の滑らかな射影を用いて、映像か
らのオブジェクトをセグメント化することができる。ま
た、同様の方法論を用いて、複数のオブジェクトもセグ
メント化することができる。

【図面の簡単な説明】

【図１】 順序付け関数を定義するブロック図である。

【図２】 （ａ），（ｂ）はそれぞれ、図１に示す曲線
の外側部分および内側部分のボロノイ順序付けを示す。

【図３】 オブジェクト表面探索を実行するための空間
順序付けの方法の流れ図である。

【図４】 本発明に従ってマッチングされる２つの順序
付きツリーの図である。

【図５】 部分的順序付きツリーの図である。

【図６】 輪郭を部分的順序付きツリーに変換する方法
の流れ図である。

【図７】 （ａ）乃至（ｅ）はそれぞれ、オブジェク
ト、その中央軸のグラフ、セグメント化された中央軸、
順序付きツリーおよび部分的順序付きツリーである。

【図８】 部分的順序付きツリーを比較する方法の流れ
図である。

【図９】 オブジェクト形状を比較するシステムのブロ
ック図である。

【符号の説明】

３０２ 初期境界推定ステップ、３０４ 反復ビタビ表
面最適化ステップ、３４０ フィルタリングステップ、
３２５ 順序付けエンジンステップ、６２０周囲重み付
き中央軸ステップ、６３０ ノード／エッジセグメント
化ステップ、６４０ 順序付きツリー生成ステップ、６
５０ 部分的順序付きツリー変換ステップ、７０１ 中
央軸（ＰＷＭＡ）。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 イージョン・リン アメリカ合衆国、ニュージャージー州、プ リンストン、キング・ストリート 225エ イ (72)発明者 アンソニー・ヴェトロ アメリカ合衆国、ニューヨーク州、ステー トン・アイランド、レジス・ドライブ 113 (72)発明者 ハイファン・スン アメリカ合衆国、ニュージャージー州、ク ランベリー、キングレット・ドライブ・サ ウス 61 (72)発明者 スンユアン・クン アメリカ合衆国、ニュージャージー州、プ リンストン、ドッズ・レーン 257

Claims (9)

【特許請求の範囲】
1. 【請求項１】 画像のシーケンスにおけるオブジェクト
   の表面を決定する方法であって、 前記シーケンスの各画像における前記オブジェクトの境
   界を、該シーケンスの隣接する画像の動き情報を用いて
   推定するステップと、 前記シーケンスの各画像のうちの複数の部分を順序付け
   して、画像の順序付きシーケンスを生成し、該順序付き
   部分が前記推定されたオブジェクトの境界の外側である
   ステップと、 各画像におけるエッジを前記動き情報を用いてフィルタ
   リングするステップと、 前記シーケンスの各順序付き画像を探索することにより
   前記フィルタリングされたエッジの位置を突止め、それ
   によって各順序付き画像の前記推定された境界の外側の
   新たな境界を形成するステップと、 前記新たなオブジェクトの境界が該オブジェクトの表面
   に収束するまで、前記画像のシーケンスに亙ってその新
   たなオブジェクトの境界を射影しつつ、前記フィルタリ
   ングおよび探索を繰返すステップとを有することを特徴
   とするオブジェクト表面を探索する画像空間を順序付け
   る方法。
2. 【請求項２】 前記推定は、 前記画像のシーケンスから動きフィールドを抽出するス
   テップと、 前記動きフィールドに主成分分析を適用することにより
   各画像のオブジェクトの境界を推定するステップとを更
   に有することを特徴とする請求項１記載のオブジェクト
   表面を探索する画像空間を順序付ける方法。
3. 【請求項３】 前記順序付けは、 ボロノイ順序付け関数を用いて、外側部分の画素を前記
   推定されたオブジェクトの境界の最も近接する点に射影
   することを特徴とする請求項１記載のオブジェクト表面
   を探索する画像空間を順序付ける方法。
4. 【請求項４】 前記探索は、 前記推定されたオブジェクトの境界の周囲の順序付き経
   路を維持しつつ、目的関数のコストを最大化するステッ
   プを更に含むことを特徴とする請求項１記載のオブジェ
   クト表面を探索する画像空間を順序付ける方法。
5. 【請求項５】 前記順序付き経路は、 前記順序付けに関連して単調に増加していることを特徴
   とする請求項４記載のオブジェクト表面を探索する画像
   空間を順序付ける方法。
6. 【請求項６】 前記フィルタリングは、 不連続な動きを有する画像のエッジを増加させるステッ
   プと、 一貫した動きを有するエッジを減少させることにより、
   前記画像のシーケンスに亙ってオブジェクトの表面を滑
   らかにするステップとを更に有することを特徴とする請
   求項１記載のオブジェクト表面を探索する画像空間を順
   序付ける方法。
7. 【請求項７】 前記画像のシーケンスは、複数のオブジ
   ェクトを含むものであって、 該複数のオブジェクトの各々の表面を決定するステップ
   を更に有することを特徴とする請求項１記載のオブジェ
   クト表面を探索する画像空間を順序付ける方法。
8. 【請求項８】 前記オブジェクトが遮蔽していない場
   合、該オブジェクト表面を前記探索により個々に決定す
   ることを特徴とする請求項７記載のオブジェクト表面を
   探索する画像空間を順序付ける方法。
9. 【請求項９】 前記オブジェクトが遮蔽している場合、
   該オブジェクト表面を前記探索により同時に決定するこ
   とを特徴とする請求項７記載のオブジェクト表面を探索
   する画像空間を順序付ける方法。