JP3692500B2 - 画像処理方法、画像処理システムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および画像処理システムに関する。特に、ビデオ画像等時系列に順序付けられている画像データから纏まりのある領域を切り出し、この領域を時系列に追跡する技術に適用して有効なものに関する。
【０００２】
【従来の技術】
ビデオ映像においてオブジェクトを定義し、まとまりのある領域を切り出して追跡（トラッキング）する技術が望まれている。このような技術の実現によりオブジェクト毎のビデオシーケンスの記述が可能となる。これはビデオシーケンスの意味抽出を自動化する手がかりにすることができる。
【０００３】
ビデオコンテンツでは、人間を重要なオブジェクトとして扱うことが多く、スポーツ映像や監視カメラのアプリケーションでは、人間の領域を切り出すことで、ほとんどのオブジェクトが表現できる場合がある。しかし、人間は自由度が高く、固形物体の領域抽出で有効である固定テンプレートが使えない。このような、領域抽出は困難な作業になる。特に、複数の人間がすれ違ったときに、カメラから手前の人が奥の人を隠すように撮影される。このため、オブジェクトが重なった状態（オクルージョン状態と称する）のオブジェクトの分離は容易ではない。
【０００４】
また、オクルージョン状態が解消したとき、以前の状態を保って領域の切り出しと追跡をすることが必要である。しかしながら、オブジェクトの抽出処理を全て自動化することは現状では不可能である。よって自動処理で抽出されたオブジェクトの軌跡を人手で修正する必要がある。この作業は自動処理による結果の誤り発見、発見した誤りの修正という２つの作業を、抽出した個々のオブジェクトについて行う必要があり、ビデオコンテンツ中に平均１０人の人間が写っていたとすれば延べ１０回の修正作業が必要である。同じコンテンツを何度も人が見る必要があり非常にコストのかかる作業になる。
【０００５】
そこで各種のオブジェクト抽出およびトラッキング手法が検討されている。たとえば、「C.Wren, A.Azarbayejani, T.Darrell and A.Pentland, "Pfinder: Real-Time Tracking of the Human Body". IEEE PAMI vol. 19 no. 7, pp. 780-785. July 1997」（文献１）には、ビデオから人間の映像を抽出してトラッキングを行う手法が記載されている。この文献１では、ガウシアン（Gaussian）モデルを用いて背景のモデルを作成し、モデルと入力画像のマハラノビス（Mahalanobis）距離を基準にしてセグメンテーション（領域化）を行う。トラッキングはカルマン（Kalman）フィルターによる動きの予測を用いて行う手法が記載されている。
【０００６】
「R.Rosales and S.Sclaroff, "Improved Tracking of Multiple Humans with Trajectory Prediction and Occlusion Modeling". Proc. CVPR '98」（文献２）は、文献１の技術を改良し、拡張カルマンフィルタ（Extended Kalman Filter）を用いて二人の人間の動きを予測し、オブジェクトが重なった状態であるオクルージョン状態の判別を行う手法が開示されている。
【０００７】
また、「 Y.Gong, C.Chuan and L.T.Sin, "An Automatic Video Parser for TV Soccer Games". Proc. ACCV '95, vol.II, pp. 509-513」（文献３）、「 N.Vanderbroucke, L.Macaire and J.Postaire, "Soccer Player Recognition by Pixel Classification in a Hybrid Color Space". Proc. SPIE vol. 3071, pp. 23-33, August 1997」（文献４）、「 Y.Seo, S.Choi, H.Kim and K.Hong, "Where are the Ball and Players? Soccer Game Analysis with Color-Based Tracking and Image Mosaick". Proc. ICIAP '97, pp. 196-203」（文献５）、「D.Rees, J.I.Agbinya, N.Stone, F.Chen, S.Seneviratne, M.deBurgh and A.Burch, "CLICK-IT: Interactive Television Highlighter for Sports Action Replay". Proc. ICPR '98, pp. 1484-1487」（文献６）には、「 M.J.Swain and D.H.Ballard, "Color Indexing". IJCV vol.7 no.1, pp.11-32. 1991」（文献７）に記載のヒストグラムバックプロジェクション（Histogram Backprojection）に基づき、予めトラッキング対象のヒストグラムを入力し、カラー空間でマッチングを行う技術が記載されている。ここで、オクルージョンの判別のために、文献５ではRGBカラー空間で、文献４ではハイブリッドカラー空間でオクルージョン領域内のピクセルを識別する。文献６ではトラッキングに色情報を用いるが、オクルージョンにはモーション予測の手法を適用する。時間空間から得られる情報を含めた手法として、ビデオシーケンスをspatio-temporalドメインで分析し、トラッキング対象の表面を求める手法が知られている。その表面はチューブの形を持ち、時間軸での連続性に基づいてオクルージョンを判別する。
【０００８】
なお、色情報に基づくトラッキング手法にインタラクティブ処理（人手による修正作業）を適用する技術が知られている。すなわち、ユーザーがトラッキングの対象を指定する、または予め入力された形状や色(テンプレート)に当てはまるオブジェクトを追跡する技術である。たとえば「D.Yow, B.Yeo, M.Yeung and B.Liu, "Analysis and Presentation of Soccer Highlights from Digital Video". Proc. ACCV '95」には、サッカーボールの形状(球状)と色(白)の情報に基づいて、テンプレートマッチングを行う技術が記載されている。「M.Takahata, M.Imai and S.Tsuji, "Determining Motion of Non-Rigid Objects by Active Tubes". Proc. ICPR '92, pp. 647-650. September 1992」には、ユーザーがサッカーゲームの映像で、トラッキング対象の選手をマウスで指定する技術が記載されている。
【０００９】
【発明が解決しようとする課題】
ところが、文献１の技術では、ビデオ画像から複数の人間の映像を抽出しオクルージョンを判別することはできない。また、文献２の技術では、二人以上の複数人のトラッキングを行う技術は開示されていない。さらに、文献３〜６の手法は画像空間および色空間で得られる情報しか処理しておらず、時間空間を用いる手法はエネルギー関数の最適化処理に基づいているため、計算コストが高い。
【００１０】
すなわち、ビデオ画像においては二人以上の複数人が重なって撮影される場合が極めて普通のケースであるにも関わらず、従来技術ではこのような状況のオクルージョンを判別することは不可能である。このような従来技術を改善するには、画像空間、色空間の情報に加えて時間空間から得られる情報を組み合わせることが考え得るが、従来技術では計算コストがかかり、たとえばリアルタイムのトラッキングを安価に行うことは困難である。
【００１１】
また、現状において完全に自動化されたオクルージョン状態の判別およびトラッキングは困難であるため、インタラクティブ処理を採用することは避けられないが、インタラクティブ処理の簡単化して人手による作業の作業量および作業時間を削減することが望まれる。
【００１２】
本発明の目的は、人間等自由度の高いオブジェクトのオクルージョンを効果的に判別する手法を提供することにある。
【００１３】
本発明の他の目的は、前記したオクルージョン判別の手法を計算コストをかけずに提供することにある。
【００１４】
本発明のさらに他の目的は、インタラクティブな処理を簡略化し、人手による作業量、作業時間、作業負荷を低減することにある。
【００１５】
【課題を解決するための手段】
本願の発明の概略を説明すれば、以下の通りである。本発明では、画像の背景と前景とを分離することによって画像データから画像領域を抽出する。画像領域の抽出には、色空間の二次元ヒストグラムの形状を特徴空間に変換したときの距離を利用することができる。そして、抽出した領域の全ての可能な繋ぎ方を考慮してフレーム間の領域をノードとしてグラフ化する。ノードにはコンフィデンスファクタの変動値を持たせ、ノード間を繋ぐエッジには色空間および実空間の画像特徴を重みとして持たせることができる。そしてグラフの径路について径路探索を行い、径路コンフィデンスファクタから径路として可能性の低い繋ぎ方を排除する。また、枝分かれのあるノードをオクルージョンとして検出しマークアップする。オクルージョン箇所の接続性が単一の可能性のときにはその接続を選択し、複数の接続可能性が残る時にはユーザに接続を選択する要求画面を表示する。
【００１６】
このように径路のオブジェクトらしさを、時系列に見た領域の位置の一貫性、色の一貫性などの画像特徴で評価し、オブジェクトの径路として可能性の低い繋ぎ方を排除してゆくことで、人手によるインタラクティブ処理が必要な状態をプログラムが自動的に検出し、利用者に選択枝を提示することによって修正作業の労力を低減することができる。
【００１７】
本発明を他の観点から説明すれば、以下の通りである。すなわち、本発明の画像処理方法は、時系列に順序付けられた複数の画像データのうち、第１画像データを入力するステップと、第１画像データの画素を領域化するステップと、領域化により生成された第１画像領域に第１ノードを対応付けるステップと、複数の画像データのうち、第１画像データより時系列の後にある第２画像データを入力するステップと、第１画像領域を拡張した拡張領域を対象として、第２画像データの画素を領域化するステップと、領域化により生成された第２画像領域に第２ノードを対応付けるステップと、第１ノードと第２ノードとをエッジによって対応付け、グラフを生成するステップと、を有する。
【００１８】
ここで、画像データの画素の領域化では、色空間におけるガウス分布関数をラベルに対応付け、色空間における画素とガウス分布関数とのマハラノビス距離が最も小さいものに対応するラベルを画素に与え、同一のラベルである場合には同一の領域に分類し画像領域を生成するできる。なお、生成された画像領域の、面積、重心、画像領域を囲む最小正方形その他画像領域を特徴付ける領域特徴を計算することができる。
【００１９】
また、画像データの領域化において、画像領域が生成されない場合には、負のコンフィデンスファクタの変動値を持つ仮ノードを生成できる。これにより本来存在するはずの欠落したノードを救うことができる。
【００２０】
また、エッジは、エッジ前後の各ノードにおいて、その画像領域を構成する画素間の色の絶対差分の平均値を含む第１の項と、エッジ前後の各ノードの画像領域間の正規化されたオーバーラップ面積を与える第２の項と、を含む関数で重み付けできる。これによりノードの画像一貫性を評価できる。
【００２１】
また、グラフに処理においては、枝分かれノードを探索し枝分かれノードを始点とする所定の深さの始点前後の径路リストを生成し、径路リストから同一の終点を持つ径路を検出し、同一の終点を持つ径路のコンフィデンスファクタを評価し、所定のコンフィデンスファクタより小さい経路を削除することができる。
【００２２】
あるいは、枝分かれノードを探索し枝分かれノードを始点とする所定の深さの始点前後の径路リストを生成し、径路リストにおいて深さまでの探索で終点が検出されない径路があるかを判断し、判断が真の場合、終点が検出されない径路以外の枝分かれ径路を削除し、判断が偽の場合、径路リストの各径路のコンフィデンスファクタを評価し、最も大きな径路のコンフィデンスファクタを有する径路以外の径路を削除できる。
【００２３】
これらグラフ処理によって、ノイズ等で生成される小さなループ等小枝を除去できる。なお、径路のコンフィデンスファクタは、グラフの各ノードに与えられたコンフィデンスファクタの変動値とグラフのエッジに与えられた重みとの積を、径路の各ノードについて加算した値として求めることができる。
【００２４】
また、グラフ処理においては、グラフの径路探索を行って径路探索木を生成し、径路探索木の根ノードからトラバースし、径路探索木のノードごとにパスカウンタウェイトをノードの子供ノードが１つの場合は１とし、子供ノードが複数のある場合には１を子供ノードの数で割った値として生成し、パスカウンタウェイトを合算し、グラフのノードごとのパスカウンタを生成し、パスカウンタをシーズニングし、パスカウンタが１を超えるノードを探索し、パスカウンタが同一でかつ互いに隣り合うノードの区間が所定の長さ以下であるかを判断し、判断が真の場合、可能な入出パスごとに接続性を評価し、単一の有意な接続性を有する入出パスが存在する場合には、単一の有意な接続性を有する入出パスを接続できる。これにより、オクルージョン状態のうち自動的に接続性が判断できる時にはシステムにおいて自動的にオクルージョン時の接続を判断し、利用者の作業負担を軽減できる。
【００２５】
さらに、グラフ処理においては、径路探索を行い、着目ノードを取得し、着目ノードが現在の深さかを判断し、真であればオクルージョン箇所の選択肢を選択肢リストに追加し、深さの判断が偽の場合、選択肢リストの長さが、所定の閾値を超えているかを判断し、真であれば選択肢を提示し、選択肢リストの長さの判断が偽の場合、選択肢リストをクリアし、着目ノードを選択肢リストに追加し、現在の深さを更新できる。これにより真に必要な場合にのみ利用者にオクルージョン状態における選択肢を提示する。利用者にとっては真に必要な時のみたとえばグラフィカルユーザインタフェイスによって選択を行えばよく、作業負担を大きく軽減できる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。ただし、本発明は多くの異なる態様で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。なお、実施の形態の全体を通して同じ要素には同じ番号を付するものとする。
【００２７】
以下の実施の形態では、主に方法またはシステムについて説明するが、当業者であれば明らかなとおり、本発明は方法、システムの他、コンピュータで使用可能なプログラムコードが記録された媒体としても実施できる。したがって、本発明は、ハードウェアとしての実施形態、ソフトウェアとしての実施形態またはソフトウェアとハードウェアとの組合せの実施形態をとることができる。プログラムコードが記録された媒体としては、ハードディスク、ＣＤ−ＲＯＭ、光記憶装置または磁気記憶装置を含む任意のコンピュータ可読媒体を例示できる。
【００２８】
本実施の形態で利用できるコンピュータシステムには、中央演算処理装置（ＣＰＵ）、主記憶装置（メインメモリ：ＲＡＭ(Random Access Memory)）、不揮発性記憶装置（ＲＯＭ(Read Only Memory)）等を有し、これらがバスで相互に接続される。バスには、その他コプロセッサ、画像アクセラレータ、キャッシュメモリ、入出力制御装置（Ｉ／Ｏ）等が接続される。バスには、適当なインターフェイスを介して外部記憶装置、データ入力デバイス、表示デバイス、通信制御装置等が接続されてもよい。その他、一般的にコンピュータシステムに備えられるハードウェア資源を備えることが可能なことは言うまでもない。外部記憶装置は代表的にはハードディスク装置が例示できるが、これに限られず、光磁気記憶装置、光記憶装置、フラッシュメモリ等半導体記憶装置も含まれる。なお、データの読み出しのみに利用で得きるＣＤ−ＲＯＭ等の読み出し専用記憶装置もデータあるいはプログラムの読み出しにのみ適用する場合には外部記憶装置に含まれる。データ入力デバイスには、キーボード等の入力装置、マウス等ポインティングデバイスを備えることができる。データ入力デバイスには音声入力装置も含む。表示装置としては、ＣＲＴ、液晶表示装置、プラズマ表示装置が例示できる。本実施の形態のコンピュータシステムには、パーソナルコンピュータ、ワークステーション、メインフレームコンピュータ等各種のコンピュータが含まれる。
【００２９】
本実施の形態の処理システムは、単一のコンピュータシステムとして適用することが可能であるが、複数のコンピュータシステムのネットワークとして適用することも可能である。この場合、コンピュータシステム間の通信にインターネット、ＬＡＮ、ＷＡＮ等を用いることができる。これら接続に用いられる通信回線は、専用線、公衆回線の何れでも良い。
【００３０】
複数のコンピュータシステムで本発明を実現する場合、各コンピュータシステムで利用されるプログラムは、他のコンピュータシステムに記録されていても良い。つまり、コンピュータシステムで利用する一部のプログラムをリモートコンピュータで分散的に処理または実行できる。なお、他のコンピュータシステムに記録されたプログラムをアドレスで参照する場合には、ＤＮＳ、ＵＲＬ、ＩＰアドレス等を用いることができる。
【００３１】
なお、インターネットには、イントラネットおよびエクストラネットも含むものとする。インターネットへのアクセスという場合、イントラネットやエクストラネットへのアクセスをも意味する。コンピュータネットワークという用語には、公的にアクセス可能なコンピュータネットワークと私的なアクセスしか許可されないコンピュータネットワークとの両方が含まれるものとする。
【００３２】
０．処理の全体
図１は、本発明の画像処理方法の一例を示した全体フローチャートである。処理の開始によって、システムは初期化処理を行う（ステップ１）。次に画像を入力し（ステップ２）、カメラ補正（ステップ３）を行う。さらに画像にセグメンテーション処理を施して（ステップ４）纏まりのある領域を生成し、その後グラフを生成する（ステップ５）。その後グラフ処理を行い（ステップ６）、さらに他の画像について処理が必要かを判断して（ステップ７）、必要ならステップ２からの処理を繰り返し、必要がなければ処理を終了する。以下各ステップについて具体的に説明する。
【００３３】
１．初期化（ステップ１）
図２は初期化の処理の流れを示したフローチャートである。ここでは以下のような処理が行われる。まず、最初のフレーム画像を読み込む（ステップ８）。次に、最初のフレーム画像の領域抽出を行う（ステップ９）。次に、利用者が初期オブジェクトの領域を指定する（ステップ１０）。さらに、グラフの始点となるノードを作成する（ステップ１１）。
【００３４】
フレーム画像の読み込み（ステップ８）および領域抽出（ステップ９）は後に説明するステップ２、ステップ４の方法と同じである。但し、領域抽出の対象画像は読み込まれたフレーム画像の全体である。フレーム画像の全体から後に説明する領域抽出によって纏まりのある領域が抽出される。初期オブジェクトの指定（ステップ１０）は、ステップ９で抽出された領域のうち、利用者が選択するオブジェクトつまり、利用者がトラッキングを希望するオブジェクトを指定するステップである。ここで指定されたオブジェクトがこの後のトラッキング処理の対象となる。また、ここで指定された領域（オブジェクト）について各々スタートノードが生成される（ステップ１１）。なお、領域、ノードについての情報、および後に説明する領域、ノードに関連する情報はコンピュータシステムの所定の記憶領域に記録される。
【００３５】
２．画像入力（ステップ２）
本実施の形態の入力画像にはビデオ映像を例示する。入力ビデオ映像はたとえば740x480 pixels、RGB 24bits、30 frames per secondである。ここでは、入力ビデオのファイル形式の都合上、処理対象はフレームではなく、740x240 pixelsのフィールド（画像データ）とする。なお、本発明が適用可能な入力データはビデオ画像には勿論限られない。MPEG等の規格で定められたディジタル画像データは勿論、規格に定めのない画像データでもよい。但し、各画像データには時系列な順序付けは必要であり、また各画像データに含まれるオブジェクトの位置あるいは色のある程度の一貫性は必要である。入力された画像データはコンピュータシステムの所定の記憶領域に記録される。
【００３６】
３．カメラ移動補正（ステップ３）
画像データの背景の時間的変動を避けるため、入力映像は基本的に固定カメラで撮影する。ただし、カメラが固定でない場合、カメラの移動を補正する必要がある。補正処理の結果、固定カメラで撮影した映像と同等なものが得られるので、本発明が適用できる。カメラが移動した場合には、既存の技術を用いて映像を補正できる。例えば、カメラの移動軸にモーションエンコーダを設置すると、パン及びチルトの回転量が測定でき、幾何学モデルを用いて画素の座標系の変換ができる。固定カメラで撮影され、背景画像の変位がない場合には、本カメラ移動補正のステップが必要でないことは勿論である。
【００３７】
４．領域抽出（ステップ４）
図３はセグメンテーション処理の一例を示したフローチャートである。オブジェクトに含まれる纏まりのある領域を、セグメンテーション処理により抽出する。セグメンテーション処理は、画素のラベリング（ステップ１２）、領域成長（ステップ１３）、領域特徴計算（ステップ１４）の３段階からなる。
【００３８】
（１）ラベリング（ステップ１２）
対象とする画像中の各画素（領域抽出の処理対象領域が限定されている時にはその対象領域内の各画素）にラベルを与える。たとえば、サッカーのビデオ映像の場合には、「背景」「A チーム」「B チーム」の3つのラベルを用意する。処理対象画像中の各画素の全てについて、各々何れかのラベルを付す。各画素に与えるラベルを決定する手法には、色分布モデルと色空間における距離を用いる。ラベルに対応する色分布モデルを定め、対象画素の色分布モデルまでの色空間における距離を求める。対象画素との距離が最も近い色分布モデルに対応するラベルがその画素に付与される。色分布モデルには、たとえば数1に示すような既存のガウス（Gaussian）モデルを用いることができる。
【００３９】
【数１】

ガウスモデルにおける色値（Ο）の中央値（μ）には、「背景」「A チーム」「B チーム」それぞれの領域のサンプルを手動で切り出し、入力することができる。
【００４０】
色空間における距離には、たとえば数２に示すマハラノビス（ Mahalanobis）距離を用いることができる。
【数２】

この処理の結果、画像中の全ての画素にラベルが付される。
【００４１】
（２）領域成長（ステップ１３）
同じラベルを持つ画素のかたまりから領域を作成する。各画素について、４方向の隣接画素のそれぞれとラベルを比較する。同じラベルを持つ画素には同じ領域番号を与える。領域番号ごとに一纏まりの領域が生成されることになる。
【００４２】
（３）領域特徴の計算（ステップ１４）
同じ領域番号を持つ画素数からその領域の面積を求めることができる。また、領域の重心点座標 (x,y)、その領域を囲む最小正方形 (bounding box) を求めることができる。これら領域特徴は、後に説明するグラフの生成、グラフ処理において用いることができる。
【００４３】
５．グラフ生成（ステップ５）
領域をノードとし、時系列に隣り合う２つのフレーム（画像データ）間で、色空間における画像特徴あるいは領域間の実空間における距離に基づき、２つのフレームの各ノード間にエッジを張る。ここではエッジの種類として、色空間における画像特徴と領域間の実空間における距離との２種類のエッジを例示するがこれに限られない。その他、領域（画像）の特徴を表す特性値を用いてエッジを張ることも可能である。また、２種類のエッジは必ずしも組み合わせる必要はなく、各々単独で用いても良い。この現フレームのノードおよび前フレームのノードとその間をつなぐエッジによりグラフが構成される。
【００４４】
ノードには、オブジェクトらしさを表すコンフィデンスファクタ（confidence factor）の変動値を持たすことができ、画像特徴により張られるエッジにはコンフィデンスファクタに対する重みを持たせることができる。エッジに持たせる重みは画像特徴より算出できる。通常のノードにおけるコンフィデンスファクタの変動値は +1である。
【００４５】
同一オブジェクトにおいて画像処理によって抽出される領域が数フレーム途切れることがあるので、これを救うためにグラフの端点かつ終点であるノードに一定の長さの仮ノードを数フレーム生成することができる。仮ノードのコンフィデンスファクタの変動値は -1である。
【００４６】
さらに領域抽出の際に他の選手の下に重なっていると判定された領域はコンフィデンスファクタの変動値を-0.5とする。こうすることで、グラフの任意の径路上においてコンフィデンスファクタの変動値の重み付き総和を求めることができ、該当径路のオブジェクトらしさを表すコンフィデンスファクタが計算できる。
【００４７】
図４はグラフ生成の一例を示したフローチャートである。グラフ生成処理では、まず、前画像の領域リストを取得する（ステップ１５）。次に現画像の領域を探索する（ステップ１６）。探索する領域は、現画像の全てではなく、前画像において領域と認識された位置（前記最小正方形）を拡大した領域について行う。オブジェクトの移動はほぼ連続しており、隣接するフレーム間では大きな空間的移動はない。このため現画像における領域の探索領域は前画像の領域（オブジェクト）が存在した近傍に限ることができる。これにより計算負荷を低減し、計算コストを下げることができる。
【００４８】
次に、現画像における探索の結果、領域が検出されたかを判断する（ステップ１７）。領域が存在すれば、現画像の領域を現ノードとし、前画像の領域（前ノード）と間にエッジを張って、領域をグラフにマップする（ステップ１８）。前記の通りエッジには重みをつける。
【００４９】
画像特徴に基づくエッジが持つコンフィデンスファクタの変動値に対する重みは、たとえば平均絶対変位（mean absolute difference :MAD） に基づいて決めることができる。MADの一例を数３に示す。
【００５０】
【数３】

ここで、M、Nは探索した画像領域の各辺の長さを示し、ｘ、ｙは前画像と現画像の空間的変位を示す。Fはピクセル座標を変数とする色値を示す関数であり、ｎ（現画像）とｎ−１（前画像）の色の差（絶対値）を求めている。なお、空間的位置に関する単位はピクセルであり、色に関する単位は任意スケールである。このＭＡＤ値は0から1.0までの値を持ち、色が近いものほど1.0に近い値を持つ。よってエッジで結ばれる領域のMADを使い、重みＷｃは下式のように決まる。
【００５１】
Ｗｃ＝１.０−MAD
また、位置関係に基づくエッジが持つコンフィデンスファクタの変動値に対する重みは、たとえば数４の式によって求めることができる。
【００５２】
【数４】

但し、r_i：前フレームの領域リストの領域、
ｒ_i+1：現フレームの領域リストの領域、
s(r_i)：与えられた領域の面積を求める関数、
o(r_i,r_i+1)：与えられた２個の領域のオーバーラップを求める関数、
min(a,b)：与えられた２個のスカラー量の内小さい値を求める関数、
である。
【００５３】
ステップ１７で領域が存在しないと判断されたときには、仮ノードを生成する（ステップ１９）。仮ノードの生成により、フレーム間でノイズ等により途切れた領域の径路を救うことができる。ここで、仮ノードを用いた時には、ノードのコンフィデンスファクタの変動値を−１にすることは前記した。コンフィデンスファクタ変動値を−１にすることにより、仮ノードが連続する場合にはグラフ処理の径路評価においてコンフィデンスファクタが低くなり、結局当該径路は削除されることになる。
【００５４】
このように、フレーム（画像）間のノードに張るエッジを色空間あるいは実空間の距離で重み付けることにより、これらノード間の画像特徴でノード間の一貫性を特徴付けることができる。次に説明するグラフ処理において、これらノードのコンフィデンスファクタ、エッジの重みを考慮することにより、オブジェクトの径路の妥当性を評価することが可能になる。
【００５５】
６．グラフ処理（ステップ６）
グラフ生成（ステップ５）において作成したグラフから、オブジェクトの径路を抽出する。図５はグラフ処理の一例を示したフローチャートである。
【００５６】
まず、領域抽出の際にオブジェクト付近に発生するノイズによって生成される、小さい枝や、小さいループを解消する（ステップ２０）。時間方向にミクロな幅でのオブジェクトらしさの評価に基づき不要な径路を削除する。
【００５７】
オブジェクトらしさは任意の長さを持つ径路毎に算出可能な値であり、径路上のノード（抽出された領域）の「オブジェクトらしさの変動値」、エッジが持つ画像特徴による「重み」から算出される。こうすることで個々のフレームにおける画像特徴や近傍のフレームの情報のみを使ってオブジェクトの軌跡を抽出できる。これにより誤りの少ない軌跡の自動抽出が期待できる。
【００５８】
次に、ノイズを取り除いたグラフ内で、オブジェクトの径路を探索し径路探索木を作成する（ステップ２１）。以後の処理は径路探索木で管理する。
【００５９】
次に、個々の径路を構成するノードのうち、オクルージョンを起こしている箇所をグラフの位相を見ながら判定し、マークアップする（ステップ２２）。ここでオクルージョンは１個のノードに複数個のオブジェクトが対応することを言う。
【００６０】
次に、オクルージョン箇所の処理を行う（ステップ２３）。オクルージョンが起きている箇所であって、かつオクルージョンの起きている時間が十分に短いときには、オブジェクトの同一性の判断に基づき径路探索木の枝刈りを行うことができる。これにより、利用者のインタラクションを低減することができる。
【００６１】
次に、個々のオブジェクトの径路を一意に絞り込めない箇所が増えた場合にはこれを検出し（ステップ２４）、選択枝が爆発的に増える前に利用者に提示し、選択させる（ステップ２５）。利用者による選択が必要な箇所の検出および、選択枝を提示することを自動で行うので、従来人間が個々のオブジェクトのトレース結果を確認し、修正していた作業のワークロードを低減できる。また本発明における選択枝の提示は常に選択肢が一定量に近い数になるように提示できるため、オブジェクトの軌跡が網目のように交差するような場合においても個々の枝分かれにおいて選択枝を提示するよりも作業効率を良くできる。
【００６２】
最後に利用者の指示による枝刈りを行う（ステップ２６）。以下より詳細に各ステップを説明する。
【００６３】
６．１ ノイズによる小枝の除去（ステップ２０）
グラフを構成する個々のノードの内、枝分かれのあるノードから時間の前後方向に一定の長さまでの径路を探索する。これらの探索経路の中からオブジェクトらしさの計量に基づきオブジェクトの径路の一部である探索経路を残し他の探索経路を削除する。図６は、小枝除去処理の一例を示したフローチャートである。
【００６４】
まずグラフを構成するノードから枝分かれのあるノードを探す（ステップ２７）。
【００６５】
次に枝分かれを始点として、グラフを一定の深さまでトラバースし、始点となるノードより前のフレームへの径路のリストと、後のフレームへの径路のリストを作成する（ステップ２８）。
【００６６】
それぞれのリストを終点となるノードの識別番号（ｉｄ）でソートする（ステップ２９）。このとき互いに同一の終点を持つ径路は小さいループを構成する径路であることが分かる。
【００６７】
そこで、互いに同一の終点を持つ径路に着目し、これらの径路をオブジェクトらしさの計量によって最もオブジェクトらしい径路を残し他の径路を削除する（ステップ３０）。オブジェクトらしさは径路のコンフィデンスファクタによって評価する。
【００６８】
この処理を前フレームへの径路のリスト、後フレームへの径路のリストにおいて終点が互いに同一な径路がなくなるまで繰り返す（ステップ３１）。
【００６９】
径路のコンフィデンスファクタは、グラフのノードが持つコンフィデンスファクタの変動とエッジが持つ画像特徴（色空間および実空間）による重みにより木の末端のノードにおけるコンフィデンスファクタとして数５のように求まる。
【００７０】
【数５】

但し、C_j: j番目の径路のコンフィデンスファクタ、
w_i:w_cとw_gの平均値、
w_c:着目している径路上にあるi番目の画像特徴によるエッジの持つ重み、
w_g:i番目の位置関係に基づくエッジが持つ重み、
c_i,c_i+1: 着目している径路上にあるi番目の画像特徴、位置関係によるエッジの両端にあるノードが持つコンフィデンスファクタの変化量、
である。
【００７１】
次に、前フレームへの径路のリスト、後フレームへの径路のリストの内、最初の探索において末端まで到達しなかった径路（十分に長い径路）があるかを判断する（ステップ３２）。この径路がある場合にはオブジェクトらしさが十分高いとしてこれら径路を残し、他の径路（短い径路）を削除する（ステップ３５）。それぞれのリストにおいて十分に長い径路が無い場合には、径路をコンフィデンスファクタでソートし（ステップ３３）、最もオブジェクトらしさの計量の大きい（コンフィデンスファクタの大きい）径路を残し、他の径路を削除する（ステップ３４）。
【００７２】
その後、他の枝分かれノードがあるかを判断し（ステップ３６）、ある場合には前記同様の処理を、ない場合にはここでの処理を終了する。
【００７３】
図７に小枝によるノイズを除去する前のサンプル画像と、図８に小枝によるノイズを除去した後のサンプル画像を示す。
【００７４】
６．２ 径路探索（ステップ２１）
グラフを構成する個々のノードを時系列に辿る径路を「breadth-first」探索(Traverse)する。個々の径路は径路探索木の末端ノードのリスト（以下 径路リスト）として管理する。「Breadth-first」の探索は公知の手法であり、たとえば図７に示すフローで実現される。図９は径路探索処理の一例を示すフローチャートである。まず、時系列に径路を探索し（ステップ３７）、次ノードを取得する（ステップ３８）。次に径路探索木を更新する（ステップ３９）。
【００７５】
径路探索において、２種類のエッジが両方張られているノードが連結であるとみなし、どちらか一方しか張られていない場合には連結でないと見なす。
【００７６】
なお、図１０は図の左側に示すグラフを径路探索することにより得られる径路探索木の例（図の右側）を示した図である。
【００７７】
６．３ オクルージョンが起きている箇所のマークアップ（ステップ２２）
ノイズによる小枝の除去（ステップ２０）によってノイズを除去したグラフにおいて、オクルージョンが発生している箇所、オクルージョンが発生していない箇所、オクルージョンが発生している可能性のある箇所に分類し、径路グラフのノードにこれらの状態を持たせる。
【００７８】
図１１にオクルージョンの例を示したサンプル画像を示す。トラッキングされてきた３本の軌跡が、１箇所で交わり、その後３つの軌跡に分離されている様子がわかる。このオクルージョン前の軌跡がオクルージョン後のどの軌跡に対応するかを求める手法を以下に説明する。
【００７９】
オクルージョン箇所のマークアップ処理は各ノード毎に何人の選手（いくつのオブジェクト）が対応するかを求め、これをパスカウンタ（path counter）としてノードに持たせる。パスカウンタが１である箇所はオクルージョンが発生していない箇所、パスカウンタが１より大きい数である箇所はオクルージョンが発生している箇所に分類する。
【００８０】
パスカウンタの算出は図１２に示す方法で求めることができる。図１２はオクルージョン箇所のマークアップ処理の一例を示すフローチャートである。
【００８１】
前記径路探索処理（ステップ２１）によって得られた径路探索木を取得する（ステップ４０）。木の根におけるパスカウンタウェイトを１とし（ステップ４１）、径路に従ってトラバースする。あるノードに対しての子供ノードを取得し（ステップ４２）、そのノードのパスカウンタをパスカウンタウェイトだけ増加する（ステップ４３）。そのノードに複数の子供ノードがあるかを判断し（ステップ４４）、複数の子供ノードを持つ場合にはパスカウンタウェイトを子供数で等分し、新たなパスカウンタウェイトとする（ステップ４５）。さらに、子供ノードがあるかを判断し（ステップ４６）、ある場合にはステップ４２からの処理を繰り返す。ない場合にはステップ４７に進む。これらの処理をすべての径路探索木のノードについて各ノードのパスカウンタウェイトを求める。
【００８２】
すなわち、全ての径路探索木をトラバースしながら、各ノードに複数の子供がある場合にはパスカウンタウェイトを子供数で等分しながら、すべての径路探索木のノードのパスカウンタウェイトをもとめ、これらをグラフのノードが持つパスカウンタに加算して行く。この処理を全ての径路探索木に対して行う。
【００８３】
図１３〜１５を用いて説明する。図１３〜図１５はパスカウンタまたはパスカウンタウェイトを説明するためのグラフまたは径路探索木の図である。例えば図１３のようなグラフの場合、該当する径路探索木はノードA,B,Cをそれぞれ根とする木である。各根を始点とする径路探索木は図１４に示すようになり、図示するようなバスカウンタウェイトを各々のノードが持つ。これらの径路探索木よりグラフのノードのパスカウンタは図１５に示すような値となる。
【００８４】
よってパスカウンタ =1であるA-D, B-D, C-Dの区間はオクルージョンが発生しておらず、D-Eの区間はオクルージョンが発生しており、E-F,E-Gの区間はオクルージョンが発生している可能性がある。
【００８５】
最後にグラフを構成するノードのパスカウンタが1より小さい場合、パスカウンタをシーズニング（seasoning）する（ステップ４８）。シーズニングはパスカウンタ の最小値が１になるように全体のパスカウンタをスカラー倍する。
【００８６】
例えば図１６に示すようなグラフの場合、パスカウンタ の最小値が0.67となるので全てのパスカウンタを1.5倍にする。
【００８７】
６．４ オクルージョンが起きている箇所の処理（ステップ２３）
前記オクルージョンが起きている箇所のマークアップ（ステップ２２）において、パスカウンタ が互いに同一で、互いに隣接しているノードの集合を区間とよぶ。これら区間の内、パスカウンタが１でない区間（オクルージョンが起きている区間）かつ、該当区間が十分に短い区間に挟まれている場合、オクルージョン区間前後での径路の繋ぎ直しの自動化が期待できる。図１７は、オクルージョンが起きている箇所の処理の一例を示したフローチャートである。
【００８８】
個々のグラフにおいてオクルージョンが起きている箇所を探し（ステップ４９）、個々のオクルージョンに対してオクルージョンが起きている時間的長さを求める。抽出したオクルージョン区間のうち、長さが十分に短く隣接する区間が十分に長い区間をショートオクルージョン区間として処理の対象とする（ステップ５０）。
【００８９】
着目オクルージョンへの入力径路と出力径路の可能な組み合わせを全て算出し（ステップ５１）、個々の組み合わせにおける接続性の総和を評価する。接続性は、数６に示すように、オクルージョン区間に隣接する区間における、該当オクルージョン近傍における平均加速度の差分の絶対値または平均曲率の差分の絶対値を用いることができる。
【００９０】
【数６】

但し、c_i:i番目の組み合わせの接続性の評価、
a_j:着目している組み合わせの入力径路上にあって、オクルージョン近傍にある個々のノードにおける加速度又は曲率、
a_k:着目している組み合わせの出力径路上にあって、オクルージョン近傍にある個々のノードにおける加速度又は曲率、
である。
【００９１】
これら接続性で入出径路の組合せをソートし（ステップ５２）、他に比べ有為に接続性が高い組み合わせがあるかを判断する（ステップ５３）。あると判断される場合にはこの組み合わせを正しい組み合わせとし、それぞれを接続するようにオクルージョンを解消し、径路探査木において不要となった枝を刈る。これら処理をオクルージョン箇所の全てについて行う（ステップ５５）。
【００９２】
なお、ここでは、接続性を評価する手法として、加速度または曲率を例示しているが、これには限られない。たとえばオクルージョン前後の平均速度、または、オクルージョン前後のオブジェクトの移動方向の平均値を用いることも可能である。
【００９３】
６．５ 組み合わせ爆発の判定および選択肢の提示（ステップ２４、２５）
現在管理している径路の長さおよび、径路数より径路の選択枝の組み合わせ爆発が起きているかどうか、十分に長い区間において一意に径路が決まらない部分を判定する。
【００９４】
選択枝数は、最新の径路リストの長さｌにより自明である。また、十分に長い区間において一意に径路が決まらない部分は該当部分の径路探索木の深さｄとすると、ｄと、ｌの関係によって以下のように判定できる。
【００９５】
ｌ≧Ｐ_maxの場合は選択枝爆発（組合せ爆発）
ｌ＜Ｐ_max かつ ｄ≧Ｄ_maxの場合は十分に長い区間において一意に径路が決まらない
但し、Ｐ_max は径路の選択枝の上限、
Ｄ_max は複数選択枝を許す区間の長さの上限、
である。
【００９６】
選択肢が組み合わせ爆発を起こす可能性がある場合に可能な選択枝を利用者に提示し、正しい径路を指定してもらう。選択肢が十分に小さい場合には全ての径路を一度に提示し選択を促す。選択肢が多い場合には径路探索木を根から幾つかの階層毎に選択枝を一定量以下に保つように選択可能な径路を提示する。図１８は組み合わせ爆発の判定および選択肢の提示の処理の一例を示したフローチャートである。
【００９７】
径路探索木を「breadth-first」で探索しながらノードを取り出し着目する（ステップ５６）。着目ノードが径路探索木における現在の深さのものかどうかを確認し（ステップ５７）、もしそうであるなら、該当ノードを選択枝のリストに追加する（ステップ５８）。もし、着目ノードが現在の深さのものでない場合にはさらに現在の選択枝リストの長さが閾値を越えているかどうかを確認する（ステップ５９）。もし超えている場合には現在の選択枝リストにある径路を利用者に提示し（ステップ６０）、利用者に選択してもらう。前記選択枝リストの長さが閾値を越えていない場合には選択枝リストをクリアし（ステップ６１）、着目ノードを選択枝リストに追加し（ステップ６２）、前記現在の深さを更新する（ステップ６３）。この処理を「breadth-first」で径路探索木を辿りながら全ての経路探索木（パスツリー）について実施する（ステップ６４）。
【００９８】
なお、ステップ６０における選択肢の提示方法には以下に示す方法がある。
（１）候補となる径路上のノードに対応する選手の画像を全て同時に表示し、この上に候補となる径路も選択肢として同時に表示する。一例を図１９に示す。
（２）候補となる径路上のノードに対応する選手の画像を全て同時に表示し、この上に候補となる径路を順番に表示する。一例を図２０に示す。
（３）候補となる径路上のノードに対応する選手の画像を全て同時に表示し、この上に候補となる径路を順番に時系列に再現しながら表示する。一例を図２１に示す。
（４）候補となる径路上のノードに対応する選手の画像を全て同時に表示し、該当径路を利用者にマウス、ペン、タッチパネル等のポインティングデバイス（pointing device）でなぞらせる。最も入力に近い形状の候補が選択された経路となる。一例を図２２に示す。
（５）候補となる径路を同時に表示し、その上に個々の候補となる径路上のノードに対応する選手の画像を候補毎に順番に表示する。一例を図２３に示す。
（６）候補となる径路を同時に表示し、その上に個々の候補となる径路上のノードに対応する選手の画像を候補毎に時系列に順番に表示する。一例を図２４に示す。
【００９９】
以上説明したような処理によって、オブジェクトの生成、そのトラッキング、オクルージョンが発生した時の処理を行える。以上の処理において、本システムでは任意の処理段階で結果を出力できる。また画像出力の形態には種々存在する。たとえば図２５に示すように、オブジェクトである選手の軌跡をトラッキング結果としてビデオ画像に重畳して表示できる。なお、この時図２５の下部に示すように各選手の位置をトップビューとして示すことができる。
【０１００】
また、図２６に示すように、コート上の選手の動きをトラッキングして表示することができる。このような表示形態により試合中の各選手の動きが明瞭になり、スポーツ指導、テレビ中継等の用途に用いることができる。さらに本発明はハードディスク装置等に記録した画像データについても適用できるので、選手の動きをトラッキングしてリプレイが可能であり、スポーツ競技における戦術の研究等に応用できる。
【０１０１】
本実施の形態のシステムおよび処理方法によれば、人間のような自由度の高いオブジェクトを画像データから有効に切り出すことができる。また、計算負荷の小さいグラフを用いてオブジェクトのトラッキングを行うので計算コストが低く抑えられる。同時に、本実施の形態のシステムおよび方法によれば、各領域（オブジェクト）間を接続するエッジに色空間および実空間の画像特徴を利用するとともに時系列な経路探索を用いるので時間に関する情報も用いる。このため、計算コストが小さくかつ正確なトラッキングを行うことができる。
【０１０２】
また、本実施の形態によれば、領域生成の際に、領域が検出できなかった場合に仮ノードを生成するので、ノイズ等によって領域が欠落してもこれに対処できる。この際マイナスのコンフィデンスファクタの変動値を用いるので、必要のない径路は有効に削除される。また、ノイズ等によって小枝が発生しても、径路のコンフィデンスファクタを用いてオブジェクトらしさを評価するので、高い精度でオブジェクトを追跡できる。一方、コンフィデンスファクタの小さな径路は速やかに削除できるので、計算負荷の増加を抑制できる。
【０１０３】
また本実施の形態によれば、利用者にオクルージョン箇所の接続可能性を選択させる前に、予めシステムで排除できる可能性を排除している。このため利用者にとって必要最低限の選択操作のみでオクルージョンを生じた場合のトラッキングの修正を行うことができる。
【０１０４】
以上、本発明者によってなされた発明を発明の実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【０１０５】
【発明の効果】
本願で開示される発明のうち、代表的なものによって得られる効果は、以下の通りである。すなわち、人間等自由度の高いオブジェクトのオクルージョンを効果的に判別する手法を提供できる。前記したオクルージョン判別の手法を計算コストをかけずに提供できる。インタラクティブな処理を簡略化し、人手による作業量、作業時間、作業負荷を低減することができる。
【図面の簡単な説明】
【図１】本発明の画像処理方法の一例を示した全体フローチャートである。
【図２】初期化の処理の流れを示したフローチャートである。
【図３】セグメンテーション処理の一例を示したフローチャートである。
【図４】グラフ生成の一例を示したフローチャートである。
【図５】グラフ処理の一例を示したフローチャートである。
【図６】小枝除去処理の一例を示したフローチャートである。
【図７】小枝によるノイズを除去する前のサンプル画像である。
【図８】小枝によるノイズを除去した後のサンプル画像である。
【図９】径路探索処理の一例を示すフローチャートである。
【図１０】グラフとそれを径路探索することにより得られる径路探索木の一例を示した図である。
【図１１】オクルージョンの例を示したサンプル画像である。
【図１２】オクルージョン箇所のマークアップ処理の一例を示すフローチャートである。
【図１３】パスカウンタまたはパスカウンタウェイトを説明するためのグラフの図である。
【図１４】パスカウンタまたはパスカウンタウェイトを説明するための径路探索木の図である。
【図１５】パスカウンタまたはパスカウンタウェイトを説明するためのグラフの図である。
【図１６】パスカウンタのシーズニングを説明するためのグラフの図である。
【図１７】オクルージョンが起きている箇所の処理の一例を示したフローチャートである。
【図１８】組み合わせ爆発の判定および選択肢の提示の処理の一例を示したフローチャートである。
【図１９】利用者への選択肢を提示する画面の一例を示した表示画像である。
【図２０】利用者への選択肢を提示する画面の一例を示した表示画像である。
【図２１】利用者への選択肢を提示する画面の一例を示した表示画像である。
【図２２】利用者への選択肢を提示する画面の一例を示した表示画像である。
【図２３】利用者への選択肢を提示する画面の一例を示した表示画像である。
【図２４】利用者への選択肢を提示する画面の一例を示した表示画像である。
【図２５】表示画面の一例を示した表示画像である。
【図２６】表示画面の他の例を示した表示画像である。
【符号の説明】
１〜６４…ステップ、Ａ〜Ｇ…ノード。

Claims (21)

1. 時系列に順序付けられた複数の画像データのうち、第１画像データを入力するステップと、
   前記第１画像データの画素を領域化するステップと、
   前記領域化により生成された第１画像領域に第１ノードを対応付けるステップと、
   前記複数の画像データのうち、前記第１画像データより前記時系列の後にある第２画像データを入力するステップと、
   前記第１画像領域を拡張した拡張領域を対象として、第２画像データの画素を領域化するステップと、
   前記領域化により第２画像領域が生成された場合には当該第２画像領域に正の変動値が与えられた第２ノードを対応付け、前記領域化により第２画像領域が生成されない場合には仮ノードを生成し当該仮ノードを負の変動値が与えられた第２ノードとするステップと、
   前記第１ノードと前記第２ノードとの間に前記変動値に対する重みが与えられたエッジを張り、グラフを生成するステップと、
   前記グラフを処理するステップと、を有し、
   前記グラフを処理するステップにおいて、前記グラフについて経路探索を行い、ある経路のノードの変動値ｃ _ｉ およびその次のノードの変動値ｃ _ｉ＋１ の和（ｃ _ｉ ＋ｃ _ｉ＋１ ）と前記ノードおよび次のノードの間に張られたエッジの重みｗ _ｉ との積ｗ _ｉ （ｃ _ｉ ＋ｃ _ｉ＋１ ）をその経路について加算した値Σｗ _ｉ （ｃ _ｉ ＋ｃ _ｉ＋１ ）で定義される経路毎のコンフィデンスファクタを参照し、可能性の低い経路を排除することにより、前記複数の画像データにおけるオブジェクトのオクルージョン判別を支援する画像処理方法。
2. 前記第１または第２画像データの画素を領域化するステップは、
   各画素にラベルを付すステップと、
   前記画素の前記ラベルと前記画素に隣接する画素のラベルとを比較し、同一のラベルである場合には同一の領域に分類し前記第１または第２画像領域を生成するステップと、
   を有する請求項１記載の画像処理方法。
3. 前記ラベルは、色空間におけるガウス分布関数であり、
   前記ガウス分布関数の中心値は前記ラベルを代表する色の色値であり、
   色空間における前記画素と前記ガウス分布関数とのマハラノビス距離が最も小さい前記ガウス分布関数に対応するラベルが、前記画素に付される請求項２記載の画像処理方法。
4. 前記生成された第１または第２画像領域の、面積、重心、前記第１または第２画像を囲む最小正方形その他前記第１または第２画像領域を特徴付ける領域特徴を計算するステップをさらに有する請求項２記載の画像処理方法。
5. 前記エッジに与えられた重みを表す関数には、前記エッジ前後の各ノードの画像の一貫性を、色空間における画像特徴で表す第１の項と、実空間（距離空間）における画像特徴で表す第２の項と、の何れかの項を少なくとも含む請求項１記載の画像処理方法。
6. 前記第１の項は、前記エッジ前後の各ノードにおいて、その画像領域を構成する画素間の色の絶対差分の平均値を含む項であり、
   前記第２の項は、前記エッジ前後の各ノードの画像領域間の正規化されたオーバーラップ面積を与える項である請求項５記載の画像処理方法。
7. 前記グラフを処理するステップには、
   枝分かれノードを探索し前記枝分かれノードを始点とする所定の深さの前記始点前後の径路リストを生成するステップと、
   前記径路リストから同一の終点を持つ径路を検出するステップと、
   前記同一の終点を持つ径路のコンフィデンスファクタを評価し、所定のコンフィデンスファクタより小さい経路を削除するステップと、
   を含む請求項１記載の画像処理方法。
8. 前記グラフを処理するステップには、
   枝分かれノードを探索し前記枝分かれノードを始点とする所定の深さの前記始点前後の径路リストを生成するステップと、
   前記径路リストにおいて前記深さまでの探索で終点が検出されない径路があるかを判断するステップと、
   前記判断が真の場合、前記終点が検出されない径路以外の枝分かれ径路を削除するステップと、
   を含む請求項１記載の画像処理方法。
9. 前記判断が偽の場合、前記径路リストの各径路のコンフィデンスファクタを評価し、最も大きな前記径路のコンフィデンスファクタを有する径路以外の径路を削除する請求項８記載の画像処理方法。
10. 前記グラフを処理するステップには、
    前記グラフの径路探索を行って径路探索木を生成するステップ、および、前記径路探索木の根ノードからトラバースし、前記径路探索木のノードごとにパスカウンタウェイトを、前記ノードの子供ノードが１つの場合は１とし、子供ノードが複数のある場合には、１を子供ノードの数で割った値として生成するステップ、および、前記パスカウンタウェイトを合算し、前記グラフのノードごとのパスカウンタを生成するステップ、および、前記パスカウンタをシーズニングするステップ、によってオクルージョン箇所をマークアップするステップと、
    前記パスカウンタが１を超えるノードを探索するステップ、および、前記パスカウンタが同一でかつ互いに隣り合うノードの区間が所定の長さ以下であるかを判断するステップ、および、前記判断が真の場合、可能な入出パスごとに接続性を評価し、単一の有意な接続性を有する入出パスが存在する場合には、前記単一の有意な接続性を有する入出パスを接続するステップ、によって前記オクルージョン箇所を処理するステップと、
    径路探索を行い、着目ノードを取得するステップ、および、前記着目ノードが現在の深さかを判断し、真であればオクルージョン箇所の選択肢を選択肢リストに追加するステップ、および、前記深さの判断が偽の場合、選択肢リストの長さが、所定の閾値を超えているかを判断し、真であれば選択肢を提示するステップ、および、前記選択肢リストの長さの判断が偽の場合、選択肢リストをクリアし、前記着目ノードを選択肢リストに追加し、現在の深さを更新するステップ、によって組合せ爆発を判定するステップと、
    組合せ爆発であると判定された時には、可能な組合せの選択肢を提示するステップと、
    を含む請求項１記載の画像処理方法。
11. 前記接続性の評価には、前記オクルージョンを発生しているノード前後の平均速度、平均加速度、移動方向の平均値または平均曲率の差分の絶対値を用いる請求項１０記載の画像処理方法。
12. 前記選択肢の提示は、前記画像データに前記選択肢を重畳して表示する請求項１０記載の画像処理方法。
13. 時系列に順序付けられた複数の画像データを入力する手段と、
    前記画像データの画素を領域化する手段と、
    前記領域化により画像領域が生成された場合には当該画像領域に正の変動値が与えられたノードを対応付け、前記領域化により画像領域が生成されない場合には仮ノードを生成し当該仮ノードを負の変動値が与えられたノードとし、前記ノードと時系列に隣接する他のノードとの間に前記変動値に対する重みが与えられたエッジを張り、グラフを生成する手段と、
    前記グラフを処理する手段と、を有し、
    前記グラフを処理する手段によって、前記グラフについて経路探索を行い、ある経路のノードの変動値ｃ _ｉ およびその次のノードの変動値ｃ _ｉ＋１ の和（ｃ _ｉ ＋ｃ _ｉ＋１ ）と前記ノードおよび次のノードの間に張られたエッジの重みｗ _ｉ との積ｗ _ｉ （ｃ _ｉ ＋ｃ _ｉ＋１ ）をその経路について加算した値Σｗ _ｉ （ｃ _ｉ ＋ｃ _ｉ＋１ ）で定義される経路毎のコンフィデンスファクタを参照し、可能性の低い経路を排除することにより、前記複数の画像データにおけるオブジェクトのオクルージョン判別を支援する画像処理システム。
14. 前記画像データの画素を領域化する手段には、
    各画素にラベルを付す手段と、
    前記画素の前記ラベルと前記画素に隣接する画素のラベルとを比較し、同一のラベルである場合には同一の領域に分類し前記画像領域を生成する手段と、を有し、
    前記ラベルは、色空間におけるガウス分布関数であり、前記ガウス分布関数の中心値は前記ラベルを代表する色の色値であり、前記色空間における前記画素と前記ガウス分布関数とのマハラノビス距離が最も小さい前記ガウス分布関数に対応するラベルが、前記画素に付される請求項１３記載の画像処理システム。
15. 前記生成された画像領域の、面積、重心、前記画像領域を囲む最小正方形その他前記画像領域を特徴付ける領域特徴を計算する手段をさらに有する請求項１４記載の画像処理システム。
16. 前記エッジに与えられた重みを、前記エッジ前後の各ノードにおいて、その画像領域を構成する画素間の色の絶対差分の平均値を含む第１の項と、前記エッジ前後の各ノードの画像領域間の正規化されたオーバーラップ面積を与える第２の項と、の何れかの項を少なくとも含む関数を用いて計算する手段を有する請求項１３記載の画像処理システム。
17. 前記グラフを処理する手段には、
    枝分かれノードを探索し前記枝分かれノードを始点とする所定の深さの前記始点前後の径路リストを生成する手段と、前記径路リストから同一の終点を持つ径路を検出する手段と、前記同一の終点を持つ径路のコンフィデンスファクタを評価し、所定のコンフィデンスファクタより小さい経路を削除する手段と、を含む第１の構成、または、
    枝分かれノードを探索し前記枝分かれノードを始点とする所定の深さの前記始点前後の径路リストを生成する手段と、前記径路リストにおいて前記深さまでの探索で終点が検出されない径路があるかを判断する手段と、前記判断が真の場合、前記終点が検出されない径路以外の枝分かれ径路を削除する手段と、前記判断が偽の場合、前記径路リストの各径路のコンフィデンスファクタを評価し、最も大きな前記径路のコンフィデンスファクタを有する径路以外の径路を削除する手段と、を含む第２の構成、
    の何れかの構成を有する請求項１３記載の画像処理システム。
18. 前記グラフを処理する手段には、
    前記グラフの径路探索を行って径路探索木を生成する手段と、
    前記径路探索木の根ノードからトラバースし、前記径路探索木のノードごとにパスカウンタウェイトを、前記ノードの子供ノードが１つの場合は１とし、子供ノードが複数のある場合には、１を子供ノードの数で割った値として生成する手段と、
    前記パスカウンタウェイトを合算し、前記グラフのノードごとのパスカウンタを生成する手段と、
    前記パスカウンタをシーズニングする手段と、
    前記パスカウンタが１を超えるノードを探索する手段と、
    前記パスカウンタが同一でかつ互いに隣り合うノードの区間が所定の長さ以下であるかを判断する手段と、
    前記判断が真の場合、可能な入出パスごとに接続性を評価し、単一の有意な接続性を有する入出パスが存在する場合には、前記単一の有意な接続性を有する入出パスを接続する手段と、
    を有する請求項１３記載の画像処理システム。
19. 前記グラフを処理する手段には、
    径路探索を行い、着目ノードを取得する手段と、
    前記着目ノードが現在の深さかを判断し、真であればオクルージョン箇所の選択肢を選択肢リストに追加する手段と、
    前記深さの判断が偽の場合、選択肢リストの長さが、所定の閾値を超えているかを判断し、真であれば選択肢を提示する手段と、
    前記選択肢リストの長さの判断が偽の場合、選択肢リストをクリアし、前記着目ノードを選択肢リストに追加し、現在の深さを更新する手段と、
    を有する請求項１３記載の画像処理システム。
20. コンピュータ読取り可能な記録媒体であって、コンピュータに、
    時系列に順序付けられた複数の画像データのうち、第１画像データを入力する機能と、
    前記第１画像データの画素を領域化する機能と、
    前記領域化により生成された第１画像領域に第１ノードを対応付ける機能と、
    前記複数の画像データのうち、前記第１画像データより前記時系列の後にある第２画像データを入力する機能と、
    前記第１画像領域を拡張した拡張領域を対象として、第２画像データの画素を領域化する機能と、
    前記領域化により第２画像領域が生成された場合には当該第２画像領域に正の変動値が与えられた第２ノードを対応付け、前記領域化により第２画像領域が生成されない場合には仮ノードを生成し当該仮ノードを負の変動値が与えられた第２ノードとする機能と、
    前記第１ノードと前記第２ノードとの間に前記変動値に対する重みが与えられたエッジを張り、グラフを生成する機能と、
    前記グラフを処理する機能と、
    前記グラフの径路探索を行って径路探索木を生成し、前記径路探索木の根ノードからトラバースし、前記径路探索木のノードごとにパスカウンタウェイトを、前記ノードの子供ノードが１つの場合は１とし、子供ノードが複数のある場合には、１を子供ノードの数で割った値として生成し、前記パスカウンタウェイトを合算し、前記グラフのノードごとのパスカウンタを生成し、前記パスカウンタをシーズニングすることによってオクルージョン箇所をマークアップする機能と、
    前記パスカウンタが１を超えるノードを探索し、前記パスカウンタが同一でかつ互いに隣り合うノードの区間が所定の長さ以下であるかを判断し、前記判断が真の場合、可能な入出パスごとに接続性を評価し、単一の有意な接続性を有する入出パスが存在する場合には、前記単一の有意な接続性を有する入出パスを接続することによって前記オクルージョン箇所を処理する機能と、
    径路探索を行って着目ノードを取得し、前記着目ノードが現在の深さかを判断し、真であればオクルージョン箇所の選択肢を選択肢リストに追加し、前記深さの判断が偽の場合、選択肢リストの長さが、所定の閾値を超えているかを判断し、真であれば選択肢を提示し、前記選択肢リストの長さの判断が偽の場合、選択肢リストをクリアし、前記着目ノードを選択肢リストに追加し、現在の深さを更新することによって組合せ爆発を判定する機能と、
    組合せ爆発であると判定された時には、可能な組合せの選択肢を提示する機能と、
    を実現させるためのプログラムが記録された記録媒体。
21. 時系列に順序付けられた複数の画像データを入力するステップと、
    前記画像データの画素を領域化するステップと、
    前記領域化により画像領域が生成された場合には当該画像領域に正の変動値が与えられたノードを対応付け、前記領域化により画像領域が生成されない場合には仮ノードを生成し当該仮ノードを負の変動値が与えられたノードとし、前記ノードと時系列に隣接する他のノードとの間に前記変動値に対する重みが与えられたエッジを張り、グラフを生成するステップと、
    前記グラフを処理するステップと、を有し、
    前記グラフを処理するステップにおいて、前記グラフについて経路探索を行い、ある経路のノードの変動値ｃ _ｉ およびその次のノードの変動値ｃ _ｉ＋１ の和（ｃ _ｉ ＋ｃ _ｉ＋１ ）と前記ノードおよび次のノードの間に張られたエッジの重みｗ _ｉ との積ｗ _ｉ （ｃ _ｉ ＋ｃ _ｉ＋１ ）をその経路について加算した値Σｗ _ｉ （ｃ _ｉ ＋ｃ _ｉ＋１ ）で定義される経路毎のコンフィデンスファクタを参照し、可能性の低い経路を排除することにより、前記複数の画像データにおけるオブジェクトのオクルージョン判別を支援する画像処理方法。

Images