JP3790126B2

JP3790126B2 - 時空間領域情報処理方法及び時空間領域情報処理システム

Info

Publication number: JP3790126B2
Application number: JP2001163274A
Authority: JP
Inventors: 孝一増倉; 修堀; 敏充金子; 雄志三田; 晃司山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-05-30
Filing date: 2001-05-30
Publication date: 2006-06-28
Anticipated expiration: 2021-05-30
Also published as: US20020181741A1; US7146022B2; JP2002359777A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像中の任意の時空間領域形状をＸ、Ｙ、時間の３次元空間中に表示し、表示された形状を３次元空間中で操作することによって時空間領域情報を入力、修正することを特徴とする時空間領域情報処理方法及び時空間領域情報処理システムに関する。
【０００２】
【従来の技術】
近年、映像画像処理技術の急速な発展により、映像や画像をデジタルデータとして扱うことが一般化してきている。このデジタル化によりデータ量が大きい映像画像データを効率的に圧縮する技術が確立された。また、インターネットや衛星放送・ＣＡＴＶなどのネットワーク技術の発展に伴い、大量の映像データを扱うことができるようになってきており、映像や画像情報を蓄積しておいてニーズに合わせて取り出し利用する映像画像データベースやビデオオンデマンドが実用の段階に入ろうとしている。他にも遠隔地からの自動監視システムもメジャーなものになってきている。このように映像や画像を利用しようとするとき、画面内になにがあるかを認識したり、逆に望む物体があるような映像を検索抽出をしたり、映像を分類したいという要望がある。
【０００３】
このような要望に答えるため、映像中の複数フレームに渡る任意の時空間領域情報を効率よく記述するための手法が既に提案されている（例えば、特開２００１−１１８０７５号公報，特開２００１−１１１９９６号公報）。
【０００４】
【発明が解決しようとする課題】
ところが、新たに時空間領域情報を入力したり、既にある時空間領域情報を編集しようと考えたときには情報を数値入力したり、フレーム単位に入力・編集していたため、前後のフレームや時空間領域の全時間における形状を考慮しながら時空間領域情報を入力したり、編集したりすることが困難であった。
【０００５】
本発明は、上記事情を考慮してなされたもので、時空間領域形状の全体もしくは一部を参照しながら効率的に時空間領域情報を入力・編集可能な時空間領域情報処理方法及び時空間領域情報処理システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報に修正を施す処理を行うための時空間領域情報処理方法であって、対象にした前記領域の前記時空間領域情報に基づいて、前記代表点の前記軌跡を求め、表示装置の画面上に、求められた前記代表点の前記軌跡を、前記フレームに係る２次元座標軸及び時間軸からなる３次元空間中に配置する形態で、３次元表示し、前記画面上に前記形態で３次元表示された前記軌跡の形状の修正操作の入力を受け付け、入力された前記修正操作に基づいて、前記時空間領域情報を修正することを特徴とする。
【０００７】
本発明によれば、Ｘ、Ｙ、時間の３次元空間中に代表点の軌跡を表示し、表示された代表点の軌跡を３次元空間中でユーザが操作する機能を持ち、３次元空間中に各代表点の軌跡を操作することによって、時空間領域情報を入力、修正することができるようになる。
【０００８】
好ましくは、前記修正操作に基づいて前記時空間領域情報を修正した場合に、修正後の時空間領域情報に基づいて、あらためて、前記代表点の前記軌跡の前記画面上への前記形態での３次元表示を行い、さらなる前記所定の修正操作の入力を行うようにしてもよい。
【０００９】
好ましくは、前記代表点の前記軌跡を画面上に表示するに際して、該軌跡上の所定箇所に、修正操作用のポイントを表示し、前記修正操作用のポイントに対してなされる修正操作の入力を受け付け、入力された前記修正操作に基づいて、前記時空間領域情報を修正するようにしてもよい。
【００１０】
これによって、３次元空間中のポイントを操作することによって、関数補間された代表点の軌跡によって表現された時空間領域情報を入力、修正することができるようになる。
【００１１】
好ましくは、前記修正操作は、表示された任意の前記修正操作用のポイントに対する任意の方向の移動、または新たな前記修正操作用のポイントの追加もしくは既存の前記修正操作用のポイントの削除であるようにしてもよい。
【００１２】
好ましくは、前記代表点の前記軌跡を画面上に表示するに際して、前記映像データの所定のフレームを併せて表示するようにしてもよい。
【００１３】
これによって、映像データを参照しながら時空間領域情報を入力、修正することができるようになる。
【００１４】
好ましくは、前記映像データの所定のフレームを表示するにあたっては、表示すべき当該フレームにおける前記近似図形の内部と外部とで異なる表示形態により表示するようにしてもよい。好ましくは、前記近似図形の内部に対する表示形態と外部に対する表示形態とは、前記映像データに対する加工の有無、または前記映像データに対する加工の内容が異なるものであるようにしてもよい。
【００１５】
好ましくは、前記代表点の軌跡を特定可能な情報は、当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであるようにしてもよい。
また、好ましくは、前記代表点の軌跡を特定可能な情報は、当該代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであるようにしてもよい。
また、好ましくは、前記代表点のうちの少なくとも一つについて、当該代表点についての前記位置データが用いられる代わりに、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータが用いられているようにしてもよい。
【００１７】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１８】
本発明によれば、映像データ中の複数フレームにわたる任意の時空間領域や、これに加えて適宜映像データの任意フレームの画像を３次元空間中に表示することによって、時空間領域形状自体や映像データとの関係を容易に把握することができるようになり、時空間領域情報の編集作業を効率的にすることが可能になる。
【００１９】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００２０】
本発明の一実施形態に係る時空間領域情報処理システムは、ユーザが時空間領域情報に対して編集等の処理を行うための機能を有するシステムである。
【００２１】
最初に、時空間領域情報について簡単に説明する。
【００２２】
なお、時空間領域情報の内容、生成方法、利用方法などについては、例えば、特開２００１−１１８０７５号公報や特開２００１−１１１９９６号公報などに詳しく開示されている（それらに開示されている物体領域データが、この時空間領域情報の一形態に相当する）。
【００２３】
まず、時空間領域情報の内容や、生成方法について簡単に説明する。
【００２４】
時空間領域情報は、種々の目的のために表示画面（例えばＧＵＩ画面）上に設けられる特定の領域の出現から消失までの時間的空間的領域（例えば各フレームにおける２次元的領域の時間的推移）を示す情報である。また、時空間領域情報は、通常、映像（あるいは動画像）データ（映像データの内容そのものは、実写したもの、実写したものを加工したもの、ＣＧ、アニメーション、それらを組み合わせたもの等、どのようなコンテンツでもよい）に付随する情報である。なお、動画像データは、複数のフレームからなるものを想定して説明する。
【００２５】
この特定の領域は、例えば、映像データ中に存在する特定の物体（オブジェクト）を示す領域として利用することができる。この場合、あるフレームにおけるその特定の領域の形状が、そのフレームにおけるその特定の物体領域を表す（もしくは近似して表す）ものである。ここで、物体領域とは、映像中における一纏まりの領域部分であり、例えば、人、動物、植物、車、建物、道、川、太陽、雲など（あるいはその一部分、例えば人の頭、車のボンネット、建物の玄関など）、オブジェクトとして把握し得るものならどのようなものでも扱うことができる。また、独立したものであってもよいし、ものの一部（例えば人の頭、車のボンネット、建物の玄関）であってもよいし、ものの集合（例えば鳥や魚の群）であってもよい。
【００２６】
次に、図１、図２を参照しながら、１つの物体領域に対する時空間領域情報の生成について簡単に説明する。
【００２７】
まず、時空間領域情報の生成は、概略的には、例えば次のような手順によって行うことができる。なお、いずれの手順も自動化可能であり、またユーザの手作業を介入させることも可能である。
（１）映像データの所定のフレームから、対象となる物体の物体領域を抽出する。
（２）その物体領域を、所定の図形により近似する。
（３）その近似図形を特定する代表点を抽出する。
１〜３の手順は、当該物体領域に対する近似図形を出現させるフレームから消失させるフレームにわたって、全フレームまたはサンプリングした複数のフレームについて行われる。
（４）各代表点について、その位置（またはこれを特定可能とする量）の時系列を、時間ｔ（例えば映像に付与されているタイムスタンプ）もしくはフレーム番号ｆなどの関数（近似関数）により近似表現する。この近似表現したときの関数のパラメータの値が、求める値である。この関数は、各代表点ごと別々に、かつ、Ｘ座標とＹ座標で別々に表現される。
【００２８】
１〜４の手順は、対象となる各々の物体領域について行われる。
【００２９】
なお、近似図形には、例えば、辺の数がパラメータになる多角形、辺の数が固定された矩形などの多角形、円、楕円など、種々のものがある。また、代表点には、例えば、多角形の頂点、矩形の４つもしくは３つの頂点、円の中心と円周上の一点もしくは直径の両端点、楕円の外接矩形の４つもしくは３つの頂点または２つの焦点と楕円上の１点など、図形の種類に応じて、種々のものがある。
【００３０】
この関数のパラメータを保存しておけば、該パラメータから該関数が求められ、該関数をもとに所望の時間ｔもしくはフレーム番号ｆなどにおける各代表点のＸＹ座標値が求められ、該各代表点のＸＹ座標値から、当該所望の時間ｔもしくはフレーム番号ｆなどにおける近似図形の領域を求めることができる。
【００３１】
図１、図２は、物体領域に対する近似図形に多角形を利用し、代表点を多角形の頂点とし、各頂点の時間軸方向の軌跡に対する近似関数として２次の多項式スプライン関数を利用し、画像中のオブジェクト「魚」に対する時空間領域情報を生成する例である。
【００３２】
図１（ａ）において、２００は処理対象となっている映像中の１フレームを示している。２０１は抽出対象となっている物体の領域を示している。２０２は物体の領域を近似した近似多角形を示している。
【００３３】
図１（ｂ）は、複数のフレームにわたる近似図形の代表点、すなわちこの例における近似多角形２０２及びその各頂点の推移、それらのうちの１つの頂点（Ｖ₀）の近似曲線を表現したものである。
【００３４】
図１（ｃ）の２０４は、代表点Ｖ₀について求められた関数の例である（ここでは基準代表点Ｖ₀の１つの座標軸についてのみ示している）。この例は、近似区間がｔ＝０〜５とｔ＝５〜１６の２つに分割された場合を示している。
【００３５】
図２は、代表点Ｖ₀のＸ座標の値を近似する関数を求めている例である。図中の２１１は物体の存在している時間区間を表しており、黒い点（２１２）が代表点Ｖ₀のＸ座標の値である。２１３がその近似関数である。Ｙ座標に対しても、同様にして近似関数が求められる。近似関数として多項式スプライン関数を用いているので、図１（ｃ）の２０４では節点と呼ばれる点により分割された時間区間ごとに多項式が定義されている。ここでは、ｔ＝０，５，１６がそれぞれ節点時刻となる。
【００３６】
代表点Ｖ₀以外の代表点についてもそれぞれ同様である。
【００３７】
一方、代表点Ｖ₀以外の代表点については、当該代表点を当該代表点とは別の代表点からの相対的関係、例えば差分ベクトルによって表し、そのベクトルの軌跡により記述する方法もある。図３は、その一例として、近似多角形において、基準とする代表点Ｖ₀と、その他の代表点を表すための差分ベクトルの各々を説明している図である。図４の黒い点列（２２２）は、各時刻におけるベクトルＶ_0,1のＸ成分の値を表している。
【００３８】
また、上記では、各フレームにおける代表点の位置又は差分ベクトルの軌跡を近似したが、ある基準となるフレームにおける代表点の位置又は差分ベクトルを各フレームにおける代表点の位置又は差分ベクトルに変換する関数のパラメータの軌跡を近似する方法もある。あるいは、先行するフレームにおける代表点の位置又は差分ベクトルを後続するフレームにおける代表点の位置又は差分ベクトルに変換する関数のパラメータの軌跡を近似する方法もある。
【００３９】
その他にも、時空間領域情報の形態には、種々のバリエーションがあり、本発明は、どのような形態の時空間領域情報にも適用可能である。
また、時空間領域情報には、例えば、各物体領域に対応する各代表点ごとで且つ各フレームごと、あるいは各物体領域ごとで且つ各フレームごと、あるいは各物体領域の各代表点ごと、あるいは各物体領域ごとなどの所定の単位で、所定の属性情報もしくは関連情報などが付加されることもある。本発明は、このような時空間領域情報にも適用可能である。
【００４０】
図５に、本実施形態の説明で用いる時空間領域情報のデータ構造の一例を示す。図５に示されるように、本例の時空間領域情報は、時空間領域情報識別情報（以下、ＩＤ番号）１０１、先頭時刻１０２、最終時刻１０３、形状フラグ１０４、軌跡データ１０５を含むものである。
【００４１】
ＩＤ番号１０１は、時空間領域ごとに付与される識別番号である。
【００４２】
先頭時刻１０２と最終時刻１０３は、当該ＩＤ番号の時空間領域が存在する先頭と最終の時刻である。先頭時刻と最終時刻はタイムスタンプによって表現してもよいし、フレーム番号で表現してもよい。
【００４３】
形状フラグ１０４は、領域形状がどのように表現されているかを示すものである。領域形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合には、頂点数情報も形状フラグに付加される。
【００４４】
軌跡データ１０５は、時空間領域を表現するためのパラメータデータである。これは、先頭時刻から最終時刻までの時空間領域形状が決定できるようなものである。例えば、領域形状が矩形や多角形の場合における、各頂点の軌跡を関数近似したときのパラメータ、領域形状が楕円の場合における、楕円の外接矩形頂点の軌跡を関数近似したときのパラメータなどである。１０６のように、軌跡データ１０５は、１つの代表点について、Ｘ座標軌跡とＹ座標軌跡を別々に記述するため、軌跡データは、代表点数×２だけ存在する。
【００４５】
図６に、図５の時空間領域情報における各々の軌跡データ１０５のデータ構造の一例を示す。これは、スプライン関数などで関数補間された連続する軌跡を表すためのもので、時間とＸ座標やＹ座標などのパラメータとの関係を格納するためのものである。
【００４６】
節点数１５１は、スプライン関数の節点の数を表しており、節点数−１個の多項式のデータ１５６があることを示している。スプライン関数は、隣接する節点の間の区間ごとにそれぞれ別の多項式で表現されるため、節点の数に対応した数の多項式が必要となる。したがって、節点フレーム番号、多項式の係数などを含むデータ１５６は、複数繰り返し記述される。
【００４７】
先頭節点時刻１５２は、スプライン関数の最初の節点の時刻を表す。
【００４８】
節点時刻１５３は、当該多項式データの終わりの節点時刻を表しており、この節点時刻まで多項式のデータ１５６が有効であることを示している。これはフレーム番号の代わりにタイムスタンプによって記述してもよい。多項式の係数データの数は、スプライン関数の最高次数により変化する（最高次数をＫとすると、係数データの数はＫ＋１となる）。そのため、係数データ数を多項式次数１５４に保存してある。多項式次数１５４の後には多項式次数＋１個に相当する数の多項式係数１５５が続く。
【００４９】
次に、このような時空間領域情報の利用方法について簡単に説明する。
【００５０】
映像データを表示する機能及び該映像データに付随する時空間領域情報を利用する機能を有するシステムでは、時空間領域情報に基づいて対象となるフレームにおける物体領域の近似図形の各代表点を求め（１つのフレームに複数の物体領域の近似図形が存在することもある）、該物体領域の近似図形の各代表点から該フレームにおける該近似図形の領域を求め、そして、映像データ上に該近似図形の外形を表示したり、あるいは映像データのうち近似図形の内部に相当する範囲を特定の表示形態で表示したり、あるいはユーザが画面上に表示中の映像上をマウスなどのポインティングデバイス等で指示した場合に例えばその時刻（フィールド）に物体領域の近似図形が存在し且つ指示位置が近似図形の内部であればその対象物体が指示されたと判断し何らかの処理を行うなどによって、効果的なシステムあるいはグラフィカル・ユーザ・インタフェース（ＧＵＩ）などを提供することができる。
【００５１】
例えば、時空間領域情報に関連情報（例えば、文字、音声、静止画、動画等、あるいはそれらを適宜組み合わせたもの、またはその格納アドレスを示すポインタ情報）が付加されている場合あるいは時空間領域情報とは別に各ＩＤ番号の情報に関連する関連情報を含むデータベースが存在するなどの場合に、ハイパーメディアや物体検索に用いることができる。例えば、ユーザが当該物体（又は当該物体及びその近傍）をマウス等で指定することにより、指定された時刻・場所が物体領域の内部であるか外部であるかを判定し、内部であると判定されれば、その物体に関する関連情報を検索させたり、表示させたりすることができる。例えば、映像が映画などのコンテンツ、物体が俳優等の登場人物もしくは他の登場物体、関連情報がその俳優もしくはその役柄等に関する説明であれば、映画を視聴している視聴者は、所望の俳優に関する説明をその俳優の画像をクリックするだけで閲覧することができる。同様に、電子百科事典、電子カタログ等のあらゆる電子コンテンツに適用可能である。
【００５２】
また、関連情報は、例えば、プログラムもしくは計算機の動作を記述したデータまたはその格納アドレスを示すポインタ情報であってもよい。この場合には、ユーザが当該物体を指定することにより、計算機に所定の動作を行わせることができる。
【００５３】
また、例えば、物体検索では、物体の通過位置、非通過位置、ある位置における大きさ、ある位置における滞在時間などを検索キーとして条件に合う物体を検索することができる。いずれの検索キーに対しても、物体の存在する時間区間に対して逐次代表点座標を取り出し、任意の点が代表点で構成される図形の内部か外部かを判定したり、面積を計算することにより条件を満たすかどうかが判断できる。また、例えば、関連情報にキーワードを記述しておけば、物体をキーワード検索することができる。さらに、関連情報にその物体から抽出した、シェープ、テクスチャ、アクティビティ、カラーなどの特徴量を記述しておけば、そのような特徴量をもとにオブジェクト検索することができる。また、例えば、時空間領域情報を解析することにより得られる、物体のシェープ、テクスチャ、アクティビティ、カラーなどの特徴量に基づいて、不審な人物等の監視を行う、監視システムを実現することができる。
【００５４】
次に、映像データや時空間領域情報の提供方法について説明する。
【００５５】
作成者が作成した時空間領域情報がユーザの用に供される場合には、作成者側からユーザ側に何らかの方法で時空間領域情報を提供する必要がある。この提供の方法としても以下に例示するように種々の形態が考えられる。
（１）映像データとその時空間領域情報を同時に提供する形態
（２）映像データを単独で提供し、別途、時空間領域情報を提供する形態
（３）上記の（１）または（２）の方法で、映像データとその時空間領域情報を提供し、上記の（１）または（２）のいずれかの提供時に同時に、またはそれらとは独立して、関連情報等を提供する形態
データや情報を提供する手段としては、例えば、１つまたは複数の記録媒体に記録して提供する方法や、ネットワーク経由等で提供する（あるいはユーザが取得する）方法や、それらを併用する方法などがある。
【００５６】
なお、本実施形態の時空間領域情報処理システムは、作成者側のシステムに搭載することもできるし、ユーザ側のシステムに搭載することもできる。また、時間領域情報を生成する機能を有するシステムに搭載して、当該システムで生成された時間領域情報を編集対象とすることもできるし、時間領域情報を生成する機能を有するシステム又は時間領域情報を生成する機能を有しないシステムに搭載して、外部から読み込んだ時間領域情報を編集対象とすることもできる。
【００５７】
さて、以下では、本実施形態の時空間領域情報処理システムについて詳しく説明する。
【００５８】
ここでは、図５及び図６の時空間領域情報を編集対象とする場合を例にとって説明する。
【００５９】
図７に、本実施形態に係る時空間領域情報処理装置の構成例を示す。図７に示されるように、本時空間領域情報処理装置は、映像情報記憶部１、時空間領域情報記憶部２、表示部３、入力部４、時空間領域情報編集処理部５を備えている。
【００６０】
この時空間領域情報処理装置は、計算機上でプログラムを実行する形で実現することができる。また、そのプログラムを、他のソフトウェアの一機能として組み込むようにすることも可能である。また、必要に応じて、その計算機に、所望の機能を有するＯＳやドライバソフト、パケット通信用ソフト、暗号ソフト等といったソフトウェア、あるいは通信インタフェース装置や外部記憶装置や入出力装置等といったハードウェアを搭載あるいは接続することができる。
【００６１】
映像情報記憶部１は、映像データが記憶されているもので、例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【００６２】
時空間領域情報記憶部２は、映像情報記憶部１に保存されている映像データにおける（例えば物体領域を示す近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された）時空間領域情報が記憶されている。時空間領域情報記憶部２は、例えば、ハードディスクや光ディスク、半導体メモリなどで構成される。前述したように、ここでは、時空間領域情報としては、例えば図５及び図６に示されるようなデータ構造を持つものを例にとっている。
【００６３】
なお、映像情報記憶部１と時空間領域情報記憶部２は、同じ物理デバイス上に存在していても、違う物理デバイス上に存在していてもよい。
【００６４】
時空間領域情報編集処理部５は、映像情報や時空間領域情報の表示に関する処理や、時空間領域情報の修正に関する処理などを行う。
【００６５】
表示部３は、映像情報や時空間領域情報などに関する表示を行うためのものであり、入力部４は、ユーザからの指示入力や選択入力等を入力するためのものである。なお、ここでは、表示部３及び入力部４によりグラフィカル・ユーザ・インタフェースを構成するものとしている。
【００６６】
詳しくは後述するが、時空間領域情報は、物体領域を示す図形の各代表点（例えば、物体領域を示す近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点）の軌跡などとして、｛Ｘ、Ｙ、時間｝の３次元空間中に配置され表示される。また、当該時空間領域情報に対応する映像情報は、適宜、その全部又は一部のフレームの画像が、処理されてまたは処理されずに、３次元空間中に表示される（表示しないことも可能である）。
【００６７】
なお、この時空間領域情報処理装置は、図７の構成に更に、時空間領域情報を生成するための時空間領域情報生成処理部６を備えてもよい。この場合の構成例を図８に示す。なお、時空間領域情報生成処理部６としては、例えば、特開２００１−１１８０７５号公報や特開２００１−１１１９９６号公報などに開示された構成を用いることができる。
【００６８】
表示部３への時空間領域情報の表示では、３次元空間を表示することが必要となるが、この表示のための処理には、ホログラフ技術やバーチャルリアリティ技術など３次元空間を表示可能な技術を適用した処理が利用可能である。また、３次元空間を２次元平面に投影して表示することによって通常のディスプレイなどで表示してもよい。ただし、この場合には、投影による隠れなどが発生し得るため、視点や注視点を移動するためのインターフェースを設けると好ましい。
【００６９】
入力部４には、キーボードやマウスを利用することができる。また、空間で操作する３次元マウス等の入力デバイスを利用することも可能である。
【００７０】
図９に、時空間領域情報及び映像情報に関する表示方法の一例を示す。
【００７１】
時空間領域情報編集処理部５は、編集対象となる時空間領域情報に基づいて、物体領域を示す図形の代表点の軌跡を求め、代表点軌跡１６１のように曲線として表示する。代表点軌跡１６１の表示形態は、例えば、代表点軌跡ごとに色分けして表示したり、実線や破線などの線種で分けて表示するようにしてもよい（どのように表示するかについて、予め設定してもよいし、ユーザが任意に設定できるようにしてもよい）。
【００７２】
また、時空間領域情報編集処理部５は、代表点軌跡１６１を特定するための点として、節点座標１６２とコントロールポイント１６３を表示する。節点座標１６２は、時空間領域情報に記述されているものである。コントロールポイント１６３は、節点座標以外で代表点軌跡１６１上に位置するポイントであり、コントロールポイント１６３をどのように設けるかに応じて、時空間領域情報に基づいて算出する（コントロールポイント１６３をどのように設けるかについては後述する）。節点座標１６２とコントロールポイント１６３は、容易に区別できるような色や形で表示すると好ましい。図９においては、節点座標１６２は「・」で、コントロールポイント１６３は「×」で表示されている（それらを区別して表示する場合には、区別可能であればどのような表示形態でも構わない）。なお、節点座標１６２とコントロールポイント１６３の全部又は一部を表示しない方法もある。また、ユーザーが節点座標１６２とコントロールポイント１６３を表示するかどうかあるいは表示する場合の表示方法を切り替えられるようにしてもよい。
【００７３】
この節点座標１６２やコントロールポイント１６３は、ユーザが時空間領域情報に対する修正内容を入力するためのものであり、本時空間領域情報処理システムでは、ユーザは、時空間領域情報を修正したい場合には、例えばマウスなどを用いてドラッグ・アンド・ドロップ操作などにより、節点座標１６２やコントロールポイント１６３を任意に選択し、それを任意の方向（Ｘ方向又はＹ方向又は時間方向のうち任意の１次元でもよいし、任意の２次元でもよいし、３次元でもよい）へ任意の量だけ移動させる（すなわち、任意の移動ベクトルを入力する）ことによって、時空間領域情報に対する修正指示を入力する。節点座標１６２やコントロールポイント１６３をドラッグ・アンド・ドロップ操作などにより移動させる場合に、節点座標１６２又はコントロールポイント１６３を１つずつ選択して移動させるものとしてもよいし、複数の節点座標１６２及び又はコントロールポイント１６３を選択して一括してそれらを移動させることをも可能にしてもよい。
【００７４】
なお、節点座標１６２とコントロールポイント１６３の全部又は一部を表示しない場合には、例えば、ユーザがマウスなどを用いて指示した位置の直近の節点座標１６２又はコントロールポイント１６３が選択されたものとして扱うようにすればよい。
【００７５】
そして、本時空間領域情報処理システムでは、この節点座標１６２やコントロールポイント１６３がユーザにより移動された後の位置に対応する時空間領域情報を計算することになる。
【００７６】
さて、図６に示されるように、１本の代表点軌跡は、ある節点時刻から次の節点時刻までの補間関数の集合として表される。そのため、１本の代表点軌跡を特定するためには、すべての節点時刻と、節点間の補間関数のパラメータが特定できればよい。
【００７７】
ある代表点軌跡が、
（Ｘ，Ｙ，時間）＝（ｆx（ｔ），ｆy（ｔ），ｔ）
で表されていて（ここで、ｆx（ｔ），ｆy（ｔ）は、スプライン関数など）、節点時刻が、
ｔ０，ｔ１，…，ｔｋ
であったとすると、この代表点軌跡の節点座標１６２は、
（ｆx（ｔ0），ｆy（ｔ0），ｔ0），（ｆx（ｔ1），ｆy（ｔ1），ｔ1），…，（ｆx（ｔk），ｆy（ｔk），ｔk）である。
【００７８】
節点座標１６２は、節点時刻における代表点軌跡の座標を表す。ユーザは、節点座標１６２の位置により、節点時刻と節点時刻における座標を知ることができる。
【００７９】
節点間の補間関数が１次関数によって補間されている場合には、この節点座標１６２の座標を表示することによって、代表点軌跡１６１の形状を一意に特定することができる（なお、コントロールポイント１６３を必要最低限の数のみ表示する場合には、補間関数が１次関数のときは、コントロールポイント１６３は表示されないことになる）。
【００８０】
しかし、節点間の補間関数が２次以上の関数で補間されている場合には、節点座標１６２のみでは補間関数の形状を一意に特定することができない。このような場合には、コントロールポイント１６３を表示して、補間関数の形状を一意に特定できるようにする。
【００８１】
コントロールポイント１６３は、補間関数形状を一意に決定できユーザがわかりやすいものであればどのような座標に表示してもよい。例えば、ｎ次多項式によって補間されている際には、ｎ＋１個の座標がわかれば補完関数形状を一意に決定できる。補間関数の開始時刻における座標と終了時刻における座標は、節点座標１６２によって表示されているため、それ以外のｎ−１個の座標をコントロールポイントとして表示することによって補間関数形状を一意に決定することができる。
【００８２】
ｎ−１個の座標位置をどのように設定するかについては、種々のバリエーションが可能であるが、コントロールポイント間があまりにも近いと、ユーザーにとってわかりにくいだけではなく、操作する際にも困難になるため、例えば、開始時刻から終了時刻を等分してコントロールポイントを配置するようにしてもよい。
【００８３】
例えば、ある節点座標が存在するフレーム（以下、キーフレームと呼ぶ）の時間がｔ１で、次のキーフレームの時間がｔ２であったとする。ｔ１からｔ２において代表点軌跡が、
（Ｘ，Ｙ，時間）＝（ｆx（ｔ），ｆy（ｔ），ｔ）
で表されていたとする。ただし、ｆx（ｔ）とｆy（ｔ）は時間ｔのｎ次多項式であるとする。このとき、キーフレームにおける座標１６２は、
（ｆx（ｔ1），ｆy（ｔ1），ｔ1）と（ｆx（ｔ2），ｆy（ｔ2），ｔ2）
である。コントロールポイント１６３は、ｎ−１点必要となり、ｔ1〜ｔ2を等分して座標を決定するとすると、コントロールポイント１６３の座標は、
(ｆx((ｔ2−ｔ1)*ｉ/ｎ+ｔ1),ｆy((ｔ2−ｔ1)*ｉ/ｎ+ｔ1),(ｔ2-ｔ1)*ｉ/ｎ+ｔ1) （ｉ＝１，２，…，ｎ−１）
となる。
【００８４】
コントロールポイントを配置する方法には、均等分割する方法の他に、例えば、曲線の変化の激しい部分ほど密にコントロールポイントを配置する方法もある。
【００８５】
なお、配置するコントロールポイントの数は、補完関数形状を一意に決定するｎ＋１個よりも多い数とする方法も可能である。この場合には、例えば、修正後の補完関数形状を一意に決定するためのｎ＋１個をユーザが選択するようにしてもよいし、あるいはシステム側で選択するようにしてもよい（ただし、表示されているｎ＋１個よりも多い数の全コントロールポイントを、修正後の補完関数形状を一意に決定するためのコントロールポイントとして用いる方法も可能である）。
【００８６】
また、コントロールポイントの時刻を、フレームの持つ時刻と一致させるようにする方法と、フレームの時刻に限定せずに設定する方法とがある。前者の場合には、例えば、先に所定のアルゴリズムでコントロールポイントの時刻を算出してしまい、それがフレームの持つ時刻と一致しない場合に、算出されたあるいは指示されたコントロールポイント時刻の直近のフレーム時刻を、そのコントロールポイントの時刻とすればよい。
【００８７】
一方、映像情報１６４は、当該時空間領域情報に関連する映像の画像情報を表示する。例えば、映像の全フレームもしくは任意のフレームの画像を３次元空間中の時間軸に垂直で、表示するフレームの時刻の位置にある平面に表示する。表示するフレームは、例えば、数フレームおきであるとか、節点が存在するフレームのみなど予め定められた基準に従ってシステム側で決定するようにしてもよいし、表示するフレームの選択方法をユーザが適宜指定できるようにしてもよい。また、表示画面への表示対象に入っている節点座標及びコントロールポイントの時刻と同じ時刻を持つフレームは少なくとも表示するようにしてもよい。
【００８８】
なお、フレーム画像を時間軸に３次元空間中の垂直な面に表示する以外にも、映像情報を（Ｘ，Ｙ，時間）のボクセル情報と考えて、任意の平面における断面図を表示してもよい。例えば、（Ｘ，時間）平面や、（Ｙ，時間）平面の断面図を表示することによって時間的な映像の動きを容易に知ることができる。このように任意の断面図を表示する際にも、どの断面図を表示するかはシステム側で決定してもよいし、ユーザに指定させてもよい。
【００８９】
このように、映像情報１６４を表示することによって映像に何が描かれているかを参照しながら時空間領域を編集することが容易となる。例えば、映像中に描かれているある物体の領域情報を時空間領域情報として修正・入力する際には、上記のように映像情報１６４を表示することによって、正確に物体の領域情報を取り出すことができる。
【００９０】
また、映像情報１６４を表示する際に、映像情報を加工せずに表示してもよいが、映像情報になんらかの加工を施して表示してもよい。例えば、フレーム画像を透明化・半透明化したり、指定された色で塗りつぶししたり、輝度を変えたり、白黒表示したり、解像度を変えたり、モザイクやその他の画像処理を行ってもよい。
また、その際に、映像データのうち当該フレームにおける物体領域を示す近似図形の内部に相当する範囲と、外部に相当する範囲とで、加工を施すか否かあるいは加工を施す場合における加工の内容（例えば、半透明の程度、塗りつぶす色、輝度、解像度など）を異ならせるようにしてもよい。
また、当該フレームにおける物体領域を示す近似図形の形状に従い縁取りすることによって、当該フレームにおける領域の形状を表示してもよい。
また、これらの画像処理は複数個組み合わせて利用してもよい。
【００９１】
例えば、表示画面上に同時に数多くのフレームの画像を表示した際には、表示する画像の枚数が多くなり、ある画像によって他の画像が隠れてしまうことがあり得る。このような場合に、フレームの画像を半透明にすることによって、隠れた画像を参照することが容易となる。また、領域の外部を透明にして表示することによって、時空間領域以外の画像が表示されなくなるため時空間領域形状を分かりやすく表示することが可能となる。
【００９２】
また、例えば、本時空間領域情報は、映像を視聴する際に映像の一部に特殊加工を施して再生するための用途に利用することができる。見たくない物体や見せたくない物が映像中に含まれているときに、それにモザイクを掛けて表示したり、色あいを変えて不快感をやわらげたりするための用途に使用することができる。このように、映像の特殊加工をするための領域を編集する際などに、映像情報１６４にも映像視聴時と同様な特殊加工を施すことによって、映像がどのように表示されるかを参照しながら時空間領域情報を編集することができる。
【００９３】
図１０に、３次元空間を２次元平面に投影して表示する場合のグラフィカル・ユーザ・インタフェース（ＧＵＩ）の画面の一例を示す。
【００９４】
図１０に示されるように、このＧＵＩは、３次元空間投影部３１、ステータス部３２、画像特殊表示ボタン３３、画像表示密度ボタン３４、画像表示位置ボタン３５、ズームボタン３６、注視点移動ボタン３７、視点移動ボタン３８を持つ。
【００９５】
３次元空間投影部３１は、図９で示される時空間領域情報を３次元空間中に表示したものを、指定された投影方法によって２次元平面に投影した画像を表示するための部分である。
【００９６】
ステータス部３２は、時空間領域や映像の情報や、節点座標・コントロールポイントを選択した際にその座標情報などを表示するための部分である。入力部４によって、ステータス部の情報が書き換えられた場合には、当該時空間領域情報もそれに従って書き換えられる。
【００９７】
画像特殊表示ボタン３３は、映像情報１６４を表示する際に、その加工方法（例えば、領域の内部や外部を半透明や透明にしたり特殊加工して表示する方法）を選択するためのボタンである。これはダイアログを新たに表示して選択させてもよいし、押すたびに表示方法が変わるようなインターフェースなど、加工方法が変更できるようなものであればどのようなものでも構わない。
【００９８】
画像表示密度ボタン３４と画像表示位置ボタン３５は、映像情報１６４を表示する際に、どのフレームの画像を表示するかをユーザーが指定するためのものである。画像表示密度ボタン３４で何フレームおきに表示するかを指定し、画像表示位置ボタン３５で表示しはじめるフレーム位置を指定する。表示しはじめるフレーム位置がｈフレーム目で、ｉフレームおきに表示する設定のときには、表示されるフレームは、
ｈフレーム、ｈ＋ｉフレーム、ｈ＋（ｉ＊２）フレーム、…
となる。
画像表示密度ボタン３４と画像表示位置ボタン３５は、このような設定方法以外でも、どのフレームを表示するかが設定できるようなものであればどのようなものでも構わない。
【００９９】
ズームボタン３６、注視点移動ボタン３７、視点移動ボタン３８は、３次元空間投影部３１に表示する際に、３次元空間から２次元平面にどのように投影するかを設定するボタンである。視点移動ボタン３８で３次元空間における視点を、注視点移動ボタン３７で３次元空間における注視点を、ズームボタン３６で３次元空間における画角を設定する。これは図１０に示されるインターフェース構成以外にも、投影パラメータが指定できるようなものであればどのようなものでも構わない。
【０１００】
次に、時空間領域情報の修正について説明する。
【０１０１】
前述したように、ユーザは、ＧＵＩに表示された代表点軌跡の節点座標１６２やコントロールポイント１６３を操作して、時空間領域情報の修正（のための入力）を行う。
【０１０２】
修正の基本的なものには、例えば、
（１）コントロールポイントの移動（時間軸方向の移動も含む）、
（２）節点座標の時間軸方向の位置を変えない範囲での節点座標の移動、
（３）時間軸方向の位置の変化を含む節点座標の移動、
（４）代表点の軌跡の近似関数の次数の増加または減少を伴う修正（例えば、コントロールポイントの追加または削除）、
（５）節点座標の追加または削除（すなわち、近似区間の分離または統合）、
などがある。
【０１０３】
すなわち、代表点軌跡は、隣接する２つの節点座標１６２と所定数のコントロールポイント１６３の座標により一意に決定される。したがって、節点座標１６２を追加または削除することによって、代表点軌跡の節点数を変更することができる。また、節点座標１６２の座標位置を時間方向に変更することにより、節点時刻を変更することができる。
【０１０４】
また、コントロールポイント１６３を追加または削除することによって、補間関数の次数を変えることができる。例えば、２次関数で補間されていて、コントロールポイントが１つ表示されている節点間に新たにコントロールポイントを１つ追加すると３次関数補間に変更できる。
【０１０５】
また、節点座標１６２とコントロールポイント１６３を（Ｘ，Ｙ）に水平な平面上で動かすことによって、代表点軌跡の補間関数形状を変更することができる。このように、節点座標１６２とコントロールポイント１６３の追加または削除と座標位置の変更により、任意の代表点軌跡形状の変更処理が可能となる。
【０１０６】
なお、ある代表点のある節点を時間軸方向に移動された場合には、他の代表点の同じ時刻情報を持つ節点にも同じ修正が加えられたものとして扱うようにしてもよい。同様に、ある代表点について１つの節点が追加または削除された場合には、他の代表点についても同じ時刻情報を持つ節点が追加または削除されたものとして扱うようにしてもよい（ただし、代表点によって節点が異なってもよいようなデータ構造を持つ時空間領域情報では、そのような場合に、他の代表点について同じ修正が加えられたものとして扱わないようにする方法も可能である）。
【０１０７】
ユーザにより時空間領域情報の修正のための入力が行われた場合には、修正内容に応じて、修正が波及する時空間領域情報の範囲を特定し、該当する部分を計算して、修正の反映された時空間領域情報を求める。
【０１０８】
例えば、上記の（１）の修正では、修正が波及する箇所は、該当する代表点のＸＹ各座標の軌跡データ（図５の１０５）のうち、修正されたコントロールポイントを含む近似区間の多項式係数（図６の１５５）となる。
【０１０９】
また、例えば、上記の（２）の修正では、節点座標をＸＹ平面内で移動させることによって、修正された当該節点座標を含む２つの隣接する近似区間に修正が波及し、修正が波及する箇所は、該当する代表点のＸＹ各座標の軌跡データ（図５の１０５）のうち、修正された節点座標を含む各近似区間の多項式係数（図６の１５５）となる。
【０１１０】
また、例えば、上記の（３）の修正では、節点座標について時間軸方向成分を含む移動をさせることによって、当該節点座標を含む２つの隣接する近似区間に修正が波及し、上記の（２）に図６の節点時刻１５３の修正が加わる。
【０１１１】
また、例えば、上記の（４）の修正では、修正が波及する箇所は、該当する代表点のＸＹ各座標の軌跡データ（図５の１０５）のうち、修正されたコントロールポイントを含む近似区間の多項式次数（図６の１５４）、多項式係数（図６の１５５）となる。
【０１１２】
（１）〜（４）のそれぞれのケースにおいて、時空間領域情報編集処理部５は、修正後の節点座標１６２とコントロールポイント１６３により特定される代表点軌跡（に対応する近似関数のパラメータ）を求め、該当するＸ座標の軌跡データとＹ座標の軌跡データを修正する。
【０１１３】
また、例えば、上記の（５）の修正では、節点座標の増加の場合には、該当する代表点のＸＹ各座標の軌跡データ（図５の１０５）のうち、新たに節点座標が付加された近似区間のデータ（図６の１５６）に修正が波及し、該近似区間が分割され、近似区間のデータ（図６の１５６）が１つ増加することになる。時空間領域情報編集処理部５は、時空間領域情報のうち、該する近似区間のデータ（図６の１５６）の前または後ろに、１つの近似区間のデータ（図６の１５６）を挿入し、分割により発生した新たな２つの近似区間について、それぞれ、修正後の節点座標１６２とコントロールポイント１６３により特定される代表点軌跡（に対応する近似関数のパラメータ）を求め、該当するＸ座標の軌跡データとＹ座標の軌跡データを修正する。
【０１１４】
また、例えば、上記の（５）の修正では、節点座標の減少の場合には、該当する代表点のＸＹ各座標の軌跡データ（図５の１０５）のうち、削除された節点座標を含んでいた２つの近似区間のデータ（図６の１５６）に修正が波及し、該近似区間が統合され、近似区間のデータ（図６の１５６）が１つ減少することになる。時空間領域情報編集処理部５は、時空間領域情報のうち、該する近似区間のデータ（図６の１５６）のいずれか１つを削除し、分割により発生した新たな１つの近似区間について、修正後の節点座標１６２とコントロールポイント１６３により特定される代表点軌跡（に対応する近似関数のパラメータ）を求め、該当するＸ座標の軌跡データとＹ座標の軌跡データを修正する。
【０１１５】
また、複数の修正入力を行った後に一括して時空間領域情報を修正する場合にも、同様にして、時空間領域情報のうち修正が波及する部分について修正後の値を計算し、該当するＸ座標の軌跡データとＹ座標の軌跡データを修正する。
【０１１６】
なお、修正内容によっては、図５の先頭時刻１０２、最終時刻１０３、図６の節点数１５１、先頭節点時刻１５２が修正されることもある。
【０１１７】
また、図５の形状フラグ１０４を（メニュー選択などによって）修正指示可能としてもよい。
【０１１８】
なお、図１０のＧＵＩにおいては、上記のような節点座標１６２やコントロールポイント１６３の追加や削除や座標位置の変更によって時空間領域情報が変化したときには、直ちに表示画面に変更された時空間領域情報に対する表示を行うとよい。常に最新の時空間領域情報を表示することによって、直感的な操作が可能となる。
【０１１９】
節点座標１６２とコントロールポイント１６３の追加削除や座標位置の変更は、マウスやキーボードなど情報が入力できるものであればどのようなものによってもよい。ただし、これら座標の変更は３次元空間中における移動をサポートする必要があるため、通常のマウスなど２次元移動しか行えないようなポインティングデバイスによって入力を行う際には、ＸＹ方向と時間方向の移動操作を分けるなど、なんらかの３次元的移動が行えるようにすればよい。例えば、マウスを利用して座標位置を変更したいときには、通常のマウスの移動では（Ｘ，Ｙ）平面上での移動になり、マウスのあるボタンやキーボードのあるボタンを押しながらマウスを移動させたときには時間方向の移動になるなどの方法がある。また、３次元マウスを利用してもよい。
【０１２０】
ところで、（ある代表点について節点を追加することによって他の代表点にも節点を追加する場合に）節点を追加する際には、節点時刻における領域形状を正確にできるだけ推定することによって、その後の修正作業量を大幅に減らすことが可能となる。すなわち、追加する初期形状が正確なほど効率的に作業が行える。そのため、現在までに入力された代表点軌跡形状から節点時刻における代表点座標を推定して初期形状とすると好ましい。
節点時刻における代表点座標を推定する手法はどのようなものでもよいが、例えば、追加する節点時刻に最も近い既にある代表点軌跡関数から、節点時刻における座標を算出し、その座標を追加する代表点座標の初期値とすればよい。その他にも、他の代表点軌跡情報を利用して、極端な誤差をなくしたり、映像情報の輝度エッジに近づけるなどの処理を行ってもよい。
【０１２１】
このように、時空間領域情報を３次元空間中に表示することで、時空間領域形状を全体的に把握することが容易となる。これにより前後フレームの関係を見ながら時空間領域形状を編集することが簡単にできるという利点がある。
【０１２２】
ところで、図１０のＧＵＩの例では、１つの物体領域を示す近似図形の各代表点の時間的推移の軌跡を表示し、１つの近似図形についての時空間領域情報を修正対象とした。
図１０のＧＵＩの例において、表示対象範囲に複数の時空間領域情報が存在する場合には、例えば、時空間領域情報をユーザが選択可能とし、ユーザが編集対象として選択した１つの時空間領域情報について表示し、該１つの時空間領域情報を修正対象とするようにしてもよい。
【０１２３】
また、表示対象範囲に複数の時空間領域情報が存在する場合に、複数の時空間領域情報についての表示を同時に行い、例えばユーザが選択した１又は複数の時空間領域情報あるいは表示されているすべての時空間領域情報を修正可能とすることも可能である。
【０１２４】
また、同時に複数の時空間領域情報を表示する場合に、すべての時空間領域情報について近似曲線（及び映像情報（例えば、キーフレーム））を表示するようにしてもよいが、例えばユーザが選択した１又は複数の時空間領域情報についてのみ近似曲線（及び映像情報（例えば、キーフレーム））を表示し、他の時空間領域情報については映像情報（例えば、キーフレーム）のみ表示するようにしてもよい。
【０１２５】
また、同時に複数の時空間領域情報を表示する場合に、各時空間領域情報に関する表示を、色あるいは線種などで分けて表示するようにしてもよい。
【０１２６】
また、同時に複数の時空間領域情報を表示する場合に、これまのでように同一の３次元空間投影部３１に、複数の時空間領域情報に関する表示を行うのではなく、３次元空間投影部３１を複数設け、複数の時空間領域情報に関する表示を、それぞれ別々の３次元空間投影部３１にて行うようにしてもよい。
【０１２７】
もちろん、図１０のＧＵＩは一例であり、その他にも、種々のバリエーションが可能である。
【０１２８】
図１１に、本時空間領域情報処理システムの時空間領域情報編集処理部５の処理手順の一例を示す。
【０１２９】
まず、時空間領域情報記憶部２に記憶されている時空間領域情報を読み込むとともに、当該時空間領域情報に関連する映像情報を映像情報記憶部１から読み込む（ステップＳ１）。
【０１３０】
次に、所定の表示方法で３次元空間投影部３１に時空間領域情報を表示するための処理を行う（ステップＳ２）。例えば、近似図形の外形や近似図形の代表点軌跡や節点座標やコントロールポイントの算出や表示が行われる。また、所定の表示方法で３次元空間投影部３１に映像情報を表示する（ステップＳ３）。すなわち、必要に応じて施す透明・半透明処理あるいはモザイクなどの特殊加工や表示が行われる。なお、ステップＳ２とステップＳ３は、逆の順序で行ってもよいし、同時に行ってもよい。
【０１３１】
次に、ユーザからの入力を受け付ける（ステップＳ４，Ｓ５）。
【０１３２】
ユーザから表示方法に関する入力（例えば、図１０の画像特殊表示ボタン３３、画像表示密度ボタン３４、画像表示位置ボタン３５、ズームボタン３６、注視点移動ボタン３７、視点移動ボタン３８などの入力）があった場合には（ステップＳ６）、表示方法の設定を変更し（ステップＳ７）、変更した表示方法の設定に従って、ステップＳ２及び又はステップＳ３を再度行う。そして、再度、ユーザからの入力待ち状態に戻る（ステップＳ４，Ｓ５）。
【０１３３】
ユーザから修正に関する入力（例えば、前述したような図１０の３次元空間投影部３１での入力、ステータス部３２での入力）があった場合には（ステップＳ８）、時空間領域情報の修正の処理を行い（ステップＳ９）、そして、ステップＳ２及び又はステップＳ３を再度行う。そして、再度、ユーザからの入力待ち状態に戻る（ステップＳ４，Ｓ５）。
【０１３４】
また、その他の入力があった場合には（ステップＳ１０）、該当する処理を行って（ステップＳ１１）、必要に応じてステップＳ２及び又はステップＳ３を行い、そして、ユーザからの入力待ち状態に戻る（ステップＳ４，Ｓ５）。
【０１３５】
そして、例えばマウスにより終了ボタンが押され、あるいは終了コマンドが入力されるなどによって、この編集の終了の指示が入力された場合には（ステップＳ１０）、修正した時空間領域情報を、時空間領域情報記憶部２に保存する（ステップＳ１２）。
【０１３６】
ところで、ステップＳ９の時空間領域情報の修正の処理においては、１つの節点座標やコントロールポイントの修正が入力されたときに、直ちに、修正された時空間領域情報を求め、表示に反映させる方法と、節点座標やコントロールポイントの修正が任意に繰り返し（このときは、節点座標やコントロールポイントの移動だけ表示に反映させる）、その後に、決定を示す入力がなされたときに、一括して、修正された時空間領域情報を求め、修正後の代表点軌跡の曲線などを表示に反映させる方法などがある。
【０１３７】
図１２に、前者の場合のステップＳ９の処理手順の一例を示す。この場合、修正指示の内容を取得し（ステップＳ２１）、時空間領域情報のうち修正が波及する箇所を特定し（ステップＳ２２）、時空間領域情報の該当部分を計算する（ステップＳ２３）。この場合には、次のステップＳ２及び又はステップＳ３において、修正後の時空間領域情報に基づいた表示が行われる。
【０１３８】
また、図１３に、後者の場合のステップＳ９の処理手順の一例を示す。この場合、修正内容の指示ならば（ステップＳ３１）、修正指示の内容を取得して保持しておき（ステップＳ３２）、決定の指示ならば（ステップＳ３１）、保持されている全修正内容によって時空間領域情報のうち修正が波及する箇所を特定し（ステップＳ３３）、時空間領域情報の該当部分を計算する（ステップＳ３４）。この場合には、決定の指示が入力されたときに、修正後の時空間領域情報に基づいた表示が行われる。
【０１３９】
なお、決定の指示を入力するまでは、例えば修正後の節点座標やコントロールポイントの位置などが画面に表示されるが、その際に、修正前の節点座標やコントロールポイントをも表示して修正内容が分かるようにする方法や、修正前の節点座標やコントロールポイントは画面では消去する方法などがある（前者の場合には、修正前後の節点座標やコントロールポイントが区別できるように異なる形態で表示すると好ましい）。
【０１４０】
また、例えば、ユーザが節点座標やコントロールポイントをマウス等で選択して移動させている際に、リアルタイムで、節点座標やコントロールポイントを当該位置に移動させたとしたときの軌跡を計算して（例えば現在の軌跡とは異なる表示形態で）表示するようにしてもよい。
【０１４１】
なお、上記の手順では、一連の処理が終了する際に、ステップＳ１２で修正後の時空間領域情報を時空間領域情報記憶部２に保存したが、ステップＳ９において修正後の時空間領域情報を時空間領域情報記憶部２に保存してしまう方法もある。
【０１４２】
また、この修正について、いわゆるアンドゥー、リドゥーを任意に可能としてもよい。
【０１４３】
もちろん、これまで説明した手順は一例であり、その他にも種々のバリエーションが可能である。
【０１４４】
さて、前述したように、本発明は、種々のデータ構造の時空間領域情報に適用可能である。
【０１４５】
以下では、図５及び図６とは異なるデータ構造の時空間領域情報に本発明を適用した場合について説明する。
【０１４６】
図１４に、時空間領域情報のデータ構造の他の例を示す。図１４に示されるように、本例の時空間領域情報は、ＩＤ番号３０１、先頭時刻３０２、最終時刻３０３、参照領域フラグ３０４、参照領域形状情報３０５、変換形式フラグ３０６、軌跡データ３０７を含むものである。
【０１４７】
ＩＤ番号３０１と、先頭時刻３０２と、最終時刻３０３とは、図５におけるＩＤ番号１０１、先頭時刻１０２、最終時刻１０３のそれぞれと同等の意味を持つ。
【０１４８】
参照領域フラグ３０４は、参照領域の形状がどのように表現されているかを示すものである。参照領域の形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合は、頂点数情報も参照領域フラグに付加される。
【０１４９】
参照領域形状情報３０５は、参照領域形状を格納するためのものである。例えば、参照領域形状が矩形や多角形のときは、各頂点の座標、参照領域形状が楕円のときは、外接矩形の頂点座標や、中心点、長軸短軸の長さなどのパラメータが格納される。
【０１５０】
変換形式フラグ３０６は、参照領域から各フレームにおける時空間領域情報への領域変換を示す変換パラメータがどのような形式で示されているかを示すものである。領域変換を示す変換パラメータの形式には、例えば、平行移動、一次変換、アフィン変換などがあるため、それらを一意に区別するような情報が記述される。
【０１５１】
軌跡データ３０７は、参照領域から各フレームにおける時空間領域情報への領域変換を示す変換パラメータのそれぞれの軌跡を記述するためのものである。これは例えば図６に示されるような軌跡データのデータ構造を持つ。変換パラメータは複数持つことが多いため、軌跡データも変換パラメータの数だけ記述される。軌跡データの数は、変換形式フラグ６０７によって一意に決まり、例えば、平行移動のときは２つ、一次変換の時は４つ、アフィン変換のときは６つである。軌跡データの順番は、変換パラメータの意味によって決めておき、例えば、以下のようにする。
時刻ｔの関数であるパラメータの軌跡データがｚ1（ｔ），ｚ2（ｔ），…と並んでいるとき、参照領域上のある点ｐ＝（ｐx，ｐy）が領域変換によって変換された軌跡を、Ｐ（ｔ）＝（Ｐx（ｔ），Ｐy（ｔ））とすると、

パラメータの軌跡データｚ1（ｔ），ｚ2（ｔ），…が、ｎ次多項式で表されているとき、上式よりＰx（ｔ），Ｐy（ｔ）もやはりｎ次多項式で表すことが可能となる。
【０１５２】
この場合の時空間領域情報処理装置の構成例は、図７や図８で示される構成例と同様である。以下では、先に説明したような図５及び図６のデータ構造の時空間領域情報に本発明を適用した場合の構成例と相違する点について説明する。
【０１５３】
時空間領域情報編集処理部５は、本例の時空間領域情報を表示するために、基本的には前述したものと同様の機能を持つが、時空間領域情報のデータ構造が異なるため、上式より代表点軌跡に変換してから表示することになる。ユーザにより代表点軌跡のキーフレームにおける節点座標１６２やコントロールポイント１６３が移動された場合には、各変換パラメータを算出して、変更された変換パラメータに従ってすべての代表点軌跡を変更する。
【０１５４】
この場合の処理手順例は、図１１や図１２あるいは図１３と同様である。
【０１５５】
このようにすることにより、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報においても、各代表点の軌跡として記述された時空間領域情報と同様に編集を行うことができる。
【０１５６】
もちろん、本時空間領域情報処理システムは、複数種類のデータ構造の時空間領域情報を扱うようにすることもできる。この場合には、時空間領域情報に、データ構造を識別するための識別情報を付加し、時空間領域情報処理システムは、時空間領域情報を処理するに際して、その識別情報を参照して、データ構造を特定し、そのデータ構造に応じた処理を行うようにすればよい。
【０１５７】
さて、以下では、さらに、本発明を適用する時空間領域情報のバリエーションについていくつか説明する。
【０１５８】
まず、表示フラグを付加したデータ構造を持つ時空間領域情報について説明する。
【０１５９】
まず、この表示フラグを含む時空間領域情報について説明する。
【０１６０】
この時空間領域情報は、映像中の物体について、画面上でその物体（またはその一部）が見えている状態にあるか、他の物体の陰に隠れているなどして見えていない状態にあるかを示す表示フラグに関する表示フラグ情報を含むものである。
【０１６１】
例えば図１５の（ａ）〜（ｃ）のように、映像中に複数の物体が存在している場合、ある物体２１０１が別の物体２１０２によって隠れたり、現れたりするということがよくある。この状態を記述するため、時空間領域情報に表示フラグ情報を追加する。
【０１６２】
表示フラグは、対象物体ごとに与える方法と、対象物体の近似図形の代表点毎に与える方法がある。
【０１６３】
表示フラグを対象物体ごとに与える場合、表示フラグが立っているときは、その物体が隠れていないことを示し、再生時には、その物体を表示する。表示フラグが立っていないときは、その物体が隠れていることを示し、再生時には、その物体を表示しない。
【０１６４】
表示フラグを対象物体の近似図形の代表点ごとに与える場合、１つの対象物体の近似図形における全ての代表点の表示フラグが同一の状態ならば上記と同様であるが、表示フラグが立っている代表点と、表示フラグが立っていない代表点が混在するならば、その状況を考慮して当該物体の表示を行う（例えば当該物体の該当する一部分のみ表示する）。
【０１６５】
表示フラグは、各キーポイント間ごとに設定され、物体領域の代表点軌跡データを作成するときに同時に決定される。なお、キーポイントは、近似関数の節点と無関係に設けられてもよいが、キーポイントは必ず節点になるようにしてもよい。例えば、キーポイントが発生した場合には、強制的にその時点を節点とする方法がある。
【０１６６】
表示フラグを対象物体ごとに与える場合、キーポイントは、物体が現れている状態から隠れてる状態に移るときと、隠れている状態から現れている状態に移るときに設定される。図１５の例において、物体２２０１は、フレームｉまでは現れていて、フレームｉからｊは隠れ、フレームｊ以降はまた現れるとき、フレームｉとｊにキーポイントを置き、フレームｉからｊまでの表示フラグには隠れ状態を、それ以外のフレームの表示フラグには現れ状態を設定する。表示フラグを対象物体の近似図形の代表点ごとに与える場合も同様である。
【０１６７】
代表点軌跡データ作成時は、全フレームに渡って物体が現れているものとして作成し、物体が隠れているため代表点の情報がわからない場合は、分かっている前後の代表点の情報より補完することによって、代表点軌跡データを作成する。そして、代表点軌跡データを作成した後、物体が現れているか隠れているかに応じて表示フラグを設定する。このため、一つの物体に関しては物体が隠れたり現れたりしても一連の代表点軌跡データで表現することが可能となる。
【０１６８】
以下、表示フラグ情報のバリエーションについて説明する。
【０１６９】
通常、表示フラグは各キーポイント間ごとに設定されるが、表示フラグ自体に開始タイムスタンプと終了タイムスタンプを付加してもよい。この場合は、表示される範囲や隠れる範囲がキーポイントと独立に設定できるというメリットがある。
【０１７０】
表示フラグは、１つの物体内で１つの表示フラグを持っていてもよいし、各代表点軌跡データごとに独立して持っていてもよい。例えば、物体が多角形で表現されていて、その各頂点を代表点として軌跡データで表現した場合には、代表点軌跡データごとに独立して表示フラグを持つことによって、物体の一部のみの隠れなどを表現することが可能となる。
【０１７１】
また、表示フラグは、現れているか隠れているかだけではなく、優先度として整数の値をとるようにしてもよい。物体同士が重なったときは、優先度の低い物体が優先度の高い物体に隠れていることを示し、優先度の高い物体のみを表示する。また、優先度が０の時は他の物体に関係なく物体は隠れているものとする。
表示フラグを上記のように整数値でとることによって、映像中に他の物体を合成したときなどにも、物体同士の隠れの問題を解決できるという利点がある。表示フラグを整数値でとった場合も、１つの物体内で１つの表示フラグを持っていてもよいし、各代表点軌跡データごとに独立して持っていてもよい。
【０１７２】
図１７、図１８は、図５のデータ構造に表示フラグを付加した時空間領域情報の例である。
【０１７３】
図１７は、対象物体に対して表示フラグを付加する場合における、図５及び図６の時空間領域情報に対して「表示フラグ情報」７０６を付加した例である。
【０１７４】
図１８は、「表示フラグ情報」７０５の構造例である。
【０１７５】
この例は、各表示フラグ（２３０４）に、開始タイムスタンプ（２３０２）と終了タイムスタンプ（２３０３）を持っている。表示フラグ数（２３０１）は表示フラグの総数で開始タイムスタンプ（２３０２）と終了タイムスタンプ（２３０３）を利用しない場合は、キーポイント数−１個の表示フラグを持つため、表示フラグ数（２３０１）を省略してもよい。表示フラグ（２３０４）は現れているか隠れているかを０か１かで記録するが、優先度として整数値をとってもよい。
【０１７６】
また、物体の近似図形の各代表点に対して表示フラグをそれぞれ付加する場合には、例えば、時空間領域情報の各代表点軌跡ごとに「表示フラグ情報」を付加する。
【０１７７】
図１９は、図５の時空間領域情報の各代表点軌跡ごとに「表示フラグ情報」を付加した場合の代表点軌跡のデータ構造の例である。図１９の「表示フラグ」９００の構造例は、上記と同様である。
【０１７８】
さて、この場合において、ユーザが、節点座標やコントロールポイントの移動や追加あるいは削除などの修正を行ったときに、時空間領域情報編集処理部５が時空間領域情報に修正を施した結果、あるフレームにおいて、映像中に存在するある物体が修正前には別の物体によって隠されていなかったのが修正後には隠されるようになったり、その逆に修正前には別の物体によって隠されていたのが修正後には隠されないようになったりすることがあり得る。このような場合には、時空間領域情報編集処理部５は、例えば当該フレームの前後における各時空間領域情報のフラグ情報を参照、比較するなどによって、割り当てるべきフラグ情報の内容を決定し、時空間領域情報をも修正するようにすればよい。なお、その際に、例えば図１８の表示フラグの内容が更新されるだけの場合もあれば、図１８の開始／終了タイムの区間の分割が発生する場合もある。また、時空間領域情報編集処理部５のみでなくユーザが介在して割り当てるべきフラグ情報の内容を決定するようにしてもよい。
【０１７９】
また、ユーザが、ステータス部３２などを使ってフラグ情報を直接修正可能としてもよい。
【０１８０】
また、ＧＵＩ画面に時空間領域情報の表示を行う際に、表示フラグ情報の内容をもユーザに呈示するようにしてもよい。例えば、各近似図形の外枠もしくは各近似図形の内部あるいは各近似図形の各代表点を、その表示フラグ情報の内容に応じて、色、輝度、解像度などの違いによって、識別可能に表示するようにしてもよい。
【０１８１】
次に、映像中の物体が画面上に出現してから消失するまでに通過した画面上での範囲を示す情報（以下、物体通過範囲情報と呼ぶ）を含む時空間領域情報について説明する。
【０１８２】
まず、物体通過範囲情報について説明する。
【０１８３】
物体を物体領域の代表点軌跡データで表すとき、通常は１つの物体に対し複数の軌跡データを利用して表現することになる。ところが、指定した点を通過した物体を検索したい場合などには、複数の軌跡データから物体領域を計算することなく、物体通過範囲を表現できれば便利である。
【０１８４】
そこで、本時空間領域情報では、物体の軌跡全体を囲むような最小の長方形または多角形の物体通過範囲情報を生成し、これを時空間領域情報に付帯させるようにする。
【０１８５】
長方形を利用する場合、傾きを持つ長方形を利用してもよいし、傾きを持たない長方形を利用してもよい。傾きを持つ長方形を利用する場合には、物体領域の軌跡を誤差が少なく近似できる利点がある。傾きを持たない長方形を利用する場合には、長方形のパラメータ計算が簡単であるという利点がある。
【０１８６】
図２０（ａ）において、２４０２は物体２４０１の軌跡領域を傾きのない長方形で近似したものの例を示す。
【０１８７】
図２０（ｂ）において、２４０３は物体２４０１の軌跡領域を傾きのある長方形で近似したものの例を示す。
【０１８８】
図２０（ｃ）において、２４０４は物体２４０１の軌跡領域を多角形で近似したものの例を示す。
【０１８９】
物体の軌跡全体を囲むような最小の長方形または多角形を計算するときは、各フレームにおける領域を求めた後、全フレームに渡って領域の論理和を計算し、得られた論理和の領域を最小の長方形または多角形で近似する。
【０１９０】
また、物体の軌跡全体を囲むような最小の長方形または多角形を計算する際に、既に計算されているフレームに関する当該物体領域の軌跡全体を囲む最小の長方形または多角形と、新しく追加すべきフレームにおける当該物体領域との論理和の領域を最小の長方形または多角形で近似するようにしてもよい。
【０１９１】
また、物体の軌跡全体を囲むような最小の長方形または多角形を計算する際に、各代表点の軌跡を囲むような最小の長方形または多角形を計算し、全軌跡に渡って得られた長方形または多角形の領域の論理和について、それを囲むような最小の長方形または多角形を計算するようにしてもよい。
【０１９２】
図２１に、物体領域情報に付帯する物体通過範囲情報の記述例を示す。外接図形タイプ３４０１は、外接図形のタイプを示す。例えば、０は図２０の（ａ）に示す傾きのない長方形、１は図２０の（ｂ）に示す傾きのある長方形、２は図２０の（ｃ）に示す多角形を示す。外接図形タイプが０の場合は頂点数Ｎが２、１の場合は頂点数Ｎが３、２の場合は頂点数Ｎが任意の数となる。物体が奥行き情報を持っている場合は、同様に奥行きの軌跡情報を加えて３次元の外接図形を考えることができる。その場合、図２２に示すように、奥行き情報のＺに関する情報が追加される。
【０１９３】
このように物体の軌跡全体を囲むような最小の長方形または多角形の情報を付帯することによって、物体の通過範囲を効率よく表現でき、ある座標を物体の物体が通過するかどうか判定することなどが簡単に行えるようになる。
【０１９４】
さて、この場合においては、ＧＵＩ画面において、物体通過範囲情報をも表示するようにすればよい。なお、物体通過範囲情報は、例えば、近似図形を表示するフレームすべてにおいて表示するようにしてもよいし、選択した１又は複数のフレームにおいてのみ表示するようにしてもよい。
【０１９５】
ユーザが、節点座標やコントロールポイントの移動や追加あるいは削除などの修正を行ったときに、時空間領域情報編集処理部５が時空間領域情報に修正を施した結果、物体通過範囲情報が変化することがあり得る。このような場合には、時空間領域情報編集処理部５は、物体通過範囲情報をも修正するようにすればよい。
【０１９６】
また、ユーザが、表示された物体通過範囲情報の図形を、直接、修正できるようにしてもよい。この場合には、時空間領域情報編集処理部５は、ユーザの修正の通りに、物体通過範囲情報を修正すればよい。
【０１９７】
次に、モザイキングに係る時空間領域情報について説明する。
【０１９８】
まず、この時空間領域情報について説明する。
【０１９９】
モザイキングとは、撮影範囲が一部重なるように撮影された複数の画像を貼り合わせ、１枚の広範囲を撮影した画像を合成する手法である。このようにして合成された画像はパノラマ画像などとも呼ばれる。複数の画像からモザイキングによりパノラマ画像を作成する手法は複数の提案がされている（Ｍ．Ｉｒａｎｉ，Ｐ．Ａｎａｎｄａｎ， “ＶｉｄｅｏＩｎｄｅｘｉｎｇＢａｓｅｄｏｎＭｏｓａｉｃＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ，Ｖｏｌ．８６，Ｎｏ．５，ｐｐ．
９０５−９２１，Ｍａｙ１９９８．など）。
【０２００】
本時空間領域情報は、これまでのように各フレームにおける物体領域の近似図形の代表点の位置データをもとに近似を行うのではなく、パノラマ画像における各物体領域の近似図形の代表点の位置データをもとに近似を行うものである。
【０２０１】
図２３に、この方法を説明するための図を示す。
【０２０２】
なお、パノラマ画像はそれ自体で１つの画像であり、合成前の各々の静止画像の各画素は、パノラマ画像におけるある基準点（例えば、フレーム中で左下の点）を原点として、座標が変換されることになる。したがって、各静止画像における物体領域の近似図形の各代表点は、パノラマ画像の座標系におけるＸ座標やＹ座標についての系列となる。ここでは、各静止画像における物体領域の近似図形の各代表点のＸ座標やＹ座標についての系列を、これまでのようにして、関数近似するものである。その際に、例えば、１つの静止画像内で差分ベクトルをとり、あるいは静止画像間で差分ベクトルをとって、この差分ベクトルの系列を関数近似する。
【０２０３】
まず、入力された複数の静止画像からパノラマ画像を作成する。これらの入力画像群は、図２３（ａ）では２０００〜２００５に相当し、移動する物体をカメラを移動させながら撮影した画像である。２００６は画像内の物体で、２０００〜２００５内には同じ物体が撮影されている。これらの画像群は動画中の連続するフレームや、撮影範囲を重なるようにカメラを移動しながら撮影した静止画であることが多いが、パノラマ画像を作成できるような入力画像であれば何でもよい。
【０２０４】
これらの入力画像群より合成されたパノラマ画像が図２３（ｂ）の２００７である。
【０２０５】
次に、合成されたパノラマ画像内に存在する個々の物体領域を図形により近似する。なお、パノラマ画像作成と物体領域の図形近似は逆の順序で行ってもよい。ただし、パノラマ画像を合成する際の変換によっては、物体領域の近似図形種の変更を必要とする場合がある。例えば、物体領域を矩形で近似する場合、アフィン変換によりパノラマ画像の合成を行うと合成後の物体領域は必ずしも矩形とはならない。その場合はパノラマ画像の作成を先に行うか、パノラマ画像合成の変換後に修正を行う。
【０２０６】
次に、求められた物体領域の近似図形の代表点や特徴点の軌跡を関数により近似する。物体領域の軌跡は基準となる物体領域を定め、そこからの各物体領域の変化量により求める。例えば、図２３（ｂ）において、第１入力画像の物体領域２００８を基準とし、それに続く物体領域の変化を軌跡２００９とする。この例では、物体領域の重心を代表点としているが、矩形や楕円など他の近似図形の代表点を用いる場合やその他の特徴点を代表点として用いる場合であっても同様である。
【０２０７】
基準点からの変化量の求め方は、基準点に対する差分を用いる場合と直前の物体領域からの差分を用いる場合があるが、これらの変化量は同様に関数近似を行うことができる。また、基準点からの変化を代表点や特徴点の移動ではなく、平行・回転移動やアフィン変換などの動きモデルで近似し、その変換係数の軌跡として物体の移動を記述することができる。この場合も変換係数の軌跡を関数近似することによって適用することができる。
【０２０８】
次に、求められた軌跡を近似する関数のパラメータを前述のデータ構造体のフォーマットに従って記述を行う。
【０２０９】
また、入力画像群の個々の画像をパノラマ画像として合成する際の諸パラメータも入力画像全体を物体領域とみなすことにより、同様に記述することができる。
【０２１０】
図２４に、物体領域情報に付帯する諸パラメータの記述例を示す。諸パラメータは作成されたパノラマ画像の座標系を、作成に用いた映像フレームの座標とその映像フレームからパノラマ画像への変換パラメータによって記述するものである。ここで、どこを原点としても良いが、映像フレームの座標が左下に原点があるとする。そして、モザイキングに利用されたフレームの縦横の長さが同一で既知であるとする。統合座標フラグ３６０１は、このようなパノラマ画像の座標系を用いた物体の記述かどうかのフラグであり、フラグが０の時は通常の座標系（つまり、すべての映像フレームで左下原点）で、１の時はフレームがパノラマに統合された座標系を示す。モデルタイプＭ３６０２は、各フレームをパノラマ画像に変換したときの変換モデルのタイプを示すものである。例えば、モデルタイプＭが０の時は変換なし、２の時は平行移動で、４の時は回転・拡大縮小で、６の時はアフィンで、８の時は透視変換で、１２の時は２次射影変換を表す。各モデルにおいて、モデルタイプＭの値と同数のパラメータがある。
【０２１１】

ここで、変換を行うための原点をＸ原点３６０３、Ｙ原点３６０４で与える。この原点は元映像フレームの座標系を持ち手示す。このように変換のための原点を与えるのは、変換時に生じる誤差を少なくするためである。変換パラメータ数Ｎ３６０５は、パノラマに用いるフレーム数Ｎと同じである。フレーム毎に変換パラメータが必要となる。フレーム時間３６０６は、初期フレームからのフレーム間時間で、パラメータセット３６０７は、返還のモデルタイプに応じてＭ個のパラメータを記述する。各フレーム中のオブジェクトの軌跡もこのパラメータセットを用いて返還され記述される。
【０２１２】
このようにすれば、カメラが物体領域を追いかけながら撮影している場合には、連続するフレームを画像変換を施してつながるように貼り合わせるモザイキングによるパノラマ画像を作成し、その作成された画像上での物体の領域情報を記述することにより、カメラが移動していてもモザイキング画像のある点を基点とした座標系で物体の領域情報を一意に記述することができる。
【０２１３】
さて、この場合においては、ＧＵＩ画面において、これまでのように３次元表示して時空間領域情報を表示するようにしてもよいし、その代わりに例えば図２３（ｂ）のようにしてパノラマ表示して、時空間領域情報を表示するようにしてもよい。
【０２１４】
ユーザが、節点座標やコントロールポイント等の修正を行ったときに、時空間領域情報編集処理部５は、該当する時空間領域情報を修正するようにすればよい。
【０２１５】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【０２１６】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、関連を持つ２以上の装置についての発明、システム全体としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０２１７】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０２１８】
【発明の効果】
本発明によれば、時空間領域形状の全体もしくは一部を参照しながら効率的に時空間領域情報を入力・編集することが可能になる。
【図面の簡単な説明】
【図１】映像中の物体の領域を物体領域データで記述するための処理の概要を説明するための図
【図２】基準代表点のＸ座標の値を近似する関数を求める例を説明するための図
【図３】基準代表点以外の代表点を表すための差分ベクトルの一例を説明するための図
【図４】基準代表点以外の代表点を表すための差分ベクトルのＸ成分の値を近似する関数を求める例を説明するための図
【図５】時空間領域情報のデータ構造の一例を示す図
【図６】軌跡データのデータ構造の一例を示す図
【図７】時空間領域情報処理装置の構成例を示す図
【図８】時空間領域情報処理装置の他の構成例を示す図
【図９】表示方法の一例を示す図
【図１０】ユーザーインターフェースの一例を示す図
【図１１】処理手順の一例を示すフローチャート
【図１２】処理手順の一例を示すフローチャート
【図１３】処理手順の一例を示すフローチャート
【図１４】本発明の第２の実施形態に係る時空間領域情報のデータ構造の一例を示す図
【図１５】表示フラグについて説明するための図
【図１６】代表点軌跡データ作成について説明するための図
【図１７】物体領域データのデータ構造のさらに他の例を示す図
【図１８】表示フラグ情報のデータ構造の一例を示す図
【図１９】物体領域データ中の代表点軌跡データのデータ構造のさらに他の例を示す図
【図２０】物体通過範囲情報について説明するための図
【図２１】物体通過範囲情報のデータ構造の一例を示す図
【図２２】物体通過範囲情報のデータ構造の他の例を示す図
【図２３】モザイキングを用いた物体領域情報記述方法の処理手順の一例を示すフローチャート
【図２４】モザイキングを用いた物体領域情報記述方法について説明するための図
【符号の説明】
１…映像情報記憶部
２…時空間領域情報記憶部
３…表示部
４…入力部
５…時空間領域情報編集処理部
６…時空間領域情報生成処理部
３１…３次元空間投影部
３２…ステータス部
３３…画像特殊表示ボタン
３４…画像表示密度ボタン
３５…画像表示位置ボタン
３６…ズームボタン
３７…注視点移動ボタン
３８…視点移動ボタン

Claims

映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報に修正を施す処理を行うための時空間領域情報処理方法であって、
対象にした前記領域の前記時空間領域情報に基づいて、前記代表点の前記軌跡を求め、
表示装置の画面上に、求められた前記代表点の前記軌跡を、前記フレームに係る２次元座標軸及び時間軸からなる３次元空間中に配置する形態で、３次元表示し、
前記画面上に前記形態で３次元表示された前記軌跡の形状の修正操作の入力を受け付け、
入力された前記修正操作に基づいて、前記時空間領域情報を修正することを特徴とする時空間領域情報処理方法。
前記修正操作に基づいて前記時空間領域情報を修正した場合に、修正後の時空間領域情報に基づいて、あらためて、前記代表点の前記軌跡の前記画面上への前記形態での３次元表示を行い、さらなる前記所定の修正操作の入力を行うことを特徴とする請求項１に記載の時空間領域情報処理方法。
前記代表点の前記軌跡を画面上に表示するに際して、該軌跡上の所定箇所に、修正操作用のポイントを表示し、
前記修正操作用のポイントに対してなされる修正操作の入力を受け付け、
入力された前記修正操作に基づいて、前記時空間領域情報を修正することを特徴とする請求項１に記載の時空間領域情報処理方法。
前記修正操作は、表示された任意の前記修正操作用のポイントに対する任意の方向の移動、または新たな前記修正操作用のポイントの追加もしくは既存の前記修正操作用のポイントの削除であることを特徴とする請求項３に記載の時空間領域情報処理方法。
前記軌跡が関数補間されたものである場合に、前記修正操作用のポイントとして、当該補間関数を一意に決定する個数のポイントを表示し、
前記移動または追加もしくは削除された後のポイントの位置により一意に決定される前記補間関数に基づいて、前記時空間領域情報を修正することを特徴とする請求項４に記載の時空間領域情報処理方法。
前記修正操作用のポイントとして前記補間関数を一意に決定する個数のポイントを表示するにあたっては、前記補間関数の開始時刻から終了時刻を等分してポイントを配置し、または、前記補間関数の形状の変化の激しい部分ほど密にポイントを配置することを特徴とする請求項５に記載の時空間領域情報処理方法。
前記軌跡が関数補間されたものであって且つその近似区間が複数の区間からなる場合に、前記修正操作として前記近似区間の節点に相当するポイントについての移動または追加もしくは削除がなされたときには、該移動または追加もしくは削除がなされた後の近似区間に基づいて、前記時空間領域情報を修正することを特徴とする請求項４に記載の時空間領域情報処理方法。
前記軌跡が関数補間されるものであって且つその近似区間が複数の区間からなる場合に、前記修正操作として前記近似区間の節点に相当するポイントについての追加がなされたときには、前記時空間領域情報から追加するポイントの節点時刻における前記近似図形の形状を推定することを特徴とする請求項４に記載の時空間領域情報処理方法。
前記軌跡が関数補間されたものであって且つその近似区間が複数の区間からなる場合に、前記修正操作用のポイントとして、近似区間毎に当該補間関数を一意に決定する個数のポイントを表示するとともに、該ポイントのうち近似区間の節点に相当するポイントと、それ以外のポイントとを、区別可能な表示形態で表示することを特徴とする請求項４に記載の時空間領域情報処理方法。
前記代表点の前記軌跡を画面上に表示するに際して、前記映像データの所定のフレームを併せて表示することを特徴とする請求項１に記載の時空間領域情報処理方法。
前記映像データの所定のフレームを表示するにあたっては、表示すべき当該フレームを半透明にして表示することを特徴とする請求項１０に記載の時空間領域情報処理方法。
前記映像データの所定のフレームを表示するにあたっては、表示すべき当該フレームにおける前記近似図形の外形をも認識可能な表示形態で表示することを特徴とする請求項１０に記載の時空間領域情報処理方法。
前記映像データの所定のフレームを表示するにあたっては、表示すべき当該フレームにおける前記近似図形の内部と外部とで異なる表示形態により表示することを特徴とする請求項１０に記載の時空間領域情報処理方法。
前記代表点の軌跡を特定可能な情報は、当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであることを特徴とする請求項１ないし１３のいずれか１項に記載の時空間領域情報処理方法。
前記代表点の軌跡を特定可能な情報は、当該代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであることを特徴とする請求項１ないし１３のいずれか１項に記載の時空間領域情報処理方法。
前記代表点のうちの少なくとも一つについて、当該代表点についての前記位置データが用いられる代わりに、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータが用いられていることを特徴とする請求項１４または１５に記載の時空間領域情報処理方法。
前記時空間領域情報は、前記近似図形または前記代表点ごとに、当該近似図形または当該代表点について表示の有無に関する制御のためのフラグ情報を含むものであり、
画面上に表示された前記軌跡の形状に対して入力された前記所定の修正操作に基づいて前記時空間領域情報を修正するに際して、前記フラグ情報が示す内容に修正の影響が及ぶ場合には、該フラグ情報をも修正することを特徴とする請求項１ないし１６の１項に記載の時空間領域情報処理方法。
前記フラグ情報は、前記近似図形または前記代表点が見えている状態にあるフレーム区間および見えていない状態にあるフレーム区間を特定可能とする情報、または前記近似図形または前記代表点についての各フレーム区間における表示に関する優先度を示す情報であることを特徴とする請求項１７に記載の時空間領域情報処理方法。
前記時空間領域情報は、前記近似図形が前記複数フレームにおいて存在した範囲を包含する領域を示す存在範囲近似図形に関する情報をも含むものであり、
画面上に表示された前記軌跡の形状に対して入力された前記所定の修正操作に基づいて前記時空間領域情報を修正するに際して、前記存在範囲近似図形が示す内容に修正の影響が及ぶ場合には、該存在範囲近似図形に関する情報をも修正することを特徴とする請求項１ないし１６の１項に記載の時空間領域情報処理方法。
前記代表点の前記軌跡を画面上に表示するに際して、前記存在範囲近似図形を併せて表示することを特徴とする請求項１９に記載の時空間領域情報処理方法。
画面上に表示された前記存在範囲近似図形に対する所定の修正操作の入力を受け付け可能とし、
入力された前記修正操作に基づいて、前記存在範囲近似図形を修正することを特徴とする請求項２０に記載の時空間領域情報処理方法。
前記時空間領域情報は、映像データ中の任意の連続する複数フレームについて隣接フレームをその重複部分を重ねるように次々と連結して生成されるパノラマ画像中を推移する任意の物体の領域に関する情報を表すために、映像データ中の対象物体の領域を、該対象物体の領域に対する近似図形で特定し、該パノラマ画像中を推移する該近似図形の複数の代表点を抽出し、該近似図形の代表点の該パノラマ画像中における位置データまたはこれを特定可能なデータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて該対象物体の領域に関する情報を記述したものであることを特徴とする請求項１ないし１６の１項に記載の時空間領域情報処理方法。
前記映像データをパノラマ表示するとともに、該パノラマ表示上に前記時空間領域情報に基づいて得られる前記軌跡を表示することを特徴とする請求項２２に記載の時空間領域情報処理方法。
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報に修正を施す処理を行うための時空間領域情報処理システムであって、
対象にした前記領域の前記時空間領域情報に基づいて、前記代表点の前記軌跡を求めるための手段と、
表示装置の画面上に、求められた前記代表点の前記軌跡を、前記フレームに係る２次元座標軸及び時間軸からなる３次元空間中に配置する形態で、３次元表示するための手段と、
前記画面上に前記形態で３次元表示された前記軌跡の形状の修正操作の入力を受け付けるための手段と、
入力された前記修正操作に基づいて、前記時空間領域情報を修正するための手段とを備えたことを特徴とする時空間領域情報入力システム。
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報に修正を施す処理を行うための時空間領域情報処理システムとしてコンピュータを機能させるためのプログラムであって、
対象にした前記領域の前記時空間領域情報に基づいて、前記代表点の前記軌跡を求めるための機能と、
表示装置の画面上に、求められた前記代表点の前記軌跡を、前記フレームに係る２次元座標軸及び時間軸からなる３次元空間中に配置する形態で、３次元表示するための機能と、
前記画面上に前記形態で３次元表示された前記軌跡の形状の修正操作の入力を受け付けるための機能と、
入力された前記修正操作に基づいて、前記時空間領域情報を修正するための機能とをコンピュータに実現させるためのプログラム。