JP2002056392A - 物体領域情報記述方法、物体領域情報生成装置、及び物体領域情報記述プログラム - Google Patents

Abstract

(57)【要約】 【課題】 映像中の所望の物体の領域を少ないデータ量
で記述でき且つその作成やデータの扱いも容易にする物
体領域情報記述方法を提供すること。 【解決手段】 映像中における任意の物体の領域に関す
る情報を連続する複数フレームに渡って記述するための
物体領域情報記述方法であって、映像中における対象と
なる物体の領域２０１を、該物体の領域に対する近似図
形２０２の１つの代表点２０３および他の代表点の各々
を特定するための差分値をフレーム２００の進行に沿っ
て並べたときの軌跡を所定の関数２０４で近似し、該関
数のパラメータを用いて該物体の領域に関する情報を記
述することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像中の物体の領
域に関する情報を記述するための物体領域情報記述方
法、映像中の物体の領域に関する情報を生成するための
物体領域情報生成装置、及び物体情報記述プログラムに
関する。

【０００２】

【従来の技術】ハイパーメディアは、映像、音声、テキ
ストなどのメディアの間にハイパーリンクと呼ばれる関
連情報を付与し、相互に参照できるようにしたものであ
る。映像を中心にした場合、例えば映像中の登場物体に
関連情報が付与されており、この物体が指示されると関
連情報の表示を行うというものがハイパーメディアの代
表例である。このとき、映像中の物体は映像のフレーム
番号もしくはタイムスタンプと映像中の領域を特定する
情報とで表現され、映像データの中にもしくは別データ
として記録されている。

【０００３】映像中の領域を特定する方法としては、マ
スク画像がよく利用されてきた。これは指定領域内の場
合と指定領域外の場合で異なる画素値を与えて構成する
画像である。例えば、領域内の場合は１、領域外の場合
は０という画素値を与えるのが最も簡単な方法である。
また、ＣＧなどに使われるα値を利用することもある。
通常、α値は２５６階調の値を表現できるので、そのう
ちの一部を使い、例えば指定領域内の場合は２５５、指
定領域外の場合は０と表現する。このようなマスク画像
により画像中の領域が表現されている場合、あるフレー
ムにおける画素が、指定領域内であるかどうかを判定す
るには、そのフレームに該当するマスク画像の該当画素
の値を読み取り、０であるか１であるかにより簡単に判
定することができる。マスク画像はどのような形の領域
でも、また不連続な領域でも表現できるという自由度を
持っているが、画像サイズと同じサイズの画素を持つ必
要がある。

【０００４】マスク画像のデータ量を削減するために、
マスク画像の圧縮がよく利用される。０、１の２値のマ
スク画像の場合には、２値画像としての処理ができるた
め、ファクシミリ等で用いられている圧縮方法が利用さ
れることが多い。また、ＩＳＯ／ＩＥＣ動画圧縮標準化
グループＭＰＥＧ（Ｍｏｖｉｎｇ ＰｉｃｔｕｒｅＥｘ
ｐｅｒｔｓ Ｇｒｏｕｐ）が標準化しているＭＰＥＧ−
４では、０，１の２値のマスク画像の他、α値を利用し
たマスク画像までを圧縮対象とした任意形状符号化を採
用することになっている。これは、動き補償を用いた圧
縮手法であり、圧縮効率が向上するが、その分、圧縮・
復号過程は複雑になる。

【０００５】

【発明が解決しようとする課題】以上のように映像中の
ある領域を表現するにはマスク画像かあるいはマスク画
像を圧縮したものを利用することが多かったが、領域を
特定するためのデータとしては、より簡単にかつ高速に
取り出すことが可能でデータ量も小さく、そして容易に
扱うことができる形態のものが望まれている。すなわ
ち、映像中の所望の物体の領域を表現する方法として、
マスク画像ではデータ量が多くなるという問題があり、
また、マスク画像を圧縮して用いると符号化・復号化が
複雑になり、しかも直接データを編集することができな
いためハンドリングが難しいという問題があった。

【０００６】また、物体領域の位置情報のみを表現し
て、奥行きの情報が欠如していた。物体が物陰に一時隠
れてしまう状態を表現することができなかった。カメラ
が物体を追いながら撮影されている場合には、その物体
の真の動きを表現していない問題があった。よって、検
索において、奥行きの情報や、物体が他の物の陰に隠れ
てしまうオクル−ジョンや、カメラの動きを考慮した検
索などの処理が困難であった。このため、検索におい
て、全く関係ない物体に対してもすべて処理する必要が
あった。

【０００７】本発明は、上記事情を考慮してなされたも
ので、映像中の所望の物体の領域を少ないデータ量で記
述でき且つその作成やそのデータの扱いも容易にする物
体領域情報記述方法、物体領域情報生成装置、及び物体
領域情報記述プログラムを提供することを目的とする。

【０００８】また、本発明は、映像中の物体に対する効
率的、効果的な検索を可能にする物体領域情報記述方
法、物体領域情報生成装置、及び物体領域情報記述プロ
グラムを提供することを目的とする。

【０００９】

【課題を解決するための手段】上記した課題を解決し目
的を達成するために、本発明は以下に示す手段を用いて
いる。

【００１０】（１）本発明の物体領域情報記述方法は、
映像中における任意の物体の領域に関する情報を複数フ
レームに渡って記述するための物体領域情報記述方法で
あって、フレーム毎に前記任意の物体の領域を図形で近
似し、フレーム毎に該図形を表す複数の代表点を抽出
し、前記複数の点のうちの少なくとも一点を基準代表点
とし、該基準代表点の位置データと、前記代表点に対す
る残りの代表点の相対位置データとを、フレームの進行
に沿って並べることにより得られる軌跡を関数で近似
し、該関数を用いて該物体の領域に関する情報を記述す
るものである。

【００１１】（２）本発明の他の物体領域情報記述方法
は、映像中における任意の物体の領域に関する情報を複
数フレームに渡って記述するための物体領域情報記述方
法であって、フレーム毎に前記任意の物体の領域を図形
で近似し、フレーム毎に該図形を表す複数の代表点を抽
出し、基準フレームにおける近似図形の前記複数の代表
点の位置データと、他のフレームにおける前記基準フレ
ームの複数の代表点に対応する代表点の相対位置データ
とを、フレームの進行に沿って並べることにより得られ
る軌跡を関数で近似し、該関数を用いて該物体の領域に
関する情報を記述するものである。

【００１２】（３）本発明の別の物体領域情報記述方法
は、映像中における任意の物体の領域に関する情報を複
数フレームに渡って記述するための物体領域情報記述方
法であって、フレーム毎に前記任意の物体の領域を図形
で近似し、フレーム毎に該図形を表す複数の代表点を抽
出し、前記複数の代表点の位置を特定可能なデータをフ
レームの進行に沿って並べることにより得られる軌跡を
関数で近似し、該関数、および前記図形の奥行きを示す
データを用いて該物体の領域に関する情報を記述するも
のである。

【００１３】（４）本発明のさらに他の物体領域情報記
述方法は、映像中における任意の物体の領域に関する情
報を複数フレームに渡って記述するための物体領域情報
記述方法であって、フレーム毎に前記任意の物体の領域
を図形で近似し、フレーム毎に該図形を表す複数の代表
点を抽出し、前記複数の代表点の位置を特定可能なデー
タをフレームの進行に沿って並べることにより得られる
軌跡を関数で近似し、該関数、および前記図形または各
々の前記代表点が見えている状態にあるフレーム区間、
あるいは見えていない状態にあるフレーム区間を特定す
るフラグ情報を用いて該物体の領域に関する情報を記述
するものである。

【００１４】（５）本発明のさらに別の物体領域情報記
述方法は、映像中における任意の物体の領域に関する情
報を複数フレームに渡って記述するための物体領域情報
記述方法であって、フレーム毎に前記任意の物体の領域
を図形で近似し、フレーム毎に該図形を表す複数の代表
点を抽出し、前記複数の代表点の位置を特定可能なデー
タをフレームの進行に沿って並べることにより得られる
軌跡を関数で近似し、該関数、および前記図形が前記複
数フレームにおいて存在した範囲を示す存在範囲情報を
用いて該物体の領域に関する情報を記述するものであ
る。

【００１５】（６）本発明のさらに他の物体領域情報記
述方法は、複数フレームをその重複部分を重ねるように
して生成されるパノラマ画像中を推移する任意の物体の
領域に関する情報を記述するための物体領域情報記述方
法であって、前記パノラマ画像中の前記任意の物体の領
域を図形で近似し、前記パノラマ画像中を推移する前記
図形を表す複数の代表点を抽出し、前記複数の代表点の
該パノラマ画像中における位置を特定可能なデータをフ
レームの進行に沿って並べることにより得られる軌跡を
関数で近似し、該関数を用いて該物体の領域に関する情
報を記述するものである。

【００１６】なお、方法に係る本発明は装置に係る発明
としても成立する。

【００１７】また、方法に係る本発明は、コンピュータ
に当該発明に相当する手順を実行させるための（あるい
はコンピュータを当該発明に相当する手段として機能さ
せるための、あるいはコンピュータに当該発明に相当す
る機能を実現させるための）プログラムを記録したコン
ピュータ読取り可能な記録媒体としても成立する。

【００１８】本発明によれば、複数フレームに渡る映像
中の物体の領域を、該物体の領域に対する近似図形の代
表点の位置データまたはそれを特定可能なデータ（例え
ば、代表点間差分ベクトル値）をフレームの進行に沿っ
て並べたときの軌跡を近似した関数のパラメータとして
記述することにより、複数フレームに渡る映像中の物体
の領域を少量の関数パラメータのみによって記述するこ
とができるため、物体の領域を特定するためのデータの
量を効果的に削減することができ、またハンドリングを
容易にすることができる。特に物体が剛体の場合は、相
対位置は絶対位置よりも変動が少なく、その軌跡を関数
近似したときに、コンパクトな情報量で記述することが
できる。また、近似図形からの代表点の抽出や、近似曲
線（直線の場合も含む）のパラメータの生成も容易に行
うことができる。また、近似曲線のパラメータから近似
図形を生成することも容易に行うことができる。また、
映像中の物体の通過位置、ある地点での滞留時間、ある
いは軌跡などに基づいて、映像中の物体の検索を容易に
行うことができる。また、操作性の良いハイパーメディ
ア・アプリケーションを実現できる。

【００１９】また、本発明によれば、平面情報である２
次元的位置情報以外に、奥行きに関する情報を付与する
ことにより、奥行き方向を考慮した検索、例えばカメラ
からの距離情報で物体を検索が可能となる。また、物体
が他の物の陰に隠れてしまうオクル−ジョンの状態は、
物体領域の軌跡情報の他にオクル−ジョンかどうか（つ
まり見えているかどうか）を示すフラグを付帯させるこ
とにより表現することにより、オクル−ジョンを考慮し
た効率的な検索が可能になる。また、検索の効率を上げ
るために、物体領域を関数で表現するだけでなく、物体
が時空間的に存在する位置を囲む図形を付帯させること
により、全く別の場所に存在する物体を検索の候補から
除外することが可能となる。また、例えばカメラが物体
領域を追いかけながら撮影している場合には、連続する
フレームを画像変換を施してつながるように貼り合わせ
るモザイキングによるパノラマ画像を作成し、その作成
された画像上での物体の領域情報を記述することによ
り、カメラが移動していてもモザイキング画像のある点
を基点とした座標系で物体の領域情報を一意に記述する
ことができる。

【００２０】

【発明の実施の形態】以下図面を参照して本発明による
物体領域情報記述方法、物体領域情報生成装置、及び物
体領域情報記述プログラムの実施例を説明する。

【００２１】第１実施例 図１に、本発明の一実施例に係る物体領域情報生成装置
（あるいは物体領域データ変換装置とも呼称する）の構
成例を示す。

【００２２】物体領域情報生成装置は、映像データ記憶
部１００、物体領域抽出部１０１、物体領域の図形近似
部１０２、近似図形の代表点抽出部１０３、代表点軌跡
の関数近似部１０４、物体領域データ記憶部１０６を備
えている。また、物体領域に関連する関連情報記憶部１
０５を更に備えてもよい。

【００２３】図２は、物体領域情報生成装置の処理の流
れの一例を表したフローチャートである。

【００２４】映像データ記憶部１００は、映像データが
記憶されているもので、例えばハードディスクや光ディ
スク、半導体メモリなどで構成される。

【００２５】物体領域抽出部１０１は、映像データにお
ける一部の領域を抽出する（ステップＳ１）。この一部
の領域とは、典型的には、映像中の特定の人や動植物や
車や建物などの「物体の領域」であるが、映像中におい
て物体（オブジェクト）として扱うことのできるもので
あれば、映像中のどのようなものでもあってもよい。ま
た、独立したものであってもよいし、物の一部（例えば
人の頭、車のボンネット、建物の玄関）であってもよい
し、物の集合（例えば鳥や魚の群）であってもよい。映
像では、連続するフレームには同じ物体が写っているこ
とが多いが、物体自身の動きおよびまたは撮影時のカメ
ラの動きが主な原因になって同一物体に対応する領域が
フレーム間で変化することが多い。

【００２６】物体領域抽出部１０１は、このような注目
している物体の動きや変形に対応して各フレームにおけ
る物体（オブジェクト）の領域を抽出するためのもので
ある。具体的な抽出手法としては、全フレームに渡って
人手で領域指定する方法や、Ｍ．Ｋａｓｓ 他，「Ｓｎ
ａｋｅｓ：Ａｃｔｉｖｅ ｃｏｕｎｔｏｕｒ ｍｏｄｅ
ｌｓ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ
ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．
１，Ｎｏ．４，ｐｐ．３２１−３３１．Ｊｕｌｙ，１９
８８）に記されているようなＳｎａｋｅｓと呼ばれる動
的輪郭モデルにより物体の輪郭抽出を連続して行う方
法、金子他「ロバスト推定を用いたハイパーメディアコ
ンテンツ作成のための高速移動物体追跡法」（情報処理
学会技術報告ＣＶＩＭ１１３−１，１９９８）に記され
ているようなブロックマッチングにより求めた物体中の
部分領域の移動先から物体全体の変形・移動を推定して
いく方法、画像解析ハンドブック（第ＩＩ部第２章，東
京大学出版会，１９９１）に記されているような領域成
長・分割により似た色を持つ領域を特定する方法などを
用いることができる。

【００２７】図形近似部１０２は、物体領域抽出部１０
１で抽出された映像中の物体の領域を所定の図形により
近似する（ステップＳ２）。

【００２８】図形の種類としては、矩形、円、楕円、多
角形など種々のものが使用可能である。近似に用いる図
形の種類は、予め固定的に定めておくようにしていもよ
いし、例えば近似する対象物体毎などの所定の単位で図
形の種類をユーザが指定できるようにしてもよいし、近
似する対象物体毎にその物体の形状等に応じて図形の種
類を自動的に選択するようにしてもよい。

【００２９】また、領域の近似方法も、物体領域の外接
矩形で近似する方法、この方法で求めた矩形の外接楕円
または内接楕円で近似する方法、物体領域の外接楕円で
近似する方法、物体領域に対する初期近似多角形を生成
した後に物体領域の面積と該近似多角形との誤差が基準
以内に収まるように該近似多角形の頂点数を削減してい
く方法、予め定められた頂点数の多角形で近似する方法
など種々の方法がある。また、傾きを持つ図形でより良
く近似する方法もある。また、さらに他の幾何学的な量
をも加味する方法もあり、例えば、物体領域の重心と近
似図形の重心とを一致させるようにする方法、近似図形
の面積を物体領域の面積に一定数を乗じた値にする方法
など種々の方法がある。

【００３０】図形近似部１０２は、物体領域抽出部１０
１での抽出結果が入力されるたびに、フレーム毎に行
う。もしくは、前後数フレームの領域抽出結果を使って
図形近似を行っても良い。数フレームの領域抽出結果を
利用する場合には、近似図形の大きさや位置などの変化
を数フレームの間で平滑化することにより、近似図形の
動きや変形をなめらかにしたり、領域抽出の抽出誤差を
目立たなくすることができる。なお、近似図形の大きさ
は、フレーム毎に異なって構わない。

【００３１】代表点抽出部１０３は、領域図形近似部１
０２の出力である近似図形を表現する代表点を抽出する
（ステップＳ３）。どのような点を代表点とするかは、
どのような近似図形を用いるかにより異なる。例えば、
近似図形が矩形の場合には４つもしくは３つの頂点を代
表点とすることができ、近似図形が円の場合には中心と
円周上の一点としたり直径の両端点としたりすることが
できる。また、楕円の場合には楕円の外接矩形の頂点を
代表点としたり（この場合も４頂点のうち３つで十分で
ある）、２つの焦点と楕円上の１点（例えば短軸上の１
点）を代表点としたりすればよい。任意の閉多角形を近
似図形とする場合には、各頂点を図形の代表点とすれば
よい。

【００３２】代表点の抽出は、図形近似部１０２から１
フレーム分の近似図形の情報が出力されるたびに、フレ
ーム単位で行われる。また、各代表点は、水平方向の座
標軸Ｘと、垂直方向の座標軸Ｙと、により表される。

【００３３】代表点軌跡関数近似部１０４は、図形代表
点抽出部１０３で抽出された代表点の位置（またはこれ
を特定可能とする量）の時系列軌跡を時間ｔ（例えば映
像に付与されているタイムスタンプ）もしくはフレーム
番号ｆの関数（近似関数）により近似表現する（ステッ
プＳ４）。この関数は、各代表点毎別々に、かつ、Ｘ座
標とＹ座標で別々に表現される。

【００３４】代表点（またはこれを特定可能とする量）
がｎ個である場合、それぞれについてＸ、Ｙ座標の近似
関数が必要になるので、合計２ｎの近似関数が生成され
る。

【００３５】代表点軌跡を表す関数としては、直線、ス
プライン曲線などを用いることができる。

【００３６】以上の一連の処理は、対象となる物体につ
いての出現フレームから消失フレームの間にわたって行
われる。

【００３７】求められた近似曲線（直線の場合も含む）
は、所定のフォーマットに従って物体領域データとして
領域データ記憶部１０６に記録される。

【００３８】必要に応じて設けられる関連情報記憶部１
０５には、映像データ記憶部１００に記憶されている映
像データに登場する物体に関する情報（関連情報）や、
そのような情報を外部記憶装置あるいはネットワークを
介したサーバなどから取得するためのポインタ情報（例
えば、関連情報の記録されているアドレス、ファイル
名、ＵＲＬなど）を記憶するためのものである。関連情
報は、文字、音声、静止画、動画、あるいはそれらを適
宜組み合わせたものであってもよい。また、関連情報
は、プログラムもしくは計算機の動作を記述したデータ
であってもよい（この場合には、当該物体がユーザによ
り指定されると、計算機が所望の動作を行うことにな
る）。関連情報記憶部１０５は映像データ記憶部１００
と同様に例えばハードディスクや光ディスク、半導体メ
モリなどで構成される。

【００３９】領域データ記憶部１０６は、代表点軌跡関
数近似部１０４の出力である代表点の位置（またはこれ
を特定可能とする量）の時系列的な軌跡を近似した曲線
式を表現するデータを含む物体領域データが記憶される
記憶媒体である。関連情報記憶部１０５を備える構成で
は、関数で表現された領域に対応する物体に関する関連
情報が関連情報記憶部１０５に記憶されている場合に
は、物体領域データには関連情報そのものや関連情報の
記録されているアドレスを併せて記録することができ
る。関連情報記憶部１０５に関連情報が記録されている
アドレスの情報が記憶されている場合には、当該アドレ
ス情報を併せて記録することができる。領域データ記憶
部１０６も映像データ記憶部１００等と同様に例えばハ
ードディスクや光ディスク、半導体メモリなどで構成さ
れる。

【００４０】なお、映像データ記憶部１００、関連情報
記憶部１０５、領域データ記憶部１０６は、別々の記憶
装置によって構成されていてもよいし、それらの全部ま
たは一部が同一の記憶装置によって構成されていてもよ
い。

【００４１】このような物体領域情報生成装置は、計算
機上でソフトウェアを実行する形で実現することもでき
る。

【００４２】なお、この物体領域情報生成装置での処
理、特に、物体領域抽出部１０１や図形近似部１０２の
処理においてユーザの操作を介入させる形態を取る場合
には、映像データを例えばフレーム単位で表示させ、ユ
ーザの指示入力等を受け付けるＧＵＩが用いられる。た
だし、図１では省略している。

【００４３】次に、より具体的な例を用いながらこの物
体領域情報生成装置の動作について説明する。

【００４４】ここでは、物体領域を多角形により近似
し、近似多角形の頂点を代表点とし、近似関数として２
次の多項式スプライン関数を用いる場合を例にとって説
明する。なお、以下の説明で、近似図形に多角形を用い
る例において、多角形の頂点という場合における「頂
点」は一般的には代表点のことを意味することになる。

【００４５】図３の（ａ）〜（ｃ）は、物体領域抽出部
１０１による物体の領域を抽出する処理から、領域図形
近似部１０２による領域を図形で近似する処理、図形代
表点抽出部１０３による図形の代表点を抽出する処理、
代表点軌跡関数近似部１０４による代表点軌跡を関数で
近似する処理までの一連の処理の概要をより具体的に説
明するための図である。

【００４６】図３の（ａ）において、２００は処理対象
となっている映像中の１フレームを示している。

【００４７】２０１は抽出対象となっている物体の領域
を示している。この物体の領域２０１を抽出する処理は
物体領域抽出部１０１において行われる。

【００４８】２０２は物体の領域を多角形で近似したも
の（近似多角形）である。物体の領域２０１からその近
似多角形２０２を求める処理は、領域図形近似部１０２
において行われる。

【００４９】図３の（ｂ）は、複数のフレームにわたる
近似図形の代表点、すなわちこの例における近似多角形
２０２の頂点の推移（軌跡）およびその推移の近似曲線
を表現したものである。

【００５０】本実施例では、近似図形の複数の代表点の
うちから選択された特定の代表点（全フレームにわたっ
て同一のものとする）を、基準代表点と呼び、これをＶ
₀ と表記する。この例の場合、近似多角形２０２の複数
の頂点のうちの任意の１つの頂点を基準代表点Ｖ₀ とす
る。

【００５１】選択の方法は、最大または最小のＸ座標値
またはＹ座標値を持つ点を選択する方法、フレーム中で
最も右上または右下または左下または左上にある点を選
択する方法など、種々の方法がある。

【００５２】２番目以降のフレームでは、１つ前のフレ
ームに対応する基準代表点Ｖ₀ に対応するものが、当該
フレームにおける複数の代表点のうちのいずれであるか
を判定することによって、基準代表点Ｖ₀ の選択が行わ
れる。

【００５３】どの代表点が１つ前のフレームにおける基
準代表点Ｖ₀ の移動先であるかを判定する方法は、例え
ば、１つ前のフレームにおける基準代表点Ｖ₀ に最も近
い当該フレームにおける点を代表点とする方法、１つ前
のフレームにおける近似図形の重心と当該フレームにお
ける近似図形の重心とを一致させた場合に１つ前のフレ
ームにおける基準代表点Ｖ₀ に最も近い当該フレームに
おける点を代表点とする方法、１つ前のフレームにおけ
る近似図形の複数の代表点と当該フレームにおける近似
図形の複数の代表点を照らし合わせることによって、当
該フレームにおける基準代表点Ｖ₀ を求める方法、１つ
前のフレームにおける対象の物体の領域の映像データ
と、当該フレームにおける映像データを照らし合わせる
ことによって、当該フレームにおける基準代表点Ｖ₀ を
求める方法など、種々の方法がある。

【００５４】なお、隣接フレームにおける基準代表点Ｖ
₀ 以外の代表点の対応は、上記と同様の方法による方法
と、基準代表点Ｖ₀ を起点として予め定めた順番で他の
代表点を対応させてしまう方法、などがある。

【００５５】これらの処理は図形代表点抽出部１０３に
おいて行われる。

【００５６】代表点軌跡関数近似部１０４では、逐次入
力されてくる各フレームにおける基準代表点Ｖ₀ の座標
値から、軌跡２０３を近似する曲線（関数）を求める。
各フレームにおける基準代表点Ｖ₀ の移動先を結んだ軌
跡が図３の（ｂ）の２０３である。

【００５７】基準代表点Ｖ₀ の座標値はＸ座標とＹ座標
とを含む。それぞれの座標値は別々に時間ｔまたはフレ
ーム番号ｆの関数として近似される。

【００５８】図３の（ｃ）の２０４は、基準代表点Ｖ₀
について求められた関数の例である（ここでは基準代表
点Ｖ₀ の１つの座標軸についてのみ示している）。この
例は、近似区間がｔ＝０〜５とｔ＝５〜１６の２つに分
割された場合を示している。

【００５９】図４は、基準代表点Ｖ₀ のＸ座標の値を近
似する関数を求めている例である。図中の３０１は物体
の存在している時間区間を表しており、黒い点３０２が
基準代表点Ｖ₀ のＸ座標の値である。３０３がその近似
関数である。Ｙ座標に対しても、同様にして近似関数が
求められる。近似関数として多項式スプライン関数を用
いているので、２０４では節点と呼ばれる点により分割
された時間区間毎に多項式が定義されている。ここで
は、ｔ＝０，５，１６がそれぞれ節点時刻となる。

【００６０】ところで、近似図形の基準代表点Ｖ₀ 以外
の代表点についても上記と同様にして近似関数を求め、
記録することが可能である。

【００６１】また、基準代表点Ｖ₀ 以外の代表点につい
ては、当該代表点を当該代表点とは別の代表点（基準代
表点でもよい）からの相対的関係、例えば差分ベクトル
によって表し、そのベクトルの軌跡により記述する方法
もある。

【００６２】以下では、基準代表点Ｖ₀ 以外の代表点に
ついては隣接する代表点からの差分ベクトルの軌跡によ
り記述する場合を例にとって説明する。

【００６３】図５は、近似多角形において、基準代表点
Ｖ₀ である１つの頂点と、その他の頂点を表すための差
分ベクトルの各々を説明している図である。

【００６４】まず、基準代表点Ｖ₀ 以外の各頂点を、基
準代表点Ｖ₀ から予め定めた順番、例えば時計回りに、
Ｖ₁ ，Ｖ₂ ，…，Ｖ_M-1 と書くことにする。ここで、Ｍ
は頂点数であるが、図５では５角形であるので、Ｍ＝５
となる。また、頂点Ｖ₀ からＶ₁ へのベクトルをＶ_0,1
と記述し、同様にベクトルＶ_1,2 ，Ｖ_2,3 ，…，Ｖ_M-
2,M-1 を定める。それぞれのベクトルは各ベクトルの始
点から見たＸ成分及びＹ成分の値を持っている（相対位
置データ）。

【００６５】図６の黒い点列５０２は、時間５０１中の
各時刻におけるベクトルＶ_0,1 のＸ成分の値を表してい
る。

【００６６】なお、これらベクトルを求める処理は図形
代表点抽出部１０３において行われる。

【００６７】代表点軌跡関数近似部１０４では、各々の
ベクトルのＸ成分の値とＹ成分の値の各々を表現する近
似関数５０３を算出する。

【００６８】物体の形状がほとんど変わらず、物体の移
動が平行移動に近い場合には、ベクトルＶ_0,1 ，
Ｖ_1,2 ，…，Ｖ_M-2,M-1 の値はあまり変化しないため、
近似関数と実際の値との誤差が小さくなり、物体領域の
記述効率が向上することが期待できる。もしも物体の形
状が変化せず、完全な平行移動である場合には、ベクト
ルＶ _0,1 ，Ｖ_1,2 ，…，Ｖ_M-2,M-1 の値はまったく変
化しないため、近似関数はすべて直線となり、しかも近
似誤差はゼロになる。

【００６９】図７は、代表点軌跡関数近似部１０４に逐
次入力される代表点（この例では物体領域の近似多角形
の頂点）の座標値または上記の差分ベクトルの成分値か
ら、それら代表点の座標値またはその差分ベクトルの成
分値の近似関数を求める処理の一例をフローチャートに
したものである。

【００７０】ここでは、Ｉ番目のフレームに対応する時
刻をｔ_i （ｉ＝０，１，…）とする。また、ν⁽⁰⁾ _t を
時刻ｔにおけるＶ₀ のＸ座標値、ν^(j) _t （ｊ＝１，
２，…，Ｍ−１）を時刻ｔにおけるＶ_j-1,j のＸ成分値
としている。また、すでに決定しているスプライン関数
の節点に対応する時刻ｔのうち、最大のものをｔ_ｋとす
る。

【００７１】まず、ステップＳ６０１においてｔ_kおよ
びｉの初期設定を行う。

【００７２】ステップＳ６０２では、ある節点ｔ_kから
節点ｔ_i までの区間でν^(j) _t の近似関数（本実施例で
は２次の多項式）を求める。近似関数を求める手法は、
最小二乗法を用いるのがもっとも一般的である。ただ
し、この際、近似関数は節点を通過するという条件を付
加する必要がある。そのため、ｔ_a からｔ_b の区間につ
いて求められたν^(j) _t の近似関数をＦ
^(j) _{ta ，tb}（ｔ）（ｊ＝０，１，…，Ｍ−１）と記述
すると、区間の開始点ν^(j) _k＝Ｆ^(j) _tk，ti（ｔ_k）、
区間の終了点ν^(j) _i＝Ｆ^(j) _tk，ti（ｔ_i）となる。こ
の条件がないと、節点において多項式スプライン関数が
不連続になってしまうためである。

【００７３】次に、ステップＳ６０３では近似関数の近
似誤差ｅ^(j) （ｊ＝０，１，…，Ｍ−１）を算出する。
この近似誤差は、次式により算出される。 ｅ^(j) ＝ｍａｘ ｜ν^(j) _th −Ｆ^(j) _tk，ti（ｔ_h）｜ ただし、対象とするｈの範囲は、ｋ≦ｈ≦ｉとする。

【００７４】ステップＳ６０４では、各頂点での近似誤
差が許容範囲内であるかどうかの判定を行う。許容誤差
の範囲はすべての頂点で同じに設定しても良いし、別々
の範囲に設定しておいても良い。ひとつでも許容誤差範
囲外であればステップＳ６０５へ、すべてが許容範囲内
であればステップＳ６０６へ進む。

【００７５】ステップＳ６０５では、１つ前の範囲であ
るｔ_k からｔ_i-1 の区間の近似関数をＦ
^(j) _tk，ti-1（ｔ）（ｊ＝０，１，…，Ｍ−１）と決定
し、ｋ＝ｉ−１とする。

【００７６】ステップＳ６０６では、ｉの値を更新（ｉ
←ｉ＋１）する。このように、近似関数は近似誤差が許
容範囲以内の区間では同じ関数を用いるが、許容誤差が
大きくなると、再び最小二乗法を実行して関数を近似し
直す。

【００７７】ステップＳ６０７は、終了判定処理で、新
たな代表点についての座標値（またはその差分ベクトル
の成分値）の入力がなければ処理を終了し、まだ代表点
の座標値（または成分値）が入力されるならば再びステ
ップＳ６０２からの処理を行う。

【００７８】ステップＳ６０７で終了判定がなされる
と、ステップＳ６０８で、最後の区間ｔ_k からｔ_i-1 の
近似関数をＦ^(j) _tk，ti-1（ｔ）（ｊ＝０，１，…，Ｍ
−１）と決定する。

【００７９】なお、図７ではＸ座標のみについて説明を
行ったが、Ｙ座標についても同様の処理を行う。また、
ステップＳ６０４の誤差の判定においては、各頂点のＸ
座標およびＹ座標すべてについての誤差を同時に評価す
るようにしても良い。

【００８０】なお、代表点軌跡関数近似部１０４による
処理は、当該物体の領域に関する各フレームの代表点の
座標値（成分値）が得られる毎に行う方法（例えば各フ
レームの代表点の座標値（成分値）が得られる毎に近似
を行うとともに近似誤差を求め、近似誤差が一定の範囲
に収まるように節点を設けて近似区間を適宜分割する方
法）や、当該物体の領域に関する全てのフレームの代表
点の座標値（成分値）が得られた後に行う方法などがあ
る。

【００８１】また、物体領域の代表点軌跡データを作成
する際に、全代表点の全座標の全てについて節点を同一
にするようにしてもよい。例えば、代表点の座標値（ま
たは成分値）を近似する際に、いずれかの代表点につい
ての近似処理において誤差が基準値を超えて節点が設け
られることになった場合には、他のすべての代表点につ
いての近似処理においても強制的に同一の節点を設ける
ようにする。

【００８２】このようにして得られたスプライン関数な
どの近似関数は予め定めておいたデータ形式に従って領
域データ記憶部１０６に記録される。

【００８３】以下では、領域データ記憶部１０６に格納
される物体領域データのデータ形式について説明する。
なお、ここでは、代表点をスプライン関数により近似す
る場合を例にとりながら説明するが、代表点を他の関数
により近似する場合も同様に可能である。

【００８４】図８に、物体領域データのデータ形式の一
例を示す。

【００８５】図形種ＩＤ７００は、物体領域の近似に用
いた図形の種類を特定する。例えば、物体の重心のみ
（ＣＥＮＴＲＯＩＤ）、矩形（ＲＥＣＴＡＮＧＬＥ）、
楕円（ＥＬＬＩＰＳＥ）や多角形（ＰＯＬＹＧＯＮ）な
どが指定できる。

【００８６】代表点数７０３は、図形の種類によって定
まる代表点の数を表す（ここではＭ点とする）。

【００８７】代表点軌跡７０４は、代表点の軌跡を記述
しており、代表点の数（Ｍ個）だけ並んでいる。基準代
表点Ｖ₀ 以外の代表点については隣接する代表点からの
ベクトルの軌跡により記述する場合、１番目の代表点軌
跡には、基準代表点Ｖ₀ の軌跡が記述されており、２番
目の代表点軌跡にはＶ_0,1 が、３番目の代表点軌跡には
Ｖ_1,2 が、そしてＭ番目の代表点軌跡にはＶ_M-2,M-1 の
軌跡がそれぞれ記述されている。

【００８８】なお、近似図形の基準代表点Ｖ₀ 以外の代
表点も基準代表点と同様にして近似関数を求め、記録す
る場合には、１番目の代表点軌跡には、Ｖ₀ の軌跡が記
述され、２番目の代表点軌跡にはＶ₁ が、３番目の代表
点軌跡にはＶ₂ が、そしてＭ番目の代表点軌跡にはＶ
_M-1 の軌跡がそれぞれ記述される。

【００８９】物体出現時間７０１は、所望の物体が出現
した時刻、物体存在期間７０２は物体の存在していた時
間の長さである。物体存在期間７０２は、物体消失時間
で代用することも可能である。また、物体出現時間、物
体存在期間とも時間ではなくフレーム番号、フレーム数
で記述しておいても良い。なお、７０１および７０２の
情報は代表点軌跡７０４内の節点時刻からも得ることが
できるため、必ずしも記述しなくても良い。

【００９０】なお、物体出現時間／物体出現フレーム、
物体存在期間／物体存在フレーム、物体消失時間／物体
消失フレームは、現実に映像中で物体が登場したフレー
ムや消えたフレームにより決めてもよいし、その代わり
に、例えば、映像中で物体が登場したときより後の任意
のフレーム番号を先頭フレーム番号としてもよいし、ま
た先頭フレーム番号以降でかつ映像中で物体が消えたと
きより前の任意のフレーム番号を最終フレーム番号とし
てもよい。

【００９１】なお、物体領域データには、物体毎に付与
される識別番号であるＩＤ番号を付加してもよい。

【００９２】また、１つの物体を複数の近似図形数で近
似しても良い。この場合には、物体領域データには、例
えば、近似に用いる図形の個数分だけ、図形種ＩＤと代
表点数と代表点軌跡が含まれる。

【００９３】図９は、図８の代表点軌跡のデータフォー
マットの具体例である。

【００９４】節点数Ｎ８００は、代表点軌跡を表すスプ
ライン関数の節点の数を表す。各節点に対応するフレー
ムは、時間として表され、節点時刻８０１に格納され
る。節点時刻は、節点数だけあるため、配列８０２とし
て記述しておく。同様に、各節点のｘ座標についての座
標値（またはその差分ベクトルのｘ成分値等の座標値を
特定可能とする量）、ｙ座標についての座標値（または
その差分ベクトルのｙ成分値等の座標値を特定可能とす
る量）もそれぞれ節点Ｘ８０３および節点Ｙ８０５の配
列８０４，８０６として記述される。

【００９５】一次関数フラグ８０７は、節点間のスプラ
イン関数として一次関数だけが用いられているかどうか
を表す。一部分でも２次の多項式を用いる場合には、こ
のフラグはオフにしておく。このフラグを用いることに
より、近似関数として一次関数のみに使われる場合に以
下で説明する関数特定情報８０８、８１２を一つも記述
しなくて済むため、データ量を削減できるというメリッ
トがある。なお、必ずしもこのフラグは必要ではない。

【００９６】関数特定情報に含まれる関数ＩＤ８０９、
８１２，関数パラメータ８１０、８１４はそれぞれ多項
式スプライン関数の次数と、その係数を特定するための
情報を表す。これは、例えば１次多項式を使うならば
１、２次多項式を使うならば２というように設定する。
もちろん、多項式の最高次数を３次以上とすることも可
能である。１次多項式を用いるときは節点のみの情報で
十分なので、関数パラメータは記述されないが、２次多
項式の場合には係数を特定するための値一つ（例えば、
２次の係数、あるいは二次曲線上の節点以外の１点の座
標値（差分ベクトルを用いている場合には成分値））が
関数パラメータに記述される。関数特定情報は、節点数
より１つ少ない数だけ存在し、これらは配列８１１、８
１２となって記述される。Ｙ座標に関しても同様に関数
特定情報配列８１２が記述される。

【００９７】これまで説明した方法では、近似図形の基
準代表点Ｖ₀ 以外の代表点を記述するのに、隣接した代
表点からのベクトルを求め、このベクトルを近似関数に
変換していた。このような方法以外にも、他の代表点、
例えば基準代表点Ｖ₀ からのベクトルを使う方法につい
て説明する。

【００９８】例えば、図１０で説明されるように、基準
代表点Ｖ₀ 以外の代表点（この場合近似多角形の頂点）
Ｖ_i については、Ｖ₀ からＶ_i へのベクトルＶ_0,i を算
出しておく。そして、図７で説明された処理において、
ν^(j) _t （ｊ＝１，２，…，Ｍ−１）を時刻ｔにおける
Ｖ_0,i の成分値と置き換えて処理を行う。

【００９９】この方法によれば、どの基準代表点Ｖ₀ 以
外の代表点も、基準代表点Ｖ₀ と１つのベクトルにより
記述できるため、記述データから得られる値の誤差が累
積されないという利点がある。

【０１００】また、その他にも、図１１の（ａ）のよう
に、基準代表点Ｖ₀ から右回りでベクトルを半分求め、
左回りで残りのベクトルを求める方法や、図１１の
（ｂ）のように、基準代表点Ｖ₀ からのベクトルで表す
代表点を複数設け、それらからは隣接代表点間でベクト
ルを求める方法など、様々なバリエーションが可能であ
る。

【０１０１】また、近似図形の代表点がａ（≧３）個あ
る場合に、２以上ａ−１以下の複数の代表点をそれぞれ
基準代表点とし、残りの１以上の代表点を差分ベクトル
で表すことも可能である。

【０１０２】なお、これらの場合においても、図８の物
体領域データの代表点軌跡７０４は、代表点の数（Ｍ
個）だけ存在することになる。

【０１０３】次に、これまでは、各々のフレームにおい
て、基準代表点Ｖ₀ をおおもとの基点として様々な方法
でそれ以外の代表点を表す方法について説明したが、以
下では、連続するフレームにおいて代表点の移動量をベ
クトルで表現し、これらベクトルの軌跡を近似関数に変
換することにより物体領域を記述する方法について説明
する。

【０１０４】図１２において、１１００は初期フレーム
における物体近似図形（多角形）、１１０２は時刻ｔの
フレームにおける物体近似図形、そして１１０１は１１
０２の手前のフレームにおける物体近似図形である。１
１０３は時刻ｔにおける物体領域の代表点のひとつであ
る。１１０４は手前のフレームにおける１１０３の対応
点である。１１０５は１１０４から１１０３への移動ベ
クトルであり、時刻ｔのフレームにおける代表点の移動
量を表している。移動ベクトルは、各フレームに対応し
た時刻毎に得られるため、これまでと同様に時間ｔの関
数により近似することが可能である。

【０１０５】このような方法で物体領域を記述するため
の処理としては、図７で説明されるフローチャートにお
いて、ν^(j) _t （ｊ＝０，１，…，Ｍ−１）を時刻ｔに
おけるＶ’_i の成分値と置きかえればよい。ここで、
Ｖ’_i は時刻ｔにおけるＶ_i の移動ベクトルとしてい
る。この方法ではＶ₀ も他の代表点と同様の方法で移動
ベクトルが算出され、近似関数への変換が行われる。

【０１０６】なお、このような移動ベクトルを用いた方
法では、物体が出現したフレームにおける近似図形の全
代表点の座標を記述しておく必要がある。従って、この
方法の場合に記述される（図８の例に対応する）データ
フォーマットは図１３のようになる。図８との違いは、
代表点初期位置１２００が付与されている点である。代
表点初期位置１２００には、初期フレームにおけるＭ個
の代表点の座標値が記述されている。このときの座標値
の記述方法としては、全ての代表点の座標値をそのまま
記述すれば良い。また、ひとつの代表点の座標値のみを
そのまま記述し、他の代表点の座標は、例えば、図５で
表されるように隣接した代表点からの差分のベクトルを
記述する方法、あるるいは図１０で説明されるようにひ
とつの代表点Ｖ₀ からの差分のベクトルで記述する方法
などを用いても良い。

【０１０７】また、他の物体領域情報記述方法として、
初期代表点位置から時刻ｔの代表点の位置への移動ベク
トルを直接求め、これを近似関数に変換して記述するこ
とも可能である。

【０１０８】次に、上記のように物体領域データに記述
された物体の領域に関する情報から、任意の時刻Ｔにお
ける物体の領域を取り出す方法について説明する。この
処理は、例えば映像データおよびその物体領域データを
扱う情報処理装置において実行される。もちろん、この
ような情報処理装置は、計算機上でソフトウェアを実行
する形で実現することもできる。

【０１０９】図１４は、この場合の処理の一例を示すフ
ローチャートである。

【０１１０】ここでは、基準代表点Ｖ₀ 以外の代表点に
ついては隣接する代表点からのベクトルの軌跡により記
述する場合の例について説明する。

【０１１１】ステップＳ９０１では、与えられた時刻Ｔ
に物体が存在するかどうかを判断する。これは、物体出
現時間７０１および物体存在期間７０２を参照すること
で容易に判断できる。もしも時刻Ｔに物体が存在してい
ない場合には、物体領域がないため、直ちに処理を終了
する。

【０１１２】ステップＳ９０２では、時刻Ｔにおける近
似関数Ｆ^(j) _ta，tb（ｔ）（ｊ＝０，１，…，Ｍ−１）
を再構成する。ここで、時刻Ｔを含む区間の両端の節点
の時刻をｔ_a およびｔ_b する。近似関数は、図９の節点
Ｘ８０３、または節点Ｙ８０５に記述されているｔ_a お
よびｔ_b における座標値（またはその差分ベクトルの成
分値）と、関数ＩＤ８０９、関数パラメータ８１０によ
り再構成できる。すなわち、近似関数に１次多項式を用
いている場合には、二つの節点を通過する直線として求
められる。また、２次多項式を用いており、関数パラメ
ータに２次の係数が記述されている場合には、２次の係
数を関数パラメータの値により決定し、２次未満の係数
を節点を通過するように決定すればよい。

【０１１３】ステップＳ９０３では、近似関数にｔ＝Ｔ
を代入し、時刻ＴにおけるＶ₀ の座標値およびＶ_1,2 ，
Ｖ_2,3 ，…，Ｖ_M-2,M-1 の成分値を求める。

【０１１４】最後にステップＳ９０４では、Ｖ₀ および
Ｖ_1,2 ，Ｖ_2,3 ，…，Ｖ_M-2,M-1 を逐次的に足しこむこ
とにより、Ｖ₀ ，Ｖ₁ ，…，Ｖ_M-1 の座標値を算出す
る。

【０１１５】このようにして求められた代表点をもとに
して、情報処理装置では、物体の領域を近似する図形を
生成すること、物体の映像データのうち近似図形の範囲
を特定の表示形態で表示して対処物体をユーザに呈示す
ること、ユーザが画面上に表示中の映像上をマウスなど
のポインティングデバイス等で指示した場合に例えばそ
の時刻（フィールド）に物体領域の近似図形が存在し且
つ指示位置が近似図形の内部であればその対象物体が指
示されたと判断することなど、対象物体に関する種々の
処理を行うことができる。

【０１１６】例えば、図８に例示した物体領域データに
関連情報が付加されている場合、あるいは物体領域デー
タとは別に各物体に対する関連情報を含むデータベース
が存在するなどの場合に、ハイパーメディアや物体検索
に用いることができる。

【０１１７】ハイパーメディアでは、ユーザが当該物体
をマウス等で指定することにより、指定された時刻・場
所が物体領域の内部であるか外部であるかを判定し、内
部であると判定されれば、その物体に関する関連情報を
検索させたり、表示させたりすることが、容易にでき
る。また、関連情報がプログラムや計算機の動作を記述
したデータまたはそのポインタである場合には、ユーザ
が当該物体を指定することにより、計算機に所定の動作
を行わせることができる。

【０１１８】なお、本実施例において、映像や物体はど
のようなものであってもよい。例えば、映像が映画など
のコンテンツ、物体が俳優等の登場人物もしくは他の登
場物体、関連情報がその俳優もしくはその役柄等に関す
る説明であれば、映画を視聴している視聴者は、所望の
俳優に関する説明をその俳優の画像をクリックするだけ
で閲覧することができる。同様に、電子百科事典、電子
カタログ等のあらゆる電子コンテンツに適用可能であ
る。

【０１１９】また、例えば、物体検索では、物体の通過
位置、非通過位置、ある位置における大きさ、ある位置
における滞在時間などを検索キーとして条件に合う物体
を検索することができる。いずれの検索キーに対して
も、物体の存在する時間区間に対して逐次代表点座標を
取り出し、任意の点が代表点で構成される図形の内部か
外部かを判定したり、面積を計算することにより条件を
満たすかどうかが判断できる。

【０１２０】また、例えば、関連情報にキーワードを記
述しておけば、物体をキーワード検索することができ
る。さらに、関連情報にその物体から抽出した、シェー
プ、テクスチャ、アクティビティ、カラーなどの特徴量
を記述しておけば、そのような特徴量をもとにオブジェ
クト検索することができる。

【０１２１】また、例えば、物体領域データを解析する
ことにより得られる、物体のシェープ、テクスチャ、ア
クティビティ、カラーなどの特徴量に基づいて、不審な
人物等の監視を行う、監視システムを実現することがで
きる。

【０１２２】次に、映像データや物体領域データの提供
方法について説明する。

【０１２３】本実施例の処理により作成された物体領域
データがユーザの用に供される場合には、作成者側から
ユーザ側に何らかの方法で物体領域データを提供する必
要がある。この提供の方法としても以下に例示するよう
に種々の形態が考えられる。 （１）映像データとその物体領域データとその関連情報
とを１つ（または複数の）記録媒体に記録して同時に提
供する形態 （２）映像データとその物体領域データとを１つ（また
は複数の）記録媒体に記録して同時に提供するが、関連
情報は別途提供するかもしくは提供しない（後者は例え
ば提供しなくてもユーザがネットワーク経由等で別途取
得できる場合）形態 （３）映像データを単独で提供し、別途、物体領域デー
タと関連情報とを１つ（または複数の）記録媒体に記録
して同時に提供する形態 （４）映像データ、物体領域データ、関連情報を別々に
提供する形態 上記は主に記録媒体により提供する場合であるが、その
他にも、一部または全部を通信媒体で提供する形態も考
えられる。

【０１２４】本実施例によれば、複数フレームに渡る映
像中の物体の領域を、該物体の領域に対する近似図形の
代表点の位置データまたはそれを特定可能なデータ（例
えば、代表点間差分ベクトル値）をフレームの進行に沿
って並べることにより得られる軌跡を近似した関数のパ
ラメータとして記述することにより、複数フレームに渡
る映像中の物体の領域を少量の関数パラメータのみによ
って記述することができるため、物体の領域を特定する
ためのデータの量を効果的に削減することができ、また
ハンドリングを容易にすることができる。特に物体が剛
体の場合は、相対位置は絶対位置よりも変動が少なく、
その軌跡を関数近似したときに、コンパクトな情報量で
記述することができる。また、近似図形からの代表点の
抽出や、近似曲線（直線の場合も含む）のパラメータの
生成も容易に行うことができる。また、このデータを通
信する場合の通信量を減らすことができる。近似曲線の
パラメータから近似図形を生成することも容易に行うこ
とができる。この近似図形として基本的な図形（例えば
多角形）により代表させれば、ユーザにより指定された
任意の座標が物体の領域（近似図形）内か否か（物体の
領域を指示しているか否か）を簡単な判定式により判定
することができる。さらに、これによって、ユーザによ
る映像中の動く物体の指示をより容易にすることがで
き、映像中の物体の通過位置、ある地点での滞留時間、
あるいは軌跡などに基づいて、映像中の物体の検索を容
易に行うことができる。また、操作性の良いハイパーメ
ディア・アプリケーションを実現できる。

【０１２５】次に本発明の他の実施例を説明する。以下
の実施例で第１実施例と対応する部分は同一参照数字を
付して詳細な説明は省略する。

【０１２６】第２実施例 第２実施例では、第１実施例において、さらに、映像中
の物体について、画面上の２次元情報（代表点のＸ座標
値、Ｙ座標値）以外に奥行きの方向に関する情報をも物
体領域情報に含める場合について説明する。なお、第２
実施例では、第１実施例と相違する点を中心に説明す
る。

【０１２７】なお、本実施例では、第１実施例の物体領
域情報生成装置に更に奥行きの方向に関する情報（以
下、奥行き情報と呼ぶ）を得るための処理部１０８が必
要になる。この処理部１０８は図１５に示すように、映
像データ記憶部１００と代表点軌跡の関数近似部１０４
との間に接続される。

【０１２８】まず、奥行き情報としては、これを連続値
（Ｚ座標値）で与える方法と、離散的なレベル値（より
好ましくは一定の範囲内の整数値）で与える方法があ
る。また、各値は、映像データが撮影されたものである
場合には、被写体を実測したデータに基づく方法と、ユ
ーザなどが指定する方法がある。映像データが人工的な
もの（例えばＣＧあるいはアニメーションなど）の場合
には、奥行きに関する値が与えられているならばこれに
基づく方法と、ユーザなどが指定する方法がある。

【０１２９】また、上記のそれぞれの場合において、奥
行き情報は、対象物体毎に与える方法と、対象物体の近
似図形の代表点毎に与える方法がある。

【０１３０】また、上記の各方法の組み合わせにおい
て、奥行き情報を、その物体の出現フレームから消失フ
レームまでの全フレームに対してそれぞれ与える方法
と、その物体の出現フレームから消失フレームのまでの
全ての所定の区間（例えば、隣接節点区間）に対してそ
れぞれ与える方法などがある。

【０１３１】奥行き情報として、連続値を用いる方法
で、且つ代表点毎に与える方法で、且つ、その物体の出
現フレームから消失フレームまでの全フレームに対して
それぞれ与える方法を採用する場合には、第１実施例の
対象物体の近似図形の代表点のＸ座標およびＹ座標につ
いての処理と同様の処理を各代表点のＺ座標についても
行えばよい（代表点軌跡関数近似部１０４で行えばよ
い）。

【０１３２】この場合に、物体領域データ（例えば図８
やそのバリエーションなど）の代表点軌跡のデータ形式
の一例は、例えば図１６のようになる。図９との違い
は、Ｘ座標およびＹ座標に加えて奥行き情報であるＺ座
標に関する節点Ｚ配列８３２、関数特定情報配列Ｚ８３
６が付加されている点である。

【０１３３】また、奥行き情報として、連続値を用いる
方法で、且つ対象物体毎に与える方法で、且つ、その物
体の出現フレームから消失フレームまでの全フレームに
対してそれぞれ与える方法を採用する場合には、第１実
施例の対象物体の近似図形の代表点のＸ座標およびＹ座
標についての処理と同様の処理を代表点軌跡関数近似部
１０４により当該対象物体のＺ座標の値についても行え
ばよい。この場合には、例えば図１７に示すように、物
体領域データ（例えば図８やそのバリエーションなど）
に対して奥行き情報７０５、すなわち当該対象物体のＺ
座標についての値の軌跡を付加すればよい。もちろん、
さらに関連情報等が付加されている構成もある）。図１
７の物体領域データ中の代表点軌跡は図９に示すもので
あり、奥行き情報のデータ形式の一例は、例えば図１８
のようになる。図１８と図９との違いは、図１８はＺ座
標についての値のみ記述されている点である。

【０１３４】なお、上記の２つ手法において奥行き情報
として連続値ではなく、レベル値を用いる場合には、同
じレベル値が複数フレームにわたって連続することが想
定されるので、例えば、レベル値が変化する毎に、変化
後のレベル値とそのレベル値が変化したフレームの番号
等を記述するようにしてもよい。

【０１３５】また、奥行き情報を隣接節点区間に対して
与える場合には、その物体の出現フレームから消失フレ
ームまでの全フレームに比べて隣接節点区間の区間数は
それほど多くないことが想定されるので、全ての値と隣
接節点区間との対応を記述してもよい。

【０１３６】次に、奥行き情報を得るための処理部が奥
行きを実測する場合の構成例について説明する。

【０１３７】奥行き情報には、カメラからの距離あるい
は３次元空間に設定した座標系における座標のような絶
対的な位置情報と、最初の物***置からの移動距離もし
くは移動距離の大きさを表す数値のような相対的な位置
情報がある。

【０１３８】一般に、単一のカメラで撮影された映像か
ら絶対的な位置情報を求めるのは難しいため、文献「三
次元画像計測：井口，佐藤（昭晃堂）、ｐ．２０〜５
２」に記載されているような特殊なレンジセンサを用い
て計測を行うか、複数台のカメラを用いステレオ法に基
づいて計測を行って、位置情報を取得する。ただし、あ
る一定の撮影条件を仮定することができる場合には、単
一のカメラで撮影した画像からでも位置情報を求めるこ
とができる。この場合の一例を以下に示す。

【０１３９】例えば、道路監視を行う場合、図１９に示
すように、カメラ１３００で車１３０１を撮影する。カ
メラは固定することが多いので、あらかじめカメラ１３
００を校正しておくことができる。また、車が走る道路
面を平面とみなし、３次元空間中での平面の方程式をあ
らかじめ計算しておくことが可能である。これらの前提
条件の下で、車のタイヤ部分が地面１３０３と接してい
る点１３０６の位置を求める。撮像面１３０２上では、
点１３０６が点１３０５の位置で検出されたとすると、
点１３０５を通るカメラの視線１３０４と平面１３０３
との交点を求めることによって、点１３０６の位置が得
られる。

【０１４０】なお、カメラの視線１３０４は校正するこ
とによって得られるカメラパラメータから計算できる。
道路面を既知としたが、車のバンパー位置の高さを既知
と仮定してもよい。

【０１４１】例えば映像データおよびその物体領域デー
タを扱う情報処理装置において、これらの３次元情報を
用いて、指定された位置に近い物体を検索することがで
きる。図２０に、そのような検索の処理の一例を表すフ
ローチャートを示す。まず、ステップＳ２７００におい
て、指示された検索対象とする位置情報（３次元情報）
を入力する。ステップＳ２７０１で、その位置と全物体
領域データに係る物体の持つ３次元的な位置との間の距
離を計算する。全てについて３次元的な距離を求めた
後、ステップＳ２７０２でしきい値より小さい距離を持
つ物体を求め、出力する。なお、しきい値を定めずに距
離が最小となる物体を検索結果として出力してもよい。

【０１４２】また、一般的な映像だけからは映像中の物
体の絶対的な位置情報は求めるのは困難であるが、図２
１の（ａ）から（ｂ）のように手前に向かってくる車
を、静止したカメラから撮影した映像では、車の画像面
上での大きさの変化を観測することによって、例えば初
期位置よりもカメラに近づいたか遠ざかったかというよ
うな相対的な奥行き情報を求めることが可能である。こ
の場合の一例を以下に示す。

【０１４３】通常のカメラ光学系は、図２２のようにピ
ンホールカメラに基づいた透視変換モデルによって記述
することができる。１６００はカメラのレンズ主点であ
り、１６０１は撮像面である。物体１６０２がカメラに
近づく方向に移動しているとする。これを真上から見下
ろした図が図２３である。図２３のように、物体がＺ軸
に平行な姿勢を保ったままカメラに近づく方向に移動し
たとすると、移動前１７０２と移動後１７０３では物体
前面の撮影像は１７０４から１７０５へと幅が大きくな
る。物体とカメラレンズ主点１７００との距離が小さい
ほど、撮影像は大きくなるため、撮影像の大きさを用い
て、相対的な位置の変化を表現することができる。例え
ば、物体の初期位置での撮影像の幅を１とし、その後の
撮影像の幅との比を求めていく。撮影像の幅は、レンズ
主点１７００からの距離の逆数に比例すると見なしてよ
いので、その比の値の逆数を求め、奥行き情報として保
持しておけばよい。この場合、カメラに近いほど値は小
さくなり、遠いほど値が大きくなる。なお、幅でなく、
撮影像の面積や物体表面の特徴的なテクスチャの面積を
用いてもよい。

【０１４４】例えば映像データおよびその物体領域デー
タを扱う情報処理装置において、これらの相対的な位置
の変化を示す情報を用いて、１つの移動物体について、
指定した距離に存在する時刻を求めることが可能であ
る。

【０１４５】図２４および図２５に、この場合の処理の
手順の一例を表すフローチャートを示す。

【０１４６】図２４は実際に検索を行うための前処理の
フローチャートである。図２４では、１つの移動物体の
保持している奥行き値を正規化する。ステップＳ２８０
０において、奥行き値の最小値を１とし、ステップＳ２
８０１において奥行き値を最小値で割って正規化する。
ステップＳ２８０２において全ての奥行き値の正規化処
理が終わったことを判定する。

【０１４７】次に、図２５のステップＳ２９００におい
て、検索すべき奥行き値（正規化値）を入力する。ステ
ップＳ２９０１で、その入力値と各奥行き値の差を計算
し、全ての奥行き値と比較を終えたら（ステップＳ２９
０２）、その差が最小となる時刻を出力する（ステップ
Ｓ２９０３）。

【０１４８】このように第２実施例によれば、平面情報
である２次元的位置情報以外に、奥行きに関する情報を
付与することにより、奥行き方向を考慮した検索、例え
ばカメラからの距離情報で物体を検索が可能となる。 第３実施例 第３実施例では、第１実施例または第２実施例におい
て、さらに、映像中の物体について、画面上でその物体
（またはその一部）が見えている状態にあるか、他の物
体の陰に隠れているなどして見えていない状態にあるか
を示す表示フラグに関する表示フラグ情報をも物体情報
データに含める場合について説明する。なお、第３実施
例でも、第１実施例または第２実施例と相違する点を中
心に説明する。

【０１４９】なお、本実施例では、表示フラグに関する
処理は、例えば代表点軌跡関数近似部１０４で行えばよ
い。

【０１５０】例えば図２６の（ａ）〜（ｃ）のように、
映像中に複数の物体が存在している場合、ある物体２１
０１が別の物体２１０２によって隠れたり、現れたりす
るということがよくある。この状態を記述するため、物
体領域データに表示フラグ情報を追加する。

【０１５１】表示フラグは、対象物体毎に与える方法
と、対象物体の近似図形の代表点毎に与える方法があ
る。

【０１５２】表示フラグを対象物体毎に与える場合、表
示フラグが立っているときは、その物体が他の物体によ
り隠れていないことを示し、再生時には、その物体を表
示する。表示フラグが立っていないときは、その物体が
他の物体により隠れていることを示し、再生時には、そ
の物体を表示しない。

【０１５３】表示フラグを対象物体の近似図形の代表点
毎に与える場合、１つの対象物体の近似図形における全
ての代表点の表示フラグが同一の状態ならば上記と同様
であるが、表示フラグが立っている代表点と、表示フラ
グが立っていない代表点が混在するならば、その状況を
考慮して当該物体の表示を行う（例えば当該物体の該当
する一部分のみ表示する）。

【０１５４】表示フラグは、物体の隠れ／現われの状況
が変わるキーポイント間毎に設定され、物体領域の代表
点軌跡データを作成するときに同時に決定される。な
お、キーポイントは、近似関数の節点と無関係に設けら
れてもよいが、キーポイントは必ず節点になるようにし
てもよい。例えば、キーポイントが発生した場合には、
強制的にその時点を節点とする方法がある。

【０１５５】表示フラグを対象物体毎に与える場合、キ
ーポイントは、物体が現れている状態から隠れてる状態
に移るときと、隠れている状態から現れている状態に移
るときに設定される。図２７の例において、物体２２０
１は、フレームｉまでは現れていて、フレームｉからｊ
は隠れ、フレームｊ以降はまた現れるとき、フレームｉ
とｊにキーポイントを置き、フレームｉからｊまでの表
示フラグには隠れ状態を、それ以外のフレームの表示フ
ラグには現れ状態を設定する。表示フラグを対象物体の
近似図形の代表点毎に与える場合も同様である。

【０１５６】代表点軌跡データ作成時は、全フレームに
渡って物体が現れているものとして作成し、物体が隠れ
ているため代表点の情報がわからない場合は、分かって
いる前後の代表点の情報より補完することによって、代
表点軌跡データを作成する。そして、代表点軌跡データ
を作成した後、物体が現れているか隠れているかに応じ
て表示フラグを設定する。このため、一つの物体に関し
ては物体が隠れたり現れたりしても一連の代表点軌跡デ
ータで表現することが可能となる。

【０１５７】以下、表示フラグ情報のバリエーションに
ついて説明する。

【０１５８】通常、表示フラグは各キーポイント間毎に
設定されるが、表示フラグ自体に開始タイムスタンプと
終了タイムスタンプを付加してもよい。この場合は、表
示される範囲や隠れる範囲がキーポイントと独立に設定
できるというメリットがある。

【０１５９】表示フラグは、１つの物体内で１つの表示
フラグを持っていてもよいし、各代表点軌跡データ毎に
独立して持っていてもよい。例えば、物体が多角形で表
現されていて、その各頂点を代表点として軌跡データで
表現した場合には、代表点軌跡データ毎に独立して表示
フラグを持つことによって、物体の一部のみの隠れなど
を表現することが可能となる。

【０１６０】また、表示フラグは、現れているか隠れて
いるかだけではなく、優先度として整数の値をとるよう
にしてもよい。物体同士が重なったときは、優先度の低
い物体が優先度の高い物体に隠れていることを示し、優
先度の高い物体のみを表示する。また、優先度が０の時
は他の物体に関係なく物体は隠れているものとする。表
示フラグを上記のように整数値でとることによって、映
像中に他の物体を合成したときなどにも、物体同士の隠
れの問題を解決できるという利点がある。表示フラグを
整数値でとった場合も、１つの物体内で１つの表示フラ
グを持っていてもよいし、各代表点軌跡データ毎に独立
して持っていてもよい。

【０１６１】図２８、図２９は、表示フラグを含む物体
領域データのデータ構造の例である。

【０１６２】図２８は、対象物体に対して表示フラグを
付加する場合における、物体領域データ（例えば図８や
そのバリエーションなど）に対して表示フラグ情報７０
６を付加した例である。もちろん、さらに関連情報等が
付加されている構成もある。

【０１６３】図２９は、図２８の表示フラグ情報７０５
の構造例である。

【０１６４】この例は、各表示フラグ２３０４毎に、開
始タイムスタンプ２３０２と終了タイムスタンプ２３０
３を持っている。表示フラグ数２３０１は表示フラグの
総数であり、開始タイムスタンプ２３０２と終了タイム
スタンプ２３０３を利用しない場合は、（キーポイント
数−１）個の表示フラグを持つため、表示フラグ数２３
０１を省略してもよい。表示フラグ２３０４は現れてい
るか隠れているかを０か１かで記録するが、優先度とし
て整数値をとってもよい。

【０１６５】また、物体の近似図形の各代表点に対して
表示フラグをそれぞれ付加する場合には、例えば、物体
領域データ（例えば図８やそのバリエーションなど）の
各代表点軌跡毎に表示フラグ情報を付加する。

【０１６６】図３０は、この場合の代表点軌跡のデータ
構造の例である。図３０の表示フラグ９００の構造例は
図２９と同様である。

【０１６７】図３１に、例えば映像データおよびその物
体領域データを扱う情報処理装置で行われる検索時の処
理の一例を表すフローチャートを示す。

【０１６８】まず、ステップＳ２５１においてユーザー
が検索キーを入力し、ステップＳ２５３において検索し
ている物体領域のキー情報と検索キーの距離を計算す
る。

【０１６９】検索キーに対応する物体領域の表示フラグ
が現れている状態かをステップＳ２５４で判定し、表示
フラグが隠れている状態の時はマッチングしていないも
のとする。

【０１７０】ステップＳ２５５で表示フラグが現れてい
る状態で距離が閾値より小さい場合はマッチングしたも
のとして記録する。

【０１７１】これをすべての物体に対し繰り返し、ステ
ップＳ２５２ですべての物体領域について計算終了した
と判断されたときは、ステップＳ２５６において記録結
果を出力して終了する。

【０１７２】以上のように、物体領域の軌跡情報の他に
オクル−ジョンかどうか（つまり見えているかどうか）
を示す表示フラグを付け加えることにより、再生時に物
体が隠れているかどうかを他の物体との関係から計算す
ることなく判定することが可能となり、表示されている
物体を検索する場合などにもオクルージョンを考慮した
効率的な検索が可能となる。

【０１７３】第４実施例 第４実施例では、第１実施例または第２実施例または第
３実施例において、さらに、映像中の物体が画面上に出
現してから消失するまでに通過した画面上での範囲を示
す情報（以下、物体範囲情報と呼ぶ）をも物体情報デー
タに含める場合について説明する。なお、第４実施例で
は、第１実施例または第２実施例または第３実施例と相
違する点を中心に説明する。

【０１７４】なお、本実施例では、物体通過範囲情報を
生成するための処理部をさらに設ける（物体領域抽出部
１０１と物体領域の図形近似部１０２との間に接続す
る）。

【０１７５】物体を物体領域の代表点軌跡データで表す
とき、通常は１つの物体に対し複数の軌跡データを利用
して表現することになる。そのため、指定した点を通過
した物体を検索する場合は、複数の軌跡データから物体
領域を先ず計算して、領域が指定点を含むか否かを判断
する必要がある。しかし、複数の軌跡データから物体領
域を先ず計算することなく、物体通過範囲を表現できれ
ば便利である。

【０１７６】そこで、本実施例では、物体の軌跡全体を
囲むような最小の長方形または多角形の物体通過範囲に
関する情報を生成し、これを物体領域データに付帯させ
るようにする。

【０１７７】長方形を利用する場合、傾きを持つ長方形
を利用してもよいし、傾きを持たない長方形を利用して
もよい。傾きを持つ長方形を利用する場合には、物体領
域の軌跡を誤差が少なく近似できる利点がある。傾きを
持たない長方形を利用する場合には、長方形のパラメー
タ計算が簡単であるという利点がある。

【０１７８】図３２の（ａ）において、２４０２は物体
２４０１の軌跡領域を傾きのない長方形で近似したもの
の例を示す。

【０１７９】図３２の（ｂ）において、２４０３は物体
２４０１の軌跡領域を傾きのある長方形で近似したもの
の例を示す。

【０１８０】図３２の（ｃ）において、２４０４は物体
２４０１の軌跡領域を多角形で近似したものの例を示
す。

【０１８１】物体の軌跡全体を囲むような最小の長方形
または多角形を計算するときは、各フレームにおける物
体領域を求めた後、全フレームに渡って領域の論理和を
計算し、得られた論理和の領域を最小の長方形または多
角形で近似する。

【０１８２】また、物体の軌跡全体を囲むような最小の
長方形または多角形を計算する際に、既に計算されてい
るフレームに関する当該物体領域の軌跡全体を囲む最小
の長方形または多角形と、新しく追加すべきフレームに
おける当該物体領域との論理和の領域を最小の長方形ま
たは多角形で近似するようにしてもよい。

【０１８３】また、物体の軌跡全体を囲むような最小の
長方形または多角形を計算する際に、各代表点の軌跡を
囲むような最小の長方形または多角形を計算し、全軌跡
に渡って得られた長方形または多角形の領域の論理和に
ついて、それを囲むような最小の長方形または多角形を
計算するようにしてもよい。

【０１８４】図３３に、物体領域情報に付帯する物体通
過範囲情報の記述例を示す。外接図形タイプ３４０１
は、外接図形のタイプを示す。例えば、０は図３２の
（ａ）に示す傾きのない長方形、１は図３２の（ｂ）に
示す傾きのある長方形、２は図３２の（ｃ）に示す多角
形を示す。外接図形タイプが０の場合は頂点数Nが２、
１の場合は頂点数Nが３、２の場合は頂点数Nが任意の数
となる。物体が奥行き情報を持っている場合は、同様に
奥行きの軌跡情報を加えて３次元の外接図形を考えるこ
とができる。その場合、図３４に示すように、奥行き情
報のZに関する情報が追加される。

【０１８５】図３５に、例えば映像データおよびその物
体領域データを扱う情報処理装置において、ユーザがあ
る座標値（２次元について説明するが、３次元でも同
様）を指定したとき、その座標を通過するような物体を
選び出す場合の処理の一例を表すフローチャートを示
す。

【０１８６】ステップＳ２６１において、ユーザが検索
すべき座標値を入力し、ステップＳ２６２において、各
物体軌跡について軌跡全体を囲むような最小の長方形ま
たは多角形と入力された座標値を比較し、座標が軌跡全
体を囲むような最小の長方形または多角形の中に入って
いるような物体のみを抽出する。物体の個数は０の場合
も、１つの場合も、複数の場合もあり得る。抽出された
物体について、ステップＳ２６３で代表点軌跡から入力
された座標が物体領域（例えば近似図形の内部）の中に
入っているかどうかを判定する。

【０１８７】一般に代表点軌跡からの物体の内外判定よ
り、軌跡全体を囲むような最小の長方形または多角形の
物体の内外判定の方が計算量が少ないため、特に検索対
象の物体数が多い場合は、はじめに軌跡全体を囲むよう
な最小の長方形または多角形の内外判定をしたほうが効
率よく検索ができる。

【０１８８】このように物体の軌跡全体を囲むような最
小の長方形または多角形の情報を付帯することによっ
て、物体の通過範囲を効率よく表現でき、ある座標を物
体の物体が通過するかどうか判定することなどが簡単に
行えるようになる。

【０１８９】また、検索の効率を上げるために、物体領
域を関数で表現するだけでなく、物体が時空間的に存在
する位置を囲む図形を付帯させることにより、全く別の
場所に存在する物体を検索の候補から除外することが可
能となる。 第５実施例 第５実施例では、本発明をモザイキングに適用した場合
について説明する。

【０１９０】モザイキングとは、撮影範囲が一部重なる
ように撮影された複数の画像を貼り合わせ、１枚の広範
囲を撮影した画像を合成する手法である。このようにし
て合成された画像はパノラマ画像などとも呼ばれる。複
数の画像からモザイキングによりパノラマ画像を作成す
る手法は複数の提案がされている（Ｍ． Ｉｒａｎｉ，
Ｐ． Ａｎａｎｄａｎ， “Ｖｉｄｅｏ Ｉｎｄｅｘ
ｉｎｇ Ｂａｓｅｄｏｎ Ｍｏｓａｉｃ Ｒｅｐｒｅｓ
ｅｎｔａｔｉｏｎｓ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏ
ｆ ｔｈｅ ＩＥＥＥ， Ｖｏｌ． ８６， Ｎｏ．
５， ｐｐ．９０５−９２１， Ｍａｙ １９９８．
など）。

【０１９１】本実施例の構成は基本的にはこれまでの各
実施例と同様であるが、本実施例では、これまでのよう
に各フレームにおける物体領域の近似図形の代表点の位
置データ（各フレーム毎の座標）をもとに近似を行うの
ではなく、パノラマ画像における各物体領域の近似図形
の代表点の位置データ（パノラマ画像全体の座標）をも
とに近似を行う点が相違する。

【０１９２】以下では、これまでの実施例と相違する点
を中心に説明する。

【０１９３】図３６は、モザイキングを用いた物体領域
情報記述方法の処理手順の一例を表すフローチャートで
ある。図３７の（ａ）、図３７の（ｂ）に、この方法を
説明するための図を示す。

【０１９４】なお、パノラマ画像はそれ自体で１つの画
像であり、合成前の各々の静止画像の各画素は、パノラ
マ画像におけるある基準点（例えば、フレーム中で左下
の点）を原点として、座標が変換されることになる。し
たがって、各静止画像における物体領域の近似図形の各
代表点は、パノラマ画像の座標系におけるＸ座標やＹ座
標についての系列となる。本実施例では、各静止画像に
おける物体領域の近似図形の各代表点のＸ座標やＹ座標
についての系列を、これまでの実施例のようにして、関
数近似するものである。その際に、これまでの実施例と
同様に、例えば、１つの静止画像内で差分ベクトルをと
り、あるいは静止画像間で差分ベクトルをとって、この
差分ベクトルの系列を関数近似する。

【０１９５】ステップＳ１９００では、入力された複数
の静止画像からパノラマ画像を作成する。これらの入力
画像群は、図３７の（ａ）では２０００〜２００５に相
当し、移動する物体をカメラを移動させながら撮影した
画像である。２００６は画像内の物体で、２０００〜２
００５内には同じ物体が撮影されている。これらの画像
群は動画中の連続するフレームや、撮影範囲を重なるよ
うにカメラを移動しながら撮影した静止画であることが
多いが、パノラマ画像を作成できるような入力画像であ
れば何でもよい。

【０１９６】これらの入力画像群より合成されたパノラ
マ画像が図３７の（ｂ）の２００７である。

【０１９７】ステップＳ１９０１では、合成されたパノ
ラマ画像内に存在する個々の物体領域を図形により近似
する。なお、ステップＳ１９００のパノラマ画像作成と
ステップＳ１９０１の物体領域の図形近似は逆の順序で
行ってもよい。ただし、パノラマ画像を合成する際の変
換によっては、物体領域の近似図形種の変更を必要とす
る場合がある。例えば、物体領域を矩形で近似する場
合、アフィン変換によりパノラマ画像の合成を行うと合
成後の物体領域は必ずしも矩形とはならない。その場合
はパノラマ画像の作成を先に行うか、パノラマ画像合成
の変換後に修正を行う。

【０１９８】ステップＳ１９０２では、ステップＳ１９
０１で求めた物体領域の近似図形の代表点や特徴点の軌
跡を関数により近似する。物体領域の軌跡は基準となる
物体領域を定め、そこからの各物体領域の変化量により
求める。例えば、図３７の（ｂ）において、第１入力画
像の物体領域２００８を基準とし、それに続く物体領域
の変化を軌跡２００９とする。この例では、物体領域の
重心を代表点としているが、矩形や楕円など他の近似図
形の代表点を用いる場合やその他の特徴点を代表点とし
て用いる場合であっても同様である。

【０１９９】基準点からの変化量の求め方は、基準点に
対する差分を用いる場合と直前の物体領域からの差分を
用いる場合があるが、これらの変化量は同様に関数近似
を行うことができる。また、基準点からの変化を代表点
や特徴点の移動ではなく、平行・回転移動やアフィン変
換などの動きモデルで近似し、その変換係数の軌跡とし
て物体の移動を記述することができる。この場合も変換
係数の軌跡を関数近似することによって適用することが
できる。

【０２００】ステップＳ１９０３では、ステップＳ１９
０２で求めた軌跡を近似する関数のパラメータを前述の
データ構造体のフォーマットに従って記述を行う。

【０２０１】また、入力画像群の個々の画像をパノラマ
画像として合成する際の諸パラメータも入力画像全体を
物体領域とみなすことにより、同様に記述することがで
きる。

【０２０２】図３８に、物体領域情報に付帯する諸パラ
メータの記述例を示す。諸パラメータは作成されたパノ
ラマ画像の座標系を、作成に用いた映像フレームの座標
とその映像フレームからパノラマ画像への変換パラメー
タによって記述するものである。ここで、どこを原点と
しても良いが、映像フレームの座標が左下に原点がある
とする。そして、モザイキングに利用されたフレームの
縦横の長さが同一で既知であるとする。統合座標フラグ
３６０１は、このようなパノラマ画像の座標系を用いた
物体の記述かどうかのフラグであり、フラグが０の時は
通常の座標系（つまり、すべての映像フレームで左下原
点）で、１の時はフレームがパノラマに統合された座標
系を示す。モデルタイプＭ３６０２は、各フレームをパ
ノラマ画像に変換したときの変換モデルのタイプを示す
ものである。例えば、モデルタイプＭが０の時は変換な
し、２の時は平行移動で、４の時は回転・拡大縮小で、
６の時はアフィンで、８の時は透視変換で、１２の時は
２次射影変換を表す。各モデルにおいて、モデルタイプ
Ｍの値と同数のパラメータがある。

【０２０３】平行移動：v_x(x, y) = a₁ v_y(x, y) = a₂ 回転・拡大縮小： v_x(x, y) = a₁ + a₃x + a₄y v_y(x, y) = a₂ - a₄x + a₃y アフィン変換： v_x(x, y) = a₁ + a₃x + a₄y v_y(x, y) = a₂ + a₅x + a₆y 透視変換： v_x(x, y) = (a₁ + a₃ x +a₄ y) / (1 + a₇ x +a₈ y) v_y(x, y) = (a₂ + a₅ x +a₆ y) / (1 + a₇ x +a₈ y) ２次射影変換： v_x(x, y) = a₁ + a₃ x + a₄ y + a₇ xy + a₉ x² + a₁₀
y² v_y(x, y) = a₂ + a₅ x + a₆ y + a₈ xy + a₁₁ x² + a₁₂
y² ここで、変換を行うための原点をＸ原点３６０３、Ｙ原
点３６０４で与える。この原点は元映像フレームの座標
系を用いて示す。このように変換のための原点を与える
のは、変換時に生じる誤差を少なくするためである。変
換パラメータ数Ｎ３６０５は、パノラマに用いるフレー
ム数Ｎと同じである。フレーム毎に変換パラメータが必
要となる。フレーム間時間３６０６は、初期フレームか
らのフレーム間時間で、パラメータセット３６０７は、
変換のモデルタイプに応じてＭ個のパラメータを記述す
る。各フレーム中のオブジェクトの軌跡もこのパラメー
タセットを用いて変換され記述される。

【０２０４】本実施例によれば、カメラが物体領域を追
いかけながら撮影している場合には、連続するフレーム
を画像変換を施してつながるように貼り合わせるモザイ
キングによるパノラマ画像を作成し、その作成された画
像上での物体の領域情報を記述することにより、カメラ
が移動していてもモザイキング画像のある点を基点とし
た座標系で物体の領域情報を一意に記述することができ
る。

【０２０５】上記した第２実施例〜第５実施例は第１実
施例のデータ構造を有する物体領域情報に奥行き情報、
表示フラグ、物体範囲情報、パノラマ変換のためのパラ
メータも記述する実施例として説明したが、これらの実
施例は第１実施例の物体領域情報に限定されず、他のデ
ータ構造を有する物体領域情報に対しても付帯可能であ
る。以下、物体領域情報のデータ構造の変形に関する他
の実施例を説明する。

【０２０６】第６実施例 第１実施例は物体領域を近似する図形の代表点の座標そ
のものではなく、ベクトルで代表点の軌跡を記述した
が、代表点の座標そのものの軌跡を記述する場合に、奥
行き情報も付帯する第６実施例を説明する。

【０２０７】第６実施例の構成は図１に示した第１実施
例の構成と同じである。第１実施例では多角形により物
体領域を近似していたが、第６実施例では図３９の
（ａ）から（ｄ）に示すように物体領域を楕円で近似す
る方法を示す。図３９の（ａ）から（ｄ）は第１実施例
の図３の（ａ）から（ｃ）に相当する。楕円の２つの焦
点ｖ１、ｖ２と楕円上の１点ｖ３を代表点として抽出す
る方法を用い、代表点の軌跡をスプライン関数により近
似する。

【０２０８】図４０に、物体の領域が平行四辺形で表さ
れる場合に、近似楕円を求める方法の一例を示す。図４
０における点Ａ，Ｂ，Ｃ，Ｄが物体の領域である平行四
辺形の各頂点である。この場合、まず、辺ＡＢと辺ＢＣ
のどちらが長いかを計算する。そして、長い方の辺およ
びその対辺を辺の一部とする最小の長方形を求める。図
４０の例の場合は点Ａ，Ｂ’，Ｃ，Ｄ’を４頂点とする
長方形となる。近似楕円は、例えば、この長方形に内接
する楕円と相似で、かつ、点Ａ，Ｂ’，Ｃ，Ｄ’を通る
外接楕円とする。

【０２０９】次に、図３９の（ｂ）において、ｖ１、ｖ
２、ｖ３は楕円を表現する図形代表点であり、具体的に
は２つの焦点ｖ１、ｖ２および１つの楕円上の点ｖ３
（図３９の（ｂ）の例では短軸上の１点）である。楕円
の焦点は２つの軸上の点や楕円の外接矩形から簡単に求
めることができる。以下、一例として、図４１における
長軸上の２点Ｐ０，Ｐ１および短軸上の１点Ｈから焦点
ＦとＧを求める方法を説明する。

【０２１０】まず、長軸と短軸のパラメータであるａ，
ｂと、楕円の中心Ｃと、扁平率ｅとを、 Ｅ（Ｐ０，Ｐ１）＝２×ａ、 Ｃ＝（Ｐ０＋Ｐ１）／２、 Ｅ（Ｃ、Ｈ）＝ｂ、 ｅ＝（１／ａ）×（ａ×ａ−ｂ×ｂ）^1/2 により求める。ここで、Ｅ（Ｐ、Ｑ）は点Ｐと点Ｑのユ
ークリッド距離である。

【０２１１】このようにして求めたパラメータから、焦
点ＦとＧは、 Ｆ＝Ｃ＋ｅ×（Ｐ０−Ｃ）、 Ｇ＝Ｃ−ｅ×（Ｐ０−Ｃ） により求めることができる。

【０２１２】このようにして、楕円の代表点Ｆ、Ｇおよ
びＨは決定されるが、これらの点を別のフレームにおい
て取り出された楕円の代表点と結びつける際にはあいま
いさが生じる。すなわち、抽出された２つの焦点と１つ
前のフレームにおける２つの焦点とを結びつける組み合
わせは２通り存在する。また、短軸と楕円との交点は２
つあるため、１つ前のフレームにおいて抽出された楕円
上の一点と対応する交点がどちらなのかがわからない。
そこで、これらを決定する方法について説明する。

【０２１３】１フレーム前に抽出された２つの焦点をＦ
_ｐ、Ｇ_ｐとする。Ｆ_ｐに対応するのがＦであるのかＧで
あるのかを判断するために、Ｅ（（Ｇ_ｐ−Ｆ_ｐ）／２，
（Ｇ−Ｆ）／２）とＥ（（Ｇ_ｐ−Ｆ_ｐ）／２，（Ｆ−
Ｇ）／２）とを比較する。前者の方が小さい場合には、
Ｆ_ｐはＦに対応させ、Ｇ_ｐはＧに対応させる。一方、後
者の方が小さい場合には、その逆に、Ｆ_ｐはＧに対応さ
せ、Ｇ_ｐはＦに対応させる。

【０２１４】また、１つ前のフレームにおける短軸と楕
円との交点をＨ_ｐとし、現フレームの短軸と楕円との２
つの交点をＨ、Ｈ’とする。Ｈ_ｐと対応付ける点として
ＨとＨ’のどちらを選択するかは２つの距離、Ｅ（Ｈ_ｐ
−（Ｇ_ｐ＋Ｆ_ｐ）／２，Ｈ−（Ｆ＋Ｇ）／２）とＥ（Ｈ
_ｐ−（Ｇ_ｐ＋Ｆ_ｐ）／２，Ｈ’−（Ｆ＋Ｇ）／２）とを
算出することにより決定する。前者が小さい場合にはＨ
を選択し、そうでない場合にはＨ’を選択する。なお、
はじめのフレームにおける短軸と楕円との交点Ｈは２つ
のうちのどちらを選択してもよい。

【０２１５】以上の処理によって取り出された代表点
は、映像中の注目物体の移動や撮影カメラの移動によ
り、連続するフレームにおいて位置が異なるのが普通で
ある。そこで、対応する楕円の代表点を時系列に並べ、
Ｘ座標、Ｙ座標毎にスプライン関数により近似を行う。
本実施例では、楕円の代表点であるＦ、Ｇ、Ｈの３点
（図４１参照）それぞれについてＸ、Ｙ座標のスプライ
ン関数が必要になるので、合計６つのスプライン関数が
生成される。

【０２１６】図３９の（ｃ）の２０３は近似されたスプ
ライン関数を３次元的に表現したものである。図３９Ｄ
の２０４は代表点関数近似部１０４の出力であるスプラ
イン関数の一例である（１つの代表点の１つの座標軸に
ついてのみ示している）。この例は、近似区間がｔ＝０
〜５とｔ＝５〜１６の２つに分割された場合（節点が３
つとなった場合）を示している。

【０２１７】このようにして得られたスプライン関数は
予め定めておいたデータ形式に従って領域データ記憶部
１０６に記録される。

【０２１８】以上のように本実施例では、映像中の物体
の領域を、その近似図形の代表点の時系列的な軌跡（フ
レーム番号あるいはタイムスタンプを変数とする代表点
の座標の軌跡）を近似した曲線のパラメータとして記述
することができる。

【０２１９】本実施例によれば、映像中の物体の領域を
関数のパラメータのみによって表現できるため、データ
量が少なく、ハンドリングの容易な物体領域データを生
成することができる。また、近似図形からの代表点の抽
出や、近似曲線のパラメータの生成も容易に行うことが
できる。また、近似曲線のパラメータから近似図形を生
成することも容易に行うことができる。

【０２２０】また、この近似図形として基本的な図形、
例えば一つまたは複数の楕円を用い、例えば楕円を二つ
の焦点と他の１点により代表させれば、ユーザにより指
定された任意の座標が物体の領域（近似図形）内か否か
（物体の領域を指示しているか否か）を簡単な判定式に
より判定することができる。さらに、これによって、ユ
ーザによる映像中の動く物体の指示をより容易にするこ
とができる。

【０２２１】以下では、領域データ記憶部１０６に格納
される物体領域データのデータ形式について説明する。
なお、ここでは、代表点をスプライン関数により近似す
る場合を例にとって説明するが、もちろん、代表点を他
の関数により近似する場合も同様である。

【０２２２】図４２に、映像中の物体の領域を表すスプ
ライン関数と、物体に関連付けられた関連情報とを記録
するための物体領域データのデータ形式の一例を示す。

【０２２３】ＩＤ番号４００Ｂは、物体毎に付与される
識別番号である。なお、このデータは省略されてもよ
い。

【０２２４】先頭フレーム番号４０１Ｂと最終フレーム
番号４０２Ｂは、当該ＩＤ番号の物体の存在を定義する
最初と最後のフレーム番号であり、具体的には、映像中
で物体が登場し消えるまでのフレーム番号である。ただ
し、現実に映像中で物体が登場し消えるまでのフレーム
番号ではなく、例えば映像中で物体が登場したときより
後の任意のフレーム番号を先頭フレーム番号としてもよ
いし、また先頭フレーム番号以降でかつ映像中で物体が
消えたときより前の任意のフレーム番号を最終フレーム
番号としてもよい。なお、先頭／最終フレーム番号は先
頭／最終タイムスタンプで代用することもできる。ま
た、最終フレーム番号４０２Ｂは、物体存在フレーム数
または物体存在時間に置き換えてもよい。

【０２２５】関連情報へのポインタ（以下、関連情報ポ
インタとも言う）４０３Ｂは、当該ＩＤ番号の物体に関
連付けられた関連情報データの記録してあるデータ領域
のアドレスなどである。関連情報へのポインタ４０３Ｂ
を使うことにより、物体に関する関連情報を検索したり
表示したりすることが容易にできる。また、関連情報へ
のポインタ４０３Ｂはプログラムや計算機の動作を記述
したデータへのポインタであってもよい。この場合に
は、当該物体がユーザにより指定されると、計算機が所
望の動作を行うことになる。

【０２２６】なお、関連情報へのポインタ４０３Ｂは、
例えば、物体により異なる動作をさせる必要のない場合
には、省略することができる。

【０２２７】なお、以下の説明では、物体領域データ内
に関連情報へのポインタを記述する場合について説明す
るが、物体領域データ内に関連情報そのものを記述する
ようにしてもよい。また、物体領域データ内に関連情報
へのポインタと関連情報そのものを任意に記述可能とし
てもよい。この場合には、物体領域データ内に記述され
ているのが関連情報へのポインタか関連情報そのものか
を示すフラグを付加すればよい。

【０２２８】近似図形数４０４Ｂは、物体の領域を近似
している図形の数である。図３９の例においては、一つ
の楕円で物体領域を近似しているので、図形の数は１と
なる。

【０２２９】近似図形データ４０５Ｂは、近似図形を表
現するための図形代表点の軌跡データ（例えばスプライ
ン関数のパラメータ等）である。なお、近似図形データ
４０５Ｂは、近似図形数４０４Ｂに相当する数だけ存在
する。近似図形数４０４Ｂが２以上の場合については後
述する。また、物体領域データにおいて、近似図形数４
０４Ｂは常に１つとし（従って近似図形データ４０５Ｂ
も常に１つとなる）、近似図形数４０４Ｂのフィールド
を省くようにしてもよい。

【０２３０】次に、図４３に、図４２の近似図形データ
４０５Ｂのデータ構造の一例を示す。

【０２３１】図形種ＩＤ１３００Ｂは、近似図形として
どのような図形を用いているかを示すためのデータであ
り、円、楕円、矩形、多角形などを特定する。

【０２３２】代表点数１３０１Ｂは、図形種ＩＤで特定
される図形を代表する点の数を幾つ必要とするかを表
す。

【０２３３】１組の代表点軌跡データ１３０２Ｂ，１３
０３Ｂ，１３０４Ｂは、図形の代表点の軌跡を表現する
スプライン関数に関するデータ領域である。一つの図形
代表点につき、Ｘ座標、Ｙ座標、Ｚ座標のスプライン関
数データが必要になる。従って、スプライン関数を特定
する代表点軌跡データは、代表点数（Ｍ）×３だけ存在
する。

【０２３４】代表点のＺ座標は第２実施例で説明した図
１９〜図２３の方法により求めても良いし、他の手法を
用いて求めても良い。

【０２３５】なお、使用する近似図形の種類を予め１種
類、例えば楕円、に限定することも可能である。この場
合には、図４２の図形種ＩＤのフィールドを省くことも
可能である。

【０２３６】また、図形種ＩＤによって代表点数が一意
に特定される場合には、代表点数を省くことも可能であ
る。

【０２３７】次に、図４４に、代表点軌跡データ１３０
２Ｂ，１３０３Ｂ，または１３０４Ｂのデータ構造の一
例を示す。

【０２３８】接点フレーム番号１４００Ｂは、スプライ
ン関数の節点を表しており、この節点まで多項式のデー
タ１４０３Ｂが有効であることを示している。多項式の
係数データの数は、スプライン関数の最高次数により変
化する（最高次数をＫとすると、係数データの数はＫ＋
１となる）。そのため、多項式次数１４０１Ｂを参照す
る。多項式次数１４０１Ｂの後には、（多項式次数＋
１）個に相当する数の多項式係数１４０２Ｂが続く。

【０２３９】また、スプライン関数は節点間で別の多項
式で表現されるため、接点の数に対応した数の多項式が
必要になる。従って、節点フレーム番号、多項式の係数
などを含むデータ１４０３Ｂは、複数繰り返し記述され
る。節点フレーム番号が最終フレームと等しくなった場
合には、それが最後の多項式係数データであることを意
味しているので、代表点軌跡データが終わることがわか
る。

【０２４０】上記説明は代表点毎に奥行き情報（ここで
は代表点軌跡データＺ）を記述したが、第２実施例の図
１７のように対象物体毎に１つ奥行き情報を記述するこ
とも可能である。この場合のデータ構造を図４５に示
す。

【０２４１】図形種ＩＤ１３００Ｂ、代表点数１３０１
Ｂ、代表点軌跡データ組１３０２Ｂ，１３０３Ｂに加え
て奥行き情報１３０６Ｂを記述する。この奥行き情報１
３０６Ｂは図１８に示すものである。

【０２４２】次に、近似図形として楕円以外の図形を用
いた場合について説明する。

【０２４３】図４６は、近似図形として平行四辺形を用
いた場合の代表点を説明するための図である。点Ａ，
Ｂ，Ｃ，Ｄが平行四辺形の頂点である。これらのうち３
点が決まれば残りの１点も一意に決まるため、代表点と
しては４頂点のうちの３頂点とすれば十分である。この
例では、Ａ，Ｂ，Ｃの３点を代表点としている。

【０２４４】さて、これまでは一つの物体に対して一つ
の図形を割り当てて、物体の領域を大まかに表す例を中
心に説明をしてきたが、一つの物体の領域を複数の図形
により近似し、近似精度を向上させることも可能であ
る。図４７は、一つの物体を数の図形で近似した例であ
る。この例では画像中の人の領域を６００Ｂから６０５
Ｂまでの６つの楕円により表している。

【０２４５】一つの物体を図４７のように複数の図形で
表す場合には、物体を複数の領域に分割する処理が必要
となる。この処理にはどのような方法が用いられていて
も良いが、例えば人手で直接入力する方法がある。この
場合、例えば、マウス等のポインティングデバイスを用
いて、画像上で領域を矩形や楕円で囲む、あるいはポイ
ンティングデバイスの軌跡により領域を指定する、など
の操作で実現することができる。また、人手ではなく自
動で行う場合には、例えば、物体の動きのクラスタリン
グで実現する方法がある。これは、連続するフレーム間
で物体中の各領域がどのような動きをしたかを相関法
（例えば画像解析ハンドブック、第ＩＩ部第３章、東京
大学出版会、１９９１を参照）や勾配法（例えば、Ｄｅ
ｔｅｒｍｉｎｉｎｇ ｏｐｔｉｃａｌ ｆｌｏｗ，Ｂ．
Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ．Ｇ．Ｓｃｈｕｎｃｋ，
Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖ
ｏｌ．１７，ｐｐ．１８５−２０３，１９８１を参照）
などにより求め、これらの動きの似ているものだけをま
とめて領域を形成する方法である。

【０２４６】このようにして分割された各領域に対して
は、それぞれについて上述した処理を施すことにより、
近似図形データを生成することが可能である。この場
合、一つの物体の物体領域データに記述すべきスプライ
ン関数が近似図形の増加に応じて増えることになるた
め、図４８で表されるように近似図形データ４０５Ｂ
を、近似図形数４０４Ｂに相当する数（この場合、Ｌ
個）だけ含むデータ構造となる。

【０２４７】なお、前述したように物体領域データにお
いて近似図形数を常に１つとし（従って近似図形データ
も常に１つとなる）、近似図形数のフィールドを省くよ
うにする場合において、一つの物体を複数の図形で表す
ためには、一つの物体を近似する各図形毎に、物体領域
データを生成すればよい（それらは同じＩＤ番号を有す
ることになる）。

【０２４８】なお、本実施例では、一つの物体を複数の
図形で表す場合に、同一の図形を用いるものとしている
が、複数種類の図形を混在して使用可能としてもよい。

【０２４９】さらに、図形近似の変形例として矩形によ
る近似方法について説明する。

【０２５０】図４９の（ａ）から（ｃ）は、図３９の
（ａ）から（ｃ）と同じ形式の図であるが、ここでは、
領域図形近似部としては矩形による領域の近似方法を用
い、図形代表抽出部としては矩形の４つの頂点を抽出す
る方法を用い、代表点関数近似部としてはスプライン関
数による近似方法を用いた場合を例としている。

【０２５１】図４９の（ａ）において、２８００Ｂは処
理対象となっている映像中の１フレームを示している。
２８０１Ｂは抽出対象となっている物体の領域を示して
いる。２８０２Ｂは物体の領域を矩形で近似したもので
ある。

【０２５２】ここで、例えば図４９の（ａ）において矩
形２８０２Ｂを求める場合の処理手順の一例を図５０に
示す。すなわち、フレーム２８００Ｂのマスク画像を例
えばラスタースキャンし（ステップＳ６０Ｂ）、対象画
素が物体領域内であるときに（ステップＳ６１Ｂ）、Ｘ
座標とＹ座標のそれぞれについて、それまで保存されて
いる最小値より小さい場合には最小値を更新し、それま
で保存されている最大値より大きい場合には最大値を更
新する（ステップＳ６２Ｂ）ことを、全ての画素につい
て繰り返しチェックすることによって、Ｘ座標とＹ座標
のそれぞれについて物体領域を示す画素位置の最小値お
よび最大値を求めれば、矩形２８０２Ｂの４つの頂点座
標を得ることができる。

【０２５３】ところで、矩形より楕円で物体領域を表現
する方が適当な場合もある。図５１に、物体の領域が矩
形で表される場合に、その矩形から近似楕円を求める方
法の一例を示す。図５２に、この場合の処理手順の一例
を示す。

【０２５４】図５１において、対象物体領域３３００Ｂ
と外接矩形３３０１Ｂが得られているものとする。

【０２５５】まず、近似矩形の内接楕円および外接楕円
を求める（ステップＳ８０Ｂ）。

【０２５６】図５１において、楕円３３０２Ｂは矩形３
３０１Ｂの内接楕円であり、楕円３３０３Ｂは矩形３３
０１Ｂの外接楕円である。

【０２５７】次に、内接楕円３３０２Ｂの大きさを少し
ずつ外接楕円３３０３Ｂに近づけていき（ステップＳ８
１Ｂ）、物体領域を全て包含する楕円３３０４Ｂを求め
（ステップＳ８２Ｂ）、近似楕円とする。なお、繰り返
し処理において、一回に内接楕円３３０２Ｂの大きさを
拡大する単位は、予め定めておいてもよいし、内接楕円
３３０２Ｂの大きさと外接楕円３３０３Ｂの大きさの差
分に応じて決定してもよい。

【０２５８】また、上記とは逆に、外接楕円３３０３Ｂ
の大きさを内接楕円３３０２Ｂに近づけていってもよ
い。この場合には、外接楕円３３０３Ｂは最初から物体
領域を全て包含しているので、例えば、繰り返し処理に
おいて、始めて物体領域に包含されない部分を生じた楕
円の、一回前における楕円を、近似楕円とすればよい。

【０２５９】次に、図４３、図４４で例示した近似図形
データ構造と代表点軌跡データとは別のデータ構造を説
明する。

【０２６０】図５３、図５４は、近似図形データおよび
代表点軌跡データの記述フォーマットの他の例である。
なお、図５３、図５４では、代表点軌跡データの部分に
ついては、１つの代表点についてのみ示してある。実際
には、代表点の個数に対応して記述される。

【０２６１】ここでは、多項式の最高次数を２次として
説明する。

【０２６２】前述した例（図４２、図４３、図４４）で
は、多項式スプライン関数の全ての係数を記述していた
のに対して、ここでの記述方法では、スプライン関数の
節点の座標と、スプライン関数の２次の係数に関連する
値との組み合わせにより記述する。この記述方法の利点
は、節点が容易に取り出せるため、大まかな物体の軌跡
が簡単にわかるという点である。

【０２６３】以下、この記述方法について詳細に説明す
る。

【０２６４】図５３、図５４中、図形種ＩＤ３９００Ｂ
は、物体の形の近似に用いた図形の種類を特定する。例
えば、物体の重心のみ（ＣＥＮＴＲＯＩＤ）、矩形（Ｒ
ＥＣＴＡＮＧＬＥ）、楕円（ＥＬＬＩＰＳＥ）や、それ
らの組み合わせを指定できる。代表点数３９０１Ｂは、
図形の種類によって定まる代表点軌跡の数を表す。

【０２６５】節点数Ｎ３９０２Ｂは、代表点軌跡を表す
スプライン関数の節点の数を表す。各節点に対応するフ
レームは、時間として表され、節点時刻３９０３Ｂに格
納される。節点時刻３９０３Ｂは、設定数だけあるた
め、配列３９０４Ｂとして記述しておく。

【０２６６】同様に、各節点のｘ座標、ｙ座標、ｚ座標
もそれぞれ節点Ｘ３９０５Ｂ、節点Ｙ３９０７Ｂ、節点
Ｚ３９０９Ｂの配列３９０６Ｂ，３９０８Ｂ、３９１０
Ｂとして記述される。

【０２６７】一次関数フラグ３９１１Ｂは、節点間のス
プライン関数として一次関数だけが用いられているかど
うかを表す。一部分でも２以上の多項式を用いる場合に
は、このフラグはオフにしておく。このフラグを用いる
ことにより、近似関数として一次関数のみに使われる場
合に以下で説明する関数特定情報３９１２Ｂ、３９１６
Ｂ、３９２０Ｂを１つも記述しなくて済むため、データ
量を削減できるというメリットがある。なお、必ずしも
このフラグは必要ではない。

【０２６８】関数特定情報３９１２Ｂ、３９１６Ｂ、３
９２０Ｂに含まれる関数ＩＤ３９１３Ｂ、３９１７Ｂ、
３９２１Ｂ、関数パラメータ３９１４Ｂ、３９１８Ｂ、
３９２２Ｂはそれぞれ多項式スプライン関数の次数と、
その係数を特定するための情報を表す。

【０２６９】関数特定情報は、Ｘ，Ｙ，Ｚ座標のそれぞ
れについて、（節点数−１）に相当する個数のものが存
在し、これらは配列となって記述される。

【０２７０】なお、上記では、多項式の最高次数を２次
として説明したが、もちろん、多項式の最高次数を３次
以上とすることも可能である。

【０２７１】図５３、図５４は代表点毎に奥行き情報を
記述したが、第２実施例の図１７のように対象物体毎に
１つ奥行き情報を記述することも可能である。この場合
のデータ構造を図５５、図５６に示す。

【０２７２】図５５に示す物体領域データは図８と同様
に、図形種ＩＤ７００Ｂ、物体出現時間７０１Ｂ、物体
存在期間７０２Ｂ、代表点数Ｍ７０３Ｂ、代表点軌跡７
０４Ｂ、奥行き情報７０５Ｂを含む。代表点軌跡７０４
Ｂは図５６に示すように、図５３、図５４に示す近似図
形データから図形種ＩＤ３９００Ｂ、代表点数３９０１
Ｂ、節点Ｚ配列３９１０Ｂ、関数特定情報配列３９２３
Ｂを省略したものである。

【０２７３】第６実施例は物体領域を近似する図形の代
表点の座標そのものの軌跡を記述する場合に、第２実施
例の奥行き情報も付帯する例を説明したが、第３実施例
（表示フラグ）、第４実施例（物体範囲情報）、第５実
施例（パノラマ変換のためのパラメータ）は物体領域を
近似する図形の代表点の座標そのものの軌跡を記述する
場合にも同様に適用できることが理解される。

【０２７４】第７実施例 第７実施例として任意のフレームにおける物体領域を参
照フレームにおける参照物体領域と、該参照物体領域か
ら任意のフレームにおける物体領域への変換パラメータ
とにより表現する場合に、第２実施例の奥行き情報も付
帯する例を説明する。

【０２７５】図５６は第７実施例に係る物体領域情報生
成装置の構成例を示す。この物体領域情報生成装置は、
映像データ記憶部２Ｃ、物体領域処理部４Ｃ、変換パラ
メータ算出部６Ｃ、関数近似部８Ｃ、物体領域データ記
憶部１０Ｃを備えている。

【０２７６】映像データ記憶部２Ｃは、映像データが記
憶されているもので、例えばハードディスクや光ディス
ク、半導体メモリなどで構成される。なお、映像データ
記憶部は他の処理部と同一サイトにある必要はなく、イ
ンターネット等を介して遠隔地に配置されていてもよ
い。

【０２７７】物体領域処理部４Ｃは、基準となるフレー
ムの物体領域（参照物体領域）や対象となるフレームの
物体領域（対象物体領域）を得るための処理を行う。

【０２７８】変換パラメータ算出部６Ｃは、参照物体領
域をもとにして、対象物体領域の変換パラメータを算出
する処理を行う。

【０２７９】関数近似部８Ｃは、物体領域の変換パラメ
ータの各々について、その時系列的な軌跡を時間関数に
近似する処理を行う。なお、後述するように、変換パラ
メータ自体を記述する場合には、この関数近似部８は不
要となる。

【０２８０】物体領域データ記憶部１０Ｃは、変換パラ
メータの各々について、その時系列的な軌跡を近似した
関数式を表現するデータを含む物体領域データを記憶す
る。

【０２８１】なお、本実施例では、参照物体領域の更新
処理を行うことが好ましいが、その部分は図５７では省
略している。

【０２８２】映像データ記憶部２Ｃおよび物体領域デー
タ記憶部１０Ｃは、別々の記憶装置・記憶媒体によって
構成されていてもよいが、それらの全部または一部が同
一の記憶装置・記憶媒体によって構成されていてもよ
い。

【０２８３】また、本物体領域情報生成装置は、計算機
上でソフトウェアを実行する形で実現することもでき
る。

【０２８４】図５８に、本実施例の物体領域情報生成装
置の処理手順の一例を示す。

【０２８５】まず、ステップＳ１０１Ｃでは、映像中の
全てのフレームの物体領域（これは既知であるとする）
を入力する処理を行う。例えば、ＧＵＩを介して入力す
る場合は、処理対象となる映像中の物体の輪郭をマウス
やタッチパネル等のポインティングデバイスにより指定
する。手動で入力された物体の輪郭内部を物体領域とし
てもよいし、また、入力された輪郭をＳｎａｋｅｓとよ
ばれる動的輪郭モデル（例えばＭ．Ｋａｓｓ， Ａ．Ｗ
ｉｔｋｉｎ ａｎｄ Ｄ．Ｔｅｒｚｏｐｏｕｌｓ著、
「Ｓｎａｋｅｓ： Ａｃｔｉｖｅ ｃｏｎｔｏｕｒ ｍ
ｏｄｅｌｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ
１^ｓｔ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅ
ｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｐ
ｐ．２５９−２６８， １９８７年を参照）を用いた手
法により画像中の物体の輪郭線にフィッティングさせ、
フィッティング後の輪郭の内部を物体領域としても良
い。なお、手動で入力する代わりに画像処理により自動
的に求めてもよいまた、物体領域に関するデータが既に
存在している場合は、そのデータを読込んでもよい。

【０２８６】この物体領域のうち、少なくとも一つを、
参照物体領域として登録しておく。登録方法としては、
物体の領域内には１を、領域外には０をそれぞれ対応さ
せた２値のビットマップを作成し、記憶しておく方法が
ある。

【０２８７】また、参照物体領域の含まれるフレーム
を、参照フレームとして登録しておく。

【０２８８】次に、ステップＳ１０２Ｃでは、参照物体
領域から処理対象となっている１つのフレームにおける
物体領域（以下、対象物体領域と呼ぶ）への変換パラメ
ータを算出する処理を行う。

【０２８９】この処理は、例えば、対象物体領域内のオ
プティカルフロー算出処理とオプティカルフローからの
変換パラメータ算出処理との２つの処理の組み合わせに
より実現することができる。対象物体領域内のオプティ
カルフロー算出処理は、参照フレームから現フレームに
かけての物体領域内の各画素（もしくは数画素からなる
ブロック）の動き（オプティカルフロー）を算出する処
理である。

【０２９０】図５９に、各フレームにおいて物体領域内
のオプティカルフローを求める処理例の概要を示す。

【０２９１】図５９において、２０１Ｃは参照フレー
ム、２０２Ｃは参照フレームの次のフレーム、そして２
０３Ｃはフレーム２０２Ｃの次のフレームを表してい
る。２０４Ｃ，２０５Ｃ，２０６Ｃはそれぞれのフレー
ムにおける物体の領域である。２０７Ｃはフレーム２０
１Ｃからフレーム２０２Ｃへの物体領域のオプティカル
フローである。また、２０８Ｃはフレーム２０１Ｃから
フレーム２０３Ｃへの物体領域のオプティカルフローで
ある。

【０２９２】このようにオプティカルフローを求める方
法は、参照物体領域と任意のフレームにおける物体領域
を直接関係させることができるため、任意フレームの物
体領域を算出したり、指定された座標が物体の内部か外
部かを判定したりする処理が容易である。

【０２９３】図５９の例では参照フレームから現フレー
ムにかけての物体領域内の各画素（もしくは数画素から
なるブロック）のオプティカルフローを求めたが、その
代わりに、一つ前のフレームから現フレームにかけての
物体領域内の各画素（もしくは数画素からなるブロッ
ク）のオプティカルフローを求めるようにしても良い。
図６０に、この場合の処理例の概要を示す。

【０２９４】図６０において、３０１Ｃは参照フレー
ム、３０２Ｃは参照フレームの次のフレーム、そして３
０３Ｃはフレーム３０２Ｃの次のフレームを表してい
る。３０４Ｃ，３０５Ｃ，３０６Ｃはそれぞれのフレー
ムにおける物体の領域である。３０７Ｃはフレーム３０
１Ｃからフレーム３０２Ｃへの物体領域のオプティカル
フローである。また、３０８Ｃはフレーム３０２Ｃから
フレーム３０３Ｃへの物体領域のオプティカルフローで
ある。

【０２９５】このようなオプティカルフローの算出方法
は、図５９の方法に比べてパラメータの変動が少なくな
るが、任意フレームの物体領域の算出が面倒になる。図
５９と図６０のどちらの方法を用いても構わないが、本
実施例では、図５９の方法でオプティカルフローを算出
するものとして説明を続ける。

【０２９６】なお、オプティカルフローを求める具体的
な方法は多数提案されており（例えば、Ｊ．Ｌ．Ｂａｒ
ｒｏｎ， Ｄ．Ｊ．Ｆｌｅｅｔ ａｎｄ Ｓ．Ｓ．Ｂｅ
ａｕｃｈｅｍｉｎ著、「Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ
Ｏｐｔｉｃａｌ ＦｌｏｗＴｅｃｈｎｉｑｕｅｓ」、
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ
Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｖｏｌ．１２，
ｎｏ．１， ｐｐ．４３−７７， １９９４年を参
照）、どのような方法でも用いることが可能である。

【０２９７】また、参照物体領域内の特徴点を複数選択
し、これら特徴点を中心とするブロックをテンプレート
とするテンプレートマッチングにより求めた移動ベクト
ルをオプティカルフローの代わりに用いても良い。

【０２９８】次に、オプティカルフローから変換パラメ
ータを算出する処理を行うが、求める変換パラメータは
前提とする変換モデルにより異なる。

【０２９９】本実施例では、パラメータ数が１のモデル
として、「拡大縮小モデル」、「回転モデル」、パラメ
ータ数が２のモデルとして、「平行移動モデル」、パラ
メータ数が４のモデルとして、「拡大縮小／回転／平行
移動モデルの複合モデル」（ここでは４−ｐａｒａｍｅ
ｔｅｒ変換モデルと呼ぶ）、パラメータ数が６のモデル
として、「ａｆｆｉｎｅ変換モデル」、パラメータ数が
８のモデルとして、「射影変換モデル」、パラメータ数
が１２のモデルとして、「ｐａｒａｂｏｌｉｃ変換モデ
ル」が選択できるものとする。

【０３００】これらのモデルを数式で表したのが数式
（１）から数式（７）である。

【０３０１】 ｘ´＝ａ_０ｘ， ｙ´＝ａ_０ｙ （１） ｘ´＝ｘｃｏｓａ_０−ｙｓｉｎａ_０， ｙ´＝ｘｃｏｓａ_０＋ｙｓｉｎａ_０ （２） ｘ´＝ｘ＋ａ_０， ｙ´＝ｙ＋ａ_１ （３） ｘ´＝ａ_０ｘ＋ａ_１ｙ＋ａ_２， ｙ´＝ａ_１ｘ−ａ_０ｙ＋ａ_３ （４） ｘ´＝ａ_０ｘ＋ａ_１ｙ＋ａ_２， ｙ´＝ａ_３ｘ＋ａ_４ｙ＋ａ_５ （５） ｘ´＝（ａ_０ｘ＋ａ_１ｙ＋ａ_２）／（ａ_３ｘ＋ａ_４ｙ＋１）， ｙ´＝（ａ_５ｘ＋ａ_６ｙ＋ａ_７）／（ａ_３ｘ＋ａ_４ｙ＋１） （６） ｘ´＝ａ_０ｘ^２＋ａ_１ｘｙ＋ａ_２ｙ^２＋ａ_３ｘ＋ａ_４ｙ＋ａ_５， ｙ´＝ａ_６ｘ^２＋ａ_７ｘｙ＋ａ_８ｙ^２＋ａ_９ｘ＋ａ_１０ｙ＋ａ_１１ （７） 数式（１）は拡大縮小モデル、数式（２）は回転モデ
ル、数式（３）は平行移動モデル、数式（４）は４−ｐ
ａｒａｍｅｔｅｒ変換モデル、数式（５）はａｆｆｉｎ
ｅ変換モデル、数式（６）は射影変換モデル、数式
（７）はｐａｒａｂｏｌｉｃ変換モデルに相当する。数
式中、参照物体領域中の座標を（ｘ，ｙ）、対象物体領
域における物体の対応点の座標を（ｘ’，ｙ’）として
いる。各変換モデルでは、両フレームにおける対応点の
関係が、それぞれの数式のようにａ₀〜ａ₁₁のパラメー
タを用いて表現できることを仮定している。もちろん、
上述したモデル以外のパラメトリックなモデルを用意し
ても構わない。

【０３０２】変換パラメータの算出には、最小二乗法を
用いることができる。これは、オプティカルフローによ
り求められた（ｘ，ｙ）と（ｘ’，ｙ’）との組み合わ
せを変換モデルの数式に代入した際に生じる誤差の２乗
和を最小とするように変換パラメータを決定する方法で
ある。これは古典的な方法で、行列演算で容易に実行す
ることができる。

【０３０３】次に、ステップＳ１０３Ｃでは、算出した
物体領域の変換パラメータを時間関数へ変換（近似）す
る処理を行う。

【０３０４】すなわち、ある時間区間におけるｎ個の変
換パラメータａ_i（０≦ｉ≦ｎ−１）（例えば、ｎ＝１
２）を、 ａ_i＝ｆ_i（ｔ） （ｆ_i（ｔ）は時間ｔの関数） と表現する。この時間区間とは、同一の参照物体領域を
用いてオプティカルフローを算出したフレームが含まれ
る時間区間である。また、ｆ_i（ｔ）は多項式、スプラ
イン関数、定数などとすることができる。

【０３０５】図６１に、オプティカルフローから算出さ
れた（ある１つの）ａ_iを関数により表現した様子を示
す。図６１において、４０１Ｃは関数表現の対象となっ
ている時間区間、４０２Ｃはオプティカルフローから算
出されたａ_iの値、４０３Ｃはａ_iを表現する関数ａ_i＝
ｆ_i（ｔ）を表している。

【０３０６】このように関数により表現するメリット
は、物体領域を記述するデータを少なくできることであ
る。例えば、関数として２次以下の多項式を用いるとす
ると、この関数は３つの実数により表現することができ
るため、ある時間区間全てのパラメータの値を記述する
のに３つの実数で十分になる。

【０３０７】パラメータを表現する関数を多項式やスプ
ライン関数とする場合には、変換対象となっている時間
区間におけるａ_iの値とｆ_i（ｔ）により算出される値と
の誤差が小さくなるように決定する。例えば、最小二乗
法を利用すれば容易に計算ができる。

【０３０８】なお、この近似関数を求める処理は、例え
ば、当該物体領域に関する各フレームにおけるパラメー
タ値が得られる毎に行う（例えば各フレームのパラメー
タ値が得られる毎に近似を行うとともに近似誤差を求
め、近似誤差が一定の範囲に収まるように近似区間を適
宜分割する方法）ようにしてもよいし、参照物体領域が
更新されて参照物体一定区間が定まった後に一括して行
うようにしてもよい。

【０３０９】このステップＳ１０３Ｃの処理手順につい
ては後でより詳細に説明する。

【０３１０】次に、ステップＳ１０４Ｃでは、参照物体
領域の更新の必要性の判定処理を行う。

【０３１１】本実施例は、任意のフレームにおける物体
の領域を、参照フレームにおける参照物体領域と、参照
物体領域の変換パラメータとにより表現するものであ
る。しかし、表現したい物体領域と参照物体領域とがあ
まりに異なった形状である場合には、変換パラメータに
より参照物体領域を移動／変形しても、表現したい物体
領域に似ている形状が得られない。このような場合に
は、参照物体領域を別のフレームにおける物体領域に変
更（参照領域の更新）するのが効果的である。そこで、
本実施例では、ステップＳ１０４Ｃにて、そのような変
更が必要であるか否かを判定するようにしている。

【０３１２】この判定には、例えば、あるフレームの実
際の物体領域と予測物体領域との誤差があらかじめ定め
られているしきい値を上回るかどうかにより判断する方
法を用いることができる。予測物体領域とは、変換パラ
メータを用いて参照物体領域から算出したあるフレーム
の物体領域のことである。変換に用いる変換パラメータ
は、時間関数ａ_i＝ｆ_i（ｔ）から算出した値を用いる。
さらに、実際の物体領域と予測物体領域との誤差として
は、例えば、両領域の共通部分の面積と共通しない部分
の面積との比を用いることができる。

【０３１３】次に、ステップＳ１０５Ｃでは、先のステ
ップＳ１０４Ｃの判定処理において参照物体領域の更新
が決定された場合に、参照物体領域更新処理を行う。こ
の処理は、基本的にはステップＳ１０１Ｃの処理と同様
である。すなわち、現在ステップＳ１０２Ｃの変換パラ
メータを算出する処理の対象となっているフレームを参
照フレームとして登録し、参照物体領域を表現する２値
のビットマップを作成する処理である。また、参照フレ
ームにおける物体領域を参照物体領域として登録してお
く。

【０３１４】次に、ステップＳ１０６Ｃでは、映像中の
物体領域の記述処理が終了かどうかを判定する。この判
定基準としては、例えば、ビデオの終端かどうか、物体
領域存在区間の終端かどうか、ユーザにより終了が指示
されたかどうか、などがある。ステップＳ１０２Ｃから
ステップＳ１０４ＣまたはステップＳ１０５Ｃまでの処
理が、ステップＳ１０６Ｃで終了と判定されるまでフレ
ーム毎に繰り返し実行される。

【０３１５】そして、ステップＳ１０７Ｃにおいて、こ
れまでの処理により計算された物体領域の記述情報（変
換パラメータを近似する関数のパラメータ）を、予め定
められた記述フォーマットに従って記録する処理を行
う。記録先は、例えば、計算機の内部もしくは外部の半
導体メモリ、磁気テープ、磁気ディスク、光ディスクな
どの物体領域データ記憶部１０Ｃである。

【０３１６】図６２に、本実施例における１つの物体領
域に対する物体領域データの記述フォーマットの一例を
示す。

【０３１７】図６２において、５０１Ｃは、物体ＩＤ
で、物体に付与された物体固有の識別情報（例えば、番
号または記号）である。５０２Ｃは、参照物体領域一定
区間数で、同一の参照物体領域を有するフレーム区間の
数である（図６２ではＮとしている）。これは参照フレ
ームの数とも等しい。

【０３１８】５０３Ｃおよび５０４Ｃは、それぞれ、物
体領域存在区間の先頭時刻および末尾時刻である。これ
らは時刻もしくはフレーム番号により記述される。末尾
時刻の代わりに物体領域存在区間の長さ（時間もしくは
フレーム番号の差分値）を用いることもできる。５０５
Ｃは、物体領域記述情報である。物体領域記述情報５０
５Ｃは、参照物体領域区間毎に記述され、すなわち参照
物体領域区間数（図６２の例ではＮ個）だけ記述され
る。

【０３１９】５１２Ｃは当該物体領域の奥行き情報であ
り、その詳細は図１８に示したものである。

【０３２０】各々の物体領域記述情報５０５Ｃの具体的
内容は、図６２中の５０６Ｃ〜５１０Ｃに示される。５
０６Ｃおよび５０７Ｃは、それぞれ、参照物体領域区間
の先頭時刻および末尾時刻である。これらは時刻もしく
はフレーム番号により記述される。末尾時刻は参照物体
領域区間の区間長で置き換えることができる。５０８Ｃ
は、変換モデルＩＤである。これは、拡大縮小モデル、
ａｆｆｉｎｅ変換モデル、ｐａｒａｂｏｌｉｃ変換モデ
ルなどのうちどのモデルを用いて物体領域を記述したか
を特定するためのＩＤである。５１１Ｃは、原点座標
で、変換モデルの原点座標を画像のどこにとるかを決定
するものである。原点座標データは、参照物体領域の重
心位置を常に原点とするなどのルールを決めておく場合
には省略することができる。５０９Ｃは、参照物体領域
情報であり、参照物体領域を特定するための情報であ
る。具体的には、参照フレームの時刻（またはフレーム
番号）、参照物体領域を表すビットマップデータ（もし
くはビットマップデータへのポインタ）である。なお、
ビットマップデータは、そのままではデータサイズが大
きいため、圧縮して保存するのが好ましい。５１０Ｃ
は、変換パラメータ情報である。変換パラメータ情報
は、変換モデル（変換モデルＩＤ）により定まるパラメ
ータ数（図６２の例ではＭ個）だけ記述される。変換パ
ラメータは、具体的には、各フレームでのパラメータの
値を示す配列や、パラメータを近似する関数を特定する
情報（係数値など）などである。変換パラメータ情報の
詳細については後で詳細に説明する。

【０３２１】以上の処理により、映像中の時空間的に変
化する物体領域を簡単な記述データとして記録しておく
ことができる。

【０３２２】上述の説明では、ビットマップで物体領域
を表し、参照物体領域から処理対象となっているフレー
ムの物体領域（対象物体領域）への変換パラメータを算
出したが、物体領域を近似図形で近似し、参照物体領域
の近似図形の各代表点から処理対象となっているフレー
ムの物体領域（対象物体領域）の近似図形の対応する各
代表点への変換パラメータを算出してもよい。以下、こ
の例を説明する。

【０３２３】図６３に物体領域情報生成装置の構成例を
示す。この物体領域情報生成装置は、映像データ記憶部
２Ｃ、物体領域処理部４Ｃ、図形近似部５Ｃ、変換パラ
メータ処理部６Ｃ、関数近似部８Ｃ、物体領域データ記
憶部１０Ｃを備えている。図５７の構成に対して図形近
似部５Ｃが追加されたものである。図形近似部５Ｃは物
体領域を近似図形で近似し、その近似図形の各代表点を
求める処理を行うものである。変換パラメータ算出部６
Ｃは、基準となる参照フレームの参照物体領域の近似図
形の代表点をもとにして、対象となるフレームの対象物
体領域の近似図形の代表点への変換パラメータを算出す
る。関数近似部８Ｃは、物体領域の近似図形の代表点の
変換パラメータの各々について、その時系列的な軌跡を
時間関数に近似する。もちろん、本物体領域情報生成装
置も、計算機上でソフトウェアを実行する形で実現する
こともできる。

【０３２４】図６４にこの物体領域情報生成装置の処理
手順の一例を示す。

【０３２５】ステップＳ３０１Ｃは、図５８におけるス
テップＳ１０１Ｃと同様の処理である。

【０３２６】ステップＳ３０２Ｃは、物体領域存在区間
全体にわたり、物体領域をあらかじめ決められた図形に
より近似する処理である。

【０３２７】物体領域を図形近似する処理では、例え
ば、物体領域を囲むなるべく小さな近似図形を見つけ
る。近似に用いる図形としては、傾きのないあるいは傾
きのある矩形（正方形、長方形）、平行四辺形、傾きの
ないあるいは傾きのある楕円（円を含む）、多角形な
ど、種々の図形を用いることができる。また、領域の近
似方法も、領域に外接する図形に近似する方法、領域に
内接する図形とする方法、領域の重心を近似図形の重心
とする方法、領域と近似図形の面積を等しくする方法、
領域と近似図形とが重ならない部分の面積を最小とする
方法など、種々の方法がある。

【０３２８】なお、物体の領域を予め定められた図形に
より近似するのではなく、対象物体（オブジェクト）毎
に図形の種類をユーザが指定できるようにしてもよい
し、対象物体毎にその物体の形状等に応じて図形の種類
を自動的に選択するようにしてもよい。

【０３２９】また、物体領域を近似する図形近似を求め
る処理は、フレーム毎に行っても良いし、もしくは対象
フレームの前後数フレームの物体領域を使って行っても
良い。後者の場合には、近似図形の大きさや位置などの
変化を数フレームの間で平滑化することにより、近似図
形の動きや変形をなめらかにしたり、物体領域の抽出誤
差を目立たなくすることができる。なお、近似図形の大
きさは、フレーム毎に異なって構わない。

【０３３０】物体領域の近似図形が求められたならば、
この近似図形を表現する代表点を抽出する処理が行われ
る。どのような点を代表点とするかは、どのような近似
図形を用いるかにより異なる。例えば、近似図形が矩形
の場合には４つもしくは３つの頂点を代表点とすること
ができ、近似図形が円の場合には中心と円周上の一点と
したり直径の両端点としたりすることができる。また、
楕円の場合には楕円の外接矩形の頂点としたり２つの焦
点と楕円上の１点（例えば短軸上の１点）としたりすれ
ばよい。任意の閉多角形を近似図形とする場合には、各
頂点を図形の代表点とする必要がある。

【０３３１】代表点の抽出は、１フレーム分の近似図形
が得られるたびに、フレーム単位で行う。また、各代表
点は、水平方向の座標ｘと、垂直方向の座標ｙと、によ
り表される。

【０３３２】物体の領域が平行四辺形で表される場合
に、近似楕円を求める方法の一例は図４０に示したもの
と同じである。

【０３３３】楕円を表現する図形代表点として２つの焦
点および１つの楕円上の点を求める方法の一例は図４１
に示したものと同じである。

【０３３４】この他、近似図形として平行四辺形や任意
形状の多角形を用いることもできる。

【０３３５】さらに、このステップＳ３０２Ｃでは、参
照物体領域と参照フレームを設定する。参照物体領域
は、物体領域存在区間の先頭のフレーム（参照フレー
ム）における物体領域近似図形である。また、参照物体
領域近似図形の代表点の位置を併せて記憶しておく。

【０３３６】次に、ステップＳ３０３Ｃでは、処理対象
としているフレームの物体領域近似図形の代表点と、参
照物体領域近似図形の代表点とを対応させる。

【０３３７】図６５に、代表点の対応づけ方法の一例を
示す。図６５において、１０００Ｃは近似矩形（複数）
の重心である。図６５では、参照物体領域近似図形１０
０１Ｃと対象物体領域近似図形１００２Ｃが得られてい
る。

【０３３８】まず、近似図形１００１Ｃと近似図形１０
０２Ｃのいずれかを平行移動させ、重心位置を一致させ
る（重心位置を一致させた状態が図６５である）。次
に、それぞれの矩形の頂点同士の距離ｄ１〜ｄ４を計算
し、全ての頂点の組み合わせで距離の和を求める。そし
て、距離の和が最小となる組み合わせを求め、対応づけ
する。なお、この方法では対応付けが難しい場合があ
る。例えば、近似矩形が正方形に近い形状であり且つ４
５度回転移動している場合には、対応付けが難しい（２
通りの組み合わせにおいて距離の和が同じような値にな
る）。そこで、そのような場合には、近似図形内の物体
領域同士の排他的論理和を取り、その面積が最小となる
組み合わせを採用する方法、あるいは物体領域のテクス
チャの絶対差分を求め、差分値が最小となる組み合わせ
を求める方法などを用いれば良い。

【０３３９】ステップＳ３０４Ｃでは、物体領域近似図
形の代表点の移動ベクトルから変換パラメータを算出す
る。

【０３４０】この処理では、代表点の動きをオプティカ
ルフローの代わりに用いて、図５８のステップＳ１０２
Ｃと同等の処理により変換パラメータを算出する。ただ
し、代表点の数は少ないため、必ずしも変換パラメータ
が求まるとは限らない。例えば、矩形、楕円、平行四辺
形は３つの代表点を持つが、この３つの移動ベクトルか
ら射影変換モデルのパラメータ８個を求めることはでき
ない。図６６に、近似に用いる図形の種類と、変換パラ
メータを求めることができる変換モデルとの関係を示
す。図６６中の○はパラメータが算出できる組み合わ
せ、×は算出できない組み合わせである。

【０３４１】ステップＳ３０５Ｃは、ステップＳ３０４
Ｃで求めた変換パラメータを時間関数により近似する処
理であり、図５８のステップＳ１０３Ｃと同じ処理であ
る。

【０３４２】ステップＳ３０６Ｃは、参照物体領域を更
新する必要があるか否かを判定する処理である。この処
理では、まず、変換パラメータにより参照物体領域を変
換し、現フレームの予測物体領域を算出する。もちろ
ん、参照物体領域の代表点のみを変換パラメータにより
変換し、変換後の代表点により特定される図形を構成し
ても同じ予測物体領域が算出できる。次に、予測物体領
域と現フレームの対象物体領域近似図形との誤差を計算
し、しきい値処理により参照物体領域更新を行うか否か
を判定する。

【０３４３】ステップＳ３０７Ｃは、ステップＳ３０６
Ｃにおいて参照物体領域の更新が必要と判定された場合
に、実際に更新を行う処理である。処理対象のフレーム
を参照フレームとし、当該フレームの物体領域近似図形
を新たな参照物体領域として記憶し、参照物体領域の代
表点の座標値も併せて保持しておく。

【０３４４】ステップＳ３０８Ｃは、図５８のステップ
Ｓ１０６Ｃと同様に映像中の物体領域の記述が終了かど
うかを判定する。

【０３４５】ステップＳ３０９Ｃは、図５８のステップ
Ｓ１０７Ｃと同様に算出した物体領域の情報（変換パラ
メータを近似する関数のパラメータ）を予め定められた
記述フォーマットで記録する処理である。

【０３４６】図６７に、物体領域データの記述フォーマ
ットの一例を示す。この記述フォーマットは、図形情報
１１０９Ｃ以外は、図６２に例示した記述フォーマット
と同じである。図６２の参照物体領域情報５０９Ｃの代
わりの図形情報１１０９Ｃは、図形の種類を特定するＩ
Ｄと、参照物体領域の近似図形の代表点の座標とからな
る。図６７中のＭはＩＤにより特定される図形に必要な
代表点の数を表す。

【０３４７】以上では、ある１つの物体領域に関して全
てのフレームを対象として変換パラメータを求めたが、
変換パラメータを求めるフレームをサンプリングするよ
うにしてもよい。例えば、３フレームに１フレームだけ
サンプリングし、フレーム１から参照物体領域、フレー
ム４，７，…からそれぞれ対象物体領域を用いるなどで
ある。

【０３４８】なお、変換パラメータを時間関数で表現
し、その関数を特定する情報を物体領域データに記述す
る場合には、そのサンプリングされたパラメータ値によ
ってこれまでと同様に関数近似を行えばよい。また、物
体領域データにサンプリングに関する情報を含める必要
はない。

【０３４９】一方、変換パラメータの値を物体領域デー
タに直接記述する場合には、例えば、（１）そのサンプ
リングされなかったフレームのパラメータ値を適宜補間
し（例えば、直前にサンプリングされたフレームと同じ
値を記述する）、物体領域データは図６２と同様とする
か、あるいは、（２）図６８のように、物体領域データ
にサンプリング情報５２０Ｃを持たせ、サンプリングし
た場合にはそのサンプリングしたフレームのパラメータ
値のみを記述し、サンプリング情報５２０Ｃにサンプリ
ング方法を特定可能な情報（例えば、ｎフレームに１回
サンプリングしたことを示す情報として数値ｎ（ただ
し、例えばｎ＝１の場合には全てのフレームからサンプ
リングされたことを示すものとする））を記述すればよ
い。なお、（２）の方法においては、この物体領域情報
を使用する際において、サンプリング情報５２０を参照
することにより、サンプリングされなかったフレームの
パラメータ値を必要に応じて補間することができる。

【０３５０】次に、１つの物体（オブジェクト）を複数
の領域に分けて物体領域データを作成する方法について
説明する。これまでは、１つの物体に対して１つの変換
パラメータを求めていた。しかし、見かけの形状が大き
く変化するような物体の場合、物体をいくつかの領域に
分割し、それぞれの領域に対して変換パラメータを用い
る方が良い場合がある。例えば、歩行している人間で
は、頭や胴体の部分は動きが少ないが、手足は激しく動
作する。人間を１つの物体として扱うよりも、頭／胴体
／手／足と別の領域に分割する方が、各部の変換パラメ
ータを安定して求めることができる。

【０３５１】１つの物体を複数の図形で表す場合には、
物体を複数の領域に分割する処理が必要となる。この処
理にはどのような方法を用いてもよいが、例えば人手で
直接入力する方法がある。この場合、例えば、マウス等
のポインティングデバイスを用いて、画像上で領域を矩
形や楕円で囲む、あるいはポインティングデバイスの軌
跡により領域を指定する、などの操作で実現することが
できる。また、人手ではなく自動で行う場合には、例え
ば、物体の動きのクラスタリングで実現する方法があ
る。これは、連続するフレーム間で物体中の各領域がど
のような動きをしたかを相関法（例えば、画像解析ハン
ドブック、第ＩＩ部、第３章、東京大学出版会、１９９
１を参照）や勾配法（例えば、Ｄｅｔｅｒｍｉｎｉｎｇ
ｏｐｔｉｃａｌ ｆｌｏｗ， Ｂ． Ｋ． Ｐ． Ｈ
ｏｒｎ ａｎｄ Ｂ． Ｇ． Ｓｃｈｕｎｃｋ， Ａｒ
ｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏ
ｌ．１７， ｐｐ．１８５−２０３， １９８１を参
照）などにより求め、これらの動きの似ているものだけ
をまとめて領域を形成する方法である。

【０３５２】図６９に、オプティカルフローの似ている
ものをまとめて領域分割を行う様子を示す。

【０３５３】また、図７０に、物体を複数の領域で記述
するためのデータ構造の一例を示す。これは物体を単一
の領域で記述するデータ構造（図６７）を拡張したもの
であり、２９０６Ｃ以下のデータは図６７と共通であ
る。２９０２Ｃに分割した領域の数を保持し、２９０５
Ｃ以降に各領域のデータを保持する。

【０３５４】第７実施例は任意のフレームにおける物体
領域を参照フレームにおける参照物体領域と、該参照物
体領域から任意のフレームにおける物体領域への変換パ
ラメータとにより表現する場合に、第２実施例の奥行き
情報も付帯する例を説明したが、第３実施例（表示フラ
グ）、第４実施例（物体範囲情報）、第５実施例（パノ
ラマ変換のためのパラメータ）もこのような情報として
記述された物体領域データにも同様に付帯できることが
理解される。

【０３５５】本発明は上述した実施例に限定されず、種
々変形して実施可能である。例えば、これまでの各実施
例においては、物体の領域を近似する図形の代表点とし
て、近似図形を特定するための情報を用いたが、その代
わりに、映像中の物体領域から取り出した複数の特徴的
な点を、図形の代表点として用いてもよい。特徴点とし
ては、種々のものが考えられるが、例えば、物体の角
（例えば、Ｇｒａｙ−ｌｅｖｅｌ ｃｏｒｎｅｒ ｄｅ
ｔｅｃｔｉｏｎ，Ｌ．Ｋｉｔｃｈｅｎ ａｎｄＡ．Ｒｏ
ｓｅｎｆｅｌｄ，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎ Ｌｅｔｔｅｒｓ，Ｎｏ．１，ｐｐ．９５−１０
２，１９８２による方法など）、物体の重心などが考え
られる。なお、物体の重心を特徴点とする場合は、重心
であろう点の周囲を指定してから自動抽出することが好
ましい。なお、この方法の場合には、近似図形を特定す
るには情報が不足するので、物体領域データから近似図
形自体を特定することはできないが、上層処理装置側で
の処理は簡易になる。この場合の物体領域データの記述
スタイル（フォーマット）は上述の例と同様であり、単
に「近似図形データ」が「特徴点データ」となり、「代
表点数」が「特徴点数」となり、「代表点軌跡データ」
が「特徴点軌跡データ」となり、近似図形数と図形種Ｉ
Ｄのフィールドは不要となる。

【０３５６】また、本発明は、コンピュータに所定の手
段を実行させるための（あるいはコンピュータを所定の
手段として機能させるための、あるいはコンピュータに
所定の機能を実現させるための）プログラムを記録した
コンピュータ読取り可能な記録媒体としても実施するこ
ともできる。

【０３５７】なお、本願発明は上記各実施形態に限定さ
れるものではなく、実施段階ではその趣旨を逸脱しない
範囲で種々に変形することが可能である。また、各実施
形態は可能な限り適宜組み合わせて実施してもよく、そ
の場合組合わせた効果が得られる。さらに、上記実施形
態には種々の段階の発明が含まれており、開示される複
数の構成要件における適宜な組合わせにより種々の発明
が抽出され得る。例えば、実施形態に示される全構成要
件から幾つかの構成要件が削除されても、発明が解決し
ようとする課題の欄で述べた課題が解決でき、発明の効
果の欄で述べられている効果が得られる場合には、この
構成要件が削除された構成が発明として抽出され得る。

【０３５８】また、上述の説明は個々の実施例それぞれ
について行ったが、複数の実施例を適宜組み合わせても
よい。

【０３５９】

【発明の効果】本発明によれば、映像中における対象と
なる物体の領域を該物体の領域に対する近似図形の代表
点の位置データまたはそれを特定可能なデータをフレー
ムの進行に沿って並べることにより得られる軌跡を近似
した関数のパラメータとして記述することにより、映像
中の所望の物体の領域を少ないデータ量で記述でき且つ
その作成やそのデータの扱いも容易にすることができ
る。また、本発明によれば、映像中の物体に対する効率
的、効果的な検索を行うことが可能になる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係る物体領域情報生成装
置の構成例を示す図。

【図２】第１実施例の物体領域情報生成装置の処理の流
れの一例を示すフローチャート。

【図３】映像中の物体の領域を物体領域データで記述す
るための処理の概要を説明するための図。

【図４】基準代表点のＸ座標の値を近似する関数を求め
る例を説明するための図。

【図５】基準代表点以外の代表点を表すための差分ベク
トルの一例を説明するための図。

【図６】基準代表点以外の代表点を表すための差分ベク
トルのＸ成分の値を近似する関数を求める例を説明する
ための図。

【図７】代表点の座標または差分ベクトルから近似関数
を求める処理の一例を示すフローチャート。

【図８】物体領域データのデータ構造の一例を示す図。

【図９】物体領域データ中の代表点軌跡データのデータ
構造の一例を示す図。

【図１０】基準代表点以外の代表点を表すための差分ベ
クトルの他の例を説明するための図。

【図１１】基準代表点以外の代表点を表すための差分ベ
クトルのさらに他の例を説明するための図。

【図１２】フレーム間での差分ベクトルの一例を説明す
るための図。

【図１３】物体領域データのデータ構造の他の例を示す
図。

【図１４】物体領域データから任意の時刻における物体
の領域を取り出す処理の一例を示すフローチャート。

【図１５】本発明の第２実施例に係る物体領域情報生成
装置の構成例を示す図。

【図１６】第２実施例に係る物体領域データ中の代表点
軌跡データのデータ構造の他の例を示す図。

【図１７】物体領域データのデータ構造のさらに他の例
を示す図。

【図１８】奥行き情報のデータ構造の一例を示す図。

【図１９】奥行き方向の位置情報の測定について説明す
るための図。

【図２０】指定した位置に近い物体を検索する処理の一
例を示すフローチャート。

【図２１】奥行き方向の位置情報の測定について説明す
るための図。

【図２２】奥行き方向の位置情報の測定について説明す
るための図。

【図２３】奥行き方向の位置情報の測定について説明す
るための図。

【図２４】移動物体が指定した距離に存在する時刻を求
めるための前処理の手順の一例を示すフローチャート。

【図２５】移動物体が指定した距離に存在する時刻を求
める処理の手順の一例を示すフローチャート。

【図２６】第３実施例に係る表示フラグについて説明す
るための図。

【図２７】代表点軌跡データ作成について説明するため
の図。

【図２８】物体領域データのデータ構造のさらに他の例
を示す図。

【図２９】表示フラグ情報のデータ構造の一例を示す
図。

【図３０】物体領域データ中の代表点軌跡データのデー
タ構造のさらに他の例を示す図。

【図３１】検索時の処理の一例を示すフローチャート。

【図３２】第４実施例に係る物体通過範囲情報について
説明するための図。

【図３３】物体通過範囲情報のデータ構造の一例を示す
図。

【図３４】物体通過範囲情報のデータ構造の他の例を示
す図。

【図３５】指定された座標を通過する物体を選び出す処
理の一例を示すフローチャート。

【図３６】第５実施例に係るモザイキングを用いた物体
領域情報記述方法の処理手順の一例を示すフローチャー
ト。

【図３７】モザイキングを用いた物体領域情報記述方法
について説明するための図。

【図３８】パノラマ画像への変換パラメータのデータ構
造を示す図。

【図３９】第６実施例に係る物体の領域を物体領域デー
タで記述するための処理の概要を説明するための図。

【図４０】物体の領域を楕円で近似する例について説明
するための図。

【図４１】物体の領域を近似する楕円の代表点を求める
例について説明するための図。

【図４２】物体領域データのデータ構造の一例を示す
図。

【図４３】物体領域データ中の近似図形データのデータ
構造の一例を示す図。

【図４４】近似図形データ中の代表点軌跡データのデー
タ構造の一例を示す図。

【図４５】物体領域データ中の近似図形データのデータ
構造の他の例を示す図。

【図４６】近似図形を平行四辺形とした場合の代表点の
例について説明するための図。

【図４７】映像中の物体の領域を複数の楕円で表現した
例を示す図。

【図４８】複数の近似図形データを含む物体領域データ
のデータ構造の一例を示す図。

【図４９】映像中の物体の領域を物体領域データで記述
するための他の処理の概要を説明するための図。

【図５０】近似矩形を求める処理手順の一例を示すフロ
ーチャート。

【図５１】近似矩形から近似楕円を求める方法について
説明するための図。

【図５２】近似矩形から近似楕円を求める処理手順の一
例を示すフローチャート。

【図５３】物体領域データのデータ構造の他の例を示す
図。

【図５４】物体領域データのデータ構造のさらに他の例
を示す図。

【図５５】物体領域データのデータ構造のさらに他の例
を示す図。

【図５６】物体領域データのデータ構造のさらに他の例
を示す図。

【図５７】第７実施例に係る物体領域情報生成装置の構
成例を示す図。

【図５８】第７実施例の処理手順の一例を示すフローチ
ャート。

【図５９】物体領域のオプティカルフロー算出方法の一
例を説明するための図。

【図６０】物体領域のオプティカルフロー算出方法の他
の例を説明するための図。

【図６１】１つの変換パラメータを時間関数で近似表現
する例を説明するための図。

【図６２】参照物体領域がビットマップ表現されている
場合の物体領域データの記述フォーマットの一例を示す
図。

【図６３】第７実施例の物体領域情報生成装置の他の構
成例を示す図。

【図６４】図６３の装置の処理手順の例を示すフローチ
ャート。

【図６５】物体領域の近似図形の代表点同士を対応付け
る方法について説明するための図。

【図６６】近似に用いる図形の種類と変換パラメータを
求めることができる変換モデルとの関係を示す図。

【図６７】参照物体領域が図形近似されている場合の物
体領域データの記述フォーマットの一例を示す図。

【図６８】サンプリング情報を含む物体領域データの記
述フォーマットの一例を示す図。

【図６９】オプティカルフローを用いて１つの物体を動
きが似ている領域に分割する様子を説明するための図。

【図７０】１つの物体を複数の領域で記述するための物
体領域データの記述フォーマットの一例を示す図。

【符号の説明】

１００…映像データ記憶部 １０１…領域抽出部 １０２…領域の図形近似部 １０３…図形代表点抽出部 １０４…代表点列の関数変換部 １０５…関連情報記憶部 １０６…領域データ記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山本 晃司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 増倉 孝一 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B057 BA11 CA16 CB17 CF05 CG09 DA07 DA17 DC08 DC09 DC32 DC36 5B075 ND12 NK02 NR02 PP03 QM05 UU38 5C054 FC00 GA01 GA02 GA04 HA00 5L096 CA04 DA05 EA07 EA35 FA05 FA12 FA67 FA69 GA08 HA04

Claims (41)

【特許請求の範囲】
1. 【請求項１】 映像中における任意の物体の領域に関す
   る情報を複数フレームに渡って記述するための物体領域
   情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の点のうちの少なくとも一点を基準代表点と
   し、該基準代表点の位置データと、前記代表点に対する
   残りの代表点の相対位置データとを、フレームの進行に
   沿って並べることにより得られる軌跡を関数で近似し、 該関数を用いて該物体の領域に関する情報を記述する物
   体領域情報記述方法。
2. 【請求項２】 前記相対位置データは、前記基準代表点
   と前記残りの代表点との差分ベクトルの成分であること
   を特徴とする請求項１に記載の物体領域情報記述方法。
3. 【請求項３】 映像中における任意の物体の領域に関す
   る情報を複数フレームに渡って記述するための物体領域
   情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 基準フレームにおける近似図形の前記複数の代表点の位
   置データと、他のフレームにおける前記基準フレームの
   複数の代表点に対応する代表点の相対位置データとを、
   フレームの進行に沿って並べることにより得られる軌跡
   を関数で近似し、 該関数を用いて該物体の領域に関する情報を記述する物
   体領域情報記述方法。
4. 【請求項４】 前記相対位置データは前記基準フレーム
   における前記複数の点と、前記他のフレームの前記基準
   フレームの複数の点に対応する点との差分ベクトルの成
   分であることを特徴とする請求項３に記載の物体領域情
   報記述方法。
5. 【請求項５】 映像中における任意の物体の領域に関す
   る情報を複数フレームに渡って記述するための物体領域
   情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の代表点の位置を特定可能なデータをフレーム
   の進行に沿って並べることにより得られる軌跡を関数で
   近似し、 該関数、および前記図形の奥行きを示すデータを用いて
   該物体の領域に関する情報を記述する物体領域情報記述
   方法。
6. 【請求項６】 前記奥行きを示すデータは前記図形の相
   対的な奥行きを示す離散値データであることを特徴とす
   る請求項５に記載の物体領域情報記述方法。
7. 【請求項７】 映像中における任意の物体の領域に関す
   る情報を複数フレームに渡って記述するための物体領域
   情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の代表点の位置を特定可能なデータをフレーム
   の進行に沿って並べることにより得られる軌跡を関数で
   近似し、 該関数、および前記図形または各々の前記代表点が見え
   ている状態にあるフレーム区間、あるいは見えていない
   状態にあるフレーム区間を特定するフラグ情報を用いて
   該物体の領域に関する情報を記述する物体領域情報記述
   方法。
8. 【請求項８】 映像中における任意の物体の領域に関す
   る情報を複数フレームに渡って記述するための物体領域
   情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の代表点の位置を特定可能なデータをフレーム
   の進行に沿って並べることにより得られる軌跡を関数で
   近似し、 該関数、および前記図形が前記複数フレームにおいて存
   在した範囲を示す存在範囲情報を用いて該物体の領域に
   関する情報を記述する物体領域情報記述方法。
9. 【請求項９】 前記関数近似は、複数の代表点の位置デ
   ータ、またはこれを特定可能な位置の次元を持つデータ
   をフレームの進行に沿って並べたときの軌跡を所定の関
   数で近似し、該近似図形が前記複数フレームにおいて存
   在した範囲を示す存在範囲近似図形を生成し、 該関数、および該存在範囲近似図形を用いて該物体の領
   域に関する情報を記述することを特徴とする請求項８に
   記載の物体領域情報記述方法。
10. 【請求項１０】 複数フレームをその重複部分を重ねる
    ようにして生成されるパノラマ画像中を推移する任意の
    物体の領域に関する情報を記述するための物体領域情報
    記述方法であって、 前記パノラマ画像中の前記任意の物体の領域を図形で近
    似し、 前記パノラマ画像中を推移する前記図形を表す複数の代
    表点を抽出し、 前記複数の代表点の該パノラマ画像中における位置を特
    定可能なデータをフレームの進行に沿って並べることに
    より得られる軌跡を関数で近似し、 該関数を用いて該物体の領域に関する情報を記述する物
    体領域情報記述方法。
11. 【請求項１１】 前記物体の領域に関する情報は、対象
    となる前記複数フレームのうちの先頭のフレーム及び最
    終のフレームを特定可能な情報と、該物体の領域を近似
    する図形を識別する情報とを含むことを特徴とする請求
    項１乃至請求項１０のいずれか一項に記載の物体領域情
    報記述方法。
12. 【請求項１２】 前記物体の領域に関する情報に、該物
    体に関連付けられている関連情報、または該関連情報へ
    のアクセス方法を示す情報を併せて記述することを特徴
    とする請求項１乃至請求項１１のいずれか一項に記載の
    物体領域情報記述方法。
13. 【請求項１３】 前記物体の領域に関する情報は前記関
    数のパラメータを用いて記述されることを特徴とする請
    求項１乃至請求項１２のいずれか一項に記載の物体領域
    情報記述方法。
14. 【請求項１４】 映像データをもとにして請求項１乃至
    請求項１３のいずれか一項に記載の物体領域情報記述方
    法により記述された１または複数の物体の領域に関する
    情報を含む物体領域データを格納した記録媒体。
15. 【請求項１５】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
    段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
    と、 前記複数の点のうちの少なくとも一点を基準代表点と
    し、該基準代表点の位置データと、前記代表点に対する
    残りの代表点の相対位置データとを、フレームの進行に
    沿って並べることにより得られる軌跡を関数で近似する
    手段と、 該関数を用いて該物体の領域に関する情報を生成する手
    段と、を具備する物体領域情報生成装置。
16. 【請求項１６】 前記相対位置データは、前記基準代表
    点と前記残りの代表点との差分ベクトルの成分であるこ
    とを特徴とする請求項１５に記載の物体領域情報生成装
    置。
17. 【請求項１７】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
    段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
    と、 基準フレームにおける近似図形の前記複数の代表点の位
    置データと、他のフレームにおける前記基準フレームの
    複数の代表点に対応する代表点の相対位置データとを、
    フレームの進行に沿って並べることにより得られる軌跡
    を関数で近似する手段と、 該関数を用いて該物体の領域に関する情報を生成する手
    段と、を具備する物体領域情報生成装置。
18. 【請求項１８】 前記相対位置データは前記基準フレー
    ムにおける前記複数の点と、前記他のフレームの前記基
    準フレームの複数の点に対応する点との差分ベクトルの
    成分であることを特徴とする請求項１７に記載の物体領
    域情報生成装置。
19. 【請求項１９】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
    段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
    と、 前記複数の代表点の位置を特定可能なデータをフレーム
    の進行に沿って並べることにより得られる軌跡を関数で
    近似する手段と、 該関数、および前記図形の奥行きを示すデータを用いて
    該物体の領域に関する情報を生成する手段と、 を具備する物体領域情報生成装置。
20. 【請求項２０】 前記奥行きを示すデータは前記図形の
    相対的な奥行きを示す離散値データであることを特徴と
    する請求項１９に記載の物体領域情報生成装置。
21. 【請求項２１】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
    段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
    と、 前記複数の代表点の位置を特定可能なデータをフレーム
    の進行に沿って並べることにより得られる軌跡を関数で
    近似する手段と、 該関数、および前記図形または各々の前記代表点が見え
    ている状態にあるフレーム区間、あるいは見えていない
    状態にあるフレーム区間を特定するフラグ情報を用いて
    該物体の領域に関する情報を生成する手段と、を具備す
    る物体領域情報生成装置。
22. 【請求項２２】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
    段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
    と、 前記複数の代表点の位置を特定可能なデータをフレーム
    の進行に沿って並べることにより得られる軌跡を関数で
    近似する手段と、 該関数、および前記図形が前記複数フレームにおいて存
    在した範囲を示す存在範囲情報を用いて該物体の領域に
    関する情報を生成する手段と、を具備する物体領域情報
    生成装置。
23. 【請求項２３】 前記関数近似手段は、複数の代表点の
    位置データ、またはこれを特定可能な位置の次元を持つ
    データをフレームの進行に沿って並べたときの軌跡を所
    定の関数で近似し、 前記情報生成手段は、該近似図形が前記複数フレームに
    おいて存在した範囲を示す存在範囲近似図形を生成し、
    該関数、および該存在範囲近似図形を用いて該物体の領
    域に関する情報を生成することを特徴とする請求項２２
    に記載の物体領域情報生成装置。
24. 【請求項２４】 複数フレームをその重複部分を重ねる
    ようにして生成されるパノラマ画像中を推移する任意の
    物体の領域に関する情報を記述するための物体領域情報
    を生成する装置であって、 前記パノラマ画像中の前記任意の物体の領域を図形で近
    似する手段と、 前記パノラマ画像中を推移する前記図形を表す複数の代
    表点を抽出する手段と、 前記複数の代表点の該パノラマ画像中における位置を特
    定可能なデータをフレームの進行に沿って並べることに
    より得られる軌跡を関数で近似する手段と、 該関数を用いて該物体の領域に関する情報を生成する手
    段と、を具備する物体領域情報生成装置。
25. 【請求項２５】 前記物体の領域に関する情報は、対象
    となる前記複数フレームのうちの先頭のフレーム及び最
    終のフレームを特定可能な情報と、該物体の領域を近似
    する図形を識別する情報とを含むことを特徴とする請求
    項１５乃至請求項２４のいずれか一項に記載の物体領域
    情報生成装置。
26. 【請求項２６】 前記物体の領域に関する情報は、該物
    体に関連付けられている関連情報、または該関連情報へ
    のアクセス方法を示す情報を含むことを特徴とする請求
    項１５乃至請求項２５のいずれか一項に記載の物体領域
    情報生成装置。
27. 【請求項２７】 前記物体の領域に関する情報は前記関
    数のパラメータを用いて記述されることを特徴とする請
    求項１５乃至請求項２６のいずれか一項に記載の物体領
    域情報生成装置。
28. 【請求項２８】 映像データをもとにして請求項１５乃
    至請求項２７のいずれか一項に記載の物体領域情報生成
    装置により生成された１または複数の物体の領域に関す
    る情報を含む物体領域データを格納した記録媒体。
29. 【請求項２９】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
    順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
    と、 前記複数の点のうちの少なくとも一点を基準代表点と
    し、該基準代表点の位置データと、前記代表点に対する
    残りの代表点の相対位置データとを、フレームの進行に
    沿って並べることにより得られる軌跡を関数で近似する
    手順と、 該関数を用いて該物体の領域に関する情報を記述するす
    る手順と、を実行させるための物体領域情報記述プログ
    ラム。
30. 【請求項３０】 前記相対位置データは、前記基準代表
    点と前記残りの代表点との差分ベクトルの成分であるこ
    とを特徴とする請求項２９に記載の物体領域情報記述プ
    ログラム。
31. 【請求項３１】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
    順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
    と、 基準フレームにおける近似図形の前記複数の代表点の位
    置データと、他のフレームにおける前記基準フレームの
    複数の代表点に対応する代表点の相対位置データとを、
    フレームの進行に沿って並べることにより得られる軌跡
    を関数で近似する手順と、 該関数を用いて該物体の領域に関する情報を記述するす
    る手順と、を実行させるための物体領域情報記述プログ
    ラム。
32. 【請求項３２】 前記相対位置データは前記基準フレー
    ムにおける前記複数の点と、前記他のフレームの前記基
    準フレームの複数の点に対応する点との差分ベクトルの
    成分であることを特徴とする請求項３１に記載の物体領
    域情報記述プログラム。
33. 【請求項３３】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
    順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
    と、 前記複数の代表点の位置を特定可能なデータをフレーム
    の進行に沿って並べることにより得られる軌跡を関数で
    近似する手順と、 該関数、および前記図形の奥行きを示すデータを用いて
    該物体の領域に関する情報を記述するする手順と、を実
    行させるための物体領域情報記述プログラム。
34. 【請求項３４】 前記奥行きを示すデータは前記図形の
    相対的な奥行きを示す離散値データであることを特徴と
    する請求項３３に記載の物体領域情報記述プログラム。
35. 【請求項３５】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
    順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
    と、 前記複数の代表点の位置を特定可能なデータをフレーム
    の進行に沿って並べることにより得られる軌跡を関数で
    近似する手順と、 該関数、および前記図形または各々の前記代表点が見え
    ている状態にあるフレーム区間、あるいは見えていない
    状態にあるフレーム区間を特定するフラグ情報を用いて
    該物体の領域に関する情報を記述するする手順と、を実
    行させるための物体領域情報記述プログラム。
36. 【請求項３６】 映像中における任意の物体の領域に関
    する情報を複数フレームに渡って記述するための物体領
    域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
    順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
    と、 前記複数の代表点の位置を特定可能なデータをフレーム
    の進行に沿って並べることにより得られる軌跡を関数で
    近似する手順と、 該関数、および前記図形が前記複数フレームにおいて存
    在した範囲を示す存在範囲情報を用いて該物体の領域に
    関する情報を記述するする手順と、を実行させるための
    物体領域情報記述プログラム。
37. 【請求項３７】 前記関数近似手順は、複数の代表点の
    位置データ、またはこれを特定可能な位置の次元を持つ
    データをフレームの進行に沿って並べたときの軌跡を所
    定の関数で近似し、 前記記述手段は、該近似図形が前記複数フレームにおい
    て存在した範囲を示す存在範囲近似図形を生成し、該関
    数、および該存在範囲近似図形を用いて該物体の領域に
    関する情報を記述することを特徴とする請求項３６に記
    載の物体領域情報記述プログラム。
38. 【請求項３８】 複数フレームをその重複部分を重ねる
    ようにして生成されるパノラマ画像中を推移する任意の
    物体の領域に関する情報を記述するための物体領域情報
    記述プログラムであって、コンピュータに、 前記パノラマ画像中の前記任意の物体の領域を図形で近
    似する手順と、 前記パノラマ画像中を推移する前記図形を表す複数の代
    表点を抽出する手順と、 前記複数の代表点の該パノラマ画像中における位置を特
    定可能なデータをフレームの進行に沿って並べることに
    より得られる軌跡を関数で近似する手順と、 該関数を用いて該物体の領域に関する情報を記述するす
    る手順と、を実行させるための物体領域情報記述プログ
    ラム。
39. 【請求項３９】 前記物体の領域に関する情報は、対象
    となる前記複数フレームのうちの先頭のフレーム及び最
    終のフレームを特定可能な情報と、該物体の領域を近似
    する図形を識別する情報とを含むことを特徴とする請求
    項２９乃至請求項３８のいずれか一項に記載の物体領域
    情報記述プログラム。
40. 【請求項４０】 前記物体の領域に関する情報に、該物
    体に関連付けられている関連情報、または該関連情報へ
    のアクセス方法を示す情報を併せて記述することを特徴
    とする請求項２９乃至請求項３９のいずれか一項に記載
    の物体領域情報記述プログラム。
41. 【請求項４１】 前記物体の領域に関する情報は前記関
    数のパラメータを用いて記述されることを特徴とする請
    求項２９乃至請求項４０のいずれか一項に記載の物体領
    域情報記述プログラム。