JP2002056392A - 物体領域情報記述方法、物体領域情報生成装置、及び物体領域情報記述プログラム - Google Patents
物体領域情報記述方法、物体領域情報生成装置、及び物体領域情報記述プログラムInfo
- Publication number
- JP2002056392A JP2002056392A JP2001142257A JP2001142257A JP2002056392A JP 2002056392 A JP2002056392 A JP 2002056392A JP 2001142257 A JP2001142257 A JP 2001142257A JP 2001142257 A JP2001142257 A JP 2001142257A JP 2002056392 A JP2002056392 A JP 2002056392A
- Authority
- JP
- Japan
- Prior art keywords
- information
- area
- frame
- function
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
で記述でき且つその作成やデータの扱いも容易にする物
体領域情報記述方法を提供すること。 【解決手段】 映像中における任意の物体の領域に関す
る情報を連続する複数フレームに渡って記述するための
物体領域情報記述方法であって、映像中における対象と
なる物体の領域201を、該物体の領域に対する近似図
形202の1つの代表点203および他の代表点の各々
を特定するための差分値をフレーム200の進行に沿っ
て並べたときの軌跡を所定の関数204で近似し、該関
数のパラメータを用いて該物体の領域に関する情報を記
述することを特徴とする。
Description
域に関する情報を記述するための物体領域情報記述方
法、映像中の物体の領域に関する情報を生成するための
物体領域情報生成装置、及び物体情報記述プログラムに
関する。
ストなどのメディアの間にハイパーリンクと呼ばれる関
連情報を付与し、相互に参照できるようにしたものであ
る。映像を中心にした場合、例えば映像中の登場物体に
関連情報が付与されており、この物体が指示されると関
連情報の表示を行うというものがハイパーメディアの代
表例である。このとき、映像中の物体は映像のフレーム
番号もしくはタイムスタンプと映像中の領域を特定する
情報とで表現され、映像データの中にもしくは別データ
として記録されている。
スク画像がよく利用されてきた。これは指定領域内の場
合と指定領域外の場合で異なる画素値を与えて構成する
画像である。例えば、領域内の場合は1、領域外の場合
は0という画素値を与えるのが最も簡単な方法である。
また、CGなどに使われるα値を利用することもある。
通常、α値は256階調の値を表現できるので、そのう
ちの一部を使い、例えば指定領域内の場合は255、指
定領域外の場合は0と表現する。このようなマスク画像
により画像中の領域が表現されている場合、あるフレー
ムにおける画素が、指定領域内であるかどうかを判定す
るには、そのフレームに該当するマスク画像の該当画素
の値を読み取り、0であるか1であるかにより簡単に判
定することができる。マスク画像はどのような形の領域
でも、また不連続な領域でも表現できるという自由度を
持っているが、画像サイズと同じサイズの画素を持つ必
要がある。
マスク画像の圧縮がよく利用される。0、1の2値のマ
スク画像の場合には、2値画像としての処理ができるた
め、ファクシミリ等で用いられている圧縮方法が利用さ
れることが多い。また、ISO/IEC動画圧縮標準化
グループMPEG(Moving PictureEx
perts Group)が標準化しているMPEG−
4では、0,1の2値のマスク画像の他、α値を利用し
たマスク画像までを圧縮対象とした任意形状符号化を採
用することになっている。これは、動き補償を用いた圧
縮手法であり、圧縮効率が向上するが、その分、圧縮・
復号過程は複雑になる。
ある領域を表現するにはマスク画像かあるいはマスク画
像を圧縮したものを利用することが多かったが、領域を
特定するためのデータとしては、より簡単にかつ高速に
取り出すことが可能でデータ量も小さく、そして容易に
扱うことができる形態のものが望まれている。すなわ
ち、映像中の所望の物体の領域を表現する方法として、
マスク画像ではデータ量が多くなるという問題があり、
また、マスク画像を圧縮して用いると符号化・復号化が
複雑になり、しかも直接データを編集することができな
いためハンドリングが難しいという問題があった。
て、奥行きの情報が欠如していた。物体が物陰に一時隠
れてしまう状態を表現することができなかった。カメラ
が物体を追いながら撮影されている場合には、その物体
の真の動きを表現していない問題があった。よって、検
索において、奥行きの情報や、物体が他の物の陰に隠れ
てしまうオクル−ジョンや、カメラの動きを考慮した検
索などの処理が困難であった。このため、検索におい
て、全く関係ない物体に対してもすべて処理する必要が
あった。
ので、映像中の所望の物体の領域を少ないデータ量で記
述でき且つその作成やそのデータの扱いも容易にする物
体領域情報記述方法、物体領域情報生成装置、及び物体
領域情報記述プログラムを提供することを目的とする。
率的、効果的な検索を可能にする物体領域情報記述方
法、物体領域情報生成装置、及び物体領域情報記述プロ
グラムを提供することを目的とする。
的を達成するために、本発明は以下に示す手段を用いて
いる。
映像中における任意の物体の領域に関する情報を複数フ
レームに渡って記述するための物体領域情報記述方法で
あって、フレーム毎に前記任意の物体の領域を図形で近
似し、フレーム毎に該図形を表す複数の代表点を抽出
し、前記複数の点のうちの少なくとも一点を基準代表点
とし、該基準代表点の位置データと、前記代表点に対す
る残りの代表点の相対位置データとを、フレームの進行
に沿って並べることにより得られる軌跡を関数で近似
し、該関数を用いて該物体の領域に関する情報を記述す
るものである。
は、映像中における任意の物体の領域に関する情報を複
数フレームに渡って記述するための物体領域情報記述方
法であって、フレーム毎に前記任意の物体の領域を図形
で近似し、フレーム毎に該図形を表す複数の代表点を抽
出し、基準フレームにおける近似図形の前記複数の代表
点の位置データと、他のフレームにおける前記基準フレ
ームの複数の代表点に対応する代表点の相対位置データ
とを、フレームの進行に沿って並べることにより得られ
る軌跡を関数で近似し、該関数を用いて該物体の領域に
関する情報を記述するものである。
は、映像中における任意の物体の領域に関する情報を複
数フレームに渡って記述するための物体領域情報記述方
法であって、フレーム毎に前記任意の物体の領域を図形
で近似し、フレーム毎に該図形を表す複数の代表点を抽
出し、前記複数の代表点の位置を特定可能なデータをフ
レームの進行に沿って並べることにより得られる軌跡を
関数で近似し、該関数、および前記図形の奥行きを示す
データを用いて該物体の領域に関する情報を記述するも
のである。
述方法は、映像中における任意の物体の領域に関する情
報を複数フレームに渡って記述するための物体領域情報
記述方法であって、フレーム毎に前記任意の物体の領域
を図形で近似し、フレーム毎に該図形を表す複数の代表
点を抽出し、前記複数の代表点の位置を特定可能なデー
タをフレームの進行に沿って並べることにより得られる
軌跡を関数で近似し、該関数、および前記図形または各
々の前記代表点が見えている状態にあるフレーム区間、
あるいは見えていない状態にあるフレーム区間を特定す
るフラグ情報を用いて該物体の領域に関する情報を記述
するものである。
述方法は、映像中における任意の物体の領域に関する情
報を複数フレームに渡って記述するための物体領域情報
記述方法であって、フレーム毎に前記任意の物体の領域
を図形で近似し、フレーム毎に該図形を表す複数の代表
点を抽出し、前記複数の代表点の位置を特定可能なデー
タをフレームの進行に沿って並べることにより得られる
軌跡を関数で近似し、該関数、および前記図形が前記複
数フレームにおいて存在した範囲を示す存在範囲情報を
用いて該物体の領域に関する情報を記述するものであ
る。
述方法は、複数フレームをその重複部分を重ねるように
して生成されるパノラマ画像中を推移する任意の物体の
領域に関する情報を記述するための物体領域情報記述方
法であって、前記パノラマ画像中の前記任意の物体の領
域を図形で近似し、前記パノラマ画像中を推移する前記
図形を表す複数の代表点を抽出し、前記複数の代表点の
該パノラマ画像中における位置を特定可能なデータをフ
レームの進行に沿って並べることにより得られる軌跡を
関数で近似し、該関数を用いて該物体の領域に関する情
報を記述するものである。
としても成立する。
に当該発明に相当する手順を実行させるための(あるい
はコンピュータを当該発明に相当する手段として機能さ
せるための、あるいはコンピュータに当該発明に相当す
る機能を実現させるための)プログラムを記録したコン
ピュータ読取り可能な記録媒体としても成立する。
中の物体の領域を、該物体の領域に対する近似図形の代
表点の位置データまたはそれを特定可能なデータ(例え
ば、代表点間差分ベクトル値)をフレームの進行に沿っ
て並べたときの軌跡を近似した関数のパラメータとして
記述することにより、複数フレームに渡る映像中の物体
の領域を少量の関数パラメータのみによって記述するこ
とができるため、物体の領域を特定するためのデータの
量を効果的に削減することができ、またハンドリングを
容易にすることができる。特に物体が剛体の場合は、相
対位置は絶対位置よりも変動が少なく、その軌跡を関数
近似したときに、コンパクトな情報量で記述することが
できる。また、近似図形からの代表点の抽出や、近似曲
線(直線の場合も含む)のパラメータの生成も容易に行
うことができる。また、近似曲線のパラメータから近似
図形を生成することも容易に行うことができる。また、
映像中の物体の通過位置、ある地点での滞留時間、ある
いは軌跡などに基づいて、映像中の物体の検索を容易に
行うことができる。また、操作性の良いハイパーメディ
ア・アプリケーションを実現できる。
次元的位置情報以外に、奥行きに関する情報を付与する
ことにより、奥行き方向を考慮した検索、例えばカメラ
からの距離情報で物体を検索が可能となる。また、物体
が他の物の陰に隠れてしまうオクル−ジョンの状態は、
物体領域の軌跡情報の他にオクル−ジョンかどうか(つ
まり見えているかどうか)を示すフラグを付帯させるこ
とにより表現することにより、オクル−ジョンを考慮し
た効率的な検索が可能になる。また、検索の効率を上げ
るために、物体領域を関数で表現するだけでなく、物体
が時空間的に存在する位置を囲む図形を付帯させること
により、全く別の場所に存在する物体を検索の候補から
除外することが可能となる。また、例えばカメラが物体
領域を追いかけながら撮影している場合には、連続する
フレームを画像変換を施してつながるように貼り合わせ
るモザイキングによるパノラマ画像を作成し、その作成
された画像上での物体の領域情報を記述することによ
り、カメラが移動していてもモザイキング画像のある点
を基点とした座標系で物体の領域情報を一意に記述する
ことができる。
物体領域情報記述方法、物体領域情報生成装置、及び物
体領域情報記述プログラムの実施例を説明する。
(あるいは物体領域データ変換装置とも呼称する)の構
成例を示す。
部100、物体領域抽出部101、物体領域の図形近似
部102、近似図形の代表点抽出部103、代表点軌跡
の関数近似部104、物体領域データ記憶部106を備
えている。また、物体領域に関連する関連情報記憶部1
05を更に備えてもよい。
れの一例を表したフローチャートである。
記憶されているもので、例えばハードディスクや光ディ
スク、半導体メモリなどで構成される。
ける一部の領域を抽出する(ステップS1)。この一部
の領域とは、典型的には、映像中の特定の人や動植物や
車や建物などの「物体の領域」であるが、映像中におい
て物体(オブジェクト)として扱うことのできるもので
あれば、映像中のどのようなものでもあってもよい。ま
た、独立したものであってもよいし、物の一部(例えば
人の頭、車のボンネット、建物の玄関)であってもよい
し、物の集合(例えば鳥や魚の群)であってもよい。映
像では、連続するフレームには同じ物体が写っているこ
とが多いが、物体自身の動きおよびまたは撮影時のカメ
ラの動きが主な原因になって同一物体に対応する領域が
フレーム間で変化することが多い。
している物体の動きや変形に対応して各フレームにおけ
る物体(オブジェクト)の領域を抽出するためのもので
ある。具体的な抽出手法としては、全フレームに渡って
人手で領域指定する方法や、M.Kass 他,「Sn
akes:Active countour mode
ls」(International Journal
of Computer Vision,vol.
1,No.4,pp.321−331.July,19
88)に記されているようなSnakesと呼ばれる動
的輪郭モデルにより物体の輪郭抽出を連続して行う方
法、金子他「ロバスト推定を用いたハイパーメディアコ
ンテンツ作成のための高速移動物体追跡法」(情報処理
学会技術報告CVIM113−1,1998)に記され
ているようなブロックマッチングにより求めた物体中の
部分領域の移動先から物体全体の変形・移動を推定して
いく方法、画像解析ハンドブック(第II部第2章,東
京大学出版会,1991)に記されているような領域成
長・分割により似た色を持つ領域を特定する方法などを
用いることができる。
1で抽出された映像中の物体の領域を所定の図形により
近似する(ステップS2)。
角形など種々のものが使用可能である。近似に用いる図
形の種類は、予め固定的に定めておくようにしていもよ
いし、例えば近似する対象物体毎などの所定の単位で図
形の種類をユーザが指定できるようにしてもよいし、近
似する対象物体毎にその物体の形状等に応じて図形の種
類を自動的に選択するようにしてもよい。
矩形で近似する方法、この方法で求めた矩形の外接楕円
または内接楕円で近似する方法、物体領域の外接楕円で
近似する方法、物体領域に対する初期近似多角形を生成
した後に物体領域の面積と該近似多角形との誤差が基準
以内に収まるように該近似多角形の頂点数を削減してい
く方法、予め定められた頂点数の多角形で近似する方法
など種々の方法がある。また、傾きを持つ図形でより良
く近似する方法もある。また、さらに他の幾何学的な量
をも加味する方法もあり、例えば、物体領域の重心と近
似図形の重心とを一致させるようにする方法、近似図形
の面積を物体領域の面積に一定数を乗じた値にする方法
など種々の方法がある。
1での抽出結果が入力されるたびに、フレーム毎に行
う。もしくは、前後数フレームの領域抽出結果を使って
図形近似を行っても良い。数フレームの領域抽出結果を
利用する場合には、近似図形の大きさや位置などの変化
を数フレームの間で平滑化することにより、近似図形の
動きや変形をなめらかにしたり、領域抽出の抽出誤差を
目立たなくすることができる。なお、近似図形の大きさ
は、フレーム毎に異なって構わない。
02の出力である近似図形を表現する代表点を抽出する
(ステップS3)。どのような点を代表点とするかは、
どのような近似図形を用いるかにより異なる。例えば、
近似図形が矩形の場合には4つもしくは3つの頂点を代
表点とすることができ、近似図形が円の場合には中心と
円周上の一点としたり直径の両端点としたりすることが
できる。また、楕円の場合には楕円の外接矩形の頂点を
代表点としたり(この場合も4頂点のうち3つで十分で
ある)、2つの焦点と楕円上の1点(例えば短軸上の1
点)を代表点としたりすればよい。任意の閉多角形を近
似図形とする場合には、各頂点を図形の代表点とすれば
よい。
フレーム分の近似図形の情報が出力されるたびに、フレ
ーム単位で行われる。また、各代表点は、水平方向の座
標軸Xと、垂直方向の座標軸Yと、により表される。
点抽出部103で抽出された代表点の位置(またはこれ
を特定可能とする量)の時系列軌跡を時間t(例えば映
像に付与されているタイムスタンプ)もしくはフレーム
番号fの関数(近似関数)により近似表現する(ステッ
プS4)。この関数は、各代表点毎別々に、かつ、X座
標とY座標で別々に表現される。
がn個である場合、それぞれについてX、Y座標の近似
関数が必要になるので、合計2nの近似関数が生成され
る。
プライン曲線などを用いることができる。
いての出現フレームから消失フレームの間にわたって行
われる。
は、所定のフォーマットに従って物体領域データとして
領域データ記憶部106に記録される。
05には、映像データ記憶部100に記憶されている映
像データに登場する物体に関する情報(関連情報)や、
そのような情報を外部記憶装置あるいはネットワークを
介したサーバなどから取得するためのポインタ情報(例
えば、関連情報の記録されているアドレス、ファイル
名、URLなど)を記憶するためのものである。関連情
報は、文字、音声、静止画、動画、あるいはそれらを適
宜組み合わせたものであってもよい。また、関連情報
は、プログラムもしくは計算機の動作を記述したデータ
であってもよい(この場合には、当該物体がユーザによ
り指定されると、計算機が所望の動作を行うことにな
る)。関連情報記憶部105は映像データ記憶部100
と同様に例えばハードディスクや光ディスク、半導体メ
モリなどで構成される。
数近似部104の出力である代表点の位置(またはこれ
を特定可能とする量)の時系列的な軌跡を近似した曲線
式を表現するデータを含む物体領域データが記憶される
記憶媒体である。関連情報記憶部105を備える構成で
は、関数で表現された領域に対応する物体に関する関連
情報が関連情報記憶部105に記憶されている場合に
は、物体領域データには関連情報そのものや関連情報の
記録されているアドレスを併せて記録することができ
る。関連情報記憶部105に関連情報が記録されている
アドレスの情報が記憶されている場合には、当該アドレ
ス情報を併せて記録することができる。領域データ記憶
部106も映像データ記憶部100等と同様に例えばハ
ードディスクや光ディスク、半導体メモリなどで構成さ
れる。
記憶部105、領域データ記憶部106は、別々の記憶
装置によって構成されていてもよいし、それらの全部ま
たは一部が同一の記憶装置によって構成されていてもよ
い。
機上でソフトウェアを実行する形で実現することもでき
る。
理、特に、物体領域抽出部101や図形近似部102の
処理においてユーザの操作を介入させる形態を取る場合
には、映像データを例えばフレーム単位で表示させ、ユ
ーザの指示入力等を受け付けるGUIが用いられる。た
だし、図1では省略している。
体領域情報生成装置の動作について説明する。
し、近似多角形の頂点を代表点とし、近似関数として2
次の多項式スプライン関数を用いる場合を例にとって説
明する。なお、以下の説明で、近似図形に多角形を用い
る例において、多角形の頂点という場合における「頂
点」は一般的には代表点のことを意味することになる。
101による物体の領域を抽出する処理から、領域図形
近似部102による領域を図形で近似する処理、図形代
表点抽出部103による図形の代表点を抽出する処理、
代表点軌跡関数近似部104による代表点軌跡を関数で
近似する処理までの一連の処理の概要をより具体的に説
明するための図である。
となっている映像中の1フレームを示している。
を示している。この物体の領域201を抽出する処理は
物体領域抽出部101において行われる。
の(近似多角形)である。物体の領域201からその近
似多角形202を求める処理は、領域図形近似部102
において行われる。
近似図形の代表点、すなわちこの例における近似多角形
202の頂点の推移(軌跡)およびその推移の近似曲線
を表現したものである。
うちから選択された特定の代表点(全フレームにわたっ
て同一のものとする)を、基準代表点と呼び、これをV
0 と表記する。この例の場合、近似多角形202の複数
の頂点のうちの任意の1つの頂点を基準代表点V0 とす
る。
またはY座標値を持つ点を選択する方法、フレーム中で
最も右上または右下または左下または左上にある点を選
択する方法など、種々の方法がある。
ームに対応する基準代表点V0 に対応するものが、当該
フレームにおける複数の代表点のうちのいずれであるか
を判定することによって、基準代表点V0 の選択が行わ
れる。
準代表点V0 の移動先であるかを判定する方法は、例え
ば、1つ前のフレームにおける基準代表点V0 に最も近
い当該フレームにおける点を代表点とする方法、1つ前
のフレームにおける近似図形の重心と当該フレームにお
ける近似図形の重心とを一致させた場合に1つ前のフレ
ームにおける基準代表点V0 に最も近い当該フレームに
おける点を代表点とする方法、1つ前のフレームにおけ
る近似図形の複数の代表点と当該フレームにおける近似
図形の複数の代表点を照らし合わせることによって、当
該フレームにおける基準代表点V0 を求める方法、1つ
前のフレームにおける対象の物体の領域の映像データ
と、当該フレームにおける映像データを照らし合わせる
ことによって、当該フレームにおける基準代表点V0 を
求める方法など、種々の方法がある。
0 以外の代表点の対応は、上記と同様の方法による方法
と、基準代表点V0 を起点として予め定めた順番で他の
代表点を対応させてしまう方法、などがある。
おいて行われる。
力されてくる各フレームにおける基準代表点V0 の座標
値から、軌跡203を近似する曲線(関数)を求める。
各フレームにおける基準代表点V0 の移動先を結んだ軌
跡が図3の(b)の203である。
とを含む。それぞれの座標値は別々に時間tまたはフレ
ーム番号fの関数として近似される。
について求められた関数の例である(ここでは基準代表
点V0 の1つの座標軸についてのみ示している)。この
例は、近似区間がt=0〜5とt=5〜16の2つに分
割された場合を示している。
似する関数を求めている例である。図中の301は物体
の存在している時間区間を表しており、黒い点302が
基準代表点V0 のX座標の値である。303がその近似
関数である。Y座標に対しても、同様にして近似関数が
求められる。近似関数として多項式スプライン関数を用
いているので、204では節点と呼ばれる点により分割
された時間区間毎に多項式が定義されている。ここで
は、t=0,5,16がそれぞれ節点時刻となる。
の代表点についても上記と同様にして近似関数を求め、
記録することが可能である。
ては、当該代表点を当該代表点とは別の代表点(基準代
表点でもよい)からの相対的関係、例えば差分ベクトル
によって表し、そのベクトルの軌跡により記述する方法
もある。
ついては隣接する代表点からの差分ベクトルの軌跡によ
り記述する場合を例にとって説明する。
V0 である1つの頂点と、その他の頂点を表すための差
分ベクトルの各々を説明している図である。
準代表点V0 から予め定めた順番、例えば時計回りに、
V1 ,V2 ,…,VM-1 と書くことにする。ここで、M
は頂点数であるが、図5では5角形であるので、M=5
となる。また、頂点V0 からV1 へのベクトルをV0,1
と記述し、同様にベクトルV1,2 ,V2,3 ,…,VM-
2,M-1 を定める。それぞれのベクトルは各ベクトルの始
点から見たX成分及びY成分の値を持っている(相対位
置データ)。
各時刻におけるベクトルV0,1 のX成分の値を表してい
る。
代表点抽出部103において行われる。
ベクトルのX成分の値とY成分の値の各々を表現する近
似関数503を算出する。
動が平行移動に近い場合には、ベクトルV0,1 ,
V1,2 ,…,VM-2,M-1 の値はあまり変化しないため、
近似関数と実際の値との誤差が小さくなり、物体領域の
記述効率が向上することが期待できる。もしも物体の形
状が変化せず、完全な平行移動である場合には、ベクト
ルV 0,1 ,V1,2 ,…,VM-2,M-1 の値はまったく変
化しないため、近似関数はすべて直線となり、しかも近
似誤差はゼロになる。
次入力される代表点(この例では物体領域の近似多角形
の頂点)の座標値または上記の差分ベクトルの成分値か
ら、それら代表点の座標値またはその差分ベクトルの成
分値の近似関数を求める処理の一例をフローチャートに
したものである。
刻をti (i=0,1,…)とする。また、ν(0) t を
時刻tにおけるV0 のX座標値、ν(j) t (j=1,
2,…,M−1)を時刻tにおけるVj-1,j のX成分値
としている。また、すでに決定しているスプライン関数
の節点に対応する時刻tのうち、最大のものをtkとす
る。
びiの初期設定を行う。
節点ti までの区間でν(j) t の近似関数(本実施例で
は2次の多項式)を求める。近似関数を求める手法は、
最小二乗法を用いるのがもっとも一般的である。ただ
し、この際、近似関数は節点を通過するという条件を付
加する必要がある。そのため、ta からtb の区間につ
いて求められたν(j) t の近似関数をF
(j) ta ,tb(t)(j=0,1,…,M−1)と記述
すると、区間の開始点ν(j) k=F(j) tk,ti(tk)、
区間の終了点ν(j) i=F(j) tk,ti(ti)となる。こ
の条件がないと、節点において多項式スプライン関数が
不連続になってしまうためである。
似誤差e(j) (j=0,1,…,M−1)を算出する。
この近似誤差は、次式により算出される。 e(j) =max |ν(j) th −F(j) tk,ti(th)| ただし、対象とするhの範囲は、k≦h≦iとする。
差が許容範囲内であるかどうかの判定を行う。許容誤差
の範囲はすべての頂点で同じに設定しても良いし、別々
の範囲に設定しておいても良い。ひとつでも許容誤差範
囲外であればステップS605へ、すべてが許容範囲内
であればステップS606へ進む。
るtk からti-1 の区間の近似関数をF
(j) tk,ti-1(t)(j=0,1,…,M−1)と決定
し、k=i−1とする。
←i+1)する。このように、近似関数は近似誤差が許
容範囲以内の区間では同じ関数を用いるが、許容誤差が
大きくなると、再び最小二乗法を実行して関数を近似し
直す。
たな代表点についての座標値(またはその差分ベクトル
の成分値)の入力がなければ処理を終了し、まだ代表点
の座標値(または成分値)が入力されるならば再びステ
ップS602からの処理を行う。
と、ステップS608で、最後の区間tk からti-1 の
近似関数をF(j) tk,ti-1(t)(j=0,1,…,M
−1)と決定する。
行ったが、Y座標についても同様の処理を行う。また、
ステップS604の誤差の判定においては、各頂点のX
座標およびY座標すべてについての誤差を同時に評価す
るようにしても良い。
処理は、当該物体の領域に関する各フレームの代表点の
座標値(成分値)が得られる毎に行う方法(例えば各フ
レームの代表点の座標値(成分値)が得られる毎に近似
を行うとともに近似誤差を求め、近似誤差が一定の範囲
に収まるように節点を設けて近似区間を適宜分割する方
法)や、当該物体の領域に関する全てのフレームの代表
点の座標値(成分値)が得られた後に行う方法などがあ
る。
する際に、全代表点の全座標の全てについて節点を同一
にするようにしてもよい。例えば、代表点の座標値(ま
たは成分値)を近似する際に、いずれかの代表点につい
ての近似処理において誤差が基準値を超えて節点が設け
られることになった場合には、他のすべての代表点につ
いての近似処理においても強制的に同一の節点を設ける
ようにする。
どの近似関数は予め定めておいたデータ形式に従って領
域データ記憶部106に記録される。
される物体領域データのデータ形式について説明する。
なお、ここでは、代表点をスプライン関数により近似す
る場合を例にとりながら説明するが、代表点を他の関数
により近似する場合も同様に可能である。
例を示す。
いた図形の種類を特定する。例えば、物体の重心のみ
(CENTROID)、矩形(RECTANGLE)、
楕円(ELLIPSE)や多角形(POLYGON)な
どが指定できる。
まる代表点の数を表す(ここではM点とする)。
しており、代表点の数(M個)だけ並んでいる。基準代
表点V0 以外の代表点については隣接する代表点からの
ベクトルの軌跡により記述する場合、1番目の代表点軌
跡には、基準代表点V0 の軌跡が記述されており、2番
目の代表点軌跡にはV0,1 が、3番目の代表点軌跡には
V1,2 が、そしてM番目の代表点軌跡にはVM-2,M-1 の
軌跡がそれぞれ記述されている。
表点も基準代表点と同様にして近似関数を求め、記録す
る場合には、1番目の代表点軌跡には、V0 の軌跡が記
述され、2番目の代表点軌跡にはV1 が、3番目の代表
点軌跡にはV2 が、そしてM番目の代表点軌跡にはV
M-1 の軌跡がそれぞれ記述される。
した時刻、物体存在期間702は物体の存在していた時
間の長さである。物体存在期間702は、物体消失時間
で代用することも可能である。また、物体出現時間、物
体存在期間とも時間ではなくフレーム番号、フレーム数
で記述しておいても良い。なお、701および702の
情報は代表点軌跡704内の節点時刻からも得ることが
できるため、必ずしも記述しなくても良い。
物体存在期間/物体存在フレーム、物体消失時間/物体
消失フレームは、現実に映像中で物体が登場したフレー
ムや消えたフレームにより決めてもよいし、その代わり
に、例えば、映像中で物体が登場したときより後の任意
のフレーム番号を先頭フレーム番号としてもよいし、ま
た先頭フレーム番号以降でかつ映像中で物体が消えたと
きより前の任意のフレーム番号を最終フレーム番号とし
てもよい。
される識別番号であるID番号を付加してもよい。
似しても良い。この場合には、物体領域データには、例
えば、近似に用いる図形の個数分だけ、図形種IDと代
表点数と代表点軌跡が含まれる。
マットの具体例である。
ライン関数の節点の数を表す。各節点に対応するフレー
ムは、時間として表され、節点時刻801に格納され
る。節点時刻は、節点数だけあるため、配列802とし
て記述しておく。同様に、各節点のx座標についての座
標値(またはその差分ベクトルのx成分値等の座標値を
特定可能とする量)、y座標についての座標値(または
その差分ベクトルのy成分値等の座標値を特定可能とす
る量)もそれぞれ節点X803および節点Y805の配
列804,806として記述される。
イン関数として一次関数だけが用いられているかどうか
を表す。一部分でも2次の多項式を用いる場合には、こ
のフラグはオフにしておく。このフラグを用いることに
より、近似関数として一次関数のみに使われる場合に以
下で説明する関数特定情報808、812を一つも記述
しなくて済むため、データ量を削減できるというメリッ
トがある。なお、必ずしもこのフラグは必要ではない。
812,関数パラメータ810、814はそれぞれ多項
式スプライン関数の次数と、その係数を特定するための
情報を表す。これは、例えば1次多項式を使うならば
1、2次多項式を使うならば2というように設定する。
もちろん、多項式の最高次数を3次以上とすることも可
能である。1次多項式を用いるときは節点のみの情報で
十分なので、関数パラメータは記述されないが、2次多
項式の場合には係数を特定するための値一つ(例えば、
2次の係数、あるいは二次曲線上の節点以外の1点の座
標値(差分ベクトルを用いている場合には成分値))が
関数パラメータに記述される。関数特定情報は、節点数
より1つ少ない数だけ存在し、これらは配列811、8
12となって記述される。Y座標に関しても同様に関数
特定情報配列812が記述される。
準代表点V0 以外の代表点を記述するのに、隣接した代
表点からのベクトルを求め、このベクトルを近似関数に
変換していた。このような方法以外にも、他の代表点、
例えば基準代表点V0 からのベクトルを使う方法につい
て説明する。
代表点V0 以外の代表点(この場合近似多角形の頂点)
Vi については、V0 からVi へのベクトルV0,i を算
出しておく。そして、図7で説明された処理において、
ν(j) t (j=1,2,…,M−1)を時刻tにおける
V0,i の成分値と置き換えて処理を行う。
外の代表点も、基準代表点V0 と1つのベクトルにより
記述できるため、記述データから得られる値の誤差が累
積されないという利点がある。
に、基準代表点V0 から右回りでベクトルを半分求め、
左回りで残りのベクトルを求める方法や、図11の
(b)のように、基準代表点V0 からのベクトルで表す
代表点を複数設け、それらからは隣接代表点間でベクト
ルを求める方法など、様々なバリエーションが可能であ
る。
る場合に、2以上a−1以下の複数の代表点をそれぞれ
基準代表点とし、残りの1以上の代表点を差分ベクトル
で表すことも可能である。
体領域データの代表点軌跡704は、代表点の数(M
個)だけ存在することになる。
て、基準代表点V0 をおおもとの基点として様々な方法
でそれ以外の代表点を表す方法について説明したが、以
下では、連続するフレームにおいて代表点の移動量をベ
クトルで表現し、これらベクトルの軌跡を近似関数に変
換することにより物体領域を記述する方法について説明
する。
における物体近似図形(多角形)、1102は時刻tの
フレームにおける物体近似図形、そして1101は11
02の手前のフレームにおける物体近似図形である。1
103は時刻tにおける物体領域の代表点のひとつであ
る。1104は手前のフレームにおける1103の対応
点である。1105は1104から1103への移動ベ
クトルであり、時刻tのフレームにおける代表点の移動
量を表している。移動ベクトルは、各フレームに対応し
た時刻毎に得られるため、これまでと同様に時間tの関
数により近似することが可能である。
の処理としては、図7で説明されるフローチャートにお
いて、ν(j) t (j=0,1,…,M−1)を時刻tに
おけるV’i の成分値と置きかえればよい。ここで、
V’i は時刻tにおけるVi の移動ベクトルとしてい
る。この方法ではV0 も他の代表点と同様の方法で移動
ベクトルが算出され、近似関数への変換が行われる。
法では、物体が出現したフレームにおける近似図形の全
代表点の座標を記述しておく必要がある。従って、この
方法の場合に記述される(図8の例に対応する)データ
フォーマットは図13のようになる。図8との違いは、
代表点初期位置1200が付与されている点である。代
表点初期位置1200には、初期フレームにおけるM個
の代表点の座標値が記述されている。このときの座標値
の記述方法としては、全ての代表点の座標値をそのまま
記述すれば良い。また、ひとつの代表点の座標値のみを
そのまま記述し、他の代表点の座標は、例えば、図5で
表されるように隣接した代表点からの差分のベクトルを
記述する方法、あるるいは図10で説明されるようにひ
とつの代表点V0 からの差分のベクトルで記述する方法
などを用いても良い。
初期代表点位置から時刻tの代表点の位置への移動ベク
トルを直接求め、これを近似関数に変換して記述するこ
とも可能である。
された物体の領域に関する情報から、任意の時刻Tにお
ける物体の領域を取り出す方法について説明する。この
処理は、例えば映像データおよびその物体領域データを
扱う情報処理装置において実行される。もちろん、この
ような情報処理装置は、計算機上でソフトウェアを実行
する形で実現することもできる。
ローチャートである。
ついては隣接する代表点からのベクトルの軌跡により記
述する場合の例について説明する。
に物体が存在するかどうかを判断する。これは、物体出
現時間701および物体存在期間702を参照すること
で容易に判断できる。もしも時刻Tに物体が存在してい
ない場合には、物体領域がないため、直ちに処理を終了
する。
似関数F(j) ta,tb(t)(j=0,1,…,M−1)
を再構成する。ここで、時刻Tを含む区間の両端の節点
の時刻をta およびtb する。近似関数は、図9の節点
X803、または節点Y805に記述されているta お
よびtb における座標値(またはその差分ベクトルの成
分値)と、関数ID809、関数パラメータ810によ
り再構成できる。すなわち、近似関数に1次多項式を用
いている場合には、二つの節点を通過する直線として求
められる。また、2次多項式を用いており、関数パラメ
ータに2次の係数が記述されている場合には、2次の係
数を関数パラメータの値により決定し、2次未満の係数
を節点を通過するように決定すればよい。
を代入し、時刻TにおけるV0 の座標値およびV1,2 ,
V2,3 ,…,VM-2,M-1 の成分値を求める。
V1,2 ,V2,3 ,…,VM-2,M-1 を逐次的に足しこむこ
とにより、V0 ,V1 ,…,VM-1 の座標値を算出す
る。
して、情報処理装置では、物体の領域を近似する図形を
生成すること、物体の映像データのうち近似図形の範囲
を特定の表示形態で表示して対処物体をユーザに呈示す
ること、ユーザが画面上に表示中の映像上をマウスなど
のポインティングデバイス等で指示した場合に例えばそ
の時刻(フィールド)に物体領域の近似図形が存在し且
つ指示位置が近似図形の内部であればその対象物体が指
示されたと判断することなど、対象物体に関する種々の
処理を行うことができる。
関連情報が付加されている場合、あるいは物体領域デー
タとは別に各物体に対する関連情報を含むデータベース
が存在するなどの場合に、ハイパーメディアや物体検索
に用いることができる。
をマウス等で指定することにより、指定された時刻・場
所が物体領域の内部であるか外部であるかを判定し、内
部であると判定されれば、その物体に関する関連情報を
検索させたり、表示させたりすることが、容易にでき
る。また、関連情報がプログラムや計算機の動作を記述
したデータまたはそのポインタである場合には、ユーザ
が当該物体を指定することにより、計算機に所定の動作
を行わせることができる。
のようなものであってもよい。例えば、映像が映画など
のコンテンツ、物体が俳優等の登場人物もしくは他の登
場物体、関連情報がその俳優もしくはその役柄等に関す
る説明であれば、映画を視聴している視聴者は、所望の
俳優に関する説明をその俳優の画像をクリックするだけ
で閲覧することができる。同様に、電子百科事典、電子
カタログ等のあらゆる電子コンテンツに適用可能であ
る。
位置、非通過位置、ある位置における大きさ、ある位置
における滞在時間などを検索キーとして条件に合う物体
を検索することができる。いずれの検索キーに対して
も、物体の存在する時間区間に対して逐次代表点座標を
取り出し、任意の点が代表点で構成される図形の内部か
外部かを判定したり、面積を計算することにより条件を
満たすかどうかが判断できる。
述しておけば、物体をキーワード検索することができ
る。さらに、関連情報にその物体から抽出した、シェー
プ、テクスチャ、アクティビティ、カラーなどの特徴量
を記述しておけば、そのような特徴量をもとにオブジェ
クト検索することができる。
ことにより得られる、物体のシェープ、テクスチャ、ア
クティビティ、カラーなどの特徴量に基づいて、不審な
人物等の監視を行う、監視システムを実現することがで
きる。
方法について説明する。
データがユーザの用に供される場合には、作成者側から
ユーザ側に何らかの方法で物体領域データを提供する必
要がある。この提供の方法としても以下に例示するよう
に種々の形態が考えられる。 (1)映像データとその物体領域データとその関連情報
とを1つ(または複数の)記録媒体に記録して同時に提
供する形態 (2)映像データとその物体領域データとを1つ(また
は複数の)記録媒体に記録して同時に提供するが、関連
情報は別途提供するかもしくは提供しない(後者は例え
ば提供しなくてもユーザがネットワーク経由等で別途取
得できる場合)形態 (3)映像データを単独で提供し、別途、物体領域デー
タと関連情報とを1つ(または複数の)記録媒体に記録
して同時に提供する形態 (4)映像データ、物体領域データ、関連情報を別々に
提供する形態 上記は主に記録媒体により提供する場合であるが、その
他にも、一部または全部を通信媒体で提供する形態も考
えられる。
像中の物体の領域を、該物体の領域に対する近似図形の
代表点の位置データまたはそれを特定可能なデータ(例
えば、代表点間差分ベクトル値)をフレームの進行に沿
って並べることにより得られる軌跡を近似した関数のパ
ラメータとして記述することにより、複数フレームに渡
る映像中の物体の領域を少量の関数パラメータのみによ
って記述することができるため、物体の領域を特定する
ためのデータの量を効果的に削減することができ、また
ハンドリングを容易にすることができる。特に物体が剛
体の場合は、相対位置は絶対位置よりも変動が少なく、
その軌跡を関数近似したときに、コンパクトな情報量で
記述することができる。また、近似図形からの代表点の
抽出や、近似曲線(直線の場合も含む)のパラメータの
生成も容易に行うことができる。また、このデータを通
信する場合の通信量を減らすことができる。近似曲線の
パラメータから近似図形を生成することも容易に行うこ
とができる。この近似図形として基本的な図形(例えば
多角形)により代表させれば、ユーザにより指定された
任意の座標が物体の領域(近似図形)内か否か(物体の
領域を指示しているか否か)を簡単な判定式により判定
することができる。さらに、これによって、ユーザによ
る映像中の動く物体の指示をより容易にすることがで
き、映像中の物体の通過位置、ある地点での滞留時間、
あるいは軌跡などに基づいて、映像中の物体の検索を容
易に行うことができる。また、操作性の良いハイパーメ
ディア・アプリケーションを実現できる。
の実施例で第1実施例と対応する部分は同一参照数字を
付して詳細な説明は省略する。
の物体について、画面上の2次元情報(代表点のX座標
値、Y座標値)以外に奥行きの方向に関する情報をも物
体領域情報に含める場合について説明する。なお、第2
実施例では、第1実施例と相違する点を中心に説明す
る。
域情報生成装置に更に奥行きの方向に関する情報(以
下、奥行き情報と呼ぶ)を得るための処理部108が必
要になる。この処理部108は図15に示すように、映
像データ記憶部100と代表点軌跡の関数近似部104
との間に接続される。
(Z座標値)で与える方法と、離散的なレベル値(より
好ましくは一定の範囲内の整数値)で与える方法があ
る。また、各値は、映像データが撮影されたものである
場合には、被写体を実測したデータに基づく方法と、ユ
ーザなどが指定する方法がある。映像データが人工的な
もの(例えばCGあるいはアニメーションなど)の場合
には、奥行きに関する値が与えられているならばこれに
基づく方法と、ユーザなどが指定する方法がある。
行き情報は、対象物体毎に与える方法と、対象物体の近
似図形の代表点毎に与える方法がある。
て、奥行き情報を、その物体の出現フレームから消失フ
レームまでの全フレームに対してそれぞれ与える方法
と、その物体の出現フレームから消失フレームのまでの
全ての所定の区間(例えば、隣接節点区間)に対してそ
れぞれ与える方法などがある。
で、且つ代表点毎に与える方法で、且つ、その物体の出
現フレームから消失フレームまでの全フレームに対して
それぞれ与える方法を採用する場合には、第1実施例の
対象物体の近似図形の代表点のX座標およびY座標につ
いての処理と同様の処理を各代表点のZ座標についても
行えばよい(代表点軌跡関数近似部104で行えばよ
い)。
やそのバリエーションなど)の代表点軌跡のデータ形式
の一例は、例えば図16のようになる。図9との違い
は、X座標およびY座標に加えて奥行き情報であるZ座
標に関する節点Z配列832、関数特定情報配列Z83
6が付加されている点である。
方法で、且つ対象物体毎に与える方法で、且つ、その物
体の出現フレームから消失フレームまでの全フレームに
対してそれぞれ与える方法を採用する場合には、第1実
施例の対象物体の近似図形の代表点のX座標およびY座
標についての処理と同様の処理を代表点軌跡関数近似部
104により当該対象物体のZ座標の値についても行え
ばよい。この場合には、例えば図17に示すように、物
体領域データ(例えば図8やそのバリエーションなど)
に対して奥行き情報705、すなわち当該対象物体のZ
座標についての値の軌跡を付加すればよい。もちろん、
さらに関連情報等が付加されている構成もある)。図1
7の物体領域データ中の代表点軌跡は図9に示すもので
あり、奥行き情報のデータ形式の一例は、例えば図18
のようになる。図18と図9との違いは、図18はZ座
標についての値のみ記述されている点である。
として連続値ではなく、レベル値を用いる場合には、同
じレベル値が複数フレームにわたって連続することが想
定されるので、例えば、レベル値が変化する毎に、変化
後のレベル値とそのレベル値が変化したフレームの番号
等を記述するようにしてもよい。
与える場合には、その物体の出現フレームから消失フレ
ームまでの全フレームに比べて隣接節点区間の区間数は
それほど多くないことが想定されるので、全ての値と隣
接節点区間との対応を記述してもよい。
行きを実測する場合の構成例について説明する。
は3次元空間に設定した座標系における座標のような絶
対的な位置情報と、最初の物***置からの移動距離もし
くは移動距離の大きさを表す数値のような相対的な位置
情報がある。
ら絶対的な位置情報を求めるのは難しいため、文献「三
次元画像計測:井口,佐藤(昭晃堂)、p.20〜5
2」に記載されているような特殊なレンジセンサを用い
て計測を行うか、複数台のカメラを用いステレオ法に基
づいて計測を行って、位置情報を取得する。ただし、あ
る一定の撮影条件を仮定することができる場合には、単
一のカメラで撮影した画像からでも位置情報を求めるこ
とができる。この場合の一例を以下に示す。
すように、カメラ1300で車1301を撮影する。カ
メラは固定することが多いので、あらかじめカメラ13
00を校正しておくことができる。また、車が走る道路
面を平面とみなし、3次元空間中での平面の方程式をあ
らかじめ計算しておくことが可能である。これらの前提
条件の下で、車のタイヤ部分が地面1303と接してい
る点1306の位置を求める。撮像面1302上では、
点1306が点1305の位置で検出されたとすると、
点1305を通るカメラの視線1304と平面1303
との交点を求めることによって、点1306の位置が得
られる。
とによって得られるカメラパラメータから計算できる。
道路面を既知としたが、車のバンパー位置の高さを既知
と仮定してもよい。
タを扱う情報処理装置において、これらの3次元情報を
用いて、指定された位置に近い物体を検索することがで
きる。図20に、そのような検索の処理の一例を表すフ
ローチャートを示す。まず、ステップS2700におい
て、指示された検索対象とする位置情報(3次元情報)
を入力する。ステップS2701で、その位置と全物体
領域データに係る物体の持つ3次元的な位置との間の距
離を計算する。全てについて3次元的な距離を求めた
後、ステップS2702でしきい値より小さい距離を持
つ物体を求め、出力する。なお、しきい値を定めずに距
離が最小となる物体を検索結果として出力してもよい。
体の絶対的な位置情報は求めるのは困難であるが、図2
1の(a)から(b)のように手前に向かってくる車
を、静止したカメラから撮影した映像では、車の画像面
上での大きさの変化を観測することによって、例えば初
期位置よりもカメラに近づいたか遠ざかったかというよ
うな相対的な奥行き情報を求めることが可能である。こ
の場合の一例を以下に示す。
ンホールカメラに基づいた透視変換モデルによって記述
することができる。1600はカメラのレンズ主点であ
り、1601は撮像面である。物体1602がカメラに
近づく方向に移動しているとする。これを真上から見下
ろした図が図23である。図23のように、物体がZ軸
に平行な姿勢を保ったままカメラに近づく方向に移動し
たとすると、移動前1702と移動後1703では物体
前面の撮影像は1704から1705へと幅が大きくな
る。物体とカメラレンズ主点1700との距離が小さい
ほど、撮影像は大きくなるため、撮影像の大きさを用い
て、相対的な位置の変化を表現することができる。例え
ば、物体の初期位置での撮影像の幅を1とし、その後の
撮影像の幅との比を求めていく。撮影像の幅は、レンズ
主点1700からの距離の逆数に比例すると見なしてよ
いので、その比の値の逆数を求め、奥行き情報として保
持しておけばよい。この場合、カメラに近いほど値は小
さくなり、遠いほど値が大きくなる。なお、幅でなく、
撮影像の面積や物体表面の特徴的なテクスチャの面積を
用いてもよい。
タを扱う情報処理装置において、これらの相対的な位置
の変化を示す情報を用いて、1つの移動物体について、
指定した距離に存在する時刻を求めることが可能であ
る。
手順の一例を表すフローチャートを示す。
フローチャートである。図24では、1つの移動物体の
保持している奥行き値を正規化する。ステップS280
0において、奥行き値の最小値を1とし、ステップS2
801において奥行き値を最小値で割って正規化する。
ステップS2802において全ての奥行き値の正規化処
理が終わったことを判定する。
て、検索すべき奥行き値(正規化値)を入力する。ステ
ップS2901で、その入力値と各奥行き値の差を計算
し、全ての奥行き値と比較を終えたら(ステップS29
02)、その差が最小となる時刻を出力する(ステップ
S2903)。
である2次元的位置情報以外に、奥行きに関する情報を
付与することにより、奥行き方向を考慮した検索、例え
ばカメラからの距離情報で物体を検索が可能となる。 第3実施例 第3実施例では、第1実施例または第2実施例におい
て、さらに、映像中の物体について、画面上でその物体
(またはその一部)が見えている状態にあるか、他の物
体の陰に隠れているなどして見えていない状態にあるか
を示す表示フラグに関する表示フラグ情報をも物体情報
データに含める場合について説明する。なお、第3実施
例でも、第1実施例または第2実施例と相違する点を中
心に説明する。
処理は、例えば代表点軌跡関数近似部104で行えばよ
い。
映像中に複数の物体が存在している場合、ある物体21
01が別の物体2102によって隠れたり、現れたりす
るということがよくある。この状態を記述するため、物
体領域データに表示フラグ情報を追加する。
と、対象物体の近似図形の代表点毎に与える方法があ
る。
示フラグが立っているときは、その物体が他の物体によ
り隠れていないことを示し、再生時には、その物体を表
示する。表示フラグが立っていないときは、その物体が
他の物体により隠れていることを示し、再生時には、そ
の物体を表示しない。
毎に与える場合、1つの対象物体の近似図形における全
ての代表点の表示フラグが同一の状態ならば上記と同様
であるが、表示フラグが立っている代表点と、表示フラ
グが立っていない代表点が混在するならば、その状況を
考慮して当該物体の表示を行う(例えば当該物体の該当
する一部分のみ表示する)。
が変わるキーポイント間毎に設定され、物体領域の代表
点軌跡データを作成するときに同時に決定される。な
お、キーポイントは、近似関数の節点と無関係に設けら
れてもよいが、キーポイントは必ず節点になるようにし
てもよい。例えば、キーポイントが発生した場合には、
強制的にその時点を節点とする方法がある。
ーポイントは、物体が現れている状態から隠れてる状態
に移るときと、隠れている状態から現れている状態に移
るときに設定される。図27の例において、物体220
1は、フレームiまでは現れていて、フレームiからj
は隠れ、フレームj以降はまた現れるとき、フレームi
とjにキーポイントを置き、フレームiからjまでの表
示フラグには隠れ状態を、それ以外のフレームの表示フ
ラグには現れ状態を設定する。表示フラグを対象物体の
近似図形の代表点毎に与える場合も同様である。
渡って物体が現れているものとして作成し、物体が隠れ
ているため代表点の情報がわからない場合は、分かって
いる前後の代表点の情報より補完することによって、代
表点軌跡データを作成する。そして、代表点軌跡データ
を作成した後、物体が現れているか隠れているかに応じ
て表示フラグを設定する。このため、一つの物体に関し
ては物体が隠れたり現れたりしても一連の代表点軌跡デ
ータで表現することが可能となる。
ついて説明する。
設定されるが、表示フラグ自体に開始タイムスタンプと
終了タイムスタンプを付加してもよい。この場合は、表
示される範囲や隠れる範囲がキーポイントと独立に設定
できるというメリットがある。
フラグを持っていてもよいし、各代表点軌跡データ毎に
独立して持っていてもよい。例えば、物体が多角形で表
現されていて、その各頂点を代表点として軌跡データで
表現した場合には、代表点軌跡データ毎に独立して表示
フラグを持つことによって、物体の一部のみの隠れなど
を表現することが可能となる。
いるかだけではなく、優先度として整数の値をとるよう
にしてもよい。物体同士が重なったときは、優先度の低
い物体が優先度の高い物体に隠れていることを示し、優
先度の高い物体のみを表示する。また、優先度が0の時
は他の物体に関係なく物体は隠れているものとする。表
示フラグを上記のように整数値でとることによって、映
像中に他の物体を合成したときなどにも、物体同士の隠
れの問題を解決できるという利点がある。表示フラグを
整数値でとった場合も、1つの物体内で1つの表示フラ
グを持っていてもよいし、各代表点軌跡データ毎に独立
して持っていてもよい。
領域データのデータ構造の例である。
付加する場合における、物体領域データ(例えば図8や
そのバリエーションなど)に対して表示フラグ情報70
6を付加した例である。もちろん、さらに関連情報等が
付加されている構成もある。
の構造例である。
始タイムスタンプ2302と終了タイムスタンプ230
3を持っている。表示フラグ数2301は表示フラグの
総数であり、開始タイムスタンプ2302と終了タイム
スタンプ2303を利用しない場合は、(キーポイント
数−1)個の表示フラグを持つため、表示フラグ数23
01を省略してもよい。表示フラグ2304は現れてい
るか隠れているかを0か1かで記録するが、優先度とし
て整数値をとってもよい。
表示フラグをそれぞれ付加する場合には、例えば、物体
領域データ(例えば図8やそのバリエーションなど)の
各代表点軌跡毎に表示フラグ情報を付加する。
構造の例である。図30の表示フラグ900の構造例は
図29と同様である。
体領域データを扱う情報処理装置で行われる検索時の処
理の一例を表すフローチャートを示す。
が検索キーを入力し、ステップS253において検索し
ている物体領域のキー情報と検索キーの距離を計算す
る。
が現れている状態かをステップS254で判定し、表示
フラグが隠れている状態の時はマッチングしていないも
のとする。
る状態で距離が閾値より小さい場合はマッチングしたも
のとして記録する。
ップS252ですべての物体領域について計算終了した
と判断されたときは、ステップS256において記録結
果を出力して終了する。
オクル−ジョンかどうか(つまり見えているかどうか)
を示す表示フラグを付け加えることにより、再生時に物
体が隠れているかどうかを他の物体との関係から計算す
ることなく判定することが可能となり、表示されている
物体を検索する場合などにもオクルージョンを考慮した
効率的な検索が可能となる。
3実施例において、さらに、映像中の物体が画面上に出
現してから消失するまでに通過した画面上での範囲を示
す情報(以下、物体範囲情報と呼ぶ)をも物体情報デー
タに含める場合について説明する。なお、第4実施例で
は、第1実施例または第2実施例または第3実施例と相
違する点を中心に説明する。
生成するための処理部をさらに設ける(物体領域抽出部
101と物体領域の図形近似部102との間に接続す
る)。
とき、通常は1つの物体に対し複数の軌跡データを利用
して表現することになる。そのため、指定した点を通過
した物体を検索する場合は、複数の軌跡データから物体
領域を先ず計算して、領域が指定点を含むか否かを判断
する必要がある。しかし、複数の軌跡データから物体領
域を先ず計算することなく、物体通過範囲を表現できれ
ば便利である。
囲むような最小の長方形または多角形の物体通過範囲に
関する情報を生成し、これを物体領域データに付帯させ
るようにする。
を利用してもよいし、傾きを持たない長方形を利用して
もよい。傾きを持つ長方形を利用する場合には、物体領
域の軌跡を誤差が少なく近似できる利点がある。傾きを
持たない長方形を利用する場合には、長方形のパラメー
タ計算が簡単であるという利点がある。
2401の軌跡領域を傾きのない長方形で近似したもの
の例を示す。
2401の軌跡領域を傾きのある長方形で近似したもの
の例を示す。
2401の軌跡領域を多角形で近似したものの例を示
す。
または多角形を計算するときは、各フレームにおける物
体領域を求めた後、全フレームに渡って領域の論理和を
計算し、得られた論理和の領域を最小の長方形または多
角形で近似する。
長方形または多角形を計算する際に、既に計算されてい
るフレームに関する当該物体領域の軌跡全体を囲む最小
の長方形または多角形と、新しく追加すべきフレームに
おける当該物体領域との論理和の領域を最小の長方形ま
たは多角形で近似するようにしてもよい。
長方形または多角形を計算する際に、各代表点の軌跡を
囲むような最小の長方形または多角形を計算し、全軌跡
に渡って得られた長方形または多角形の領域の論理和に
ついて、それを囲むような最小の長方形または多角形を
計算するようにしてもよい。
過範囲情報の記述例を示す。外接図形タイプ3401
は、外接図形のタイプを示す。例えば、0は図32の
(a)に示す傾きのない長方形、1は図32の(b)に
示す傾きのある長方形、2は図32の(c)に示す多角
形を示す。外接図形タイプが0の場合は頂点数Nが2、
1の場合は頂点数Nが3、2の場合は頂点数Nが任意の数
となる。物体が奥行き情報を持っている場合は、同様に
奥行きの軌跡情報を加えて3次元の外接図形を考えるこ
とができる。その場合、図34に示すように、奥行き情
報のZに関する情報が追加される。
体領域データを扱う情報処理装置において、ユーザがあ
る座標値(2次元について説明するが、3次元でも同
様)を指定したとき、その座標を通過するような物体を
選び出す場合の処理の一例を表すフローチャートを示
す。
すべき座標値を入力し、ステップS262において、各
物体軌跡について軌跡全体を囲むような最小の長方形ま
たは多角形と入力された座標値を比較し、座標が軌跡全
体を囲むような最小の長方形または多角形の中に入って
いるような物体のみを抽出する。物体の個数は0の場合
も、1つの場合も、複数の場合もあり得る。抽出された
物体について、ステップS263で代表点軌跡から入力
された座標が物体領域(例えば近似図形の内部)の中に
入っているかどうかを判定する。
り、軌跡全体を囲むような最小の長方形または多角形の
物体の内外判定の方が計算量が少ないため、特に検索対
象の物体数が多い場合は、はじめに軌跡全体を囲むよう
な最小の長方形または多角形の内外判定をしたほうが効
率よく検索ができる。
小の長方形または多角形の情報を付帯することによっ
て、物体の通過範囲を効率よく表現でき、ある座標を物
体の物体が通過するかどうか判定することなどが簡単に
行えるようになる。
域を関数で表現するだけでなく、物体が時空間的に存在
する位置を囲む図形を付帯させることにより、全く別の
場所に存在する物体を検索の候補から除外することが可
能となる。 第5実施例 第5実施例では、本発明をモザイキングに適用した場合
について説明する。
ように撮影された複数の画像を貼り合わせ、1枚の広範
囲を撮影した画像を合成する手法である。このようにし
て合成された画像はパノラマ画像などとも呼ばれる。複
数の画像からモザイキングによりパノラマ画像を作成す
る手法は複数の提案がされている(M. Irani,
P. Anandan, “Video Index
ing Basedon Mosaic Repres
entations”, Proceedings o
f the IEEE, Vol. 86, No.
5, pp.905−921, May 1998.
など)。
実施例と同様であるが、本実施例では、これまでのよう
に各フレームにおける物体領域の近似図形の代表点の位
置データ(各フレーム毎の座標)をもとに近似を行うの
ではなく、パノラマ画像における各物体領域の近似図形
の代表点の位置データ(パノラマ画像全体の座標)をも
とに近似を行う点が相違する。
を中心に説明する。
情報記述方法の処理手順の一例を表すフローチャートで
ある。図37の(a)、図37の(b)に、この方法を
説明するための図を示す。
像であり、合成前の各々の静止画像の各画素は、パノラ
マ画像におけるある基準点(例えば、フレーム中で左下
の点)を原点として、座標が変換されることになる。し
たがって、各静止画像における物体領域の近似図形の各
代表点は、パノラマ画像の座標系におけるX座標やY座
標についての系列となる。本実施例では、各静止画像に
おける物体領域の近似図形の各代表点のX座標やY座標
についての系列を、これまでの実施例のようにして、関
数近似するものである。その際に、これまでの実施例と
同様に、例えば、1つの静止画像内で差分ベクトルをと
り、あるいは静止画像間で差分ベクトルをとって、この
差分ベクトルの系列を関数近似する。
の静止画像からパノラマ画像を作成する。これらの入力
画像群は、図37の(a)では2000〜2005に相
当し、移動する物体をカメラを移動させながら撮影した
画像である。2006は画像内の物体で、2000〜2
005内には同じ物体が撮影されている。これらの画像
群は動画中の連続するフレームや、撮影範囲を重なるよ
うにカメラを移動しながら撮影した静止画であることが
多いが、パノラマ画像を作成できるような入力画像であ
れば何でもよい。
マ画像が図37の(b)の2007である。
ラマ画像内に存在する個々の物体領域を図形により近似
する。なお、ステップS1900のパノラマ画像作成と
ステップS1901の物体領域の図形近似は逆の順序で
行ってもよい。ただし、パノラマ画像を合成する際の変
換によっては、物体領域の近似図形種の変更を必要とす
る場合がある。例えば、物体領域を矩形で近似する場
合、アフィン変換によりパノラマ画像の合成を行うと合
成後の物体領域は必ずしも矩形とはならない。その場合
はパノラマ画像の作成を先に行うか、パノラマ画像合成
の変換後に修正を行う。
01で求めた物体領域の近似図形の代表点や特徴点の軌
跡を関数により近似する。物体領域の軌跡は基準となる
物体領域を定め、そこからの各物体領域の変化量により
求める。例えば、図37の(b)において、第1入力画
像の物体領域2008を基準とし、それに続く物体領域
の変化を軌跡2009とする。この例では、物体領域の
重心を代表点としているが、矩形や楕円など他の近似図
形の代表点を用いる場合やその他の特徴点を代表点とし
て用いる場合であっても同様である。
対する差分を用いる場合と直前の物体領域からの差分を
用いる場合があるが、これらの変化量は同様に関数近似
を行うことができる。また、基準点からの変化を代表点
や特徴点の移動ではなく、平行・回転移動やアフィン変
換などの動きモデルで近似し、その変換係数の軌跡とし
て物体の移動を記述することができる。この場合も変換
係数の軌跡を関数近似することによって適用することが
できる。
02で求めた軌跡を近似する関数のパラメータを前述の
データ構造体のフォーマットに従って記述を行う。
画像として合成する際の諸パラメータも入力画像全体を
物体領域とみなすことにより、同様に記述することがで
きる。
メータの記述例を示す。諸パラメータは作成されたパノ
ラマ画像の座標系を、作成に用いた映像フレームの座標
とその映像フレームからパノラマ画像への変換パラメー
タによって記述するものである。ここで、どこを原点と
しても良いが、映像フレームの座標が左下に原点がある
とする。そして、モザイキングに利用されたフレームの
縦横の長さが同一で既知であるとする。統合座標フラグ
3601は、このようなパノラマ画像の座標系を用いた
物体の記述かどうかのフラグであり、フラグが0の時は
通常の座標系(つまり、すべての映像フレームで左下原
点)で、1の時はフレームがパノラマに統合された座標
系を示す。モデルタイプM3602は、各フレームをパ
ノラマ画像に変換したときの変換モデルのタイプを示す
ものである。例えば、モデルタイプMが0の時は変換な
し、2の時は平行移動で、4の時は回転・拡大縮小で、
6の時はアフィンで、8の時は透視変換で、12の時は
2次射影変換を表す。各モデルにおいて、モデルタイプ
Mの値と同数のパラメータがある。
y2 vy(x, y) = a2 + a5 x + a6 y + a8 xy + a11 x2 + a12
y2 ここで、変換を行うための原点をX原点3603、Y原
点3604で与える。この原点は元映像フレームの座標
系を用いて示す。このように変換のための原点を与える
のは、変換時に生じる誤差を少なくするためである。変
換パラメータ数N3605は、パノラマに用いるフレー
ム数Nと同じである。フレーム毎に変換パラメータが必
要となる。フレーム間時間3606は、初期フレームか
らのフレーム間時間で、パラメータセット3607は、
変換のモデルタイプに応じてM個のパラメータを記述す
る。各フレーム中のオブジェクトの軌跡もこのパラメー
タセットを用いて変換され記述される。
いかけながら撮影している場合には、連続するフレーム
を画像変換を施してつながるように貼り合わせるモザイ
キングによるパノラマ画像を作成し、その作成された画
像上での物体の領域情報を記述することにより、カメラ
が移動していてもモザイキング画像のある点を基点とし
た座標系で物体の領域情報を一意に記述することができ
る。
施例のデータ構造を有する物体領域情報に奥行き情報、
表示フラグ、物体範囲情報、パノラマ変換のためのパラ
メータも記述する実施例として説明したが、これらの実
施例は第1実施例の物体領域情報に限定されず、他のデ
ータ構造を有する物体領域情報に対しても付帯可能であ
る。以下、物体領域情報のデータ構造の変形に関する他
の実施例を説明する。
のものではなく、ベクトルで代表点の軌跡を記述した
が、代表点の座標そのものの軌跡を記述する場合に、奥
行き情報も付帯する第6実施例を説明する。
例の構成と同じである。第1実施例では多角形により物
体領域を近似していたが、第6実施例では図39の
(a)から(d)に示すように物体領域を楕円で近似す
る方法を示す。図39の(a)から(d)は第1実施例
の図3の(a)から(c)に相当する。楕円の2つの焦
点v1、v2と楕円上の1点v3を代表点として抽出す
る方法を用い、代表点の軌跡をスプライン関数により近
似する。
れる場合に、近似楕円を求める方法の一例を示す。図4
0における点A,B,C,Dが物体の領域である平行四
辺形の各頂点である。この場合、まず、辺ABと辺BC
のどちらが長いかを計算する。そして、長い方の辺およ
びその対辺を辺の一部とする最小の長方形を求める。図
40の例の場合は点A,B’,C,D’を4頂点とする
長方形となる。近似楕円は、例えば、この長方形に内接
する楕円と相似で、かつ、点A,B’,C,D’を通る
外接楕円とする。
2、v3は楕円を表現する図形代表点であり、具体的に
は2つの焦点v1、v2および1つの楕円上の点v3
(図39の(b)の例では短軸上の1点)である。楕円
の焦点は2つの軸上の点や楕円の外接矩形から簡単に求
めることができる。以下、一例として、図41における
長軸上の2点P0,P1および短軸上の1点Hから焦点
FとGを求める方法を説明する。
bと、楕円の中心Cと、扁平率eとを、 E(P0,P1)=2×a、 C=(P0+P1)/2、 E(C、H)=b、 e=(1/a)×(a×a−b×b)1/2 により求める。ここで、E(P、Q)は点Pと点Qのユ
ークリッド距離である。
点FとGは、 F=C+e×(P0−C)、 G=C−e×(P0−C) により求めることができる。
びHは決定されるが、これらの点を別のフレームにおい
て取り出された楕円の代表点と結びつける際にはあいま
いさが生じる。すなわち、抽出された2つの焦点と1つ
前のフレームにおける2つの焦点とを結びつける組み合
わせは2通り存在する。また、短軸と楕円との交点は2
つあるため、1つ前のフレームにおいて抽出された楕円
上の一点と対応する交点がどちらなのかがわからない。
そこで、これらを決定する方法について説明する。
p、Gpとする。Fpに対応するのがFであるのかGで
あるのかを判断するために、E((Gp−Fp)/2,
(G−F)/2)とE((Gp−Fp)/2,(F−
G)/2)とを比較する。前者の方が小さい場合には、
FpはFに対応させ、GpはGに対応させる。一方、後
者の方が小さい場合には、その逆に、FpはGに対応さ
せ、GpはFに対応させる。
円との交点をHpとし、現フレームの短軸と楕円との2
つの交点をH、H’とする。Hpと対応付ける点として
HとH’のどちらを選択するかは2つの距離、E(Hp
−(Gp+Fp)/2,H−(F+G)/2)とE(H
p−(Gp+Fp)/2,H’−(F+G)/2)とを
算出することにより決定する。前者が小さい場合にはH
を選択し、そうでない場合にはH’を選択する。なお、
はじめのフレームにおける短軸と楕円との交点Hは2つ
のうちのどちらを選択してもよい。
は、映像中の注目物体の移動や撮影カメラの移動によ
り、連続するフレームにおいて位置が異なるのが普通で
ある。そこで、対応する楕円の代表点を時系列に並べ、
X座標、Y座標毎にスプライン関数により近似を行う。
本実施例では、楕円の代表点であるF、G、Hの3点
(図41参照)それぞれについてX、Y座標のスプライ
ン関数が必要になるので、合計6つのスプライン関数が
生成される。
ライン関数を3次元的に表現したものである。図39D
の204は代表点関数近似部104の出力であるスプラ
イン関数の一例である(1つの代表点の1つの座標軸に
ついてのみ示している)。この例は、近似区間がt=0
〜5とt=5〜16の2つに分割された場合(節点が3
つとなった場合)を示している。
予め定めておいたデータ形式に従って領域データ記憶部
106に記録される。
の領域を、その近似図形の代表点の時系列的な軌跡(フ
レーム番号あるいはタイムスタンプを変数とする代表点
の座標の軌跡)を近似した曲線のパラメータとして記述
することができる。
関数のパラメータのみによって表現できるため、データ
量が少なく、ハンドリングの容易な物体領域データを生
成することができる。また、近似図形からの代表点の抽
出や、近似曲線のパラメータの生成も容易に行うことが
できる。また、近似曲線のパラメータから近似図形を生
成することも容易に行うことができる。
例えば一つまたは複数の楕円を用い、例えば楕円を二つ
の焦点と他の1点により代表させれば、ユーザにより指
定された任意の座標が物体の領域(近似図形)内か否か
(物体の領域を指示しているか否か)を簡単な判定式に
より判定することができる。さらに、これによって、ユ
ーザによる映像中の動く物体の指示をより容易にするこ
とができる。
される物体領域データのデータ形式について説明する。
なお、ここでは、代表点をスプライン関数により近似す
る場合を例にとって説明するが、もちろん、代表点を他
の関数により近似する場合も同様である。
ライン関数と、物体に関連付けられた関連情報とを記録
するための物体領域データのデータ形式の一例を示す。
識別番号である。なお、このデータは省略されてもよ
い。
番号402Bは、当該ID番号の物体の存在を定義する
最初と最後のフレーム番号であり、具体的には、映像中
で物体が登場し消えるまでのフレーム番号である。ただ
し、現実に映像中で物体が登場し消えるまでのフレーム
番号ではなく、例えば映像中で物体が登場したときより
後の任意のフレーム番号を先頭フレーム番号としてもよ
いし、また先頭フレーム番号以降でかつ映像中で物体が
消えたときより前の任意のフレーム番号を最終フレーム
番号としてもよい。なお、先頭/最終フレーム番号は先
頭/最終タイムスタンプで代用することもできる。ま
た、最終フレーム番号402Bは、物体存在フレーム数
または物体存在時間に置き換えてもよい。
インタとも言う)403Bは、当該ID番号の物体に関
連付けられた関連情報データの記録してあるデータ領域
のアドレスなどである。関連情報へのポインタ403B
を使うことにより、物体に関する関連情報を検索したり
表示したりすることが容易にできる。また、関連情報へ
のポインタ403Bはプログラムや計算機の動作を記述
したデータへのポインタであってもよい。この場合に
は、当該物体がユーザにより指定されると、計算機が所
望の動作を行うことになる。
例えば、物体により異なる動作をさせる必要のない場合
には、省略することができる。
に関連情報へのポインタを記述する場合について説明す
るが、物体領域データ内に関連情報そのものを記述する
ようにしてもよい。また、物体領域データ内に関連情報
へのポインタと関連情報そのものを任意に記述可能とし
てもよい。この場合には、物体領域データ内に記述され
ているのが関連情報へのポインタか関連情報そのものか
を示すフラグを付加すればよい。
している図形の数である。図39の例においては、一つ
の楕円で物体領域を近似しているので、図形の数は1と
なる。
現するための図形代表点の軌跡データ(例えばスプライ
ン関数のパラメータ等)である。なお、近似図形データ
405Bは、近似図形数404Bに相当する数だけ存在
する。近似図形数404Bが2以上の場合については後
述する。また、物体領域データにおいて、近似図形数4
04Bは常に1つとし(従って近似図形データ405B
も常に1つとなる)、近似図形数404Bのフィールド
を省くようにしてもよい。
405Bのデータ構造の一例を示す。
どのような図形を用いているかを示すためのデータであ
り、円、楕円、矩形、多角形などを特定する。
される図形を代表する点の数を幾つ必要とするかを表
す。
03B,1304Bは、図形の代表点の軌跡を表現する
スプライン関数に関するデータ領域である。一つの図形
代表点につき、X座標、Y座標、Z座標のスプライン関
数データが必要になる。従って、スプライン関数を特定
する代表点軌跡データは、代表点数(M)×3だけ存在
する。
19〜図23の方法により求めても良いし、他の手法を
用いて求めても良い。
類、例えば楕円、に限定することも可能である。この場
合には、図42の図形種IDのフィールドを省くことも
可能である。
に特定される場合には、代表点数を省くことも可能であ
る。
2B,1303B,または1304Bのデータ構造の一
例を示す。
ン関数の節点を表しており、この節点まで多項式のデー
タ1403Bが有効であることを示している。多項式の
係数データの数は、スプライン関数の最高次数により変
化する(最高次数をKとすると、係数データの数はK+
1となる)。そのため、多項式次数1401Bを参照す
る。多項式次数1401Bの後には、(多項式次数+
1)個に相当する数の多項式係数1402Bが続く。
式で表現されるため、接点の数に対応した数の多項式が
必要になる。従って、節点フレーム番号、多項式の係数
などを含むデータ1403Bは、複数繰り返し記述され
る。節点フレーム番号が最終フレームと等しくなった場
合には、それが最後の多項式係数データであることを意
味しているので、代表点軌跡データが終わることがわか
る。
は代表点軌跡データZ)を記述したが、第2実施例の図
17のように対象物体毎に1つ奥行き情報を記述するこ
とも可能である。この場合のデータ構造を図45に示
す。
B、代表点軌跡データ組1302B,1303Bに加え
て奥行き情報1306Bを記述する。この奥行き情報1
306Bは図18に示すものである。
いた場合について説明する。
いた場合の代表点を説明するための図である。点A,
B,C,Dが平行四辺形の頂点である。これらのうち3
点が決まれば残りの1点も一意に決まるため、代表点と
しては4頂点のうちの3頂点とすれば十分である。この
例では、A,B,Cの3点を代表点としている。
の図形を割り当てて、物体の領域を大まかに表す例を中
心に説明をしてきたが、一つの物体の領域を複数の図形
により近似し、近似精度を向上させることも可能であ
る。図47は、一つの物体を数の図形で近似した例であ
る。この例では画像中の人の領域を600Bから605
Bまでの6つの楕円により表している。
表す場合には、物体を複数の領域に分割する処理が必要
となる。この処理にはどのような方法が用いられていて
も良いが、例えば人手で直接入力する方法がある。この
場合、例えば、マウス等のポインティングデバイスを用
いて、画像上で領域を矩形や楕円で囲む、あるいはポイ
ンティングデバイスの軌跡により領域を指定する、など
の操作で実現することができる。また、人手ではなく自
動で行う場合には、例えば、物体の動きのクラスタリン
グで実現する方法がある。これは、連続するフレーム間
で物体中の各領域がどのような動きをしたかを相関法
(例えば画像解析ハンドブック、第II部第3章、東京
大学出版会、1991を参照)や勾配法(例えば、De
termining optical flow,B.
K.P.Horn and B.G.Schunck,
Artificial Intelligence,V
ol.17,pp.185−203,1981を参照)
などにより求め、これらの動きの似ているものだけをま
とめて領域を形成する方法である。
は、それぞれについて上述した処理を施すことにより、
近似図形データを生成することが可能である。この場
合、一つの物体の物体領域データに記述すべきスプライ
ン関数が近似図形の増加に応じて増えることになるた
め、図48で表されるように近似図形データ405B
を、近似図形数404Bに相当する数(この場合、L
個)だけ含むデータ構造となる。
いて近似図形数を常に1つとし(従って近似図形データ
も常に1つとなる)、近似図形数のフィールドを省くよ
うにする場合において、一つの物体を複数の図形で表す
ためには、一つの物体を近似する各図形毎に、物体領域
データを生成すればよい(それらは同じID番号を有す
ることになる)。
図形で表す場合に、同一の図形を用いるものとしている
が、複数種類の図形を混在して使用可能としてもよい。
る近似方法について説明する。
(a)から(c)と同じ形式の図であるが、ここでは、
領域図形近似部としては矩形による領域の近似方法を用
い、図形代表抽出部としては矩形の4つの頂点を抽出す
る方法を用い、代表点関数近似部としてはスプライン関
数による近似方法を用いた場合を例としている。
理対象となっている映像中の1フレームを示している。
2801Bは抽出対象となっている物体の領域を示して
いる。2802Bは物体の領域を矩形で近似したもので
ある。
形2802Bを求める場合の処理手順の一例を図50に
示す。すなわち、フレーム2800Bのマスク画像を例
えばラスタースキャンし(ステップS60B)、対象画
素が物体領域内であるときに(ステップS61B)、X
座標とY座標のそれぞれについて、それまで保存されて
いる最小値より小さい場合には最小値を更新し、それま
で保存されている最大値より大きい場合には最大値を更
新する(ステップS62B)ことを、全ての画素につい
て繰り返しチェックすることによって、X座標とY座標
のそれぞれについて物体領域を示す画素位置の最小値お
よび最大値を求めれば、矩形2802Bの4つの頂点座
標を得ることができる。
する方が適当な場合もある。図51に、物体の領域が矩
形で表される場合に、その矩形から近似楕円を求める方
法の一例を示す。図52に、この場合の処理手順の一例
を示す。
と外接矩形3301Bが得られているものとする。
を求める(ステップS80B)。
301Bの内接楕円であり、楕円3303Bは矩形33
01Bの外接楕円である。
ずつ外接楕円3303Bに近づけていき(ステップS8
1B)、物体領域を全て包含する楕円3304Bを求め
(ステップS82B)、近似楕円とする。なお、繰り返
し処理において、一回に内接楕円3302Bの大きさを
拡大する単位は、予め定めておいてもよいし、内接楕円
3302Bの大きさと外接楕円3303Bの大きさの差
分に応じて決定してもよい。
の大きさを内接楕円3302Bに近づけていってもよ
い。この場合には、外接楕円3303Bは最初から物体
領域を全て包含しているので、例えば、繰り返し処理に
おいて、始めて物体領域に包含されない部分を生じた楕
円の、一回前における楕円を、近似楕円とすればよい。
データ構造と代表点軌跡データとは別のデータ構造を説
明する。
代表点軌跡データの記述フォーマットの他の例である。
なお、図53、図54では、代表点軌跡データの部分に
ついては、1つの代表点についてのみ示してある。実際
には、代表点の個数に対応して記述される。
説明する。
は、多項式スプライン関数の全ての係数を記述していた
のに対して、ここでの記述方法では、スプライン関数の
節点の座標と、スプライン関数の2次の係数に関連する
値との組み合わせにより記述する。この記述方法の利点
は、節点が容易に取り出せるため、大まかな物体の軌跡
が簡単にわかるという点である。
る。
は、物体の形の近似に用いた図形の種類を特定する。例
えば、物体の重心のみ(CENTROID)、矩形(R
ECTANGLE)、楕円(ELLIPSE)や、それ
らの組み合わせを指定できる。代表点数3901Bは、
図形の種類によって定まる代表点軌跡の数を表す。
スプライン関数の節点の数を表す。各節点に対応するフ
レームは、時間として表され、節点時刻3903Bに格
納される。節点時刻3903Bは、設定数だけあるた
め、配列3904Bとして記述しておく。
もそれぞれ節点X3905B、節点Y3907B、節点
Z3909Bの配列3906B,3908B、3910
Bとして記述される。
プライン関数として一次関数だけが用いられているかど
うかを表す。一部分でも2以上の多項式を用いる場合に
は、このフラグはオフにしておく。このフラグを用いる
ことにより、近似関数として一次関数のみに使われる場
合に以下で説明する関数特定情報3912B、3916
B、3920Bを1つも記述しなくて済むため、データ
量を削減できるというメリットがある。なお、必ずしも
このフラグは必要ではない。
920Bに含まれる関数ID3913B、3917B、
3921B、関数パラメータ3914B、3918B、
3922Bはそれぞれ多項式スプライン関数の次数と、
その係数を特定するための情報を表す。
れについて、(節点数−1)に相当する個数のものが存
在し、これらは配列となって記述される。
として説明したが、もちろん、多項式の最高次数を3次
以上とすることも可能である。
記述したが、第2実施例の図17のように対象物体毎に
1つ奥行き情報を記述することも可能である。この場合
のデータ構造を図55、図56に示す。
に、図形種ID700B、物体出現時間701B、物体
存在期間702B、代表点数M703B、代表点軌跡7
04B、奥行き情報705Bを含む。代表点軌跡704
Bは図56に示すように、図53、図54に示す近似図
形データから図形種ID3900B、代表点数3901
B、節点Z配列3910B、関数特定情報配列3923
Bを省略したものである。
表点の座標そのものの軌跡を記述する場合に、第2実施
例の奥行き情報も付帯する例を説明したが、第3実施例
(表示フラグ)、第4実施例(物体範囲情報)、第5実
施例(パノラマ変換のためのパラメータ)は物体領域を
近似する図形の代表点の座標そのものの軌跡を記述する
場合にも同様に適用できることが理解される。
照フレームにおける参照物体領域と、該参照物体領域か
ら任意のフレームにおける物体領域への変換パラメータ
とにより表現する場合に、第2実施例の奥行き情報も付
帯する例を説明する。
成装置の構成例を示す。この物体領域情報生成装置は、
映像データ記憶部2C、物体領域処理部4C、変換パラ
メータ算出部6C、関数近似部8C、物体領域データ記
憶部10Cを備えている。
憶されているもので、例えばハードディスクや光ディス
ク、半導体メモリなどで構成される。なお、映像データ
記憶部は他の処理部と同一サイトにある必要はなく、イ
ンターネット等を介して遠隔地に配置されていてもよ
い。
ムの物体領域(参照物体領域)や対象となるフレームの
物体領域(対象物体領域)を得るための処理を行う。
域をもとにして、対象物体領域の変換パラメータを算出
する処理を行う。
ータの各々について、その時系列的な軌跡を時間関数に
近似する処理を行う。なお、後述するように、変換パラ
メータ自体を記述する場合には、この関数近似部8は不
要となる。
メータの各々について、その時系列的な軌跡を近似した
関数式を表現するデータを含む物体領域データを記憶す
る。
処理を行うことが好ましいが、その部分は図57では省
略している。
タ記憶部10Cは、別々の記憶装置・記憶媒体によって
構成されていてもよいが、それらの全部または一部が同
一の記憶装置・記憶媒体によって構成されていてもよ
い。
上でソフトウェアを実行する形で実現することもでき
る。
置の処理手順の一例を示す。
全てのフレームの物体領域(これは既知であるとする)
を入力する処理を行う。例えば、GUIを介して入力す
る場合は、処理対象となる映像中の物体の輪郭をマウス
やタッチパネル等のポインティングデバイスにより指定
する。手動で入力された物体の輪郭内部を物体領域とし
てもよいし、また、入力された輪郭をSnakesとよ
ばれる動的輪郭モデル(例えばM.Kass, A.W
itkin and D.Terzopouls著、
「Snakes: Active contour m
odels」、Proceedings of the
1st InternationalConfere
nce on Computer Vision, p
p.259−268, 1987年を参照)を用いた手
法により画像中の物体の輪郭線にフィッティングさせ、
フィッティング後の輪郭の内部を物体領域としても良
い。なお、手動で入力する代わりに画像処理により自動
的に求めてもよいまた、物体領域に関するデータが既に
存在している場合は、そのデータを読込んでもよい。
参照物体領域として登録しておく。登録方法としては、
物体の領域内には1を、領域外には0をそれぞれ対応さ
せた2値のビットマップを作成し、記憶しておく方法が
ある。
を、参照フレームとして登録しておく。
領域から処理対象となっている1つのフレームにおける
物体領域(以下、対象物体領域と呼ぶ)への変換パラメ
ータを算出する処理を行う。
プティカルフロー算出処理とオプティカルフローからの
変換パラメータ算出処理との2つの処理の組み合わせに
より実現することができる。対象物体領域内のオプティ
カルフロー算出処理は、参照フレームから現フレームに
かけての物体領域内の各画素(もしくは数画素からなる
ブロック)の動き(オプティカルフロー)を算出する処
理である。
のオプティカルフローを求める処理例の概要を示す。
ム、202Cは参照フレームの次のフレーム、そして2
03Cはフレーム202Cの次のフレームを表してい
る。204C,205C,206Cはそれぞれのフレー
ムにおける物体の領域である。207Cはフレーム20
1Cからフレーム202Cへの物体領域のオプティカル
フローである。また、208Cはフレーム201Cから
フレーム203Cへの物体領域のオプティカルフローで
ある。
法は、参照物体領域と任意のフレームにおける物体領域
を直接関係させることができるため、任意フレームの物
体領域を算出したり、指定された座標が物体の内部か外
部かを判定したりする処理が容易である。
ムにかけての物体領域内の各画素(もしくは数画素から
なるブロック)のオプティカルフローを求めたが、その
代わりに、一つ前のフレームから現フレームにかけての
物体領域内の各画素(もしくは数画素からなるブロッ
ク)のオプティカルフローを求めるようにしても良い。
図60に、この場合の処理例の概要を示す。
ム、302Cは参照フレームの次のフレーム、そして3
03Cはフレーム302Cの次のフレームを表してい
る。304C,305C,306Cはそれぞれのフレー
ムにおける物体の領域である。307Cはフレーム30
1Cからフレーム302Cへの物体領域のオプティカル
フローである。また、308Cはフレーム302Cから
フレーム303Cへの物体領域のオプティカルフローで
ある。
は、図59の方法に比べてパラメータの変動が少なくな
るが、任意フレームの物体領域の算出が面倒になる。図
59と図60のどちらの方法を用いても構わないが、本
実施例では、図59の方法でオプティカルフローを算出
するものとして説明を続ける。
な方法は多数提案されており(例えば、J.L.Bar
ron, D.J.Fleet and S.S.Be
auchemin著、「Performance of
Optical FlowTechniques」、
International Journal of
Computer Vision, vol.12,
no.1, pp.43−77, 1994年を参
照)、どのような方法でも用いることが可能である。
し、これら特徴点を中心とするブロックをテンプレート
とするテンプレートマッチングにより求めた移動ベクト
ルをオプティカルフローの代わりに用いても良い。
ータを算出する処理を行うが、求める変換パラメータは
前提とする変換モデルにより異なる。
として、「拡大縮小モデル」、「回転モデル」、パラメ
ータ数が2のモデルとして、「平行移動モデル」、パラ
メータ数が4のモデルとして、「拡大縮小/回転/平行
移動モデルの複合モデル」(ここでは4−parame
ter変換モデルと呼ぶ)、パラメータ数が6のモデル
として、「affine変換モデル」、パラメータ数が
8のモデルとして、「射影変換モデル」、パラメータ数
が12のモデルとして、「parabolic変換モデ
ル」が選択できるものとする。
(1)から数式(7)である。
ル、数式(3)は平行移動モデル、数式(4)は4−p
arameter変換モデル、数式(5)はaffin
e変換モデル、数式(6)は射影変換モデル、数式
(7)はparabolic変換モデルに相当する。数
式中、参照物体領域中の座標を(x,y)、対象物体領
域における物体の対応点の座標を(x’,y’)として
いる。各変換モデルでは、両フレームにおける対応点の
関係が、それぞれの数式のようにa0〜a11のパラメー
タを用いて表現できることを仮定している。もちろん、
上述したモデル以外のパラメトリックなモデルを用意し
ても構わない。
用いることができる。これは、オプティカルフローによ
り求められた(x,y)と(x’,y’)との組み合わ
せを変換モデルの数式に代入した際に生じる誤差の2乗
和を最小とするように変換パラメータを決定する方法で
ある。これは古典的な方法で、行列演算で容易に実行す
ることができる。
物体領域の変換パラメータを時間関数へ変換(近似)す
る処理を行う。
換パラメータai(0≦i≦n−1)(例えば、n=1
2)を、 ai=fi(t) (fi(t)は時間tの関数) と表現する。この時間区間とは、同一の参照物体領域を
用いてオプティカルフローを算出したフレームが含まれ
る時間区間である。また、fi(t)は多項式、スプラ
イン関数、定数などとすることができる。
れた(ある1つの)aiを関数により表現した様子を示
す。図61において、401Cは関数表現の対象となっ
ている時間区間、402Cはオプティカルフローから算
出されたaiの値、403Cはaiを表現する関数ai=
fi(t)を表している。
は、物体領域を記述するデータを少なくできることであ
る。例えば、関数として2次以下の多項式を用いるとす
ると、この関数は3つの実数により表現することができ
るため、ある時間区間全てのパラメータの値を記述する
のに3つの実数で十分になる。
ライン関数とする場合には、変換対象となっている時間
区間におけるaiの値とfi(t)により算出される値と
の誤差が小さくなるように決定する。例えば、最小二乗
法を利用すれば容易に計算ができる。
ば、当該物体領域に関する各フレームにおけるパラメー
タ値が得られる毎に行う(例えば各フレームのパラメー
タ値が得られる毎に近似を行うとともに近似誤差を求
め、近似誤差が一定の範囲に収まるように近似区間を適
宜分割する方法)ようにしてもよいし、参照物体領域が
更新されて参照物体一定区間が定まった後に一括して行
うようにしてもよい。
ては後でより詳細に説明する。
領域の更新の必要性の判定処理を行う。
の領域を、参照フレームにおける参照物体領域と、参照
物体領域の変換パラメータとにより表現するものであ
る。しかし、表現したい物体領域と参照物体領域とがあ
まりに異なった形状である場合には、変換パラメータに
より参照物体領域を移動/変形しても、表現したい物体
領域に似ている形状が得られない。このような場合に
は、参照物体領域を別のフレームにおける物体領域に変
更(参照領域の更新)するのが効果的である。そこで、
本実施例では、ステップS104Cにて、そのような変
更が必要であるか否かを判定するようにしている。
際の物体領域と予測物体領域との誤差があらかじめ定め
られているしきい値を上回るかどうかにより判断する方
法を用いることができる。予測物体領域とは、変換パラ
メータを用いて参照物体領域から算出したあるフレーム
の物体領域のことである。変換に用いる変換パラメータ
は、時間関数ai=fi(t)から算出した値を用いる。
さらに、実際の物体領域と予測物体領域との誤差として
は、例えば、両領域の共通部分の面積と共通しない部分
の面積との比を用いることができる。
ップS104Cの判定処理において参照物体領域の更新
が決定された場合に、参照物体領域更新処理を行う。こ
の処理は、基本的にはステップS101Cの処理と同様
である。すなわち、現在ステップS102Cの変換パラ
メータを算出する処理の対象となっているフレームを参
照フレームとして登録し、参照物体領域を表現する2値
のビットマップを作成する処理である。また、参照フレ
ームにおける物体領域を参照物体領域として登録してお
く。
物体領域の記述処理が終了かどうかを判定する。この判
定基準としては、例えば、ビデオの終端かどうか、物体
領域存在区間の終端かどうか、ユーザにより終了が指示
されたかどうか、などがある。ステップS102Cから
ステップS104CまたはステップS105Cまでの処
理が、ステップS106Cで終了と判定されるまでフレ
ーム毎に繰り返し実行される。
れまでの処理により計算された物体領域の記述情報(変
換パラメータを近似する関数のパラメータ)を、予め定
められた記述フォーマットに従って記録する処理を行
う。記録先は、例えば、計算機の内部もしくは外部の半
導体メモリ、磁気テープ、磁気ディスク、光ディスクな
どの物体領域データ記憶部10Cである。
域に対する物体領域データの記述フォーマットの一例を
示す。
で、物体に付与された物体固有の識別情報(例えば、番
号または記号)である。502Cは、参照物体領域一定
区間数で、同一の参照物体領域を有するフレーム区間の
数である(図62ではNとしている)。これは参照フレ
ームの数とも等しい。
体領域存在区間の先頭時刻および末尾時刻である。これ
らは時刻もしくはフレーム番号により記述される。末尾
時刻の代わりに物体領域存在区間の長さ(時間もしくは
フレーム番号の差分値)を用いることもできる。505
Cは、物体領域記述情報である。物体領域記述情報50
5Cは、参照物体領域区間毎に記述され、すなわち参照
物体領域区間数(図62の例ではN個)だけ記述され
る。
り、その詳細は図18に示したものである。
内容は、図62中の506C〜510Cに示される。5
06Cおよび507Cは、それぞれ、参照物体領域区間
の先頭時刻および末尾時刻である。これらは時刻もしく
はフレーム番号により記述される。末尾時刻は参照物体
領域区間の区間長で置き換えることができる。508C
は、変換モデルIDである。これは、拡大縮小モデル、
affine変換モデル、parabolic変換モデ
ルなどのうちどのモデルを用いて物体領域を記述したか
を特定するためのIDである。511Cは、原点座標
で、変換モデルの原点座標を画像のどこにとるかを決定
するものである。原点座標データは、参照物体領域の重
心位置を常に原点とするなどのルールを決めておく場合
には省略することができる。509Cは、参照物体領域
情報であり、参照物体領域を特定するための情報であ
る。具体的には、参照フレームの時刻(またはフレーム
番号)、参照物体領域を表すビットマップデータ(もし
くはビットマップデータへのポインタ)である。なお、
ビットマップデータは、そのままではデータサイズが大
きいため、圧縮して保存するのが好ましい。510C
は、変換パラメータ情報である。変換パラメータ情報
は、変換モデル(変換モデルID)により定まるパラメ
ータ数(図62の例ではM個)だけ記述される。変換パ
ラメータは、具体的には、各フレームでのパラメータの
値を示す配列や、パラメータを近似する関数を特定する
情報(係数値など)などである。変換パラメータ情報の
詳細については後で詳細に説明する。
化する物体領域を簡単な記述データとして記録しておく
ことができる。
を表し、参照物体領域から処理対象となっているフレー
ムの物体領域(対象物体領域)への変換パラメータを算
出したが、物体領域を近似図形で近似し、参照物体領域
の近似図形の各代表点から処理対象となっているフレー
ムの物体領域(対象物体領域)の近似図形の対応する各
代表点への変換パラメータを算出してもよい。以下、こ
の例を説明する。
示す。この物体領域情報生成装置は、映像データ記憶部
2C、物体領域処理部4C、図形近似部5C、変換パラ
メータ処理部6C、関数近似部8C、物体領域データ記
憶部10Cを備えている。図57の構成に対して図形近
似部5Cが追加されたものである。図形近似部5Cは物
体領域を近似図形で近似し、その近似図形の各代表点を
求める処理を行うものである。変換パラメータ算出部6
Cは、基準となる参照フレームの参照物体領域の近似図
形の代表点をもとにして、対象となるフレームの対象物
体領域の近似図形の代表点への変換パラメータを算出す
る。関数近似部8Cは、物体領域の近似図形の代表点の
変換パラメータの各々について、その時系列的な軌跡を
時間関数に近似する。もちろん、本物体領域情報生成装
置も、計算機上でソフトウェアを実行する形で実現する
こともできる。
手順の一例を示す。
テップS101Cと同様の処理である。
全体にわたり、物体領域をあらかじめ決められた図形に
より近似する処理である。
ば、物体領域を囲むなるべく小さな近似図形を見つけ
る。近似に用いる図形としては、傾きのないあるいは傾
きのある矩形(正方形、長方形)、平行四辺形、傾きの
ないあるいは傾きのある楕円(円を含む)、多角形な
ど、種々の図形を用いることができる。また、領域の近
似方法も、領域に外接する図形に近似する方法、領域に
内接する図形とする方法、領域の重心を近似図形の重心
とする方法、領域と近似図形の面積を等しくする方法、
領域と近似図形とが重ならない部分の面積を最小とする
方法など、種々の方法がある。
より近似するのではなく、対象物体(オブジェクト)毎
に図形の種類をユーザが指定できるようにしてもよい
し、対象物体毎にその物体の形状等に応じて図形の種類
を自動的に選択するようにしてもよい。
る処理は、フレーム毎に行っても良いし、もしくは対象
フレームの前後数フレームの物体領域を使って行っても
良い。後者の場合には、近似図形の大きさや位置などの
変化を数フレームの間で平滑化することにより、近似図
形の動きや変形をなめらかにしたり、物体領域の抽出誤
差を目立たなくすることができる。なお、近似図形の大
きさは、フレーム毎に異なって構わない。
この近似図形を表現する代表点を抽出する処理が行われ
る。どのような点を代表点とするかは、どのような近似
図形を用いるかにより異なる。例えば、近似図形が矩形
の場合には4つもしくは3つの頂点を代表点とすること
ができ、近似図形が円の場合には中心と円周上の一点と
したり直径の両端点としたりすることができる。また、
楕円の場合には楕円の外接矩形の頂点としたり2つの焦
点と楕円上の1点(例えば短軸上の1点)としたりすれ
ばよい。任意の閉多角形を近似図形とする場合には、各
頂点を図形の代表点とする必要がある。
が得られるたびに、フレーム単位で行う。また、各代表
点は、水平方向の座標xと、垂直方向の座標yと、によ
り表される。
に、近似楕円を求める方法の一例は図40に示したもの
と同じである。
点および1つの楕円上の点を求める方法の一例は図41
に示したものと同じである。
形状の多角形を用いることもできる。
照物体領域と参照フレームを設定する。参照物体領域
は、物体領域存在区間の先頭のフレーム(参照フレー
ム)における物体領域近似図形である。また、参照物体
領域近似図形の代表点の位置を併せて記憶しておく。
としているフレームの物体領域近似図形の代表点と、参
照物体領域近似図形の代表点とを対応させる。
示す。図65において、1000Cは近似矩形(複数)
の重心である。図65では、参照物体領域近似図形10
01Cと対象物体領域近似図形1002Cが得られてい
る。
02Cのいずれかを平行移動させ、重心位置を一致させ
る(重心位置を一致させた状態が図65である)。次
に、それぞれの矩形の頂点同士の距離d1〜d4を計算
し、全ての頂点の組み合わせで距離の和を求める。そし
て、距離の和が最小となる組み合わせを求め、対応づけ
する。なお、この方法では対応付けが難しい場合があ
る。例えば、近似矩形が正方形に近い形状であり且つ4
5度回転移動している場合には、対応付けが難しい(2
通りの組み合わせにおいて距離の和が同じような値にな
る)。そこで、そのような場合には、近似図形内の物体
領域同士の排他的論理和を取り、その面積が最小となる
組み合わせを採用する方法、あるいは物体領域のテクス
チャの絶対差分を求め、差分値が最小となる組み合わせ
を求める方法などを用いれば良い。
形の代表点の移動ベクトルから変換パラメータを算出す
る。
ルフローの代わりに用いて、図58のステップS102
Cと同等の処理により変換パラメータを算出する。ただ
し、代表点の数は少ないため、必ずしも変換パラメータ
が求まるとは限らない。例えば、矩形、楕円、平行四辺
形は3つの代表点を持つが、この3つの移動ベクトルか
ら射影変換モデルのパラメータ8個を求めることはでき
ない。図66に、近似に用いる図形の種類と、変換パラ
メータを求めることができる変換モデルとの関係を示
す。図66中の○はパラメータが算出できる組み合わ
せ、×は算出できない組み合わせである。
Cで求めた変換パラメータを時間関数により近似する処
理であり、図58のステップS103Cと同じ処理であ
る。
新する必要があるか否かを判定する処理である。この処
理では、まず、変換パラメータにより参照物体領域を変
換し、現フレームの予測物体領域を算出する。もちろ
ん、参照物体領域の代表点のみを変換パラメータにより
変換し、変換後の代表点により特定される図形を構成し
ても同じ予測物体領域が算出できる。次に、予測物体領
域と現フレームの対象物体領域近似図形との誤差を計算
し、しきい値処理により参照物体領域更新を行うか否か
を判定する。
Cにおいて参照物体領域の更新が必要と判定された場合
に、実際に更新を行う処理である。処理対象のフレーム
を参照フレームとし、当該フレームの物体領域近似図形
を新たな参照物体領域として記憶し、参照物体領域の代
表点の座標値も併せて保持しておく。
S106Cと同様に映像中の物体領域の記述が終了かど
うかを判定する。
S107Cと同様に算出した物体領域の情報(変換パラ
メータを近似する関数のパラメータ)を予め定められた
記述フォーマットで記録する処理である。
ットの一例を示す。この記述フォーマットは、図形情報
1109C以外は、図62に例示した記述フォーマット
と同じである。図62の参照物体領域情報509Cの代
わりの図形情報1109Cは、図形の種類を特定するI
Dと、参照物体領域の近似図形の代表点の座標とからな
る。図67中のMはIDにより特定される図形に必要な
代表点の数を表す。
てのフレームを対象として変換パラメータを求めたが、
変換パラメータを求めるフレームをサンプリングするよ
うにしてもよい。例えば、3フレームに1フレームだけ
サンプリングし、フレーム1から参照物体領域、フレー
ム4,7,…からそれぞれ対象物体領域を用いるなどで
ある。
し、その関数を特定する情報を物体領域データに記述す
る場合には、そのサンプリングされたパラメータ値によ
ってこれまでと同様に関数近似を行えばよい。また、物
体領域データにサンプリングに関する情報を含める必要
はない。
タに直接記述する場合には、例えば、(1)そのサンプ
リングされなかったフレームのパラメータ値を適宜補間
し(例えば、直前にサンプリングされたフレームと同じ
値を記述する)、物体領域データは図62と同様とする
か、あるいは、(2)図68のように、物体領域データ
にサンプリング情報520Cを持たせ、サンプリングし
た場合にはそのサンプリングしたフレームのパラメータ
値のみを記述し、サンプリング情報520Cにサンプリ
ング方法を特定可能な情報(例えば、nフレームに1回
サンプリングしたことを示す情報として数値n(ただ
し、例えばn=1の場合には全てのフレームからサンプ
リングされたことを示すものとする))を記述すればよ
い。なお、(2)の方法においては、この物体領域情報
を使用する際において、サンプリング情報520を参照
することにより、サンプリングされなかったフレームの
パラメータ値を必要に応じて補間することができる。
の領域に分けて物体領域データを作成する方法について
説明する。これまでは、1つの物体に対して1つの変換
パラメータを求めていた。しかし、見かけの形状が大き
く変化するような物体の場合、物体をいくつかの領域に
分割し、それぞれの領域に対して変換パラメータを用い
る方が良い場合がある。例えば、歩行している人間で
は、頭や胴体の部分は動きが少ないが、手足は激しく動
作する。人間を1つの物体として扱うよりも、頭/胴体
/手/足と別の領域に分割する方が、各部の変換パラメ
ータを安定して求めることができる。
物体を複数の領域に分割する処理が必要となる。この処
理にはどのような方法を用いてもよいが、例えば人手で
直接入力する方法がある。この場合、例えば、マウス等
のポインティングデバイスを用いて、画像上で領域を矩
形や楕円で囲む、あるいはポインティングデバイスの軌
跡により領域を指定する、などの操作で実現することが
できる。また、人手ではなく自動で行う場合には、例え
ば、物体の動きのクラスタリングで実現する方法があ
る。これは、連続するフレーム間で物体中の各領域がど
のような動きをしたかを相関法(例えば、画像解析ハン
ドブック、第II部、第3章、東京大学出版会、199
1を参照)や勾配法(例えば、Determining
optical flow, B. K. P. H
orn and B. G. Schunck, Ar
tificial Intelligence, Vo
l.17, pp.185−203, 1981を参
照)などにより求め、これらの動きの似ているものだけ
をまとめて領域を形成する方法である。
ものをまとめて領域分割を行う様子を示す。
するためのデータ構造の一例を示す。これは物体を単一
の領域で記述するデータ構造(図67)を拡張したもの
であり、2906C以下のデータは図67と共通であ
る。2902Cに分割した領域の数を保持し、2905
C以降に各領域のデータを保持する。
領域を参照フレームにおける参照物体領域と、該参照物
体領域から任意のフレームにおける物体領域への変換パ
ラメータとにより表現する場合に、第2実施例の奥行き
情報も付帯する例を説明したが、第3実施例(表示フラ
グ)、第4実施例(物体範囲情報)、第5実施例(パノ
ラマ変換のためのパラメータ)もこのような情報として
記述された物体領域データにも同様に付帯できることが
理解される。
々変形して実施可能である。例えば、これまでの各実施
例においては、物体の領域を近似する図形の代表点とし
て、近似図形を特定するための情報を用いたが、その代
わりに、映像中の物体領域から取り出した複数の特徴的
な点を、図形の代表点として用いてもよい。特徴点とし
ては、種々のものが考えられるが、例えば、物体の角
(例えば、Gray−level corner de
tection,L.Kitchen andA.Ro
senfeld,Pattern Recogniti
on Letters,No.1,pp.95−10
2,1982による方法など)、物体の重心などが考え
られる。なお、物体の重心を特徴点とする場合は、重心
であろう点の周囲を指定してから自動抽出することが好
ましい。なお、この方法の場合には、近似図形を特定す
るには情報が不足するので、物体領域データから近似図
形自体を特定することはできないが、上層処理装置側で
の処理は簡易になる。この場合の物体領域データの記述
スタイル(フォーマット)は上述の例と同様であり、単
に「近似図形データ」が「特徴点データ」となり、「代
表点数」が「特徴点数」となり、「代表点軌跡データ」
が「特徴点軌跡データ」となり、近似図形数と図形種I
Dのフィールドは不要となる。
段を実行させるための(あるいはコンピュータを所定の
手段として機能させるための、あるいはコンピュータに
所定の機能を実現させるための)プログラムを記録した
コンピュータ読取り可能な記録媒体としても実施するこ
ともできる。
れるものではなく、実施段階ではその趣旨を逸脱しない
範囲で種々に変形することが可能である。また、各実施
形態は可能な限り適宜組み合わせて実施してもよく、そ
の場合組合わせた効果が得られる。さらに、上記実施形
態には種々の段階の発明が含まれており、開示される複
数の構成要件における適宜な組合わせにより種々の発明
が抽出され得る。例えば、実施形態に示される全構成要
件から幾つかの構成要件が削除されても、発明が解決し
ようとする課題の欄で述べた課題が解決でき、発明の効
果の欄で述べられている効果が得られる場合には、この
構成要件が削除された構成が発明として抽出され得る。
について行ったが、複数の実施例を適宜組み合わせても
よい。
なる物体の領域を該物体の領域に対する近似図形の代表
点の位置データまたはそれを特定可能なデータをフレー
ムの進行に沿って並べることにより得られる軌跡を近似
した関数のパラメータとして記述することにより、映像
中の所望の物体の領域を少ないデータ量で記述でき且つ
その作成やそのデータの扱いも容易にすることができ
る。また、本発明によれば、映像中の物体に対する効率
的、効果的な検索を行うことが可能になる。
置の構成例を示す図。
れの一例を示すフローチャート。
るための処理の概要を説明するための図。
る例を説明するための図。
トルの一例を説明するための図。
トルのX成分の値を近似する関数を求める例を説明する
ための図。
を求める処理の一例を示すフローチャート。
構造の一例を示す図。
クトルの他の例を説明するための図。
クトルのさらに他の例を説明するための図。
るための図。
図。
の領域を取り出す処理の一例を示すフローチャート。
装置の構成例を示す図。
軌跡データのデータ構造の他の例を示す図。
を示す図。
るための図。
例を示すフローチャート。
るための図。
るための図。
るための図。
めるための前処理の手順の一例を示すフローチャート。
める処理の手順の一例を示すフローチャート。
るための図。
の図。
を示す図。
図。
タ構造のさらに他の例を示す図。
説明するための図。
図。
す図。
理の一例を示すフローチャート。
領域情報記述方法の処理手順の一例を示すフローチャー
ト。
について説明するための図。
造を示す図。
タで記述するための処理の概要を説明するための図。
するための図。
例について説明するための図。
図。
構造の一例を示す図。
タ構造の一例を示す図。
構造の他の例を示す図。
例について説明するための図。
例を示す図。
のデータ構造の一例を示す図。
するための他の処理の概要を説明するための図。
ーチャート。
説明するための図。
例を示すフローチャート。
図。
を示す図。
を示す図。
を示す図。
成例を示す図。
ャート。
例を説明するための図。
の例を説明するための図。
する例を説明するための図。
場合の物体領域データの記述フォーマットの一例を示す
図。
成例を示す図。
ャート。
る方法について説明するための図。
求めることができる変換モデルとの関係を示す図。
体領域データの記述フォーマットの一例を示す図。
述フォーマットの一例を示す図。
きが似ている領域に分割する様子を説明するための図。
体領域データの記述フォーマットの一例を示す図。
Claims (41)
- 【請求項1】 映像中における任意の物体の領域に関す
る情報を複数フレームに渡って記述するための物体領域
情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の点のうちの少なくとも一点を基準代表点と
し、該基準代表点の位置データと、前記代表点に対する
残りの代表点の相対位置データとを、フレームの進行に
沿って並べることにより得られる軌跡を関数で近似し、 該関数を用いて該物体の領域に関する情報を記述する物
体領域情報記述方法。 - 【請求項2】 前記相対位置データは、前記基準代表点
と前記残りの代表点との差分ベクトルの成分であること
を特徴とする請求項1に記載の物体領域情報記述方法。 - 【請求項3】 映像中における任意の物体の領域に関す
る情報を複数フレームに渡って記述するための物体領域
情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 基準フレームにおける近似図形の前記複数の代表点の位
置データと、他のフレームにおける前記基準フレームの
複数の代表点に対応する代表点の相対位置データとを、
フレームの進行に沿って並べることにより得られる軌跡
を関数で近似し、 該関数を用いて該物体の領域に関する情報を記述する物
体領域情報記述方法。 - 【請求項4】 前記相対位置データは前記基準フレーム
における前記複数の点と、前記他のフレームの前記基準
フレームの複数の点に対応する点との差分ベクトルの成
分であることを特徴とする請求項3に記載の物体領域情
報記述方法。 - 【請求項5】 映像中における任意の物体の領域に関す
る情報を複数フレームに渡って記述するための物体領域
情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似し、 該関数、および前記図形の奥行きを示すデータを用いて
該物体の領域に関する情報を記述する物体領域情報記述
方法。 - 【請求項6】 前記奥行きを示すデータは前記図形の相
対的な奥行きを示す離散値データであることを特徴とす
る請求項5に記載の物体領域情報記述方法。 - 【請求項7】 映像中における任意の物体の領域に関す
る情報を複数フレームに渡って記述するための物体領域
情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似し、 該関数、および前記図形または各々の前記代表点が見え
ている状態にあるフレーム区間、あるいは見えていない
状態にあるフレーム区間を特定するフラグ情報を用いて
該物体の領域に関する情報を記述する物体領域情報記述
方法。 - 【請求項8】 映像中における任意の物体の領域に関す
る情報を複数フレームに渡って記述するための物体領域
情報記述方法であって、 フレーム毎に前記任意の物体の領域を図形で近似し、 フレーム毎に該図形を表す複数の代表点を抽出し、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似し、 該関数、および前記図形が前記複数フレームにおいて存
在した範囲を示す存在範囲情報を用いて該物体の領域に
関する情報を記述する物体領域情報記述方法。 - 【請求項9】 前記関数近似は、複数の代表点の位置デ
ータ、またはこれを特定可能な位置の次元を持つデータ
をフレームの進行に沿って並べたときの軌跡を所定の関
数で近似し、該近似図形が前記複数フレームにおいて存
在した範囲を示す存在範囲近似図形を生成し、 該関数、および該存在範囲近似図形を用いて該物体の領
域に関する情報を記述することを特徴とする請求項8に
記載の物体領域情報記述方法。 - 【請求項10】 複数フレームをその重複部分を重ねる
ようにして生成されるパノラマ画像中を推移する任意の
物体の領域に関する情報を記述するための物体領域情報
記述方法であって、 前記パノラマ画像中の前記任意の物体の領域を図形で近
似し、 前記パノラマ画像中を推移する前記図形を表す複数の代
表点を抽出し、 前記複数の代表点の該パノラマ画像中における位置を特
定可能なデータをフレームの進行に沿って並べることに
より得られる軌跡を関数で近似し、 該関数を用いて該物体の領域に関する情報を記述する物
体領域情報記述方法。 - 【請求項11】 前記物体の領域に関する情報は、対象
となる前記複数フレームのうちの先頭のフレーム及び最
終のフレームを特定可能な情報と、該物体の領域を近似
する図形を識別する情報とを含むことを特徴とする請求
項1乃至請求項10のいずれか一項に記載の物体領域情
報記述方法。 - 【請求項12】 前記物体の領域に関する情報に、該物
体に関連付けられている関連情報、または該関連情報へ
のアクセス方法を示す情報を併せて記述することを特徴
とする請求項1乃至請求項11のいずれか一項に記載の
物体領域情報記述方法。 - 【請求項13】 前記物体の領域に関する情報は前記関
数のパラメータを用いて記述されることを特徴とする請
求項1乃至請求項12のいずれか一項に記載の物体領域
情報記述方法。 - 【請求項14】 映像データをもとにして請求項1乃至
請求項13のいずれか一項に記載の物体領域情報記述方
法により記述された1または複数の物体の領域に関する
情報を含む物体領域データを格納した記録媒体。 - 【請求項15】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
と、 前記複数の点のうちの少なくとも一点を基準代表点と
し、該基準代表点の位置データと、前記代表点に対する
残りの代表点の相対位置データとを、フレームの進行に
沿って並べることにより得られる軌跡を関数で近似する
手段と、 該関数を用いて該物体の領域に関する情報を生成する手
段と、を具備する物体領域情報生成装置。 - 【請求項16】 前記相対位置データは、前記基準代表
点と前記残りの代表点との差分ベクトルの成分であるこ
とを特徴とする請求項15に記載の物体領域情報生成装
置。 - 【請求項17】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
と、 基準フレームにおける近似図形の前記複数の代表点の位
置データと、他のフレームにおける前記基準フレームの
複数の代表点に対応する代表点の相対位置データとを、
フレームの進行に沿って並べることにより得られる軌跡
を関数で近似する手段と、 該関数を用いて該物体の領域に関する情報を生成する手
段と、を具備する物体領域情報生成装置。 - 【請求項18】 前記相対位置データは前記基準フレー
ムにおける前記複数の点と、前記他のフレームの前記基
準フレームの複数の点に対応する点との差分ベクトルの
成分であることを特徴とする請求項17に記載の物体領
域情報生成装置。 - 【請求項19】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
と、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似する手段と、 該関数、および前記図形の奥行きを示すデータを用いて
該物体の領域に関する情報を生成する手段と、 を具備する物体領域情報生成装置。 - 【請求項20】 前記奥行きを示すデータは前記図形の
相対的な奥行きを示す離散値データであることを特徴と
する請求項19に記載の物体領域情報生成装置。 - 【請求項21】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
と、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似する手段と、 該関数、および前記図形または各々の前記代表点が見え
ている状態にあるフレーム区間、あるいは見えていない
状態にあるフレーム区間を特定するフラグ情報を用いて
該物体の領域に関する情報を生成する手段と、を具備す
る物体領域情報生成装置。 - 【請求項22】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報を生成する装置であって、 フレーム毎に前記任意の物体の領域を図形で近似する手
段と、 フレーム毎に該図形を表す複数の代表点を抽出する手段
と、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似する手段と、 該関数、および前記図形が前記複数フレームにおいて存
在した範囲を示す存在範囲情報を用いて該物体の領域に
関する情報を生成する手段と、を具備する物体領域情報
生成装置。 - 【請求項23】 前記関数近似手段は、複数の代表点の
位置データ、またはこれを特定可能な位置の次元を持つ
データをフレームの進行に沿って並べたときの軌跡を所
定の関数で近似し、 前記情報生成手段は、該近似図形が前記複数フレームに
おいて存在した範囲を示す存在範囲近似図形を生成し、
該関数、および該存在範囲近似図形を用いて該物体の領
域に関する情報を生成することを特徴とする請求項22
に記載の物体領域情報生成装置。 - 【請求項24】 複数フレームをその重複部分を重ねる
ようにして生成されるパノラマ画像中を推移する任意の
物体の領域に関する情報を記述するための物体領域情報
を生成する装置であって、 前記パノラマ画像中の前記任意の物体の領域を図形で近
似する手段と、 前記パノラマ画像中を推移する前記図形を表す複数の代
表点を抽出する手段と、 前記複数の代表点の該パノラマ画像中における位置を特
定可能なデータをフレームの進行に沿って並べることに
より得られる軌跡を関数で近似する手段と、 該関数を用いて該物体の領域に関する情報を生成する手
段と、を具備する物体領域情報生成装置。 - 【請求項25】 前記物体の領域に関する情報は、対象
となる前記複数フレームのうちの先頭のフレーム及び最
終のフレームを特定可能な情報と、該物体の領域を近似
する図形を識別する情報とを含むことを特徴とする請求
項15乃至請求項24のいずれか一項に記載の物体領域
情報生成装置。 - 【請求項26】 前記物体の領域に関する情報は、該物
体に関連付けられている関連情報、または該関連情報へ
のアクセス方法を示す情報を含むことを特徴とする請求
項15乃至請求項25のいずれか一項に記載の物体領域
情報生成装置。 - 【請求項27】 前記物体の領域に関する情報は前記関
数のパラメータを用いて記述されることを特徴とする請
求項15乃至請求項26のいずれか一項に記載の物体領
域情報生成装置。 - 【請求項28】 映像データをもとにして請求項15乃
至請求項27のいずれか一項に記載の物体領域情報生成
装置により生成された1または複数の物体の領域に関す
る情報を含む物体領域データを格納した記録媒体。 - 【請求項29】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
と、 前記複数の点のうちの少なくとも一点を基準代表点と
し、該基準代表点の位置データと、前記代表点に対する
残りの代表点の相対位置データとを、フレームの進行に
沿って並べることにより得られる軌跡を関数で近似する
手順と、 該関数を用いて該物体の領域に関する情報を記述するす
る手順と、を実行させるための物体領域情報記述プログ
ラム。 - 【請求項30】 前記相対位置データは、前記基準代表
点と前記残りの代表点との差分ベクトルの成分であるこ
とを特徴とする請求項29に記載の物体領域情報記述プ
ログラム。 - 【請求項31】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
と、 基準フレームにおける近似図形の前記複数の代表点の位
置データと、他のフレームにおける前記基準フレームの
複数の代表点に対応する代表点の相対位置データとを、
フレームの進行に沿って並べることにより得られる軌跡
を関数で近似する手順と、 該関数を用いて該物体の領域に関する情報を記述するす
る手順と、を実行させるための物体領域情報記述プログ
ラム。 - 【請求項32】 前記相対位置データは前記基準フレー
ムにおける前記複数の点と、前記他のフレームの前記基
準フレームの複数の点に対応する点との差分ベクトルの
成分であることを特徴とする請求項31に記載の物体領
域情報記述プログラム。 - 【請求項33】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
と、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似する手順と、 該関数、および前記図形の奥行きを示すデータを用いて
該物体の領域に関する情報を記述するする手順と、を実
行させるための物体領域情報記述プログラム。 - 【請求項34】 前記奥行きを示すデータは前記図形の
相対的な奥行きを示す離散値データであることを特徴と
する請求項33に記載の物体領域情報記述プログラム。 - 【請求項35】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
と、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似する手順と、 該関数、および前記図形または各々の前記代表点が見え
ている状態にあるフレーム区間、あるいは見えていない
状態にあるフレーム区間を特定するフラグ情報を用いて
該物体の領域に関する情報を記述するする手順と、を実
行させるための物体領域情報記述プログラム。 - 【請求項36】 映像中における任意の物体の領域に関
する情報を複数フレームに渡って記述するための物体領
域情報記述プログラムであって、コンピュータに、 フレーム毎に前記任意の物体の領域を図形で近似する手
順と、 フレーム毎に該図形を表す複数の代表点を抽出する手順
と、 前記複数の代表点の位置を特定可能なデータをフレーム
の進行に沿って並べることにより得られる軌跡を関数で
近似する手順と、 該関数、および前記図形が前記複数フレームにおいて存
在した範囲を示す存在範囲情報を用いて該物体の領域に
関する情報を記述するする手順と、を実行させるための
物体領域情報記述プログラム。 - 【請求項37】 前記関数近似手順は、複数の代表点の
位置データ、またはこれを特定可能な位置の次元を持つ
データをフレームの進行に沿って並べたときの軌跡を所
定の関数で近似し、 前記記述手段は、該近似図形が前記複数フレームにおい
て存在した範囲を示す存在範囲近似図形を生成し、該関
数、および該存在範囲近似図形を用いて該物体の領域に
関する情報を記述することを特徴とする請求項36に記
載の物体領域情報記述プログラム。 - 【請求項38】 複数フレームをその重複部分を重ねる
ようにして生成されるパノラマ画像中を推移する任意の
物体の領域に関する情報を記述するための物体領域情報
記述プログラムであって、コンピュータに、 前記パノラマ画像中の前記任意の物体の領域を図形で近
似する手順と、 前記パノラマ画像中を推移する前記図形を表す複数の代
表点を抽出する手順と、 前記複数の代表点の該パノラマ画像中における位置を特
定可能なデータをフレームの進行に沿って並べることに
より得られる軌跡を関数で近似する手順と、 該関数を用いて該物体の領域に関する情報を記述するす
る手順と、を実行させるための物体領域情報記述プログ
ラム。 - 【請求項39】 前記物体の領域に関する情報は、対象
となる前記複数フレームのうちの先頭のフレーム及び最
終のフレームを特定可能な情報と、該物体の領域を近似
する図形を識別する情報とを含むことを特徴とする請求
項29乃至請求項38のいずれか一項に記載の物体領域
情報記述プログラム。 - 【請求項40】 前記物体の領域に関する情報に、該物
体に関連付けられている関連情報、または該関連情報へ
のアクセス方法を示す情報を併せて記述することを特徴
とする請求項29乃至請求項39のいずれか一項に記載
の物体領域情報記述プログラム。 - 【請求項41】 前記物体の領域に関する情報は前記関
数のパラメータを用いて記述されることを特徴とする請
求項29乃至請求項40のいずれか一項に記載の物体領
域情報記述プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001142257A JP4112819B2 (ja) | 2000-05-11 | 2001-05-11 | 物体領域情報生成装置及び物体領域情報記述プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-138571 | 2000-05-11 | ||
JP2000138571 | 2000-05-11 | ||
JP2001142257A JP4112819B2 (ja) | 2000-05-11 | 2001-05-11 | 物体領域情報生成装置及び物体領域情報記述プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002056392A true JP2002056392A (ja) | 2002-02-20 |
JP4112819B2 JP4112819B2 (ja) | 2008-07-02 |
Family
ID=26591676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001142257A Expired - Fee Related JP4112819B2 (ja) | 2000-05-11 | 2001-05-11 | 物体領域情報生成装置及び物体領域情報記述プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4112819B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048116A (ja) * | 2002-07-08 | 2004-02-12 | Monolith Co Ltd | 画像データ符号化および復号のための方法および装置 |
JP2004158014A (ja) * | 2002-11-07 | 2004-06-03 | Mitsubishi Electric Information Technology Centre Europa Bv | 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置 |
JP2005173716A (ja) * | 2003-12-08 | 2005-06-30 | Epson Kowa Corp | 動画マニュアルにおける移動領域の識別および制御方法 |
CN1669053A (zh) * | 2002-06-07 | 2005-09-14 | 动态数字视距研究有限公司 | 改进的变换和编码技术 |
JP2005293577A (ja) * | 2004-03-31 | 2005-10-20 | Fuji Xerox Co Ltd | ビデオ領域の高凝縮ビジュアル・サマリを生成する方法、装置及びプログラム |
JP2010525432A (ja) * | 2007-04-20 | 2010-07-22 | ソフトキネティック エス.エイ. | ボリューム認識方法およびシステム |
JP2013085758A (ja) * | 2011-10-19 | 2013-05-13 | Tomey Corporation | 断層撮影装置及び断層像の補正処理方法 |
KR101324250B1 (ko) | 2011-12-29 | 2013-11-01 | 삼성테크윈 주식회사 | 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라 |
JP5711136B2 (ja) * | 2010-01-29 | 2015-04-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 情報処理装置及び情報処理方法 |
KR20180077987A (ko) * | 2016-12-29 | 2018-07-09 | 이강현 | 영상의 모션 데이터 산출 방법 |
KR101885473B1 (ko) * | 2017-05-10 | 2018-08-03 | 동국대학교 산학협력단 | 시각 장애인 보조용 스마트 글래스 |
CN111008638A (zh) * | 2018-10-08 | 2020-04-14 | 斯特拉德视觉公司 | 基于r-cnn的对象检测器的学习方法和装置 |
JP2022544348A (ja) * | 2019-06-28 | 2022-10-18 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | 対象を識別する方法とシステム |
-
2001
- 2001-05-11 JP JP2001142257A patent/JP4112819B2/ja not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1669053B (zh) * | 2002-06-07 | 2013-11-06 | 动态数字视距研究有限公司 | 为图像序列建立深度图的方法 |
CN1669053A (zh) * | 2002-06-07 | 2005-09-14 | 动态数字视距研究有限公司 | 改进的变换和编码技术 |
JP2005529417A (ja) * | 2002-06-07 | 2005-09-29 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | 改善された変換および符号化技法 |
JP2004048116A (ja) * | 2002-07-08 | 2004-02-12 | Monolith Co Ltd | 画像データ符号化および復号のための方法および装置 |
JP2004158014A (ja) * | 2002-11-07 | 2004-06-03 | Mitsubishi Electric Information Technology Centre Europa Bv | 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置 |
JP4550398B2 (ja) * | 2002-11-07 | 2010-09-22 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置 |
JP2005173716A (ja) * | 2003-12-08 | 2005-06-30 | Epson Kowa Corp | 動画マニュアルにおける移動領域の識別および制御方法 |
JP2005293577A (ja) * | 2004-03-31 | 2005-10-20 | Fuji Xerox Co Ltd | ビデオ領域の高凝縮ビジュアル・サマリを生成する方法、装置及びプログラム |
JP4696635B2 (ja) * | 2004-03-31 | 2011-06-08 | 富士ゼロックス株式会社 | 画像領域の高凝縮要約画像を生成する方法、装置およびプログラム |
JP2010525432A (ja) * | 2007-04-20 | 2010-07-22 | ソフトキネティック エス.エイ. | ボリューム認識方法およびシステム |
US8175374B2 (en) | 2007-04-20 | 2012-05-08 | Softkinetic Software | Volume recognition method and system |
JP5711136B2 (ja) * | 2010-01-29 | 2015-04-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 情報処理装置及び情報処理方法 |
JP2013085758A (ja) * | 2011-10-19 | 2013-05-13 | Tomey Corporation | 断層撮影装置及び断層像の補正処理方法 |
KR101324250B1 (ko) | 2011-12-29 | 2013-11-01 | 삼성테크윈 주식회사 | 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라 |
KR20180077987A (ko) * | 2016-12-29 | 2018-07-09 | 이강현 | 영상의 모션 데이터 산출 방법 |
KR101885473B1 (ko) * | 2017-05-10 | 2018-08-03 | 동국대학교 산학협력단 | 시각 장애인 보조용 스마트 글래스 |
CN111008638A (zh) * | 2018-10-08 | 2020-04-14 | 斯特拉德视觉公司 | 基于r-cnn的对象检测器的学习方法和装置 |
CN111008638B (zh) * | 2018-10-08 | 2023-11-28 | 斯特拉德视觉公司 | 基于r-cnn的对象检测器的学习方法和装置 |
JP2022544348A (ja) * | 2019-06-28 | 2022-10-18 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | 対象を識別する方法とシステム |
JP7429246B2 (ja) | 2019-06-28 | 2024-02-07 | バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト | 対象を識別する方法とシステム |
Also Published As
Publication number | Publication date |
---|---|
JP4112819B2 (ja) | 2008-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100415266B1 (ko) | 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체 | |
JP4226730B2 (ja) | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 | |
JP3435084B2 (ja) | オプティカルフロー推定方法および画像合成方法 | |
JP2003510702A (ja) | 一連の画像を解析することにより三次元のシーンを構築する方法 | |
US20110187703A1 (en) | Method and system for object tracking using appearance model | |
JPH0877356A (ja) | 三次元多眼画像の処理方法及び処理装置 | |
JP2000307949A (ja) | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 | |
JP4112819B2 (ja) | 物体領域情報生成装置及び物体領域情報記述プログラム | |
Huang et al. | Global temporal registration of multiple non-rigid surface sequences | |
US6937660B2 (en) | Method of describing object region data, apparatus for generating object region data, video processing method, and video processing apparatus | |
CN112270736A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
Inamoto et al. | Intermediate view generation of soccer scene from multiple videos | |
Zhu et al. | Structure-aware completion of photogrammetric meshes in urban road environment | |
JP4031184B2 (ja) | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び映像情報処理装置 | |
JP2001118075A (ja) | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 | |
JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
JP2017122993A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
JP2002094849A (ja) | 広視野画像撮像装置 | |
Favorskaya et al. | Warping techniques in video stabilization | |
CN114416764A (zh) | 地图更新方法、装置、设备及存储介质 | |
JP2008181515A (ja) | 物体領域情報記述方法、映像情報処理方法及び情報処理装置 | |
JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 | |
JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN116030200B (zh) | 一种基于视觉融合的场景重构方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080410 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140418 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |