JP2001118075A - Method of describing object area information, device of producing the same, method of processing video information, and information processor - Google Patents
Method of describing object area information, device of producing the same, method of processing video information, and information processorInfo
- Publication number
- JP2001118075A JP2001118075A JP2000209015A JP2000209015A JP2001118075A JP 2001118075 A JP2001118075 A JP 2001118075A JP 2000209015 A JP2000209015 A JP 2000209015A JP 2000209015 A JP2000209015 A JP 2000209015A JP 2001118075 A JP2001118075 A JP 2001118075A
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- area
- region
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は物体領域情報記述方
法及び物体領域情報生成装置並びに映像情報処理方法及
び情報処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object area information description method, an object area information generation apparatus, a video information processing method, and an information processing apparatus.
【０００２】[0002]
【従来の技術】本発明は、映像中の物体の領域に関する
情報を記述するための物体領域情報記述方法、映像中の
物体の領域に関する情報を生成するための物体領域情報
生成装置、並びに映像中の物体に対する利用制御あるい
は映像中の物体の検索を行う情報処理装置及びそのため
の映像情報処理方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object area information description method for describing information relating to an area of an object in an image, an object area information generating apparatus for generating information relating to an area of an object in an image, and an object area information generating apparatus. The present invention relates to an information processing apparatus for performing usage control on an object or searching for an object in a video and a video information processing method therefor.
【０００３】映像コンテンツに対する視聴および２次利
用を制御するために、古くは、映像のタイトルにその情
報を付与する方法が一般的である。これは、映像の著作
権および利用の制約条件を一本の映像タイトルごとに付
ける方法であり、映像の部分に対して利用を制御するこ
とができなかった。そこで、映像を連続するフレームの
まとまりに分割し、そのまとまりごとに（例えばカット
ごとに）映像利用に関する情報を付与して管理すること
が考えられた。この方法によって、例えば、ある俳優が
登場しているカットだけに、俳優の肖像権を認めるよう
な、木目細かな管理ができるようになった。しかし、同
一カットに複数の俳優がいて、興味の対象がひとりの俳
優にあり、もう片方の俳優には興味がない場合、興味の
ある俳優の映像のみを切り出して利用することができな
かった。静止画ならば、領域ごとに分割し肖像権や著作
権の情報を付与することができても、動画のように対象
物体が映像中で移動する場合は、領域毎に情報を付与す
る有効な手段がなかった。In order to control viewing and secondary use of video contents, a method of giving information to a video title has been generally used in the past. This is a method in which the copyright and use restrictions of the video are set for each video title, and the use of the video cannot be controlled. In view of this, it has been considered that a video is divided into a group of continuous frames, and information relating to video use is added to each group (eg, for each cut) and managed. By this method, for example, it is possible to perform fine-grained management, such as recognizing an actor's portrait right only for a cut in which an actor appears. However, when there are a plurality of actors in the same cut and one actor is interested in the other actor and is not interested in the other actor, it was not possible to cut out and use only the video of the actor of interest. If it is a still image, it can be divided for each area and information of portrait right and copyright can be added, but if the target object moves in the video like a moving image, it is effective to add information for each area. There was no means.
【０００４】また、デジタル映像圧縮技術の進歩によっ
て、デジタル化された映像コンテンツをランダムアクセ
ス可能なハードディスクなどに管理保存し、所望の場所
を容易に検索できるようになった。この場合も、映像を
連続したフレームのまとまりに分割し、検索に必要な情
報を付与することが行われている。情報を付与する方法
としては、アノテーション（注釈）として、言語を用い
て付与する方法が一般的である。例えば、タイムコード
が１：００〜１：２０のシーンでは、「飛行機が飛び去
る」などの説明が付与される。これにより、「飛行機」
というキーワードを利用して検索ができる。しかし、こ
のようなアノテーション（注釈）は、機械で情報を付与
することができず、人手による多くの労力が必要であっ
た。これを改善するために、映像の画像から特徴量を自
動的に抽出し、その特徴量を検索に利用する方法が考え
られた。これは、画像のどの部分に、どのような大きさ
の色が存在するかなどの情報を与えるものである。しか
し、静止画の場合は領域を分割することができ有効であ
ったが、動画の場合には映像中の物体が移動するため、
時空間的に領域を特定できず、利用不可能であった。[0004] Advances in digital video compression technology have made it possible to manage and store digitized video content on a hard disk or the like that can be accessed randomly, and to easily search for a desired location. Also in this case, the video is divided into a group of continuous frames, and information necessary for retrieval is added. As a method of giving information, a method of giving information using a language as an annotation is generally used. For example, in a scene in which the time code is 1:00 to 1:20, a description such as “the airplane flies away” is given. As a result,
You can search using the keyword. However, such an annotation cannot add information by a machine, and requires a lot of manual labor. In order to improve this, a method has been considered in which a feature amount is automatically extracted from a video image and the feature amount is used for a search. This gives information such as what size of color exists in which part of the image. However, in the case of a still image, the area can be divided and this is effective, but in the case of a moving image, since the object in the video moves,
The area could not be specified spatiotemporally, and it was not available.
【０００５】[0005]
【発明が解決しようとする課題】以上説明したように、
映像中で時空間的に変化をともなう物体領域に対して、
それを特定し、その領域の映像データの利用を管理する
情報を付与する有効な手段がなかった。As described above,
For an object region with temporal and spatial changes in the video,
There has been no effective means for specifying the information and adding information for managing the use of the video data in the area.
【０００６】また、静止画には有効であった検索のため
の特徴付けは映像中の物体領域には適用できなかった。[0006] Characterization for retrieval, which is effective for still images, cannot be applied to object regions in video.
【０００７】本発明は、上記事情を考慮してなされたも
ので、映像中の物体ごとの利用制御や検索を可能にする
ために映像中の物体を特定する物体領域情報記述方法及
び物体領域情報生成装置並びに映像情報処理方法及び情
報処理装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and describes an object area information description method and an object area information for specifying an object in a video in order to enable use control and search for each object in the video. It is an object to provide a generation device, a video information processing method, and an information processing device.
【０００８】[0008]
【課題を解決するための手段】本発明に係る物体領域情
報記述方法は、映像データ中における任意の物体の領域
に関する情報を連続する複数フレームに渡って記述した
物体領域情報を生成し、前記物体の領域に対する処理に
共されるべき関連情報を前記物体領域情報に付加するこ
とを特徴とする。An object area information description method according to the present invention generates object area information in which information on an area of an arbitrary object in video data is described over a plurality of continuous frames. The related information to be shared with the processing of the area is added to the object area information.
【０００９】好ましくは、前記処理は、前記映像データ
の前記物体の領域部分に対する利用を制御するための処
理であり、前記関連情報は、前記制御の際に参照すべき
制御情報であるようにしてもよい。Preferably, the process is a process for controlling the use of the video data for an area portion of the object, and the related information is control information to be referred to in the control. Is also good.
【００１０】さらに、好ましくは、前記制御情報は、前
記映像データの前記物体の領域部分に対する一次利用
（例えば当該コンテンツの視聴、注釈情報の表示）を許
可する条件を示す情報、前記映像データの前記物体の領
域部分に対する二次利用（例えば、当該コンテンツのコ
ピー）を許可する条件を示す情報、前記映像データの前
記物体の領域部分の利用に対する課金に関する情報のう
ちの少なくとも１つを含むようにしてもよい。Further preferably, the control information includes information indicating conditions for permitting primary use (for example, viewing of the content and display of annotation information) of the video data with respect to an area portion of the object, The video data may include at least one of information indicating a condition for permitting secondary use (for example, copying of the content) with respect to the area portion of the object and information relating to charging for use of the area portion of the object in the video data. .
【００１１】また、好ましくは、前記処理は、前記物体
の領域ごとの検索を行うための処理であり、前記関連情
報は、前記検索において検索キーとの照合のために用い
られる、前記物体の領域の代表的な特徴を示す属性情報
であるようにしてもよい。Preferably, the processing is processing for performing a search for each area of the object, and the related information is used for matching with a search key in the search. May be attribute information indicating a representative characteristic of.
【００１２】さらに、好ましくは、前記属性情報は、前
記物体の領域を代表する形状を示すキーシェープ情報、
前記物体の領域を代表するテクスチャを示すキーテクス
チャ情報、前記物体の領域の運動に関する情報を示すア
クティビティ情報、前記物体の領域を代表する色を示す
キーカラー情報のうちの少なくとも１つを含むようにし
てもよい。Further, preferably, the attribute information includes key shape information indicating a shape representing a region of the object;
At least one of key texture information indicating a texture representative of the region of the object, activity information indicating information on motion of the region of the object, and key color information indicating a color representative of the region of the object may be included. Good.
【００１３】また、好ましくは、映像データ中における
対象となる物体の領域を、該物体の領域に対する近似図
形もしくは特徴点の少なくとも一方で特定し、該近似図
形の代表点もしくは該特徴点の位置データを前記フレー
ムの進行に沿って並べたときの軌跡を所定の関数で近似
し、該関数のパラメータを用いて該物体の領域に関する
情報を記述することによって、前記物体領域情報を生成
するようにしてもよい。Preferably, the region of the target object in the video data is specified by at least one of an approximate figure or a feature point of the object area, and a representative point of the approximate figure or position data of the feature point is specified. By approximating the trajectory when arranged along the progression of the frame by a predetermined function, and by describing information about the area of the object using parameters of the function, the object area information is generated. Is also good.
【００１４】また、好ましくは、少なくとも、対象とな
る前記複数フレームのうちの先頭のフレームの番号及び
最終のフレームの番号もしくは先頭のフレームのタイム
スタンプ及び最終のフレームのタイムスタンプを特定可
能な情報と、該物体の領域を近似する近似図形の図形種
を識別する情報と、該物体の領域に対する近似図形の代
表点の位置データをフレームの進行に沿って並べたとき
の軌跡を近似した関数のパラメータとを用いて、前記物
体領域情報を生成するようにしてもよい。[0014] Preferably, at least information for specifying the number of the first frame and the number of the last frame or the time stamp of the first frame and the time stamp of the last frame of the plurality of target frames is provided. Information for identifying a graphic type of an approximate figure approximating the area of the object, and parameters of a function approximating a trajectory when position data of representative points of the approximate figure with respect to the area of the object are arranged along the progress of the frame The object area information may be generated using
【００１５】また、好ましくは、少なくとも、対象とな
る前記複数フレームのうちの先頭のフレームの番号及び
最終のフレームの番号もしくは先頭のフレームのタイム
スタンプ及び最終のフレームのタイムスタンプを特定可
能な情報と、該物体の領域を近似する近似図形の数と、
該近似図形の図形種を識別する情報と、各近似図形に対
応する、該近似図形の代表点の位置データをフレームの
進行に沿って並べたときの軌跡を近似した関数のパラメ
ータとを用いて、前記物体領域情報を生成するようにし
てもよい。[0015] Preferably, at least information that can specify the number of the first frame and the number of the last frame or the time stamp of the first frame and the time stamp of the last frame of the target plurality of frames is included. The number of approximate figures approximating the region of the object;
Using information for identifying the graphic type of the approximate graphic and a parameter of a function that approximates the trajectory when the position data of the representative point of the approximate graphic corresponding to each approximate graphic is arranged along the progress of the frame , The object region information may be generated.
【００１６】また、好ましくは、少なくとも、対象とな
る前記複数フレームのうちの先頭のフレームの番号及び
最終のフレームの番号もしくは先頭のフレームのタイム
スタンプ及び最終のフレームのタイムスタンプを特定可
能な情報と、該物体の領域の特徴点の位置データをフレ
ームの進行に沿って並べたときの軌跡を近似した関数の
パラメータとを用いて、前記物体領域情報を生成するよ
うにしてもい。[0016] Preferably, at least information that can specify the number of the first frame and the number of the last frame or the time stamp of the first frame and the time stamp of the last frame of the target plurality of frames is included. Alternatively, the object area information may be generated by using a parameter of a function that approximates a trajectory when position data of feature points of the area of the object is arranged along the progress of the frame.
【００１７】また、本発明は、請求項１乃至請求項７の
いずれか１項に記載の物体領域情報記述方法により生成
された、映像データ中における任意の物体の領域に関す
る情報を連続する複数フレームに渡って記述した物体領
域情報、および該物体領域情報に付加された該物体の領
域に対する処理に共されるべき関連情報を格納した記録
媒体である。According to the present invention, a plurality of continuous frames of information on an arbitrary object region in video data generated by the object region information description method according to any one of claims 1 to 7 are provided. Is a recording medium storing object region information described above and related information added to the object region information and to be shared with processing of the region of the object.
【００１８】また、本発明は、映像データ中の物体ごと
に利用制御を行う映像情報処理方法であって、映像中に
おける任意の物体の領域に関する情報を連続する複数フ
レームに渡って記述した物体領域情報およびこれに付加
された制御情報を取得し、前記物体領域情報にて示され
る物体の領域を含む映像データが利用対象となった場合
に、該物体領域情報に付加された前記制御情報に基づい
て、該映像データの利用の可否を判定し、この判定結果
に応じて、前記映像データの出力形態を制御することを
特徴とする。The present invention also relates to a video information processing method for controlling usage of each object in video data, wherein the object information describes an area of an arbitrary object in a video over a plurality of continuous frames. Information and control information added thereto, and when video data including a region of the object indicated by the object region information is to be used, based on the control information added to the object region information The use of the video data is determined, and the output form of the video data is controlled according to the determination result.
【００１９】好ましくは、前記物体の領域に関しては前
記映像データの利用が不可と判定された場合に、前記映
像データにおける前記物体の領域を隠蔽する処理を施し
た上で、該映像データを出力するようにしてもよい。Preferably, when it is determined that the video data cannot be used for the area of the object, the video data is output after performing a process of concealing the area of the object in the video data. You may do so.
【００２０】また、本発明は、映像中の物体ごとに利用
制御を行う映像情報処理方法であって、映像データ中に
おける任意の物体の領域に関する情報を連続する複数フ
レームに渡って記述した物体領域情報およびこれに付加
された制御情報を取得し、前記物体領域情報にて示され
る物体が指示された場合に、前記制御情報に基づいて、
該物体に関連する情報を呈示することの可否を判定し、
この判定結果に応じて、前記物体に関連する情報の呈示
を制御することを特徴とする。The present invention also relates to a video information processing method for controlling usage of each object in a video, wherein the information on the area of an arbitrary object in video data is described over a plurality of continuous frames. Acquire information and control information added thereto, and when an object indicated by the object area information is instructed, based on the control information,
Determining whether to present information related to the object,
The presentation of information related to the object is controlled according to the result of the determination.
【００２１】また、本発明は、映像中の物体ごとに検索
を行う映像情報処理方法であって、映像データ中におけ
る任意の物体の領域に関する情報を連続する複数フレー
ムに渡って記述した物体領域情報およびこれに付加され
た属性情報を取得し、指定された検索条件および前記属
性情報に基づいて、該当する物体を検索し、検索された
前記物体を示す前記物体領域情報に基づいて、呈示すべ
き検索結果を作成することを特徴とする。Further, the present invention relates to a video information processing method for performing a search for each object in a video, wherein the object area information in which information relating to a region of an arbitrary object in video data is described over a plurality of continuous frames. And obtain attribute information added thereto, search for a corresponding object based on the specified search condition and the attribute information, and present the object based on the object region information indicating the searched object. It is characterized in that a search result is created.
【００２２】好ましくは、前記属性情報は、前記物体の
領域を代表する形状を示すキーシェープ情報、前記物体
の領域を代表するテクスチャを示すキーテクスチャ情
報、前記物体の領域の運動に関する情報を示すアクティ
ビティ情報、前記物体の領域を代表する色を示すキーカ
ラー情報のうちの少なくとも１つを含むようにしてもよ
い。Preferably, the attribute information includes key shape information indicating a shape representative of the region of the object, key texture information indicating a texture representative of the region of the object, and an activity indicating information on motion of the region of the object. At least one of the information and key color information indicating a color representative of the region of the object may be included.
【００２３】好ましくは、前記検索の結果として、検索
された前記物体の領域に対応する複数フレームに渡る映
像および１つの代表的なフレームから切り出した部分画
像の少なくとも一方を表示するようにしてもよい。Preferably, as a result of the search, at least one of a video over a plurality of frames corresponding to the searched area of the object and a partial image cut out from one representative frame may be displayed. .
【００２４】また、本発明に係る物体領域情報生成装置
は、映像データ中における任意の物体の領域に関する情
報を連続する複数フレームに渡って記述した物体領域情
報を生成する手段と、前記物体の領域に対する処理に共
されるべき関連情報を前記物体領域情報に付加する手段
とを備えたことを特徴とする。Further, the object area information generating apparatus according to the present invention comprises: means for generating object area information in which information regarding an arbitrary object area in video data is described over a plurality of continuous frames; Means for adding related information to be shared with the processing to the object region information.
【００２５】また、本発明は、映像中の物体ごとに利用
制御を行う映像情報処理装置であって、映像データ中に
おける任意の物体の領域に関する情報を連続する複数フ
レームに渡って記述した物体領域情報およびこれに付加
された制御情報を取得する手段と、前記物体領域情報に
て示される物体の領域を含む映像データが利用対象とな
った場合に、該物体領域情報に付加された前記制御情報
に基づいて、該映像データの利用の可否を判定する手段
と、この判定結果に応じて、前記映像データの出力形態
を制御する手段とを備えたことを特徴とする。The present invention also relates to a video information processing apparatus for performing usage control for each object in a video, wherein the information on the area of an arbitrary object in video data is described over a plurality of continuous frames. Means for acquiring information and control information added thereto, and when the video data including the area of the object indicated by the object area information is to be used, the control information added to the object area information And means for determining whether or not the video data can be used, and means for controlling the output form of the video data based on the determination result.
【００２６】また、本発明は、映像中の物体ごとに検索
を行う映像情報処理装置であって、映像データ中におけ
る任意の物体の領域に関する情報を連続する複数フレー
ムに渡って記述した物体領域情報およびこれに付加され
た属性情報を取得する手段と、指定された検索条件およ
び前記属性情報に基づいて、該当する物体を検索する手
段と、検索された前記物体を示す前記物体領域情報に基
づいて、呈示すべき検索結果を作成する手段とを備えた
ことを特徴とする。The present invention is also directed to a video information processing apparatus for performing a search for each object in a video, wherein object area information in which information regarding a region of an arbitrary object in video data is described over a plurality of continuous frames. And means for acquiring attribute information added thereto, based on a specified search condition and the attribute information, means for searching for a corresponding object, and based on the object area information indicating the searched object. Means for creating a search result to be presented.
【００２７】本発明によれば、映像中における任意の物
体の領域に関する情報を連続する複数フレームに渡って
記述し、物体領域の視聴や２次利用などの利用形態を制
限する情報をその記述に付与することにより、物体領域
を利用するときに、その情報を用いて利用の形態を管理
・制御することができる。また、映像中の物体領域単位
に利用者への表示・編集を木目細かく取り扱うことが可
能となる。According to the present invention, information relating to an area of an arbitrary object in a video is described over a plurality of continuous frames, and information for restricting a usage mode such as viewing or secondary use of the object area is described in the description. By giving, when using an object area, the form of use can be managed and controlled using the information. In addition, it is possible to handle display / editing to the user in a detailed manner for each object region in the video.
【００２８】また、本発明によれば、映像中における任
意の物体の領域に関する情報を連続する複数フレームに
渡って記述し、物体領域の代表的な特徴量などの属性情
報を付与することにより、検索キーを用いて属性情報を
検索することによって、自動でかつ高速に所望の物体領
域を検索することができる。Further, according to the present invention, information about an arbitrary object region in a video is described over a plurality of continuous frames, and attribute information such as a representative feature amount of the object region is added. By searching attribute information using a search key, a desired object area can be searched automatically and at high speed.
【００２９】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。It should be noted that the present invention relating to the apparatus is also realized as an invention relating to a method, and the present invention relating to a method is also realized as an invention relating to an apparatus.
【００３０】また、装置または方法に係る本発明は、コ
ンピュータに当該発明に相当する手順を実行させるため
の（あるいはコンピュータを当該発明に相当する手段と
して機能させるための、あるいはコンピュータに当該発
明に相当する機能を実現させるための）プログラムを記
録したコンピュータ読取り可能な記録媒体としても成立
する。Further, the present invention relating to an apparatus or a method is for causing a computer to execute a procedure corresponding to the present invention (or for causing a computer to function as means corresponding to the present invention, or for causing a computer to correspond to the present invention). The present invention is also realized as a computer-readable recording medium in which a program for realizing the function of performing the above is recorded.
【００３１】[0031]
【発明の実施の形態】以下、図面を参照して本発明によ
る物体領域情報記述方法及び物体領域情報生成装置並び
に映像情報処理方法及び情報処理装置の実施形態を説明
する。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of an object area information description method, an object area information generation apparatus, a video information processing method and an information processing apparatus according to the present invention.
【００３２】本発明は、映像中における物体の領域を連
続する複数フレームに渡って記述した物体領域データを
生成し、この物体領域データに、該物体に関連する関連
情報を付加する。According to the present invention, object area data describing an object area in a video over a plurality of continuous frames is generated, and related information relating to the object is added to the object area data.
【００３３】映像中の物体としては、典型的には、人や
動物、建物や植物などの移動物体あるいは静止物体が考
えられるが、映像中において物体（オブジェクト）とし
て扱うことのできるものであれば、映像中のどのような
ものでもあってもよい。また、独立したものであっても
よいし、ものの一部であってもよいし、ものの集合であ
ってもよい。Typically, moving objects such as people, animals, buildings and plants, or stationary objects can be considered as objects in a video, but any object that can be treated as an object in a video can be considered. , Any thing in the video. In addition, it may be independent, may be a part of an object, or may be a set of objects.
【００３４】物体ごとに作成される物体領域データは、
例えば映像中における当該物体の出現フレームあるいは
時刻の範囲や画面上の出現位置／物体形状などを示す、
あるいは復元可能な情報であり、例えば従来から知られ
ているマスク画像を用いてもよいが、後述する（第１の
実施形態、第２の実施形態）新たな物体領域データを用
いることが好ましい。The object area data created for each object is:
For example, it indicates the appearance frame or time range of the object in the video, the appearance position / object shape on the screen, and the like.
Alternatively, it is information that can be restored, and for example, a conventionally known mask image may be used. However, it is preferable to use new object region data described later (first and second embodiments).
【００３５】本発明では、物体領域データには、１以上
の関連情報が付加されるものとする。物体領域データに
付加する関連情報としては、種々のものがあり、例えば
ユーザに対して表示もしくは再生することを目的とする
情報（あるいはその情報を取得するための情報）が考え
られるが、表示・再生以外の処理に共される情報を付加
することも可能である。本発明では、後者の例として、
コンテンツ利用制御のための制御情報を関連情報として
物体領域データに付加して、コンテンツ利用制御を物体
毎に行うことを可能にした例（第３の実施形態）や、物
体の領域に基づいた特徴量などの属性情報を関連情報と
して物体領域データに付加して、検索を物体毎に行うこ
とを可能にした例（第４の実施形態）を示す。もちろ
ん、１つの物体領域データに様々な関連情報が付加され
てもよい。In the present invention, one or more pieces of related information are added to the object area data. There are various types of related information to be added to the object area data. For example, information intended to be displayed or reproduced for a user (or information for acquiring the information) can be considered. It is also possible to add information shared with processing other than reproduction. In the present invention, as the latter example,
An example in which control information for content use control is added to the object region data as related information to enable content use control to be performed for each object (third embodiment), or a feature based on an object region An example (fourth embodiment) in which attribute information such as an amount is added to object region data as related information to enable a search to be performed for each object is shown. Of course, various related information may be added to one object area data.
【００３６】なお、一般的には、物体領域データに付加
すべき関連情報の一部または全部について、実際には物
体領域データに該当情報へのポインタを付加することも
可能である（第３の実施形態の制御情報や第４の実施形
態の属性情報は、ポインタではなくデータ自体を物体領
域データに付加すると好ましい）。In general, for some or all of the related information to be added to the object area data, it is actually possible to add a pointer to the relevant information to the object area data (third). It is preferable that the control information of the embodiment and the attribute information of the fourth embodiment add not the pointer but the data itself to the object area data.)
【００３７】（第１実施形態）最初に、物体領域データ
の生成の一例について説明する。(First Embodiment) First, an example of generation of object area data will be described.
【００３８】図１に、本発明の第１の実施形態に係る物
体領域データ生成装置の構成例を示す。図１に示される
ように、本物体領域データ生成装置は、映像データ記憶
部１００、領域抽出部１０１、領域の図形近似部１０
２、図形代表点抽出部１０３、代表点の曲線近似部１０
４、関連情報記憶部１０５、領域データ記憶部１０６を
備えている。なお、本処理（特に、領域抽出部１０１や
領域の図形近似部１０２の処理）においてユーザの操作
を介入させる形態を取る場合には、映像データを例えば
フレーム単位で表示させ、ユーザの指示入力等を受け付
けるＧＵＩが用いられる（図１では省略している）。FIG. 1 shows an example of the configuration of an object area data generating apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the object region data generation device includes a video data storage unit 100, a region extraction unit 101, a region approximation unit 10
2, figure representative point extraction unit 103, representative point curve approximation unit 10
4, a related information storage unit 105 and an area data storage unit 106 are provided. Note that, in the present processing (particularly, the processing of the area extracting unit 101 and the area graphic approximating unit 102), in a case where a user operation is interposed, the video data is displayed in, for example, a frame unit, and the user inputs an instruction or the like. A GUI for accepting the request is used (omitted in FIG. 1).
【００３９】映像データ記憶部１００は、映像データが
記憶されているもので、例えばハードディスクや光ディ
スク、半導体メモリなどで構成される。The video data storage unit 100 stores video data, and is composed of, for example, a hard disk, an optical disk, a semiconductor memory, or the like.
【００４０】領域抽出部１０１は、映像データにおける
一部の領域を抽出する。この一部の領域とは、画像中の
特定の人や車、建物など（あるいはその一部分、例えば
人の頭、車のボンネット、建物の玄関など）の物体の領
域である。映像では、連続するフレームには同じ物体が
写っていることが多いが、物体自身の動きや撮影時のカ
メラの動きが原因で同じ物体に対応する領域がフレーム
間で変化することが多い。The area extracting unit 101 extracts a partial area in the video data. The partial area is an area of an object such as a specific person, a car, a building, or the like (or a part thereof, for example, a human head, a car hood, a building entrance, etc.) in the image. In video, successive frames often show the same object, but the region corresponding to the same object often changes between frames due to the movement of the object itself or the movement of the camera at the time of shooting.
【００４１】領域抽出部１０１は、このような注目して
いる物体の動きや変形に対応して各フレームにおける物
体（オブジェクト）の領域を抽出するためのものであ
る。具体的な抽出手法としては、全フレームに渡って人
手で領域指定する方法や、Ｍ．Ｋａｓｓ 他，「Ｓｎａ
ｋｅｓ：Ａｃｔｉｖｅ ｃｏｕｎｔｏｕｒ ｍｏｄｅｌ
ｓ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ
ｏｆ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｖｏｌ．１，Ｎ
ｏ．４，ｐｐ．３２１−３３１．Ｊｕｌｙ，１９８８）
に記されているようなＳｎａｋｅｓと呼ばれる動的輪郭
モデルにより物体の輪郭抽出を連続して行う方法、金子
他「ロバスト推定を用いたハイパーメディアコンテンツ
作成のための高速移動物体追跡法」（情報処理学会技術
報告 ＣＶＩＭ１１３−１，１９９８）に記されている
ようなブロックマッチングにより求めた物体中の部分領
域の移動先から物体全体の変形・移動を推定していく方
法、画像解析ハンドブック（第ＩＩ部第２章，東京大学
出版会，１９９１）に記されているような領域成長・分
割により似た色を持つ領域を特定する方法などを用いる
ことができる。The area extracting unit 101 is for extracting an area of an object (object) in each frame corresponding to the movement or deformation of the object of interest. As a specific extraction method, a method of manually specifying an area over all frames, a method of M.P. Kass et al., "Sna
kes: Active country model
s "(International Journal
of ComputerVision, vol. 1, N
o. 4, pp. 321-331. July, 1988)
A method for continuously extracting the contour of an object using a dynamic contour model called Snakes as described in Kaneko et al., "High-speed moving object tracking method for creating hypermedia content using robust estimation" (information processing A method for estimating the deformation / movement of the entire object from the movement destination of the partial region in the object obtained by block matching as described in the technical report of the society CVIM113-1, 1998), Image Analysis Handbook (Part II) A method of specifying a region having a similar color by region growth and division as described in Chapter 2, Tokyo University Press, 1991) can be used.
【００４２】領域の図形近似部（以下、領域図形近似
部）１０２は、領域抽出部１０１で抽出された映像中の
物体の領域を予め定められた図形により近似する。図形
としては、矩形、円、楕円、多角形など任意の図形とし
てよい。また、領域の近似方法も、領域に外接する図形
に近似する方法、領域に内接する図形とする方法、領域
の重心を近似図形の重心とする方法、領域と近似図形の
面積比を等しくする方法、などの方法がある。なお、物
体の領域を予め定められた図形により近似するのではな
く、近似する対象物体毎に図形の種類をユーザが指定で
きるようにしてもよいし、近似する対象物体毎にその物
体の形状等に応じて図形の種類を自動的に選択するよう
にしてもよい。The region graphic approximation unit (hereinafter, region graphic approximation unit) 102 approximates the region of the object in the video extracted by the region extraction unit 101 with a predetermined graphic. The figure may be any figure such as a rectangle, a circle, an ellipse, and a polygon. Also, the method of approximating a region is a method of approximating a figure circumscribing the region, a method of making a figure inscribed in the region, a method of setting the center of gravity of the region to the center of gravity of the approximate figure, and a method of making the area ratio of the area and the approximate figure equal , And so on. Instead of approximating the region of the object with a predetermined figure, the type of figure may be specified by the user for each approximate target object, or the shape of the object may be specified for each similar target object. May be automatically selected in accordance with.
【００４３】領域の図形近似は、領域抽出部１０１での
抽出結果が入力されるたびに、フレームごとに行う。も
しくは、前後数フレームの領域抽出結果を使って図形近
似を行っても良い。数フレームの領域抽出結果を利用す
る場合には、近似図形の大きさや位置などの変化を数フ
レームの間で平滑化することにより、近似図形の動きや
変形をなめらかにしたり、領域抽出の抽出誤差を目立た
なくすることができる。なお、近似図形の大きさは、フ
レームごとに異なって構わない。The approximation of a region is performed for each frame every time the result of extraction by the region extracting unit 101 is input. Alternatively, figure approximation may be performed using the region extraction results of several frames before and after. When using the region extraction results of several frames, the movement and deformation of the approximate figures can be smoothed by smoothing the changes in the size and position of the approximate figures between several frames, and the extraction error of the area extraction can be smoothed. Can be made inconspicuous. Note that the size of the approximate figure may be different for each frame.
【００４４】図形代表点抽出部１０３は、領域図形近似
部１０２の出力である近似図形を表現する代表点を抽出
する。どのような点を代表点とするかは、どのような近
似図形を用いるかにより異なる。例えば、近似図形が矩
形の場合には４つもしくは３つの頂点を代表点とするこ
とができ、近似図形が円の場合には中心と円周上の一点
としたり直径の両端点としたりすることができる。ま
た、楕円の場合には楕円の外接矩形の頂点としたり２つ
の焦点と楕円上の１点（例えば短軸上の１点）としたり
すればよい。任意の閉多角形を近似図形とする場合に
は、各頂点を図形の代表点とする必要がある。The figure representative point extracting unit 103 extracts a representative point representing an approximate figure output from the area figure approximating unit 102. Which point is used as a representative point differs depending on what approximate figure is used. For example, when the approximate figure is a rectangle, four or three vertices can be used as the representative points, and when the approximate figure is a circle, the center and one point on the circumference or both ends of the diameter can be used. Can be. In the case of an ellipse, the vertices of the circumscribed rectangle of the ellipse or two focal points and one point on the ellipse (for example, one point on the short axis) may be used. When an arbitrary closed polygon is used as an approximate figure, each vertex needs to be a representative point of the figure.
【００４５】代表点の抽出は、領域図形近似部１０２か
ら１フレーム分の近似図形の情報が出力されるたびに、
フレーム単位で行われる。また、各代表点は、水平方向
の座標Ｘと、垂直方向の座標Ｙとにより表される。The extraction of the representative point is performed each time the approximate figure information for one frame is output from the area figure approximating unit 102.
Performed on a frame basis. Each representative point is represented by a horizontal coordinate X and a vertical coordinate Y.
【００４６】代表点の曲線近似部（以下、代表点曲線近
似部）１０４は、図形代表点抽出部１０３で抽出された
各代表点の位置をそれぞれ時系列で曲線に近似する。こ
の近似曲線は、各代表点について、Ｘ座標、Ｙ座標ごと
に、フレーム番号ｆもしくは映像に付与されているタイ
ムスタンプｔの関数として表現される。曲線近似の方法
としては、直線による近似、スプライン曲線による近似
などがある。A representative point curve approximating unit (hereinafter, representative point curve approximating unit) 104 approximates the position of each representative point extracted by the graphic representative point extracting unit 103 to a curve in time series. This approximate curve is expressed as a function of the frame number f or the time stamp t given to the video for each representative point for each of the X and Y coordinates. Curve approximation methods include straight line approximation and spline curve approximation.
【００４７】関連情報記憶部１０５には、映像データ記
憶部１００に記憶されている映像データに登場する物体
に関する情報や、そのような情報を外部記憶装置あるい
はネットワークを介したサーバなどから取得するための
ポインタ情報（例えば、関連情報の記録されているアド
レス、ファイル名、ＵＲＬなど）を記憶するためのもの
である。関連情報は、文字、音声、静止画、動画、ある
いはそれらを適宜組み合わせたものであってもよい。ま
た、関連情報は、プログラムもしくは計算機の動作を記
述したデータであってもよい（この場合には、当該物体
がユーザにより指定されると、計算機が所望の動作を行
うことになる）。関連情報記憶部１０５は映像データ記
憶部１００と同様に例えばハードディスクや光ディス
ク、半導体メモリなどで構成される。The related information storage unit 105 is used to obtain information about an object appearing in the video data stored in the video data storage unit 100 and to obtain such information from an external storage device or a server via a network. (For example, addresses, file names, URLs, and the like where related information is recorded). The related information may be text, audio, still images, moving images, or a combination thereof as appropriate. Further, the related information may be a program or data describing the operation of the computer (in this case, when the object is specified by the user, the computer performs a desired operation). The related information storage unit 105 includes, for example, a hard disk, an optical disk, a semiconductor memory, and the like, like the video data storage unit 100.
【００４８】なお、制御のための制御情報や検索のため
の属性情報を関連情報として物体領域データに付加する
場合については後述する（第３、第４の実施の形態）。The case where control information for control and attribute information for search are added as related information to the object area data will be described later (third and fourth embodiments).
【００４９】領域データ記憶部１０６は、代表点曲線近
似部１０４の出力である代表点の時系列的な軌跡を近似
した曲線式を表現するデータを含む物体領域データが記
憶される記憶媒体である。関数で表現された領域に対応
する物体に関する関連情報が関連情報記憶部１０５に記
憶されている場合には、物体領域データには関連情報そ
のものやポインタ情報を併せて記録することができる。
領域データ記憶部１０６も映像データ記憶部１００等と
同様に例えばハードディスクや光ディスク、半導体メモ
リなどで構成される。The area data storage section 106 is a storage medium for storing object area data including data expressing a curve equation approximating a time-series trajectory of a representative point output from the representative point curve approximating section 104. . When related information relating to an object corresponding to the area represented by the function is stored in the related information storage unit 105, the related information itself and pointer information can be recorded together with the object area data.
The area data storage unit 106 is configured by, for example, a hard disk, an optical disk, a semiconductor memory, or the like, like the video data storage unit 100 and the like.
【００５０】なお、映像データ記憶部１００、関連情報
記憶部１０５、領域データ記憶部１０６は、別々の記憶
装置によって構成されていてもよいが、それらの全部ま
たは一部が同一の記憶装置によって構成されていてもよ
い。The video data storage unit 100, the related information storage unit 105, and the area data storage unit 106 may be constituted by separate storage devices, but all or some of them are constituted by the same storage device. It may be.
【００５１】また、本物体領域データ生成装置は、計算
機上でソフトウェアを実行する形で実現することもでき
る。The object area data generating apparatus can be realized by executing software on a computer.
【００５２】次に、より具体的な例を用いながら本物体
領域データ生成装置の動作について説明する。Next, the operation of the object region data generating apparatus will be described using a more specific example.
【００５３】図２の（ａ）、（ｂ）、（ｃ）、（ｄ）
は、領域抽出部１０１による物体の領域を抽出する処理
から、領域図形近似部１０２による領域を図形で近似す
る処理、図形代表点抽出部１０３による図形の代表点を
抽出する処理、代表点曲線近似部１０４による代表点を
曲線で近似する処理までの一連の処理の概要をより具体
的に説明するための図である。(A), (b), (c), (d) of FIG.
Is a process of extracting a region of an object by the region extracting unit 101, a process of approximating a region by a graphic by the region graphic approximating unit 102, a process of extracting a representative point of a graphic by the graphic representative point extracting unit 103, a process of approximating a representative point curve. FIG. 9 is a diagram for more specifically explaining an outline of a series of processes up to a process of approximating a representative point by a curve by a unit 104.
【００５４】ここでは、領域図形近似部１０２として領
域の楕円による近似方法を用い、図形代表点抽出部１０
３として楕円の２つの焦点と楕円上の１点を抽出する方
法を用い、代表点曲線近似部１０４としてスプライン関
数による近似方法を用いた場合を例としている。In this case, an area ellipse approximation method is used as the area figure approximating section 102, and the figure representative point extracting section 10 is used.
In this example, a method of extracting two focal points of an ellipse and one point on the ellipse is used as an example 3 and an approximation method using a spline function is used as the representative point curve approximating unit 104.
【００５５】図２の（ａ）において、２００は処理対象
となっている映像中の１フレームを示している。In FIG. 2A, reference numeral 200 denotes one frame in a video to be processed.
【００５６】２０１は抽出対象となっている物体の領域
を示している。この物体の領域２０１を抽出する処理は
領域抽出部１０１において行われる。Reference numeral 201 denotes a region of the object to be extracted. The process of extracting the region 201 of the object is performed by the region extracting unit 101.
【００５７】２０２は物体の領域を楕円で近似したもの
である。物体領域２０１から楕円２０２を求める処理は
領域図形近似部１０２において行われる。Reference numeral 202 denotes an object region approximated by an ellipse. The processing of obtaining the ellipse 202 from the object area 201 is performed by the area graphic approximation unit 102.
【００５８】ここで、図３に、物体の領域が平行四辺形
で表される場合に、近似楕円を求める方法の一例を示
す。図３における点Ａ，Ｂ，Ｃ，Ｄが物体の領域である
平行四辺形の各頂点である。この場合、まず、辺ＡＢと
辺ＢＣのどちらが長いかを計算する。そして、長い方の
辺およびその対辺を辺の一部とする最小の長方形を求め
る。図３の例の場合は点Ａ，Ｂ’，Ｃ，Ｄ’を４頂点と
する長方形となる。近似楕円は、例えば、この長方形に
内接する楕円と相似で、かつ、点Ａ，Ｂ’，Ｃ，Ｄ’を
通る外接楕円とする。FIG. 3 shows an example of a method for obtaining an approximate ellipse when the region of the object is represented by a parallelogram. Points A, B, C, and D in FIG. 3 are vertices of a parallelogram which is an object region. In this case, first, which of the side AB and the side BC is longer is calculated. Then, a minimum rectangle in which the longer side and the opposite side are part of the side is obtained. In the case of the example of FIG. 3, the rectangle has four vertices of points A, B ', C, and D'. The approximate ellipse is, for example, a circumscribed ellipse similar to the ellipse inscribed in this rectangle and passing through points A, B ', C, and D'.
【００５９】次に、図２の（ｂ）において、２０３は楕
円を表現する図形代表点であり、具体的には２つの焦点
および１つの楕円上の点（図２の（ｂ）の例では短軸上
の１点）である。楕円の焦点は２つの軸上の点や楕円の
外接矩形から簡単に求めることができる。以下、一例と
して、図４における長軸上の２点Ｐ０，Ｐ１および短軸
上の１点Ｈから焦点ＦとＧを求める方法を説明する。Next, in FIG. 2B, reference numeral 203 denotes a graphic representative point representing an ellipse. Specifically, two focal points and a point on one ellipse (in the example of FIG. 2B, (One point on the short axis). The focal point of the ellipse can be easily obtained from points on two axes or a circumscribed rectangle of the ellipse. Hereinafter, as an example, a method of obtaining the focal points F and G from two points P0 and P1 on the long axis and one point H on the short axis in FIG. 4 will be described.
【００６０】まず、長軸と短軸のパラメータであるａ，
ｂと、楕円の中心Ｃと、扁平率ｅとを、 Ｅ（Ｐ０，Ｐ１）＝２×ａ、 Ｃ＝（Ｐ０＋Ｐ１）／２、 Ｅ（Ｃ、Ｈ）＝ｂ、 ｅ＝（１／ａ）×√（ａ×ａ−ｂ×ｂ） により求める。First, the parameters of the major axis and the minor axis, a,
b, the center C of the ellipse, and the flatness e, E (P0, P1) = 2 × a, C = (P0 + P1) / 2, E (C, H) = b, e = (1 / a) × √ (a × ab × b)
【００６１】ここで、Ｅ（Ｐ、Ｑ）は点Ｐと点Ｑのユー
クリッド距離である。Here, E (P, Q) is the Euclidean distance between points P and Q.
【００６２】このようにして求めたパラメータから、焦
点ＦとＧは、 Ｆ＝Ｃ＋ｅ×（Ｐ０−Ｃ）、 Ｇ＝Ｃ−ｅ×（Ｐ０−Ｃ） により求めることができる。From the parameters obtained in this way, the focal points F and G can be obtained from the following equation: F = C + e × (P0−C), G = C−e × (P0−C)
【００６３】このようにして、楕円の代表点Ｆ、Ｇおよ
びＨは決定されるが、これらの点を別のフレームにおい
て取り出された楕円の代表点と結びつける際にはあいま
いさが生じる。すなわち、抽出された２つの焦点と１つ
前のフレームにおける２つの焦点とを結びつける組み合
わせは２通り存在する。また、短軸と楕円との交点は２
つあるため、１つ前のフレームにおいて抽出された楕円
上の一点と対応する交点がどちらなのかがわからない。
そこで、これらを決定する方法について説明する。In this manner, the representative points F, G, and H of the ellipse are determined, but ambiguity arises when connecting these points to the representative points of the ellipse extracted in another frame. That is, there are two combinations that connect the two extracted focal points and the two focal points in the immediately preceding frame. The intersection of the short axis and the ellipse is 2
Therefore, it is not known which intersection point corresponds to one point on the ellipse extracted in the previous frame.
Therefore, a method for determining these will be described.
【００６４】１フレーム前に抽出された２つの焦点をＦ
ｐ、Ｇｐとする。Ｆｐに対応するのがＦであるのかＧで
あるのかを判断するために、Ｅ（（Ｇｐ−Ｆｐ）／２，
（Ｇ−Ｆ）／２）とＥ（（Ｇｐ−Ｆｐ）／２，（Ｆ−
Ｇ）／２）とを比較する。The two focal points extracted one frame before are represented by F
p, and G p. For the corresponding F p to determine whether it is whether a F G, E ((G p -F p) / 2,
(G−F) / 2) and E ((G p −F p ) / 2, (F−
G) / 2).
【００６５】前者の方が小さい場合には、ＦｐはＦに対
応させ、ＧｐはＧに対応させる。一方、後者の方が小さ
い場合には、その逆に、ＦｐはＧに対応させ、ＧｐはＦ
に対応させる。If the former is smaller, F p is made to correspond to F and G p is made to correspond to G. On the other hand, if the latter is smaller, then F p is made to correspond to G and G p is made to F
To correspond to.
【００６６】また、１つ前のフレームにおける短軸と楕
円との交点をＨｐとし、現フレームの短軸と楕円との２
つの交点をＨ、Ｈ’とする。Ｈｐと対応付ける点として
ＨとＨ’のどちらを選択するかは２つの距離、Ｅ（Ｈｐ
−（Ｇｐ＋Ｆｐ）／２，Ｈ−（Ｆ＋Ｇ）／２）とＥ（Ｈ
ｐ−（Ｇｐ＋Ｆｐ）／２，Ｈ’−（Ｆ＋Ｇ）／２）とを
算出することにより決定する。The intersection of the short axis and the ellipse in the immediately preceding frame is defined as Hp, and the intersection of the short axis and the ellipse of the current frame is defined as Hp.
Let the two intersections be H and H '. Which of H and H ′ is selected as a point to be associated with H p is determined by two distances, E (H p
− (G p + F p ) / 2, H− (F + G) / 2) and E (H
It is determined by calculating p- ( Gp + Fp ) / 2, H '-(F + G) / 2).
【００６７】前者が小さい場合にはＨを選択し、そうで
ない場合にはＨ’を選択する。なお、はじめのフレーム
における短軸と楕円との交点Ｈは２つのうちのどちらを
選択してもよい。If the former is small, H is selected; otherwise, H 'is selected. Either of the two intersections H between the minor axis and the ellipse in the first frame may be selected.
【００６８】このように楕円から代表点を抽出する処理
は図形代表点抽出部１０３において行われる。The process of extracting the representative points from the ellipse is performed in the graphic representative point extracting unit 103.
【００６９】以上の処理によって取り出された代表点
は、映像中の注目物体の移動や撮影カメラの移動によ
り、連続するフレームにおいて位置が異なるのが普通で
ある。そこで、対応する楕円の代表点を時系列に並べ、
Ｘ座標、Ｙ座標ごとにスプライン関数により近似を行
う。本実施形態では、楕円の代表点であるＦ、Ｇ、Ｈの
３点（図４参照）それぞれについてＸ、Ｙ座標のスプラ
イン関数が必要になるので、合計６つのスプライン関数
が生成される。The positions of the representative points extracted by the above processing are usually different in successive frames due to the movement of the object of interest in the video or the movement of the photographing camera. Therefore, the representative points of the corresponding ellipses are arranged in time series,
Approximation is performed using a spline function for each of the X and Y coordinates. In the present embodiment, a spline function of the X and Y coordinates is required for each of the three points (see FIG. 4) of the representative points of the ellipse, F, G, and H, so that a total of six spline functions are generated.
【００７０】以上のスプライン関数による曲線近似は代
表点曲線近似部１０４において行われる。The above curve approximation using the spline function is performed by the representative point curve approximation unit 104.
【００７１】なお、代表点曲線近似部１０４による処理
は、当該物体の領域に関する各フレームの代表点の座標
値が得られる毎に行う方法（例えば各フレームの代表点
の座標値が得られる毎に近似を行うとともに近似誤差を
求め、近似誤差が一定の範囲に収まるように近似区間を
適宜分割する方法）や、当該物体の領域に関する全ての
フレームの代表点の座標値が得られた後に行う方法など
がある。The process by the representative point curve approximating unit 104 is performed every time the coordinate value of the representative point of each frame for the object area is obtained (for example, every time the coordinate value of the representative point of each frame is obtained). A method of performing approximation and obtaining an approximation error, and appropriately dividing an approximation section so that the approximation error falls within a certain range) or a method performed after coordinate values of representative points of all frames related to the region of the object are obtained and so on.
【００７２】図２の（ｃ）の２０４は近似されたスプラ
イン関数を３次元的に表現したものである。図２の
（ｄ）の２０５は代表点曲線近似部１０４の出力である
スプライン関数の一例である（１つの代表点の１つの座
標軸についてのみ示している）。この例は、近似区間が
ｔ＝０〜５とｔ＝５〜１６の２つに分割された場合（節
点が３つとなった場合）を示している。Reference numeral 204 in FIG. 2C represents the approximated spline function three-dimensionally. Reference numeral 205 in FIG. 2D denotes an example of a spline function output from the representative point curve approximating unit 104 (only one coordinate axis of one representative point is shown). This example shows a case where the approximate section is divided into two of t = 0 to 5 and t = 5 to 16 (when there are three nodes).
【００７３】このようにして得られたスプライン関数は
予め定めておいたデータ形式に従って領域データ記憶部
１０６に記録される。The spline function thus obtained is recorded in the area data storage unit 106 in accordance with a predetermined data format.
【００７４】以上のように本実施形態では、映像中の物
体の領域を、その近似図形の代表点の時系列的な軌跡
（フレーム番号あるいはタイムスタンプを変数とする代
表点の座標の軌跡）を近似した曲線のパラメータとして
記述することができる。As described above, in the present embodiment, the area of the object in the video is represented by the time-series locus of the representative point of the approximate figure (the locus of the coordinates of the representative point using the frame number or the time stamp as a variable). It can be described as a parameter of an approximated curve.
【００７５】本実施形態によれば、映像中の物体の領域
を関数のパラメータのみによって表現できるため、デー
タ量が少なく、ハンドリングの容易な物体領域データを
生成することができる。また、近似図形からの代表点の
抽出や、近似曲線のパラメータの生成も容易に行うこと
ができる。また、近似曲線のパラメータから近似図形を
生成することも容易に行うことができる。According to the present embodiment, since the region of the object in the video can be expressed only by the parameters of the function, the data amount is small and the object region data which is easy to handle can be generated. Further, extraction of a representative point from an approximate figure and generation of an approximate curve parameter can be easily performed. Further, it is possible to easily generate an approximate figure from the parameters of the approximate curve.
【００７６】また、この近似図形として基本的な図形、
例えば一つまたは複数の楕円を用い、例えば楕円を二つ
の焦点と他の１点により代表させれば、ユーザにより指
定された任意の座標が物体の領域（近似図形）内か否か
（物体の領域を指示しているか否か）を簡単な判定式に
より判定することができる。さらに、これによって、ユ
ーザによる映像中の動く物体の指示をより容易にするこ
とができる。A basic figure as the approximate figure,
For example, if one or a plurality of ellipses is used and, for example, the ellipse is represented by two focal points and another point, it is determined whether or not an arbitrary coordinate specified by the user is within an area (approximate figure) of the object (approximate figure of the object). Whether or not an area is designated) can be determined by a simple determination formula. Furthermore, this makes it easier for the user to specify a moving object in the video.
【００７７】以下では、領域データ記憶部１０６に格納
される物体領域データのデータ形式について説明する。
なお、ここでは、代表点をスプライン関数により近似す
る場合を例にとって説明するが、もちろん、代表点を他
の関数により近似する場合も同様である。The data format of the object area data stored in area data storage section 106 will be described below.
Here, a case where the representative point is approximated by a spline function will be described as an example, but, of course, the same applies to a case where the representative point is approximated by another function.
【００７８】図５に、映像中の物体の領域を表すスプラ
イン関数と、物体に関連付けられた関連情報とを記録す
るための物体領域データのデータ形式の一例を示す。FIG. 5 shows an example of the data format of the object area data for recording the spline function representing the area of the object in the video and the related information associated with the object.
【００７９】ＩＤ番号４００は、物体ごとに付与される
識別番号である。なお、このデータは省略されてもよ
い。The ID number 400 is an identification number given to each object. Note that this data may be omitted.
【００８０】先頭フレーム番号４０１と最終フレーム番
号４０２は、当該ＩＤ番号の物体の存在を定義する最初
と最後のフレーム番号であり、具体的には、映像中で物
体が登場し消えるまでのフレーム番号である。ただし、
現実に映像中で物体が登場し消えるまでのフレーム番号
ではなく、例えば映像中で物体が登場したときより後の
任意のフレーム番号を先頭フレーム番号としてもよい
し、また先頭フレーム番号以降でかつ映像中で物体が消
えたときより前の任意のフレーム番号を最終フレーム番
号としてもよい。なお、先頭／最終フレーム番号は先頭
／最終タイムスタンプで代用することもできる。また、
最終フレーム番号４０２は、物体存在フレーム数または
物体存在時間に置き換えてもよい。The first frame number 401 and the last frame number 402 are the first and last frame numbers that define the existence of the object having the ID number. More specifically, the frame numbers until the object appears and disappears in the video image It is. However,
Instead of the frame number until the object actually appears and disappears in the video, for example, any frame number after the object appeared in the video may be used as the first frame number, or the first frame number and after An arbitrary frame number before the object disappears may be set as the last frame number. Note that the first / last frame numbers can be substituted for the first / last frame numbers. Also,
The last frame number 402 may be replaced with the number of object existence frames or the time of object existence.
【００８１】関連情報４０３は、本実施形態では必須で
はないが、当該ＩＤ番号の物体に関連付けられた情報で
ある。ただし、関連情報は他に記憶しておいて、関連情
報フィールドの代わりに関連情報へのポインタフィール
ドを記述してもよい。関連情報ポインタは、当該ＩＤ番
号の物体に関連付けられた関連情報データの記録してあ
るデータ領域のアドレスなどである。関連情報へのポイ
ンタを使うと、物体に関する関連情報を検索したり表示
したりすることが容易にできる。また、関連情報へのポ
インタはプログラムや計算機の動作を記述したデータへ
のポインタであってもよい。この場合には、当該物体が
ユーザにより指定されると、計算機が所望の動作を行う
ことになる。The related information 403 is, although not essential in the present embodiment, information associated with the object having the ID number. However, the related information may be stored separately, and a pointer field to the related information may be described instead of the related information field. The related information pointer is an address of a data area in which related information data associated with the object having the ID number is recorded. By using the pointer to the related information, it is easy to search and display the related information on the object. Further, the pointer to the related information may be a pointer to data describing the operation of the program or the computer. In this case, when the object is specified by the user, the computer performs a desired operation.
【００８２】また、物体領域データ内に関連情報へのポ
インタと関連情報そのものを任意に記述可能としてもよ
い。この場合には、物体領域データ内に記述されている
のが関連情報へのポインタか関連情報そのものかを示す
フラグを付加すればよい。Further, the pointer to the related information and the related information itself may be arbitrarily described in the object area data. In this case, a flag indicating whether a pointer to the related information or the related information itself is described in the object area data may be added.
【００８３】近似図形数４０４は、物体の領域を近似し
ている図形の数である。図２の（ａ）の例においては、
一つの楕円で物体領域を近似しているので、図形の数は
１となる。The approximate figure number 404 is the number of figures approximating the object area. In the example of FIG. 2A,
Since the object region is approximated by one ellipse, the number of figures is one.
【００８４】近似図形データ４０５は、近似図形を表現
するための図形代表点の軌跡データ（例えばスプライン
関数のパラメータ等）である。The approximate graphic data 405 is trajectory data of a graphic representative point for expressing an approximate graphic (for example, spline function parameters).
【００８５】なお、近似図形データ４０５は、近似図形
数４０４に相当する数だけ存在する（近似図形数４０４
が２以上の場合については後述する）。The approximate figure data 405 exists in a number corresponding to the approximate figure number 404 (approximate figure number 404).
Will be described later).
【００８６】また、物体領域データにおいて、近似図形
数４０４は常に１つとし（従って近似図形データ４０５
も常に１つとなる）、近似図形数４０４のフィールドを
省くようにしてもよい。In the object area data, the number of approximate figures 404 is always one (therefore, the approximate figure data 405
Is always one), and the field of the approximate figure number 404 may be omitted.
【００８７】物体領域データに付加される関連情報４０
３は、１または複数の、当該物体に関連する情報を書き
込むためのフィールドである。Related information 40 added to object area data
Reference numeral 3 denotes one or more fields for writing information related to the object.
【００８８】なお、関連情報４０３には、必要に応じて
当該物体の関連情報を取得するためのポインタ情報を書
き込むようにしてもよい。ポインタ情報を使うことによ
り、物体に関する関連情報を検索したり表示したりする
ことが容易にできる。Note that, in the related information 403, pointer information for acquiring related information of the object may be written as needed. By using the pointer information, it is possible to easily search and display related information on the object.
【００８９】次に、図６に、図５の物体領域データ内の
近似図形データ４０５のデータ構造の一例を示す。FIG. 6 shows an example of the data structure of the approximate figure data 405 in the object area data of FIG.
【００９０】図形種ＩＤ１３００は、近似図形としてど
のような図形を用いているかを示すためのデータであ
り、円、楕円、矩形、多角形などを特定する。The graphic type ID 1300 is data for indicating what graphic is used as an approximate graphic, and specifies a circle, an ellipse, a rectangle, a polygon, and the like.
【００９１】代表点数１３０１は、図形種ＩＤで特定さ
れる図形を代表する点の数を幾つ必要とするかを表す。The number of representative points 1301 indicates how many points are required to represent the figure specified by the figure type ID.
【００９２】１組の代表点軌跡データ１３０２，１３０
３は、図形の代表点の軌跡を表現するスプライン関数に
関するデータ領域である。一つの図形代表点につき、Ｘ
座標、Ｙ座標のスプライン関数データが必要になる。従
って、スプライン関数を特定する代表点軌跡データは、
代表点数（Ｍ）×２だけ存在する。One set of representative point locus data 1302, 130
Reference numeral 3 denotes a data area related to a spline function expressing the trajectory of the representative point of the figure. X for one figure representative point
Coordinate and Y coordinate spline function data are required. Therefore, the representative point trajectory data specifying the spline function is
There are only representative points (M) × 2.
【００９３】なお、使用する近似図形の種類を予め１種
類、例えば楕円、に限定することも可能である。この場
合には、図６の図形種ＩＤのフィールドを省くことも可
能である。It is also possible to limit the kind of the approximate figure used to one kind, for example, an ellipse in advance. In this case, the field of the graphic type ID in FIG. 6 can be omitted.
【００９４】また、図形種ＩＤによって代表点数が一意
に特定される場合には、代表点数を省くことも可能であ
る。When the number of representative points is uniquely specified by the graphic type ID, the number of representative points can be omitted.
【００９５】次に、図７に、図６の近似図形データ内の
代表点軌跡データ１３０２，１３０３のデータ構造の一
例を示す。Next, FIG. 7 shows an example of the data structure of the representative point trajectory data 1302 and 1303 in the approximate figure data of FIG.
【００９６】節点フレーム番号１４００は、スプライン
関数の節点を表しており、この節点まで多項式のデータ
１４０３が有効であることを示している。多項式の係数
データの数は、スプライン関数の最高次数により変化す
る（最高次数をＫとすると、係数データの数はＫ＋１と
なる）。そのため、多項式次数１４０１を参照する。多
項式次数１４０１の後には、多項式次数＋１個に相当す
る数の多項式係数１４０２が続く。The node frame number 1400 indicates a node of the spline function, and indicates that the polynomial data 1403 is valid up to this node. The number of coefficient data of the polynomial varies depending on the highest order of the spline function (where K is the highest order, the number of coefficient data is K + 1). Therefore, reference is made to the polynomial degree 1401. The polynomial degree 1401 is followed by a number of polynomial coefficients 1402 corresponding to +1 polynomial degree.
【００９７】また、スプライン関数は節点間で別の多項
式で表現されるため、節点の数に対応した数の多項式が
必要になる。従って、節点フレーム番号、多項式の係数
などを含むデータ１４０３は、複数繰り返し記述され
る。節点フレーム番号が最終フレームと等しくなった場
合には、それが最後の多項式係数データであることを意
味しているので、代表点軌跡データが終わることがわか
る。Further, since the spline function is represented by another polynomial between nodes, a number of polynomials corresponding to the number of nodes is required. Therefore, data 1403 including a node frame number, a polynomial coefficient, and the like are described a plurality of times. When the node frame number becomes equal to the last frame, it means that it is the last polynomial coefficient data, and it is understood that the representative point trajectory data ends.
【００９８】図８は図４、図５、図６の階層関係を示す
ものである。FIG. 8 shows the hierarchical relationship of FIGS. 4, 5 and 6.
【００９９】次に、近似図形として楕円以外の図形を用
いた場合について説明する。Next, a case where a figure other than an ellipse is used as an approximate figure will be described.
【０１００】図９は、近似図形として平行四辺形を用い
た場合の代表点を説明するための図である。点Ａ，Ｂ，
Ｃ，Ｄが平行四辺形の頂点である。これらのうち３点が
決まれば残りの１点も一意に決まるため、代表点として
は４頂点のうちの３頂点とすれば十分である。この例で
は、Ａ，Ｂ，Ｃの３点を代表点としている。FIG. 9 is a diagram for explaining representative points when a parallelogram is used as an approximate figure. Points A, B,
C and D are vertices of the parallelogram. If three of these points are determined, the remaining one point is also uniquely determined. Therefore, it is sufficient to use three of the four vertices as representative points. In this example, three points A, B, and C are set as representative points.
【０１０１】また、図１０は、近似図形として多角形を
用いた場合の代表点を説明するための図である。多角形
の場合には、頂点の順序を外周に沿った順にしておく。
図１０の例では、１０個の頂点を持つ多角形なので、Ｎ
１〜Ｎ１０までの全ての頂点を代表点とする。なお、こ
の場合に、内角が１８０度未満の頂点のみを代表点とす
るなどして、頂点数を削減するようにしてもよい。FIG. 10 is a diagram for explaining representative points when a polygon is used as the approximate figure. In the case of a polygon, the vertices are arranged in the order along the outer circumference.
In the example of FIG. 10, since the polygon has ten vertices, N
All vertices from 1 to N10 are set as representative points. In this case, the number of vertices may be reduced by, for example, setting only vertices having an inner angle of less than 180 degrees as representative points.
【０１０２】ところで、前述したように、これまで説明
してきた処理は、計算機上でソフトウェアにより行うこ
ともできる。図１１は本実施形態の情報処理装置の処理
の流れの一例を表したフローチャートであり、本実施形
態の情報処理装置をソフトウェアにより実現する場合に
は例えば図１１のフローチャートに従ったプログラムを
作成すればよい。As described above, the processing described so far can also be performed by software on a computer. FIG. 11 is a flowchart illustrating an example of a processing flow of the information processing apparatus according to the present embodiment. When the information processing apparatus according to the present embodiment is implemented by software, for example, a program according to the flowchart of FIG. I just need.
【０１０３】ステップＳ１１では、映像データから１フ
レーム分の映像を取り出す。In step S11, one frame of video is extracted from the video data.
【０１０４】ステップＳ１２では、映像中の特定の物体
の領域を抽出する。抽出手法は領域抽出部１０１と同様
の手法を用いることができる。In step S12, a region of a specific object in the video is extracted. As the extraction method, the same method as that of the area extraction unit 101 can be used.
【０１０５】ステップＳ１３では、ステップＳ１２の処
理結果である領域情報に対して、近似図形による当ては
めを行う。これも領域の図形近似部１０２と同様の手法
を用いることができる。At step S13, an approximation figure is applied to the area information as the processing result at step S12. This can also use the same method as that of the area figure approximating unit 102.
【０１０６】ステップＳ１４では、ステップＳ１３で近
似された図形の代表点を抽出する。In step S14, a representative point of the figure approximated in step S13 is extracted.
【０１０７】ステップＳ１５では、連続するフレームに
おける近似図形の代表点列の位置の曲線近似を行う。In step S15, a curve approximation of the position of the representative point sequence of the approximate figure in successive frames is performed.
【０１０８】ステップＳ１６は分岐処理で、今処理した
画像が最後のフレームか、または処理したフレームにお
いて抽出対象の物体が画像中から消失してしまった（も
しくは消失したとみなす）か否かを判定する。イエスの
場合にはステップＳ１７を、ノーの（いずれでもない）
場合にはステップＳ１１の処理へと分岐する。Step S16 is a branching process for determining whether the image just processed is the last frame, or whether the object to be extracted has disappeared from the image (or is regarded as lost) in the processed frame. I do. If yes, step S17 is NO (neither)
In this case, the process branches to step S11.
【０１０９】ステップＳ１７では、ステップＳ１５で計
算された近似曲線を所定のフォーマットに従って物体領
域データとして記録媒体に記録する。In step S17, the approximate curve calculated in step S15 is recorded on a recording medium as object area data according to a predetermined format.
【０１１０】さて、これまでは一つの物体に対して一つ
の図形を割り当てて、物体の領域を大まかに表す例を中
心に説明をしてきたが、一つの物体の領域を複数の図形
により近似し、近似精度を向上させることも可能であ
る。図１２は、一つの物体を複数の図形で近似した例で
ある。この例では画像中の人の領域を６００から６０５
までの６つの楕円により表している。In the above description, an example in which one figure is assigned to one object and the area of the object is roughly described has been mainly described, but the area of one object is approximated by a plurality of figures. It is also possible to improve the approximation accuracy. FIG. 12 is an example in which one object is approximated by a plurality of figures. In this example, the area of the person in the image is set to 600 to 605.
Are represented by six ellipses.
【０１１１】一つの物体を図１２のように複数の図形で
表す場合には、物体を複数の領域に分割する処理が必要
となる。この処理にはどのような方法が用いられていて
も良いが、例えば人手で直接入力する方法がある。この
場合、例えば、マウス等のポインティングデバイスを用
いて、画像上で領域を矩形や楕円で囲む、あるいはポイ
ンティングデバイスの軌跡により領域を指定する、など
の操作で実現することができる。また、人手ではなく自
動で行う場合には、例えば、物体の動きのクラスタリン
グで実現する方法がある。これは、連続するフレーム間
で物体中の各領域がどのような動きをしたかを相関法
（例えば画像解析ハンドブック、第ＩＩ部第３章、東京
大学出版会、１９９１を参照）や勾配法（例えば、Ｄｅ
ｔｅｒｍｉｎｉｎｇ ｏｐｔｉｃａｌ ｆｌｏｗ，Ｂ．
Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ．Ｇ．Ｓｃｈｕｎｃｋ，
Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖ
ｏｌ．１７，ｐｐ．１８５−２０３，１９８１を参照）
などにより求め、これらの動きの似ているものだけをま
とめて領域を形成する方法である。When one object is represented by a plurality of figures as shown in FIG. 12, processing for dividing the object into a plurality of regions is required. Although any method may be used for this processing, for example, there is a method of directly inputting manually. In this case, for example, using a pointing device such as a mouse, the operation can be realized by enclosing the region on the image with a rectangle or an ellipse, or by specifying the region based on the locus of the pointing device. In the case where the operation is performed automatically instead of manually, there is a method realized by, for example, clustering the movement of an object. This is based on the correlation method (see, for example, the Image Analysis Handbook, Part II, Chapter 3, The University of Tokyo Press, 1991) and the gradient method ( For example, De
terminating optical flow, B.M.
K. P. Horn and B.S. G. FIG. Schunkk,
Artificial Intelligence, V
ol. 17, pp. 185-203, 1981)
In this method, only areas having similar movements are collectively formed to form a region.
【０１１２】このようにして分割された各領域６００、
６０１、６０２、６０３、６０４、６０５に対しては、
それぞれについて図１の構成例や図１１の手順例により
説明される処理を施すことにより、近似図形データを生
成することが可能である。この場合、一つの物体の物体
領域データに記述すべきスプライン関数が近似図形の増
加に応じて増えることになるため、物体領域データは図
１３で表されるように近似図形データ４０５を、近似図
形数４０４に相当する数（この場合、複数）だけ含むデ
ータ構造となる。Each area 600 divided in this way,
For 601, 602, 603, 604, 605,
Approximate figure data can be generated by performing the processing described with reference to the configuration example of FIG. 1 and the procedure example of FIG. 11 for each. In this case, since the spline function to be described in the object region data of one object increases as the number of approximate figures increases, the object area data is obtained by replacing the approximate figure data 405 as shown in FIG. The data structure has a number corresponding to the number 404 (in this case, a plurality).
【０１１３】なお、前述したように物体領域データにお
いて近似図形数を常に１つとし（従って近似図形データ
も常に１つとなる）、近似図形数のフィールドを省くよ
うにする場合において、一つの物体を複数の図形で表す
ためには、一つの物体を近似する各図形ごとに、物体領
域データを生成すればよい（それらは同じＩＤ番号を有
することになる）。すなわち、図１３の近似図形データ
（１）〜近似図形データ（Ｌ）４０５を分割領域（例え
ば、６０５）の部分データ（１）〜部分データ（Ｌ）に
置き換えればよい。As described above, in the object area data, the number of approximate figures is always one (therefore, the number of approximate figures is always one), and when the field of the number of approximate figures is omitted, one object is replaced with one. In order to represent a plurality of figures, object area data may be generated for each figure approximating one object (they have the same ID number). That is, the approximate graphic data (1) to approximate graphic data (L) 405 in FIG. 13 may be replaced with the partial data (1) to partial data (L) of the divided area (for example, 605).
【０１１４】なお、本実施形態では、一つの物体を複数
の図形で表す場合に、同一の図形を用いるものとしてい
るが、複数種類の図形を混在して使用可能としてもよ
い。In this embodiment, when one object is represented by a plurality of figures, the same figure is used. However, a plurality of kinds of figures may be used in combination.
【０１１５】さて、図２の（ａ）、（ｂ）、（ｃ）、
（ｄ）の例では、楕円による近似方法を一例として説明
を行ったが、以下では、近似方法の他の例として、矩形
による近似方法について説明する。Now, FIG. 2 (a), (b), (c),
In the example of (d), the approximation method using an ellipse has been described as an example. However, an approximation method using a rectangle will be described below as another example of the approximation method.
【０１１６】図１４の（ａ）、（ｂ）、（ｃ）は、図２
の（ａ）、（ｂ）、（ｃ）、（ｄ）と同じ形式の図であ
るが、ここでは、領域図形近似部１０２として領域の矩
形による近似方法を用い、図形代表抽出部１０３として
矩形の４つの頂点を抽出する方法を用い、代表点曲線近
似部１０４としてスプライン関数による近似方法を用い
た場合を例としている。FIGS. 14 (a), (b) and (c) show FIG.
FIGS. 3A, 3B, 3C, and 3D have the same format as those in FIGS. 1A, 1B, 1C, and 1D, but here, an approximate method using an area rectangle is used as the area graphic approximating unit 102, and a rectangular In this example, the representative point curve approximation unit 104 employs an approximation method using a spline function.
【０１１７】図１４の（ａ）において、２８００は処理
対象となっている映像中の１フレームを示している。In FIG. 14A, reference numeral 2800 denotes one frame in a video to be processed.
【０１１８】２８０１は抽出対象となっている物体の領
域を示している。この物体の領域２８０１を抽出する処
理は領域抽出部１０１において行われる。Reference numeral 2801 denotes a region of the object to be extracted. The process of extracting the region 2801 of the object is performed by the region extraction unit 101.
【０１１９】２８０２は物体の領域を矩形で近似したも
のである。物体領域２８０１から矩形２８０２を求める
処理は領域図形近似部１０２において行われる。Reference numeral 2802 denotes an object region approximated by a rectangle. The process of obtaining the rectangle 2802 from the object region 2801 is performed in the region graphic approximation unit 102.
【０１２０】ここで、例えば図１４の（ａ）において矩
形２８０２を求める場合の処理手順の一例を図１５に示
す。すなわち、フレーム２８００のマスク画像を例えば
ラスタースキャンし（ステップＳ６０）、対象画素が物
体領域内であるときに（ステップＳ６１）、Ｘ座標とＹ
座標のそれぞれについて、それまで保存されている最小
値より小さい場合には最小値を更新し、それまで保存さ
れている最大値より大きい場合には最大値を更新する
（ステップＳ６２）ことを、全ての画素について繰り返
しチェックすることによって、Ｘ座標とＹ座標のそれぞ
れについて物体領域を示す画素位置の最小値および最大
値を求めれば、図１４の（ｂ）に示すように矩形２８０
２の４つの頂点座標２８０３を得ることができる。FIG. 15 shows an example of a processing procedure for obtaining the rectangle 2802 in FIG. 14A, for example. That is, the mask image of the frame 2800 is raster-scanned, for example (step S60), and when the target pixel is within the object area (step S61), the X coordinate and Y
For each of the coordinates, the minimum value is updated if it is smaller than the previously stored minimum value, and the maximum value is updated if it is larger than the previously stored maximum value (step S62). The minimum value and the maximum value of the pixel position indicating the object area are obtained for each of the X coordinate and the Y coordinate by repeatedly checking the pixels of the rectangle 280, as shown in FIG.
2, four vertex coordinates 2803 can be obtained.
【０１２１】図１４の（ｃ）は図２の（ｃ）と同様に代
表点としての４つの頂点座標を時系列的に配列した状態
を示す図であり、２８０４は近似された関数（例えばス
プライン関数）を３次元的に表現したものである。FIG. 14C is a diagram showing a state in which the coordinates of four vertices as representative points are arranged in time series similarly to FIG. 2C. Reference numeral 2804 denotes an approximated function (eg, a spline). Function) three-dimensionally.
【０１２２】このような方法は処理が簡易な点で優れて
いるが、例えば図１６のように細長い物体３００１が画
面３０００に対して斜めの姿勢で存在しているときに
は、近似矩形３００２内には非物体領域が特に多く含ま
れてしまう。また、細長い物体物体が回転すると矩形２
８０２の大きさ、形状が変化する。これらは、物体指定
する際の弊害となる場合がある。Such a method is excellent in that the processing is simple. For example, when an elongated object 3001 exists in an oblique posture with respect to the screen 3000 as shown in FIG. The non-object region is particularly large. When an elongated object rotates, a rectangle 2
802 changes in size and shape. These may be harmful when specifying an object.
【０１２３】そこで、矩形の大きさができるだけ小さく
なり（近似矩形内の非物体領域ができるだけ少なくな
り）、対象物体の姿勢も反映させることのできる近似方
法の一例を示す。Therefore, an example of an approximation method in which the size of the rectangle is reduced as much as possible (the non-object area in the approximate rectangle is reduced as much as possible) and the orientation of the target object can be reflected will be described.
【０１２４】図１７の（ａ）において、３１００は処理
対象となっている映像中の１フレームを示している。In FIG. 17A, reference numeral 3100 denotes one frame in a video to be processed.
【０１２５】３１０１は抽出対象となっている物体の領
域を示している。この物体の領域３１０１を抽出する処
理は領域抽出部１０１において行われる。Reference numeral 3101 denotes a region of the object to be extracted. The process of extracting the region 3101 of the object is performed by the region extraction unit 101.
【０１２６】３１０２は物体の領域を矩形で近似したも
のである。この近似矩形は図１４の（ａ）の矩形２８０
２とは異なり、傾きを持っている。矩形内の非物体領域
も少なく、対象が回転してもその形状は一定である。物
体領域３１０１から矩形３１０２を求める処理は領域図
形近似部１０２において行われる。Reference numeral 3102 denotes a rectangular approximation of the object area. This approximate rectangle is a rectangle 280 in FIG.
Unlike 2, it has a slope. The non-object region in the rectangle is small, and its shape is constant even if the object rotates. The process of obtaining the rectangle 3102 from the object region 3101 is performed by the region graphic approximation unit 102.
【０１２７】図１８に、この場合の処理手順の一例を示
す。この処理手順例は、対象物体領域の慣性主軸を求
め、これに基づいて近似図形を求めるようにしたもので
ある。FIG. 18 shows an example of the processing procedure in this case. In this processing procedure example, the principal axis of inertia of the target object area is obtained, and an approximate figure is obtained based on the principal axis.
【０１２８】図１７の（ｂ）において、３１０３は、対
象物体領域の重心を示している。In FIG. 17B, reference numeral 3103 denotes the center of gravity of the target object area.
【０１２９】３１０４は、対象物体領域の慣性主軸を示
している。３１０５は、３１０４に垂直な直線である。Reference numeral 3104 denotes the principal axis of inertia of the target object area. 3105 is a straight line perpendicular to 3104.
【０１３０】マスク画像をｆ(ｘ，ｙ)とすると、ｆ
(ｘ，ｙ)は領域内では１で、領域外では０である。対象
領域の慣性モーメントは、 ｍij＝ΣΣｘi ｙj ｆ(ｘ，ｙ) で表せる。Assuming that the mask image is f (x, y), f
(x, y) is 1 inside the region and 0 outside the region. Moment of inertia of the target area can be expressed by m ij = ΣΣx i y j f (x, y).
【０１３１】まず、対象物体領域の慣性モーメント
ｍ20、ｍ02、ｍ11を求める（ステップＳ７０〜Ｓ７
２）。First, the moments of inertia m 20 , m 02 , and m 11 of the target object area are obtained (steps S 70 to S 7).
2).
【０１３２】ここで、原点（ここでは、重心）を通る直
線ｙ＝ｘ tanθについてのｆ(ｘ，ｙ)の慣性モーメント
は、 ｍθ＝∬(ｘ sinθ−ｙ cosθ)2 ｆ(ｘ，ｙ)dxdy で得られる。Here, the moment of inertia of f (x, y) with respect to a straight line y = x tan θ passing through the origin (here, the center of gravity) is m θ = ∬ (x sin θ−y cos θ) 2 f (x, y ) dxdy.
【０１３３】θを変化させたときにｍθを最小にする角
度をθ0 とする。一通りの角度しかないとき、直線ｙ＝
ｘ tanθ0 を慣性主軸と呼ぶ。The angle that minimizes m θ when θ is changed is θ 0 . When there is only one angle, the straight line y =
x tanθ 0 is called the principal axis of inertia.
【０１３４】tanθ0 は、２次方程式、 ｔａｎ2 θ＋｛（ｍ20−ｍ02）／ｍ11｝ｔａｎθ−１＝
０ の解として求まる。Tan θ 0 is a quadratic equation, tan 2 θ + ｛(m 20 −m 02 ) / m 11 ｝ tan θ−1 =
0.
【０１３５】これにより重心３１０３の周りでtanθ0
を求めると、対象物体の慣性主軸が得られる（ステップ
Ｓ７３）。Thus, tan θ 0 around the center of gravity 3103 is obtained.
Is obtained, the principal axis of inertia of the target object is obtained (step S73).
【０１３６】次に、慣性主軸に平行で物体領域に外接す
る直線と、慣性主軸に垂直で物体領域に外接する直線を
求める（ステップＳ７４）。Next, a straight line parallel to the principal axis of inertia and circumscribing the object region and a straight line perpendicular to the principal axis of inertia and circumscribing the object region are obtained (step S74).
【０１３７】図１７の（ｂ）において、直線３１０６，
３１０７は、慣性主軸３１０４に平行な直線であり、対
象物体領域に外接する。In FIG. 17B, a straight line 3106,
3107 is a straight line parallel to the principal axis of inertia 3104 and circumscribes the target object area.
【０１３８】直線３１０８，３１０９は、直線３１０５
に平行な直線であり、対象物体領域に外接する。The straight lines 3108 and 3109 are
And circumscribes the target object area.
【０１３９】矩形３１０２は、直線３１０６，３１０
７，３１０８，３１０９によって形成される（ステップ
Ｓ７５）。A rectangle 3102 is formed by straight lines 3106 and 310
7, 3108, 3109 (step S75).
【０１４０】なお、対象物体が円の場合には慣性主軸が
求まらないが、このような場合には例えば図１５で説明
した手順で近似矩形を求めればよい。When the target object is a circle, the principal axis of inertia cannot be obtained. In such a case, an approximate rectangle may be obtained by, for example, the procedure described with reference to FIG.
【０１４１】ところで、矩形より楕円で物体領域を表現
する方が適当な場合もある。図１９に、物体の領域が矩
形で表される場合に、その矩形から近似楕円を求める方
法の一例を示す。図２０に、この場合の処理手順の一例
を示す。In some cases, it is more appropriate to represent an object region by an ellipse than by a rectangle. FIG. 19 shows an example of a method for obtaining an approximate ellipse from a rectangle when the region of the object is represented by a rectangle. FIG. 20 shows an example of the processing procedure in this case.
【０１４２】図１９において、対象物体領域３３００と
外接矩形３３０１が得られているものとする。In FIG. 19, it is assumed that a target object area 3300 and a circumscribed rectangle 3301 have been obtained.
【０１４３】まず、近似矩形の内接楕円および外接楕円
を求める（ステップＳ８０）。First, the inscribed ellipse and the circumscribed ellipse of the approximate rectangle are obtained (step S80).
【０１４４】図１９において、楕円３３０２は矩形３３
０１の内接楕円であり、楕円３３０３は矩形３３０１の
外接楕円である。In FIG. 19, an ellipse 3302 is a rectangle 33
01 is the inscribed ellipse, and the ellipse 3303 is the circumscribed ellipse of the rectangle 3301.
【０１４５】次に、内接楕円３３０２の大きさを少しず
つ外接楕円３３０３に近づけていき（ステップＳ８
１）、物体領域を全て包含する楕円３３０４を求め（ス
テップＳ８２）、近似楕円とする。なお、繰り返し処理
において、一回に内接楕円３３０２の大きさを拡大する
単位は、予め定めておいてもよいし、内接楕円３３０２
の大きさと外接楕円３３０３の大きさの差分に応じて決
定してもよい。Next, the size of the inscribed ellipse 3302 is gradually approached to the circumscribed ellipse 3303 (step S8).
1) An ellipse 3304 including all the object regions is obtained (step S82), and is set as an approximate ellipse. In the repetitive processing, the unit for enlarging the size of the inscribed ellipse 3302 at one time may be determined in advance, or the inscribed ellipse 3302 may be determined in advance.
And the size of the circumscribed ellipse 3303 may be determined.
【０１４６】また、上記とは逆に、外接楕円３３０３の
大きさを内接楕円３３０２に近づけていってもよい。こ
の場合には、外接楕円３３０３は最初から物体領域を全
て包含しているので、例えば、繰り返し処理において、
始めて物体領域に包含されない部分を生じた楕円の、一
回前における楕円を、近似楕円とすればよい。[0146] Conversely, the size of the circumscribed ellipse 3303 may be made closer to the inscribed ellipse 3302. In this case, since the circumscribed ellipse 3303 includes all the object regions from the beginning, for example, in the iterative process,
The ellipse one time before the ellipse that has not been included in the object area for the first time may be set as the approximate ellipse.
【０１４７】次に、図形代表点抽出部１０３では、近似
矩形や近似楕円の代表点を求める。矩形の代表点は４つ
もしくは３つの頂点を代表点とすることができ、楕円の
場合は楕円の外接矩形の頂点としたり、２つの焦点と楕
円上の一点としたりすることができる。Next, the graphic representative point extracting unit 103 obtains representative points of an approximate rectangle or an approximate ellipse. The representative points of the rectangle can be four or three vertices as representative points. In the case of an ellipse, the vertices can be the vertices of a circumscribed rectangle of the ellipse, or two focal points and one point on the ellipse.
【０１４８】次に、代表点曲線近似部１０４では、時系
列的に得られている代表点の軌跡をスプライン関数など
で近似する。このとき、時系列同士の対応付けが重要で
ある。例えば、近似図形が矩形で代表点を頂点とする場
合には、隣接するフレーム間で頂点同士の対応付けを行
う必要がある。Next, the representative point curve approximation unit 104 approximates the trajectory of the representative points obtained in time series by using a spline function or the like. At this time, it is important to associate the time series with each other. For example, when the approximate figure is a rectangle and the representative point is a vertex, it is necessary to associate the vertices between adjacent frames.
【０１４９】図２１に、対応付け方法の一例を示す。ま
た、図２２に、対応付け処理の手順の一例を示す。FIG. 21 shows an example of the association method. FIG. 22 shows an example of the procedure of the association process.
【０１５０】図２１において、３５００は近似矩形の重
心である。前のフレームにおける矩形３５０１と現在の
フレームにおける矩形３５０２が得られている。矩形３
５０１と３５０２のいずれかを平行移動させ、重心位置
を一致させる（重心位置を一致させた状態が図２１であ
る）。次に、それぞれの矩形の頂点同士の距離ｄ１〜ｄ
４を計算し、全ての頂点の組み合わせで距離の和を求め
る（ステップＳ９０，Ｓ９１）。距離の和が最小となる
組み合わせを求め、対応付けする（ステップＳ９２）。In FIG. 21, reference numeral 3500 denotes the center of gravity of the approximate rectangle. A rectangle 3501 in the previous frame and a rectangle 3502 in the current frame are obtained. Rectangle 3
One of 501 and 3502 is moved in parallel to match the position of the center of gravity (the state where the position of the center of gravity is matched is shown in FIG. 21). Next, the distances d1 to d between the vertices of each rectangle
4 is calculated, and the sum of the distances is obtained for all combinations of vertices (steps S90 and S91). A combination that minimizes the sum of the distances is obtained and associated (step S92).
【０１５１】近似図形から代表点を得る際に、一定の規
則で代表点を取得しておくと、組み合わせの数を削減す
ることが可能である。例えば、矩形では時計周りに頂点
座標を代表点として保存するようにすると、対応付けの
組み合わせは４通りで済む。When the representative points are obtained from the approximate figure by a certain rule, the number of combinations can be reduced. For example, in the case of a rectangle, if the vertex coordinates are stored clockwise as a representative point, only four combinations are required.
【０１５２】なお、この方法では対応付けが難しい場合
がある。例えば、近似矩形が隣接フレームにおいて正方
形に近い形状であり且つ４５度回転移動している場合に
は、対応付けが難しい（２通りの組み合わせにおいて距
離の和が同じような値になる）。そこで、このような場
合には、例えば、近似矩形内の物体領域同士の排他的論
理和を取り、その面積が最小となる組み合わせを採用す
る方法、あるいは物体領域のテクスチャの絶対差分を求
め、差分値が最小となる組み合わせを求める方法などを
用いればよい。It should be noted that there is a case where it is difficult to make correspondence by this method. For example, when the approximate rectangle has a shape close to a square in the adjacent frame and is rotated and rotated by 45 degrees, it is difficult to associate (the sum of the distances becomes a similar value in the two combinations). Therefore, in such a case, for example, an exclusive OR of the object regions within the approximate rectangle is taken and a method of adopting a combination that minimizes the area, or an absolute difference of the texture of the object region is obtained, and the difference is calculated. A method of finding a combination that minimizes the value may be used.
【０１５３】続いて、以下では、本発明を適用して物体
領域の軌跡を近似して物体領域データ中に記述する際
に、図６、図７で例示した近似データ構造とは別の近似
データ構造を用いる例について説明する。In the following, when the present invention is applied to approximate the trajectory of the object area and describe the same in the object area data, the approximate data structure different from the approximate data structure illustrated in FIGS. An example using a structure will be described.
【０１５４】図２３は、近似図形データおよび物体領域
の代表点軌跡データの記述フォーマット（が異なる物体
領域データ）の他の例である。なお、図２３では、代表
点軌跡データの部分（節点数（Ｎ）３９０２〜関数特定
情報Ｙ配列３９１８までの部分）については、１つの代
表点についてのみ示してある（実際には、代表点の個数
に対応して記述される）。FIG. 23 shows another example of the description format (different object region data) of the approximate figure data and the representative point trajectory data of the object region. In FIG. 23, only one representative point is shown for the representative point trajectory data part (the part from the number of nodes (N) 3902 to the function specifying information Y array 3918) (actually, the representative point It is described corresponding to the number).
【０１５５】ここでは、多項式の最高次数を２次として
説明する。Here, the description will be made assuming that the highest order of the polynomial is quadratic.
【０１５６】前述した例（図６、図７）では、多項式ス
プライン関数の全ての係数を記述していたのに対して、
ここでの記述方法では、スプライン関数の節点の座標
と、スプライン関数の係数に関連する値との組み合わせ
により記述する。この記述方法の利点は、節点が容易に
取り出せるため、大まかな物体の軌跡が簡単にわかると
いう点である。In the above-described examples (FIGS. 6 and 7), all the coefficients of the polynomial spline function are described.
In this description method, the description is made by a combination of the coordinates of the nodes of the spline function and the values related to the coefficients of the spline function. An advantage of this description method is that a rough trajectory of an object can be easily understood since nodes can be easily extracted.
【０１５７】以下、この記述方法について詳細に説明す
る。Hereinafter, this description method will be described in detail.
【０１５８】図２３中、図形種ＩＤ３９００は、物体の
形の近似に用いた図形の種類を特定する。例えば、物体
の重心（ＣＥＮＴＲＯＩＤ）、矩形（ＲＥＣＴＡＮＧＬ
Ｅ）、楕円（ＥＬＬＩＰＳＥ）や、それらの組み合わせ
を指定できる。図２４は、図形の種類と図形種ＩＤの割
り当て例である。また、代表点数３９０１は、図形の種
類によって定まる代表点軌跡の数を表す。In FIG. 23, a graphic type ID 3900 specifies the type of graphic used for approximating the shape of an object. For example, the center of gravity (CENTROID) of the object, the rectangle (RECTANGL)
E), an ellipse (ELLIPSE), and a combination thereof can be specified. FIG. 24 is an example of assignment of a graphic type and a graphic type ID. The number of representative points 3901 indicates the number of representative point locus determined by the type of figure.
【０１５９】節点数（Ｎ）３９０２は、代表点軌跡を表
すスプライン関数の節点の数を表す。各節点に対応する
フレームは、時間として表され、節点時刻（１）〜節点
時刻（Ｎ）３９０３に格納される。節点時刻は、設定数
だけあるため、節点時刻配列３９０４として記述してお
く。The number of nodes (N) 3902 indicates the number of nodes of the spline function representing the representative point trajectory. The frame corresponding to each node is represented as time, and is stored in node time (1) to node time (N) 3903. Since there are only the set number of node times, they are described as a node time array 3904.
【０１６０】同様に、各節点のＸ座標、Ｙ座標もそれぞ
れ節点Ｘ座標３９０５および節点Ｙ座標３９０７の配列
３９０６，３９０８として記述される。Similarly, the X and Y coordinates of each node are described as arrays 3906 and 3908 of node X coordinates 3905 and node Y coordinates 3907, respectively.
【０１６１】一次関数フラグＸ３９０９、一次関数フラ
グＹ３９１４は、節点のＸ座標、Ｙ座標の軌跡を近似す
るスプライン関数として一次関数だけが用いられている
かどうかを表す。一部分でも２以上の多項式を用いる場
合には、このフラグはオフにしておく。このフラグを用
いることにより、近似関数として一次関数のみに使われ
る場合に以下で説明する関数特定情報Ｘ３９１０、関数
特定情報Ｙ３９１５を１つも記述しなくて済むため、デ
ータ量を削減できるというメリットがある。なお、必ず
しもこのフラグは必要ではない。The primary function flag X3909 and the primary function flag Y3914 indicate whether only a primary function is used as a spline function that approximates the locus of the node at the X and Y coordinates. This flag is turned off when using at least two or more polynomials. By using this flag, when only the linear function is used as the approximate function, there is no need to describe any of the function specifying information X3910 and the function specifying information Y3915 described below, and thus there is an advantage that the data amount can be reduced. . Note that this flag is not always necessary.
【０１６２】関数特定情報３９１０、３９１５に含まれ
る関数ＩＤ３９１１、３９１６、関数パラメータ３９１
２、３９１７はそれぞれ多項式スプライン関数の次数
と、その係数を特定するための情報を表す。図２５に、
それらの一例を示す。ここで、ｔａ，ｔｂは連続する節
点の時刻、ｆ(ｔ)は［ｔａ，ｔｂ］の区間のスプライン
関数、ｆａ，ｆｂは時刻ｔａ，ｔｂにおける節点の座標
を表している。１次多項式を用いるときは節点のみの情
報で十分なので、関数パラメータは記述されていない
が、２次多項式の場合には係数を特定するための情報と
して一つの値ａａが関数パラメータに記述される。な
お、図２５の例では、２次の係数が用いられているが、
例えば、二次曲線上のｆａ，ｆｂ以外の１点など、他の
値を用いることもできる。Function IDs 3911 and 3916 included in function specification information 3910 and 3915, function parameter 391
Numerals 2 and 3917 represent the order of the polynomial spline function and information for specifying its coefficient, respectively. In FIG.
Examples of these are shown below. Here, ta and tb are times of continuous nodes, f (t) is a spline function in a section of [ta, tb], and fa and fb are coordinates of the nodes at times ta and tb. When using a first-order polynomial, information on only nodes is sufficient, so no function parameters are described. In the case of a second-order polynomial, one value aa is described in the function parameter as information for specifying coefficients. You. In the example of FIG. 25, a second-order coefficient is used.
For example, other values such as one point other than fa and fb on the quadratic curve can be used.
【０１６３】本記述方法では、節点の情報と関数パラメ
ータの情報により、図２５の制約条件を用いて全ての区
間におけるスプライン関数が再現できる。In this description method, spline functions in all sections can be reproduced by using the constraint information shown in FIG. 25 based on the node information and the function parameter information.
【０１６４】関数特定情報３９１０、３９１５は、（節
点数−１）に相当する個数のものが存在し、これらは配
列３９１３、３９１８となって記述される。There are a number of function specifying information 3910 and 3915 corresponding to (number of nodes −1), and these are described as arrays 3913 and 3918.
【０１６５】次に、図２６を参照して図２３のデータ記
述例の具体例を用いて本発明によるデータ記述の効果を
説明する。Next, the effect of the data description according to the present invention will be described with reference to FIG. 26 using a specific example of the data description example of FIG.
【０１６６】図２６は単に時刻順に代表点軌跡データを
記述した例（００００）と、図２３に示すような本発明
のデータ構造を用いて代表点軌跡データを記述した例
（０００３）とを比較したものである。二つの例とも、
複数ある代表点軌跡のうち、一つの代表点の軌跡の記述
部分のみを図示している。００００では、時刻０．０
（秒）から時刻１５．０（秒）までの代表点の座標値が
０.１（秒）おきに記述されている。これらの座標点
は、既に説明した図１における１０１、１０２，１０３
による処理、もしくは図１１におけるＳ１１，Ｓ１２，
Ｓ１３，Ｓ１４による処理で算出されたものである。座
標値にはｘ座標（水平方向）およびｙ座標（垂直方向）
の２つの成分があるため、座標値データ配列００００で
は２×１５１＝３０２の座標値がメモリに格納されてい
る。それぞれの値を４バイトのデータで表現する場合に
は、時刻のデータも合わせると座標値データ配列０００
０の格納には１２０８バイトのメモリ容量を必要とす
る。FIG. 26 compares an example (0000) in which representative point trajectory data is simply described in time order with an example (0003) in which representative point trajectory data is described using the data structure of the present invention as shown in FIG. It was done. In both cases,
Only the description part of the trajectory of one representative point is shown from among a plurality of representative point trajectories. At 0000, the time 0.0
The coordinate values of the representative point from (second) to time 15.0 (second) are described every 0.1 (second). These coordinate points are 101, 102, and 103 in FIG.
, Or S11, S12,
This is calculated by the processing in S13 and S14. Coordinate values include x coordinate (horizontal direction) and y coordinate (vertical direction)
Therefore, in the coordinate value data array 0000, 2 × 151 = 302 coordinate values are stored in the memory. When each value is represented by 4-byte data, the coordinate value data array 000 is also obtained by adding the time data.
Storing 0 requires a memory capacity of 1208 bytes.
【０１６７】本発明では、これらの軌跡データ０００３
は代表点の曲線近似部（図１の１０４）または代表点の
時系列座標を曲線で近似するステップ（図１１のＳ１
５）によりスプライン関数により近似表現される。ここ
で、この処理（図１１のＳ１５）の具体例を流れ図２７
を用いて説明する。In the present invention, these trajectory data 0003
Is a step of approximating the time series coordinates of the representative point with a curve approximating section (104 in FIG. 1) of the representative point (S1 in FIG. 11)
5) is approximated by a spline function. Here, a specific example of this processing (S15 in FIG. 11) is described in a flowchart 27.
This will be described with reference to FIG.
【０１６８】ステップＳ００００は初期化処理であり、
注目する区間の開始フレームのタイムスタンプtsおよび
終端フレームのタイムスタンプteに初期値を代入する。
ここでは、tsには先頭フレームの時刻を、teには先頭の
次のフレームの時刻をセットする。ステップＳ０００１
は近似関数を算出する処理であり、tsからteまでの座標
値を、最小二乗法により時間tの関数f(t)（この例では
２次または１次の多項式）として決定する。ステップＳ
０００２では、tsからteの区間において、ステップＳ０
００１で算出された関数ｆ（ｔ）により算出される座標
値と実際の座標値との絶対値差分を各時刻ごとに求め、
その最大値を変数eにセットする。ステップＳ０００３
の選択処理では、eの値とあらかじめ決められているし
きい値とを比較し、eのほうが大きければステップＳ０
００４を、そうでなければステップＳ０００５を次に行
う。Step S0000 is an initialization process.
An initial value is substituted for the time stamp ts of the start frame and the time stamp te of the end frame of the section of interest.
Here, the time of the first frame is set in ts, and the time of the next next frame is set in te. Step S0001
Is a process of calculating an approximate function, and determines the coordinate values from ts to te as a function f (t) of time t (a quadratic or linear polynomial in this example) by the least squares method. Step S
0002, in the section from ts to te, step S0
The absolute value difference between the coordinate value calculated by the function f (t) calculated in step 001 and the actual coordinate value is obtained for each time,
The maximum value is set in the variable e. Step S0003
In the selection process, the value of e is compared with a predetermined threshold value.
004, otherwise step S0005 is performed next.
【０１６９】ステップＳ０００４では、時刻tsのフレー
ムから時刻teのフレームの直前のフレームまでの区間に
対して最小二乗法で算出された近似関数を登録し、tsに
時刻teのフレームの直前のフレームにつけられているタ
イムスタンプをセットする。このステップＳ０００４に
より、例えば図２６における０００１の関数x=2.1t2-1
2.6t+118.9 (0≦t≦2)が登録される。0≦t≦2は関数の
有効時間区間であり、近似関数が算出された際のtsから
teの区間がこれに相当する。この時間区間も関数と併せ
て登録される。In step S0004, an approximation function calculated by the least squares method is registered for the section from the frame at time ts to the frame immediately before the frame at time te, and the ts is added to the frame immediately before the frame at time te. Set the current time stamp. By this step S0004, for example, the function x = 2.1t 2 −1 of 0001 in FIG. 26
2.6t + 118.9 (0 ≦ t ≦ 2) is registered. 0 ≦ t ≦ 2 is the effective time interval of the function, and is calculated from ts when the approximate function is calculated.
The section of te corresponds to this. This time section is also registered together with the function.
【０１７０】ステップＳ０００５はteの更新処理であ
り、時刻teのフレームの次フレームに付与されたタイム
スタンプにteの値を更新する。ステップＳ０００６は終
了判定処理であり、teが処理すべき範囲を超えているか
どうかを判定し、超えていなければステップＳ０００１
からの処理を繰り返し、超えていればステップＳ０００
７の最終処理に進む。ステップＳ０００７は最後の近似
関数を登録する処理である。例えば、図２６における０
００１の最後の関数x=0.2t2-4.4t+106.5 (10.5≦t≦15)
はこのステップで登録された関数である。Step S0005 is a process of updating te, in which the value of te is updated to the time stamp added to the frame following the frame at time te. Step S0006 is an end determination process, in which it is determined whether or not te exceeds a range to be processed.
Is repeated, and if it exceeds, step S000
The process proceeds to the final processing of No. 7. Step S0007 is a process of registering the last approximation function. For example, in FIG.
Last function of 001 x = 0.2t 2 -4.4t + 106.5 (10.5 ≦ t ≦ 15)
Is the function registered in this step.
【０１７１】以上の処理により近似関数の算出が終わる
と、所定の記述フォーマットに従ってこれらの近似関数
データが記録される。図２６の０００３は図２３の記述
フォーマットを用いている（図示しているのは図２３の
節点時刻配列３９０４、節点Ｘ配列３９０６、節点Ｙ配
列３９０８、一次関数フラグＸ３９０９、関数特定情報
Ｘ配列３９１３内の関数ＩＤ３９１１、関数パラメータ
３９１２、一次関数フラグＹ３９１３、関数特定情報Ｙ
配列３９１８内の関数ＩＤ３９１６、関数パラメータ３
９１７の一部である）。例えば、０００１の最初の関数
x=2.1t2-12.6t+118.9 (0≦t≦2)は、両端の節点時刻と
して0.0と2.0が記録される。また、これらの時刻におけ
るＸ座標値である118.9と102.1が記録される。さらに、
２次多項式であることを表す関数ＩＤとして２が、ま
た、t2の係数2.1を特定するための関数パラメータとし
て4.2がそれぞれ記録される。関数パラメータとt2の係
数との関係は図２５の通りである。この記述フォーマッ
トでは、１次多項式の場合には多項式の有効時間区間の
両端の座標値だけが記録され、２次多項式の場合には２
次係数の２倍の値も併せて記録される。When the calculation of the approximate function is completed by the above processing, the approximate function data is recorded according to a predetermined description format. 26 uses the description format of FIG. 23 (shown in FIG. 23 is the node time array 3904, the node X array 3906, the node Y array 3908, the primary function flag X3909, and the function specifying information X array 3913. , Function ID 3911, function parameter 3912, primary function flag Y3913, function identification information Y
Function ID 3916 in function array 3918, function parameter 3
917). For example, the first function of 0001
For x = 2.1t 2 -12.6t + 118.9 (0 ≦ t ≦ 2), 0.0 and 2.0 are recorded as the node times at both ends. Also, X coordinate values 118.9 and 102.1 at these times are recorded. further,
2 is recorded as a function ID representing a second-order polynomial, and 4.2 is recorded as a function parameter for specifying a coefficient 2.1 of t 2 . The relationship between the function parameter and the coefficient of t 2 is as shown in FIG. In this description format, in the case of a first-order polynomial, only the coordinate values at both ends of the effective time section of the polynomial are recorded, and in the case of a second-order polynomial, 2
The value of twice the next coefficient is also recorded.
【０１７２】データ記述０００３では、実数に４バイ
ト、一次関数フラグに１ビット、関数ＩＤに２ビットを
費やすとすると、わずか５７バイトのデータ容量しか必
要としない。これは先に計算したデータ記述００００に
必要となるデータ容量１２０８バイトよりもかなり少な
い値である。In the data description 0003, assuming that 4 bytes are used for the real number, 1 bit for the primary function flag, and 2 bits for the function ID, only 57 bytes of data capacity is required. This is a value significantly smaller than the data capacity 1208 bytes required for the previously described data description 0000.
【０１７３】本発明により、このようなデータ容量の削
減が可能である理由は、自然界の物体の動きは通常滑ら
かであるという特徴を利用しているからである。すなわ
ち、物体内の特徴点の位置データ列は少々の誤差を許容
することにより多項式でまとめて表現することが可能で
あり、この多項式を特定するパラメータだけを記録する
ことで全ての座標値を記録するよりも大幅にメモリ容量
を節約できる。The reason that the data capacity can be reduced by the present invention is that the feature that the movement of an object in the natural world is normally smooth is used. That is, the position data sequence of the feature points in the object can be collectively expressed by a polynomial by allowing a small error, and all the coordinate values are recorded by recording only the parameters that specify the polynomial. You can save a lot of memory space.
【０１７４】なお、物体領域データ全体としては図２６
の０００３に記述されている以外に、図２３にある図形
種ＩＤ、代表点数、節点数、他の代表点軌跡を表す関数
データなどが必要である。The entire object area data is shown in FIG.
23, the graphic type ID, the number of representative points, the number of nodes, and function data representing other representative point trajectories shown in FIG. 23 are required.
【０１７５】次に、図５に示すように映像中の物体の領
域データに物体の関連情報（あるいは関連情報へのポイ
ンタ）が併記的に記録されている場合に、表示画面上で
物体を指示することによりその物体の関連情報を表示さ
せる方法について説明を行う。図２８は関連情報表示処
理を計算機上でソフトウェアにより実現させる際の処理
の流れを表す流れ図である。ただし図２８では、映像の
再生中に表示されている映像内をマウスカーソル等のポ
インティングデバイスを用いて指示された際の処理につ
いて説明している。Next, as shown in FIG. 5, when the related information of the object (or a pointer to the related information) is recorded together with the area data of the object in the video, the object is designated on the display screen. Then, a method of displaying related information of the object will be described. FIG. 28 is a flowchart showing the flow of processing when the related information display processing is realized by software on a computer. However, FIG. 28 illustrates a process when an instruction is given using a pointing device such as a mouse cursor in an image displayed during image reproduction.
【０１７６】ステップＳ７０００では、ポインティング
デバイスにより指示された画面上の座標が、映像中の画
像のどこに相当するかを計算する。これは、ポインティ
ングされた座標と表示されている画像の位置座標とから
簡単に算出できる。さらに、指示された瞬間に再生を行
っていた映像のタイムスタンプを取得する。In step S7000, it is calculated where the coordinates on the screen designated by the pointing device correspond to the image in the video. This can be easily calculated from the pointed coordinates and the position coordinates of the displayed image. Further, a time stamp of the video being reproduced at the designated moment is obtained.
【０１７７】ステップＳ７００１では記録されている物
体の領域データから物体が指示されたフレーム時刻にお
いて映像中に存在している物体のみを選択する。これ
は、領域データにおける先頭フレーム時刻（もしくは番
号）および末尾フレーム時刻（もしくは番号）を参照す
ることにより容易に実行できる。例えば、図２６の例で
は、物体の存在時刻は節点時刻の始めの0.0から最後の1
5.0までと判断できるため、この範囲以外の時刻に指示
が行われた場合には処理対象とならない。このように、
本発明の記述方法によれば、記録されているデータの一
部のみを参照することでその物体を処理対象とするか否
かが判断できるため、処理を効率的に行うことが可能で
ある。以下、物体が指示された時刻は1.0であり、図２
６のデータ０００３が処理対象として選ばれているもの
として説明を進める。In step S7001, only the object existing in the video at the designated frame time is selected from the recorded area data of the object. This can be easily performed by referring to the first frame time (or number) and the last frame time (or number) in the area data. For example, in the example of FIG. 26, the existence time of the object is 0.0 from the beginning of the node time to the last 1
Since it can be determined to be up to 5.0, if an instruction is issued at a time outside this range, it will not be processed. in this way,
According to the description method of the present invention, it is possible to determine whether or not the object is to be processed by referring to only a part of the recorded data, so that the processing can be performed efficiently. Hereinafter, the time when the object is designated is 1.0, and FIG.
The description proceeds assuming that data 0003 of No. 6 is selected as a processing target.
【０１７８】ステップＳ７００２では物体の領域データ
から取り出したスプライン関数データを用いて、物体が
指示された際の表示フレーム時刻における近似図形の代
表点の座標を算出する。例えば、図２６のデータ０００
３では、Ｘ座標の算出には時刻0.0から2.0までの区間の
近似関数であるx=2.1t2-12.6t+118.9にt=1.0を代入して
108.4と算出される。Ｙ座標や他の代表点の座標値も同
様に算出される。図形種として楕円を、その代表点とし
て図４で説明されるように二つの焦点Ｆ、Ｇと一つの楕
円上の点Ｈを用いている場合には、これらＦ，Ｇ，Ｈの
座標が算出される。In step S7002, using the spline function data extracted from the area data of the object, the coordinates of the representative point of the approximate figure at the display frame time when the object is specified are calculated. For example, data 000 in FIG.
In 3, the calculation of the X coordinate is performed by substituting t = 1.0 into x = 2.1t 2 -12.6t + 118.9 which is an approximate function of the section from time 0.0 to time 2.0.
It is calculated as 108.4. The Y coordinate and the coordinate values of other representative points are calculated in the same manner. When an ellipse is used as a graphic type and two focal points F and G and a point H on one ellipse are used as the representative points as described in FIG. 4, the coordinates of these F, G and H are calculated. Is done.
【０１７９】ステップＳ７００３ではポインティングデ
バイスにより指示された座標が、物体の内部かどうかを
判定する。この処理は、例えば以下のように行われる。
まず、Ｅ（Ｐ，Ｑ）により点Ｐと点Ｑのユークリッド距
離を表すことにする。ポインティングデバイスにより指
示された座標Ｐが楕円内部である場合にはＥ（Ｆ、Ｐ）
＋Ｅ（Ｇ、Ｐ）≦Ｅ（Ｆ，Ｈ）＋Ｅ（Ｇ，Ｈ）が成り立
つ。楕円外部である場合には逆にＥ（Ｆ、Ｐ）＋Ｅ
（Ｇ、Ｐ）＞Ｅ（Ｆ，Ｈ）＋Ｅ（Ｇ，Ｈ）となる。これ
らのうちのどちらの不等式が成り立つかにより、指示さ
れた点が物体内部か外部かを判定することができる。も
しも物体内部であると判定された場合には、次のステッ
プで関連情報の表示を行う。In step S7003, it is determined whether the coordinates specified by the pointing device are inside the object. This process is performed, for example, as follows.
First, the Euclidean distance between the points P and Q is represented by E (P, Q). E (F, P) when the coordinate P specified by the pointing device is inside the ellipse
+ E (G, P) ≦ E (F, H) + E (G, H) holds. Conversely, if it is outside the ellipse, E (F, P) + E
(G, P)> E (F, H) + E (G, H). It is possible to determine whether the designated point is inside or outside the object, depending on which of these inequalities holds. If it is determined that it is inside the object, related information is displayed in the next step.
【０１８０】ステップＳ７００４では、記述されている
データに含まれている関連情報へのポインタを参照し、
関連情報の表示を行う。関連情報が静止画である場合に
は静止画を表示し、また動画像である場合には再生を開
始し、ドキュメントである場合にはドキュメントの表示
を行い、ホームページである場合にはブラウザを用いて
ホームページを表示するなど、関連情報に適した処理を
行う。また、関連情報としてプログラムが指定されてい
るような場合にはそのプログラムを実行したり、またそ
の他スクリプトなどで処理の手順が指定されている場合
にはその所定の動作を行う。In step S7004, reference is made to a pointer to related information included in the described data, and
Display related information. If the related information is a still image, a still image is displayed, if it is a moving image, playback is started, if it is a document, the document is displayed, and if it is a homepage, a browser is used. Performs processing appropriate for the related information, such as displaying a homepage by using When a program is specified as the related information, the program is executed, and when a processing procedure is specified by a script or the like, the predetermined operation is performed.
【０１８１】ステップＳ７００５は分岐処理であり、他
の物体領域記述データのうち、指示されたフレーム時刻
において存在する物体があるかどうかを判定し、存在し
ている場合にはその物体を対象にステップＳ７００１へ
処理を進め、一つも存在しない場合には処理終了とな
る。Step S7005 is a branching process in which it is determined whether or not there is an object existing at the designated frame time among other object region description data. The process advances to step S7001, and if no one exists, the process ends.
【０１８２】なお、上記では、多項式の最高次数を２次
として説明したが、もちろん、多項式の最高次数を３次
以上とすることも可能である。In the above description, the highest order of the polynomial is described as being second order. However, it is needless to say that the highest order of the polynomial may be third order or higher.
【０１８３】次に、映像データや物体領域データの提供
方法について説明する。Next, a method for providing video data and object area data will be described.
【０１８４】本実施形態の処理により作成された物体領
域データがユーザの用に供される場合には、作成者側か
らユーザ側に何らかの方法で物体領域データを提供する
必要がある。この提供の方法としても以下に例示するよ
うに種々の形態が考えられる。When the object area data created by the processing of the present embodiment is provided for the user, it is necessary for the creator to provide the object area data to the user in some way. Various forms of this providing method can be considered as exemplified below.
【０１８５】（１）映像データとその物体領域データと
その関連情報とを１つ（または複数の）記録媒体に記録
して同時に提供する形態 （２）映像データとその物体領域データとを１つ（また
は複数の）記録媒体に記録して同時に提供するが、関連
情報は別途提供するかもしくは提供しない（後者は例え
ば提供しなくてもユーザがネットワーク経由等で別途取
得できる場合）形態 （３）映像データを単独で提供し、別途、物体領域デー
タと関連情報とを１つ（または複数の）記録媒体に記録
して同時に提供する形態 （４）映像データ、物体領域データ、関連情報を別々に
提供する形態 上記は主に記録媒体により提供する場合であるが、その
他にも、一部または全部を通信媒体で提供する形態も考
えられる。(1) A form in which video data, its object area data and its related information are recorded on one (or more) recording medium and provided simultaneously (2) One form of video data and its object area data (3) The related information is provided separately or is not provided (although the latter can be obtained separately via a network without providing it, for example), although the information is recorded on (or a plurality of) recording media and provided at the same time. A form in which video data is provided independently, and object area data and related information are separately recorded on one (or more) recording media and provided simultaneously. (4) Video data, object area data, and related information are separately provided. Form of Providing The above is mainly a case of providing by a recording medium, but other forms in which a part or the whole is provided by a communication medium are also conceivable.
【０１８６】また、上記において、ユーザ側で関連情報
を追加する場合も考えられる。[0186] In the above description, the user may add related information.
【０１８７】もちろん、映像データの提供を受けたユー
ザ側でその物体領域データを作成する場合も考えられ
る。また、ユーザ側で映像データ、物体領域データ、関
連情報のすべてを作成する場合も考えられる。Of course, there is a case where the user who receives the video data creates the object area data. It is also conceivable that the user creates all of the video data, object area data, and related information.
【０１８８】（第２の実施形態）第１の実施形態では映
像データから映像中の物体の領域を近似する図形の代表
点を抽出し、物体領域データの生成を行ったが、第２の
実施形態は、映像中の物体領域中の特徴点を抽出し、物
体領域データを生成するようにしたものである。(Second Embodiment) In the first embodiment, a representative point of a graphic approximating an area of an object in a video is extracted from video data to generate object area data. In the mode, feature points in an object region in a video are extracted, and object region data is generated.
【０１８９】本実施形態では、第１の実施形態と相違す
る点を中心に説明する。In the present embodiment, the points different from the first embodiment will be mainly described.
【０１９０】図２９に、本実施形態に係る物体領域デー
タ生成装置の構成例を示す。図２９に示されるように、
本物体領域データ生成装置は、映像データ記憶部２３
０、特徴点抽出部２３３、特徴点の曲線近似部２３４、
関連情報記憶部２３５、領域データ記憶部２３６を備え
ている。FIG. 29 shows a configuration example of the object area data generating apparatus according to the present embodiment. As shown in FIG.
The present object area data generation device includes a video data storage unit 23
0, a feature point extraction unit 233, a feature point curve approximation unit 234,
A related information storage unit 235 and an area data storage unit 236 are provided.
【０１９１】図２９において、映像データ記憶部２３０
は第１の実施形態の映像データ記憶部１００と、関連情
報記憶部２３５の第１の実施形態の関連情報記憶部１０
５と、領域データ記憶部２３６は第１の実施形態の領域
データ記憶部１０６とそれぞれ同じ機能を持つものであ
る。In FIG. 29, video data storage section 230
Are the video data storage unit 100 of the first embodiment and the related information storage unit 10 of the first embodiment of the related information storage unit 235.
5 and the area data storage unit 236 have the same functions as the area data storage unit 106 of the first embodiment.
【０１９２】特徴点抽出部２３３は、映像中の物体領域
から特徴的な点を１つ以上取り出す。特徴点としては、
種々のものが考えられるが、例えば、物体の角（例え
ば、Ｇｒａｙ−ｌｅｖｅｌ ｃｏｒｎｅｒ ｄｅｔｅｃ
ｔｉｏｎ，Ｌ．Ｋｉｔｃｈｅｎａｎｄ Ａ．Ｒｏｓｅｎ
ｆｅｌｄ，Ｐａｔｔｅｒｎ ＲｅｃｏｇｎｉｔｉｏｎＬ
ｅｔｔｅｒｓ，Ｎｏ．１，ｐｐ．９５−１０２，１９８
２による方法など）、物体の重心などが考えられる。The feature point extracting section 233 extracts one or more feature points from the object region in the video. As a feature point,
Although various things can be considered, for example, the corner of an object (for example, Gray-level corner detec)
tion, L .; Kitchenand A. Rosen
field, Pattern Recognition L
eters, No. 1, pp. 95-102,198
2) and the center of gravity of the object.
【０１９３】特徴点の曲線近似部（以下、特徴点曲線近
似部）２３４は、基本的には第１の実施形態における代
表点曲線近似部１０４と同様の機能を持つ。すなわち、
特徴点抽出部２３３で抽出された特徴点の位置を時系列
で曲線に近似する。この近似曲線は、Ｘ座標、Ｙ座標ご
とにフレーム番号ｆもしくは映像に付与されているタイ
ムスタンプｔの関数として表現され、直線近似やスプラ
イン曲線による近似などで曲線に近似される。近似後の
データの記録方法は第１の実施形態と同様である。The characteristic point curve approximation unit (hereinafter, characteristic point curve approximation unit) 234 has basically the same function as the representative point curve approximation unit 104 in the first embodiment. That is,
The positions of the feature points extracted by the feature point extraction unit 233 are approximated to a curve in a time series. This approximate curve is expressed as a function of the frame number f or the time stamp t given to the video for each X coordinate and Y coordinate, and is approximated to a curve by linear approximation, spline curve approximation, or the like. The method of recording the data after approximation is the same as in the first embodiment.
【０１９４】また、本実施形態における物体領域データ
は基本的には第１の実施形態の物体領域データ（図５
等）と同様である。ただし、近似図形数のフィールドは
不要である。また、「近似図形データ」が「特徴点デー
タ」となる。The object area data in the present embodiment is basically the object area data in the first embodiment (FIG. 5).
Etc.). However, the field of the number of approximate figures is not required. The “approximate figure data” becomes the “feature point data”.
【０１９５】物体領域データの中の特徴点データも基本
的には第１の実施形態の近似図形データ（図６等）と同
様である。ただし、「代表点数」が「特徴点数」とな
り、「代表点軌跡データ」が「特徴点軌跡データ」とな
る。また、図形種ＩＤは不要である。The feature point data in the object area data is basically the same as the approximate figure data (FIG. 6, etc.) of the first embodiment. However, the “representative point number” is “feature point number”, and the “representative point locus data” is “feature point locus data”. Further, the graphic type ID is unnecessary.
【０１９６】特徴点データの中の特徴点軌跡データは第
１の実施形態の代表点軌跡データ（図７等）と同様であ
る。The feature point locus data in the feature point data is the same as the representative point locus data (FIG. 7 and the like) of the first embodiment.
【０１９７】図３０に本実施形態の物体領域データ生成
装置の処理の流れの一例を表したフローチャートを示
す。全体的な流れとしては第１の実施形態と同様で、ス
テップＳ２１では図１１のステップＳ１１と同様に１フ
レーム分の映像データを取り出し、図１１のステップＳ
１２〜Ｓ１４の部分を注目している物体の特徴点の抽出
ステップＳ２２とし、図１１のステップＳ１５の連続す
るフレームにおける物体領域の代表点列の位置の曲線近
似を連続するフレームにおける近似図形の特徴点列の位
置の曲線近似を行なうステップＳ２３とし、図１１のス
テップＳ１６、Ｓ１７と同様のステップＳ２４、Ｓ２５
を設けたたものである。FIG. 30 is a flowchart showing an example of the processing flow of the object region data generating device of the present embodiment. The overall flow is the same as that of the first embodiment. In step S21, video data for one frame is extracted as in step S11 of FIG.
Steps S12 to S14 are the feature point extraction step S22 of the object of interest, and the curve approximation of the position of the representative point sequence of the object area in the continuous frame in step S15 in FIG. Step S23 for approximating the curve of the position of the point sequence is performed, and steps S24 and S25 similar to steps S16 and S17 in FIG.
Is provided.
【０１９８】もちろん、本実施形態もソフトウェアによ
っても実現可能である。Of course, this embodiment can also be realized by software.
【０１９９】以上のように本実施形態では、映像中の物
体の領域を、その特徴点の時系列的な軌跡（フレーム番
号あるいはタイムスタンプを変数とする特徴点の座標の
軌跡）を近似した曲線のパラメータとして記述すること
ができる。As described above, in the present embodiment, the area of the object in the video is represented by a curve that approximates the trajectory of the feature point in time series (the trajectory of the coordinates of the feature point using the frame number or the time stamp as a variable). Parameter.
【０２００】本実施形態によれば、映像中の物体の領域
を関数のパラメータのみによって表現できるため、デー
タ量が少なく、ハンドリングの容易な物体領域データを
生成することができる。また、特徴点の抽出や、近似曲
線のパラメータの生成も容易に行うことができる。According to this embodiment, since the region of the object in the video can be expressed only by the parameters of the function, it is possible to generate the object region data with a small data amount and easy handling. Further, extraction of feature points and generation of parameters of an approximate curve can be easily performed.
【０２０１】また、本実施形態によれば、ユーザにより
指定された任意の座標が物体の領域を指示しているか否
かを極めて簡単に判定することができる。さらに、これ
によって、ユーザによる映像中の動く物体の指示をより
容易にすることができる。Further, according to the present embodiment, it can be extremely easily determined whether or not any coordinates designated by the user indicate the area of the object. Furthermore, this makes it easier for the user to specify a moving object in the video.
【０２０２】ところで、第１の実施形態の物体の領域の
近似図形の代表点をもとにした物体領域データと、第２
の実施形態の物体の領域の特徴点をもとにした物体領域
データとを混在して使用可能とすることもできる。By the way, the object area data based on the representative point of the approximate figure of the object area of the first embodiment and the second area
The object region data based on the feature points of the region of the object according to the embodiment can be used in a mixed manner.
【０２０３】この場合には、例えば、物体領域データの
フォーマットとしては第１の実施形態のものに、物体の
領域の近似図形の代表点をもとにしたものかあるいは物
体の領域の特徴点をもとにしたものかを識別するフラグ
を設ければよい。あるいは、第１の実施形態の物体領域
データのフォーマットにおいて、該フラグを設けるので
はなく、例えば、図形種ＩＤが特定の値のときに、物体
の領域の特徴点をもとにしたものであることを示すもの
とし、それ以外のときに、物体の領域の近似図形の代表
点をもとにしたものであることを示すものとしてもよ
い。In this case, for example, the format of the object area data is the same as that of the first embodiment, and the format based on the representative point of the approximate figure of the object area or the feature point of the object area is used. What is necessary is just to provide a flag for identifying whether or not it is based on. Alternatively, in the format of the object area data according to the first embodiment, instead of providing the flag, for example, when the graphic type ID is a specific value, it is based on the feature point of the area of the object. In other cases, it may be indicated based on the representative point of the approximate figure of the object area.
【０２０４】さて、これまでは、物体領域データの生成
について説明してきたが、以下では、このようにして生
成された物体領域データに付加する関連情報と、その関
連情報に基づいて行う処理について説明する。[0204] So far, the generation of the object area data has been described. Hereinafter, the related information to be added to the thus generated object area data and the processing performed based on the related information will be described. I do.
【０２０５】（第３の実施形態）関連情報に基づいて行
う処理としては、種々のものが考えられるが、本実施形
態では、映像コンテンツ内の物体に関連情報として利用
制御情報を付与し、該制御情報に基づいてコンテンツ利
用制御を行う場合を例にとって説明する。(Third Embodiment) Various processes can be considered as a process performed based on related information. In the present embodiment, usage control information is added as related information to an object in video content, and A case where content usage control is performed based on control information will be described as an example.
【０２０６】図３１に、物体領域データに付加する関連
情報（利用制御情報）３０１の一例を示す。FIG. 31 shows an example of related information (use control information) 301 added to the object area data.
【０２０７】この制御情報は例えば商用コンテンツやハ
イパーリンク・コンテンツなどの物体領域の映像データ
の利用を管理するためのものであり、このように物体領
域に関する知的所有権に関係する情報が関連情報となり
うる。This control information is for managing the use of the video data of the object area such as commercial contents and hyperlink contents, and the information related to the intellectual property right relating to the object area is related information. It can be.
【０２０８】物体領域名３０２は、物体の名前を示すデ
ータである。物体が映画などに登場する人物である場合
は、役名や俳優の名前を特定する。The object area name 302 is data indicating the name of the object. When the object is a person appearing in a movie or the like, the name of the role or the name of the actor is specified.
【０２０９】著作権情報３０３は、物体の著作権者など
の著作権に関わる情報を示すデータである。例えば、一
つの映像コンテンツ中に複数の著作権者による物体が含
まれる場合に、個々のオブジェクトに対して、著作権情
報を記述する。[0209] The copyright information 303 is data indicating information related to copyright such as the copyright holder of the object. For example, when one video content includes objects by a plurality of copyright holders, copyright information is described for each object.
【０２１０】コピー許可情報３０４は、物体を近似する
図形に含まれる範囲の映像情報を切り出して、再利用す
ることを許可するか否かを示すデータである。[0210] The copy permission information 304 is data indicating whether or not video information in a range included in a figure approximating an object is cut out and reused is permitted.
【０２１１】フットマーク３０５は、物体が編集された
日時や閲覧された日時などを示すデータである。アニメ
ーションや複数のストリームから物体を切り出して、貼
り付けた合成映像など、一つの映像に含まれる物体の編
集された日時が異なる場合にこれを識別するために用い
られる。[0211] The footmark 305 is data indicating the date and time when the object was edited or browsed. This is used to identify an object included in one video such as an animation or a composite video obtained by cutting out and pasting an object from a plurality of streams when the date and time of editing is different.
【０２１２】関連情報のＵＲＬ３０６は、ハイパーリン
ク等を用いて、物体の関連情報を表示するときに参照す
べきデータをＵＲＬによって表現した関連情報へのポイ
ンタである。[0212] The related information URL 306 is a pointer to related information that represents data to be referred to when displaying related information of an object using a hyperlink or the like.
【０２１３】アクセス制限情報３０７は、物体ごとに視
聴やハイパーリンクによるジャンプの許可／不許可の情
報や許可条件を設定するためのデータである。この情報
に基づいて、例えば、物体ごとに有料／無料を設定した
り、視聴を許可する年齢を制限する。また、有料コンテ
ンツのプレビュー時に物体領域を隠蔽して表示してもよ
い。The access restriction information 307 is data for setting permission / non-permission information and permission conditions for viewing or jumping by a hyperlink for each object. Based on this information, for example, pay / free is set for each object, and the age at which viewing is permitted is restricted. Also, the object area may be hidden and displayed when the paid content is previewed.
【０２１４】課金情報３０８は、物体ごとの課金情報を
示すデータである。例えば、著作権者が異なる物体が混
在する場合に、各物体が存在した時間に応じて課金し、
著作権者に所定の代金を支払うために用いる。The billing information 308 is data indicating billing information for each object. For example, when objects with different copyright holders are mixed, billing is performed according to the time when each object exists,
Used to pay a predetermined fee to the copyright holder.
【０２１５】注釈データ３０９は、物体の関連情報や操
作の手助けとなるデータである。例えば、ポインタによ
り物体を指し示したときにその物体の関連情報をポップ
アップなどにより表示したり、その物体を選択すること
によって、より詳細な関連情報を表示できることを視聴
者に通知するために用いられる。[0215] The annotation data 309 is data that assists in the related information and operation of the object. For example, when a pointer points to an object, the related information of the object is displayed by a pop-up or the like, or is used to notify a viewer that more detailed related information can be displayed by selecting the object.
【０２１６】なお、関連情報として上記項目の全てを用
いてもよいし、その一部を用いてもよい。もちろん、上
記項目の全部または一部に他の関連情報を併用してもよ
い。It should be noted that all of the above items may be used as related information, or a part thereof may be used. Of course, other related information may be used in combination with all or a part of the above items.
【０２１７】なお、上記項目は映像コンテンツの提供側
において物体領域データに付加する（関連付ける）もの
とする（もちろん、ユーザ側で付加あるいは追加するよ
うにしてもよい）。また、該付加あるいは関連付けは、
マニュアル操作で行なってもよいし、自動的に行なって
もよい。The above items are added (associated) to the object area data on the video content providing side (of course, the user may add or add them). The addition or association is
It may be performed manually or automatically.
【０２１８】以下、物体が指定された際の各関連情報の
機能を説明する。Hereinafter, the function of each related information when an object is specified will be described.
【０２１９】物体領域名 図３２を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、指定された物体の物体領域
名を表示するフローについて説明する。Referring to FIG. 32, a flow of displaying an object area name of a specified object based on object area data including related information read from a recording medium will be described.
【０２２０】ステップＳ３２１では、物体領域名を表示
したい物体をマウスなどで指定する。In step S321, an object whose object area name is to be displayed is designated with a mouse or the like.
【０２２１】ステップＳ３２２では、物体領域名表示を
行う物体を含む現フレームの物体領域データが存在する
かを探索する。そのためには、現フレームのフレーム番
号が物体領域データ内の先頭フレームから最終フレーム
までの間に存在する物体領域データを探索すればよい。In step S322, a search is made as to whether there is any object area data of the current frame including the object whose object area name is to be displayed. For this purpose, object area data in which the frame number of the current frame exists between the first frame and the last frame in the object area data may be searched.
【０２２２】ステップＳ３２３では、ステップＳ３２２
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３２２の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In the step S323, in the step S322
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S322), the process ends.
【０２２３】該当する物体領域データが存在する場合
は、ステップＳ３２４に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If the corresponding object area data exists, the flow advances to step S324 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２２４】ステップＳ３２５では、ステップＳ３２４
で算出した物体領域内にステップＳ３２１で入力された
点が含まれるかを判定する。含まれない場合はステップ
Ｓ３２３に戻り、次の物体領域データの処理を行う。In step S325, step S324
It is determined whether or not the point input in step S321 is included in the object area calculated in. If not included, the process returns to step S323 to process the next object area data.
【０２２５】物体領域内にステップＳ３２１で入力され
た点が含まれる場合は、ステップＳ３２６に進み、該当
する物体領域データの対応データ領域に格納されている
関連情報に、物体領域名が含まれるかを調べる。物体領
域名が存在する場合は、ステップＳ３２７に進み物体領
域名を表示する。存在しない場合、また、表示を行った
後はステップＳ３２３に戻り、次の物体領域データの処
理を行う。If the object area includes the point input in step S321, the flow advances to step S326 to determine whether the related information stored in the corresponding data area of the corresponding object area data includes the object area name. Find out. If the object area name exists, the process proceeds to step S327, where the object area name is displayed. If not, and after the display, the process returns to step S323 to process the next object area data.
【０２２６】なお、物体領域の算出及び入力された点が
物体領域内に含まれるか否かの判定、及び物体領域名の
表示は図２８で説明したステップに従って行なってもよ
い。The calculation of the object area, the determination as to whether or not the input point is included in the object area, and the display of the object area name may be performed according to the steps described with reference to FIG.
【０２２７】著作権情報 図３３を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、指定された物体の著作権情
報を表示するフローについて説明する。Copyright Information Referring to FIG. 33, a flow of displaying copyright information of a specified object based on object area data including related information read from a recording medium will be described.
【０２２８】ステップＳ３３1では、著作権情報を表示
したい物体をマウスなどで指定する。At step S331, an object for which copyright information is to be displayed is designated with a mouse or the like.
【０２２９】ステップＳ３３２では、著作権表示を行う
物体を含む現フレームの物体領域データが存在するかを
探索する。そのためには、現フレームのフレーム番号が
物体領域データ内の先頭フレームから最終フレームまで
の間に存在する物体領域データを探索すればよい。In step S332, a search is made as to whether there is any object region data of the current frame including the object to be displayed with the copyright. For this purpose, object area data in which the frame number of the current frame exists between the first frame and the last frame in the object area data may be searched.
【０２３０】ステップＳ３３３では、ステップＳ３３２
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３３２の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In step S333, step S332 is executed.
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S332), the process ends.
【０２３１】該当する物体領域データが存在する場合
は、ステップＳ３３４に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If the corresponding object area data exists, the flow advances to step S334 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２３２】ステップＳ３３５では、ステップＳ４で算
出した物体領域内にステップＳ３３１で入力された点が
含まれるかを判定する。含まれない場合はステップＳ３
３３に戻り、次の物体領域データの処理を行う。In step S335, it is determined whether the object area calculated in step S4 includes the point input in step S331. If not included, step S3
Returning to 33, the next object area data is processed.
【０２３３】物体領域内にステップＳ３３１で入力され
た点が含まれる場合は、ステップＳ３３６に進み、該当
する物体領域データの対応データ領域に格納されている
関連情報に、著作権情報が含まれるかを調べる。著作権
情報が存在する場合は、ステップＳ３３７に進み著作権
を表示する。存在しない場合、また、表示を行った後は
ステップＳ３３３に戻り、次の物体領域データの処理を
行う。If the point input in step S331 is included in the object area, the flow advances to step S336 to determine whether copyright information is included in the related information stored in the corresponding data area of the corresponding object area data. Find out. If there is copyright information, the flow advances to step S337 to display the copyright. If not, or after the display, the process returns to step S333 to process the next object area data.
【０２３４】なお、物体領域の算出及び入力された点が
物体領域内に含まれるか否かの判定、及び著作権の表示
は図２８で説明したステップに従って行なってもよい。The calculation of the object area, the determination as to whether or not the input point is included in the object area, and the display of the copyright may be performed in accordance with the steps described with reference to FIG.
【０２３５】コピー許可判定 図３４を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、物体のコピーを許可・不許
可を判定するフローについて説明する。Copy Permission Judgment A flow for judging permission / non-permission of copying an object based on object area data including related information read from a recording medium will be described with reference to FIG.
【０２３６】ステップＳ３４1では、コピー許可判定を
行う物体を含む現フレームの物体領域データが存在する
かを探索する。そのためには、現フレームのフレーム番
号が物体領域データ内の先頭フレームから最終フレーム
までの間に存在する物体領域データを探索すればよい。In step S341, a search is made to see if there is any object area data of the current frame including the object for which copy permission is to be determined. For this purpose, object area data in which the frame number of the current frame exists between the first frame and the last frame in the object area data may be searched.
【０２３７】ステップＳ３４２では、ステップＳ３４１
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３４１の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In step S342, step S341
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S341), the process ends.
【０２３８】該当する物体領域データが存在する場合
は、ステップＳ３４３に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If the corresponding object area data exists, the flow advances to step S343 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２３９】ステップＳ３４４では、ステップＳ３４３
で算出した物体領域がコピーを行おうとしている注目領
域内に含まれるかを判定する。含まれない場合はステッ
プＳ３４２に戻り、次の物体領域データの処理を行う。In the step S344, the step S343 is executed.
It is determined whether or not the object area calculated in is included in the attention area to be copied. If not included, the process returns to step S342 to process the next object area data.
【０２４０】なお、物体領域の算出及び物体領域が注目
領域に含まれるか否かの判定は図２８で説明したステッ
プに従って行なってもよい。The calculation of the object area and the determination whether the object area is included in the attention area may be performed according to the steps described with reference to FIG.
【０２４１】物体領域が注目領域内に含まれる場合は、
ステップＳ３４５に進み、該当する物体領域データの対
応データ領域に格納されている関連情報に、コピー許可
情報が含まれるかを調べる。コピー許可情報が存在する
場合は、ステップＳ３４６に進みコピー許可情報に基づ
いて判定を行った後、ステップＳ３４２に戻る。存在し
ない場合はステップＳ２に戻り、次の物体領域データの
処理を行う。When the object area is included in the attention area,
Proceeding to step S345, it is checked whether or not the relevant information stored in the corresponding data area of the corresponding object area data includes copy permission information. If the copy permission information exists, the process proceeds to step S346 to make a determination based on the copy permission information, and then returns to step S342. If not, the process returns to step S2 to process the next object area data.
【０２４２】フットマーク 図３５を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、指定された物体のフットマ
ークを表示するフローについて説明する。Referring to FIG. 35, a flow for displaying a footmark of a specified object based on object area data including related information read from a recording medium will be described.
【０２４３】ステップＳ３５1では、フットマークを表
示したい物体をマウスなどで指定する。In step S351, an object for which a footmark is to be displayed is designated with a mouse or the like.
【０２４４】ステップＳ３５２では、フットマーク表示
を行う物体を含んだ現フレームの物体領域データが存在
するかを探索する。そのためには、現フレームのフレー
ム番号が物体領域データ内の先頭フレームから最終フレ
ームまでの間に存在するかを調べればよい。In step S352, a search is made to see if there is any object area data of the current frame including the object whose footmark is to be displayed. For this purpose, it is sufficient to check whether the frame number of the current frame exists between the first frame and the last frame in the object area data.
【０２４５】ステップＳ３５３では、ステップＳ３５２
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３５２の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In the step S353, the step S352 is executed.
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S352), the process ends.
【０２４６】該当する物体領域データが存在する場合
は、ステップＳ３５４に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If the corresponding object area data exists, the flow advances to step S354 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２４７】ステップＳ３５５では、ステップＳ３５４
で算出した物体領域内にステップＳ３５１で入力された
点が含まれるかを判定する。含まれない場合はステップ
Ｓ３５３に戻り、次の物体領域データの処理を行う。In step S355, step S354
It is determined whether the point input in step S351 is included in the object area calculated in step S351. If not included, the process returns to step S353, and the next object region data is processed.
【０２４８】物体領域内にステップＳ３５１で入力され
た点が含まれる場合は、ステップＳ３５６に進み、該当
する物体領域データの対応データ領域に格納されている
関連情報に、フットマークが含まれるかを調べる。フッ
トマークが存在する場合は、ステップＳ３５７に進みフ
ットマークを表示する。存在しない場合、また、表示を
行った後はステップＳ３５３に戻り、次の物体領域デー
タの処理を行う。If the point input in step S351 is included in the object area, the flow advances to step S356 to determine whether or not the relevant information stored in the corresponding data area of the corresponding object area data includes a footmark. Find out. If there is a footmark, the flow advances to step S357 to display the footmark. If not, or after displaying, the process returns to step S353 to process the next object area data.
【０２４９】なお、物体領域の算出及び入力された点が
物体領域内に含まれるか否かの判定、及びフットマーク
の表示は図２８で説明したステップに従って行なっても
よい。The calculation of the object area, the determination as to whether or not the input point is included in the object area, and the display of the footmark may be performed according to the steps described with reference to FIG.
【０２５０】関連情報ＵＲＬ 図３６を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、指定された物体の関連情報
ＵＲＬで示される関連データを表示するフローについて
説明する。Referring to FIG. 36, a flow of displaying related data indicated by related information URL of a specified object based on object area data including related information read from a recording medium will be described.
【０２５１】ステップＳ３６1では、関連データを表示
したい物体をマウスなどで指定する。In step S361, an object for which related data is to be displayed is designated with a mouse or the like.
【０２５２】ステップＳ３６２では、関連データ表示を
行う物体を含んだ現フレームの物体領域データが存在す
るかを探索する。そのためには、現フレームのフレーム
番号が物体領域データ内の先頭フレームから最終フレー
ムまでの間に存在するかを調べればよい。In step S362, a search is made to see if there is any object area data of the current frame including the object whose related data is to be displayed. For this purpose, it is sufficient to check whether the frame number of the current frame exists between the first frame and the last frame in the object area data.
【０２５３】ステップＳ３６３では、ステップＳ３６２
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３６２の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In the step S363, the step S362
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S362), the process ends.
【０２５４】該当する物体領域データが存在する場合
は、ステップＳ３６４に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If the corresponding object area data exists, the flow advances to step S364 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２５５】ステップＳ３６５では、ステップＳ３６４
で算出した物体領域内にステップＳ３６１で入力された
点が含まれるかを判定する。含まれない場合はステップ
Ｓ３６３に戻り、次の物体領域データの処理を行う。In step S365, step S364
It is determined whether the point input in step S361 is included in the object region calculated in step S361. If not included, the process returns to step S363 to process the next object area data.
【０２５６】物体領域内にステップＳ３６１で入力され
た点が含まれる場合は、ステップＳ３６６に進み、該当
する物体領域データの対応データ領域に格納されている
関連情報に、関連情報ＵＲＬが含まれるかを調べる。関
連情報ＵＲＬが存在する場合は、ステップＳ３６７に進
みブラウザなどと用いて、関連情報ＵＲＬによって示さ
れる関連データを表示する。存在しない場合、また、表
示を行った後はステップＳ３６３に戻り、次の物体領域
データの処理を行う。If the object area includes the point input in step S361, the flow advances to step S366 to determine whether the relevant information stored in the corresponding data area of the corresponding object area data includes the relevant information URL. Find out. If the related information URL exists, the process advances to step S367 to display the related data indicated by the related information URL using a browser or the like. If not, or after the display, the process returns to step S363 to process the next object area data.
【０２５７】なお、物体領域の算出及び入力された点が
物体領域内に含まれるか否かの判定、及びＵＲＬによっ
て示される関連情報の表示は図２８で説明したステップ
に従って行なってもよい。The calculation of the object area, the determination as to whether or not the input point is included in the object area, and the display of the related information indicated by the URL may be performed in accordance with the steps described with reference to FIG.
【０２５８】アクセス制限判定 図３７を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、物体のアクセスを許可・不
許可を判定するフローについて説明する。ここでいう、
アクセスとは物体や関連データの表示や編集のことであ
る。Access Restriction Determination Referring to FIG. 37, a flow of determining permission / non-permission of an object access based on object area data including related information read from a recording medium will be described. Here,
Access is the display and editing of objects and related data.
【０２５９】ステップＳ３７1では、アクセス許可判定
を行う物体を含む現フレームの物体領域データが存在す
るかを探索する。そのためには、現フレームのフレーム
番号が物体領域データ内の先頭フレームから最終フレー
ムまでの間に存在する物体領域データを探索すればよ
い。In step S371, it is searched whether there is any object area data of the current frame including the object whose access permission is to be determined. For this purpose, object area data in which the frame number of the current frame exists between the first frame and the last frame in the object area data may be searched.
【０２６０】ステップＳ３７２では、ステップＳ３７１
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３７１の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In the step S372, the process proceeds to the step S371.
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S371), the process ends.
【０２６１】該当する物体領域データが存在する場合
は、ステップＳ３７３に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If there is the corresponding object area data, the flow advances to step S373 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２６２】ステップＳ３７４では、ステップＳ３７３
で算出した物体領域が表示や編集を行おうとしている注
目領域内に含まれるかを判定する。注目領域はユーザに
よって選択された画面の一部であってもよいし、画面全
体であってもよい。含まれない場合はステップＳ３７２
に戻り、次の物体領域データの処理を行う。In the step S374, the step S373
It is determined whether or not the object area calculated in is included in the attention area to be displayed or edited. The attention area may be a part of the screen selected by the user, or may be the entire screen. If not included, step S372
Then, the next object area data is processed.
【０２６３】なお、物体領域の算出及び物体領域が注目
領域内に含まれるか否かの判定は図２８で説明したステ
ップに従って行なってもよい。The calculation of the object area and the determination whether the object area is included in the attention area may be performed according to the steps described with reference to FIG.
【０２６４】物体領域が注目領域内に含まれる場合は、
ステップＳ３７５に進み、該当する物体領域データの対
応データ領域に格納されている関連情報に、アクセス許
可情報が含まれるかを調べる。アクセス許可情報が存在
する場合は、ステップＳ３７６に進み、予め入力されて
いるユーザ情報とアクセス許可情報を比較して判定を行
った後、ステップＳ３７２に戻る。存在しない場合はス
テップＳ３７２に戻り、次の物体領域データの処理を行
う。When the object area is included in the attention area,
Proceeding to step S375, it is determined whether or not the related information stored in the corresponding data area of the corresponding object area data includes the access permission information. If the access permission information exists, the process proceeds to step S376, compares the previously input user information with the access permission information, makes a determination, and then returns to step S372. If not, the process returns to step S372 to process the next object area data.
【０２６５】課金 図３８を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、課金を行うフローについて
説明する。With reference to FIG. 38, a flow of charging based on the object area data including the related information read from the recording medium will be described.
【０２６６】ステップＳ３８1では、現フレームに対応
した物体領域データが存在するかを探索する。そのため
には、現フレームのフレーム番号が物体領域データ内の
先頭フレームから最終フレームまでの間に存在する物体
領域データを探索すればよい。In step S381, it is searched whether or not the object area data corresponding to the current frame exists. For this purpose, object area data in which the frame number of the current frame exists between the first frame and the last frame in the object area data may be searched.
【０２６７】ステップＳ３８２では、ステップＳ１で探
索を行った結果、現フレームの物体領域データを含むと
判定された該当物体領域データに、まだ、未処理のもの
が存在するかを判定する。未処理の物体領域データがな
い場合（ステップＳ３８１の探索の結果、該当する物体
領域データがなかった場合を含む）、処理を終了する。In step S382, as a result of the search in step S1, it is determined whether or not there is any unprocessed object area data determined to include the object area data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S381), the process ends.
【０２６８】該当する物体領域データが存在する場合
は、ステップＳ３８３に進み，該当する物体領域データ
の対応データ領域に格納されている関連情報に、課金情
報が含まれるかを調べる。含まれない場合はステップＳ
３８２に戻り、次の物体領域データの処理を行う。If the corresponding object area data exists, the flow advances to step S383 to check whether billing information is included in the related information stored in the corresponding data area of the corresponding object area data. If not included, step S
Returning to 382, the next object area data is processed.
【０２６９】課金情報が含まれる場合はステップＳ３８
４に進み、該当物体領域が既に課金情報に基づく課金を
されているかを判定する。課金をされていない場合はス
テップＳ３８５に進み、該当物体に対する課金処理を行
った後、ステップＳ３８２に戻る。既に課金されている
場合はステップＳ３８２に戻り、次の物体領域データの
処理を行う。If billing information is included, step S38
Proceeding to 4, it is determined whether the corresponding object area has already been charged based on the charging information. If the charging has not been performed, the process proceeds to step S385, and after performing the charging process for the corresponding object, the process returns to step S382. If the fee has already been charged, the process returns to step S382 to process the next object area data.
【０２７０】注釈 図３９を用いて、記録媒体から読取った関連情報を含む
物体領域データに基づいて、指定された物体の注釈を表
示するフローについて説明する。Annotation Referring to FIG. 39, a flow of displaying an annotation of a specified object based on object region data including related information read from a recording medium will be described.
【０２７１】ステップＳ３９1では、注釈を表示したい
物体をマウスなどで指定する。In step S391, an object for which an annotation is to be displayed is designated with a mouse or the like.
【０２７２】ステップＳ３９２では、注釈表示を行う物
体を含んだ現フレームの物体領域データが存在するかを
探索する。そのためには、現フレームのフレーム番号が
物体領域データ内の先頭フレームから最終フレームまで
の間に存在するかを調べればよい。In step S392, a search is made to see if there is any object area data of the current frame including the object for which an annotation is to be displayed. For this purpose, it is sufficient to check whether the frame number of the current frame exists between the first frame and the last frame in the object area data.
【０２７３】ステップＳ３９３では、ステップＳ３９２
で探索を行った結果、現フレームの物体領域データを含
むと判定された該当物体領域データに、まだ、未処理の
ものが存在するかを判定する。未処理の物体領域データ
がない場合（ステップＳ３９２の探索の結果、該当する
物体領域データがなかった場合を含む）、処理を終了す
る。In step S393, step S392
As a result of the search, it is determined whether or not there is any unprocessed object region data determined to include the object region data of the current frame. If there is no unprocessed object region data (including a case where there is no corresponding object region data as a result of the search in step S392), the process ends.
【０２７４】該当する物体領域データが存在する場合
は、ステップＳ３９４に進み，該当する物体領域データ
の近似図形データより、物体領域を算出する。物体領域
データに複数の物体が存在する場合はその全てを算出す
る。If there is the corresponding object area data, the flow advances to step S394 to calculate the object area from the approximate figure data of the corresponding object area data. If a plurality of objects exist in the object region data, all of them are calculated.
【０２７５】ステップＳ３９５では、ステップＳ３９４
で算出した物体領域内にステップＳ３９１で入力された
点が含まれるかを判定する。含まれない場合はステップ
Ｓ３９３に戻り、次の物体領域データの処理を行う。In the step S395, the step S394
It is determined whether or not the point input in step S391 is included in the object region calculated in. If not included, the process returns to step S393 to process the next object area data.
【０２７６】物体領域内にステップＳ３９１で入力され
た点が含まれる場合は、ステップＳ３９６に進み、該当
する物体領域データの対応データ領域に格納されている
関連情報に、注釈が含まれるかを調べる。注釈が存在す
る場合は、ステップＳ３９７に進み注釈を表示する。存
在しない場合、また、表示を行った後はステップＳ３９
３に戻り、次の物体領域データの処理を行う。If the point input in step S391 is included in the object area, the flow advances to step S396 to check whether the relevant information stored in the corresponding data area of the corresponding object area data includes an annotation. . If an annotation exists, the flow advances to step S397 to display the annotation. If not, or after displaying, step S39
Returning to step 3, the next object area data is processed.
【０２７７】なお、物体領域の算出及び入力された点が
物体領域内に含まれるか否かの判定、及び注釈の表示は
図２８で説明したステップに従って行なってもよい。The calculation of the object area, the determination as to whether or not the input point is included in the object area, and the display of the annotation may be performed according to the steps described with reference to FIG.
【０２７８】効果 以上説明したように、図３１に示すような複数フレーム
に渡る物体領域データに物体領域名、著作権情報、コピ
ー許可情報、フットマーク、関連情報ＵＲＬ、アクセス
制限情報、課金情報、注釈などの関連情報を付加するに
あたり、物体領域データの先頭フレームから、最終フレ
ームの複数のフレームに渡る物体領域に対して、１つの
関連情報を記述するのみでよいため、データ量を削減す
ることができる。Effects As described above, the object area data over a plurality of frames as shown in FIG. 31 include the object area name, copyright information, copy permission information, footmark, related information URL, access restriction information, charging information, When adding related information such as annotations, only one piece of related information needs to be described for an object region extending from the first frame of the object region data to a plurality of frames of the last frame. Can be.
【０２７９】次に、図４０に、本実施形態に係る、物体
ごとのコンテンツ利用制御機能を有する情報処理装置の
構成例を示す。図４０に示されるように、本情報処理装
置は、条件判定部１００１、処理部１００２、表示部１
００３を備えている。Next, FIG. 40 shows a configuration example of an information processing apparatus having a content use control function for each object according to the present embodiment. As shown in FIG. 40, the present information processing apparatus includes a condition determination unit 1001, a processing unit 1002, a display unit 1
003.
【０２８０】映像データ１０００、物体領域データ１０
０６、関連情報１００５は、無線もしくは通信の通信媒
体あるいはＤＶＤ等の記憶媒体によって提供されるもの
とする。なお、図４０においては、それらのデータを受
信する機能あるいは蓄積する機能あるいは読み出す機能
は適宜設けるものとして省略してある。Image data 1000, object area data 10
06, the related information 1005 is provided by a wireless or communication communication medium or a storage medium such as a DVD. In FIG. 40, the functions of receiving, storing, and reading the data are omitted as appropriate.
【０２８１】ユーザ情報１００４は、予めメモリ（図示
せず）に登録されたユーザに関する情報（例えば、ユー
ザＩＤ、パスワード、契約情報、年齢など）、およびま
たは必要に応じて例えばＧＵＩなどを介してユーザから
入力された情報である。The user information 1004 includes information (for example, user ID, password, contract information, age, etc.) relating to the user registered in a memory (not shown) in advance, and / or a user via a GUI if necessary. This is the information input from.
【０２８２】条件判定部１００１は、関連情報として与
えられた制御情報およびユーザ情報に基づいて、物体領
域のデータに関わる映像データの利用の可否の判定（ア
クセスできるか、表示できるか、編集できるか、など）
を行う。The condition determining unit 1001 determines whether video data relating to the data in the object area can be used (whether the video data can be accessed, displayed, or edited) based on the control information and the user information given as the related information. ,Such)
I do.
【０２８３】処理部１００２は、条件判定部１００１に
よる判定結果に従って、必要に応じて映像データを処理
（例えば、アクセスが拒絶されているとき、物体領域の
場所に、モザイクをかけたり塗りつぶしたりして表示を
行うことにより、アクセス権のないものが映像を無断で
見たり編集できなくする）した上で、これを表示部１０
０３あるいは記憶装置（図示せず）あるいはネットワー
ク（図示せず）に出力する。The processing unit 1002 processes the video data as necessary according to the result of the determination by the condition determining unit 1001 (for example, when access is denied, mosaicing or painting is applied to the location of the object area) By performing the display, those without access right cannot view or edit the image without permission), and then display the image on the display unit 10.
03 or a storage device (not shown) or a network (not shown).
【０２８４】表示部１００３は、映像データを液晶表示
装置もしくはＣＲＴ等に表示するためのものである。[0284] The display portion 1003 is for displaying video data on a liquid crystal display device or a CRT.
【０２８５】なお、必要に応じて、物体領域データに付
加された関連情報による物体ごとの検索機能や、関連情
報へのポインタが指示された場合に関連情報を（記録媒
体やネットワークを介したサーバ等から）取得し呈示す
る機能や、指示された関連情報がプログラムや計算機の
動作を記述したデータである場合にそれを実行する機能
を設けてもよい。[0285] If necessary, a search function for each object based on the related information added to the object area data or the related information when a pointer to the related information is indicated (a server via a recording medium or a network). And the like, and a function to execute when the related information instructed is data describing the operation of a program or a computer.
【０２８６】もちろん、本実施形態もソフトウェアによ
っても実現可能である。Of course, the present embodiment can also be realized by software.
【０２８７】以下では、物体領域データに付加した関連
情報（制御情報）を用いた物体ごとのコンテンツ利用制
御の幾つかの例を示す。In the following, some examples of content use control for each object using related information (control information) added to the object area data will be described.
【０２８８】なお、以下では、説明を分かり易くするた
めに、ある１つの条件にのみ着目し、他には条件がない
ものとして説明する（複数種類の条件判定が必要な場合
には、それぞれの条件判定とその結果に応じた処理が行
われる）。In the following, in order to make the description easy to understand, attention is paid to only one certain condition, and the description is made assuming that there are no other conditions. Condition determination and processing according to the result are performed).
【０２８９】まず、アクセス制限情報を用いた物体表示
に関するアクセス制御の例を示す。First, an example of access control relating to object display using access restriction information will be described.
【０２９０】図４１に、この場合の処理手順の一例を示
す。FIG. 41 shows an example of the processing procedure in this case.
【０２９１】映像データ中に対象物体がなければ映像を
無条件で表示するが、対象物体が存在する際には、アク
セスの可否を判定するために、アクセス制限情報が付さ
れた物体領域データから該当するアクセス制限情報を抽
出する（ステップＳ４０１）。また、視聴者の年齢や有
料コンテンツの支払などのユーザ情報を取得する（ステ
ップＳ４０２）。なお、対象物体が存在することは、例
えばフレーム番号をもとに物体領域データを参照するこ
とにより知ることができる。また、ユーザ情報の入力
は、物体にアクセスするたびに入力してもよいし、予め
入力されている情報を利用してもよい。If there is no target object in the video data, the video is displayed unconditionally. However, when the target object is present, in order to determine whether or not access is possible, the object area data to which access restriction information has been added is used. The corresponding access restriction information is extracted (step S401). Further, user information such as the age of the viewer and the payment of the paid content is obtained (step S402). The presence of the target object can be known by referring to the object area data based on the frame number, for example. Further, the input of the user information may be performed every time the object is accessed, or information input in advance may be used.
【０２９２】ここで、入力されたユーザ情報がアクセス
制限情報により示されるアクセス許可条件を満たすか否
かを判定し（ステップＳ４０３）、満たすと判断された
場合には、映像を通常どおり表示する（ステップＳ４０
４）。図４２の（ａ）に表示の一例を示す。図４２の
（ａ）において、１６０１と１６０２が物体（オブジェ
クト）である。Here, it is determined whether or not the input user information satisfies the access permission condition indicated by the access restriction information (step S403). If it is determined that the condition is satisfied, the video is displayed as usual (step S403). Step S40
4). FIG. 42A shows an example of the display. In FIG. 42A, 1601 and 1602 are objects.
【０２９３】一方、ステップＳ４０３において、ユーザ
情報がアクセス許可条件を満足しないと判断された場合
には、物体の隠蔽処理によって、物体領域を塗り潰した
り、モザイク処理を施すなど、物体を不可視状態として
から（ステップＳ４０５）、映像を表示する（ステップ
Ｓ４０４）。図４２の（ｂ），４２（ｃ）に表示の一例
を示す。図４２の（ｂ）において、１６０３は物体の近
似楕円を隠蔽処理した例である。図４２の（ｃ）におい
て、１６０４は物体を多角形近似した図形を隠蔽処理し
た例である。On the other hand, if it is determined in step S403 that the user information does not satisfy the access permission condition, the object is hidden from view, for example, by filling the object area or performing mosaic processing by concealing the object. (Step S405), an image is displayed (Step S404). 42 (b) and 42 (c) show examples of the display. In FIG. 42B, reference numeral 1603 denotes an example in which the approximate ellipse of the object is concealed. In FIG. 42C, reference numeral 1604 denotes an example in which a figure obtained by approximating an object with a polygon is concealed.
【０２９４】もちろん、条件と判定には種々の形態が可
能である。例えば、アクセス制限情報が「有料」を示
し、ユーザ情報が当該物体について「有料の場合、視聴
しない」を示している場合には、条件を満たさないと判
定されるようにしてもよい。また、例えば、アクセス制
限情報が「１９歳以上」を示し、ユーザ情報が「２０
歳」を示している場合には、条件を満たすと判定される
ようにしてもよい。また、複数の条件を組み合わせて使
用することも可能である。Of course, various conditions and determinations are possible. For example, when the access restriction information indicates “pay” and the user information indicates “do not view if pay” for the object, it may be determined that the condition is not satisfied. Further, for example, the access restriction information indicates “19 years or older” and the user information indicates “20
If "age" is indicated, it may be determined that the condition is satisfied. Also, a plurality of conditions can be used in combination.
【０２９５】なお、上記では、ユーザ情報がアクセス許
可条件を満足しないと判断された場合には、物体の隠蔽
処理を行ったが、表示できない物体を含む画面全体を表
示しないようにすることもできる。あるいは、当該コン
テンツ全体の利用を不可とすることもできる。また、物
体だけを非表示にする、画面全体を非表示にするか、あ
るいはコンテンツの利用を不可とするかなどの処理を、
制御情報およびまたはユーザ情報に基づいて選択するよ
うにすることも可能である。In the above description, when it is determined that the user information does not satisfy the access permission condition, the object is concealed, but the entire screen including the object that cannot be displayed may not be displayed. . Alternatively, the use of the entire content can be prohibited. In addition, processing such as hiding only the object, hiding the entire screen, or disabling the use of the content,
It is also possible to make a selection based on control information and / or user information.
【０２９６】また、ここではアクセス制限情報を用いて
物体表示に関するアクセス制御を行う例を示したが、著
作権情報、課金情報あるいはその他の形態の情報を用い
て、あるいはそのような情報を複数組み合わせて利用し
て、制御を行うことも可能である。もちろん、この点
は、以下の各々の例でも同様である。[0296] Also, an example in which access control relating to object display is performed using the access restriction information has been described. However, copyright information, billing information or other forms of information are used, or a plurality of such information are combined. It can also be used to control. Of course, this point is the same in each of the following examples.
【０２９７】次に、アクセス制限情報を用いたハイパー
リンクに関するアクセス制御の例を示す。Next, an example of access control for a hyperlink using the access restriction information will be described.
【０２９８】図４３に、この場合の処理手順の一例を示
す。FIG. 43 shows an example of the processing procedure in this case.
【０２９９】映像データの表示中に、視聴者が例えばＧ
ＵＩなどによって関連情報を表示したい物体を選択する
と、アクセス制限情報が付加された物体領域データから
該当するアクセス制限情報を抽出する（ステップＳ５０
１）。また、視聴者の年齢や有料コンテンツの支払など
のユーザ情報を取得する（ステップＳ５０２）。ユーザ
情報の入力は物体にアクセスするたびに入力してもよい
し、予め入力されている情報を利用してもよい。During display of video data, the viewer
When an object whose related information is to be displayed is selected by a UI or the like, the corresponding access restriction information is extracted from the object area data to which the access restriction information is added (step S50).
1). Further, user information such as the age of the viewer and the payment of the paid content is obtained (step S502). The user information may be input every time the object is accessed, or may be input in advance.
【０３００】ここで、入力されたユーザ情報がアクセス
制限情報により示されるアクセス許可条件を満たすか否
かを判定し（ステップＳ５０３）、満たすと判断された
場合には、物体の関連情報（例えば、注釈データ）を表
示する（ステップＳ５０４）。Here, it is determined whether or not the input user information satisfies the access permission condition indicated by the access restriction information (step S503). If it is determined that the input user information satisfies the access permission condition, the relevant information of the object (for example, Annotation data) is displayed (step S504).
【０３０１】一方、ステップＳ５０３において、ユーザ
情報がアクセス許可条件を満足しないと判断された場合
には、ユーザからの入力を無視したり、ユーザ情報がア
クセス許可条件を満たしていないため、アクセス不許可
であることをメッセージなどによって、視聴者に通知す
る（ステップＳ５０５）。On the other hand, if it is determined in step S503 that the user information does not satisfy the access permission condition, the input from the user is ignored, or the access is not permitted because the user information does not satisfy the access permission condition. Is notified to the viewer by a message or the like (step S505).
【０３０２】図４４に、関連情報として映像中の物体の
説明が付与されている場合の一例を示す。映像１６１０
の再生中にポインティングデバイス１６１２により物体
１６１１が指示された場合、関連情報１６１３が表示さ
れる。FIG. 44 shows an example of a case where a description of an object in a video is given as related information. Video 1610
When the pointing device 1612 instructs the object 1611 during the reproduction of, related information 1613 is displayed.
【０３０３】なお、第１の実施形態の物体領域データを
用いる場合、ポインティングデバイス１６１２により指
示された座標が物体１６１１を近似した図形の領域内部
であるか否かを判断することにより、物体１６１１が指
示されたか否かを容易に判断可能であり、第２の実施形
態の物体領域データを用いる場合、ポインティングデバ
イス１６１２により指示された座標と物体１６１１の特
徴点との距離が基準以下であるか否かを判断することに
より、物体１６１１が指示されたか否かを容易に判断可
能である。When the object area data of the first embodiment is used, the object 1611 is determined by determining whether or not the coordinates specified by the pointing device 1612 are inside the area of the figure approximating the object 1611. It is possible to easily determine whether or not it has been instructed, and when using the object area data of the second embodiment, whether or not the distance between the coordinates instructed by the pointing device 1612 and the feature point of the object 1611 is equal to or less than the reference By determining whether or not the object 1611 has been instructed, it is possible to easily determine whether or not the object 1611 has been instructed.
【０３０４】次に、コピー許可情報が付随した物体を含
む映像の複製を制限する方法の例を示す。Next, an example of a method of restricting copying of a video including an object accompanied by copy permission information will be described.
【０３０５】図４５に、この場合の処理手順の一例を示
す。FIG. 45 shows an example of the processing procedure in this case.
【０３０６】ステップＳ６０１において、ユーザが例え
ばＧＵＩなどを介して複製したい領域または物体を選択
する。このときの領域は、画面内の一部の空間的な領域
であってもよいし、フレーム番号やタイムコードによっ
て決められる時間的な領域であってもよい。In step S601, the user selects an area or an object to be copied via, for example, a GUI. The area at this time may be a partial spatial area in the screen or a temporal area determined by a frame number or a time code.
【０３０７】ステップＳ６０２において、物体が選択さ
れたと判定された場合は、その物体の領域が選択領域と
なり、ステップＳ６０３は省略される。[0307] If it is determined in step S602 that an object has been selected, the area of the object is selected, and step S603 is omitted.
【０３０８】一方、物体でない一般的な領域が選択され
た場合は、ステップＳ６０３において領域内に物体が含
まれていないかを判定する。物体が含まれていないと判
定された場合には、ステップＳ６０４へ進み、通常の複
製処理が行われる。On the other hand, if a general area that is not an object is selected, it is determined in step S603 whether an object is not included in the area. If it is determined that no object is included, the process proceeds to step S604, where a normal duplication process is performed.
【０３０９】ステップＳ６０２において物体が選択され
たと判定された場合またはステップＳ６０３において領
域内に物体が含まれていると判定された場合には、物体
領域データに付加された該当するコピー許可情報を抽出
する処理を行い（ステップＳ６０５）、ステップＳ６０
６において、複製が許可されているかを判定する。If it is determined in step S602 that an object has been selected, or if it is determined in step S603 that an object is included in the area, the corresponding copy permission information added to the object area data is extracted. Is performed (step S605), and step S60 is performed.
At 6, it is determined whether copying is permitted.
【０３１０】複製が許可されている場合には、ステップ
Ｓ６０４へ進み、通常の複製処理が行われる。[0310] If copying is permitted, the flow advances to step S604, and normal copying processing is performed.
【０３１１】許可されていない場合は、ステップＳ６０
７へ進み、複製を中止したり、メッセージを表示して、
複製が許可されていないことをユーザに通知する。If not permitted, step S60
Go to 7 to stop copying or display a message,
Notify users that duplication is not allowed.
【０３１２】なお、フレーム全体をコピーする場合に
は、ステップＳ６０７の処理において、物体領域の塗潰
し、切り抜き、モザイク処理などによって不可視状態に
した後、複製処理を行ってもよい。また、物体領域は時
間と共に変化するので、一般的に複製が許可されない物
体がユーザの選択した領域内に入った場合には、その間
だけ、複製を制限する処理を行えばよい。また、１つの
フレームに複数の物体が存在する場合には、その全ての
物体についてコピーが許可されたときにのみコピー可能
としてもよいし、コピーが許可されなかった物体のみ隠
蔽処理した上でコピー可能とするようにしてもよい。When copying the entire frame, in the process of step S607, the object region may be rendered invisible by painting, clipping, mosaic processing, or the like, and then copying may be performed. In addition, since the object area changes with time, generally, when an object for which copying is not permitted enters an area selected by the user, a process of restricting copying may be performed only during that time. When a plurality of objects are present in one frame, copying may be performed only when copying of all the objects is permitted, or may be performed after concealment processing is performed only on objects for which copying is not permitted. You may make it possible.
【０３１３】また、フレーム全体ではなく、物体の領域
の部分だけをコピー可能としてもよい。[0313] Also, not the entire frame but only the part of the object area may be made copyable.
【０３１４】また、フレーム全体のコピー自体は、禁止
するようにすることも可能である。It is also possible to prohibit the copying of the entire frame itself.
【０３１５】次に、課金情報が付随した物体を含む映像
の処理に関する例を示す。Next, an example regarding processing of a video including an object accompanied by billing information will be described.
【０３１６】図４６に、この場合の処理手順の一例を示
す。FIG. 46 shows an example of the processing procedure in this case.
【０３１７】映像が再生されるとステップＳ７０１へ進
み、画面内に課金情報を持った物体が存在するかを判定
する。[0317] When the video is reproduced, the flow advances to step S701 to determine whether or not an object having billing information exists on the screen.
【０３１８】課金情報を持った物体が存在する場合、課
金情報を抽出し（ステップＳ７０２）、これによって選
られた課金情報を用いて、その物体に対して課金を行う
（ステップＳ７０３）。なお、ある物体があるフレーム
に存在することは、例えばフレーム番号をもとに物体領
域データを参照することにより知ることができる。If there is an object having billing information, billing information is extracted (step S702), and billing is performed on the object using the billing information selected thereby (step S703). Note that the presence of a certain object in a certain frame can be known by referring to the object area data based on the frame number, for example.
【０３１９】一つの物体に対する課金処理が終了すると
ステップＳ７０１へ戻り、画面内の全ての課金情報を持
った物体に対して順次課金処理を繰り返す。When the charging process for one object is completed, the process returns to step S701, and the charging process is sequentially repeated for the objects having all the charging information in the screen.
【０３２０】すべての物体について課金処理が完了する
とステップＳ７０４へ進み、現フレームが映像の最終フ
レームかどうかを判定する。最終フレームでなかった場
合には、ステップＳ７０５へ進み、映像を次フレームへ
進め、再びステップＳ７０１へ戻って課金処理を行う。When the charging process is completed for all the objects, the flow advances to step S704 to determine whether the current frame is the last frame of the video. If it is not the last frame, the process proceeds to step S705, advances the video to the next frame, and returns to step S701 again to perform the billing process.
【０３２１】ステップＳ７０４において、現フレームが
映像の最終フレームであると判定された場合には、処理
を終了する。[0321] If it is determined in step S704 that the current frame is the last frame of the video, the process ends.
【０３２２】（第４の実施形態）次に、関連情報に基づ
いて行う処理の他の例として、本実施形態では、映像中
の物体に関連情報として当該物体の特徴量などの属性情
報を付与し、該属性情報に基づいてオブジェクト検索を
行う場合を例にとって説明する。(Fourth Embodiment) Next, as another example of a process performed based on related information, in the present embodiment, attribute information such as a feature amount of an object in a video is added to the object in the video as related information. Then, a case where an object search is performed based on the attribute information will be described as an example.
【０３２３】図４７に、物体領域データに付加する関連
情報（属性情報）８０１の一例を示す。FIG. 47 shows an example of related information (attribute information) 801 added to the object area data.
【０３２４】この属性情報は例えば制作者側から提供さ
れる映像コンテンツあるいは利用者側で撮影される監視
映像に対する物体ごとの検索にキーとして用いられるた
めのものであり、このように物体領域に関する特徴等に
関係する情報が関連情報となりうる。This attribute information is to be used as a key for searching for video content provided by the creator side or a monitoring video shot by the user for each object, for example. And the like can be related information.
【０３２５】物体領域種別８０２は、例えば“車両”や
“人”など、近似されている物体の種類を示すデータで
ある。The object area type 802 is data indicating the type of an approximated object such as "vehicle" or "person".
【０３２６】識別情報８０３は、例えば“人名”や“車
両のナンバー”、“車種”など、実際の物体を識別する
ためのデータや、物体領域から抽出される物体領域に識
別するために代表される複数の特徴量である。The identification information 803 is represented by data for identifying an actual object such as “person name”, “vehicle number”, and “vehicle type”, or for identifying an object region extracted from the object region. Are a plurality of feature values.
【０３２７】動作内容８０４は、“歩く”や“走る”な
どの物体の動作を示すデータである。[0327] The operation content 804 is data indicating the operation of the object such as "walk" or "run".
【０３２８】なお、関連情報８０１として上記項目の全
てを用いてもよいし、その一部を用いてもよい。もちろ
ん、上記項目の全部または一部に他の関連情報を併用し
てもよい。Note that all or all of the above items may be used as the related information 801. Of course, other related information may be used in combination with all or a part of the above items.
【０３２９】なお、上記項目は映像コンテンツの場合に
は提供側において物体領域データに付加する（関連付け
る）ものとする（もちろん、ユーザ側で付加あるいは追
加するようにしてもよい）。また、該付加あるいは関連
付けは、マニュアル操作で行ってもよいし、自動的に行
ってもよい。また、監視映像の場合には、監視映像の撮
影時に付加するようにしてもよいし、監視映像の解析時
に付加するようにしてもよい。In the case of video content, the above items are added (associated) to the object area data on the providing side (of course, the user may add or add them). Further, the addition or the association may be performed manually or automatically. Further, in the case of a monitoring video, it may be added at the time of capturing the monitoring video, or may be added at the time of analyzing the monitoring video.
【０３３０】次に、図４８に、本実施形態に係る、識別
情報に記述する「物体領域から抽出される物体領域を識
別するために代表される複数の特徴量」を抽出する情報
解析装置の構成例を示す。図４８に示されるように、本
情報解析装置は、特徴解析部１０１１を備えている。Next, FIG. 48 shows an information analyzing apparatus according to the present embodiment for extracting “a plurality of feature amounts represented for identifying an object region extracted from the object region” described in the identification information. An example of the configuration is shown. As shown in FIG. 48, the information analysis device includes a feature analysis unit 1011.
【０３３１】特徴解析部１０１１は、映像データ１００
０および物体領域データ１００６に基づいて、物体領域
のデータを解析し、識別に役立てるための、物体領域を
代表する特徴量を抽出する。時空間的に表現された物体
（オブジェクト）の特徴量としては、キーシェープ、キ
ーテクスチャ、アクティビティ、キーカラー、キーフレ
ームなどがある（特徴量を自動検出する方法については
後述する）。なお、特徴量を手動で与えるようにしても
よい。[0331] The feature analysis unit 1011 stores the video data 100
Based on 0 and the object area data 1006, the data of the object area is analyzed, and a feature quantity representing the object area to be used for identification is extracted. The feature amounts of the object represented in space and time include a key shape, a key texture, an activity, a key color, a key frame, and the like (a method for automatically detecting the feature amount will be described later). In addition, you may make it give a characteristic amount manually.
【０３３２】抽出された特徴量１０１５は、該当する物
体領域データに付加される（対応付けられる）。The extracted feature value 1015 is added (associated) to the corresponding object area data.
【０３３３】次に、図４９に、本実施形態に係る、物体
ごとの検索機能を有する情報処理装置の構成例を示す。
図４９に示されるように、本情報処理装置は、検索部１
０２１、処理部１０２２、表示部１００３を備えてい
る。Next, FIG. 49 shows an example of the configuration of an information processing apparatus having a search function for each object according to the present embodiment.
As shown in FIG. 49, the information processing apparatus includes a search unit 1
21, a processing unit 1022, and a display unit 1003.
【０３３４】映像データ１０００、物体領域データ１０
０６、関連情報１００５は、無線もしくは通信の通信媒
体あるいはＤＶＤ等の記憶媒体を介して入力されるもの
とする。なお、図４９においては、それらのデータを受
信する機能あるいは蓄積する機能あるいは読み出す機能
は適宜設けるものとして省略してある。Video data 1000, object area data 10
06, the related information 1005 is input via a wireless or communication communication medium or a storage medium such as a DVD. In FIG. 49, the functions of receiving, storing, and reading the data are omitted as appropriate.
【０３３５】検索のためのキーデータ１０１４は、例え
ばＧＵＩなどを介してユーザから入力される検索のため
のキーデータ情報である。[0335] The search key data 1014 is key data information for a search input by a user via a GUI, for example.
【０３３６】検索部１０２１は、キーデータと、関連情
報として与えられた属性情報とのマッチングを行い、該
当する物体を検索する。The search section 1021 performs matching between key data and attribute information given as related information, and searches for a corresponding object.
【０３３７】処理部１０２２は、検索部１０２１による
検索結果を受け、これに基づいてユーザに呈示する情報
を作成する。検索結果の呈示には、映像データと物体領
域データを用いて表示することも可能である。例えば、
物体領域が存在するフレーム区間や物体の出現位置を示
す形で表示部１１３に表示させることができる。あるい
は、検索結果を記憶装置（図示せず）あるいはネットワ
ーク（図示せず）に出力することも可能である。The processing unit 1022 receives the search result from the search unit 1021, and creates information to be presented to the user based on the result. The presentation of the search result can be performed using the video data and the object area data. For example,
The display unit 113 can display the frame section in which the object region exists or the appearance position of the object. Alternatively, the search result can be output to a storage device (not shown) or a network (not shown).
【０３３８】表示部１００３は、映像データや検索結果
を液晶表示装置もしくはＣＲＴ等に表示するためのもの
である。The display section 1003 is for displaying video data and search results on a liquid crystal display device or a CRT.
【０３３９】なお、必要に応じて、関連情報へのポイン
タが指示された場合に関連情報を（記録媒体やネットワ
ークを介したサーバ等から）取得し呈示する機能や、指
示された関連情報がプログラムや計算機の動作を記述し
たデータである場合にそれを実行する機能を設けてもよ
い。[0339] If necessary, a function to acquire and present related information (from a recording medium or a server via a network) when a pointer to related information is designated, or the designated related information is stored in a program. A function may be provided to execute data when the data describes the operation of a computer.
【０３４０】もちろん、本実施形態もソフトウェアによ
っても実現可能である。Of course, this embodiment can also be realized by software.
【０３４１】次に、識別情報の特徴量の例について説明
する。Next, an example of the feature amount of the identification information will be described.
【０３４２】時空間的に表現された物体（オブジェク
ト）の特徴量として、キーシェープ、キーテクスチャ、
アクティビティ、キーカラー、キーフレームなどがあ
る。以下、これらを自動で検出する方法を示す。[0342] Key shape, key texture,
There are activities, key colors, key frames, etc. Hereinafter, a method for automatically detecting these will be described.
【０３４３】まず、キーシェープの検出方法について説
明する。First, a key shape detection method will be described.
【０３４４】キーシェープとは、オブジェクトを代表す
る形である。代表するシェープは、複数でも構わない。A key shape is a form representing an object. There may be a plurality of representative shapes.
【０３４５】図５０に、キーシェープを検出する手順の
一例を示す。FIG. 50 shows an example of a procedure for detecting a key shape.
【０３４６】ここでは、キーシェープを検出する方法と
して、（近似前の）物体の領域を用いる。Here, as a method for detecting a key shape, a region of an object (before approximation) is used.
【０３４７】各フレームにおけるオブジェクト領域の面
積と周囲長を求め、Ｓ（ｉ）＝面積／（周囲長＊周囲
長）を求める（ステップＳ１０２）。Ｓ（ｉ）は、形の
複雑度を表す指標である。Ｓ（ｉ）の計算は、該当する
すべてのフレームについて行う（ステップＳ１０１） Ｓ（ｉ）の値が最大およびまたは最小時のフレーム番号
ｉおよびそのシェープの情報Ｓ（ｉ）を格納する（ステ
ップＳ１０３）。The area and perimeter of the object area in each frame are obtained, and S (i) = area / (perimeter * perimeter) is obtained (step S102). S (i) is an index representing the complexity of the shape. The calculation of S (i) is performed for all applicable frames (step S101). The frame number i when the value of S (i) is the maximum and / or the minimum and the information S (i) of its shape are stored (step S103). ).
【０３４８】図５１に、キーシェープの検出する手順の
他の例を示す。この手順は、物体を近似図形等で近似し
た後の、各フレームのオブジェクトの近似領域を用いた
場合の手順の例である。FIG. 51 shows another example of a procedure for detecting a key shape. This procedure is an example of a procedure in a case where an approximate area of an object in each frame is used after an object is approximated by an approximate figure or the like.
【０３４９】Ｓ（ｉ）の計算方法は図５１の近似前の領
域画像を用いる場合と同じであり、図５１との相違は時
空間的に記述した式からフレームｉでの近似されたシェ
ープを取得する手順（ステップＳ１０４）が必要となる
点である。The calculation method of S (i) is the same as the case of using the region image before approximation in FIG. 51. The difference from FIG. 51 is that the approximate shape in frame i is obtained from the equation described in space and time. The point that an acquisition procedure (step S104) is required.
【０３５０】キーシェープの特徴量ｋｅｙ＿ｓｈａｐｅ
＿ｆｅａｔｕｒｅｓは、以下の構造体で表される。Key shape feature amount key_shape
_Features is represented by the following structure.
【０３５１】ｋｅｙ＿ｓｈａｐｅ＿ｎｕｍｂｅｒは、キ
ーシェープの数である。その数だけ、ｋｅｙ＿ｓｈａｐ
ｅの情報（キーシェープ・データ）を含む。ｋｅｙ＿ｓ
ｈａｐｅは、図形の頂点数と図形の座標列（頂点デー
タ）からなる。図形が近似されるまでの場合は、シルエ
ット図形のすべての輪郭座標を表記することになる。[0351] key_shape_number is the number of key shapes. By that number, key_shape
e (key shape data). key_s
The “hape” is composed of the number of vertices of the figure and the coordinate sequence (vertex data) of the figure. Until the figure is approximated, all the outline coordinates of the silhouette figure are described.
【０３５２】 なお、上記構造を模式化したものを図５２に示す。[0352] FIG. 52 schematically shows the above structure.
【０３５３】次に、キーテクスチャの検出方法について
説明する。Next, a method for detecting a key texture will be described.
【０３５４】キーテクスチャとは、オブジェクトを代表
するテクスチャである。A key texture is a texture representing an object.
【０３５５】一つの方法として、キーシェープのフレー
ムにおける、オブジェクトのテクスチャをキーテクスチ
ャ情報として格納する方法がある。One method is to store the texture of an object in a key shape frame as key texture information.
【０３５６】また、これとは別の方法として、図５３の
検出手順例に示すように、各フレームのオブジェクトの
テクスチャの周波数を解析し（ステップＳ１１１，Ｓ１
１２）、周波数のパワーの分散が最大または最小のもの
が、オブジェクトとして最も特徴的なテクスチャの面を
向けていると判断し、そのときのフレーム番号とテクス
チャ情報を格納しておく（ステップＳ１１３）。テクス
チャ情報は、周波数情報でも良いし、もとのオブジェク
トの画像そのものでも良い。また、キーテクスチャは、
複数でも構わない。As another method, as shown in the detection procedure example of FIG. 53, the frequency of the texture of the object of each frame is analyzed (steps S111 and S1).
12) It is determined that the object having the largest or smallest frequency power variance points to the most characteristic texture surface as an object, and the frame number and texture information at that time are stored (step S113). . The texture information may be frequency information or the image of the original object itself. The key texture is
More than one is acceptable.
【０３５７】キーテクスチャの特徴量ｋｅｙ＿ｔｅｘｔ
ｕｒｅ＿ｆｅａｔｕｒｅｓは、以下の構造体で表され
る。The key texture feature amount key_text
ure_features is represented by the following structure.
【０３５８】ｋｅｙ＿ｔｅｘｔｕｒｅ＿ｎｕｍｂｅｒ
は、キーテクスチャの数である。その数だけ、ｋｅｙ＿
ｔｅｘｔｕｒｅの情報（キーテクスチャ・データ）を含
む。ｋｅｙ＿ｔｅｘｔｕｒｅを物体領域の画素値で表し
た例を（Ｃａｓｅ １）に示す。ｐｉｘｅｌ＿ｎｕｍｂ
ｅｒは、物体領域の画素値の数を示す。ｐｉｘｅｌ（画
素データ）は、画素値と座標値を示している。画素値
は、ＲＧＢ等の色の情報などである。物体領域を周波数
解析した場合は、（Ｃａｓｅ ２）のようになる。例え
ば、離散的コサイン変換を行い、周波数の係数をｆｒｅ
ｑの構造体に記憶しておく方法がある。[0358] key_texture_number
Is the number of key textures. Key_
Contains texture information (key texture data). An example in which the key_texture is represented by the pixel value of the object area is shown in (Case 1). pixel_numb
er indicates the number of pixel values in the object area. The pixel (pixel data) indicates a pixel value and a coordinate value. The pixel value is information on a color such as RGB. When the frequency analysis of the object area is performed, the result is as shown in (Case 2). For example, a discrete cosine transform is performed, and the frequency coefficient is
There is a method of storing in the structure of q.
【０３５９】 なお、上記構造を模式化したものをそれぞれ図５４に示
す。[0359] Note that each of the above structures is schematically shown in FIG.
【０３６０】次に、アクティビティについて説明する。Next, the activity will be described.
【０３６１】アクティビティとは、オブジェクトの運動
に関する情報である。従来は、画面全体の動き情報につ
いては利用されていたが、ここでは、オブジェクト自身
に対してアクティビティの情報を計算し付与するものと
する。The activity is information on the movement of the object. Conventionally, motion information of the entire screen has been used. Here, it is assumed that activity information is calculated and given to the object itself.
【０３６２】図５５の検出手順例に示すように、アクテ
ィビティとして、前フレームから計算したフレームのオ
ブジェクトの重心の移動ベクトルのスカラー（大きさ）
の平均値をアクティビティとする（ステップＳ１２１〜
Ｓ１２３）。As shown in the detection procedure example of FIG. 55, as the activity, a scalar (magnitude) of the movement vector of the center of gravity of the object of the frame calculated from the previous frame is used.
Is defined as the activity (steps S121 to S121).
S123).
【０３６３】なお、大きさや形が大きく変化するような
オブジェクトに対しては、ステップＳ１２２の代わり
に、ステップＳ１２２’のように、オブジェクト領域を
近似したの後の近似領域を表す代表点の動きベクトルの
大きさから計算するようにしても良い。For an object whose size or shape changes greatly, instead of step S122, as in step S122 ', the motion vector of the representative point representing the approximate area after approximating the object area is obtained. It may be calculated from the size of.
【０３６４】また、ステップＳ１２２の代わりに、ステ
ップＳ１２２”のように、オブジェクト内の各画素の移
動ベクトルを利用して求めるようにしても良い。[0364] Instead of step S122, the motion vector of each pixel in the object may be used as in step S122 ".
【０３６５】さらに、図５５では、オブジェクトに対し
て一つのアクティビティを求めたが、運動の変化を計算
し、オブジェクトを時間的に分割し、複数のアクティビ
ティを計算し、区間とそのアクテビティの情報を付帯さ
せても良い。Further, in FIG. 55, one activity is obtained for the object. However, a change in movement is calculated, the object is divided in time, a plurality of activities are calculated, and information on a section and its activity is obtained. It may be attached.
【０３６６】アクティビティの特徴量ａｃｔｉｖｉｔｙ
＿ｆｅａｔｕｒｅｓは、以下の構造体で表される。ａｃ
ｔｉｖｉｔｙ＿ｎｕｍｂｅｒは、アクティビティの数で
ある。その数だけ、ａｃｔｉｖｉｔｙの情報（アクティ
ビティ・データ）を含む。ａｃｔｉｖｉｔｙは、物体の
運動情報で、フレームの開始・終了番号と動きの多さを
表すＶａｌｕｅからなる。[0366] Activity feature amount activity
_Features is represented by the following structure. ac
"activity_number" is the number of activities. Activity information (activity data) is included by the number. The activity is the motion information of the object, and includes a start / end number of the frame and a value indicating the amount of motion.
【０３６７】 なお、上記構造を模式化したものを図５６に示す。[0367] FIG. 56 schematically illustrates the above structure.
【０３６８】次に、キーカラーの検出方法について説明
する。Next, a method for detecting a key color will be described.
【０３６９】キーカラーは、オブジェクトを代表する色
情報である。A key color is color information representing an object.
【０３７０】図５７の検出手順例に示すように、各フレ
ームのオブジェクトの色ヒストグラムを計算する。色と
は、オブジェクトの画素値をＨＳＶなどの色空間の値に
変換し、Ｈなどの色相情報を用いる。色空間は、ＨＳＶ
でも良いし、マンセルの色空間でも良い。色相を２５６
色など任意の段階に分割し、色相の度数である色ヒスト
グラムを計算する。オブジェクトの大きさに依存しない
ように、オブジェクトの面積で色ヒストグラムを正規化
する。この色ヒストグラムを各フレームごとに求め、加
算し、全体の色ヒストグラムを作成する（ステップＳ１
３１，Ｓ１３２）。これを、フレーム数で割って正規化
する（ステップＳ１３３）。それをキーカラーの情報と
して格納する。色ヒストグラム全体を格納したが、支配
的な色を上位から複数とって、キーカラーとしても良
い。As shown in the detection procedure example of FIG. 57, the color histogram of the object in each frame is calculated. The color is obtained by converting a pixel value of an object into a value in a color space such as HSV and using hue information such as H. The color space is HSV
However, it may be a Munsell color space. Hue 256
The image is divided into arbitrary stages such as colors, and a color histogram which is a frequency of hue is calculated. The color histogram is normalized by the area of the object so as not to depend on the size of the object. This color histogram is obtained for each frame and added to create an overall color histogram (step S1).
31, S132). This is normalized by dividing by the number of frames (step S133). It is stored as key color information. Although the entire color histogram is stored, a plurality of dominant colors may be taken from the top and used as key colors.
【０３７１】キーカラーの特徴量ｋｅｙ＿ｃｏｌｏｒ＿
ｆｅａｔｕｒｅｓは、以下の構造体で表される。ｋｅｙ
＿ｃｏｌｏｒ＿ｎｕｍｂｅｒは、キーカラーの数であ
る。その数だけ、ｋｅｙ＿ｃｏｌｏｒの情報（キーカラ
ー・データ）を含む。ｋｅｙ−ｃｏｌｏｒは、（ｃａｓ
ｅ １）として色相のヒストグラムのｂｉｎ数ｂｉｎ＿
ｎｕｍｂｅｒと各ｂｉｎの度数を記したものである。
（ｃａｓｅ ２）として、支配的な色ｄｏｍｉｎａｎｔ
を特徴量として示した例である。ｄｏｍｉｎａｎｔｃｏ
ｌｏｒの数ｄｏｍｉｎａｎｔ＿ｎｕｍｂｅｒとその色の
情報が格納される。Key color feature amount key_color_
features is represented by the following structure. key
_Color_number is the number of key colors. The key_color information (key color data) is included by the number. key-color is (cas
e 1) the number of bins bin_ in the hue histogram
Number and frequency of each bin are described.
(Case 2), dominant color dominant
Is an example in which is shown as a feature amount. dominantco
The number of lor_dominant_number and its color information are stored.
【０３７２】 なお、上記構造を模式化したものをそれぞれ図５８に示
す。[0372] Note that each of the above structures is schematically shown in FIG.
【０３７３】次にキーフレームの検出方法について説明
する。Next, a method of detecting a key frame will be described.
【０３７４】キーフレームとは、オブジェクトを代表す
るフレームのことである。A key frame is a frame representing an object.
【０３７５】図５９に示すように、各フレームのオブジ
ェクトの大きさを計算し（ステップＳ１４１，Ｓ１４
２）、オブジェクトの面積が最大の場所をキーフレーム
とする（ステップＳ１４３）。As shown in FIG. 59, the size of the object in each frame is calculated (steps S141 and S14).
2) The location where the area of the object is the largest is set as a key frame (step S143).
【０３７６】なお、キーフレームを、キーカラー、キー
テクスチャ、キーシェープが存在する場所としても良い
し、手動で与えても構わない。The key frame may be a place where a key color, a key texture, and a key shape exist, or may be given manually.
【０３７７】また、パターン認識の技術を用いて（また
は、手動で）オブジェクトが人の顔である場合、できる
だけ正面を向いた場所をオブジェクトのキーフレームと
しても良い。When the object is a person's face using the pattern recognition technique (or manually), a place facing the front as much as possible may be used as a key frame of the object.
【０３７８】なお、キーシェープ、キーテクスチャ、キ
ーカラー、アクティビティ、キーフレーム情報の全ても
しくは一部を識別情報として格納することも可能であ
る。図６０は上記した全ての情報を識別情報として格納
した物体領域データのデータ構造を示す。It is also possible to store all or part of key shape, key texture, key color, activity, and key frame information as identification information. FIG. 60 shows the data structure of the object area data in which all the above information is stored as identification information.
【０３７９】次に、図４９の情報処理装置における映像
中の物体の物体領域データに関連情報として付加された
属性情報を用いた検索について説明する。Next, a search using attribute information added as related information to the object area data of an object in a video in the information processing apparatus of FIG. 49 will be described.
【０３８０】図６１に、この場合の処理手順の一例を示
す。FIG. 61 shows an example of the processing procedure in this case.
【０３８１】まず、ステップＳ１５１において、ユーザ
から検索のためのキーが入力される。First, in step S151, the user inputs a key for search.
【０３８２】なお、本実施形態の特徴量による検索条件
の入力形態には種々の方法が考えられる。そのうちの幾
つかを例示する。Note that various methods are conceivable for the input form of the search condition based on the feature amount in the present embodiment. Some of them are exemplified.
【０３８３】（１）数値（範囲）、レベル値（範囲）な
どを手動で入力する方法 （２）数値等を画面上のメニューから選択する方法 （３）対象とする映像中の物体のうちのいずれかを参照
物体として選択し、使用する属性情報を指定し、該参照
物体の持つ属性情報のうち指定されたものを使用する方
法 （４）対象とする映像とは別に用意した参照物体の映像
データを入力し、使用する属性情報を指定し、該参照物
体の映像データの当該属性情報を求め、これを使用する
方法 （５）上記のうちの任意の複数の組み合わせ また、上記の特徴量のほかにも、他の種類の検索キーを
併用できるようにしてもよい。また、複数の検索キー
を、重み付けをおこなって組み合わせても良いし（例え
ば、各検索キーによる類似度を重みを付けて加算した値
を総合的な評価値とする）、組み合わせ論理を用いて組
み合わせても良い（例えば、２つの検索キーの論理和の
場合に、第１の検索キーによる類似度と第２の検索キー
による類似度の両方が基準値を越えてはじめてマッチン
グしたと判断する）。(1) A method of manually inputting a numerical value (range), a level value (range), and the like (2) A method of selecting a numerical value and the like from a menu on a screen (3) A method of selecting an object in a target video A method of selecting one of the reference objects, specifying attribute information to be used, and using the specified attribute information of the reference object (4) Image of reference object prepared separately from target image A method of inputting data, specifying attribute information to be used, obtaining the attribute information of the video data of the reference object, and using the attribute information. (5) Any combination of any of the above. In addition, other types of search keys may be used together. Further, a plurality of search keys may be combined by weighting (for example, a value obtained by weighting and adding the similarity of each search key to obtain a comprehensive evaluation value), or may be combined using combination logic. (For example, in the case of a logical sum of two search keys, it is determined that matching is performed only when both the similarity using the first search key and the similarity using the second search key exceed the reference value).
【０３８４】図６２に、物体に関連情報（属性情報）と
して付与されたキーワード、物体の出現するフレーム
（範囲）あるいはタイムスタンプ（範囲）、上記の特徴
量（キーシェープ、キーテクスチャ、アクティビティ、
キーカラー）を検索条件として適宜入力可能とした検索
条件入力画面の一例を示す。図６２の例は、複数の項目
が指定された場合にはそれらの論理積で検索するものと
しているが、もちろん様々な論理和や否定など様々な条
件の組み合わせ論理を設定可能としてもよい。また、キ
ーワードと、フレーム等と、特徴量とを選択的にしか指
定できないようにしてもよい。FIG. 62 shows a keyword assigned to the object as related information (attribute information), a frame (range) or a time stamp (range) in which the object appears, and the above characteristic amounts (key shape, key texture, activity,
9 shows an example of a search condition input screen in which “key color” can be appropriately input as a search condition. In the example of FIG. 62, when a plurality of items are specified, the search is performed by using their logical product. However, it is needless to say that a combination of various conditions such as various logical sums and negations may be set. Alternatively, a keyword, a frame or the like, and a feature amount may be selectively specified only.
【０３８５】次に、ステップＳ１５２において、対象と
なるすべての物体領域において処理を行ったか否か判定
する。Next, in step S152, it is determined whether or not processing has been performed on all target object regions.
【０３８６】未だ対象となるすべての物体領域において
処理を行っていなければ、物体領域に付与されている属
性情報のうち検索キーと同一種類のものを取り出し、こ
れと検索キーとの距離を計算する（ステップＳ１５
３）。If the processing has not been performed on all the object areas to be processed, the same type as the search key is extracted from the attribute information assigned to the object area, and the distance between this and the search key is calculated. (Step S15
3).
【０３８７】そして、その距離が予め定められた閾値よ
りも小さい場合は、その物体領域が検索キーにマッチン
グしたものとして、該物体の識別情報や必要に応じて求
められた距離などを記録する（ステップＳ１５４）。If the distance is smaller than a predetermined threshold value, the identification information of the object, the distance obtained as necessary, and the like are recorded assuming that the object area matches the retrieval key ( Step S154).
【０３８８】ここで、キーシェープ、キーテクスチャ、
アクティビティ、キーカラーについての距離の計算方法
について簡単に説明する。キーフレームの場合は、物体
領域を表示するために、代表フレームとして用いる。Here, key shape, key texture,
A method of calculating a distance for an activity and a key color will be briefly described. In the case of a key frame, it is used as a representative frame to display an object area.
【０３８９】まず、二つのキーシェープの距離について
説明する。First, the distance between two key shapes will be described.
【０３９０】対象となるキーシェープをＴＳ、検索のキ
ーシェープをＵＳとする。それぞれの重心を求めて二つ
のシェープの重心を合わせる。そのときのＴＳとＵＳの
面のＥｘｃｌｕｓｉｖｅ Ｏｒの領域ＥＸ（ＴＳ，Ｕ
Ｓ）とし、ＴＳ，ＵＳの面積の平均ＡＶ（ＴＳ，ＵＳ）
を求め、ＥＸ（ＴＳ，ＵＳ）／ＡＶ（ＴＳ，ＵＳ）を二
つのシェープの距離と定める。The target key shape is TS, and the search key shape is US. Match the centers of gravity of the two shapes to find their centers of gravity. Exclusive Or area EX (TS, U) on the TS and US planes at that time
S), and average AV (TS, US) of TS, US area
And EX (TS, US) / AV (TS, US) is defined as the distance between the two shapes.
【０３９１】次に、二つのキーテクスチャの距離につい
て説明する。Next, the distance between two key textures will be described.
【０３９２】対象となるキーテクスチャをＴＸ、検索の
キーシェープをＵＸとする。ここで、ＴＸ，ＵＸから先
に述べた離散的コサイン変換による周波数解析が行われ
た基底ごとの値をＴＸ（ｉ），ＵＸ（ｉ）とする。距離
ｄ（ＴＸ，ＵＳ）は次に示すような式となる。The target key texture is TX, and the key shape of the search is UX. Here, let TX (i) and UX (i) be the values for each base on which the frequency analysis by the above-described discrete cosine transform has been performed from TX and UX. The distance d (TX, US) is given by the following equation.
【０３９３】 次に、２つのアクティビティの距離について説明する。[0393] Next, the distance between two activities will be described.
【０３９４】単純に物体領域データがひとつのアクティ
ビティのみを持っている場合は、対象となるアクティブ
ティをＴＡ、検索キーをＵＡとすると、距離ｄ（ＴＡ，
ＵＡ）は｜ＴＡ−ＵＡ｜で定義される。複数のアクティ
ビディを持つ場合は、次に示すような式となる。When the object area data has only one activity, if the target activity is TA and the search key is UA, the distance d (TA,
UA) is defined as | TA-UA |. If there are multiple activities, the formula is as follows.
【０３９５】 次に、２つのキーカラーの距離について説明する。[0395] Next, the distance between two key colors will be described.
【０３９６】対象となるキーカラーをＴＣ、検索のキー
カラーをＵＣとする。ここで、ＴＣ，ＵＣは色ヒストグ
ラムＴＣ（ｉ），ＵＣ（ｉ）であるとすると、距離ｄ
（ＴＣ，ＵＣ）は、以下の式となる。ｋはｂｉｎのかず
である。Ｄｏｍｉｎａｎｔ Ｃｏｌｏｒの場合も同様に
次に示すような式となる。The target key color is TC, and the search key color is UC. Here, assuming that TC and UC are color histograms TC (i) and UC (i), the distance d
(TC, UC) is given by the following equation. k is the size of bin. Similarly, in the case of the Dominant Color, the following equation is obtained.
【０３９７】 さて、以上の処理を各々の物体について行い、ステップ
Ｓ１５２において、すべての物体について処理が終了し
たと判定されたならば、ステップＳ１５５において、検
索結果を出力する。[0397] The above processing is performed for each object. If it is determined in step S152 that the processing has been completed for all objects, a search result is output in step S155.
【０３９８】なお、検索結果の出力形態には種々の方法
が考えられる。そのうちの幾つかを例示する。[0398] Various methods can be considered for the output form of the search result. Some of them are exemplified.
【０３９９】（１）物体を識別する情報、出現フレーム
もしくは時間の範囲、位置に関する情報、物体の注釈情
報、類似度の評価値などのリストを表示する （２）該当する物体の出現する範囲の映像を表示する （３）該当する物体の代表的な画像を表示する（全画面
もしくは該当する物体の部分のみ） （４）上記のうちの任意の複数の組み合わせ （５）上記のうちのある方法から他の方法へ遷移可能と
する方法 図６３に、検索結果表示画面の一例を示す。図６３の例
では、検索により２つの物体が得られ、検索結果とし
て、その物体の名称と、出現する時間と、その物体の代
表的な画像１６２１，１６２２とを表示した例である。
物体の代表的な画像は、例えば、第１の実施形態のよう
にして近似図形を求め、当該フレームの映像データ中か
ら該求めた近似図形を内包する所定の大きさの矩形の領
域を切り出し、該切り出した矩形の領域を適宜縮小する
などして表示すればよい。(1) Display a list of information for identifying an object, information on an appearance frame or time range, position information, annotation information of an object, an evaluation value of similarity, etc. (2) Display of a range in which the object appears Displaying a video (3) Displaying a representative image of the relevant object (full screen or only a part of the relevant object) (4) Any combination of the above (5) One of the above methods FIG. 63 shows an example of a search result display screen. The example of FIG. 63 is an example in which two objects are obtained by the search, and the name of the object, the appearance time, and representative images 1621 and 1622 of the object are displayed as the search results.
For a representative image of the object, for example, an approximate figure is obtained as in the first embodiment, and a rectangular area of a predetermined size including the obtained approximate figure is cut out from the video data of the frame, The cut-out rectangular area may be displayed by appropriately reducing it.
【０４００】また、図６４に例示するように、物体の代
表的な画像１６２１をポインティングデバイス１６２３
により指示された場合に、該物体の出現する範囲の映像
１６２４を表示するようにしてもよい。As shown in FIG. 64, a representative image 1621 of an object is displayed on a pointing device 1623.
May be displayed, the image 1624 of the range in which the object appears may be displayed.
【０４０１】なお、第３の実施形態と第４の実施形態は
組み合わせて実施可能である。例えば、映像コンテンツ
（映像データ）から得られた物体領域データに、図３１
の関連情報（制御情報）もしくは図４７の関連情報（属
性情報）のいずれかを付与し、または図３１の関連情報
（制御情報）と図４７の関連情報（属性情報）の両方を
付与し、あるいはそれらにさらに他の関連情報を付与
し、第３の実施形態のような物体ごとのコンテンツ利用
制御や第４の実施形態のような特徴量による検索を行う
ようにしてもよい。The third embodiment and the fourth embodiment can be implemented in combination. For example, the object area data obtained from the video content (video data) is
47, or both the related information (control information) in FIG. 31 and the related information (attribute information) in FIG. 47, Alternatively, other related information may be added to them, and content use control for each object as in the third embodiment or a search using a feature amount as in the fourth embodiment may be performed.
【０４０２】なお、以上の各機能は、ソフトウェアとし
ても実現可能である。Each of the above functions can be implemented as software.
【０４０３】また、本実施形態は、コンピュータに所定
の手段を実行させるための（あるいはコンピュータを所
定の手段として機能させるための、あるいはコンピュー
タに所定の機能を実現させるための）プログラムを記録
したコンピュータ読取り可能な記録媒体としても実施す
ることもできる。Also, the present embodiment is a computer in which a program for causing a computer to execute predetermined means (or for causing a computer to function as predetermined means, or for causing a computer to realize predetermined functions) is recorded. It can also be implemented as a readable recording medium.
【０４０４】なお、本願発明は上記各実施形態に限定さ
れるものではなく、実施段階ではその趣旨を逸脱しない
範囲で種々に変形することが可能である。また、各実施
形態は可能な限り適宜組み合わせて実施してもよく、そ
の場合組合わせた効果が得られる。さらに、上記実施形
態には種々の段階の発明が含まれており、開示される複
数の構成要件における適宜な組合わせにより種々の発明
が抽出され得る。Note that the present invention is not limited to the above embodiments, and various modifications can be made at the stage of implementation without departing from the spirit of the invention. In addition, the embodiments may be implemented in appropriate combinations as much as possible, in which case the combined effects can be obtained. Furthermore, the above-described embodiment includes various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements.
【０４０５】[0405]
【発明の効果】本発明によれば、映像中の物体ごとの利
用制御や検索が可能になる。According to the present invention, it is possible to control use and search for each object in a video.
【図１】本発明の第１の実施形態に係る物体領域データ
生成装置の構成例を示す図、FIG. 1 is a diagram showing a configuration example of an object region data generation device according to a first embodiment of the present invention;
【図２】映像中の物体の領域を物体領域データで記述す
るための処理の概要を説明するための図、FIG. 2 is a diagram for explaining an outline of a process for describing an object region in a video by object region data;
【図３】物体の領域を楕円で近似する例について説明す
るための図、FIG. 3 is a diagram for explaining an example in which a region of an object is approximated by an ellipse;
【図４】物体の領域を近似する楕円の代表点を求める例
について説明するための図、FIG. 4 is a diagram for describing an example of obtaining a representative point of an ellipse approximating an object region,
【図５】物体領域データのデータ構造の一例を示す図、FIG. 5 is a diagram showing an example of a data structure of object region data;
【図６】物体領域データ中の近似図形データのデータ構
造の一例を示す図、FIG. 6 is a diagram showing an example of a data structure of approximate graphic data in object region data;
【図７】近似図形データ中の代表点軌跡データのデータ
構造の一例を示す図、FIG. 7 is a diagram showing an example of a data structure of representative point trajectory data in approximate graphic data;
【図８】物体領域データ、近似図形データ、代表点軌跡
データの関係を示す図、FIG. 8 is a diagram showing a relationship among object region data, approximate figure data, and representative point trajectory data;
【図９】近似図形を平行四辺形とした場合の代表点の例
について説明するための図、FIG. 9 is a diagram for explaining an example of representative points when the approximate figure is a parallelogram;
【図１０】近似図形を多角形としたときの代表点の例に
ついて説明するための図、FIG. 10 is a diagram for explaining an example of representative points when the approximate figure is a polygon;
【図１１】同実施形態における処理手順の一例を示すフ
ローチャート、FIG. 11 is a flowchart showing an example of a processing procedure according to the embodiment;
【図１２】映像中の物体の領域を複数の楕円で表現した
例を示す図、FIG. 12 is a diagram showing an example in which an object region in a video is represented by a plurality of ellipses;
【図１３】複数の近似図形データを含む物体領域データ
のデータ構造の一例を示す図、FIG. 13 is a diagram showing an example of a data structure of object region data including a plurality of approximate graphic data;
【図１４】映像中の物体の領域を物体領域データで記述
するための他の処理の概要を説明するための図、FIG. 14 is a diagram for explaining an outline of another process for describing an object region in a video by object region data;
【図１５】近似矩形を求める処理手順の一例を示すフロ
ーチャート、FIG. 15 is a flowchart illustrating an example of a processing procedure for obtaining an approximate rectangle,
【図１６】傾斜した細長い物体を傾斜を持たない矩形で
近似した様子を示す図、FIG. 16 is a view showing a state where a slender elongated object is approximated by a rectangle having no slant;
【図１７】物体をその傾斜に応じた傾斜を持つ矩形で近
似した様子を示す図、FIG. 17 is a diagram showing a state in which an object is approximated by a rectangle having an inclination according to the inclination thereof;
【図１８】近似矩形を求める処理手順の他の例を示すフ
ローチャート、FIG. 18 is a flowchart illustrating another example of a processing procedure for obtaining an approximate rectangle,
【図１９】近似矩形から近似楕円を求める方法について
説明するための図、FIG. 19 is a diagram for explaining a method of obtaining an approximate ellipse from an approximate rectangle;
【図２０】近似矩形から近似楕円を求める処理手順の一
例を示すフローチャート、FIG. 20 is a flowchart illustrating an example of a processing procedure for obtaining an approximate ellipse from an approximate rectangle,
【図２１】隣接するフレーム間で近似図形の代表点同士
を対応付ける方法について説明するための図、FIG. 21 is a view for explaining a method of associating representative points of approximate figures between adjacent frames;
【図２２】隣接するフレーム間で近似図形の代表点同士
を対応付けるための処理手順の一例を示すフローチャー
ト、FIG. 22 is a flowchart illustrating an example of a processing procedure for associating representative points of approximate figures between adjacent frames;
【図２３】物体領域データのデータ構造の他の例を示す
図、FIG. 23 is a diagram showing another example of the data structure of the object area data.
【図２４】図形種ＩＤと図形の種類と代表点数との対応
の一例を示す図、FIG. 24 is a diagram showing an example of a correspondence between a graphic type ID, a graphic type, and a representative point;
【図２５】関数ＩＤと関数形式と関数パラメータと制約
条件との対応の一例を示す図、FIG. 25 is a diagram showing an example of correspondence among a function ID, a function format, a function parameter, and a constraint condition;
【図２６】本発明による代表点軌跡データのデータ構造
の特徴を示す図、FIG. 26 is a diagram showing characteristics of the data structure of representative point trajectory data according to the present invention;
【図２７】代表点の時系列座標を曲線で近似する処理を
示すフローチャート、FIG. 27 is a flowchart showing a process of approximating a time-series coordinate of a representative point with a curve,
【図２８】本発明の物体領域データの利用例としての、
映像中で指示された点が領域内外のいずれかであるかを
判定し、内の場合は関連情報を表示する処理を示す図、FIG. 28 shows an example of using the object region data of the present invention.
A diagram showing a process of determining whether the point designated in the video is inside or outside the area, and displaying the related information if it is inside,
【図２９】本発明の第２の実施形態に係る物体領域デー
タ生成装置の構成例を示す図、FIG. 29 is a diagram showing a configuration example of an object region data generation device according to a second embodiment of the present invention;
【図３０】同実施形態における処理手順の一例を示すフ
ローチャート、FIG. 30 is a flowchart showing an example of a processing procedure in the embodiment;
【図３１】物体領域データ中の関連情報のデータ構造の
具体例を示す図、FIG. 31 is a diagram showing a specific example of a data structure of related information in object region data;
【図３２】本発明の物体領域データを用いて、指定され
た物体の物体領域名を表示する処理を示すフローチャー
ト、FIG. 32 is a flowchart showing a process of displaying an object region name of a specified object using the object region data of the present invention;
【図３３】本発明の物体領域データを用いて、指定され
た物体の著作権情報を表示する処理を示すフローチャー
ト、FIG. 33 is a flowchart showing a process of displaying copyright information of a designated object using the object region data of the present invention;
【図３４】本発明の物体領域データを用いて、指定され
た物体のコピー許可情報を表示する処理を示すフローチ
ャート、FIG. 34 is a flowchart showing processing for displaying copy permission information of a specified object using the object area data of the present invention;
【図３５】本発明の物体領域データを用いて、指定され
た物体のフットマークを表示する処理を示すフローチャ
ート、FIG. 35 is a flowchart showing a process of displaying a footmark of a specified object using the object region data of the present invention;
【図３６】本発明の物体領域データを用いて、指定され
た物体の関連情報ＵＲＬで示されるデータを表示する処
理を示すフローチャート、FIG. 36 is a flowchart showing a process of displaying data indicated by related information URL of a specified object using the object region data of the present invention;
【図３７】本発明の物体領域データを用いて、指定され
た物体のアクセスを制御する処理を示すフローチャー
ト、FIG. 37 is a flowchart showing processing for controlling access to a specified object using object area data according to the present invention;
【図３８】本発明の物体領域データを用いて、指定され
た物体の課金処理を示すフローチャート、FIG. 38 is a flowchart showing billing processing of a specified object using the object area data of the present invention;
【図３９】本発明の物体領域データを用いて、指定され
た物体の注釈を表示する処理を示すフローチャート、FIG. 39 is a flowchart showing a process of displaying an annotation of a specified object using the object region data of the present invention;
【図４０】本発明の第３の実施形態に係る情報処理装置
の構成例を示す図、FIG. 40 is a diagram illustrating a configuration example of an information processing apparatus according to a third embodiment of the present invention;
【図４１】アクセス制御の処理手順の一例を示すフロー
チャート、FIG. 41 is a flowchart showing an example of an access control processing procedure;
【図４２】物体の隠蔽処理を施した例を示す図、FIG. 42 is a diagram showing an example in which object concealment processing has been performed;
【図４３】アクセス制御の処理手順の他の例を示すフロ
ーチャート、FIG. 43 is a flowchart showing another example of the access control processing procedure;
【図４４】物体の関連情報を表示した例を示す図、FIG. 44 is a view showing an example in which relevant information of an object is displayed;
【図４５】複製制御の処理手順の他の例を示すフローチ
ャート、FIG. 45 is a flowchart showing another example of the processing procedure of the copy control;
【図４６】課金制御の処理手順の他の例を示すフローチ
ャート、FIG. 46 is a flowchart showing another example of the processing procedure of charging control;
【図４７】関連情報のデータ構造の他の具体例を示す
図、FIG. 47 is a view showing another specific example of the data structure of the related information;
【図４８】本発明の第４の実施形態に係る情報解析装置
の構成例を示す図、FIG. 48 is a diagram showing a configuration example of an information analysis device according to a fourth embodiment of the present invention;
【図４９】同実施形態に係る情報処理装置の構成例を示
す図、FIG. 49 is a diagram showing a configuration example of the information processing apparatus according to the embodiment;
【図５０】キーシェープ検出の処理手順の一例を示すフ
ローチャート、FIG. 50 is a flowchart showing an example of a processing procedure of key shape detection;
【図５１】キーシェープ検出の処理手順の他の例を示す
フローチャート、FIG. 51 is a flowchart showing another example of the processing procedure of key shape detection;
【図５２】キーシェープのデータ構造例を示す図、FIG. 52 is a view showing an example of a data structure of a key shape;
【図５３】キーテクスチャ検出の処理手順の一例を示す
フローチャート、FIG. 53 is a flowchart showing an example of a processing procedure of key texture detection;
【図５４】キーテクスチャのデータ構造例を示す図、FIG. 54 is a diagram showing an example of a data structure of a key texture.
【図５５】アクティビティ検出の処理手順の一例を示す
フローチャート、FIG. 55 is a flowchart showing an example of an activity detection processing procedure;
【図５６】アクティビティのデータ構造例を示す図、FIG. 56 is a diagram showing an example of a data structure of an activity.
【図５７】キーカラー検出の処理手順の一例を示すフロ
ーチャート、FIG. 57 is a flowchart showing an example of a processing procedure for key color detection;
【図５８】キーカラーのデータ構造例を示す図、FIG. 58 is a view showing an example of a key color data structure;
【図５９】キーフレーム検出の処理手順の一例を示すフ
ローチャート、FIG. 59 is a flowchart showing an example of a key frame detection processing procedure;
【図６０】第４実施形態の物体領域データのデータ構造
を示す図、FIG. 60 is a view showing a data structure of object area data according to the fourth embodiment;
【図６１】検索処理の手順の一例を示すフローチャー
ト、FIG. 61 is a flowchart showing an example of the procedure of a search process;
【図６２】検索条件入力画面の一例を示す図、FIG. 62 shows an example of a search condition input screen.
【図６３】検索結果表示画面の一例を示す図、FIG. 63 is a view showing an example of a search result display screen.
【図６４】検索結果表示画面の一例を示す図、FIG. 64 is a diagram showing an example of a search result display screen.
１００，２３１…映像データ記憶部 １０１…領域抽出部 １０２…領域の図形近似部 １０３…図形代表点抽出部 １０４…代表点の曲線近似部 １０５，２３５…関連情報記憶部 １０６，２３６…領域データ記憶部 ２３３…特徴点抽出部 ２３４…特徴点の曲線近似部 １００１…条件判定部 １００２，１０２２…処理部 １００３…表示部 １０１１…特徴解析部 １０２１…検索部 100,231 ... Video data storage unit 101 ... Area extraction unit 102 ... Area approximation unit 103 ... Graphic representative point extraction unit 104 ... Representative point curve approximation unit 105,235 ... Related information storage unit 106,236 ... Area data storage Unit 233: feature point extraction unit 234: feature point curve approximation unit 1001: condition determination unit 1002, 1022: processing unit 1003: display unit 1011: feature analysis unit 1021: search unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/081 Ｈ０４Ｎ 7/13 Ｚ 7/24 (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山本 晃司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 7/081 H04N 7/13 Z 7/24 (72) Inventor Yuji Mita Komukai, Saiyuki-ku, Kawasaki-shi, Kanagawa No. 1 Toshiba-cho, Toshiba R & D Center (72) Inventor Koji Yamamoto No. 1, Komukai Toshiba-cho, Koyuki-ku, Kawasaki-shi, Kanagawa Prefecture Toshiba R & D Center
Claims (25)
ける物体の領域の時系列的な変化に関する情報を生成し
て物体領域データとして記述し、 前記映像データを利用する際、前記物体の領域に対する
処理に共されるべき関連情報を前記物体領域データと関
連付けて記述することを特徴とする物体領域情報記述方
法。1. A method for generating information relating to a time-series change of a region of an object in video data composed of a plurality of frames and describing the generated information as object region data. An object area information description method, wherein related information to be shared is described in association with the object area data.
る利用を制御するための処理であり、 前記関連情報は、前記制御の際に参照すべき制御情報で
あることを特徴とする請求項１に記載の物体領域情報記
述方法。2. The process according to claim 1, wherein the process is a process for controlling use of the object with respect to a region portion, and the related information is control information to be referred to in the control. Object area information description method described in the above.
対する一次利用を許可する条件を示す情報、前記物体の
領域部分に対する二次利用を許可する条件を示す情報、
前記物体の領域部分の利用に対する課金に関する情報の
うちの少なくとも１つを含むことを特徴とする請求項２
に記載の物体領域情報記述方法。3. The control information includes information indicating a condition for permitting a primary use of a region portion of the object, information indicating a condition for permitting a secondary use of a region portion of the object,
3. The method according to claim 2, wherein the information includes at least one of information relating to charging for use of the area portion of the object.
Object area information description method described in the above.
を行うための処理であり、 前記関連情報は、前記検索において検索キーとの照合の
ために用いられる、前記物体の領域の代表的な特徴を示
す属性情報であることを特徴とする請求項１に記載の物
体領域情報記述方法。4. The process is a process for performing a search for each region of the object, and the related information is a representative of the region of the object, which is used for matching with a search key in the search. 2. The object area information description method according to claim 1, wherein the attribute information is attribute information indicating various characteristics.
する形状を示すキーシェープ情報、前記物体の領域を代
表するテクスチャを示すキーテクスチャ情報、前記物体
の領域の運動に関する情報を示すアクティビティ情報、
前記物体の領域を代表する色を示すキーカラー情報、前
記物体の代表例を含むフレームであるキーフレームのう
ちの少なくとも１つを含むことを特徴とする請求項４に
記載の物体領域情報記述方法。5. The attribute information includes key shape information indicating a shape representative of the region of the object, key texture information indicating a texture representative of the region of the object, and activity information indicating information on motion of the region of the object. ,
5. The object area information description method according to claim 4, further comprising at least one of key color information indicating a color representative of the area of the object and a key frame which is a frame including a representative example of the object. .
徴点の少なくとも一方で特定し、該近似図形の代表点も
しくは該特徴点の位置データの時系列的な軌跡を所定の
関数で近似し、該関数のパラメータを用いて該物体の領
域の時系列的変化に関する情報を生成することを特徴と
する請求項１乃至請求項５のいずれか１項に記載の物体
領域情報記述方法。6. An area of the object is specified by at least one of an approximate figure and a feature point, and a time-series trajectory of position data of a representative point of the approximate figure or the feature point is approximated by a predetermined function; 6. The object area information description method according to claim 1, wherein information on a time-series change of the area of the object is generated using parameters of the function.
前記複数フレームの先頭のフレーム及び最終のフレーム
を特定可能な情報と、近似図形の代表点もしくは特徴点
の位置データの時系列的な軌跡を所定の関数で近似し、
該関数のパラメータとを用いて、前記物体領域情報を生
成することを特徴とする請求項１乃至請求項５のいずれ
か１項に記載の物体領域情報記述方法。7. At least information that can specify a first frame and a last frame of the plurality of frames in which the object region exists, and a time-series trajectory of position data of a representative point or a feature point of an approximate figure. Approximate by a predetermined function,
6. The object area information description method according to claim 1, wherein the object area information is generated using parameters of the function.
記載の物体領域情報記述方法により記述された物体領域
データ、および該物体領域データに関連付けられた該物
体の領域に対する処理に共されるべき関連情報を格納し
た記録媒体。8. An object area data described by the object area information description method according to claim 1 and a process for an area of the object associated with the object area data. A recording medium storing relevant information to be performed.
情報処理方法であって、 映像データ中における物体の領域の時系列的な変化に関
する情報を記述した物体領域データおよびこれに関連付
けられた制御情報を取得し、前記制御情報に基づいて、
該物体の領域の利用の可否を判定し、 この判定結果に応じて、前記映像データの出力形態を制
御することを特徴とする映像情報処理方法。9. A video information processing method for controlling usage of each object in a video, comprising: object region data describing information on a time-series change of a region of an object in video data; Obtaining control information, based on the control information,
A video information processing method comprising: judging whether or not use of a region of the object is possible, and controlling an output mode of the video data according to the judgment result.
れた場合に、前記映像データにおける前記物体の領域を
隠蔽する処理を施した上で、該映像データを出力するこ
とを特徴とする請求項９に記載の映像情報処理方法。10. The method according to claim 1, wherein when it is determined that the use of the area of the object is impossible, the video data is output after performing a process of concealing the area of the object in the video data. Item 10. The video information processing method according to Item 9.
像情報処理方法であって、 複数フレームからなる映像データ中における物体の領域
の時系列的な変化に関する情報を記述した物体領域デー
タおよびこれに関連付けられた制御情報を取得し、 前記制御情報に基づいて、該物体に関連する情報を呈示
することの可否を判定し、 この判定結果に応じて、前記物体に関連する情報の呈示
を制御することを特徴とする映像情報処理方法。11. A video information processing method for performing usage control for each object in a video, comprising: object region data describing information on a time-series change of a region of an object in video data composed of a plurality of frames; Acquiring control information associated with the object; determining whether to present information related to the object based on the control information; and controlling presentation of information related to the object based on the determination result. A video information processing method.
報処理方法であって、 映像データ中における物体の領域に関する情報を記述し
た物体領域データおよびこれに関連付けられた属性情報
を取得し、 指定された検索条件および前記属性情報に基づいて、該
当する物体を検索し、 検索された前記物体に関する前記物体領域データに基づ
いて、呈示すべき検索結果を作成することを特徴とする
映像情報処理方法。12. A video information processing method for performing a search for each object in a video, comprising: obtaining object region data describing information on a region of an object in video data and attribute information associated therewith; A video information processing method comprising: searching for a corresponding object based on searched search conditions and the attribute information; and generating a search result to be presented based on the object region data related to the searched object. .
表する形状を示すキーシェープ情報、前記物体の領域を
代表するテクスチャを示すキーテクスチャ情報、前記物
体の領域の運動に関する情報を示すアクティビティ情
報、前記物体の領域を代表する色を示すキーカラー情
報、前記物体の代表例を含むフレームであるキーフレー
ムのうちの少なくとも１つを含むことを特徴とする請求
項１２に記載の映像情報処理方法。13. The attribute information includes key shape information indicating a shape representative of a region of the object, key texture information indicating a texture representative of a region of the object, and activity information indicating information on motion of the region of the object. 13. The video information processing method according to claim 12, further comprising at least one of key color information indicating a color representing a region of the object and a key frame which is a frame including a representative example of the object. .
物体の領域に対応する複数フレームに渡る映像および１
つの代表的なフレームから切り出した部分画像の少なく
とも一方を表示することを特徴とする請求項１２に記載
の映像情報処理方法。14. The method according to claim 1, wherein the search results include images over a plurality of frames corresponding to the searched area of the object.
The video information processing method according to claim 12, wherein at least one of partial images cut out from one representative frame is displayed.
おける物体の領域の時系列的な変化に関する情報を生成
し、物体領域データとして記述する手段と、 前記物体の領域に対する処理に共されるべき関連情報を
前記物体領域データと関連付けて記述する手段とを備え
たことを特徴とする物体領域データ生成装置。15. A means for generating information relating to a time-series change of a region of an object in video data composed of a plurality of frames and describing the information as object region data, and related information to be shared with processing of the region of the object Means for describing the object region data in association with the object region data.
像情報処理装置であって、 複数フレームからなる映像データ中における物体の領域
の時系列的な変化に関する情報を記述した物体領域デー
タおよびこれに関連付けられた制御情報を取得する手段
と、 前記制御情報に基づいて、該物体の領域の利用の可否を
判定する手段と、 この判定結果に応じて、前記映像データの出力形態を制
御する手段とを備えたことを特徴とする映像情報処理装
置。16. An image information processing apparatus for performing usage control for each object in an image, comprising: object region data describing information on a time-series change of an object region in image data composed of a plurality of frames; Means for acquiring control information associated with the object; means for determining whether or not the area of the object can be used based on the control information; means for controlling the output mode of the video data in accordance with the determination result A video information processing apparatus comprising:
報処理装置であって、 複数フレームからなる映像データ中における物体の領域
の時系列的な変化に関する情報を記述した物体領域デー
タおよびこれに関連付けられた属性情報を取得する手段
と、 指定された検索条件および前記属性情報に基づいて、該
当する物体を検索する手段と、 検索された前記物体に関する前記物体領域データに基づ
いて、呈示すべき検索結果を作成する手段とを備えたこ
とを特徴とする映像情報処理装置。17. A video information processing apparatus for performing a search for each object in a video, comprising: object region data describing information on a time-series change of a region of an object in video data composed of a plurality of frames; Means for acquiring associated attribute information; means for searching for a corresponding object based on designated search conditions and the attribute information; and information to be presented based on the object area data relating to the searched object. Means for creating a search result.
在する複数フレームの先頭のフレームおよび最終のフレ
ームを特定可能な情報のデータ領域と、該複数フレーム
のうち任意のフレームにおける該物体の領域の近似図形
の代表点、もしくは該物体の領域の特徴点の近似位置デ
ータを算出可能な関数を特定するパラメータのデータ領
域とを含む物体領域データを記録したコンピュータ読み
取り可能な記録媒体。18. A data area of information capable of specifying a first frame and a last frame of a plurality of frames in which a region of an object exists in video data, and an approximation of a region of the object in an arbitrary frame of the plurality of frames. A computer-readable recording medium which records object region data including a representative point of a figure or a data region of a parameter for specifying a function capable of calculating approximate position data of a feature point of a region of the object.
おける物体に関連する情報を記録したコンピュータ読み
取り可能な記録媒体であって、 前記物体に関連する情報は該物体の領域の時系列的な変
化に関する近似データと該物体の領域に関する関連情報
とに分けて記録され、 該近似データは前記複数フレームに渡る物体の領域の近
似図形の代表点、もしくは該物体の領域の特徴点の軌跡
の関数近似により得られ、対応する関連情報と連続した
データ領域に記録されることによって、複数フレームに
渡る物体の領域に対して関連情報を関連付けて記述した
ことを特徴とする物体に関連する情報を記録したコンピ
ュータ読み取り可能な記録媒体。19. A computer-readable recording medium recording information related to an object in video data composed of a plurality of frames, wherein the information related to the object is an approximation relating to a time-series change of a region of the object. The approximate data is obtained by dividing the data and the related information relating to the area of the object by a function approximation of a representative point of an approximate figure of the area of the object over the plurality of frames or a locus of a feature point of the area of the object. A computer-readable recording of information relating to the object, characterized in that the information is recorded in a data area contiguous with the corresponding information and associated information is described in association with the area of the object over a plurality of frames. Possible recording medium.
物体の領域に関する情報を記述する物体領域データであ
って、 前記物体の出現するフレームの先頭フレームと最終フレ
ームを特定する情報と、 前記物体の領域を近似する図形に関するデータとを具備
し、該図形に関するデータは近似図形の種類と、 近似図形の代表点毎の時系列的な軌跡を近似する関数の
パラメータとを具備することを特徴とする物体領域デー
タ。20. Object area data describing information on an area of an object in video data composed of a plurality of frames, wherein the information specifies a first frame and a last frame of a frame in which the object appears, and the area of the object. An object characterized by comprising data on a graphic approximating the following, wherein the data on the graphic includes a type of the approximate graphic and a parameter of a function for approximating a time-series trajectory for each representative point of the approximate graphic. Area data.
物体の領域に関する情報を記述する物体領域データであ
って、 前記物体の出現するフレームの先頭フレームと最終フレ
ームを特定する情報と、 前記物体の領域を表わす特徴点に関するデータとを具備
し、該特徴点に関するデータは特徴点毎の時系列的な軌
跡を近似する関数のパラメータを具備することを特徴と
する物体領域データ。21. Object area data describing information on an area of an object in video data composed of a plurality of frames, wherein the information specifies a first frame and a last frame of a frame in which the object appears, and the area of the object. Object region data, wherein the data on the feature points includes parameters of a function that approximates a time-series trajectory for each of the feature points.
物体の領域に関する情報を記述する物体領域データであ
って、 前記物体の領域の時系列的な変化を近似する関数の節点
時刻配列と、 フレーム中の節点座標配列と、 関数のＩＤとパラメータとを含む関数指定情報配列とを
具備することを特徴とする物体領域データ。22. Object region data describing information on an object region in video data composed of a plurality of frames, the node time array of a function approximating a chronological change of the region of the object; Object region data comprising: a nodal coordinate array; and a function designation information array including a function ID and a parameter.
物体の領域に関する情報を記述する物体領域データであ
って、 前記物体の領域の特徴点の時系列的な軌跡を近似する関
数のパラメータを具備することを特徴とする物体領域デ
ータ。23. Object area data describing information on an object area in video data composed of a plurality of frames, the object area data including a function parameter that approximates a time-series trajectory of a feature point of the object area. Object region data, characterized in that:
タのコピー許可情報、フットマーク、関連情報へのポイ
ンタ、物体データのアクセス制限情報、物体データの課
金情報、注釈のいずれかからなる物体の利用に関する関
連データをさらに具備することを特徴とする請求項２０
乃至請求項２３のいずれか一項に記載の物体領域デー
タ。24. An object comprising any one of an object name, object copyright information, object data copy permission information, footmark, pointer to related information, object data access restriction information, object data billing information, and annotation 21. The apparatus according to claim 20, further comprising related data relating to use of the information.
The object region data according to any one of claims 23 to 23.
キーシェープ情報、前記物体の領域を代表するテクスチ
ャを示すキーテクスチャ情報、前記物体の領域の運動に
関する情報を示すアクティビティ情報、前記物体の領域
を代表する色を示すキーカラー情報、前記物体の代表例
を含むフレームであるキーフレームのいずれかからなる
物体の検索に関する関連データをさらに具備することを
特徴とする請求項２０乃至請求項２３のいずれか一項に
記載の物体領域データ。25. Key shape information indicating a shape representative of the region of the object, key texture information indicating a texture representative of the region of the object, activity information indicating information on motion of the region of the object, and the region of the object 24. The apparatus according to claim 20, further comprising key color information indicating a color representative of the object, and related data relating to a search for an object including any one of key frames which are frames including a representative example of the object. Object region data according to any one of the preceding claims.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000209015A JP2001118075A (en) | 1999-07-09 | 2000-07-10 | Method of describing object area information, device of producing the same, method of processing video information, and information processor |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19620399 | 1999-07-09 | ||
| JP11-196203 | 1999-07-09 | ||
| JP2000209015A JP2001118075A (en) | 1999-07-09 | 2000-07-10 | Method of describing object area information, device of producing the same, method of processing video information, and information processor |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008006250A Division JP2008181515A (en) | 1999-07-09 | 2008-01-15 | Method of describing object area information, method of processing video information, and information processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001118075A true JP2001118075A (en) | 2001-04-27 |
Family
ID=26509609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000209015A Pending JP2001118075A (en) | 1999-07-09 | 2000-07-10 | Method of describing object area information, device of producing the same, method of processing video information, and information processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001118075A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002359777A (en) * | 2001-05-30 | 2002-12-13 | Toshiba Corp | Time space region information processing method and time space region information processing system |
| JP2003009021A (en) * | 2001-06-25 | 2003-01-10 | Nhk Engineering Services Inc | Information navigation type broadcast data controller |
| WO2003012652A1 (en) * | 2001-07-27 | 2003-02-13 | Fujitsu Limited | Server, method for providing data, medium and program |
| JP2003109013A (en) * | 2001-09-28 | 2003-04-11 | Toshiba Corp | Method for processing spatio-temporal area information |
| WO2003056836A1 (en) * | 2001-12-25 | 2003-07-10 | Kyushu Electronics Systems Inc. | Image information compressing method, image information compressing device and image information compressing program |
| JP2004280669A (en) * | 2003-03-18 | 2004-10-07 | Nippon Hoso Kyokai <Nhk> | Image feature information generation method, image feature information generation device, and image feature information generation program |
| JP2006293630A (en) * | 2005-04-08 | 2006-10-26 | Kawashima Selkon Textiles Co Ltd | Image generation program and image generation device |
| JP2007128526A (en) * | 2001-11-27 | 2007-05-24 | Samsung Electronics Co Ltd | Standard illumination color converting method, standard illumination color conversion program, computer readable recording medium with standard illumination color conversion program recorded, color information extracting method, computer readable recording medium with color information extraction program recorded and color information extracting device |
| JP2010015363A (en) * | 2008-07-03 | 2010-01-21 | Mitsubishi Heavy Ind Ltd | Rectangle approximation system, method, and program |
| US7729422B2 (en) | 2000-12-21 | 2010-06-01 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
| JP2011053952A (en) * | 2009-09-02 | 2011-03-17 | Canon Inc | Image-retrieving device and image-retrieving method |
| JP2015057896A (en) * | 2006-12-11 | 2015-03-26 | 株式会社ドワンゴ | Comment distribution system, terminal device, comment distribution method, and program |
| US9092650B2 (en) | 2009-01-06 | 2015-07-28 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for automated detection of the presence and type of caps on vials and containers |
| US9247295B2 (en) | 2002-07-29 | 2016-01-26 | North Star Innovations Inc. | Automated playlist generation |
-
2000
- 2000-07-10 JP JP2000209015A patent/JP2001118075A/en active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7729422B2 (en) | 2000-12-21 | 2010-06-01 | Adobe Systems Incorporated | Image extraction from complex scenes in digital video |
| JP2002359777A (en) * | 2001-05-30 | 2002-12-13 | Toshiba Corp | Time space region information processing method and time space region information processing system |
| US7146022B2 (en) | 2001-05-30 | 2006-12-05 | Kabushiki Kaisha Toshiba | Spatiotemporal locator processing method and apparatus |
| JP2003009021A (en) * | 2001-06-25 | 2003-01-10 | Nhk Engineering Services Inc | Information navigation type broadcast data controller |
| JP4658393B2 (en) * | 2001-06-25 | 2011-03-23 | 財団法人エヌエイチケイエンジニアリングサービス | Information navigation type broadcast data control device |
| WO2003012652A1 (en) * | 2001-07-27 | 2003-02-13 | Fujitsu Limited | Server, method for providing data, medium and program |
| JP2003109013A (en) * | 2001-09-28 | 2003-04-11 | Toshiba Corp | Method for processing spatio-temporal area information |
| JP2007128526A (en) * | 2001-11-27 | 2007-05-24 | Samsung Electronics Co Ltd | Standard illumination color converting method, standard illumination color conversion program, computer readable recording medium with standard illumination color conversion program recorded, color information extracting method, computer readable recording medium with color information extraction program recorded and color information extracting device |
| WO2003056836A1 (en) * | 2001-12-25 | 2003-07-10 | Kyushu Electronics Systems Inc. | Image information compressing method, image information compressing device and image information compressing program |
| US7274826B2 (en) | 2001-12-25 | 2007-09-25 | Seiichiro Kamata | Image information compressing method, image information compressing device and image information compressing program |
| US9247295B2 (en) | 2002-07-29 | 2016-01-26 | North Star Innovations Inc. | Automated playlist generation |
| JP2004280669A (en) * | 2003-03-18 | 2004-10-07 | Nippon Hoso Kyokai <Nhk> | Image feature information generation method, image feature information generation device, and image feature information generation program |
| JP2006293630A (en) * | 2005-04-08 | 2006-10-26 | Kawashima Selkon Textiles Co Ltd | Image generation program and image generation device |
| JP2019208223A (en) * | 2006-12-11 | 2019-12-05 | 株式会社ドワンゴ | Comment distribution system, terminal device, comment distribution method, and program |
| JP2018093498A (en) * | 2006-12-11 | 2018-06-14 | 株式会社ドワンゴ | Comment distribution system, terminal device, comment distribution method, and program |
| JP2015057896A (en) * | 2006-12-11 | 2015-03-26 | 株式会社ドワンゴ | Comment distribution system, terminal device, comment distribution method, and program |
| JP2019054524A (en) * | 2006-12-11 | 2019-04-04 | 株式会社ドワンゴ | Comment distribution system, terminal device, comment distribution method, and program |
| JP2010015363A (en) * | 2008-07-03 | 2010-01-21 | Mitsubishi Heavy Ind Ltd | Rectangle approximation system, method, and program |
| US9092650B2 (en) | 2009-01-06 | 2015-07-28 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for automated detection of the presence and type of caps on vials and containers |
| JP2011053952A (en) * | 2009-09-02 | 2011-03-17 | Canon Inc | Image-retrieving device and image-retrieving method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Graph2plan: Learning floorplan generation from layout graphs | |
| JP4226730B2 (en) | Object region information generation method, object region information generation device, video information processing method, and information processing device | |
| US7188103B2 (en) | Similarity search of three-dimensional model using two-dimensional image as search key | |
| JP6831769B2 (en) | Image search device, image search method, and setting screen used for it | |
| US7304649B2 (en) | Object region data describing method and object region data creating apparatus | |
| TW452748B (en) | Description of video contents based on objects by using spatio-temporal features and sequential of outlines | |
| US7146022B2 (en) | Spatiotemporal locator processing method and apparatus | |
| JP2001118075A (en) | Method of describing object area information, device of producing the same, method of processing video information, and information processor | |
| JP5721233B2 (en) | Image recognition system | |
| CN110516096A (en) | Synthesis perception digital picture search | |
| JPH05108730A (en) | Retrieval of dynamic image database | |
| KR20130029800A (en) | Mobile device based content mapping for augmented reality environment | |
| Wu et al. | Image completion with multi-image based on entropy reduction | |
| CN108388649A (en) | Handle method, system, equipment and the storage medium of audio and video | |
| JP2004110459A (en) | Three-dimensional model space creating device, three-dimensional model space creating method, three-dimensional model space creating program, and content transmitting server | |
| Bruschke et al. | Towards browsing repositories of spatially oriented historic photographic images in 3D web environments | |
| KR100427879B1 (en) | Recording medium storing program for generating object area information and object area information generated by the program | |
| JP2002056392A (en) | Object region information description method, object region information generating device and object region information description program | |
| JP2008181515A (en) | Method of describing object area information, method of processing video information, and information processor | |
| Petkovic et al. | A framework for video modelling | |
| JP2001111996A (en) | Object area information describing method, object area information generator, method and device for processing video information | |
| JPH11259673A (en) | Space stroll video display method, in-space object retrieving method, and in-space object extracting method, device therefor, and recording medium where the methods are recorded | |
| Schaefer et al. | Image database navigation on a hierarchical MDS grid | |
| Zhao et al. | Localization and completion for 3D object interactions | |
| KR101530355B1 (en) | Method and system for searching motion capture data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080610 |