JP3175760B2 - 動画像アンカー作成システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は表示画面上に表示さ
れる動画上での物体（以下、表示物体または単に物体と
呼ぶ）と、様々なメディアとを関係づけるハイパーメデ
ィア・システムに関し、特に表示物体に対して簡単にア
ンカーを作成することができる画像アンカー作成システ
ムに関する。

【０００２】

【従来の技術】文章だけではなく、静止画像や動画像、
音声など、様々なメディア間を結ぶハイパーメディア・
システムが知られている。

【０００３】特に、「ビデオ・ハイパーメディアのナビ
ゲーション方式」（高野・的場・原、第８回ヒューマン
インターフェースシンポジウム、1994年12月）（以下、
文献１と呼ぶ）では、動画像には様々な表示物体が撮影
されていることに注目して、画像上の表示物体毎にアン
カー／リンクを持つハイパーメディア・システムが提案
されている。ここで、「アンカー」とは、別途用意した
オブジェクトから表示画面上の表示物体への関連づける
という意味で用いている。すなわち、「表示画面上の表
示物体へと碇をおろす」ということである。

【０００４】該システムの一例として、図２に、水槽の
中を複数の魚：魚２〜４が泳いでいるシーンから構成さ
れている動画像信号１を示す。魚２〜４に対して、それ
ぞれ、点線矩形で示したアンカー５〜７を作成する。各
アンカー５〜７から、対応する魚を説明する音声や文章
などへリンクをはることによって、柔軟で動画像の特性
を生かしたハイパーメディアを構成することができる。

【０００５】しかし、動画中の表示物体は表示画面上で
動き回り、画像上での位置や大きさが変わる、また、表
示物体は現われたり消えたりするために、動画像の全シ
ーンに渡って表示物体毎にアンカー／リンクの作成を行
なうには、非常に多くの作業工数を費やさねばならな
い。しかし、上記文献１では、アンカー・リンク作成作
業の効率化は解決れていない。

【０００６】作業効率化を目的としたアンカー／リンク
作成システムの一例が、特開平８−１２３８１６号公報
「動画ハイパーメディア処理装置」（以下、文献２と呼
ぶ）が開示されており、以下、文献２に基づいて簡単に
説明する。

【０００７】アンカー作成方法として、各表示物体への
アンカーの形や動きをユーザがあらかじめマウス等のポ
インティング・デバイスで指定することが挙げられてい
る。他に表示画面を単純にメッシュ状に分割し、各部分
画像をアンカー対象領域とする方法が挙げられている。
この場合、アンカーとしては、表示物体を含む部分画像
を選択するだけであるので、作業工数は少なくなるが、
アンカーは必ずしも表示物体だけを含むようにはできな
くなる。

【０００８】リンクは、動画像上にアンカー表示して確
認しながら、別に用意したオブジェクトとの間でリンク
を生成してゆくとしている。

【０００９】また該文献２では、作成したハイパーメデ
ィア・コンテンツを利用する際に、以下の工夫がこらし
てあるため、リンク先の検索が容易となっているとして
いる。

【００１０】● アンカーの動きが速い場合、動画内に
マウスがフレームインしたときやマウスをクリックした
ときに、再生速度がスローとなる。

【００１１】● アンカーの動きが速い場合、アンカー
付近でマウスをクリックしたときやマウスがある決まっ
た動きをしたとき、再生速度がスローとなる。

【００１２】● アンカーが小さくてマウスクリックが
難しいとき、動画内でマウスをクリックすると、マウス
の指定領域が拡大表示される。

【００１３】● あるアンカーが出現したとき、一旦動
画の再生を止め、ユーザの入力を促す選択のダイアログ
を表示する。

【００１４】作業効率化を目的としたアンカー作成シス
テムの一例が、「動画像解析を応用した対話型ビデオ制
作システム」（脇本・神田・阿倍・田中、第３回画像セ
ンシングシンポジウム、1997年6 月）（以下、文献３と
呼ぶ）が開示されており、以下、文献３に基づいて簡単
に説明する。

【００１５】該文献３の手法は、以下の手続き（処理
（１）〜（６））から構成されている。

【００１６】処理（１）：動画像の中から、アンカーの
開始フレームと終了フレームを設定する。同時に両フレ
ームにおけるアンカーの位置と大きさを設定する。

【００１７】処理（２）：ユーザが設定した開始フレー
ム上のアンカーをテンプレートとして利用し、以下の画
像処理を終了フレームに行き着くまで、繰り返し行なっ
てアンカーの追跡を行なう。

【００１８】２−１．設定した間隔だけ飛ばした次のフ
レーム上で、前フレームのテンプレートに最も近い部分
画像領域を探す。

【００１９】２−２．得られた部分画像領域を新たなテ
ンプレートとする。

【００２０】処理（３）：終了フレーム上で行き着いた
部分画像領域の位置と、ユーザが設定した終了フレーム
上でのアンカーの位置とが一致したとき、追跡終了とし
て下記の処理（５）へゆく。

【００２１】処理（４）：ユーザが設定した終了フレー
ム上でのアンカーをテンプレートとして利用し、上記処
理（２）で述べた画像処理を、逆方向に行なってアンカ
ーを追跡する。追跡中、上記処理（２）の追跡結果と一
致したら追跡を打ち切る。

【００２２】処理（５）：得られたアンカーの軌跡を、
なるべく少ない数の中間点で近似する。中間点間は、直
線近似によりアンカーを与える。

【００２３】処理（６）：ユーザは以上のアンカー追跡
処理結果を画面上で確認し、必要に応じて中間点の削除
や追加、また位置修正を行ない、アンカー位置を修正す
る。このときユーザの修正作業は、画像上に表示された
アンカー位置を適宜確認しながら行なう。

【００２４】上記処理（５）においてアンカーの軌跡を
より少ない中間点を用いて近似しているのは、上記処理
（６）でユーザが編集すべき点の数を減らすことで作業
工数を減らすことを目的としている。

【００２５】上記処理（６）におけるアンカー編集画面
例を、上記文献３に基づきキーポイントだけ抜き出して
図３に例示する。アンカー編集画面１５上には、動画像
信号１とフレーム位置制御バー１２、編集補助バー１４
が表示されており、動画像信号１上に表示されている魚
３のアンカー６を編集しているとする。フレーム位置制
御バー１２と編集補助バー１４の左端は動画像の第一フ
レームを、右端は終了フレームをそれぞれ指している。
フレーム位置制御バー１２上にはフレーム位置制御ボタ
ン１３があり、マウスで該ボタン１３を左右へと移動す
ることにより、表示される画像のフレームを制御するこ
とができる。

【００２６】編集補助バー１４上には、魚３のアンカー
６に対する開始フレーム９と終了フレーム１０が示され
ている。両フレーム間中で、自動アンカー生成処理によ
って得られた中間点群１１が、対応するフレーム位置へ
と△印で示されている。ユーザはフレーム位置制御ボタ
ン１３を動かしながらアンカーの位置を確認し、必要に
応じて中間点におけるアンカー位置を画面上で修正した
り、中間点を削除もしくは追加することで、適切なアン
カーを作成してゆく。

【００２７】

【発明が解決しようとする課題】しかしながら、上述し
た先行技術には次に述べるような問題がある。

【００２８】文献２においては、アンカーが完全に作成
されている場合には、画面を確認しながら容易にリンク
を生成することが可能である。しかしながら、アンカー
作成作業は、結局フレーム毎に設定をしてゆかねばなら
なく圧倒的に大きかった。

【００２９】文献３では、テンプレートを更新しながら
マッチングする部分画像を探索する手法を利用すること
により、アンカー生成作業を削減しようとしている。し
かしながら、このテンプレートマッチング手法は単純で
あるために、開始／終了フレームで初期設定するアンカ
ー（テンプレート）に依存して、追跡性能が異なってく
る。

【００３０】例えば図２において、魚３に対応するアン
カー６は、背景に海草８を含んでいるが、このように背
景が一様でない場合には、アンカーをどう設定するかに
依存して、アンカー追跡の性能が大きく変化することが
ある。この場合、十分良い結果が得られるまで初期アン
カーの与え方を変えたり、多くの中間点に対して多くの
編集を加えないとならない。

【００３１】また図３に示したアンカー編集画面では、
ユーザはアンカーの追跡結果を見渡すことができない。
そのため、アンカー追跡結果に満足できないときに、ど
のフレームへと中間点を追加すれば良いか・削除すれば
良いかが直感的にわからず、結果的に試行錯誤の作業を
避けられない。

【００３２】同様に図３のアンカー編集画面は、単一の
時間的な連なりにおける、単一のアンカーを編集する目
的で作成されている。例えばサッカー中継動画像で、選
手毎にアンカーを設定することを考える。カメラはボー
ルの動きに合わせてパン・チルトを繰り返すため、アン
カーの対象となる選手は画面上で頻繁に消えたり現われ
たりするために、該文献３の手法では一連のアンカー作
成作業を繰り返さなければならない。

【００３３】したがって、本発明の課題は、アンカーの
作成作業を大幅に軽減するアンカー生成システムを提供
することにある。

【００３４】

【課題を解決するための手段】本発明によれば、動画像
を入力する工程と、ユーザが検出対象となる表示物体を
いくつか指示して、該入力動画像中に含まれる指示され
た表示物体と同じ特徴を持つ領域の位置を検出領域とし
て検出する物体検出工程と、該検出領域を追跡する物体
追跡工程と、該入力動画像上に、該追跡した領域の軌跡
を重ねて表示して、ユーザが該検出領域の軌跡を編集す
ることにより、アンカーを作成するアンカー編集工程と
を含むことを特徴とする動画像アンカー作成方法が得ら
れる。

【００３５】また、本発明によれば、動画像を入力とし
て、ユーザによって指示された検出対象となるいくつか
の表示物体に対して、該入力動画像中に含まれる指示さ
れた表示物体と同じ特徴を持つ領域の位置を検出領域と
して検出する物体検出手段と、該検出領域を追跡する物
体追跡手段と、前記入力動画像上に、前記追跡した領域
の軌跡を重ねて表示して、ユーザが該検出領域の軌跡を
編集することにより、アンカーを作成するアンカー編集
手段とから構成された動画像アンカー作成装置が得られ
る。

【００３６】さらに、本発明によれば、動画像を入力と
して、ユーザによって指示された検出対象となるいくつ
かの表示物体に対して、該入力動画像中に含まれる指示
された表示物体と同じ特徴を持つ領域の位置を検出領域
として検出する物体検出手続きと、該検出領域を追跡す
る物体追跡手続きと、前記入力動画像上に、前記追跡し
た領域の軌跡を重ねて表示して、ユーザが該検出領域の
軌跡を編集することにより、アンカーを作成するアンカ
ー編集手続きとをコンピュータに実行させるためのプロ
グラムを記録した動画像アンカー作成用記録媒体が得ら
れる。

【００３７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面に基づいて詳細に説明する。

【００３８】図１は本発明の一実施の形態に係わる動画
像アンカー作成システムの構成を示すブロック図であ
る。ここでは、図２に示したような動画像信号１が入力
されるものとして説明する。尚、図１に示す動画像アン
カー作成システムを実現するプログラムは、記録媒体
（図示せず）に記録されていても良い。ここで、「記録
媒体」とは、プログラムを記録したコンピュータ読み取
り可能な記録媒体のことをいい、具体的には、ＣＤ−Ｒ
ＯＭ、フロッピーディスクなどの磁気ディスク、半導体
メモリなどを含む。さらに、記録媒体はプログラムを記
録した紙や紙テープでも良い。記録媒体が紙である場合
には、コンピュータはＯＣＲ（光学的文字読取装置）の
ような読取装置と、この読取装置で読み取った文字（コ
ード）をコンピュータが認識できる機械言語に翻訳する
コンパイラとを備えていれば良い。

【００３９】図示の動画像アンカー作成システムは、大
まかに、物体検出手段１６、物体追跡手段１７、および
アンカー編集手段１８の３つに分けることができる。物
体検出手段１６は、動画像を入力として、ユーザによっ
て指示された検出対象となるいくつかの表示物体に対し
て、その入力動画像中に含まれる指示された表示物体と
同じ特徴を持つ領域を検出領域として検出する。物体追
跡手段１７は、その検出領域を追跡する。アンカー編集
手段１８は、入力動画像上に、追跡した領域の軌跡を重
ねて表示して、ユーザがその検出領域の軌跡を編集する
ことにより、アンカーを作成する。

【００４０】物体検出手段１６は、サンプル画像選択手
段５０と、サンプル学習手段５１と、背景学習手段５２
と、閾値生成手段５３と、閾値記憶手段５４と、閾値処
理手段５５と、領域特徴計算手段５６と、動画記憶・再
生手段６１とから構成されている。

【００４１】サンプル画像選択手段５０は動画像信号１
とサンプル指示信号２０とを入力とし、検出対象となる
表示物体を動画像の中から指示して、サンプル画像信号
２４を出力する。

【００４２】図４にサンプル画像選択手段５０の作業画
面例を示す。サンプル画像選択手段５０では、動画像信
号１から、適当な時間間隔などで間引いた画像を取得し
ておいて表示する。今、魚３を、アンカー名「魚Ａ」と
してサンプルを与えるとする。ユーザはアンカー名入力
欄４０に「魚Ａ」として入力するとともに、動画像信号
１上で魚３を囲むようにして切り出し矩形信号４１を設
定する。切り出された画像は補助編集画面信号３７とし
て表示されるので、更にユーザは切り出し曲線信号４２
に沿って魚３の輪郭を詳細に切り出す。最終的に切り出
した結果は、物体切り出し画面信号３８として確認のた
めに表示するとともに、サンプル画像信号２４として出
力される。

【００４３】サンプル学習手段５１はサンプル画像信号
２４を入力として、サンプル画像の色や輝度を積分した
サンプル特徴を生成し、このサンプル特徴を示すサンプ
ル特徴信号２５を出力する。また、背景学習手段５２
は、動画像信号１を入力として、画面全体での色や輝度
を積分した背景特徴を生成し、この背景特徴を示す背景
特徴信号２６を出力する。閾値生成手段５３は、サンプ
ル特徴信号２５と背景特徴信号２６とを入力とし、両方
の特徴の積分値の比を計算して、この比を示す閾値信号
２７を出力する。

【００４４】以上の処理の説明図を図５に示す。サンプ
ル学習手段５１では、図４により切り出した魚３のサン
プル画像を利用して、図５の左上に示した輝度値の出現
頻度ヒストグラムを作成する。同様に背景学習手段５２
では、図５の右上に示した動画像信号１の輝度値の出現
頻度ヒストグラムを作成する。それぞれのヒストグラム
は、表示物体と背景における輝度値の出現頻度であるこ
とから、ある輝度値を持つ画素が、表示物体らしいか背
景らしいかの判定に使えることがわかる。そこで閾値生
成手段５３では、各輝度値における魚３と背景との出現
頻度の比を、輝度値毎の魚３らしさとして計算し、図５
の下の尤度ヒストグラムとして求めた後、あらかじめ与
えておいた閾値により二値化して閾値信号２７として出
力する。

【００４５】閾値記憶手段５４は閾値信号２７を入力と
して閾値を記憶しておき、適宜、閾値を示す閾値信号２
８を出力する。動画記憶・再生手段６１は、動画像信号
１と再生指示信号２１とを入力として、動画像信号１を
記憶しておくとともに、再生指示が届くと、記憶した信
号を再生し動画像信号３５として出力する。閾値処理手
段５５は、動画像信号３５と閾値信号２８とを入力と
し、画素毎に閾値処理を施して検出対象物体を検出し、
この検出対象物体を示す領域画像信号２９を出力する。
領域特徴計算手段５６は、検出した画像上の領域の重心
位置や面積、形状特徴を計算し、これら特徴を示す領域
特徴信号３０を出力する。

【００４６】図２から得られる領域画像の例を図６に示
す。魚２〜４にそれぞれ対応する検出領域４３〜４５
と、検出したい対象ではないが間違って検出されてしま
った検出領域４６とが画像上に示されている。領域特徴
計算手段５６はこれら検出領域４３〜４６の重心位置や
面積などの領域特徴を計算して出力する。

【００４７】以上では検出対象の輪郭をユーザに指定さ
せるとともに、輪郭内の輝度・色をヒストグラムに積分
した特徴により閾値処理によって、物体検出を行なって
いる。これらにより従来の検出性能が、背景などの影響
で初期設定したアンカーに大きく依存する問題点を解消
している。また動画像シーケンスにおいて、適宜、ユー
ザに表示物体を指示させることで、初期アンカーをどの
フレームに対して与えるのかをユーザに選ばせる必要が
なくなっている。上記の例では動画像全体に対して適用
するヒストグラムを各表示物体に対して一つづつ作成す
ることとしたが、時系列で異なるヒストグラムを作成し
ておくことで、更に適応的な物体検出手段１６を構築す
ることも可能である。

【００４８】物体追跡手段１７は、領域特徴差分評価手
段５７と、領域特徴予測手段５８と、フレーム遅延手段
５９と、最適領域軌跡選択手段６０とから構成されてい
る。

【００４９】領域特徴予測手段５８は、領域特徴信号３
０と、後述する物体軌跡信号３４とを入力とし、これま
での各領域の特徴の変化から、次のフレームでの特徴を
予測して、この予測した次のフレームの特徴を示す領域
特徴予測信号３１を出力する。フレーム遅延手段５９
は、領域特徴予測信号３１を入力とし、１フレーム分信
号を遅延させて、遅延領域特徴予測信号３２を出力す
る。領域特徴差分評価手段５７は、領域特徴信号３０
と、遅延領域特徴予測信号３２とを入力とし、現フレー
ムでの領域特徴と、前フレームまでの軌跡から予測した
領域特徴との差分を計算して、この差分を示す領域特徴
評価信号３３を出力する。最適領域軌跡選択手段６０
は、領域特徴評価信号３３を入力として、予測軌跡に一
番尤もらしい領域を選択して新しい軌跡とし、この新し
い軌跡を示す物体軌跡信号３４を出力する。

【００５０】以上の処理の説明図を図７に示す。領域特
徴予測手段５８では領域軌跡４７に基き、次のフレーム
での領域の位置を、予測位置４８と予測する。予測の方
法はフレーム間の位置変位（動き）を、あらかじめ与え
ておいたフレーム数だけ遡り平均したり、「応用カルマ
ンフィルタ」（片山徹、朝倉書店、1983年）（以下、文
献４と呼ぶ）に記載されているような、ウィーナフィル
タやカルマンフィルタなどを用いることができる。他に
も検出領域の面積や形状の特徴なども同様に予測するこ
とも可能である。領域特徴差分評価手段５７では、前フ
レームまでの軌跡から予測した位置４８と、現フレーム
での各領域中心位置８０〜８３との差分を計算する。最
適領域軌跡選択手段６０では、差分が最も小さく、一番
尤もらしい領域中心位置８１を、これまでの軌跡に連な
る領域の位置であると判定する。

【００５１】上述した説明では一つの軌跡について説明
してきたが、複数の軌跡についても同様な処理を行なう
ことが可能である。また複数軌跡の追跡として、例えば
「AnEfficient Implementation of Reid's Multiple Hy
pothesis Tracking Algorithm and Its Evaluation for
the Purpose of Visual Tracking」(I.J. Cox andS. H
ingorani, IEEE Transactions on Pattern Analysis an
d Machine Intelligence, Vol.18 (2) pp.138-150 (199
6)）（以下、文献５と呼ぶ）に記載されている方式を利
用することができる。

【００５２】アンカー編集手段１８は、領域軌跡記憶・
再生手段６２と、動画像・領域軌跡合成表示手段６３
と、アンカー記憶手段６４と構成されている。

【００５３】領域軌跡記憶・再生手段６２は、物体軌跡
信号３４と再生指示信号２１と記録指示信号４９とを入
力とし、記録指示が到着すると表示物体の軌跡を随時記
憶し、再生指示が到着すると記録した表示物体の軌跡を
再生し、この再生した表示物体の軌跡を示す物体軌跡信
号３６を出力する。動画像・領域軌跡合成表示手段６３
は、動画像信号３５と物体軌跡信号３６とアンカー位置
・軌跡編集信号２２と後述するアンカー位置・軌跡信号
８４とを入力とし、動画像信号の上に表示物体の軌跡を
重ねて表示するとともに、ビジュアルにアンカー位置や
軌跡の編集を行ない、編集後のアンカー位置や軌跡を示
すアンカー位置・軌跡信号８５を出力する。アンカー記
憶手段６４は、アンカー位置・軌跡編集信号２２とアン
カー位置・軌跡信号８５とを入力とし、アンカー位置・
軌跡信号８４を出力し、画面上で編集したアンカー位置
と軌跡を動画像・領域軌跡合成表示手段６３とやりとり
しながら正しいアンカー位置を記憶し、最終的なアンカ
ー位置を示すアンカー出力信号２３を出力する。

【００５４】以上の処理の説明図を図８に示す。図８上
には動画像信号３５と、検出した表示物体のアンカー軌
跡８６〜９０までがともに表示されている。従来のアン
カー作成システムでは、フレームごとに該フレームでの
単一の表示物体のアンカーを表示するだけであった。こ
れに対して、本発明では、複数の表示物体の軌跡の一定
時間内の履歴を一度に表示・編集可能とすることで、ア
ンカー作成の作業工数を大幅に削減している。

【００５５】フレーム位置制御バー１２上のフレーム位
置制御ボタン１３をあやつり、画像上の表示物体のアン
カー軌跡を確認しながら、アンカー軌跡とアンカー名と
の間の関係づけを行なってゆく。例えば魚２はアンカー
軌跡８６と示されたように、画像処理による検出がたや
すいところを泳いでいる。この場合、一度アンカー名選
択ボックス９１の中からアンカー名と、アンカー軌跡８
６との間を関連付けてやれば、後はシーンを通じて確認
作業を行なうだけでアンカー作成作業は終了する。同様
に魚３についてのアンカー軌跡８７も簡単な関連付けを
行なうだけでアンー作成作業を終了することができる。
関連付けした軌跡は、アンカー名ごとに色づけ表示する
などの工夫をすることにより、確認作業工数を大幅に削
減することが可能となる。

【００５６】魚４に対しては、アンカー軌跡８８と８９
がともに対応することになる。従来技術ではこのように
途中で見えなくなるような状況には対応できなかった
が、本発明の実施の形態では軌跡がそれぞれ検出可能で
あるので、あとからまとめてアンー名と対応づけを行な
うだけで、簡単にアンカー作成が可能となる。

【００５７】アンカー軌跡９０は、ノイズなどの影響で
たまたま現われた軌跡である。これはアンカー名との間
の関係づけを行なわない（何もしない）ことで簡単に除
去できる。

【００５８】

【発明の効果】以上の説明から明らかなように、本発明
では、ユーザによって指示された検出対象となるいくつ
かの表示物体に対して、入力動画像中に含まれれる指示
された表示物体と同じ特徴をもつ領域の位置を検出し、
この検出した領域を追跡し、入力動画像上に、この追跡
した領域の軌跡を重ねて表示して、ユーザがこの領域の
軌跡を編集することにより、アンカーを作成しているの
で、動画像上の表示物体に対して容易にアンカーを生成
できるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る動画像アンカー作
成システムの構成を示すブロック図である。

【図２】動画像アンカー生成システムの入力となる動画
像の一例を示す図である。

【図３】従来技術であるアンカー生成編集画面の説明図
である。

【図４】サンプル画像を与えるサンプル画像選択画面の
説明図である。

【図５】表示物体検出のための閾値用ルックアップテー
ブル生成手順の説明図である。

【図６】動画像から検出した領域の説明図である。

【図７】領域追跡の説明図である。

【図８】アンカー編集の説明図である。

【符号の説明】

１ 動画像信号 ２〜４ 魚 ５〜７ アンカー ８ 海草 ９ 開始フレーム １０ 終了フレーム １１ 中間点群 １２ フレーム位置制御バー １３ フレーム位置制御ボタン １４ 編集補助バー １５ アンカー編集画面 １６ 物体検出手段 １７ 物体追跡手段 １８ アンカー編集手段 ２０ サンプル指示信号 ２１ 再生指示信号 ２２ アンカー位置・軌跡編集信号 ２３ アンカー出力信号 ２４ サンプル画像信号 ２５ サンプル特徴信号 ２６ 背景特徴信号 ２７，２８ 閾値信号 ２９ 領域画像信号 ３０ 領域特徴信号 ３１ 領域特徴予測信号 ３２ 遅延領域特徴予測信号 ３３ 領域特徴評価信号 ３４ 物体軌跡信号 ３５ 動画像信号 ３６ 物体軌跡信号 ３７ 補助編集画面信号 ３８ 物体切り出し画面信号 ３９ サンプル画像選択画面 ４０ アンカー名入力欄 ４１ 切り出し矩形信号 ４２ 切り出し曲線信号 ４３〜４６ 検出領域 ４７ 領域軌跡 ４８ 予測位置 ４９ 記録指示信号 ５０ サンプル画像選択手段 ５１ サンプル学習手段 ５２ 背景学習手段 ５３ 閾値生成手段 ５４ 閾値記憶手段 ５５ 閾値処理手段 ５６ 領域特徴計算手段 ５７ 領域特徴差分評価手段 ５８ 領域特徴予測手段 ５９ フレーム遅延手段 ６０ 最適領域軌跡選択手段 ６１ 動画記憶・再生手段 ６２ 領域軌跡記憶・再生手段 ６３ 動画像・領域軌跡合成表示手段 ６４ アンカー記憶手段 ８０〜８３ 領域中心位置 ８４，８５ アンカー位置・軌跡信号 ８６〜９０ アンカー軌跡 ９１ アンカー名選択ボックス

フロントページの続き (56)参考文献 特開 平10−187759（ＪＰ，Ａ) 特開 平８−123816（ＪＰ，Ａ) 特開 平７−64847（ＪＰ，Ａ) 特開 平６−215047（ＪＰ，Ａ) 特開 平６−215046（ＪＰ，Ａ) 特開 平６−208500（ＪＰ，Ａ) 特開 平６−4390（ＪＰ，Ａ) 国際公開97／48068（ＷＯ，Ａ１) 欧州特許出願公開788063（ＥＰ，Ａ ２) 神田準史郎、脇本浩司、阿倍博伸、田 中聡、「動画ハイパーメディアシステム におけるアンカー自動設定方法とその評 価」，電子情報通信学会技術研究報告Ｖ ｏｌ．96，Ｎｏ．492（ＰＲＭＵ96− 146）（平成９年１月24日），ｐｐ．41 −46 平田恭二、川崎成人、高野元、原良 憲、「ネットワーク環境下における動画 ハイパーメディア実装方式」，アドバン スト・データベースシステムシンポジウ ム’94本会議（平成６年12月７日），ｐ ｐ．165−173 紺谷精一、三浦史光、佐藤哲司、片岡 良治、「マルチメディア情報システムに おける動画像オブジェクトの管理モデ ル」，情報処理学会第49回（平成６年後 期）全国大会講演論文集（３）（平成６ 年９月28日），ｐｐ．331−332 伊藤真也、田中譲、「ビデオ画像に対 する一連処理のステージパッドによるコ ーディネーション」，情報処理学会研究 報告Ｖｏｌ．94，Ｎｏ75（94−ＩＭ− 18）（平成６年９月９日），ｐｐ．９− 16 高野元、的場ひろし、原良憲、「ビデ オ・ハイパーメディアのナビゲーション 方式」，第８回ヒューマン・インタフェ ース・シンポジウム論文集（平成４年10 月21日），ｐｐ．607−612 高野元、的場ひろし、原良憲、「ビデ オデータ中に現れる物体をノードとする ハイパーメディア構成方式」，第７回ヒ ューマン・インターフェース・シンポジ ウム論文集 和文編（平成３年10月23 日），ｐｐ．301−306 脇本浩司、神田準史郎、阿倍博伸、田 中聡、「動画像解析を応用した対話型ビ デオ制作システム」，第３回画像センシ ングシンポジウム講演論文集（平成９年 ６月11日），ｐｐ．47−52 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 170 G06F 17/30 230 G06F 17/30 419 G06T 13/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】 動画像を入力する工程と、 ユーザが検出対象となる表示物体をいくつか指示して、
   該入力動画像中に含まれる指示された表示物体と同じ特
   徴を持つ領域の位置を検出領域として検出する物体検出
   工程と、 該検出領域を追跡する物体追跡工程と、 該入力動画像上に、該追跡した領域の軌跡を重ねて表示
   して、ユーザが該検出領域の軌跡を編集することによ
   り、アンカーを作成するアンカー編集工程とを含むこと
   を特徴とする動画像アンカー作成方法。
2. 【請求項２】 上記入力動画像と、検出した表示物体の
   軌跡とを表示する際に、編集の際に前記アンカーに名づ
   けたアンカー名毎に色付けして表示することを特徴とす
   る、請求項１に記載の動画像アンカー作成方法。
3. 【請求項３】 前記物体検出工程は、 ユーザから検出対象の指示を受け、検出対象のサンプル
   画像を作るサブ工程と、 該検出対象のサンプル画像からサンプルの特徴を学習す
   るサブ工程と、 該動画像から背景となる画像の特徴を学習するサブ工程
   と、 該サンプル特徴と該背景特徴とから、検出対象を取り出
   す閾値を計算するサブ工程と、 該閾値をもとにして表示物体であると思われる領域を検
   出するサブ工程と、 該検出した領域おのおのについて、特徴を計算するサブ
   工程とを含む、請求項１に記載の動画像アンカー作成方
   法。
4. 【請求項４】 前記物体追跡工程は、 これまでの検出した領域の特徴を入力として次のフレー
   ムでの領域の特徴を予測するサブ工程と、 予測した領域の特徴と、実際に検出した領域の特徴とを
   比較するサブ工程と、 予測に尤もマッチングする領域を選択して、領域の軌跡
   を決定するサブ工程とを含む、請求項３に記載の動画像
   アンカー作成方法。
5. 【請求項５】 前記アンカー編集工程は、 入力動画像と、検出した物体の軌跡、これまでの編集で
   得られたアンカー位置とを同時に合成して表示するサブ
   工程と、 ユーザの操作に応じてアンカーの位置を削除・追加など
   編集作業を行なうサブ工程とを含む、請求項４に記載の
   動画像アンカー作成方法。
6. 【請求項６】 前記アンカー編集工程は、上記入力動画
   像と、検出した表示物体の軌跡とを表示する際に、編集
   の際に前記アンカーに名づけたアンカー名毎に色付けし
   て表示するサブ工程を更に含む、請求項５に記載の動画
   像アンカー作成方法。
7. 【請求項７】 動画像を入力として、ユーザによって指
   示された検出対象となるいくつかの表示物体に対して、
   該入力動画像中に含まれる指示された表示物体と同じ特
   徴を持つ領域の位置を検出領域として検出する物体検出
   手段と、 該検出領域を追跡する物体追跡手段と、 前記入力動画像上に、前記追跡した領域の軌跡を重ねて
   表示して、ユーザが該検出領域の軌跡を編集することに
   より、アンカーを作成するアンカー編集手段とから構成
   された動画像アンカー作成装置。
8. 【請求項８】 物体検出手段は、 前記動画像を入力として記録し、要求に応じて再生する
   動画記録・再生手段と、 前記動画像と、ユーザから検出対象の指示とを受け、検
   出対象のサンプル画像を出力するサンプル画像選択手段
   と、 検出対象のサンプルとして提示された画像からサンプル
   の特徴を学習して出力するサンプル学習手段と、 該動画像を入力として背景となる画像の特徴を学習して
   出力する背景学習段と、 検出対象のサンプルの特徴と背景の特徴を入力とし、検
   出対象を取り出す閾値を生成して出力する閾値生成手段
   と、 生成した閾値を記憶して出力する閾値記憶手段と、 生成した閾値をもとにして表示物体であると思われる領
   域を検出して出力する閾値処理手段と、 検出した領域を入力として、各領域の特徴を計算する領
   域特徴計算手段とから構成されている、請求項７に記載
   の動画像アンカー作成装置。
9. 【請求項９】 物体追跡手段は、 これまでの検出した領域の特徴を入力として次のフレー
   ムの領域の特徴を予測する領域特徴予測手段と、 予測した領域の特徴をあらかじめ定めたフレーム分だけ
   遅延させるフレーム延手段と、 遅延させた領域の予測特徴と、検出した領域の特徴との
   差分を計算して出力る領域特徴差分評価手段と、 特徴の差分を入力として、予測に尤もマッチングする領
   域を選択し、領域の軌跡を決定して出力する最適領域軌
   跡選択手段とから構成されている、請求項８に記載の動
   画像アンカー作成装置。
10. 【請求項１０】 アンカー編集手段は、 物体の軌跡を入力として記録し、要求に応じて再生する
    領域軌跡記憶・再生手段と、 再生された動画像と物体の軌跡、これまでの編集で得ら
    れたアンカー位置とを同時に合成して表示し、ユーザの
    操作に応じてアンカーの位置を削除・追加など編集作業
    を行なう動画像・領域軌跡合成表示手段と、 編集したアンカー位置や軌跡を入力として記憶してお
    き、必要に応じて出力すると共に、編集終了後に編集済
    みアンカーとして出力するアンカー記憶手段とから構成
    されている、請求項９に記載の動画像アンカー作成装
    置。
11. 【請求項１１】 上記動画像・領域軌跡合成表示手段
    は、編集の際に前記アンカーに名づけたアンカー名毎に
    色付けして表示することを特徴とする、請求項１０に記
    載の動画像アンカー作成装置。
12. 【請求項１２】 動画像を入力として、ユーザによって
    指示された検出対象となるいくつかの表示物体に対し
    て、該入力動画像中に含まれる指示された表示物体と同
    じ特徴を持つ領域の位置を検出領域として検出する物体
    検出手続きと、 該検出領域を追跡する物体追跡手続きと、 前記入力動画像上に、前記追跡した領域の軌跡を重ねて
    表示して、ユーザが該検出領域の軌跡を編集することに
    より、アンカーを作成するアンカー編集手続きとをコン
    ピュータに実行させるためのプログラムを記録した動画
    像アンカー作成用記録媒体。
13. 【請求項１３】 前記物体検出手続きは、 ユーザから検出対象の指示を受け、検出対象のサンプル
    画像を作るサブ手続きと、 該検出対象のサンプル画像からサンプルの特徴を学習す
    るサブ手続きと、 該動画像から背景となる画像の特徴を学習するサブ手続
    きと、 該サンプル特徴と該背景特徴とから、検出対象を取り出
    す閾値を計算するサブ手続きと、 該閾値をもとにして物体であると思われる領域を検出す
    るサブ手続きと、 該検出した領域おのおのについて、特徴を計算するサブ
    手続きとを含む、請求項１２に記載の動画像アンカー作
    成用記録媒体。
14. 【請求項１４】 前記物体追跡手続きは、 これまでの検出した領域の特徴を入力として次のフレー
    ムでの領域の特徴を予測するサブ手続きと、 予測した領域の特徴と、実際に検出した領域の特徴とを
    比較するサブ手続きと、 予測に尤もマッチングする領域を選択して、領域の軌跡
    を決定するサブ手続きとを含む、請求項１３に記載の動
    画像アンカー作成用記録媒体。
15. 【請求項１５】 前記アンカー編集手続きは、 入力動画像と、検出した物体の軌跡と、これまでの編集
    で得られたアンカー位置とを同時に合成して表示するサ
    ブ手続きと、 ユーザの操作に応じてアンカーの位置を削除・追加など
    編集作業を行なうサブ手続きとを含む、請求項１３に記
    載の動画像アンカー作成用記録媒体。
16. 【請求項１６】 前記アンカー編集手続きは、編集の際
    に前記アンカーに名づけたアンカー名毎に色付けして表
    示するサブ手続きをさらに含む、請求項１５記載の動画
    像アンカー作成用記録媒体。