JP4273788B2 - 連続データへの付加データ付与支援装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像や音声などの連続データにユーザが注記などの付加データを付す操作を支援する技術に関する。
【０００２】
【従来の技術】
映像や音声などの連続データは日常において種々な用途に利用されているが、連続データを再生しながら行う編集、連続データを教材として再生しながら行う学習、連続データを会議記録として再生しながら行う確認業務などといった連続データを利用する作業では、当該連続データ中の所望部分にユーザが注記を行うためなどの目的で付加データを付与することが行われている。
【０００３】
ライブ映像に対してフリーフォームインクを使って注記をつけるシステムとしてＮｏｔｅ Ｌｏｏｋシステムが知られている。このシステムでは、ユーザーはライブストリームとして送られてくる映像を見ながら注記をつける場面を選択し、注記はその選択された画像(ライブストリームのスナップショット)に対して付けられる。注記が付けられた画像の時間情報を注記とともに保存して、注記の付けられた画像をユーザーが選択することで、その画像に付随する時問情報を使ってその時間からビデオ再生を可能としている（非特許文献１参照。）。
【０００４】
また、Ｎｏｔｅ Ｌｏｏｋと異なり、ライブストリームではなく事前に録画されたビデオ映像に対する注記を付与するためのシステムとしてＭＲＡＳ（Microsoft Research Annotation System)が知られている。このシステムでは、注記はその注記が付けられ始めた時問情報とともにシステムに保存され、後ほど注記をもとにその注記が付けられた時点からのビデオ再生が可能となっている（非特許文献２参照。）。
【０００５】
また、ユーザーがビデオに対して付ける注記のタイプとして「テキスト」、「画像」、「ビデオ」及び「リンク」を付けることができるシステムとして、ＡｎｔＶシステムが知られている。このシステムでは、注記はビデオ中の或る時点の要素（ビデオショット）とその要素上での場所と関係付けられ、後に、ユーザーはビデオと注記を同期させながら再生することや、ビデオと注記を組み合わせて新規のビデオを作成することなどができる（非特許文献３参照。）。
【０００６】
また、注記を付けるためのシステムではないが、録画された映像情報を解析した結果を利用して、時問的に連続したビデオ情報を空問的に広がる二次元情報としてユーザに提示するシステムとしてＶｉｄｅｏ Ｍａｎｇａシステムが知られている。このシステムでは、解析結果を利用して或る程度意味のあるビデオ情報を固まりとしてまとめ、その固まりを代表するビデオ映像のスナップショットを設定して複数のスナップショットが一覧表示されるようにする。そして、一覧表示から任意のスナップショットを選択することで、ビデオのような連続データヘのランダムアクセスを容易にするインターフェースを提供している（非特許文献４参照。）。
【０００７】
また、ミーテイングなどの共同作業が行われている様子を各種メデイアを用いて記録保存し、この記録を再生する際に、その共同作業中に発生したイベント情報（注記の付与も含む）を利用することで、各種メディア問の再生を同期させたり、重要な個所の再生を簡便に行わせたり、更には記録を編集するためのインターフェースを提供する発明が提案されている（特許文献１参照。）。
【０００８】
【特許文献１】
特開平９―１７９７０９号公報
【非特許文献１】
Patrick Chiu, etal., "Note Look : Taking Notesin Meetings with Digital Video and lnk, "Proc.ACM Multimedia '99, pp.149-158, October 1999
【非特許文献２】
David M.Bargeron, etal., "Annotations for Streaming Video on the Web; System Design and Studies, "Proc. WWW8, pp.61-75, May 1999
【非特許文献３】
Nuno Correia and Teresa Chambel, "Active Video Watching using Annotation, "Proc, ACM Multimedia ’99, pp,151-154. October 1999
【非特許文献４】
Shingo Uchihashi, etal.,“Video Manga : generating semantically meaningful video summaries, "Proc.ACM Mu1timedia,’99, pp.383-392, October 1999
【０００９】
【発明が解決しようとする課題】
連続データに対する注記の付与に関して上記のような種々なシステムが提案或いは提供されているが、従来では、次ぎのような課題が未だ解決されていなかった。
まず、ビデオや音声と言った連続データに対して注記（テキスト、音声、フリーフォームインク等）を付ける場合に連続データの再生を続けたままで注記付与の操作を行うと、注記付与操作を行っている間（すなわち、当該注記付与の操作が完了する前）に視聴ユーザが注記を付けようとした部分を超えて再生されてしまい、視聴ユーザは再生部分を適切な位置に戻してから改めて再生を開始させなければならない、或いは、注記付与操作を連続データの再生時間に合わせて急いで行わなければならないといった問題があった。
【００１０】
これに対して、連続データの再生を一時停止させてから注記付与の操作を行うようにすれば上記の問題はなくなるが、注記を付けるためにわざわざ連続データの再生を一時停止させる操作を行うため、再生されている連続データの内容を理解或いは解釈するというユーザの行為が阻害されてしまうという問題がある。更に、注記を入力した後に一時停止させた連続データの再生を開始すると、再生再開直後の部分で音声や映像が前の部分と不連続な状態が生じ（すなわち、連続データによる内容の連続性が損なわれたり、連続情報の再生に乱れが生じたりして)、再生が再開された内容を直ぐには理解し難くなって、結果として、少し再生位置を戻して再生を再開するといった煩雑で余計な時問がかかる操作を行わなければならなかった。
【００１１】
従来技術においては、ミーテイング中に発生したイベントを利用することで記録したメディアデータヘのアクセスを簡便にする方法や、連続データの解析結果を利用した連続データヘのランダムアクセスを容易にする方法、或いは、注記を利用した連続データの編集方法が開示されているが、本発明は従来技術と異なり、連続データの解析結果を利用することにより付加データ付与作業そのものをより簡便に行う手段を提供するものである。
すなわち、本発明は上記従来の事情に鑑みなされたもので、連続データの再生を制御することにより、ユーザによる連続データに対する注記などの付加データの付与操作を支援することを目的としている。
なお、本発明の更なる目的は以下の説明において明らかなところである。
【００１２】
【課題を解決するための手段】
本発明は、付加データ付与支援装置、当該装置をコンピュータにより実現するプログラム、情報処理技術を利用して実施される付加データ付与支援方法として実現することができ、再生されている連続データに対してユーザからの付加データ付与操作を受け付け、付加データ付与操作の入力に応答して、連続データの再生態様を当該付与操作に余裕を与えるように変更する。
【００１３】
連続データの再生態様は、付与操作に時間的に余裕を与えられるものであれなよく、例えば、連続データの注釈を付与する部分の再生終了時に注釈付与操作が終了していない時には連続データの再生を停止させる、付加データ付与操作の入力タイミング位置から連続データの再生速度を低下させる、これらを組み合わせて、操作入力のタイミング位置から連続データの再生速度を低下させて、操作が終了していない時には連続データの再生を停止させる、などの方法を採用することができる。
ここで、注釈付与操作が終了していない時には連続データの再生を停止させる態様にあっても、ユーザは付与操作とともに再生停止操作を行わなければならないという従来の煩雑な状況から開放されるが、特に、連続データの再生速度を低下させる態様であれば、再生再開直後の始動部分で連続データが不連続な状態で再生されるという不具合も解消される。
【００１４】
また、再生停止や再生速度の低下などで余裕を与えて付与操作が完了すれば、ユーザが再生再開や再生速度を戻すなどの元の態様への復帰操作を行っても、付与操作と復帰操作とが時間的に重ならないためユーザ操作を煩雑化させることはない。このため、本発明では、ユーザ操作によって再生態様を元に復帰させるようにしてもよいが、付与操作の完了に応答して自動的に元の再生態様に復帰させるようにすれば、ユーザが付与操作により集中することができ、作業性がより向上する。
【００１５】
なお、付加データを対応付け付与する連続データ中の部分としては、本発明では任意でよいが、例えば、映像データであれば、人物などのオブジェクトが映っている連続部分（場面）、カメラアングルの切替えを区切りとした部分、映像フレーム間の相関度の差が大きくなる構図の変化を区切りとした部分、映像データに撮影時に或る間隔で付与されたシーンＩＤで区切られる部分などが採用でき、また、音響データであれば、マイクロフォンの切替えを区切りとした部分、声紋によって判別できる話者の切替えを区切りとした部分、或る時間以上の無音状態を区切りとした部分などが採用できる。
【００１６】
また、このような連続データの部分に付加データを対応付け付与する態様としては、本発明では任意でよいが、例えば、ユーザによる付与操作が開始された時点、付与操作が開始された時点から該当部分の終了時点又は或る時間後まで、ユーザによる付与操作が開始又は完了した時点、付与操作が開始又は完了した時点から該当部分の先頭時点又は或る時間前まで、操作の開始や完了時点に係わらずに該当部分の先頭や終了部或いは中間部といったように、必要に応じて任意に設定すればよい。
【００１７】
また、付加データの種類としては、連続データにユーザが付加しようとするものであれば任意であるが、例えば、コメント記述、コメント音声、関連画像、参照リンク、バックグラウンドとしての音楽や画像などが考えられる。
【００１８】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
図１には本発明の一実施例に係る付加データ付与支援装置の構成を示してあり、本例では音声を含む映像データに付加データとして注記を付与するものとしている。
本例の付加データ付与支援装置は、連続データ保存部１、連続データ解析部２、解析結果保存部３、再生制御部４、出力部５、注記入力部６、注記データ保存部７、対応付けデータ保存部８を有している。これら機能部は専用装置として構成してもよいが、本例では、本発明に係る処理を行う機能部はコンピュータにより本発明に係る処理プログラムを実行することにより実現されている。
【００１９】
連続データ保存部１は、読み書き自在なメモリで構成されており、連続データ（映像データ）を保持する。
連続データ解析部２は、非特許文献４などでも知られるような公知の手法によって、連続データを或る意味の共通性や場面などで纏められる部分に区切りを付ける解析を行う。例えば図３に示すように、連続データをＡ、Ｂ、Ｃ、Ｄ、・・の部分として解析し、これら部分Ａ、Ｂ、Ｃ、Ｄ、・・の区切りとなる再生時間位置Ｔ1〜Ｔ2、Ｔ2〜Ｔ3、Ｔ3〜Ｔ4、Ｔ4〜Ｔ５、・・を解析し、その結果を出力する。
【００２０】
なお、例えば連続データに予め場面などの部分毎にＩＤなどが付されて部分分けにされている場合には当該解析は省略することができ、後述する再生制御において当該区切りのＩＤなどで部分データを認識すればよい。
また、図３に示すａ、ｂ、ｃは、それぞれ部分Ａ、Ｂ、Ｄに付与される注記である。
【００２１】
解析結果保存部３は、読み書き自在なメモリで構成されており、連続データ解析部２による解析結果を保持する。解析結果は、例えば図２（ａ）に示すようなものであり、連続データを構成している部分Ａ、Ｂ、Ｃ、Ｄ、・・毎の区切り（本例では、再生時間位置）Ｔ1〜Ｔ2、Ｔ2〜Ｔ3、Ｔ3〜Ｔ4、Ｔ4〜Ｔ５、・・を含んでいる。
【００２２】
再生制御部４は、注記データの付与操作において、連続データ保存部１に保持された連続データを再生するとともに、解析結果保存部３に保持された解析結果や注記入力部６からの操作入力に基づいて、当該連続データの再生態様を制御する。
また、本例の再生制御部４は、注記が付与された連続データの再生において、連続データ保存部１に保持された連続データを再生するとともに、対応付けデータ保存部８に保持された対応付けデータに基づいて、注記データ保存部７に保持された対応する注記データを再生する処理も行うこともできる。
【００２３】
出力部５は画像の画面や音響のスピーカ出力により連続データをユーザに対して出力する処理を行い、注記入力部６はキーボードやポインティングデバイス或いはマイクロフォンなどによるユーザからの注記データの付与操作を受ける処理を行う。
注記データ保存部７は、読み書き自在なメモリで構成されており、再生制御部４を通して注記入力部６から入力された注記データの実データを図２（ｂ）に示すようにそれぞれ番号（Ｎｏ）で識別して保持する。
【００２４】
なお、本例では、ユーザがテキストや音声などの注記（実データ）を注記入力部６によりその場で入力して注記データ保存部７に保持するが、ユーザは連続データの所望部分へ注記データを設定する指定操作を行い、これに応じて注記データ保存部７に予め用意された注記データ（実データ）を連続データの指定部分に対応付けるようにしてもよい。
また、本発明は注記データ付与操作のための連続データの再生制御が要旨であるので、注記データの再生については、連続データと注記データ及び対応付けデータはセットとして出力し、これに基づいて、別の装置で注記の再生を伴う連続データの再生を行うようにしてもよい。
【００２５】
対応付けデータ保存部８は、読み書き自在なメモリで構成されており、再生制御部４で作成された対応付けデータを保持する。この対応付けデータは、図２（ｃ）に示すように、連続データ中の部分に付与された注記データの番号（Ｎｏ）と、その操作タイミングとを含んでおり、これによって、付与された注記がそれぞれ連続データ中の時間位置で対応付けられている。
なお、本例の対応付けデータはこのようなものであるが、対応付けデータは連続データ中の部分に対してそれぞれの注記を対応付けられればよく、例えば、連続データの部分ＩＤに対して注記ＩＤを対応付けるなど種々な方法を採用することができる。
【００２６】
次に、上記構成の付加データ付与支援装置による処理を説明する。
まず、連続データが連続データ保存部１と連続データ解析部２とに入力され、連続データ保存部１ではこのデータをそのまま保存する。一方、連続データ解析部２ではこの連続データを上記のような手法により解析し、その結果（図２（ａ））を解析結果保存部３に保存する。なお、連続データは、Ｗｅｂ上やデータベースなど、種々なソースから入力することができる。
再生制御部４は、解析結果保存部３から得られる解析結果を参照しながら、連続データ保存部１から得られる対応する連続データの再生を制御し、出力部５からユーザに対して出力する。
【００２７】
出力部５から再生出力している連続データに対して、注記入力部６からユーザによって注記入力操作がなされると、再生制御部４は解析結果に基づいて注記入力操作があった場面を含む部分データの再生態様を制御して、当該操作が当該部分データの再生を超えない範囲で完了するように時間的な余裕を形成する。
そして、再生制御部４は、ユーザから入力された注記データを注記データ保存部７に保存するとともに（図２（ｂ））、保存した注記データの入力操作タイミングと当該注記データの番号とを対応付けるデータを作成して対応付けデータ保存部８に保存する（図２（ｃ））。
【００２８】
このような処理によって、ユーザは再生されている連続データに対して、その所望の部分を超えて再生されてしまうことなく注記を付与することができる。そして、再生制御部４は連続データ保存部１に保持された連続データを、注記データ保存部７及び対応付けデータ保存部８に保持されたデータに基づいて、対応する注記に同期させて再生することができる。
【００２９】
上記再生制御部４による再生態様の制御は、上記のように種々な方法を採用することができるが、幾つかの代表的な例を以下により具体的に説明する。
まず、１つの例は、「意味的に関連すると擬制される部分を超えないように一時停止する」態様である。
この例では、録画されたビデオデータや録音された音声データの連続データを事前に解析し、意味的に関連すると思われる部分データに区分する。
【００３０】
そして、図４（ａ）に示すように、或る部分データの開始時刻をＴ1とし、その部分データの終了時刻をＴ2として、ユーザーがＴ1＜Ｔｓ＜Ｔ2である時刻Ｔｓから連続データに対する注記を記入し始めたとする。この場合、時刻Ｔ2に到達した時点でも未だ当該注記の入力操作が完了せずに行われているときには、再生制御部４が連続データの再生を時刻Ｔ2の時点で自動的に一時停止し、ユーザーが当該注記入力の操作を完了した時点で連続データの再生を自動的に再開する。すなわち、注記入力操作の完了時点Ｔｅが時刻Ｔ2に到達する以前となるように再生を一時停止する。
【００３１】
なお、ユーザによる注記入力部６からの完了操作入力、一纏りの注記データの入力のように操作完了とみなせる状態の検知、、注記入力部６からの所定時間以上の無入力状態などにより、再生制御部４は注記入力操作の完了を判定して連続データの再生を自動的に再開する。
【００３２】
他の例は、「ビデオ画像中のオブジェクトが消えないように一時停止する」態様である。
この例では、録画されたビデオ中に写されている人物、建物、文書などのオブジェクトを識別して、同じオブジェクトが映っている部分を区切りとして上記のような再生制御を行うものである。なお、オブジェクトの識別は、画像フレーム間の差分をとって、差分が大きくなったところをオブジェクトが消えた位置（部分の区切り）とするなど、公知の手法によって容易に行うことができる。
したがって、或るオブジェクトに関する注記を付す操作を容易に行うことができる。
【００３３】
また、他の例は、「注記入力操作に応じた再生速度の調整」である。
上記のように解析された連続データの或る部分について、図４（ｂ）に示すように、当該部分データの再生開始時刻がＴ1、その再生終了時刻がＴ2とし、ユーザがＴ1＜Ｔｓ＜Ｔ2である時刻Ｔｓから当該部分に対する注記を記入し始めたとする。
この場合、再生制御部４は、入力操作開始の時刻Ｔｓから当該入力操作完了の時刻Ｔｅまでの間の再生速度を低下させる制御を行う。
【００３４】
具体的には、図５（ａ）に示すように、入力操作開始の時刻Ｔｓから入力操作完了の時刻Ｔｅまでの期間で再生速度を直線的に減少させ、入力操作完了の時刻Ｔｅ以降は再生速度を同様に増大させて元の速度に戻す態様や、図５（ｂ）に示すように、入力操作開始の時刻Ｔｓから入力操作完了の時刻Ｔｅまでの期間で再生速度を徐々に減少するように曲線的に変化させ、入力操作完了の時刻Ｔｅ以降は再生速度を徐々に緩やかになるように曲線的に増大させて元の速度に戻す態様とする。
【００３５】
このように再生速度を制御することにより、入力操作を行うことができる時間が長くなり、当該操作入力を当該部分の再生が終了するまでに完了することができる。
なお、図５（ｂ）に示すように元の速度とあまり急激な変化がないように再生速度を変更するようにすれば、当該部分に後続する部分とつながりが良く、再生画像が乱れるなどの不具合を防止することができる。
また、再生速度の制御態様は入力操作に与えられる時間が長くなるようにすればよく、入力操作が開始されたときには一気に所定の再生速度に低下させる、入力操作が完了した時には元の再生速度に一気に戻す、再生速度を変化させていっても再生終了時刻Ｔ2で未だ入力操作が完了していない時には再生を一時停止させるなど、種々な態様で設定することができる。
【００３６】
【発明の効果】
以上説明したように、本発明によると、注記などの付加データの付与操作に対応して、連続データの再生を制御するようにしたため、ユーザによる付与操作に余裕を与えて、付加データ付与作業を容易化することができる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る付加データ付与装置の構成を示す図である。
【図２】 本発明の一実施例に係るデータ構成を説明する図である。
【図３】 連続データの部分と付加データとの関係を説明する図である。
【図４】 付加データ付与操作のタイミングを説明する図である。
【図５】 本発明の一実施例に係る再生速度制御を説明する図である。
【符号の説明】
１：連続データ保存部、 ２：連続データ解析部、
３：解析結果保存部、 ４：再生制御部、
５：出力部、 ６：注記入力部、
７：注記データ保存部、 ８：対応付けデータ保存部、
Ａ〜Ｄ：部分データ、 ａ、ｂ、ｃ：注記、

Claims (4)

1. 連続データの再生をユーザからの付加データ付与操作に基づいて制御する付加データ付与支援装置であって、
   再生されている連続データに対してユーザからの付加データ付与操作を受け付ける入力手段と、
   付加データ付与操作の入力に応答して、付加データ付与操作の入力タイミング位置から連続データの再生速度を低下させ、付加データ付与操作の完了に応答して、前記低下させた連続データの再生速度を徐々に元に戻す再生制御部と、
   を有することを特徴とする付加データ付与支援装置。
2. 請求項１に記載の付加データ付与支援装置において、
   前記再生制御部は、付加データ付与操作の入力に応答して、付加データ付与操作の入力タイミング位置から連続データの再生速度を徐々に低下させ、付加データ付与操作の完了に応答して、前記低下させた連続データの再生速度を徐々に元に戻すことを特徴とする付加データ付与支援装置。
3. 連続データの再生をユーザからの付加データ付与操作に基づいて制御する処理をコンピュータにより実現するプログラムであって、
   再生されている連続データに対してユーザからの付加データ付与操作を受け付ける受付機能と、
   付加データ付与操作の入力に応答して、付加データ付与操作の入力タイミング位置から連続データの再生速度を低下させ、付加データ付与操作の完了に応答して、前記低下させた連続データの再生速度を徐々に元に戻す再生制御機能と、
   をコンピュータに実現することを特徴とするプログラム。
4. 請求項３に記載のプログラムにおいて、
   前記再生制御機能は、付加データ付与操作の入力に応答して、付加データ付与操作の入力タイミング位置から連続データの再生速度を徐々に低下させ、付加データ付与操作の完了に応答して、前記低下させた連続データの再生速度を徐々に元に戻すことを特徴とするプログラム。

Images