JP2005167822A - 情報再生装置及び情報再生方法 - Google Patents

Abstract

【課題】 汎用的な記録媒体を用いて行われた会議等の様子を記録した動画像データ等の時系列情報をユーザが所望する部分から好適に再生することができる情報再生装置及び情報再生方法を提供する。
【解決手段】 動画像データを含む情報を保持し、複数の部分情報に区切るための区切り情報を決定する。そして、２つの前記区切り情報間の差分情報を生成し、生成された差分情報を含み、各差分情報を部分情報にリンクさせたリンク情報を生成して出力する。ここで、リンク情報中から一の差分情報を指定し、前記情報を指定された一の差分情報に対応付けられた部分から再生して出力する。
【選択図】 図１

Description

本発明は、動画像データや音声データを再生する情報再生装置及び情報再生方法に関する。

一般に、会社等における打ち合わせや会議、或いは講演等の内容を記録する方法として、講演シーンを撮影・録画したり、講演時の音声を録音したりすることによって、動画像データや音声データといった時間的な成分を有する情報（以下、「時系列情報」と称す。）として記録することがある。この方法によれば、従来から行われていた記録者等が筆記によって記録していた場合と比べて、漏れなく確実に会議の内容等の情報を残すことができる。また、会議内容等の情報だけでなく、その会議等の雰囲気、参加者の音声以外の背景音（環境音）、或いは発言者の独特な語調やニュアンス等といった筆記されたテキストによっては得ることが難しい情報も残すことができる。

しかしながら、このような会議や講演等を録画又は録音した時系列情報に対して、後日、当該情報中に含まれる所望の部分の情報を再生しようとする場合、瞬時に所望の部分を検索することが困難であるといった問題がある。例えば、数時間に及ぶ会議の様子を録音した録音テープから、ある議題について議論した部分を検索するためには、その部分をいつ頃議論したのかといった参加者や聴講者の記憶やメモ等を頼りにして、検索者が録音テープの再生や移動を繰り返して、所望の部分を検索する必要があるため、大変手間のかかる作業となる。

このような問題を解決する方法として、上記時系列情報の記録時又は記録後に、所定の時間間隔でトラック番号を指定したり、重要なイベントの時間をトラック開始時間と指定して保持しておき、再生時に所望のトラック番号を指定することによって、一般的な音楽ＣＤのようにそのトラック開始時間に瞬時に移動して再生するといった方法がある。しかし、この方法を用いた場合であっても、どのトラックにどのような情報が含まれているかを予め記憶していたり、別に記録して保持しておく必要があるといった問題は残る。

一方で、会議や講演時にタッチパネルディスプレイやホワイトボードに書かれた画像等と時系列情報をリンクさせる試みが行われている。そのような試みの一つとして、タッチパネルディスプレイ等に書かれた文字や図形等の情報を入力し、さらにこれらが入力された時間を記録し、再生時に上記情報をユーザに提示して上記情報に含まれる文字や図形等が指定された場合、その指定された部分が記録された時間から時系列情報を再生するような技術が知られている（例えば、特許文献１参照。）。
特開平５−３２７３２６号公報

しかしながら、上記特許文献１に記載の技術によれば、会議や講演等に用いられるホワイトボードやタッチパネルディスプレイ等の記録媒体に対して、上述したように文字や図形等の情報が描かれたときのそれらの位置やその時間とを対応付けて入力し、記録するような特別の装置等が必要である。すなわち、上記特許文献１に記載の技術を用いた場合であっても、会議等において一般的に用いられている紙等の記録媒体や、特殊な機能を有さないホワイトボード又はタッチパネルディスプレイ等の汎用的な記録媒体上に形成（描画）された文字や図形等の情報を有効に活用することはできない。

本発明は、このような事情を考慮してなされたものであり、汎用的な記録媒体を用いて行われた会議等の様子を記録した動画像データ等の時系列情報をユーザが所望する部分から好適に再生することができる情報再生装置及び情報再生方法を提供することを目的とする。

上記課題を解決するために、本発明は、動画像データを含む情報を再生する情報再生装置であって、
前記情報を保持する情報保持手段と、
前記情報を複数の部分情報に区切るための区切り情報を決定する決定手段と、
２つの前記区切り情報間の差分情報を生成する差分生成手段と、
生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成手段と、
前記リンク情報を出力するリンク情報出力手段と、
前記リンク情報中から一の差分情報を指定する指定手段と、
前記情報を前記一の差分情報に対応付けられた部分から再生する再生手段と、
再生された前記情報を出力する再生情報出力手段と
を備えることを特徴とする。

また、本発明は、動画像データ又は音声データの少なくともいずれか一方を含む情報を再生する情報再生装置であって、
前記情報を保持する情報保持手段と、
前記情報の記録中に併せて記録された区切り情報を保持する区切り情報保持手段と、
２つの前記区切り情報間の差分情報を生成する差分生成手段と、
生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成手段と、
前記リンク情報を出力するリンク情報出力手段と、
前記リンク情報中から一の差分情報を指定する指定手段と、
前記情報を前記一の差分情報に対応付けられた部分から再生する再生手段と、
再生された前記情報を出力する再生情報出力手段と
を備えることを特徴とする。

さらに、本発明は、動画像データを含む情報を再生する情報再生方法であって、
前記情報を記憶装置に保持する情報保持工程と、
前記情報を複数の部分情報に区切るための区切り情報を決定する決定工程と、
２つの前記区切り情報間の差分情報を生成する差分生成工程と、
生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成工程と、
前記リンク情報を出力するリンク情報出力工程と、
前記リンク情報中から一の差分情報を指定する指定工程と、
前記情報を前記一の差分情報に対応付けられた部分から再生する再生工程と、
再生された前記情報を出力する再生情報出力工程と
を有することを特徴とする。

さらにまた、本発明は、動画像データ又は音声データの少なくともいずれか一方を含む情報を再生する情報再生方法であって、
前記情報を記憶装置に保持する情報保持工程と、
前記情報の記録中に併せて記録された区切り情報を保持する区切り情報保持工程と、
２つの前記区切り情報間の差分情報を生成する差分生成工程と、
生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成工程と、
前記リンク情報を出力するリンク情報出力工程と、
前記リンク情報中から一の差分情報を指定する指定工程と、
前記情報を前記一の差分情報に対応付けられた部分から再生する再生工程と、
再生された前記情報を出力する再生情報出力工程と
を有することを特徴とする。

本発明によれば、汎用的な記録媒体を用いて行われた会議等の様子を記録した動画像データ等の時系列情報をユーザが所望する部分から好適に再生することができる。

以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る情報再生装置の構成を示すブロック図である。図１において、１０１は、音声データを含む動画像データ又は音声データを含まない動画像データを記録（撮影）する動画記録部であり、例えばビデオカメラ等の撮影装置でも実現できる。１０２は、動画記録部１０１が記録した動画像データを保持する動画保持部である。１０３は、保持されている動画像データを複数の部分に区切るための区切り時間をユーザが指定可能な区切り時間指定部である。

また、１０４は、保持されている動画像データから区切り時間指定部１０３で指定された区切り時間の画像に相当するフレーム画像を取り出して区切り画像とし、取り出された全区切り画像から互いに前後する２枚の画像間の差分画像を生成し、各差分画像から差分成分を部分画像領域として抽出し、抽出された部分画像領域に区切り時間指定部１０３で区切られた時間区分へのリンクが張られたリンク画像を作成するリンク画像作成部である。

また、１０５は、リンク画像作成部１０４によって作成されたリンク画像を保持するリンク画像保持部である。１０６は、リンク画像をユーザに対して表示するためのモニタ等の表示装置或いは外部モニタ等に出力するためのインタフェースであるリンク画像出力部である。

さらに、１０７は、リンク画像に含まれているユーザが再生を所望する部分の内容を含んだ部分画像領域を当該ユーザが指定可能なリンク画像領域指定部である。１０８は、動画保持部１０２に含まれている動画像データ或いは動画像データと音声データの両方を含む時系列情報を、指定された再生開始位置（区切り時間）から再生するように制御する時系列情報再生制御部である。１０９は、時系列情報再生制御部１０８によって再生するように制御された時系列情報を指定された再生開始位置（区切り時間）からユーザに対して出力するためのモニタ或いは外部モニタ等に出力するためのインタフェースである時系列情報出力部である。

次に、図１を用いて上述した構成を有する情報再生装置の処理の動作の流れについて説明する。

まず、会議等において説明等に用いられるために文字や図形等が描かれるホワイトボードやノート等を、ビデオカメラ等で実現される動画記録部１０１から当該会議等の始まりから終わりまで録画（記録）する。これにより、録画された動画像データ、或いは動画像データと音声データとを含む情報が時系列情報として動画保持部１０２に保持される。

次に、録画後の編集時において、ユーザは、録画された動画像データを再生しながら、例えば議論の切れ目やホワイトボードに記述した文字や図形等の区切りの良いところのようなユーザが所望する任意のタイミングで、区切り時間指定部１０３によって当該時系列情報の区切り時間を指定する。そして、指定された複数の区切り時間におけるそれぞれのフレーム画像を動画保持部１０２に保持されている時系列情報中から取り出して区切り画像とする。

ここで、リンク画像作成部１０４は、ある区切り時間における区切り画像とその一つ前の区切り時間における区切り画像との差分画像を生成し、ある区切り時間とその次の区切り時間の間の時間区間で画像中のどの領域が新たに記述された部分画像領域であるかを判定し、新たに記述された部分画像領域をそれぞれの区切り時間ごとに抽出する。そして、各区切り画像から抽出された部分画像領域をその区切り時間と対応付けて、新たに記述された全ての部分画像領域にそれぞれついて時系列情報の各時間区間へのリンクを張ったリンク画像を作成する。尚、当該リンク画像はリンク画像保持部１０５に保持される。

このような編集処理の後、動画像データを実際に再生する際には、ユーザに対してリンク画像出力部１０６によって、会議中等に汎用のホワイトボード上や紙上等に描画（形成）された文字や図形等の部分画像領域を含む上記リンク画像が提示される。そして、ユーザが、リンク画像領域指定部１０７によって、リンク画像中の一部分を指定することによって、時系列情報制御部１０８が、当該リンク画像上の指定された一部分が含まれる部分画像領域のメタデータから当該部分の時間区間を読み取り、当該時間区間に対応する区切り時間から保持されている動画像データを再生する。尚、動画像データは、時系列情報出力部１０９によりモニタ等に出力される。

以下では、ユーザによる区切り時間の指定及びリンク画像の作成についてさらに詳しく説明する。

図２は、本発明の第１の実施形態に係る区切り時間指定部１０３においてユーザが区切り時間指定の操作を行う区切り時間指定ダイアログの一例を示す図である。図２において、２０１は、記録した動画像データを再生して表示するための動画表示ウインドウである。２０２は、動画像データの再生を操作するための操作パネルであり、再生、早送り、巻き戻し、停止、及び一時停止のボタンや、動画中の位置を移動するスライドバー等がある。２０３は、動画表示ウインドウで動画再生中にユーザが任意の時間を区切り時間として設定する区切り時間指定ボタンである。

また、２０４は、現在再生している動画像データの時間よりも前の時間であって最も近い区切り時間を削除するための区切り時間削除ボタンである。２０５は、動画再生中の区切り時間や、当該区切り時間によって分割された動画像データの部分データの番号を示すトラック番号等の情報を記述するための動画情報表示部である。例えば、再生されている動画像データに対して上記区切り時間指定ボタン２０３で区切り時間を指定していくと、指定された複数の区切り時間に基づいて動画像データが複数の部分動画像データであるトラックに分けられる。また、トラック番号は現在再生中の部分動画像データが再生中の動画像データ内の何番目のトラックに属するものであるかを示す。

例えば、ユーザは、操作パネル２０２で動画像の再生を操作しながら、議題の切れ目やメモの区切りの良い時間で区切り時間指定ボタンを押下して区切り時間を指定する。このときユーザは、会議参加者等が画像中のホワイトボードを隠していることがないような時間を指定することに留意する必要がある。

図３は、区切り時間指定部１０３によって指定された区切り時間からリンク画像作成部１０４によってリンク画像を作成する様子を説明するための図である。図３において、３０１は、動画像データから取り出されたそれぞれの区切り時間に対応するフレーム画像（区切り画像）である。３０２は、２枚の区切り画像３０１の差分を取り、差分成分をグルーピングした差分領域である。３０３は、全区切り画像３０１に含まれる部分画像領域を１枚の画像上に含ませるとともに、各部分画像領域とそれぞれの領域の画像が描画等された時間区分とを対応させた情報であるメタデータを含むリンク画像である。すなわち、リンク画像３０３は、全部分画像領域を含んでいる最後の区切り画像に対して、各部分画像領域にそれぞれの時間区分をリンクさせたものに相当する。

図４は、本実施形態に係る情報再生装置によるリンク画像作成処理手順を説明するためのフローチャートである。以下では、図３及び図４を用いてリンク画像作成の流れを説明する。

まず、ユーザが区切り時間指定部１０３により複数の区切り時間を指定すると、複数の区切り画像３０１が保持されている動画像データ中から抽出される。ここで、定数Ｎを２とする（ステップＳ４０１）。そして、区切り時間ＮとＮ−１におけるそれぞれの区切り画像の差分画像を生成する（ステップＳ４０２）。尚、差分画像を生成する前に、２枚の区切り画像を比較して、画像間のずれ等を補正するために、細部の位置補正、角度補正、サイズ補正、コントラスト補正、明度補正、或いはノイズ除去等の各種画像処理を行うようにしてもよい。

次に、生成された差分画像からグルーピング処理により、不要な部分を除きつつ、差分検出画素（差分成分）をまとめて差分領域３０２を部分画像領域として取得する（ステップＳ４０３）。さらに、取得された差分領域３０２と、区切り時間によって分割された動画像データのトラックとを対応付ける。尚、トラックＮは、区切り時間（Ｎ−１）からＮまでの時間区分における部分動画像データである。

一般に、会議等においては、一般に議論をしながらメモを板書するため、区切り時間の差分領域Ｎに板書されたメモの議論の内容は区切り時間Ｎより前の区間であるトラックＮに含まれていることが多い。そこで、本実施形態では、差分領域Ｎと対応付けるトラックはトラックＮとしている。但し、プレゼンテーションツール等を用いたプレゼンテーションの場合にはスライドが表示されてから説明を行う場合も多いので、利用形態によっては差分領域Ｎとトラック（Ｎ＋１）を対応付けるように設定してもよい。また、トラックを区切り時間で分割するのではなく、区切り時間と区切り時間の中間時間で分割し、区切り時間Ｎの含まれるトラックＮを差分領域Ｎと対応させてもよい。

上述したステップＳ４０３及びステップＳ４０４の処理を、最後の区切り時間までループさせる（ステップＳ４０５、Ｓ４０６）。そして、最後の区切り時間まで処理が終了した場合（ステップＳ４０５でＹｅｓの場合）、最後の区切り画像をリンク画像３０３とし、当該リンク画像３０３のメタデータとして、それぞれの差分領域（部分画像領域）の位置情報、差分領域とトラックの対応情報及びトラックの時間情報等を埋め込む（ステップＳ４０７）。

図５は、本発明の第１の実施形態におけるリンク画像３０３に埋め込まれるメタデータの一例を示す図である。図５において、５０１は、トラックの情報を表すトラック情報である。トラック情報５０１中の「Ｎｕｍ」には動画像データの総トラック数が記述され、「Ｔｉｍｅ」には各トラックの部分動画像データ中の時間区間が記述されている。

また、５０２は、差分領域３０２がリンク画像３０３中において動画像データのトラックへのリンクとなること示すリンク情報である。リンク情報５０２の「Ａｒｅａ」は、差分領域３０２を矩形で表現し、Ａｒｅａ＝（左端の横方向座標）;（上端の縦方向座標）;（右端の横方向座標）;（下端の縦方向座標）として記述されている。さらに、「Ｔｒａｃｋ」はステップＳ４０４で対応付けられたトラックの番号である。

また、図５に示す例では、「Ａｒｅａ」で示される画像領域は、矩形で表されているが、これだけに限るものではなく、円、楕円、多角形等の画像中の領域を表現できるものであればその他の形状であってもよい。例えば、楕円で表現する場合は、「Ａｒｅａ」には中心２点の座標、長径及び短径が必要である。また、領域の表現方法を１種類だけでなく複数種類を混在させるようにしてもよい。この場合、Ａｒｅａの指定には、「Ａｒｅａ：Ｃｉｒｃｌｅ＝・・・」のように記述する。尚、Ｃｉｒｃｌｅは領域の一表現方法を表すものである。

以上のようにして作成したリンク画像を動画再生時にユーザに提示し、ユーザは、リンク画像に含まれるリンクを指定することで動画再生位置を移動させることが可能となる。図６は、本発明の第１の実施形態における動画再生時にユーザが操作する動画再生ダイアログの一例を示す図である。図６において、６０１は、リンク画像出力部１０６によるリンク画像出力とリンク画像領域指定部１０７によるユーザの領域指定の入力を兼ねたリンク画像ウインドウである。６０２は、ユーザが操作し、リンク画像ウインドウ６０１のある部分（領域）をクリックすることでリンク画像領域指定部１０７にユーザの領域指定を伝えるポインタである。

また、図６において、６０３は、時系列情報出力部１０９によって出力される動画像を表示する動画ウインドウである。６０４は、再生する動画像に対して早送り、巻き戻し、停止、トラック移動等の基本的な操作をするための操作パネルである。６０５は、現在再生中のトラックや再生時間等を表示する動画情報表示部である。

ユーザが、ポインタ６０２でリンク画像ウインドウ６０１の任意の部分をクリックすると、リンク画像領域指定部１０７は、クリックされたリンク画像中の座標を時系列情報再生制御部１０８に伝える。そして、時系列画像再生制御部１０８は、リンク画像３０３のメタデータから、指定された座標がトラックと対応付けられた領域であるか否かを調べる。その結果、トラックと対応付けられた領域であれば、時系列画像再生制御部１０８は、そのトラックの先頭から動画像を再生するように制御し、動画ウインドウ６０３上で再生される。

ここで、記録している板書が追記、修正、削除された場合や、複数の画像領域が近接する場合では、複数のトラックに対応付けられる領域ができることがある。図７は、本発明の第１の実施形態における複数のトラックに対応付けられた領域を選択する場合の様子を示す図である。図７において、７０１は、複数のトラック再生候補を表示するトラック候補ウインドウである。また、７０２は、複数のトラック候補をリストし、いずれかのトラックを選択させるトラック選択リストボックスである。図７に示すように、ポインタ６０１によってリンク画像内で複数のトラックが対応付けられている領域が指定されると、トラック候補ウインドウ７０１が表示され、トラック選択リストボックス７０２にトラック候補とその再生区間が表示される。

また、リンク画像ウインドウ６０１には、トラック候補の領域がユーザに見えるよう表示される。ここで、ユーザが、トラック選択リストボックス７０２に並ぶいずれか一つのトラック候補を選択すると、そのトラックが再生される。また、板書内容が削除、修正された場合では、リンク画像に削除、修正前に書かれたメモ内容は表示されないものの、区切り画像の差分では削除においても差分領域が検出されるため、領域を選択することは可能である。

以上のようにして、動画像データの中からユーザが指定した区切り時間の画像から、画像処理により区切り時間単位で更新された画像領域を領域分割して動画再生位置との対応を取ったリンク画像を作成し、再生時にはリンク画像内の位置を指定することで、対応付けられた時間から動画像データを再生することが可能になる。

また、上述した実施形態では、動画像データのみが時系列情報再生制御部１０８によって制御され、時系列情報出力部１０９によって出力されて動画ウインドウ６０３より表示されているが、当該実施形態だけに限られるものではない。例えば、時系列情報再生制御部１０８によって制御され、時系列情報出力部１０９によって出力される時系列情報は動画像データではなく音声データのみをスピーカから出力するようにしてもよく、或いは動画像データと音声データの両方であってもよい。

以上説明したように、本実施形態に係る情報再生装置では、会議等における汎用のホワイトボードやノート等を撮影し記録した動画像データを用いる。すなわち、当該動画像データ中における任意の議題やメモの区切り等となるフレーム画像をユーザが指定すると、指定されたフレーム画像間の時間区間にメモが書きこまれた領域にその時間区間へのリンクを張ったリンク画像が提示される。そして、ユーザが、リンク画像を閲覧して、板書されたメモについて会議の内容を知りたい場合にその部分をポインタで指定すると、その部分に対応する時間区間から動画データ又は音声データ、或いはその両方を再生することができる。

＜第２の実施形態＞
上記第１の実施形態では、区切り時間指定部１０３によりユーザが手動で編集して区切り時間を指定しているが、ユーザが指定しなくとも動画像データの記録時や再生時に自動的に区切り時間を決定するようにすることも可能である。図８は、本発明の第２の実施形態に係る情報再生装置の構成を示すブロック図である。図８において、８０１は、自動で区切り時間を決定する区切り時間決定部である。尚、それ以外の構成要素である動画記録部１０１、動画保持部１０２、リンク画像作成部１０４、リンク画像保持部１０５、リンク画像出力部１０６、リンク画像領域指定部１０７、時系列情報再生制御部１０８及び時系列情報出力部１０９の機能は、図１に示された第１の実施形態に係る情報再生装置と同様である。

図９は、本発明の第２の実施形態に係る区切り時間決定部８０１における処理手順を説明するためのフローチャートである。

まず、動画保持部１０２に保持されている動画像データについて「初期背景画像」を作成し、作成された初期背景画像を区切り時間判定のための「比較画像」として設定する（ステップＳ９０１）。これは、例えば、保持されている動画像データの初期部分の数枚のフレーム画像の平均フレーム画像を算出して用いてもよいし、動画像データの初期部分のフレーム画像のいずれかのフレーム画像を初期背景画像として選択するようにしてもよい。

次に、保持されている動画像データの最初のフレーム画像から順に背景更新処理を行う（ステップＳ９０２）。この背景更新処理は、背景差分及びフレーム間差分により移動物体を検出し、移動物体が検出されなかった場合に現在の注目フレーム画像を新たに背景画像とする。或いは、次に示す更新式により背景画像を更新するようにしてもよい。

上記更新式は、現在のフレーム画像と前フレームの背景画像との重み付け和であり、これによって背景が徐々に更新される。
次に、更新した背景画像と比較画像との差分を取り、その値が所定値よりも大きいか否かを判定する（ステップＳ９０３）。そして、この差分領域が所定値よりも大きい場合（Ｙｅｓ）、当該フレーム画像を区切り画像（区切り時間の画像）と判定する（ステップＳ９０４）。そして、この区切り時間における背景画像を新たに比較画像として設定し（ステップＳ９０５）、全フレーム画像の処理が終了するまでループする（ステップＳ９０６）。

このようにして、会議参加者等の移動物体は排除した時に背景が大きく変わった時間を区切り時間として自動判定する。このように、本実施形態に係る情報再生装置によれば、ユーザが区切り時間（区切り画像）を指定するのではなく、背景更新処理等から自動的に求めることもできる。

＜第３の実施形態＞
また、上記第１の実施形態においては動画像を撮影するための動画記録部１０１を含んだ構成になっているが、これを情報再生装置本体には含ませないで、例えば他の撮影装置で撮影した動画像データを使用するようにしてもよい。図１０は、本発明の第３の実施形態における情報再生装置の構成を示すブロック図である。この場合、例えば、動画保持部１０２は、他の撮影装置で撮影され、可搬記録媒体等に記録された動画像データを保持させるようにする。

＜第４の実施形態＞
さらに、上述した第１〜第３の実施形態では、撮影された動画像データから手動又は自動で区切り時間を決定している。これに対し、動画像データ又は音声データ等の時系列情報の記録中に、静止画像を併せて撮影し、その撮影時間を区切り時間とするようにしてもよい。図１１は、本発明の第４の実施形態における情報再生装置の構成を示すブロック図である。図１１において、１１０１は、区切り時間とする時間の静止画像を撮影（記録）するための区切り画像記録部である。１１０２は、区切り画像記録部１１０１が撮影（記録）した時間を記録する区切り時間記録部である。また、１１０３は、区切り画像と区切り時間とを対応付けて保持する区切り情報保持部である。

また、１１０４は時系列情報記録部、１１０５は時系列情報保持部であり、それぞれ上記実施形態の動画記録部１０１、動画保持部１０２とほぼ同様の性質を持つが、本実施形態ではリンク画像の作成に区切り情報保持部１１０３に保持する区切り画像（区切り画像記録部１１０１で記録された静止画像）及び区切り時間を用いるため、時系列情報記録部１１０４で記録して時系列情報保持部１１０５に保持する情報は、前述したような動画像データを含む情報に限られず、音声データだけであってもよい。

また、本実施形態では、リンク画像作成部１０４は、区切り情報保持部１１０３に保持された区切り画像及び区切り時間を用いて区切り時間ごとに領域分割して、時系列情報保持部１１０５に保持されている時系列情報の各トラックへ対応付けたリンク画像を作成する。尚、その後の処理手順については前述した手順と同様であるのでここでは省略する。

このように、本実施形態では、会議等において、動画像データ又は音声データを時系列情報として記録している際にホワイトボードやノート等の静止画像を撮影（記録）しているので、その撮影（記録）した時間を区切り時間として前述した実施形態と同様の手順で再生処理を実現することができる。また、この場合に必要な時系列情報としては、音声データさえ保持していれば動画像データを必ずしも録画しておく必要はない。

＜その他の実施形態＞
以上、各種実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システム或いは装置に直接或いは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等がある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態に係る情報再生装置の構成を示すブロック図である。 本発明の第１の実施形態に係る区切り時間指定部１０３においてユーザが区切り時間指定の操作を行う区切り時間指定ダイアログの一例を示す図である。 区切り時間指定部１０３によって指定された区切り時間からリンク画像作成部１０４によってリンク画像を作成する様子を説明するための図である。 第１の実施形態に係る情報再生装置によるリンク画像作成処理手順を説明するためのフローチャートである。 本発明の第１の実施形態におけるリンク画像３０３に埋め込まれるメタデータの一例を示す図である。 本発明の第１の実施形態における動画再生時にユーザが操作する動画再生ダイアログの一例を示す図である。 本発明の第１の実施形態における複数のトラックに対応付けられた領域を選択する場合の様子を示す図である。 本発明の第２の実施形態に係る情報再生装置の構成を示すブロック図である。 本発明の実施形態に係る区切り時間決定部８０１における処理手順を説明するためのフローチャートである。 本発明の第３の実施形態における情報再生装置の構成を示すブロック図である。 本発明の第４の実施形態における情報再生装置の構成を示すブロック図である。

符号の説明

１０１ 動画記録部
１０２ 動画保持部
１０３ 区切り時間指定部
１０４ リンク画像作成部
１０５ リンク画像保持部
１０６ リンク画像出力部
１０７ リンク画像領域指定部
１０８ 時系列情報再生制御部
１０９ 時系列情報出力部
８０１ 区切り時間決定部
１１０１ 区切り画像記録部
１１０２ 区切り時間記録部
１１０３ 区切り情報保持部
１１０４ 時系列情報記録部
１１０５ 時系列情報保持部

Claims (15)

1. 動画像データを含む情報を再生する情報再生装置であって、
   前記情報を保持する情報保持手段と、
   前記情報を複数の部分情報に区切るための区切り情報を決定する決定手段と、
   ２つの前記区切り情報間の差分情報を生成する差分生成手段と、
   生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成手段と、
   前記リンク情報を出力するリンク情報出力手段と、
   前記リンク情報中から一の差分情報を指定する指定手段と、
   前記情報を前記一の差分情報に対応付けられた部分から再生する再生手段と、
   再生された前記情報を出力する再生情報出力手段と
   を備えることを特徴とする情報再生装置。
2. 前記決定手段が、前記情報のうちユーザによって指定された部分の情報を前記区切り情報として決定することを特徴とする請求項１に記載の情報再生装置。
3. 前記決定手段は、
   前記情報保持手段に保持されている前記情報を表示する表示手段と、
   前記表示手段に表示される前記情報の表示制御を行う制御手段と、
   前記表示手段に表示された前記情報から前記区切り情報を決定する区切り手段と、
   前記部分情報の属性情報を表示する属性表示手段とを備えたＧＵＩ画面を用いて、前記区切り情報を決定することを特徴とする請求項２に記載の情報再生装置。
4. 前記決定手段が、前記区切り情報を自動決定することを特徴とする請求項１に記載の情報再生装置。
5. 前記決定手段は、
   背景画像を設定する初期画像設定手段と、
   比較画像を設定する比較画像設定手段と、
   前記背景画像と前記比較画像との差分成分に基づいて前記情報中の注目フレーム画像が前記区切り情報か否かを判定する判定手段と、
   前記区切り画像であると判定された場合、前記比較画像を更新する更新手段とを備え、
   前記判定手段は、前記情報に含まれる全フレーム画像について前記判定を行う
   ことを特徴とする請求項４に記載の情報再生装置。
6. 前記情報を記録する記録手段をさらに備え、
   前記情報保持手段は、前記記録手段によって記録された前記情報を保持する
   ことを特徴とする請求項１から５までのいずれか１項に記載の情報再生装置。
7. 前記情報が、音声データを含んでおり、
   前記再生情報出力手段が、前記動画像データ又は前記音声データのいずれか、或いは該動画像データ及び該音声データの両方を出力する
   ことを特徴とする請求項１から６までのいずれか１項に記載の情報再生装置。
8. 動画像データ又は音声データの少なくともいずれか一方を含む情報を再生する情報再生装置であって、
   前記情報を保持する情報保持手段と、
   前記情報の記録中に併せて記録された区切り情報を保持する区切り情報保持手段と、
   ２つの前記区切り情報間の差分情報を生成する差分生成手段と、
   生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成手段と、
   前記リンク情報を出力するリンク情報出力手段と、
   前記リンク情報中から一の差分情報を指定する指定手段と、
   前記情報を前記一の差分情報に対応付けられた部分から再生する再生手段と、
   再生された前記情報を出力する再生情報出力手段と
   を備えることを特徴とする情報再生装置。
9. 前記情報を記録する記録手段と、
   前記区切り情報を記録する区切り情報記録手段と
   をさらに備えることを特徴とする請求項７に記載の情報再生装置。
10. 前記区切り情報記録手段が、所定シーンの静止画像を前記区切り情報として記録することを特徴とする請求項９に記載の情報再生装置。
11. 動画像データを含む情報を再生する情報再生方法であって、
    前記情報を記憶装置に保持する情報保持工程と、
    前記情報を複数の部分情報に区切るための区切り情報を決定する決定工程と、
    ２つの前記区切り情報間の差分情報を生成する差分生成工程と、
    生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成工程と、
    前記リンク情報を出力するリンク情報出力工程と、
    前記リンク情報中から一の差分情報を指定する指定工程と、
    前記情報を前記一の差分情報に対応付けられた部分から再生する再生工程と、
    再生された前記情報を出力する再生情報出力工程と
    を有することを特徴とする情報再生方法。
12. 動画像データ又は音声データの少なくともいずれか一方を含む情報を再生する情報再生方法であって、
    前記情報を記憶装置に保持する情報保持工程と、
    前記情報の記録中に併せて記録された区切り情報を保持する区切り情報保持工程と、
    ２つの前記区切り情報間の差分情報を生成する差分生成工程と、
    生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成工程と、
    前記リンク情報を出力するリンク情報出力工程と、
    前記リンク情報中から一の差分情報を指定する指定工程と、
    前記情報を前記一の差分情報に対応付けられた部分から再生する再生工程と、
    再生された前記情報を出力する再生情報出力工程と
    を有することを特徴とする情報再生方法。
13. 動画像データを含む情報を再生するコンピュータに、
    前記情報を記憶装置に保持する情報保持手順と、
    前記情報を複数の部分情報に区切るための区切り情報を決定する決定手順と、
    ２つの前記区切り情報間の差分情報を生成する差分生成手順と、
    生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成手順と、
    前記リンク情報を出力するリンク情報出力手順と、
    前記リンク情報中から一の差分情報を指定する指定手順と、
    前記情報を前記一の差分情報に対応付けられた部分から再生する再生手順と、
    再生された前記情報を出力する再生情報出力手順と
    を実行させるためのプログラム。
14. 動画像データ又は音声データの少なくともいずれか一方を含む情報を再生するコンピュータに、
    前記情報を記憶装置に保持する情報保持手順と、
    前記情報の記録中に併せて記録された区切り情報を保持する区切り情報保持手順と、
    ２つの前記区切り情報間の差分情報を生成する差分生成手順と、
    生成された前記差分情報を含み、各差分情報を前記部分情報にリンクさせたリンク情報を生成するリンク情報生成手順と、
    前記リンク情報を出力するリンク情報出力手順と、
    前記リンク情報中から一の差分情報を指定する指定手順と、
    前記情報を前記一の差分情報に対応付けられた部分から再生する再生手順と、
    再生された前記情報を出力する再生情報出力手順と
    を実行させるためのプログラム。
15. 請求項１３又は１４に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images