JP4358533B2 - Event acquisition device, indexing device, event acquisition method and program - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、イベント取得装置、インデキシング装置、イベント取得方法およびプログラムに関する。
【０００２】
【従来の技術】
従来より、プレゼンテーション、講義、打ち合わせ会議などを行う際に、プレゼンテーションや講義等の様子をビデオカメラで撮影または録音装置で録音し、ビデオカメラで撮影した録画データまたは録音した録音データを記録媒体等に記録して配布等することがある。このような記録媒体等の配布を受けた者が記録されたデータを所定の再生装置で再生することで、プレゼンテーションや講義の様子を視聴したり、聴講したりすることができる。
【０００３】
プレゼンテーションや講義などでは、スクリーン上に資料等を表示させるプロジェクター装置等が用いられることが多い。したがって、プレゼンテーション等を撮影した映像等を再生する場合において、このようなスクリーン上に表示された資料等が上記再生に同期して表示されると、よりプレゼンテーションや講義などの内容がより理解しやすくなる。
【０００４】
そこで、プレゼンテーションの様子をビデオに録画するとともに、プレゼンテーションの際に説明者が、各々の資料画像をスクリーンに表示させたタイミング情報を取得するといった技術が提案されている（例えば、特許文献１参照）。
【０００５】
かかる技術では、プレゼンテーションの様子を録画した映像を再生する際に、取得した各画像の表示タイミング情報を参照することで、プレゼンテーション映像の再生時刻がある画像の表示タイミングとなった時点で当該ある画像を、その画像データに基づいて表示させるようにしている。
【０００６】
【特許文献１】
特開平１０−５５３９１号公報
【０００７】
【発明が解決しようとする課題】
ところで、講義や打ち合わせの参加者が、その内容を第三者等によりわかりやすく伝えるためにその講義や打ち合わせの際には用意されていなかった補足資料等を提供したいと思う場合もある。例えば、打ち合わせ時において、ある話をしているときの相手方の雰囲気はどのようなものであったかなど、記録した映像や音声には含まれていない補足情報等をこれらの映像や音声の再生と同期させて提示等できると、視聴者や聴取者等にとってはその打ち合わせの内容をより理解しやすくなると考えられる。
【０００８】
上述した講義等において説明者が予め用意された資料を表示させたタイミング等を取得して同期再生表示を行う上記従来技術では、講義等の終了後に新たな補足資料を追加したいと思った場合にもそれを追加することができなかった。
【０００９】
この発明は上記に鑑みてなされたもので、講義や打ち合わせ等の内容を再生する際に、その講義等では提示されなかった補足資料を講義や打ち合わせ等の再生に同期させて表示させることを容易とするイベント取得装置、インデキシング装置、イベント取得方法およびプログラムを得ることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、動画像データまたは音声データに基づいて動画像または音声を再生している間に、表示部に表示可能な画像データである画像表示用データを作成する作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段を具備することを特徴とするイベント取得装置である。
【００１１】
請求項１にかかる発明によれば、再生される動画像表示等を参照しながら、補足資料等の画像表示を加えたいタイミングでアプリケーションに対して新たな画像表示用データの作成指示を行えば、その新規作成指示時点の再生時刻と、その新規作成した画像表示用データを識別する情報とが関連付けて記録される。したがって、このような再生時刻と識別情報とを関連付けた記録を参照することで、動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００１２】
また、請求項２にかかる発明は、請求項１にかかる発明の構成において、前記イベント記録手段は、前記アプリケーションによって作成された画像表示用データがすでに存在する場合において、ユーザからタイミング指示があったときには、前記タイミング指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記すでに存在する画像表示用データのうち前記タイミング指示にかかる画像表示用データを識別する識別情報とを関連付けて記録することを特徴とする。
【００１３】
請求項２にかかる発明によれば、動画像等が再生される前に予め作成しておいた画像表示用データがある場合において、動画像再生が行われている間にユーザが所望のタイミングで指示を行えば、その指示時点における再生時刻と、予め作成しておいた画像表示用データを識別する情報とが関連付けて記録される。したがって、このような再生時刻と識別情報とを関連付けた記録を参照することで、動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで予め作成しておいた画像表示用データに基づく画像表示を行わせるデータの作成を容易にすることができる。
【００１８】
また、請求項３にかかる発明は、リアルタイムで供給される動画像データおよび音声データを記録している間に、表示部に表示可能な画像データである画像表示用データを作成する作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段を具備するイベント取得装置である。
【００１９】
請求項３にかかる発明によれば、リアルタイムで供給される打ち合わせや講義などを撮影した動画像等を記録している間、補足資料等の画像表示を加えたいタイミングでアプリケーションに対して新たな画像表示用データの作成指示を行えば、その新規作成指示時点の記録開始からの経過時間と、その新規作成した画像表示用データを識別する情報とが関連付けて記録される。したがって、このような経過時間と識別情報とを関連付けた記録を参照することで、記録した動画像等を再生する際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００２０】
また、請求項４にかかる発明は、請求項３にかかる発明の構成において、前記イベント記録手段は、前記アプリケーションによって作成された画像表示用データがすでに存在する場合において、ユーザからタイミング指示があったときには、前記タイミング指示された時の記録開始からの経過時間と、前記すでに存在する画像表示用データのうち前記タイミング指示にかかる画像表示用データを識別する識別情報とを関連付けて記録することを特徴とする。
【００２１】
請求項４にかかる発明によれば、打ち合わせや動画像等を記録する前に予め作成しておいた画像表示用データがある場合において、動画像記録が行われている間にユーザが所望のタイミングで指示を行えば、その指示時点における記録開始からの経過時間と、予め作成しておいた画像表示用データを識別する情報とが関連付けて記録される。したがって、このような経過時間と識別情報とを関連付けた記録を参照することで、記録した動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで予め作成しておいた画像表示用データに基づく画像表示を行わせるデータの作成を容易にすることができる。
【００２２】
また、請求項５にかかる発明は、動画像データまたは音声データに基づいて動画像または音声を再生している間に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段と、再生された前記動画像データまたは前記音声データと、前記イベント記録手段によって記録された再生時刻に関連付けられた識別情報を含むイベント内容とを、前記イベント記録手段によって記録された再生時刻に基づいて時系列に対応付けるインデキシング手段とを具備することを特徴とするインデキシング装置である。
【００２３】
請求項５にかかる発明によれば、再生される動画像表示等を参照しながら、補足資料等の画像表示を加えたいタイミングでアプリケーションに対して新たな画像表示用データの作成指示を行えば、その新規作成指示時点の再生時刻と、その新規作成した画像表示用データを識別する情報とが関連付けて記録される。そして、インデキシング手段によって、動画像データと画像表示用データの識別情報とがイベント内容に含まれる再生時刻によって時系列に対応付けられる。したがって、このような対応付けにしたがうことで、動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００２４】
また、請求項６にかかる発明は、リアルタイムで供給される動画像データおよび音声データを記録している間に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段と、記録された前記動画像データまたは前記音声データと、前記イベント記録手段によって記録された経過時間に関連付けられた識別情報を含むイベント内容とを、前記イベント記録手段によって記録された経過時間に基づいて時系列に対応付けるインデキシング手段とを具備することを特徴とするインデキシング装置である。
【００２５】
請求項６にかかる発明によれば、リアルタイムで供給される打ち合わせや講義などを撮影した動画像等を記録している間、補足資料等の画像表示を加えたいタイミングでアプリケーションに対して新たな画像表示用データの作成指示を行えば、その新規作成指示時点の記録開始からの経過時間と、その新規作成した画像表示用データを識別する情報とが関連付けて記録される。そして、インデキシング手段によって、動画像データと画像表示用データの識別情報とがイベント内容に含まれる経過時間によって時系列に対応付けられる。したがって、このような対応付けにしたがうことで、記録した動画像等を再生する際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００２６】
また、請求項７にかかる発明は、動画像データまたは音声データに基づいて動画像または音声を再生する再生ステップと、前記再生ステップでの再生中に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録ステップとを具備することを特徴とするイベント取得方法である。
【００２７】
請求項７にかかる発明によれば、再生される動画像表示等を参照しながら、補足資料等の画像表示を加えたいタイミングでアプリケーションに対して新たな画像表示用データの作成指示を行えば、その新規作成指示時点の再生時刻と、その新規作成した画像表示用データを識別する情報とが関連付けて記録される。したがって、このような再生時刻と識別情報とを関連付けた記録を参照することで、動画像再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００３０】
また、請求項８にかかる発明は、リアルタイムで供給される動画像データおよび音声データを記録する記録ステップと、前記記録ステップでの記録中に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録ステップとを具備することを特徴とするイベント取得方法である。
【００３１】
請求項８にかかる発明によれば、リアルタイムで供給される打ち合わせや講義などを撮影した動画像等を記録している間、補足資料等の画像表示を加えたいタイミングでアプリケーションに対して新たな画像表示用データの作成指示を行えば、その新規作成指示時点の記録開始からの経過時間と、その新規作成した画像表示用データを識別する情報とが関連付けて記録される。したがって、このような経過時間と識別情報とを関連付けた記録を参照することで、記録した動画像等を再生する際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００３２】
また、請求項９にかかる発明は、コンピュータを、動画像データまたは音声データに基づいて動画像または音声を再生している間に、表示部に表示可能な表示データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段として機能させるためのプログラムである。
【００３３】
請求項９にかかるプログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様の動作が行われ、動画像再生等の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００３６】
また、請求項１０にかかる発明は、コンピュータを、リアルタイムで供給される動画像データおよび音声データを記録する記録している間に、表示部に表示可能な表示データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段として機能させるためのプログラムである。
【００３７】
請求項１０にかかるプログラムをコンピュータに実行させることで、上記請求項３にかかる発明と同様の動作が行われ、動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【００３８】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるイベント取得装置、インデキシング装置、イベント取得方法およびプログラムの好適な実施の形態を詳細に説明する。
【００３９】
Ａ．第１実施形態
図１は、本発明の第１実施形態にかかるインデキシング装置の機能構成を示す。同図に示すインデキシング装置１００は、ＣＰＵ等がアプリケーションを実行することにより種々の機能を実現する装置、例えばＰＣ（Personal Computer）で構成することができ、ユーザインターフェース（Ｉ／Ｆ）１１０と、プレゼンテーション用アプリケーション１２０と、動画像再生アプリケーション１３０と、イベントデータ取得アプリケーション１４０と、インデキシングアプリケーション１５０と、記憶部１６０とを備える。
【００４０】
ユーザインターフェース１１０は、キーボードやマウス等の入力デバイスを有しており、ユーザはこれらを適宜操作することで当該インデキシング装置で動作する種々のアプリケーションに対して指示を行うことができる。
【００４１】
記憶部１６０は、データの記録、読み出しが可能なハードディスクドライブ等の記憶装置であり、後述する種々のアプリケーションによって作成・利用されるデータを記憶する。
【００４２】
プレゼンテーション用アプリケーション１２０は、プレゼンテーションなどを行う時にスクリーン等に表示すべきスライド画像（表、グラフ、文書、図柄等）に対応するスライド画像表示用データを作成する。
【００４３】
図２に例示するように、このプレゼンテーション用アプリケーション１２０では、１つのプレゼンテーションに用いられるために作成された複数のスライド画像表示用データが１つのプレゼンテーション資料ファイルとして管理される。そして、当該スライド画像ファイルに含まれる各々スライド画像表示用データには、スライド画像に対応する表示用データの他に、そのスライド画像のタイトルデータ、ページ番号といったデータが含まれている。
【００４４】
ユーザは、ユーザインターフェース１１０を介して新たなスライド画像表示用データを作成する旨の指示を入力すれば、プレゼンテーション用アプリケーション１２０によって編集可能な新たなスライド画像表示用データ、つまり白紙状態のスライド画像を表示するためのデータが作成され、その後ユーザがユーザインターフェース１１０を介して適宜指示を行うことで、所望の文字、表、グラフ、絵柄等の画像が表示されるよう当該スライド画像表示用データを編集することができるようになっている。
【００４５】
また、ユーザの指示にしたがって上記のように新たなスライド画像表示用データが作成された場合、タイトルデータについてはユーザが指示入力されるまでは空白であり、ユーザが適宜指示することで所望のタイトルを記述することができる。
【００４６】
また、新規作成されたスライド画像表示用データのページ番号データについてはこれまで当該プレゼンテーション資料ファイル内で作成している最も大きいページ番号の次の番号を示す情報が自動的に記述される。例えば、新規作成するスライド画像表示用データが、当該プレゼンテーション資料ファイル内の１つ目のスライド画像表示用データである場合にはページ番号は「１」となり、すでに３つのスライド画像表示用データを作成した後に、新規作成指示をした場合には新規作成されたスライド画像表示用データのページ番号は「４」となる。当該プレゼンテーション用アプリケーション１２０によればページ番号は自動的に記述されることになるが、この順序はユーザの指示によって編集、つまり任意のページ番号に変更することができる。
【００４７】
プレゼンテーション用アプリケーション１２０は以上のようにユーザ操作にしたがって作成したプレゼンテーション資料ファイルを記憶部１６０に記憶させる。
【００４８】
また、ユーザは、ユーザインターフェース１１０を適宜操作してプレゼンテーション用アプリケーション１２０に対して指示を行うことで、作成したプレゼンテーション資料ファイルに含まれる複数のスライド画像表示用データのいずれかを選択し、所望のタイミングでそのスライド画像表示用データに基づく画像をＬＣＤ（Liquid Crystal Display）等の表示部に表示させることができる。
【００４９】
動画像再生アプリケーション１３０は、記憶部１６に記憶されているＭＰＥＧ（Moving Pictures Experts Group）２規格などにしたがった動画像データに基づく動画像を再生する。また、動画像再生アプリケーション１３０は、ユーザからユーザインターフェース１１０を介して供給される再生開始、一時停止、再生終了、早送り等の指示にしたがって動画像再生を行う。
【００５０】
イベントデータ取得アプリケーション１４０は、動画像再生アプリケーション１３０によって動画像データに基づく動画像再生が行われている間、プレゼンテーション用アプリケーション１２０の状態をモニタリングし、ユーザから新たなスライド画像表示用データの作成指示がプレゼンテーション用アプリケーション１２０に対して行われた場合にイベントデータを作成して記録する。
【００５１】
より具体的には、図３に示すようにイベントデータ取得アプリケーション１４０は、動画像再生アプリケーション１３０による動画像再生が開始されると、ユーザがプレゼンテーション用アプリケーション１２０に対してスライド画像表示用データの新規作成指示を行ったか否かをモニタリングし（ステップＳａ１）、新規作成指示があった場合には、その新規作成指示によって作成されたスライド画像表示用データを識別する情報としてページ番号データを取得する（ステップＳａ２）。
【００５２】
ここで、イベントデータ取得アプリケーション１４０が、プレゼンテーション用アプリケーション１２０から新規作成指示があった旨や新規作成したスライド画像のページ番号データ等を取得する手法としては以下のような手法を用いることができる。例えば、プレゼンテーション用アプリケーションがマイクロソフト社の「PowerPoint」である場合にはＯＬＥ（Object Linking and Embedding）と呼ばれる技術を利用し、当該アプリケーションの種々の状態を示す情報を取得することができる。この場合には、イベントデータ取得アプリケーション１４０とＯＬＥをサポートしているプレゼンテーション用アプリケーションとの間でデータの授受を行えるよう関数を呼び出すことで、上記のようなアプリケーション状態を示す情報を取得することができる。
【００５３】
なお、このようなＯＬＥ技術を利用してプレゼンテーション用アプリケーション１２０の状態を示す情報を取得する以外の方法を用いるようにしてもよく、例えばプレゼンテーション用アプリケーションを、新規作成指示があった場合に、その旨と作成したスライド画像のページ番号とを逐一イベントデータ取得アプリケーション１４０に対して通知する処理を実行するよう構成しておくようにしてもよい。
【００５４】
上記のような手法により新規作成指示の有無およびページ番号データを取得すると、イベントデータ取得アプリケーション１４０は、新規作成指示があった時点における動画像再生アプリケーション１３０による動画像データの再生時刻を取得する（ステップＳａ３）。例えば、図４に示す「０：００：００」〜「３５：００：００」といった３５分間の動画像データに基づく動画像再生が動画像再生アプリケーション１３０によって行われている間に、その再生位置が「０：０７：１２」の時にユーザからの新規作成指示があった場合、イベントデータ取得アプリケーション１４０は「０：０７：１２」を再生時刻として取得する。また、動画像再生アプリケーション１３０による動画像再生が途中の位置、例えば「０：１３：１５」から開始された場合において、その再生位置が「０：２５：１８」の時に新規作成指示があったときにはイベントデータ取得アプリケーション１４０は動画像データの再生時刻「０：２５：１８」を取得する。すなわち、再生を開始した時点からの経過時間は１２分３秒であるが、イベントデータ取得アプリケーション１４０は、そのような再生開始時からの経過時間ではなく、ユーザからの新規作成指示があった時の動画像データ上の再生時刻を取得するのである。
【００５５】
イベントデータ取得アプリケーション１４０は、ユーザからプレゼンテーション用アプリケーション１２０に対して新規作成指示があった場合に、その指示時点の再生時刻と、指示によって作成されたスライド画像のページ番号を取得すると、取得した再生時刻とページ番号データとを関連付けてイベントデータとして記録する（ステップＳａ４）。すなわち、図４に示すように、再生時刻「０：０７：１２」の時点で新規作成指示がなされ、ページ番号「２」のスライド画像表示用データがプレゼンテーション用アプリケーション１２０によって新規作成された場合には再生時刻「０：０７：１２」と「２ページ」とが関連付けられたイベントデータが作成記録される。また、再生時刻「０：２５：１８」の時点で新規作成指示がなされ、ページ番号「３」のスライド画像表示用データがプレゼンテーション用アプリケーション１２０によって作成された場合には再生時刻「０：２５：１８」と「３ページ」とが関連付けられたイベントデータが作成記録される。
【００５６】
イベントデータ取得アプリケーション１４０は、ユーザからプレゼンテーション用アプリケーション１２０に対してスライド画像の新規作成指示があるごとに、以上のステップＳａ２〜ステップＳａ４までのイベントデータ記録作成処理を行う。
【００５７】
一方、ユーザからの新規作成指示がない場合には（ステップＳａ１の判別「Ｎｏ」）、動画像再生アプリケーション１３０による動画像再生が終了したか否かを判別する（ステップＳａ５）。動画像再生が終了する場合とは、ある動画像データに基づく再生が終了したか、つまり図４に示す動画像データであれば再生位置が「０：３５：００」に達して終了したか、もしくはユーザがユーザインターフェース１１０を介して動画像再生アプリケーション１３０に対して再生終了を指示した場合である。
【００５８】
動画像再生アプリケーション１３０による動画像再生が終了している場合、イベントデータ取得アプリケーション１４０は、動画像再生が行われている間に上記ステップＳａ２〜ステップＳａ４までの処理を行って記録したイベントデータをインデキシングアプリケーション１５０に出力する（ステップＳａ６）。
【００５９】
図１に示すインデキシングアプリケーション１５０は、動画像再生が終了した後にイベントデータ取得アプリケーション１４０から供給されるイベントデータ、上記のように動画再生中にプレゼンテーション用アプリケーション１２０によって作成されたスライド画像表示用データを含むプレゼンテーション資料ファイルと、動画像再生アプリケーション１３０によって再生されていた動画像データとに基づいて、当該動画像データに基づく動画像再生とスライド画像とを同期再生させることができる同期再生データを作成する。
【００６０】
動画像、静止画、文字等の種々の異なる形式のデータの再生を制御して同期させるデータフォーマットとしては、例えばＳＭＩＬ（Synchronized Multimedia Integration Language）形式があり、本実施形態におけるインデキシングアプリケーション１５０は同期再生データとしてかかるＳＭＩＬ形式のデータを作成する。
【００６１】
このような同期再生データをＰＣ等で所定の再生ソフトウェア（例えばＳＭＩＬ形式データを再生するソフトウェア）により再生することで、その表示画面には図５に示すような表示がなされることになる。
【００６２】
同図に示すように、この表示画面には、上述した動画像再生アプリケーションによって再生される動画像を表示する映像表示欄５００と、動画像再生の間に作成されたプレゼンテーション資料ファイルに含まれるスライド画像表示用データに基づくスライド画像を表示するスライド画像欄５１０と、これらのスライド画像のタイトルを一覧表示する目次欄５２０とが表示されるようになっている。
【００６３】
同期再生データとは、以上のような動画像、スライド画像、タイトル等の文字を同期して再生表示させることを可能とするデータであり、以下、同期再生データ作成処理の詳細について図６を参照しながら説明する。
【００６４】
まず、インデキシングアプリケーション１５０は、記憶部１６０に記憶されているプレゼンテーション資料ファイルから、各スライド画像表示用データのタイトルデータ、ページ番号データ等の文字情報等を抽出する（ステップＳｂ１）。
また、インデキシングアプリケーション１５０は、プレゼンテーション資料ファイルからスライド画像表示用データを抽出し、これを所定の形式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）などの汎用の形式）のスライド画像表示用のデータとして保存する（ステップＳｂ２）。
【００６５】
次に、インデキシングアプリケーション１５０は、イベントデータ、抽出したタイトルデータやページ番号データ等の文書情報、プレゼンテーション資料ファイルおよび動画像データに基づいて、図５に示されるように動画像データに基づく映像と、プレゼンテーション資料ファイル中のスライド画像表示用データに基づくスライド画像と、これらのスライド画像のタイトル等の文字情報を同期して表示させることができる同期再生データを作成する（ステップＳｂ３）。
【００６６】
上述したように本実施形態では、このような同期再生データとしてＳＭＩＬ形式のデータを作成することとしており、インデキシングアプリケーション１５０は、供給される各データから、以下のデータを取得し、これらをＳＭＩＬ形式にしたがって記述することでＳＭＩＬ形式の同期再生データを作成する。
（１）各スライド画像の新規作成タイミング
（２）各々のスライド画像のタイトルデータ等（タイトル、本文の内容、ページ番号等）
（３）各スライド画像（ＪＰＥＧ等）の保存場所（ファイルパス情報）
（４）各スライド画像に対応する動画像データの保存場所（ファイルパス情報）
（５）映像表示欄５００、スライド画像欄５１０、目次欄５２０（図５参照）をどのように配置するかを示すレイアウトデータ
【００６７】
なお、（５）のレイアウト情報については、イベントデータ等の供給されるデータからではなく、ユーザが設定指示したレイアウトにしたがって作成されたデータである。
【００６８】
このように作成される同期再生データにおける、タイトルとスライド画像と映像ファイルとの同期の対応関係について図７に模式的に示す。同図に示す例では、動画再生時にユーザのプレゼンテーション用アプリケーション１２０に対する１ページ目の新規スライド画像作成指示が再生時刻「０：００：００」に行われ、２ページ目の新規スライド画像作成指示が再生時刻「０：０１：１５」に行われ、３ページ目の新規スライド画像作成指示が再生時刻「０：０２：４５」に行われ、４ページ目の新規スライド画像作成指示が再生時刻「０：０３：５３」に行われたものとし、かかる指示タイミングでのイベントデータがイベントデータ取得アプリケーション１４０によって取得されている。
【００６９】
動画再生時に以上のようなタイミングでスライド画像の新規作成指示が行われると、１ページ目のスライド画像の新規作成が指示されてから２ページ目のスライド画像の新規作成が指示されるまでの間（時刻０：００：００〜０：０１：１５）に再生された動画像データと１ページ目のスライド画像およびそのタイトル「はじめに」が対応付けられる。また、２ページ目のスライド画像の新規作成指示がなされてから３ページ目のスライド画像の新規作成指示がなされるまでの間（時刻０：０１：１５〜０：０２：４５）に再生された動画像データと２ページ目のスライド画像およびそのタイトル「背景」が対応付けられる。さらに３ページ目のスライド画像の新規作成指示がなされてから４ページ目のスライド画像の新規作成指示がなされるまでの間（時刻０：０２：４５〜０：０３：５３）に再生された動画像データが３ページ目のスライド画像およびそのタイトル「概略」に対応付けられる。
【００７０】
インデキシングアプリケーション１５０は、このようなタイトルという文字情報、スライド画像という静止画、動画像データといった異なる形式のデータの再生を上記のような時系列の対応関係に基づいて制御して同期させることができるＳＭＩＬ形式のデータを作成するのである。
【００７１】
かかる同期再生データをＰＣ等で所定の再生ソフトウェアにより再生することで、その表示画面には図５に示すような表示がなされることになる。
【００７２】
かかる表示を参照しているユーザが「背景」をクリックすれば、同期再生データにはこの表示に２ページ目のスライド画像へのパスおよびこれに対応する動画像データ（開始時刻０：０１：１５〜）へのリンクが記述されているので、再生ソフトウェアによってこれに対応する２ページ目のスライド画像がスライド画像欄５１０に表示されるとともに、このタイトルに対応する時刻「０：０１：１５」から動画像データの再生が開始され映像表示欄５００に表示される。
【００７３】
また、「概略」をクリックすれば、当該タイトルに対応する３ページ目のスライド画像および動画像データ（開始時刻０：０２：４５）へのパスがリンクされているので、３ページ目のスライド画像がスライド画像欄５１０に表示されるとともに、映像表示欄５００には時刻「０：０２：４５」からの動画像データに基づく再生映像が表示されることになる。
【００７４】
もちろん、映像表示欄５００に表示させる再生時刻をユーザが指定することで、その指定再生時刻に対応するスライド画像をスライド画像欄５１０に表示させることもできる。例えば、ユーザが再生時刻「０：０２：３０」からの動画像再生を指示した場合には、同期再生データにしたがって再生ソフトウェアが、その時刻からの動画像再生を行うとともに、指定時刻「０：０２：３０」に対応付けられている２ページ目のスライド画像（０：０１：１５〜０：０２：４５の映像に対応している）を読み出してスライド画像欄５１０に表示させる。
【００７５】
以上のような過程を経て作成された同期再生データによる再生は、動画像データに基づく映像に加え、その動画像再生を参照しながら行った新規作成指示タイミングで新規作成されたページのスライド画像が表示され、次のページの新規作成指示があったタイミングまでかかるページのスライド画像が表示されるものとなる。
【００７６】
したがって、当該インデキシング装置１００のユーザは、打ち合わせや講義等を撮影した動画像再生を参照しながら、補足資料等を加えたいタイミングでプレゼンテーション用アプリケーション１２０に対して新規作成指示を行い、その後新規作成したスライド画像を補足すべき資料を表示するスライド画像に編集するといった作業を行うことで、上述したように動画像再生の進行に応じて、編集者が意図したタイミングで意図した内容の補足資料画像を表示させることができる同期再生データを作成することができる。
【００７７】
また、本実施形態では、イベントデータ取得アプリケーション１４０が、ユーザによる新規作成指示があった時点における動画像再生アプリケーション１３０による動画像再生の再生時刻を取得するようにしており、動画像データの途中から再生を開始した場合であっても、途中再生開始後の経過時間ではなく当該動画像データの再生時刻を取得するようになっている（図４参照）。
【００７８】
このようにすることでユーザが新規作成したスライド画像編集作業を行うために動画像データに基づく再生を一旦停止した後、再度その停止した時点からの動画像再生指示を行い、再生映像を参照しながら所望のタイミングで新規作成指示を行った場合であっても、指示時点における当該動画像データの再生時刻をイベントデータとして取得できる。したがって、このように取得したイベントデータを用いて同期再生データを作成し、かかる同期再生データを再生することで動画像データ再生時におけるユーザが所望したタイミングで、作成した補足資料等を提示するスライド画像を表示させることができる。
【００７９】
Ｂ．第２実施形態
次に、本発明の第２実施形態にかかるインデキシング装置について図８を参照しながら説明する。同図に示すように、第２実施形態にかかるインデキシング装置２００は、図１に示す動画像再生アプリケーション１３０に代えて、動画像録画再生部１８０を備える点で第１実施形態にかかるインデキシング装置１００と相違している。
【００８０】
動画像録画再生部１８０は、キャプチャボードまたはソフトウェアによって実現される機能であり、ＤＶ（Digital Video）カメラ１９０によって撮影され、リアルタイムで供給される動画像データを所定の形式（例えば、ＭＰＥＧ２など）の動画像データに変換し、変換後の動画像データを記憶部１６０に記憶する。また、動画像録画再生部１８０は、ＤＶカメラ１９０からリアルタイムで供給される動画像データに基づく動画像再生を上記のように記録を行いながら実行して図示せぬ表示部等に再生映像を表示させる。
【００８１】
本実施形態において、インデキシング装置２００を用いて上記第１実施形態にかかるインデキシング装置１００と同様に同期再生データを作成する場合、ＤＶカメラ１９０は、例えば打ち合わせや講義の様子などを撮影し、その撮影動画像を動画像録画再生部１８０がリアルタイムで記録再生させる。その再生映像を参照しながら編集者が、補足資料等を提示したいタイミングでプレゼンテーション用アプリケーション１２０に対して新規作成指示をすることで、上記第１実施形態と同様の同期再生データを作成することができる。
【００８２】
すなわち、第２実施形態におけるイベントデータ取得アプリケーション１４０は、動画像録画再生部１８０によってＤＶカメラ１９０からリアルタイムで供給される動画像データの記録が行われている間、プレゼンテーション用アプリケーション１２０に対してユーザからスライド画像の新規作成指示があった場合、新規作成されたスライド画像のページ番号を取得するとともに、指示があった時点の動画像録画再生部１８０による記録時刻を取得し、これらを関連付けてイベントデータとして記録する（図３参照）。
【００８３】
ここで、動画像録画再生部１８０による記録時刻とは、ＤＶカメラ１９０による撮影が開始されることによりその撮影映像がリアルタイムで供給されて動画像データの記録を開始した時点からの経過時間である。したがって、ＤＶカメラ１９０によって撮影される動画像の記録開始から３分２０秒後に３ページ目のスライド画像の新規作成指示がなされた場合には、イベントデータ取得アプリケーション１４０によって記録時刻「０：０３：２０」が取得され、これが３ページといったページ番号と関連付けて記録されることになる。
【００８４】
そして、第２実施形態におけるインデキシングアプリケーション１５０によって行われる同期再生データ作成処理は上記第１実施形態と同様である。したがって、インデキシングアプリケーション１５０によって生成された同期再生データに基づく再生を行うと、動画像録画再生部１８０によって記録された動画像データに基づく動画像の再生時刻が「０：０３：２０」になった時点で、スライド画像欄５１０（図５参照）に３ページ目のスライド画像が表示されることになる。
【００８５】
以上のように当該インデキシング装置２００のユーザは、打ち合わせや講義等を撮影して記録しつつ、リアルタイムで再生される映像を参照しながらもしくは撮影対象となっている講義や打ち合わせに実際に参加等しながら、補充資料を表示させたいタイミングでプレゼンテーション用アプリケーション１２０に対して新規作成指示を行い、その後新規作成したスライド画像を補足すべき資料を表示するスライド画像に編集するといった作業を行うことで、上述したように動画像再生を行う際に、編集者が意図したタイミングで意図した内容の補足資料画像を表示させることができる同期再生データを作成することができる。
【００８６】
なお、本明細書における「リアルタイム」で供給される動画像データを記録するとは、動画像データ等のファイルの供給を受けてコピーする場合などは含まれないが、ＤＶカメラ１９０等が撮影した映像をそのままインデキシング装置２００に供給する場合に限らず、予めＤＶカメラ１９０等で撮影しておいた動画像データをインデキシング装置３００に再生する時と同じ時間で供給する、つまり３５分の動画像データであれば３５分間で供給する場合も含み、また放送される番組などの動画像データを受信して動画像録画再生部１８０が記録する場合も含む。
【００８７】
Ｃ．第３実施形態
次に、本発明の第３実施形態にかかるインデキシング装置３００について図９を参照しながら説明する。同図に示すように、第３実施形態にかかるインデキシング装置３００は、図１に示す動画像再生アプリケーション１３０を有しない点で第１実施形態にかかるインデキシング装置１００と相違している。
【００８８】
かかるインデキシング装置３００では、ユーザはユーザインターフェース１１０を介してイベントデータの取得開始をイベントデータ取得アプリケーション１４０に対して指示する。かかる指示があるとイベントデータ取得アプリケーション１４０は時間の計測を開始する。
【００８９】
そして、取得開始指示があった後、プレゼンテーション用アプリケーション１２０に対して新規作成指示がなされた場合、イベントデータ取得アプリケーション１４０はかかる指示がなされた時の前記取得開始指示からの経過時間を取得し、かかる新規作成指示によって作成されたスライド画像のページ番号と関連付けてイベントデータとして記録する。
【００９０】
このようにしてイベントデータ取得アプリケーション１４０によって取得されたイベントデータに基づいて、インデキシングアプリケーション１５０が上記第１実施形態と同様に同期再生データを作成する。なお、ここでスライド画像表示と同期再生させる動画像データは、当該インデキシング装置３００とは別の動画像記録装置等によって記録されたものである。そして、かかる動画像記録装置によって記録された動画像データを当該インデキシング装置３００に供給して記憶部１６０に記憶させることで、上記第１実施形態と同様にインデキシングアプリケーション１５０がかかる動画像データに基づく動画像再生と、スライド画像表示とを同期させることができる同期再生データを作成することができる。
【００９１】
すなわち、講義や打ち合わせに実際に参加等しているインデキシング装置３００のユーザが、講義や打ち合わせの様子を撮影する動画像記録装置（図示略）に対して撮影開始の指示を行うと同時またはほぼ同時にインデキシング装置３００のイベントデータ取得アプリケーション１４０に対して取得開始指示を行うようにすればよい。その後、インデキシング装置３００のユーザが、動画像記録装置に打ち合わせや講義等を撮影させて記録しつつ、撮影対象となっている講義や打ち合わせに実際に参加等しながら、補充資料を表示させたいタイミングでプレゼンテーション用アプリケーション１２０に対して新規作成指示を行い、その後新規作成したスライド画像を補足すべき資料を表示するスライド画像に編集するといった作業を行うことで、上述した第１実施形態と同様に動画像再生の進行に応じて、編集者が意図したタイミングで意図した内容の補足資料画像を表示させることができる同期再生データを作成することができる。
【００９２】
Ｄ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００９３】
（変形例１）
上述した第１実施形態では、イベントデータ取得アプリケーション１４０が、ユーザによる新規作成指示があった時点における動画像再生アプリケーション１３０による動画像再生の再生時刻を取得するようにしていた。さらに、１つの同期再生データを作成する際に、ある動画像データに別の動画像データを追加するといった場合においては、イベントデータ取得アプリケーション１４０は、以下のようにしてイベントデータを取得するようにしてもよい。
【００９４】
図１０に示すように、動画像再生アプリケーション１３０により３５分間の動画像データＡを再生した後、これに追加すべき動画像データＢをさらに再生させた場合において、動画像データＢの再生時刻が「０：０５：１２」の時点でユーザによってｎページのスライド画像の新規作成指示がなされたときには、イベントデータ取得アプリケーション１４０は、動画像データＢの再生時刻に動画像データＡの再生時間である３５分を加算調整し、調整後の再生時刻である「０：４０：１２」を取得してイベントデータを作成する。
【００９５】
このようにすることで、動画像データＡと動画像データＢとを連続再生させるといった同期再生データを作成する場合であっても、イベントデータ取得アプリケーション１４０によって動画像データＡの再生時間を考慮した再生時刻が取得されているので、連続再生される再生位置が動画像データＢの「０：０５：１２」に達した時、つまり連続再生時間が「０：４０：１２」に達した時にｎページのスライド画像が図５に示すスライド表示欄５１０に表示されるといった同期再生が可能な同期再生データを作成することが可能となる。
【００９６】
（変形例２）
また、上述した第１〜第３実施形態においては、イベントデータ取得アプリケーション１４０は、プレゼンテーション用アプリケーション１２０に対してスライド画像の新規作成指示があった場合に、そのタイミング（再生時刻、記録開始からの経過時間、ユーザの開始指示からの経過時間）等を含むイベントデータを取得するようにしていた。
【００９７】
このようにすべてのスライド画像を新規作成する場合のみならず、動画像再生、記録、ユーザの開始指示等が行われる前にすでに１または複数のスライド画像が作成されている場合においても、これに追加するために新規作成指示があったときには上記各実施形態と同様、イベントデータ取得アプリケーション１４０がその指示タイミング等を含むイベントデータを作成するようにしてもよい。
【００９８】
さらに、すでに１または複数のスライド画像が作成済みである場合においては、イベントデータ取得アプリケーション１４０が、ユーザからのタイミング指定指示に基づいて、すでに作成されているスライド画像のうちタイミング指定指示に係るページ番号と、タイミング指定指示が行われた再生時刻等のタイミングとを関連付けてイベントデータを作成するようにしてもよい。
【００９９】
例えば、図１１に示すように、１ページのスライド画像がすでに作成済みの状態で、動画像データに基づく再生が開始された場合において、ユーザから当該イベントデータ取得アプリケーション１４０に対してタイミング指定指示があったときにはイベントデータ取得アプリケーションは、その指示があった時の再生時刻「０：０８：１４」と、１ページとを関連付けたイベントデータを作成する。その後、動画像データに基づく再生の再生時刻「０：１３：２４」となった時に、プレゼンテーション用アプリケーション１２０に対して新規作成指示があると、イベントデータ取得アプリケーション１４０は上記第１実施形態と同様にその指示時点における再生時刻「０：１３：２４」と、新規作成されたページである２ページとを関連付けたイベントデータを作成する。
【０１００】
（変形例３）
また、上述した各実施形態において、イベントデータ取得アプリケーション１４０は、プレゼンテーション用アプリケーション１２０に対してユーザがスライド画像の新規作成指示を行った場合にその指示タイミング等を含むイベントデータを作成するようになっていたが、プレゼンテーション用アプリケーション１２０以外の画像表示機能を有するアプリケーションに対して新規作成指示があった場合にイベントデータを作成するようにしてもよい。
【０１０１】
例えば、文書データ作成編集アプリケーション（ワードプロセッサアプリケーション）のように作成編集した文書画像を表示させる機能を有するアプリケーションや、表計算アプリケーションのように作成編集した表やグラフを表示させる機能を有するアプリケーションであってもよい。そして、ユーザが文書データ作成編集アプリケーションに対して文書データの新規作成指示を行った場合には、イベントデータ取得アプリケーション１４０が、その指示タイミングと、新規作成した文書データを識別する情報（ファイル名等）とを関連付けたイベントデータを作成するようにすればよい。
【０１０２】
（変形例４）
また、上述した各実施形態では、講義や打ち合わせなどを撮影した動画像データと、スライド画像表示用データと、各々のスライド画像のタイトルといった文字情報といった異なる形式のデータの再生を制御して同期させることができるＳＭＩＬ形式のデータを作成していたが、動画像再生に同期させるスライド画像のタイトルのみならず、講義や打ち合わせなどを録音した音声データに基づく音声再生とスライド画像表示を同期させる同期再生データ作成のために、上記各実施形態と同様のイベントデータ取得処理を行うようにしてもよい。
【０１０３】
（変形例５）
また、上述した実施形態では、インデキシングアプリケーション１５０が、イベントデータ、抽出したタイトルデータやページ番号データ等の文書情報、プレゼンテーション資料ファイルおよび動画像データに基づいて、動画像と、スライド画像と、これらのスライド画像のタイトル等の文字情報を同期して表示させることができる同期再生データとしてＳＭＩＬ形式のデータを作成するようにしていた。
【０１０４】
このように同期再生データとしてＳＭＩＬ形式のデータを作成するようにしてもよいが、ＳＭＩＬ以外のデータであっても、映像（または音声等）と、スライド画像等の静止画と、タイトル等の文字情報といった異なる形式のデータの再生を制御して同期させることができる形式のデータであればよく、ＳＭＩＬ形式以外の形式のデータを作成するようにしてもよい。
【０１０５】
（変形例６）
また、上述した各実施形態では、単独のインデキシング装置においてプレゼンテーション用アプリケーション１２０、動画像再生アプリケーション１３０、イベントデータ取得アプリケーション１４０およびインデキシングアプリケーション１５０が動作するようになっていたが、互いにデータの授受が可能な複数のＰＣ等が上記アプリケーションの機能を分担して実現して同期再生データを生成するインデキシング装置を構成するようにしてもよい。
【０１０６】
（変形例７）
また、上述した各実施形態では、ＰＣ等に内蔵されるＣＰＵ等のコンピュータが外部記憶装置等に記憶されたプログラムを読み出して動作することにより、上述したイベント取得処理（図３参照）やインデキシング処理（図６参照）などを行うようになっていたが、このような処理と同様の処理をハードウェア回路によって実現するようにしてもよいし、コンピュータにこのような処理を実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。
【０１０７】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、講義や打ち合わせ等を撮影した動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１０８】
また、請求項２にかかる発明によれば、講義や打ち合わせなどを撮影した動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで予め作成しておいた画像表示用データに基づく画像表示を行わせるデータの作成を容易にすることができるという効果を奏する。
【０１１１】
また、請求項３にかかる発明によれば、打ち合わせや講義等を撮影記録した動画像等を再生する際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１１２】
また、請求項４にかかる発明によれば、打ち合わせや講義等を撮影記録した動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで予め作成しておいた画像表示用データに基づく画像表示を行わせるデータの作成を容易にすることができるという効果を奏する。
【０１１３】
また、請求項５にかかる発明によれば、打ち合わせ等を撮影した動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１１４】
また、請求項６にかかる発明によれば、打ち合わせ等を撮影記録した動画像等を再生する際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１１５】
また、請求項７にかかる発明によれば、打ち合わせ等を撮影した動画像再生の際に応じてユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１１７】
また、請求項８にかかる発明によれば、打ち合わせ等を撮影記録した動画像等を再生する際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１１８】
また、請求項９にかかるプログラムをコンピュータに実行させることで、上記請求項１にかかる発明と同様の動作が行われ、動画像再生等をする際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができるという効果を奏する。
【０１２０】
また、請求項１０にかかるプログラムをコンピュータに実行させることで、上記請求項３にかかる発明と同様の動作が行われ、動画像等の再生の際にユーザが所望したタイミングで上記アプリケーションで作成した画像表示用データに基づく画像表示を行わせるデータの作成等を容易にすることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態にかかるインデキシング装置の構成を示すブロック図である。
【図２】前記インデキシング装置で動作するプレゼンテーション用アプリケーションによって作成されるプレゼンテーション資料ファイルの内容を示す図である。
【図３】前記インデキシング装置で動作するイベントデータ取得アプリケーションによるイベントデータ取得処理の手順を示すフローチャートである。
【図４】前記イベントデータ取得アプリケーションによるイベントデータ取得過程を説明するための図である。
【図５】前記インデキシング装置によって作成される同期再生データに基づく再生画像の一例を示す図である。
【図６】前記インデキシング装置で動作するインデキシングアプリケーションによる処理の手順を示すフローチャートである。
【図７】動画像およびスライド画像といった異なる形式のデータを同期再生させる前記同期再生データにおける、動画像とスライド画像との対応関係を模式的に示す図である。
【図８】本発明の第２実施形態にかかるインデキシング装置の構成を示すブロック図である。
【図９】本発明の第３実施形態にかかるインデキシング装置の構成を示すブロック図である。
【図１０】前記第１実施形態にかかるインデキシング装置の変形例によるイベントデータ取得処理の内容を説明するための図である。
【図１１】各実施形態にかかるインデキシング装置の変形例によるイベントデータ取得処理の内容を説明するための図である。
【符号の説明】
１００ インデキシング装置
１１０ ユーザインターフェース
１２０ プレゼンテーションアプリケーション
１３０ 動画像再生アプリケーション
１４０ イベントデータ取得アプリケーション
１５０ インデキシングアプリケーション
１６０ 記憶部
１８０ 動画像録画再生部
２００ インデキシング装置
３００ インデキシング装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an event acquisition device, an indexing device, an event acquisition method, and a program.
[0002]
[Prior art]
Conventionally, when giving presentations, lectures, meetings, etc., the state of presentations and lectures is recorded with a video camera or recorded with a recording device, and the recorded data recorded with the video camera or the recorded recording data is recorded on a recording medium, etc. It may be recorded and distributed. A person who has received such a distribution of the recording medium reproduces the recorded data on a predetermined reproduction device, so that the presentation or lecture can be viewed or listened to.
[0003]
In presentations and lectures, a projector device that displays data on a screen is often used. Therefore, when playing back images taken from presentations, etc., if the materials displayed on the screen are displayed in synchronization with the playback, the contents of presentations and lectures are easier to understand. Become.
[0004]
Therefore, a technique has been proposed in which the state of the presentation is recorded in a video, and the presenter acquires timing information for displaying each material image on the screen during the presentation (see, for example, Patent Document 1). .
[0005]
In such a technique, when reproducing a video recording the state of a presentation, by referring to the display timing information of each acquired image, when the presentation video playback time reaches the display timing of an image, the certain image is displayed. Are displayed based on the image data.
[0006]
[Patent Document 1]
JP-A-10-55391
[0007]
[Problems to be solved by the invention]
By the way, there are cases where participants of lectures and meetings want to provide supplementary materials that were not prepared at the time of lectures and meetings in order to convey the contents in an easy-to-understand manner by third parties. For example, at the time of meeting, supplementary information that is not included in the recorded video and audio, such as what the other party's atmosphere was when talking is synchronized with the playback of these video and audio If it can be presented, it will be easier for viewers and listeners to understand the contents of the meeting.
[0008]
In the above-mentioned prior art, in which the presenter obtains the timing when the prepared material is displayed in advance in the lecture, etc., and displays the synchronized playback, the above-mentioned prior art is used when a new supplementary material is to be added after the lecture, etc. Couldn't even add it.
[0009]
The present invention has been made in view of the above, and when reproducing the contents of lectures and meetings, it is easy to display supplemental materials that were not presented in the lectures in synchronization with the reproduction of lectures and meetings. An event acquisition device, an indexing device, an event acquisition method, and a program are provided.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is an image display data that is image data that can be displayed on a display unit while reproducing a moving image or sound based on moving image data or sound data. For applications that have a creation function to create Unedited new When there is a creation instruction to create image display data, based on the reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time of the creation instruction, and the creation instruction An event acquisition device comprising event recording means for recording the image display data in association with identification information for identifying the created image display data.
[0011]
According to the first aspect of the present invention, if an instruction to create new image display data is given to the application at a timing when it is desired to add an image display such as supplementary material while referring to the reproduced moving image display, The reproduction time at the time of the new creation instruction and the information for identifying the newly created image display data are recorded in association with each other. Therefore, by referring to the recording in which the reproduction time and the identification information are associated with each other, the image display based on the image display data created by the application is performed at the timing desired by the user when reproducing the moving image or the like. The creation of data to be made can be facilitated.
[0012]
According to a second aspect of the present invention, in the configuration of the first aspect of the invention, the event recording means has already stored image display data created by the application. Exist In some cases , When there is a timing instruction from the user, The timing Instructed It is a relative time to be reproduced included in the moving image data or audio data at the time Playback time, and Image display data related to the timing instruction among existing image display data It is characterized in that it is recorded in association with identification information for identifying the.
[0013]
According to the second aspect of the present invention, when there is image display data created in advance before the moving image or the like is reproduced, the user can perform the desired timing while the moving image is being reproduced. If the instruction is given, the reproduction time at the time of the instruction and the information for identifying the image display data created in advance are recorded in association with each other. Therefore, by referring to the recording in which the reproduction time and the identification information are associated with each other, it is based on the image display data created in advance by the application at a timing desired by the user when reproducing the moving image or the like. It is possible to easily create data for displaying an image.
[0018]
The invention according to claim 3 has a creation function for creating image display data that is image data that can be displayed on the display unit while recording moving image data and audio data supplied in real time. For application Unedited new When there is a creation instruction for creating image display data, an elapsed time from the start of recording when the creation instruction is given, and identification information for identifying the image display data created based on the creation instruction; It is an event acquisition device which comprises an event recording means for recording in association with each other.
[0019]
Claim 3 According to the present invention, while recording a moving image obtained by taking a meeting or a lecture that is supplied in real time, new image display data is added to the application at a timing when an image display such as supplementary material is to be added. If the creation instruction is performed, the elapsed time from the start of recording at the time of the new creation instruction and the information for identifying the newly created image display data are recorded in association with each other. Therefore, by referring to the record in which the elapsed time and the identification information are associated with each other, the image display based on the image display data created by the application at the timing desired by the user when reproducing the recorded moving image or the like is performed. It is possible to facilitate the creation of data to be performed.
[0020]
Claims 4 The invention according to claim 3 In the configuration of the invention according to the present invention, the event recording means has already stored the image display data created by the application. Exist In some cases , When there is a timing instruction from the user, The timing Elapsed time from the start of recording when instructed, Image display data according to the timing instruction among the existing image display data It is characterized in that it is recorded in association with identification information for identifying the.
[0021]
Claim 4 According to the present invention, when there is image display data created in advance before recording a meeting or a moving image, the user gives an instruction at a desired timing while the moving image is being recorded. If it does, the elapsed time from the start of recording at the time of the instruction and the information for identifying the image display data created in advance will be recorded in association with each other. Therefore, by referring to a record in which such elapsed time and identification information are associated with each other, image display data created in advance by the above application at the timing desired by the user when reproducing the recorded moving image or the like It is possible to easily create data for displaying an image based on the above.
[0022]
Further, the invention according to claim 5 has a function of creating image display data that is image data that can be displayed on the display unit while reproducing a moving image or sound based on moving image data or sound data. For application Unedited new When there is a creation instruction to create image display data, based on the reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time of the creation instruction, and the creation instruction Event recording means for associating and recording identification information for identifying the created image display data, the reproduced moving image data or the audio data, and the reproduction time recorded by the event recording means An indexing device comprising: indexing means for associating event contents including identification information with a time series based on the reproduction time recorded by the event recording means.
[0023]
Claim 5 According to the invention, if an instruction to create new image display data is given to the application at the timing at which an image display such as supplementary material is added while referring to the reproduced moving image display, the new creation is performed. The reproduction time at the designated time point and the information for identifying the newly created image display data are recorded in association with each other. Then, the indexing means associates the moving image data and the image display data identification information in time series with the reproduction time included in the event content. Therefore, following such association facilitates creation of data that causes image display based on image display data created by the above application at a timing desired by the user when reproducing a moving image or the like. be able to.
[0024]
The invention according to claim 6 is an application having a function of creating image display data, which is image data that can be displayed on the display unit, while recording moving image data and audio data supplied in real time. for, Unedited new When there is a creation instruction for creating image display data, an elapsed time from the start of recording when the creation instruction is given, and identification information for identifying the image display data created based on the creation instruction; Event recording means for associating and recording, the recorded moving image data or audio data, and event contents including identification information associated with the elapsed time recorded by the event recording means, And an indexing means for associating with time series based on the elapsed time recorded by the method.
[0025]
Claim 6 According to the present invention, while recording a moving image obtained by taking a meeting or a lecture that is supplied in real time, new image display data is added to the application at a timing when an image display such as supplementary material is to be added. If the creation instruction is performed, the elapsed time from the start of recording at the time of the new creation instruction and the information for identifying the newly created image display data are recorded in association with each other. Then, the indexing means associates the moving image data and the image display data identification information in time series with the elapsed time included in the event content. Therefore, according to such association, it is easy to create data that causes an image display based on the image display data created by the above application at a timing desired by the user when reproducing the recorded moving image or the like. Can be.
[0026]
The invention according to claim 7 is a reproduction step for reproducing a moving image or sound based on moving image data or sound data, and image data that can be displayed on a display unit during reproduction in the reproduction step. For applications that have a display data creation function, Unedited new When there is a creation instruction to create image display data, based on the reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time of the creation instruction, and the creation instruction An event recording method comprising: an event recording step of recording in association with identification information for identifying the created image display data.
[0027]
Claim 7 According to the invention, if an instruction to create new image display data is given to the application at the timing at which an image display such as supplementary material is added while referring to the reproduced moving image display, the new creation is performed. The reproduction time at the designated time point and the information for identifying the newly created image display data are recorded in association with each other. Therefore, by referring to the recording in which the reproduction time and the identification information are associated with each other, data that causes the image display based on the image display data created by the application at the timing desired by the user at the time of moving image reproduction is performed. Can be made easy.
[0030]
According to an eighth aspect of the present invention, there is provided a recording step for recording moving image data and audio data supplied in real time, and image display that is image data that can be displayed on a display unit during recording in the recording step. For applications that have data creation functions Unedited new When there is a creation instruction for creating image display data, an elapsed time from the start of recording when the creation instruction is given, and identification information for identifying the image display data created based on the creation instruction; And an event recording step for recording the event in association with each other.
[0031]
Claim 8 According to the present invention, while recording a moving image obtained by taking a meeting or a lecture that is supplied in real time, new image display data is added to the application at a timing when an image display such as supplementary material is to be added. If the creation instruction is performed, the elapsed time from the start of recording at the time of the new creation instruction and the information for identifying the newly created image display data are recorded in association with each other. Therefore, by referring to the record in which the elapsed time and the identification information are associated with each other, the image display based on the image display data created by the application at the timing desired by the user when reproducing the recorded moving image or the like is performed. It is possible to facilitate the creation of data to be performed.
[0032]
The invention according to claim 9 is the creation of image display data that is display data that can be displayed on the display unit while the computer reproduces a moving image or sound based on the moving image data or sound data. For functional applications, Unedited new When there is a creation instruction to create image display data, based on the reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time of the creation instruction, and the creation instruction This is a program for functioning as event recording means for recording the associated image identification data for identifying the created image display data.
[0033]
Claim 9 By causing the computer to execute the program, the same operation as that of the invention according to claim 1 is performed, and based on the image display data created by the application at a timing desired by the user at the time of moving image reproduction or the like. It is possible to easily create data for displaying an image.
[0036]
The invention according to claim 10 is the creation of image display data that is display data that can be displayed on the display unit while recording moving image data and audio data supplied in real time. For functional applications, Unedited new When there is a creation instruction for creating image display data, an elapsed time from the start of recording when the creation instruction is given, and identification information for identifying the image display data created based on the creation instruction; Is a program for functioning as event recording means for recording the event in association with each other.
[0037]
Claim 10 By causing a computer to execute the program according to claim 1, 3 The same operation as that of the invention according to the present invention is performed, and it is easy to create data that causes image display based on the image display data created by the above application at the timing desired by the user when playing back a moving image or the like Can do.
[0038]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of an event acquisition device, an indexing device, an event acquisition method, and a program according to the present invention will be described below in detail with reference to the accompanying drawings.
[0039]
A. First embodiment
FIG. 1 shows a functional configuration of an indexing apparatus according to the first embodiment of the present invention. The indexing device 100 shown in the figure can be configured by a device that realizes various functions by executing applications by a CPU or the like, for example, a PC (Personal Computer), a user interface (I / F) 110, a presentation, and the like. Application 120, moving image playback application 130, event data acquisition application 140, indexing application 150, and storage unit 160.
[0040]
The user interface 110 has input devices such as a keyboard and a mouse, and the user can give instructions to various applications that operate on the indexing device by appropriately operating them.
[0041]
The storage unit 160 is a storage device such as a hard disk drive capable of recording and reading data, and stores data created and used by various applications described later.
[0042]
The presentation application 120 creates slide image display data corresponding to slide images (tables, graphs, documents, symbols, etc.) to be displayed on a screen or the like when giving a presentation.
[0043]
As illustrated in FIG. 2, the presentation application 120 manages a plurality of slide image display data created for use in one presentation as one presentation material file. Each slide image display data included in the slide image file includes data such as title data and page number of the slide image in addition to display data corresponding to the slide image.
[0044]
When the user inputs an instruction to create new slide image display data via the user interface 110, new slide image display data that can be edited by the presentation application 120, that is, a blank slide image is displayed. Data for display is created, and then the user performs appropriate instructions via the user interface 110 to edit the slide image display data so that images of desired characters, tables, graphs, designs, etc. are displayed. Can be done.
[0045]
Also, when new slide image display data is created as described above according to the user's instructions, the title data is blank until the user inputs an instruction, and the desired title is given by the user as appropriate. Can be described.
[0046]
As for the page number data of the newly created slide image display data, information indicating the next number after the largest page number created in the presentation material file is automatically described. For example, if the slide image display data to be newly created is the first slide image display data in the presentation material file, the page number is “1”, and three slide image display data have already been created. After that, when a new creation instruction is issued, the page number of the newly created slide image display data is “4”. According to the presentation application 120, the page numbers are automatically described, but this order can be edited by a user instruction, that is, can be changed to an arbitrary page number.
[0047]
The presentation application 120 causes the storage unit 160 to store the presentation material file created according to the user operation as described above.
[0048]
In addition, the user appropriately operates the user interface 110 to instruct the presentation application 120 to select any of a plurality of slide image display data included in the created presentation material file, and to select a desired one. At a timing, an image based on the slide image display data can be displayed on a display unit such as an LCD (Liquid Crystal Display).
[0049]
The moving image reproduction application 130 reproduces a moving image based on moving image data according to the MPEG (Moving Pictures Experts Group) 2 standard stored in the storage unit 16. The moving image playback application 130 performs moving image playback in accordance with instructions such as playback start, pause, playback end, and fast-forward supplied from the user via the user interface 110.
[0050]
The event data acquisition application 140 monitors the state of the presentation application 120 while the moving image playback based on the moving image data is being performed by the moving image playback application 130, and instructs the user to create new slide image display data. Event data is created and recorded in response to the presentation application 120.
[0051]
More specifically, as shown in FIG. 3, when the event data acquisition application 140 starts moving image reproduction by the moving image reproduction application 130, the user can create new slide image display data with respect to the presentation application 120. It is monitored whether or not a creation instruction has been issued (step Sa1), and if there is a new creation instruction, page number data is acquired as information for identifying slide image display data created by the new creation instruction ( Step Sa2).
[0052]
Here, the following method can be used as a method for the event data acquisition application 140 to acquire a new creation instruction from the presentation application 120, and the page number data of the newly created slide image. For example, when the application for presentation is “PowerPoint” of Microsoft Corporation, information indicating various states of the application can be acquired using a technique called OLE (Object Linking and Embedding). In this case, information indicating the application state as described above can be acquired by calling a function so that data can be exchanged between the event data acquisition application 140 and the presentation application that supports OLE. it can.
[0053]
Note that a method other than acquiring information indicating the state of the presentation application 120 using such OLE technology may be used. For example, when a new creation instruction is given to a presentation application, You may make it perform the process which notifies the fact and the page number of the created slide image to the event data acquisition application 140 one by one.
[0054]
When the presence / absence of a new creation instruction and page number data are acquired by the method as described above, the event data acquisition application 140 acquires the playback time of moving image data by the moving image playback application 130 at the time when the new creation instruction is received ( Step Sa3). For example, while the moving image reproduction application 130 performs moving image reproduction based on 35 minutes of moving image data such as “0:00: 00” to “35:00: 00” illustrated in FIG. When “0:07:12” is given and a new creation instruction is received from the user, the event data acquisition application 140 acquires “0:07:12” as the playback time. In addition, when the moving image playback by the moving image playback application 130 is started from a midway position, for example, “0:13:15”, a new creation instruction is issued when the playback position is “0:25:18”. Sometimes the event data acquisition application 140 acquires the playback time “0:25:18” of the moving image data. That is, the elapsed time from the start of playback is 12 minutes 3 seconds, but the event data acquisition application 140 is not the elapsed time from the start of playback, but when a new creation instruction is received from the user The reproduction time on the moving image data is acquired.
[0055]
When the event data acquisition application 140 receives a new creation instruction from the user to the presentation application 120, the event data acquisition application 140 acquires the playback time at the time of the instruction and the page number of the slide image created by the instruction. The time and page number data are associated and recorded as event data (step Sa4). That is, as shown in FIG. 4, when a new creation instruction is given at the playback time “0:07:12” and the slide image display data with page number “2” is newly created by the presentation application 120. Event data in which the reproduction time “0:07:12” and “2 pages” are associated is created and recorded. In addition, when a new creation instruction is given at the playback time “0:25:18” and the slide image display data with the page number “3” is created by the presentation application 120, the playback time “0:25: Event data in which “18” and “3 pages” are associated is created and recorded.
[0056]
The event data acquisition application 140 performs the event data record creation process from the above step Sa2 to step Sa4 each time the user instructs the presentation application 120 to create a new slide image.
[0057]
On the other hand, if there is no new creation instruction from the user (determination “No” in step Sa1), it is determined whether or not the moving image reproduction by the moving image reproduction application 130 has ended (step Sa5). When the moving image reproduction ends, whether reproduction based on a certain moving image data has ended, that is, if the reproduction position reaches “0:35:00” in the case of moving image data shown in FIG. Alternatively, the user instructs the moving image playback application 130 to end playback via the user interface 110.
[0058]
When the moving image reproduction by the moving image reproduction application 130 has been completed, the event data acquisition application 140 performs the processing from step Sa2 to step Sa4 while recording the event data while the moving image reproduction is being performed. The data is output to the indexing application 150 (step Sa6).
[0059]
The indexing application 150 shown in FIG. 1 receives the event data supplied from the event data acquisition application 140 after the moving image reproduction ends, and the slide image display data created by the presentation application 120 during the moving image reproduction as described above. Based on the presentation material file included and the moving image data reproduced by the moving image reproduction application 130, the synchronized reproduction data capable of synchronously reproducing the moving image reproduction based on the moving image data and the slide image is created. .
[0060]
For example, there is a SMIL (Synchronized Multimedia Integration Language) format as a data format that controls and synchronizes the reproduction of various different types of data such as moving images, still images, characters, and the like. The indexing application 150 in this embodiment performs synchronous playback. Data in the SMIL format is created as data.
[0061]
By reproducing such synchronous reproduction data with a predetermined reproduction software (for example, software for reproducing SMIL format data) on a PC or the like, a display as shown in FIG. 5 is made on the display screen.
[0062]
As shown in the figure, the display screen includes a video display field 500 for displaying a moving image reproduced by the above-described moving image reproduction application, and a slide included in a presentation material file created during moving image reproduction. A slide image column 510 for displaying slide images based on the image display data and a table of contents column 520 for displaying a list of titles of these slide images are displayed.
[0063]
Synchronized playback data is data that enables playback and display of characters such as moving images, slide images, and titles as described above in synchronization. Refer to FIG. 6 for details of the synchronized playback data creation processing. While explaining.
[0064]
First, the indexing application 150 extracts character information such as title data and page number data of each slide image display data from the presentation material file stored in the storage unit 160 (step Sb1).
Also, the indexing application 150 extracts slide image display data from the presentation material file and saves it as data for slide image display in a predetermined format (for example, a general-purpose format such as JPEG (Joint Photographic Experts Group)). (Step Sb2).
[0065]
Next, based on the event data, the document information such as the extracted title data and page number data, the presentation material file, and the moving image data, the indexing application 150, as shown in FIG. 5, a video based on the moving image data, Synchronized reproduction data that can display the slide images based on the slide image display data in the presentation material file and the character information such as the titles of these slide images in synchronization is created (step Sb3).
[0066]
As described above, in the present embodiment, data in the SMIL format is created as such synchronous playback data, and the indexing application 150 acquires the following data from each supplied data, and stores these data in the SMIL format. SMIL-format synchronous reproduction data is created by describing according to the above.
(1) New creation timing of each slide image
(2) Title data of each slide image (title, text content, page number, etc.)
(3) Storage location (file path information) of each slide image (JPEG, etc.)
(4) Storage location of moving image data corresponding to each slide image (file path information)
(5) Layout data indicating how the video display field 500, slide image field 510, and table of contents field 520 (see FIG. 5) are arranged
[0067]
Note that the layout information (5) is not generated from supplied data such as event data, but is generated according to a layout instructed by the user.
[0068]
FIG. 7 schematically shows the correspondence relationship between the title, the slide image, and the video file in the synchronous reproduction data thus created. In the example shown in the figure, a first slide image creation instruction for the first page to the user's presentation application 120 at the time of moving image playback is performed at the playback time “0:00: 00”, and a new slide image creation instruction for the second page is issued. The playback time is “0:01:15”, the new slide image creation instruction for the third page is issued at the playback time “0:02:45”, and the new slide image creation instruction for the fourth page is the playback time “0”. : 03: 53 ", the event data at the instruction timing is acquired by the event data acquisition application 140.
[0069]
When an instruction to create a new slide image is issued at the timing described above during video playback, it is from when an instruction to create a new slide image for the first page until an instruction to create a new slide image for the second page is given. The moving image data reproduced at (time 0:00:00 to 0:01:15) is associated with the slide image of the first page and its title “Introduction”. Also, playback was performed during the period from the time when a new creation instruction for the slide image of the second page was given until the time when the new creation instruction for the slide image of the third page was given (time 0:01:15 to 0:02:45). The moving image data is associated with the slide image of the second page and its title “background”. Furthermore, the movie played back from the time when the new creation instruction for the third page slide image is issued until the time when the new slide image is given for the fourth page (time 0:02:45 to 0:03:53). The image data is associated with the slide image of the third page and its title “Outline”.
[0070]
The indexing application 150 can control and synchronize the reproduction of data in different formats such as character information such as titles, still images such as slide images, and moving image data based on the time-series correspondence as described above. Data in SMIL format is created.
[0071]
By reproducing such synchronous reproduction data with a predetermined reproduction software on a PC or the like, a display as shown in FIG. 5 is made on the display screen.
[0072]
If the user referring to such a display clicks “Background”, the synchronized playback data includes the path to the slide image on the second page and the corresponding moving image data (start time 0:01:15). Since the reproduction software displays the slide image corresponding to the second page in the slide image column 510, the link is displayed from the time “0:01:15” corresponding to this title. The reproduction of the moving image data is started and displayed in the video display field 500.
[0073]
If “Summary” is clicked, the slide image on the third page corresponding to the title and the path to the moving image data (start time 0:02:45) are linked. Is displayed in the slide image column 510, and a reproduced video based on the moving image data from the time “0:02:45” is displayed in the video display column 500.
[0074]
Of course, when the user designates a reproduction time to be displayed in the video display field 500, a slide image corresponding to the designated reproduction time can be displayed in the slide image field 510. For example, when the user gives an instruction to reproduce a moving image from the reproduction time “0:02:30”, the reproduction software reproduces the moving image from that time according to the synchronized reproduction data, and at the designated time “0: The slide image of the second page (corresponding to the video of 0:01:15 to 0:02:45) associated with “02:30” is read out and displayed in the slide image column 510.
[0075]
Playback using synchronized playback data created through the above-described process is not limited to video based on moving image data, but a slide image of a page newly created at the timing of new creation instruction performed while referring to the moving image playback. The slide image of the page is displayed until the timing when a new creation instruction for the next page is given.
[0076]
Therefore, the user of the indexing apparatus 100 instructs the presentation application 120 to create a new document at a timing when additional material or the like is added while referring to the moving image reproduction in which the meeting or lecture is photographed. By editing the slide image into a slide image that displays the material to be supplemented, as described above, the supplementary material image of the content intended at the timing intended by the editor is obtained according to the progress of the moving image playback. Synchronized playback data that can be displayed can be created.
[0077]
In the present embodiment, the event data acquisition application 140 acquires the playback time of the moving image playback by the moving image playback application 130 at the time when a new creation instruction is given by the user. Even when playback is started, the playback time of the moving image data is acquired instead of the elapsed time after the start of playback in the middle (see FIG. 4).
[0078]
In this way, after temporarily stopping playback based on moving image data in order to perform a slide image editing operation newly created by the user, a moving image playback instruction from the point of the stop is performed again, and the playback video is referred to. However, even when a new creation instruction is issued at a desired timing, the reproduction time of the moving image data at the time of the instruction can be acquired as event data. Therefore, the slide that presents the created supplementary material and the like at the timing desired by the user when reproducing the moving image data by creating the synchronized reproduction data using the event data thus acquired and reproducing the synchronized reproduction data. An image can be displayed.
[0079]
B. Second embodiment
Next, an indexing device according to a second embodiment of the present invention will be described with reference to FIG. As shown in the figure, the indexing device 200 according to the second embodiment is provided with a moving image recording / playback unit 180 instead of the moving image playback application 130 shown in FIG. 1, and the indexing device 100 according to the first embodiment. Is different.
[0080]
The moving image recording / playback unit 180 is a function realized by a capture board or software. The moving image data captured by a DV (Digital Video) camera 190 and supplied in real time is in a predetermined format (for example, MPEG2). It converts into moving image data, and stores the converted moving image data in the storage unit 160. In addition, the moving image recording / playback unit 180 executes the moving image playback based on the moving image data supplied in real time from the DV camera 190 while recording as described above, and displays the playback video on a display unit (not shown) or the like. Let
[0081]
In the present embodiment, when the synchronized reproduction data is created using the indexing device 200 in the same manner as the indexing device 100 according to the first embodiment, the DV camera 190 photographs, for example, a meeting or a lecture. The moving image recording / reproducing unit 180 records and reproduces the moving image in real time. By referring to the reproduced video, the editor can create new synchronized reproduction data similar to that in the first embodiment by giving a new creation instruction to the presentation application 120 at a timing when the supplementary material or the like is to be presented. it can.
[0082]
In other words, the event data acquisition application 140 according to the second embodiment is a user for the presentation application 120 while the moving image recording / playback unit 180 records moving image data supplied from the DV camera 190 in real time. If there is an instruction to create a new slide image, the page number of the newly created slide image is acquired, the recording time by the moving image recording / playback unit 180 at the time of the instruction is acquired, and these are associated with the event. Recorded as data (see FIG. 3).
[0083]
Here, the recording time by the moving image recording / reproducing unit 180 is an elapsed time from the start of recording of moving image data when the captured image is supplied in real time by the start of shooting by the DV camera 190. . Accordingly, when an instruction to create a new slide image for the third page is issued 3 minutes and 20 seconds after the start of recording of a moving image shot by the DV camera 190, the event data acquisition application 140 records the recording time “0:03: 20 "is acquired, and this is recorded in association with a page number such as 3 pages.
[0084]
The synchronized playback data creation process performed by the indexing application 150 in the second embodiment is the same as that in the first embodiment. Therefore, when playback based on the synchronized playback data generated by the indexing application 150 is performed, the playback time of the moving image based on the moving image data recorded by the moving image recording / playback unit 180 becomes “0:03:20”. At that time, the slide image of the third page is displayed in the slide image column 510 (see FIG. 5).
[0085]
As described above, the user of the indexing device 200 actually participates in a lecture or a meeting to be photographed while referring to a video reproduced in real time or while recording and recording a meeting or a lecture. On the other hand, by giving a new creation instruction to the presentation application 120 at a timing when the supplementary material is to be displayed, and then editing the newly created slide image into a slide image displaying the material to be supplemented, the above-described operation is performed. As described above, when reproducing a moving image, it is possible to create synchronized reproduction data that can display a supplementary material image having the intended content at the timing intended by the editor.
[0086]
The recording of moving image data supplied in “real time” in this specification does not include the case of copying by receiving a supply of a file such as moving image data, but the video captured by the DV camera 190 or the like. Is supplied to the indexing device 200 as it is, and the moving image data previously captured by the DV camera 190 or the like is supplied to the indexing device 300 at the same time as that for reproduction, that is, 35 minutes of moving image data. If there is, it may include a case where it is supplied in 35 minutes, and also includes a case where moving image data such as a broadcast program is received and recorded by the moving image recording / playback unit 180.
[0087]
C. Third embodiment
Next, an indexing device 300 according to a third embodiment of the present invention will be described with reference to FIG. As shown in the figure, the indexing device 300 according to the third embodiment is different from the indexing device 100 according to the first embodiment in that it does not have the moving image reproduction application 130 shown in FIG.
[0088]
In the indexing device 300, the user instructs the event data acquisition application 140 to start acquisition of event data via the user interface 110. When such an instruction is given, the event data acquisition application 140 starts measuring time.
[0089]
Then, after the acquisition start instruction, when a new creation instruction is given to the presentation application 120, the event data acquisition application 140 acquires the elapsed time from the acquisition start instruction when the instruction is made, The event data is recorded in association with the page number of the slide image created by the new creation instruction.
[0090]
Based on the event data acquired by the event data acquisition application 140 in this way, the indexing application 150 creates synchronized playback data as in the first embodiment. Note that the moving image data to be reproduced in synchronization with the slide image display here is recorded by a moving image recording device or the like different from the indexing device 300. Then, the moving image data recorded by the moving image recording device is supplied to the indexing device 300 and stored in the storage unit 160, so that the indexing application 150 is based on the moving image data as in the first embodiment. Synchronized reproduction data that can synchronize the moving image reproduction and the slide image display can be created.
[0091]
That is, when a user of the indexing device 300 who actually participates in a lecture or a meeting issues a start instruction to a moving image recording apparatus (not shown) that captures the state of the lecture or a meeting, or at the same time. An acquisition start instruction may be issued to the event data acquisition application 140 of the indexing device 300. After that, the user of the indexing device 300 wants to display supplementary materials while actually recording and attending the lecture or meeting that is the subject of photography while recording and recording the meeting or lecture on the moving image recording apparatus. In the same manner as in the first embodiment described above, a new creation instruction is given to the presentation application 120, and then the newly created slide image is edited into a slide image that displays material to be supplemented. As the image reproduction progresses, it is possible to create synchronized reproduction data that can display a supplementary material image having the intended content at the timing intended by the editor.
[0092]
D. Modified example
In addition, this invention is not limited to embodiment mentioned above, Various deformation | transformation which is illustrated below is possible.
[0093]
(Modification 1)
In the first embodiment described above, the event data acquisition application 140 acquires the playback time of moving image playback by the moving image playback application 130 at the time when a new creation instruction is given by the user. Further, when creating one synchronized playback data, when adding another moving image data to a certain moving image data, the event data acquisition application 140 acquires the event data as follows. May be.
[0094]
As shown in FIG. 10, when the moving image data A to be added to the moving image data B to be added to the moving image data A for 35 minutes is reproduced by the moving image reproducing application 130, the reproduction time of the moving image data B is When the user gives an instruction to create a new n-page slide image at the time of “0:05:12”, the event data acquisition application 140 is the playback time of the moving image data A at the playback time of the moving image data B. 35 minutes is added and adjusted, and “0:40:12”, which is the playback time after adjustment, is acquired and event data is created.
[0095]
In this way, even when the synchronized playback data is generated such that the moving image data A and the moving image data B are continuously played back, the event data acquisition application 140 considers the playback time of the moving image data A. Since the playback time is acquired, when the playback position for continuous playback reaches “0:05:12” of the moving image data B, that is, when the continuous playback time reaches “0:40:12”, n It is possible to create synchronous reproduction data that can be synchronously reproduced such that a slide image of a page is displayed in the slide display field 510 shown in FIG.
[0096]
(Modification 2)
Further, in the first to third embodiments described above, the event data acquisition application 140, when a new slide image creation instruction is given to the presentation application 120, the timing (reproduction time, recording start time). Event data including the elapsed time, the elapsed time from the start instruction of the user), and the like are acquired.
[0097]
Thus, not only when all slide images are newly created, but also when one or a plurality of slide images have already been created before moving image playback, recording, user start instruction, etc. When there is a new creation instruction for addition, the event data acquisition application 140 may create event data including the instruction timing and the like, as in the above embodiments.
[0098]
Further, when one or more slide images have already been created, the event data acquisition application 140 is based on the timing designation instruction from the user, and the page related to the timing designation instruction among the slide images already created. The event data may be created by associating the number with a timing such as a reproduction time when the timing designation instruction is given.
[0099]
For example, as shown in FIG. 11, when playback based on moving image data is started in a state where a slide image of one page has already been created, a timing designation instruction is given from the user to the event data acquisition application 140. If there is, the event data acquisition application creates event data in which the reproduction time “0:08:14” at the time of the instruction is associated with one page. After that, when the playback time “0:13:24” based on the moving image data is reached, if a new creation instruction is given to the presentation application 120, the event data acquisition application 140 is the same as in the first embodiment. Event data in which the reproduction time “0:13:24” at the time of the instruction is associated with the newly created page 2 is created.
[0100]
(Modification 3)
In each of the embodiments described above, the event data acquisition application 140 generates event data including the instruction timing and the like when the user instructs the presentation application 120 to create a new slide image. However, event data may be created when a new creation instruction is issued to an application having an image display function other than the presentation application 120.
[0101]
For example, an application having a function of displaying a document image created and edited like a document data creation / editing application (word processor application), or an application having a function of displaying a created table and graph like a spreadsheet application. Also good. When the user issues an instruction to create new document data to the document data creation / editing application, the event data acquisition application 140 receives the instruction timing and information for identifying the newly created document data (file name, etc.). ) May be created.
[0102]
(Modification 4)
Further, in each of the above-described embodiments, the reproduction of data in different formats such as moving image data obtained by taking a lecture or a meeting, slide image display data, and character information such as the title of each slide image is controlled and synchronized. SMIL format data was created, but not only the title of the slide image to be synchronized with the moving image playback, but also the synchronized playback that synchronizes the slide image display with the audio playback based on the audio data recorded for lectures and meetings, etc. For data creation, event data acquisition processing similar to that in each of the above embodiments may be performed.
[0103]
(Modification 5)
Further, in the above-described embodiment, the indexing application 150 executes the moving image, the slide image, and these based on the event data, the document information such as the extracted title data and page number data, the presentation material file, and the moving image data. Data in the SMIL format has been created as synchronous reproduction data that can display character information such as a title of a slide image in synchronization.
[0104]
As described above, data in the SMIL format may be created as the synchronized playback data. However, even in the case of data other than SMIL, video (or audio, etc.), still images such as slide images, characters such as titles, etc. Data in a format that can be synchronized by controlling reproduction of data in different formats such as information may be generated, and data in a format other than the SMIL format may be created.
[0105]
(Modification 6)
In each of the above-described embodiments, the presentation application 120, the moving image playback application 130, the event data acquisition application 140, and the indexing application 150 operate on a single indexing device. However, data can be exchanged with each other. A plurality of PCs or the like may share the functions of the application and configure an indexing device that generates synchronized playback data.
[0106]
(Modification 7)
In each of the above-described embodiments, the event acquisition process (see FIG. 3) and the indexing process described above are performed when a computer such as a CPU incorporated in a PC reads and operates a program stored in an external storage device or the like. (Refer to FIG. 6). However, processing similar to such processing may be realized by a hardware circuit, and a program for causing a computer to execute such processing is provided. The program may be provided to the user via a communication line such as the Internet, or the program may be recorded on a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) and provided to the user. It may be.
[0107]
【The invention's effect】
As described above, according to the first aspect of the present invention, the image display based on the image display data created by the above application at the timing desired by the user at the time of reproduction of the moving image or the like obtained by photographing the lecture or the meeting. There is an effect that it is possible to facilitate the creation of data to be performed.
[0108]
According to the invention of claim 2, image display based on image display data created in advance by the above application at a timing desired by the user at the time of reproduction of a moving image obtained by taking a lecture or a meeting, etc. There is an effect that it is possible to facilitate the creation of data to be performed.
[0111]
Claims 3 According to the present invention, it is possible to create data that causes an image display based on the image display data created by the above application at a timing desired by the user when playing back a moving image or the like recorded and recorded for a meeting or a lecture. There is an effect that it can be made easy.
[0112]
Claims 4 According to the invention, data for displaying an image based on the image display data created in advance by the above application at a timing desired by the user at the time of reproduction of a moving image obtained by recording and recording a meeting or a lecture. There is an effect that the creation of can be facilitated.
[0113]
Claims 5 According to the invention, it is possible to easily create data that causes image display based on image display data created by the above application at a timing desired by the user at the time of reproduction of a moving image or the like obtained by shooting a meeting or the like. There is an effect that can be.
[0114]
Claims 6 According to the present invention, it is easy to create data that causes an image display based on the image display data created by the application at a timing desired by the user when playing back a moving image or the like recorded and recorded. There is an effect that can be done.
[0115]
Claims 7 According to the invention, it is easy to create data that causes image display based on the image display data created by the application at a timing desired by the user at the time of playback of a moving image obtained by shooting a meeting or the like. There is an effect that can be.
[0117]
Claims 8 According to the present invention, it is easy to create data that causes image display based on the image display data created by the above application at a timing desired by the user when playing back a moving image or the like recorded and recorded. There is an effect that can be done.
[0118]
Claims 9 By causing the computer to execute the program, the same operation as that of the invention according to claim 1 is performed, and the image display data created by the application at the timing desired by the user when playing back a moving image or the like. There is an effect that it is possible to easily create data for performing image display based thereon.
[0120]
Claims 10 By causing a computer to execute the program according to claim 1, 3 The same operation as that of the invention according to the present invention is performed, and it is easy to create data that causes image display based on the image display data created by the above application at the timing desired by the user when playing back a moving image or the like Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an indexing device according to a first embodiment of the present invention.
FIG. 2 is a diagram showing the contents of a presentation material file created by a presentation application that operates on the indexing device.
FIG. 3 is a flowchart showing a procedure of event data acquisition processing by an event data acquisition application operating on the indexing device.
FIG. 4 is a diagram for explaining an event data acquisition process by the event data acquisition application.
FIG. 5 is a diagram showing an example of a reproduction image based on synchronous reproduction data created by the indexing device.
FIG. 6 is a flowchart showing a procedure of processing by an indexing application that operates in the indexing apparatus.
FIG. 7 is a diagram schematically illustrating a correspondence relationship between a moving image and a slide image in the synchronous reproduction data for synchronously reproducing different types of data such as a moving image and a slide image.
FIG. 8 is a block diagram showing a configuration of an indexing device according to a second embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of an indexing device according to a third embodiment of the present invention.
FIG. 10 is a diagram for explaining the contents of an event data acquisition process according to a modification of the indexing device according to the first embodiment.
FIG. 11 is a diagram for explaining the contents of event data acquisition processing according to a modification of the indexing device according to each embodiment;
[Explanation of symbols]
100 Indexing device
110 User interface
120 presentation application
130 Video playback application
140 Event data acquisition application
150 Indexing application
160 Storage unit
180 Video recording / playback unit
200 Indexing device
300 Indexing device

Claims (10)

動画像データまたは音声データに基づいて動画像または音声を再生している間に、表示部に表示可能な画像データである画像表示用データを作成する作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段
を具備することを特徴とするイベント取得装置。Moving image data or on the basis of the audio data while reproducing the moving image or voice, to the application having the creating function that creates an image display data is image data that can be displayed on the display unit, unedited When there is a creation instruction for creating new image display data, a reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time when the creation instruction is given, and the creation instruction An event acquisition device comprising: an event recording unit that records identification information for identifying image display data created based on the association information. 前記イベント記録手段は、前記アプリケーションによって作成された画像表示用データがすでに存在する場合において、ユーザからタイミング指示があったときには、前記タイミング指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記すでに存在する画像表示用データのうち前記タイミング指示にかかる画像表示用データを識別する識別情報とを関連付けて記録する
ことを特徴とする請求項１に記載のイベント取得装置。In the case where image display data created by the application already exists, the event recording means, when there is a timing instruction from the user, the reproduction included in the moving image data or audio data at the time when the timing is instructed The reproduction time as a relative time to be recorded and identification information for identifying the image display data according to the timing instruction among the existing image display data are recorded in association with each other. Event acquisition device. リアルタイムで供給される動画像データおよび音声データを記録している間に、表示部に表示可能な画像データである画像表示用データを作成する作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段
を具備することを特徴とするイベント取得装置。While recording moving image data and audio data supplied in real time, a new unedited application is provided for an application having a creation function for creating image display data that can be displayed on the display unit. When there is a creation instruction for creating image display data, an elapsed time from the start of recording when the creation instruction is given, and identification information for identifying the image display data created based on the creation instruction; An event acquisition device comprising: event recording means for recording in association with each other. 前記イベント記録手段は、前記アプリケーションによって作成された画像表示用データがすでに存在する場合において、ユーザからタイミング指示があったときには、前記タイミング指示された時の記録開始からの経過時間と、前記すでに存在する画像表示用データのうち前記タイミング指示にかかる画像表示用データを識別する識別情報とを関連付けて記録する
ことを特徴とする請求項３に記載のイベント取得装置。In the case where image display data created by the application already exists, the event recording means, when there is a timing instruction from a user, an elapsed time from the start of recording when the timing is instructed, and the already existing The event acquisition apparatus according to claim 3, wherein identification information for identifying image display data according to the timing instruction is recorded in association with the image display data to be recorded. 動画像データまたは音声データに基づいて動画像または音声を再生している間に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段と、
再生された前記動画像データまたは前記音声データと、前記イベント記録手段によって記録された再生時刻に関連付けられた識別情報を含むイベント内容とを、前記イベント記録手段によって記録された再生時刻に基づいて時系列に対応付けるインデキシング手段とを具備することを特徴とするインデキシング装置。For an application having a function for creating image display data, which is image data that can be displayed on the display unit, while playing back a moving image or sound based on moving image data or audio data, a new unedited When there is a creation instruction to create image display data, based on the reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time of the creation instruction, and the creation instruction Event recording means for recording in association with identification information for identifying the created image display data;
Based on the reproduction time recorded by the event recording means, the reproduced moving image data or the audio data and the event contents including identification information associated with the reproduction time recorded by the event recording means. An indexing device comprising indexing means for associating with a sequence. リアルタイムで供給される動画像データおよび音声データを記録している間に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段と、
記録された前記動画像データまたは前記音声データと、前記イベント記録手段によって記録された経過時間に関連付けられた識別情報を含むイベント内容とを、前記イベント記録手段によって記録された経過時間に基づいて時系列に対応付けるインデキシング手段とを具備することを特徴とするインデキシング装置。While recording moving image data and audio data supplied in real time, a new unedited image display for an application having a function for creating image display data that can be displayed on the display unit If there is a creation instruction for creating the production data, the elapsed time from the start of recording when the creation instruction is given is associated with identification information for identifying the image display data created based on the creation instruction. Event recording means for recording,
Based on the elapsed time recorded by the event recording means, the recorded moving image data or audio data and the event content including identification information associated with the elapsed time recorded by the event recording means are recorded. An indexing device comprising indexing means for associating with a sequence. 動画像データまたは音声データに基づいて動画像または音声を再生する再生ステップと、
前記再生ステップでの再生中に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録ステップと
を具備することを特徴とするイベント取得方法。A reproduction step for reproducing a moving image or sound based on the moving image data or sound data;
During the reproduction in the reproduction step, an instruction to create new unedited image display data is issued to an application having a function of creating image display data that is image data that can be displayed on the display unit. If there is, identification information for identifying a reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time when the creation instruction is given, and image display data created based on the creation instruction And an event recording step for recording the event in association with each other. リアルタイムで供給される動画像データおよび音声データを記録する記録ステップと、
前記記録ステップでの記録中に、表示部に表示可能な画像データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録ステップと
を具備することを特徴とするイベント取得方法。A recording step for recording moving image data and audio data supplied in real time;
During recording in the recording step, an instruction to create new unedited image display data is issued to an application having a function of creating image display data that is image data that can be displayed on the display unit. And an event recording step for recording the elapsed time from the start of recording when the creation instruction is given and the identification information for identifying the image display data created based on the creation instruction in association with each other. An event acquisition method characterized by that. コンピュータを、
動画像データまたは音声データに基づいて動画像または音声を再生している間に、表示部に表示可能な表示データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時点における前記動画像データまたは音声データに含まれる再生すべき相対時刻である再生時刻と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段
として機能させるためのプログラム。Computer
For an application having a function of creating image display data, which is display data that can be displayed on the display unit, while playing back a moving image or sound based on moving image data or sound data, a new unedited When there is a creation instruction to create image display data, based on the reproduction time that is a relative time to be reproduced included in the moving image data or audio data at the time of the creation instruction, and the creation instruction A program for functioning as event recording means for recording in association with identification information for identifying created image display data. コンピュータを、
リアルタイムで供給される動画像データおよび音声データを記録する記録している間に、表示部に表示可能な表示データである画像表示用データの作成機能を有するアプリケーションに対して、未編集の新規な画像表示用データを作成する旨の作成指示があった場合、前記作成指示された時の記録開始からの経過時間と、前記作成指示に基づいて作成された画像表示用データを識別する識別情報とを関連付けて記録するイベント記録手段
として機能させるためのプログラム。Computer
While recording moving image data and audio data supplied in real time, an unedited new data is created for an application having a function of creating image display data that is display data that can be displayed on the display unit. When there is a creation instruction for creating image display data, an elapsed time from the start of recording when the creation instruction is given, and identification information for identifying the image display data created based on the creation instruction; A program for functioning as an event recording means for recording an event in association with each other.

Images