JP5664055B2

JP5664055B2 - 映像再生装置及び映像再生プログラム

Info

Publication number: JP5664055B2
Application number: JP2010208137A
Authority: JP
Inventors: 小川　正和; 正和小川
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2010-09-16
Filing date: 2010-09-16
Publication date: 2015-02-04
Anticipated expiration: 2030-09-16
Also published as: JP2012065170A

Description

本発明は、映像再生装置及び映像再生プログラムに関する。

資料画像に資料画像を説明する操作表示を合成してコンテンツを作成する技術が提案されている。

これに関連する技術として、特許文献１には、テキスト情報や画像情報等の資料画像情報を表示再生しながら説明者が画面上に表示される指示棒ツールや描画ツール等を用いて操作することで説明を行い、その操作履歴の情報を記憶手段に記憶するとともに、説明者の話す音声等の情報を話者情報として記憶手段に記憶する。その後、資料画像情報と操作履歴情報とから資料画像情報に説明のための操作表示を合成した説明操作コンテンツを作成するとともに、話者情報と同期して再生するための関係情報を付加する映像再生装置が開示されている。

特開２０００−１８７５４２号公報

本発明の目的は、音声情報又は映像情報の再生時刻に画像情報の再生タイミングと操作履歴の再生タイミングとが関連付けられた構成において、画像情報の内容に基づいて映像情報の内容の再生を可能にする映像再生装置及び映像再生プログラムを提供することにある。

［１］コンピュータを、
音声情報又は映像情報の再生時刻に対応付けられた再生するための画像である再生画像を、外部から入力される前記再生画像を指示する操作に応じて指示された当該再生画像上の位置に対応させて複数の領域に分割し、前記指示した位置に関連付けられた前記音声情報又は映像情報の再生時刻を当該複数の領域にそれぞれ関連付けた領域情報を生成するとともに、前記再生画像の書式又は配置に応じて、前記複数の領域の形状を変更する生成手段として機能させるための映像再生プログラム。

［２］音声情報又は映像情報の再生時刻に対応付けられた再生するための画像である再生画像を、外部から入力される前記再生画像を指示する操作に応じて指示された当該再生画像上の位置に対応させて複数の領域に分割し、前記指示した位置に関連付けられた前記音声情報又は映像情報の再生時刻を当該複数の領域にそれぞれ関連付けた領域情報を生成するとともに、前記再生画像の書式又は配置に応じて、前記複数の領域の形状を変更する生成手段を有する映像再生装置。

請求項１又は２に係る発明によれば、音声情報又は映像情報の再生時刻に画像情報の再生タイミングと操作履歴の再生タイミングとが関連付けられた構成において、画像情報の内容に基づいて映像情報の内容の再生を可能にすることができる。

図１は、映像再生装置の構成例を示すブロック図である。図２は、同期情報の一例を示す概略図である。図３は、資料操作履歴情報の一例を示す概略図である。図４は、映像再生装置の表示部が表示する表示画面の構成例を示す概略図である。図５は、映像再生装置の映像再生動作の一例を示す概略図である。図６（ａ）及び（ｂ）は、映像再生装置の生成する資料領域パターン情報の一例を示す概略図である。図７は、映像再生装置の資料画像情報の位置が指示される動作の一例を示す概略図である。図８は、映像再生装置の動作例を示すフローチャートである。図９（ａ）〜（ｃ）は、映像再生装置の生成する資料領域パターン情報の変形例を示す概略図である。

（映像再生装置の構成）
図１は、映像再生装置の構成例を示すブロック図である。

映像再生装置１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１と、液晶ディスプレイ等であって文字や画像を表示する表示部１２と、キーボードやマウス等であって操作に応じた操作信号を発する操作部１３とを備える。

なお、映像再生装置１は、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、操作部１３や表示部１２を備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。

制御部１０は、後述する映像再生プログラム１１０を実行することで、映像情報再生手段１００、資料画像情報再生手段１０１、同期合成手段１０２、資料領域パターン情報生成手段１０３、資料領域選択手段１０４及び再生時刻制御手段１０５等として機能する。

映像情報再生手段１００は、後述する映像情報（音声情報を含む）１１１を再生し、映像信号（音声信号を含む）を出力する。

資料画像情報再生手段１０１は、後述する資料画像情報１１２を再生し、資料画像信号を出力する。資料画像信号に応じて表示画面には資料画像情報１１２を再生した画像である再生画像が表示される。また、資料画像情報再生手段１０１は、後述する資料操作履歴情報を処理し、資料画像情報１１２の説明のために資料画像情報１１２の再生画像を指示する資料指示用カーソルを表示するための画像信号を出力する。

同期合成手段１０２は、後述する同期情報１１３に基づいて映像情報再生手段１００の出力する映像信号と、資料画像情報再生手段１０１の出力する資料画像信号とを再生時刻において同期し、これらの映像信号を合成する。

資料領域パターン情報生成手段１０３は、後述する資料操作履歴情報１１４に基づいて資料画像情報１１２の再生画像の表示領域上に定義される領域のパターンと、映像情報１１１の再生時刻とを関連付ける資料領域パターン情報１１５を生成する。

資料領域選択手段１０４は、資料画像情報１１２の再生画像の表示領域上の任意の位置が指示されると、資料領域パターン情報１１５に含まれる単一又は複数の領域から指示された位置に該当する領域を選択する。

再生時刻制御手段１０５は、資料領域パターン情報１１５に基づいて、資料領域選択手段１０４に選択されたパターンと関連付けられた映像情報１１１の再生時刻を取得し、その再生時刻において映像情報１１１を再生するよう映像情報再生手段１００を制御する。

記憶部１１は、制御部１０を上述した各手段１００〜１０５として動作させる映像再生プログラム１１０と、映像を再生表示するためのＭＰＥＧやＶＯＢ等のフォーマットの動画データである映像情報１１１と、動画又は静止画を再生表示するための資料画像情報１１２と、映像情報１１１の再生時刻と資料画像情報１１２の再生時刻とを同期するための同期情報１１３と、資料画像情報１１２を後述する資料指示用カーソル等で指示操作した履歴を示す資料操作履歴情報１１４と、資料画像情報１１２の再生画像の表示領域上に定義される領域のパターンと映像情報１１１の再生時刻とを関連付ける資料領域パターン情報１１５とを記憶する。

図２は、同期情報１１３の一例を示す概略図である。

同期情報１１３は、映像情報１１１の再生時刻を示す映像再生時刻欄１１３ａと、映像情報１１１の再生時刻において再生される資料画像情報の識別子を示す資料画像情報ＩＤ欄１１３ｂとを有する。

つまり、映像再生時刻欄１１３ａの時刻に対応する資料画像情報ＩＤ欄１１３ｂの資料画像情報が１１２が再生される。

図３は、資料操作履歴情報１１４の一例を示す概略図である。

資料操作履歴情報１１４は、図２に示す資料画像情報ＩＤ欄１１３ｂに対応する資料画像情報ＩＤ欄１１４ａと、資料画像情報１１２の再生画像中を資料指示用カーソルで指示した位置を示すカーソル指示位置欄１１４ｂと、資料指示用カーソルで指示したときの映像情報１１１の再生時刻を示す映像再生時刻欄１１４ｃとを有する。

つまり、映像再生時刻欄１１４ｃの時刻において、資料画像情報ＩＤ欄１１４ａの資料画像情報１１２の再生画像のうちカーソル指示位置欄１１４ｂの座標が資料指示用カーソルによって指示される。

図４は、映像再生装置１の表示部１２が表示する表示画面の構成例を示す概略図である。

表示部１２に表示される表示画面１２０は、映像情報再生手段１００によって再生された映像情報１１１の映像を表示する映像表示領域１２１と、資料画像情報再生手段１０１によって再生された資料画像情報１１２の再生画像を表示する資料表示領域１２２と、資料画像情報再生手段１０１によって資料操作履歴情報１１４を処理することで表示され、資料画像情報１１２の表示画像を指示する資料指示用の矢印型の資料指示用カーソル１２２ａと、表示画面１２０を視聴中の視聴者が操作部１３を操作することでその表示位置が制御され、表示位置に表示される対象画像の選択や決定等の操作を行う視聴者用の矢印型の視聴者用カーソル１２３とを有する。なお、必ずしも視聴者用カーソル１２３によって表示位置の選択や決定を行う必要はなく、例えば、表示画面１２０に重ねてタッチパッドが設置されている場合等は、タッチパッドに利用者が触れた位置で代替してもよい。また、キーボード等を用いて表示位置の座標を数値入力してもよい。

なお、映像表示領域１２１及び資料表示領域１２２の表示上の配置、表示領域の大きさ、縦横比、色や明るさ等は映像情報１１１及び資料画像情報１１２の作成者又は視聴者の設定により変更されるものであってもよい。また、映像表示領域１２１と資料表示領域１２２とは、半透明処理等が施され、重なり合わされて表示されるものでもよい。

（映像再生装置の動作）
以下に、映像再生装置１の動作例を図１〜図９を参照しつつ、（１）基本動作、（２）資料領域パターン情報生成動作、（３）資料領域選択による再生動作に分けて説明する。

（１）基本動作
まず、視聴者は、映像再生装置１の操作部１３を操作して、映像情報１１１の再生を指示する。操作部１３は、映像情報１１１の再生を指示する操作信号を制御部１０に出力する。

映像再生装置１の制御部１０が操作部１３から操作信号を受け付けると、映像情報再生手段１００は、映像情報１１１を再生して映像信号を表示部１２に出力する。また、資料画像情報再生手段１０１は、資料画像情報１１２及び資料操作履歴情報１１４を再生して資料画像信号を表示部１２に出力する。

次に、同期合成手段１０２は、映像信号及び資料画像信号を同期情報１１３に基づいて同期させるとともに、映像信号と資料画像信号とを図４に示すような予め定めた画面構成で合成した合成映像信号を出力する。表示部１２は、同期合成手段１０２が出力した合成映像信号を入力し、図４に示す表示画面１２０を表示する。

図５は、映像再生装置１の映像再生動作の一例を示す概略図である。

図４に示す映像表示領域１２１には、図５に示すように、映像情報１１１を構成する各映像１２１ａ〜１２１ｄが、図３に示す資料操作履歴情報１１４に基づいて、それぞれ映像情報１１１の映像再生時刻「００：００：３０」、「００：０２：０１」、「００：０５：４５」、「００：１５：００」に表示される。また、図４に示す資料画像表示領域１２２には、図２に示す同期情報１１３に基づいて「資料００１」に対応する再生画像である資料１２２ａ〜１２２ｄが表示される。

また、資料表示領域１２２に表示される資料１２２ａ〜１２２ｄには、資料指示用カーソル１２２ａが表示され、その指示位置は、図３に示す資料操作履歴情報１１４に基づいてそれぞれ位置Ａ〜位置Ｄに表示される。

（２）資料領域パターン情報生成動作
以下に説明する資料領域パターン情報１１５の生成動作は、映像情報１１１及び資料画像情報１１２の再生前に行うことが望ましいが、再生中に行うものであってもよい。

資料領域パターン情報生成手段１０３は、資料操作履歴情報１１４に基づいて以下に説明する資料領域パターン情報１１５を生成する。

図６（ａ）及び（ｂ）は、映像再生装置１の生成する資料領域パターン情報１１５の一例である資料領域パターン情報１１５ａ及び１１５ｂを示す概略図である。

資料領域パターン情報１１５ａは、資料画像情報１１２のうち図３に示す資料画像情報ＩＤが「資料００１」のもの、つまり、横書きの文章に図やグラフ等が含まれる資料に対して生成されたものである。

資料領域パターン情報１１５ａは、図６（ａ）に示すように、資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを左上の基準として領域α〜δに区分されている。これは、横書きの資料の説明が一般的に左から右へ１行を進み、改行して上から下へと進んでいくためであり、領域γ及び領域δは図やグラフの配置に合わせたものである。

また、資料領域パターン情報１１５ａとともに生成される資料領域パターン情報１１５ｂは、資料領域パターン情報１１５ａの領域α〜δに対応した領域ＩＤ欄と、各領域内を視聴者用カーソル１２３等で指示された場合に再生する映像情報１１１の映像再生時刻を示す映像再生時刻欄とを有する。映像再生時刻欄は、図３に示す資料操作履歴情報１１４の映像再生時刻欄１１４ｃに対応付けられたものである。

資料領域パターン情報生成手段１０３は、生成した資料領域パターン情報１１５を記憶部１１に格納する。

（３）資料領域選択による再生動作
以下に説明する動作は、映像情報１１１及び資料画像情報１１２の再生中に行ってもよいし、資料画像情報１１２のみ再生して資料表示領域１２２に資料を表示して行ってもよい。

図８は、映像再生装置１の動作例を示すフローチャートである。

視聴者の操作部１３に対する操作に応じて資料表示領域１２２内の位置が視聴者用カーソル１２３により指示されると（Ｓ１；Ｙｅｓ）、資料領域選択手段１０４は、視聴者用カーソル１２３によって指示された位置の座標を取得し、その座標が領域α〜δのいずれに存在するかを判断する（Ｓ２）。

図７は、映像再生装置１の資料画像情報の位置が指示される動作の一例を示す概略図である。

図７に示す例において、視聴者用カーソル１２３は位置Ｂよりも右下であって、位置Ｃ及び位置Ｄよりも左上の位置を指示しているため、資料領域選択手段１０４は、視聴者用カーソル１２３が領域βを指示していると判断する（Ｓ２）。

次に、図６（ｂ）に示す資料領域パターン情報１１５ｂから「領域β」に対応する映像再生時刻「００：０２：０１」を取得し、映像情報再生手段１００が映像再生時刻「００：０２：０１」から映像情報１１１を再生するよう制御する（Ｓ３）。なお、この際、資料画像情報１１２及び資料操作履歴情報１１４を同期情報１１３に基づいて映像情報１１１の再生と同期して再生してもよい。

［変形例］
資料領域パターン情報生成手段１０３は、資料画像情報１１２の構成、例えば、横書き、縦書き、図を含むか否か等の条件に応じて以下に説明するように資料領域パターン情報１１５の構成を変化させてもよい。

図９（ａ）〜（ｃ）は、映像再生装置１の生成する資料領域パターン情報の変形例を示す概略図である。

資料領域パターン情報１１５ｃは、図９（ａ）に示すように、資料画像情報１１２のうち、縦書きの文章に図やグラフ等が含まれる資料に対して生成されるものである。資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを右上の基準として領域α〜δに区分されている。これは、縦書きの資料の説明が一般的に上から下へ１行を進み、改行して右から左へと進んでいくためであり、領域γ及びδは、図やグラフ等の配置に合わせたものである。

資料領域パターン情報１１５ｄは、図９（ｂ）に示すように、資料画像情報１１２のうち、横書きの文章のみで構成される資料に対して生成されるものである。資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを上の基準として領域α〜δに区分されている。これは、横書きの資料の説明が一般的に左から右へ１行を進み、改行して上から下へと進んでいくためである。また、領域α〜δは、文章の段落毎に分割するものであってもよい。

資料領域パターン情報１１５ｅは、図９（ｃ）に示すように、資料画像情報１１２のうち、横書きの文章のみで構成される資料に対して生成されるものである。資料指示用カーソル１２２ａが指示した位置Ａ〜Ｄを上の基準として領域α〜δに区分されている。これは、縦書きの資料の説明が一般的に上から下へ１行を進み、改行して右から左へと進んでいくためである。また、領域α〜δは、文章の段落毎に分割するものであってもよい。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、上記実施の形態では、資料画像情報の領域に映像情報の再生時刻を対応付けたが、音声情報の再生時刻を対応づけてもよい。

また、上記映像再生プログラム１１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、映像情報再生手段１００、資料画像情報再生手段１０１、同期合成手段１０２、資料領域パターン情報生成手段１０３、資料領域選択手段１０４及び再生時刻制御手段１０５の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。

１…映像再生装置、１０…制御部、１１…記憶部、１２…表示部、１３…操作部、１００…映像情報再生手段、１０１…資料画像情報再生手段、１０２…同期合成手段、１０３…資料領域パターン情報生成手段、１０４…資料領域選択手段、１０５…再生時刻制御手段、１１０…映像再生プログラム、１１１…映像情報、１１２…資料画像情報、１１３…同期情報、１１４…資料操作履歴情報、１１５、１１５ａ、１１５ｂ…資料領域パターン情報、１２０…表示画面、１２１…映像表示領域、１２２…資料表示領域、１２２ａ…資料指示用カーソル、１２３…視聴者用カーソル

Claims

コンピュータを、
音声情報又は映像情報の再生時刻に対応付けられた再生するための画像である再生画像を、外部から入力される前記再生画像を指示する操作に応じて指示された当該再生画像上の位置に対応させて複数の領域に分割し、前記指示した位置に関連付けられた前記音声情報又は映像情報の再生時刻を当該複数の領域にそれぞれ関連付けた領域情報を生成するとともに、前記再生画像の書式又は配置に応じて、前記複数の領域の形状を変更する生成手段として機能させるための映像再生プログラム。
音声情報又は映像情報の再生時刻に対応付けられた再生するための画像である再生画像を、外部から入力される前記再生画像を指示する操作に応じて指示された当該再生画像上の位置に対応させて複数の領域に分割し、前記指示した位置に関連付けられた前記音声情報又は映像情報の再生時刻を当該複数の領域にそれぞれ関連付けた領域情報を生成するとともに、前記再生画像の書式又は配置に応じて、前記複数の領域の形状を変更する生成手段を有する映像再生装置。