JP2009141586A - マルチメディアデータ再生方法 - Google Patents
マルチメディアデータ再生方法 Download PDFInfo
- Publication number
- JP2009141586A JP2009141586A JP2007314791A JP2007314791A JP2009141586A JP 2009141586 A JP2009141586 A JP 2009141586A JP 2007314791 A JP2007314791 A JP 2007314791A JP 2007314791 A JP2007314791 A JP 2007314791A JP 2009141586 A JP2009141586 A JP 2009141586A
- Authority
- JP
- Japan
- Prior art keywords
- multimedia data
- predetermined scene
- unit
- displayed
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 ユーザにとって好ましい所定シーンを検出できるようにし、その所定シーンを事前に通知することが可能なマルチメディアデータ再生方法を提供することである。
【解決手段】 動画像データ及び音声データを有するマルチメディアデータの再生方法において、まず、動画像データの所定のシーンが表示画面に表示され得るよりも前に、ユーザに事前通知する時から表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する。そして、蓄積されたマルチメディアデータから所定のシーンを検出しておく。そして、検出結果に基づいて所定のシーンが表示画面に表示され得るよりも前に所定シーンが始まることをユーザに事前通知する。
【選択図】 図14
【解決手段】 動画像データ及び音声データを有するマルチメディアデータの再生方法において、まず、動画像データの所定のシーンが表示画面に表示され得るよりも前に、ユーザに事前通知する時から表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する。そして、蓄積されたマルチメディアデータから所定のシーンを検出しておく。そして、検出結果に基づいて所定のシーンが表示画面に表示され得るよりも前に所定シーンが始まることをユーザに事前通知する。
【選択図】 図14
Description
本発明は、少なくとも動画像データ及び音声データを含むマルチメディアデータ中の所定シーンを検出して、ユーザに所定シーンの開始を事前通知するマルチメディアデータ再生方法に関する。
放送波によるテレビ視聴においては、リアルタイム放送であるため、視聴中の動画像を巻き戻す事が困難である。そのため、様々な条件において、所定シーン(特に、ユーザにとって重要なシーン。以下、同様。)を見逃す事があった。様々な条件とは、例えば、テレビ視聴中に席を離れる場合やWebブラウジングや読書など、他の作業に集中していた場合などが挙げられる。
そこで従来、テレビ番組の開始や所定シーンの開始を事前に通知する提案がなされてきた。
例えば、特開2005−333403号公報(特許文献1)は、放送局制御装置からユーザに対して、ユーザの携帯端末に向けて、メールを用いて所定シーンの開始を事前通知する提案である。
放送局制御装置は、テレビ番組毎にあらかじめ決められた所定シーンの種別に応じた、シーンIDを振り分けたデータベースを備えている。前記シーンIDには、例えば、「サッカーの試合」という種別であれば、コーナーキックや、ロスタイムといったシーンがシーンIDと対応づけられて登録されている。ここで、コーナーキックのシーンが発生した場合、コーナーキックのシーンIDに対応するフラグが有効(1)になる。そして、ユーザ情報が記録されたデータベースを参照してユーザの携帯端末にメールを送信するとことで、所定シーンの開始を事前に通知する。
特開2005−333403号公報
しかしながら、上述した特開2005−333403号公報(特許文献1)の構成では、放送局制御装置に登録されたデータベースを用いる為、放送局の設定で、あらかじめ登録されていない所定シーンの発生をユーザに事前通知することは困難である。また、個人の嗜好の違いから、ユーザ毎に所定シーンの定義が異なるため、ユーザとって、好ましい所定シーンが事前に通知されない可能性がある。
そこで、本発明の目的は、ユーザにとって好ましい所定シーンを検出できるようにし、その所定シーンを事前に通知することが可能なマルチメディアデータ再生方法を提供することである。
上記の課題を解決する為に以下を提供する。
少なくとも動画像データ及び音声データを有するマルチメディアデータの再生方法において、
前記動画像データの所定のシーンが表示画面に表示され得るよりも前に、前記表示され得ることをユーザに通知するために、前記通知する時から前記表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する工程と、
前記蓄積されたマルチメディアデータから前記所定のシーンを検出する工程と、
前記検出に基づいて前記通知を行う工程と、を有することを特徴とするマルチメディアデータ再生方法。
前記動画像データの所定のシーンが表示画面に表示され得るよりも前に、前記表示され得ることをユーザに通知するために、前記通知する時から前記表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する工程と、
前記蓄積されたマルチメディアデータから前記所定のシーンを検出する工程と、
前記検出に基づいて前記通知を行う工程と、を有することを特徴とするマルチメディアデータ再生方法。
以上説明してきたように、本発明によれば、マルチメディアデータの再生において、マルチメディアデータを一定時間蓄積しつつ、所定シーンを検出する。こうすることにより、所定シーンが再生される前に、ユーザに所定シーンが始まる旨を示す事前通知を行うことができ、かつユーザの嗜好に合った所定シーンを見逃す事を軽減する事が可能となる。
以下に添付図面を参照し、本発明のマルチメディアデータ再生装置に好適な実施例を詳細に説明する。なお、マルチメディアデータとは、動画像データ及び音声データを有する。また、字幕情報を有するテキストデータを有していても良い。
(実施例1)
実施例1では本発明を以下の事例に適用して説明する。
実施例1では本発明を以下の事例に適用して説明する。
図14は、視聴中のマルチメディアデータを一定時間蓄積部に蓄積し、或いは保存しつつ表示画面に表示し、所定シーン検出時に、表示画面上に所定シーンの発生を事前通知する事例に関して示した図である。
タイムバー1403上において、マルチメディアデータ蓄積時1404では、表示画面1407上に蓄積中であることを知らせるメッセージ1401を表示する。また、所定シーン通知時1405では、表示画面1408上に所定シーン開始までの残り時間1402を表示する。また、所定シーン出力時1406には所定シーン1409が表示される。
図1は本発明を適用できる実施例1のマルチメディアデータ再生装置の構成を表すブロック図である。
本例のマルチメディアデータ再生装置は、チャンネル情報保持部101、チューナ102、マルチメディアデータ入力部103、蓄積部104、計時部105、所定シーン検出部106、所定シーン時刻情報蓄積部107、所定シーン事前通知効果付与部108、マルチメディアデータ出力部109を有している。
以下に各部位についての詳細な説明を記述する。
チャンネル情報保持部101は、選択されているチャンネル情報を保持する部位であり、保持しているチャンネル情報をチューナ102に出力する。チャンネル情報の選択は、ユーザが手動で選択しても良いし、マルチメディアデータ再生装置内部で自動制御してもよい。
チューナ102は、放送波を入力し、放送波からチャンネル情報保持部101で選択されているチャンネルのマルチメディアデータを抽出しマルチメディアデータ入力部103へマルチメディアデータを出力する部位である。チューナ102は、デジタルチューナであってもよいし、アナログチューナでもよい。チューナの種類は特に限定されない。また、マルチメディアデータ入力部103に出力する、マルチメディアデータは、マルチメディアデータを識別する情報を付与したマルチメディアデータとする。
マルチメディアデータ入力部103は、チューナから出力されたマルチメディアデータを入力する部位であり、蓄積部104にマルチメディアデータを出力する。本例ではチューナ102を接続し、マルチメディアデータを入力しているが、マルチメディアデータを記録した記憶装置、例えばハードディスクのドライブや、DVDのドライブ、Blu−ray Disc(登録商標)のドライブを接続しても良い、接続される装置、手段は特に限定されない。
蓄積部104は、マルチメディアデータ入力部103より入力したマルチメディアデータを蓄積する部位であり、所定の時間以上蓄積したマルチメディアデータを、過去に入力されたマルチメディアデータから先に所定シーン事前通知効果付与部108に出力する。ここでいう所定の時間とは、事前通知を開始してから所定シーンが表示画面に出力されるまでの時間と、所定シーン検出部106が所定シーンかどうかを判断する為に必要な時間と、装置の安定した動作を保証する為に必要な時間を加算した値となる。このとき、倍速度で再生している場合には、蓄積部104に蓄積するマルチメディアデータは、その分多く蓄積する必要がある。所定シーンの事前検出を行うためである。これは、2倍、3倍、n倍であっても同じである。
基本的に蓄積部から出力したマルチメディアデータは蓄積部104から消去するが、蓄積したマルチメディアデータを記録媒体にそのまま記録し、保存しておいても良い。
また所定の時間蓄積されるまでの期間は、蓄積中である事を通知するメッセージを所定シーン事前通知効果付与部108に出力する。蓄積に用いる装置は、ハードディスクドライブでもよいし、半導体メモリでもよい。蓄積に用いる装置は特に限定されない。
また、通知が行われる時から、表示画面に表示されるまでの時間をユーザが選択することのできる。
計時部105は、時刻情報を蓄積部104に出力する部位である。出力される時刻情報の形式は特に限定されないが、所定シーンが開始されるまでの時刻を秒単位で画面に表示し、出力する場合は少なくとも秒以上の精度の情報を有する時刻情報が必要となる。
所定シーン検出部106は、蓄積部104に蓄積されたマルチメディアデータを参照し、所定シーンの検出を行う。所定シーンが検出された場合、所定シーン時刻情報蓄積部107に、入力されたマルチメディアデータの識別情報、所定シーン開始時刻および終了時刻を出力する。前述したマルチメディアデータの識別情報は、例えばテレビ番組のチャンネル番号や、番組名などである。
所定シーンの検出方法としては、音声の振幅値、音声データの特性、動きベクトルなどを用いて検出する。
所定シーンの検出方法について図11〜図13を用いて詳細に説明する。まず、図11より、音声の振幅のピークを用いて所定シーンを検出する方法を説明する。
時間軸1101上の音声の波形1102を取得した例において、図11上の時刻tから区間△tづつ音声の振幅値1103を取得する。そして、音声の振幅のピークを結んだ線が、閾値1104を超えた区間1105を所定シーン区間とする。
また、音声の波形1102は、例えば、歓声などの特定の周波数を抽出した音量を用いても良い。
次に、図12より、音声データの特性を用いて所定シーンを検出する方法を説明する。
まず、音声の波形1201を用いて音声認識をし、文字データ1202を得る。ここで音声データの認識方法について説明する。まず単語を音素系列にし、音素系列に対応する隠れマルコフモデルに変換し、隠れマルコフモデルの状態系列ネットワークを作成し、音声認識を行う。
次に、音声認識された文字データとマッチングを行う。ここで、予め字幕などの文字データが付与されているマルチメディアデータを用いた場合は、そのまま付与されている文字データを使用することも可能である。使用するキーワードについては、例えばサッカーの試合の場合、所定シーンであるゴールシーンに実況解説者が用いる「ゴール」という言葉1203である。キーワード情報とマッチングを行った後に、マッチングした区間における音声の波形1204の振幅のピークを検出する。検出した音声の波形1204の振幅のピークが閾値以上の場合に、所定シーンであると判断される。
ここで、前述した区間において音声の波形1204の振幅のピークを検出し、閾値と比較する理由としては、サッカーなどの実況解説では、所定シーンであるゴールシーン以外にも実況解説において「ゴール」という単語を用いる場合がある。しかしゴールシーンよりも実況解説者の音声の波形1204の振幅は小さいことが多い。そのため誤検出を避ける目的で、音声の波形1204の振幅のピークを検出し、閾値と比較する。
図13より、動きベクトルを用いて所定シーンを検出する方法を説明する。
時間軸1307上に動画像データの動きベクトルの総計1305を取得した例において、動きベクトルの総計1305が閾値1306を超える区間1305を所定シーン区間として検出する。
ここで、動きベクトルの総計とは、まず、表示画面1301を格子状に分割し、前フレームからブロックマッチングを用いて、ベクトルを算出する。そして、動きベクトル1304を含む動画像データの動きベクトル1303において、全て若しくは一部の格子における動きベクトルの大きさを加算した値が動きベクトルの総計となる。
次に、閾値1306を越える区間1305を所定シーンとして検出する理由を説明する。例えばサッカーの試合の場合、選手1302が拡大されて表示されているゴールシーン1301のように、所定シーンでは選手が拡大されて表示されるシーンが多い。選手が拡大されるシーンは、選手の動きが同一であっても画面上での動きが大きくなり、結果として動きベクトルの値が大きくなる。よって、動きベクトルの総計が大きいシーンは所定シーンである可能性が高くなる。以上の理由から、動きベクトルの総計が大きいシーンを所定シーンとして判断する。
図1に戻り所定シーン時刻情報蓄積部107は、所定シーン検出部106から入力された、所定シーンの時刻情報とマルチメディアデータの識別情報を蓄積し、所定シーン事前通知効果付与部に、所定シーンの時刻情報とマルチメディアデータの識別情報を出力する。所定シーンの時刻情報およびマルチメディアデータの識別情報の保持方法は特に限定されないが、例えば図10のようにマルチメディアデータの識別情報をchannel、所定シーン開始時刻をstart time、所定シーン終了時刻をend timeとして表形式で記録しても良い。
図1に戻る。所定シーン事前通知効果付与部108は、所定シーン時刻情報蓄積部107に蓄積されたマルチメディアデータの識別情報、及び所定シーン開始時刻の情報を元に、蓄積部104に蓄積された表示画面に表示される動画像に事前通知の効果を付与する。そして、マルチメディアデータ出力部109に出力するための部位である。また、蓄積部104が蓄積時には、蓄積中を示すメッセージをマルチメディアデータに付与する。
ここで、事前通知の効果としては、表示画面の外枠を点滅させても良いし、加えて、外枠の点滅する間隔を所定シーンの再生が開始する時刻が近づくに従って短くしてもよい。また、所定シーンが開始されるまでの時刻情報を表示してもよいし、効果音を用いて通知してもよい。
マルチメディアデータ出力部109は所定シーン事前通知効果付与部108から入力したマルチメディアデータを出力する部位である。マルチメディアデータ出力部109には、表示装置、例えば液晶ディスプレイなどを接続しても良いし、記憶装置、例えばハードディスクドライブなどを接続してもよい。接続される装置、手段は特に限定されない。
実施例1の処理の流れを図2、図3、図4、図17のフローチャートを用いて説明する。
まず図1における所定シーン検出部106の処理の流れについて図2のフローチャートを用いて説明する。
所定シーン検出部106はまず、所定シーン検出フラグを降ろす(S201)。所定シーン検出フラグとは、現在所定シーンであるかどうかを示すフラグであり、立っていれば所定シーンであることを意味し、降りていれば所定シーンではないことを意味する。次に蓄積部に参照可能なマルチメディアデータがあるか判断する(S202)。参照可能なマルチメディアデータがなければ(S202)終了し、参照可能なマルチメディアデータがあれば(S202)、蓄積部のマルチメディアデータを参照する(S203)。次に、参照したマルチメディアデータが所定シーンなのか判断する(S204)。参照したマルチメディアデータが所定シーンならば(S204)、所定シーン検出フラグが立っているか調べる(S205)。フラグが立っていれば(S205)、所定シーン中のマルチメディアデータと判断できるので、所定シーン時刻情報蓄積部107には記録せずに参照可能なマルチメディアデータがあるか判断する処理(S202)に戻る。また、所定シーン検出フラグが立っていなければ(S205)所定シーンが開始されたと判断できるので、所定シーン開始時刻をマルチメディアデータの識別情報と共に、所定シーン時刻情報蓄積部107に記録する(S206)。そして、所定シーン検出フラグを立て(S207)参照可能なマルチメディアデータがあるか判断する処理(S202)に戻る。
参照したマルチメディアデータが所定シーンでない場合(S204)所定シーン検出フラグが立っているかチェックする(S208)。もしフラグが立っていれば(S208)、所定シーンの終了を示すので、所定シーン終了時刻をマルチメディアデータの識別情報と共に所定シーン時刻情報蓄積部107に記録する(S209)。次に、所定シーン検出フラグを降ろし(S210)、参照可能なマルチメディアデータがあるかか判断する処理(S202)に戻る。
所定シーン検出フラグが立っているかチェックし(S208)、立っていなければ、所定シーン開始時刻でも、終了時刻でもないので、時刻を記録せずに、参照可能なマルチメディアデータがあるかする処理(S202)に戻る。
ここで図1における所定シーン検出部106におけるユーザによる所定のシーンの定義を設定する方法について、図17のフローチャートを用いて説明する。
まず、ユーザは、動きベクトルで所定のシーンを検出するか判断する(S1701)。動きベクトルで所定のシーンを検出する場合は(S1701)、ユーザが動きベクトルの閾値を入力し(S1702)音声の振幅のピークで所定のシーンを抽出するか判断する処理に移る(S1703)。動きベクトルで所定のシーンを検出しない場合は(S1701)、そのまま音声の振幅のピークで所定のシーンを抽出するか判断する処理に移る(S1703)。
次に、音声の振幅のピークで所定のシーンを検出するか判断する(S1703)。音声の振幅のピークで所定のシーンを検出する場合は(S1703)、ユーザが音声の振幅のピークの閾値を入力し(S1704)、音声データの特性または文字データから所定のシーンを検出するか判断する処理に移る(S1705)。音声の振幅のピークで所定のシーンを検出しない場合は(S1703)、そのまま、音声データの特性または文字データから所定のシーンを検出するか判断する処理に移る(S1705)。
次に、音声データの特性または文字データから所定のシーンを検出するか判断する(S1705)。音声データの特性または文字データから所定のシーンを検出する場合は(S1705)、ユーザがキーワードを入力して(S1706)入力終了か判断する処理に移る(S1707)。音声データの特性または文字データから所定のシーンを検出しない場合は(S1705)、そのまま入力終了か判断する処理に移る(S1707)。
最後に入力終了か判断する(S1707)入力終了ならば終了し(S1707)、入力終了でないならば(S1707)、動きベクトルで所定シーン検出するか判断する処理にもどる(S1701)。
図17のフローチャートでは、動きベクトルで所定のシーンを検出(S1701)、音声の振幅のピークに基づいて所定のシーンを検出(S1703)、音声データの特性または文字データから所定のシーンを検出(S170)の順番でユーザによって所定シーンの定義を設定する。定義する順番は特に限定されない。また、所定シーンの定義は、例えば番組毎であっても良いし、チャンネル毎であっても良い。所定のシーンの定義の有効範囲も限定されない。
次に図1における蓄積部104の処理の流れについて図3のフローチャートを用いて説明する。
蓄積部104はまず、マルチメディアデータが入力終了か判断し(S301)、マルチメディアデータの入力が終了していれば(S301)終了する。また、マルチメディアデータの入力が終了していない場合は(S301)、マルチメディアデータ入力部よりマルチメディアデータを入力する(S302)。次に、入力されたマルチメディアデータを時刻情報とともに蓄積する(S303)。そして、入力されているマルチメディアデータのマルチメディアデータ蓄積時間が所定の時間以上であるか判断する(S304)。所定の時間以上蓄積されていないのであれば(S304)、蓄積中であるという状態を表す情報を出力し(S305)、マルチメディアデータの入力終了を判断する処理に戻る(S301)。
入力されているマルチメディアデータのマルチメディアデータ蓄積時間が所定の時間以上であれば(S304)、蓄積されている最も過去に入力されたマルチメディアデータを所定シーン事前通知効果付与部108に出力する(S306)。そして出力されたマルチメディアデータは、蓄積部104より消去する(S307)。そしてマルチメディアデータの入力終了を判断する処理に戻る(S301)。
最後に図1における所定シーン事前通知効果付与部108の処理の流れについて図4のフローチャートを用いて説明する。
所定シーン事前通知効果付与部108はまず、マルチメディアデータが入力終了か判断し(S401)、マルチメディアデータの入力が終了していれば(S401)終了する。また、マルチメディアデータの入力が終了していない場合は(S401)、蓄積部がマルチメディアデータ蓄積中であるか判断する(S402)。マルチメディアデータが蓄積中であれば(S402)、マルチメディアデータが蓄積中であることを知らせるマルチメディアデータを作成し(S409)、マルチメディアデータ出力部109にマルチメディアデータを出力する(S408)。そしてマルチメディアデータの入力終了を判断する処理に戻る(S401)。
マルチメディアデータが蓄積中でなければ(S402)、蓄積部104よりマルチメディアデータを入力する(S403)。次に、所定シーン開始時刻蓄積部107に蓄積部104より入力したマルチメディアデータよりも未来の時刻で、かつ所定の時間以内の所定シーン開始時刻情報があるかを判断する(S404)。もし条件に合致する所定シーン開始時刻情報がなければ(S404)、マルチメディアデータ出力部109にマルチメディアデータを出力し(S408)、マルチメディアデータの入力終了を判断する処理に戻る(S401)。条件に合致する所定シーン開始時刻情報が有る場合(S404)、所定シーン開始時刻蓄積部107から、蓄積部104より入力したマルチメディアデータよりも未来の時刻でかつ最も近い時刻の所定シーン開始時刻情報を入力する(S405)。次に、所定シーン開始時刻情報と、蓄積部104から入力したマルチメディアデータの時刻情報の差を計算し(S406)、計算された時刻を元に、所定シーン事前通知効果をマルチメディアデータに付与する(S407)。そして、マルチメディアデータ出力部109にマルチメディアデータを出力し(S408)、マルチメディアデータの入力終了を判断する処理に戻る(S401)。
(実施例2)
実施例2では本発明を以下の事例に適用して説明する。
実施例2では本発明を以下の事例に適用して説明する。
図15は、第一のマルチメディアデータをPicture in Pictureにおける親画面である第一の表示画面に表示し、第一のマルチメディアデータとは異なる第二のマルチメディアデータを子画面である第二の表示画面に表示する。このピクチャ・イン・ピクチャ表示は、2つの表示画面に限らず、複数の表示画面を、重畳して同時に表示しても良い。また、Picture in Pictureに限らず、第一の表示画面と第二の表示画面を有する複数の表示画面を並べて表示しても良い。図15では、更に第二のマルチメディアデータを蓄積しつつ表示し、第二のマルチメディアデータの所定シーン検出時に、表示画面上に第二のマルチメディアデータの所定シーンの発生を事前通知する事例に関して示した図である。
第一のマルチメディアデータのタイムバー1508と、第二のマルチメディアデータのタイムバー1509上において、第二のマルチメディアデータ蓄積時1510では、第一のマルチメディアデータ1501に第二のマルチメディアデータが蓄積中であることを表すメッセージ1502を合成する。さらに、第二のマルチメディアデータの所定シーン通知時1511では、第一のマルチメディアデータ1503に、第二のマルチメディアデータ1505を合成し、さらに第二のマルチメディアデータの所定シーンを事前通知するメッセージ1504を合成したマルチメディアデータを表示する。また第二のマルチメディアデータの所定シーン再生中1512では第一のマルチメディアデータ1506に第二のマルチメディアデータの所定シーン1507を重ね合わせて、若しくは並べて表示する。
なお、表示画面上に第二のマルチメディアデータの所定シーンの発生を事前通知後に、必ずしも第二のマルチメディアデータの所定シーン1507を表示する必要は無く、ユーザに所定シーンの表示を許可するかの選択をさせるための選択手段があっても良い。これにより、所定のシーンであっても見たくない場合には、特に表示させることなく、非表示状態にもできる。
図5は本発明を適用できる実施例2のマルチメディアデータ再生装置の構成を表すブロック図である。
本例のマルチメディアデータ再生装置は、チャンネル情報保持部501、チューナ502、チューナ503、第一のマルチメディアデータ入力部504、第二のマルチメディアデータ入力部505を有している。更に、蓄積部506、計時部507、所定シーン検出部508、所定シーン時刻情報蓄積部509、所定シーン事前通知効果付与部510、マルチメディアデータ出力部511を有している。
以下に各部位についての説明を記述する。
チャンネル情報保持部501は、選択されているチャンネル情報を保持する部位であり、保持しているチャンネル情報をチューナ502、503に出力する。詳細な説明は、実施例1のチャンネル情報保持部101と同一である。
チューナ502およびチューナ503は、放送波などを入力する部位であり、入力したマルチメディアデータ情報を、それぞれ第一のマルチメディアデータ入力部504、第二のマルチメディアデータ入力部505へ出力している。詳細な説明は、実施例1のチューナ102と同一であるが、マルチメディアデータ入力部103は、第一のマルチメディアデータ入力部504および第二のマルチメディアデータ入力部505となる。
第一のマルチメディアデータ入力部504は、チューナ502から入力されたマルチメディアデータを入力する部位であり、所定シーン事前通知効果付与部510にマルチメディアデータを出力する。詳細な説明は実施例1のマルチメディアデータ入力部103と同一である。
第二のマルチメディアデータ入力部505は、チューナ503から入力されたマルチメディアデータを入力する部位であり、蓄積部506にマルチメディアデータを出力する。詳細な説明は実施例1のマルチメディアデータ入力部103と同一である。
蓄積部506は、第二のマルチメディアデータ入力部505より入力したマルチメディアデータを蓄積する部位であり、所定の時間以上蓄積したマルチメディアデータを、過去に入力されたマルチメディアデータから先に所定シーン事前通知効果付与部510に出力する。詳細な説明は実施例1の蓄積部104と同一であるが、所定シーン検出部106は所定シーン検出部508となり、所定シーン事前通知効果付与部108は、所定シーン事前通知効果付与部510となる。
計時部507は、時刻情報を蓄積部506に出力する部位である。詳細な説明は実施例1の計時部105と同一である。
所定シーン検出部508は、蓄積部506に蓄積されたマルチメディアデータを参照し、所定シーンの検出を行う。所定シーンが検出された場合、所定シーン時刻情報蓄積部509に、入力されたマルチメディアデータの識別情報、所定シーン開始時刻および終了時刻を出力する部位である。詳細な説明は、実施例1の所定シーン検出部106の説明と同一である。
所定シーン時刻情報蓄積部509は、所定シーン検出部508から入力された、所定シーンの時刻情報を蓄積し、所定シーン事前通知効果付与部510に出力する部位である。詳細な説明は、実施例1の所定シーン時刻情報蓄積部107と同一である。
所定シーン時刻情報蓄積部509は、所定シーン検出部508から入力された、所定シーンの時刻情報を蓄積し、所定シーン事前通知効果付与部510に出力する部位である。詳細な説明は、実施例1の所定シーン時刻情報蓄積部107と同一である。
所定シーン事前通知効果付与部510は、第一のマルチメディアデータ入力部504から入力されたマルチメディアデータと、蓄積部509から入力されたマルチメディアデータを合成する。なお、この合成は、所定シーン時刻情報蓄積部509に蓄積されたマルチメディアデータの識別情報と所定シーン開始時刻の情報に基づいている。さらに合成した画像に事前通知の効果を付与してマルチメディアデータ出力部511に出力する部位である。また、蓄積部506が蓄積時には、蓄積中を示すメッセージを第一のマルチメディアデータ入力部504から入力されたマルチメディアデータに付与する。事前通知の効果の説明は、実施例1所定シーン事前通知効果付与部108の説明と同一である。
マルチメディアデータ出力部511は所定シーン事前通知効果付与部510から入力したマルチメディアデータを出力する部位である。詳細な説明は、実施例1のマルチメディアデータ出力部109と同一である。
実施例2における処理の流れの説明をする。
図5における所定シーン検出部508の処理の流れは、実施例1における所定シーン検出部106の処理の流れの説明と同一である。
また、図5における蓄積部506の処理の流れは、実施例1における蓄積部104の処理の流れの説明と同一である。ただし、S302のマルチメディアデータ入力部の記述は、実施例2では第二のマルチメディアデータ入力部となる。
続いて、図5における所定シーン事前通知効果付与部510の処理の流れについて図6のフローチャートを用いて説明する。
所定シーン事前通知効果付与部510はまず、マルチメディアデータが入力終了か判断し(S601)、マルチメディアデータの入力が終了していれば(S601)終了する。
マルチメディアデータの入力が終了していない場合は(S601)、第一のマルチメディアデータ入力部504より第一のマルチメディアデータを入力する(S602)。次に、蓄積部がマルチメディアデータ蓄積中であるか判断する(S603)。マルチメディアデータが蓄積中であれば(S603)、第二のマルチメディアデータが蓄積中であることを知らせる効果を第一のマルチメディアデータに付与し(S605)、マルチメディアデータ出力部511に第一のマルチメディアデータを出力する(S611)。そしてマルチメディアデータの入力終了を判断する処理に戻る(S601)。
蓄積部がマルチメディアデータ蓄積中でなければ(S603)、蓄積部506より第二のマルチメディアデータを入力する(S604)。次に、所定シーン開始時刻蓄積部509に蓄積部506より入力したマルチメディアデータよりも未来の時刻で、かつ所定の時間以内の所定シーン開始時刻情報があるかを判断する(S606)。
もし条件に合致する所定シーン開始時刻情報がなければ(S606)、第一のマルチメディアデータと第二のマルチメディアデータを合成し(S607)、マルチメディアデータ出力部511にマルチメディアデータを出力する(S611)。そしてマルチメディアデータの入力終了を判断する処理に戻る(S601)。
条件に合致する所定シーン開始時刻情報が有る場合(S606)、所定シーン開始時刻蓄積部509から、蓄積部506より入力したマルチメディアデータよりも未来の時刻でかつ最も近い時刻の所定シーン開始時刻情報を入力する(S608)。次に、所定シーン開始時刻情報と、蓄積部506から入力した第二のマルチメディアデータの時刻情報の差を計算する(S609)。そして、第一のマルチメディアデータと第二のマルチメディアデータを合成すると共に計算された時刻を元に、所定シーン事前通知効果をマルチメディアデータに付与する(S610)。そして、マルチメディアデータ出力部511にマルチメディアデータを出力し(S611)、マルチメディアデータの入力終了を判断する処理に戻る(S601)。
(実施例3)
実施例3では本発明を以下の事例に適用して説明する。
実施例3では本発明を以下の事例に適用して説明する。
図16を説明する。まず、表示されているチャンネルのマルチメディアデータ視聴中に、表示していないチャンネルのマルチメディアデータを蓄積しつつ、所定シーンの検出を行う。次に、所定シーンが検出された際に、表示されているチャンネルのマルチメディアデータ上に表示していないチャンネルのマルチメディアデータの所定シーン発生を事前通知する事例に関して示したものである。
番組1のタイムバー1601と、番組2のタイムバー1602と、表示チャンネルを表すタイムバー1616上で、番組2蓄積時1603では、番組1のマルチメディアデータ1609を表示し、番組2のマルチメディアデータが蓄積中であることを表すメッセージ1610を合成して表示する。
番組2の所定シーン通知時1604では、番組1のマルチメディアデータ1611に、番組2の所定シーンを事前通知するメッセージ1612を合成したマルチメディアデータを表示する。
チャンネル切り替え時1605では、表示するマルチメディアデータを、番組1のマルチメディアデータから番組2のマルチメディアデータに切り替え、番組1のマルチメディアデータの蓄積を開始する。
番組2が所定シーンで、番組1が所定シーン通知時1606では、番組2の所定シーンマルチメディアデータ1613上に番組1の所定シーンを事前通知するメッセージ1614を合成したマルチメディアデータを表示する。
チャンネル切り替え時1607では、マルチメディアデータ表示を番組2から番組1に切り替える。
番組1の所定シーン表示時1608では、番組1の所定シーンマルチメディアデータ1615が表示される。
図7は本発明を適用できる実施例3のマルチメディアデータ再生装置の構成を表すブロック図である。
本例のマルチメディアデータ再生装置は、チャンネル情報保持部701、チューナ702、チューナ703、マルチメディアデータ入力部704、マルチメディアデータ入力部705を有している。蓄積部706、計時部707、所定シーン検出部708、所定シーン時刻情報蓄積部709、所定シーン事前通知効果付与部710、マルチメディアデータ出力部711を有している。
以下に各部位についての説明を記述する。
以下に各部位についての説明を記述する。
チャンネル情報保持部701は、選択されているチャンネル情報を保持する部位であり、保持しているチャンネル情報をチューナ702、703、蓄積部706、所定シーン事前通知効果付与部710に出力する。詳細な説明は、実施例1のチャンネル情報保持部101と同一である。
チューナ702およびチューナ703は、放送波などを入力する部位であり、入力したマルチメディアデータの情報をそれぞれマルチメディアデータ入力部704、マルチメディアデータ入力部705へ出力する。詳細な説明は、実施例1のチューナ102と同一であるが、マルチメディアデータ入力部103は、マルチメディアデータ入力部704およびマルチメディアデータ入力部705となる。
マルチメディアデータ入力部704およびマルチメディアデータ入力部705は、それぞれチューナ702、チューナ703から入力されたマルチメディアデータを入力し、蓄積部706にそれぞれのマルチメディアデータを出力する。詳細な説明は実施例1のマルチメディアデータ入力部103と同一である。
蓄積部706は、マルチメディアデータ入力部704、およびマルチメディアデータ入力部705より入力したマルチメディアデータを蓄積する部位である。そして、現在表示されているチャンネルであって、所定の時間以上蓄積したマルチメディアデータを、過去に入力されたマルチメディアデータから先に所定シーン事前通知効果付与部710に出力する。また、非表示のチャンネルのマルチメディアデータが所定の時間以上蓄積されている場合、非表示のチャンネルのマルチメディアデータの蓄積データで、最も過去に入力されたマルチメディアデータの時刻情報のみを所定シーン事前通知効果付与部710に出力する。
表示されていないチャンネルのマルチメディアデータが所定の時間以上蓄積されていない場合は、蓄積中であることを表す情報を所定シーン事前通知効果付与部710に出力する。
所定の時間に関する説明およびマルチメディアデータ蓄積に用いる装置の説明は実施例1の蓄積部104の説明と同一である。
計時部707は、時刻情報を蓄積部706に出力する部位である。詳細な説明は実施例1の計時部105と同一である。
所定シーン検出部708は、蓄積部706に蓄積された表示されていないチャンネルのマルチメディアデータを参照し、所定シーンの検出を行う。所定シーンが検出された場合、所定シーン時刻情報蓄積部709に、入力されたマルチメディアデータの識別情報、所定シーン開始時刻および終了時刻を出力する。詳細な説明は、実施例1の所定シーン検出部106の説明と同一である。
所定シーン時刻情報蓄積部709は、所定シーン検出部708から入力された、所定シーンの時刻情報を蓄積し、所定シーン事前通知効果付与部710に出力する部位である。詳細な説明は、実施例1の所定シーン時刻情報蓄積部107と同一である。
所定シーン事前通知効果付与部710は、蓄積部706から入力されたマルチメディアデータに事前通知の効果を付与してマルチメディアデータ出力部711に出力する部位である。なお、事前通知の効果を付与するのは、所定シーン時刻情報蓄積部709に蓄積されたマルチメディアデータの識別情報、所定シーン開始時刻の情報に基づいている。
また、蓄積部706が蓄積中の情報を出力している時は、蓄積中を示すメッセージを蓄積部706から入力されたマルチメディアデータに付与する。事前通知の効果の説明は、実施例1所定シーン事前通知効果付与部108の説明と同一である。
マルチメディアデータ出力部711は所定シーン事前通知効果付与部710から入力したマルチメディアデータを出力する部位である。詳細な説明は、実施例1のマルチメディアデータ出力部109と同一である。
実施例3における処理の流れの説明をする。
図7における所定シーン検出部708の処理の流れは、実施例1における所定シーン検出部106の処理の流れの説明と同一である。但し、参照するマルチメディアデータは、表示されていないマルチメディアデータとする。
次に図7における蓄積部706の処理の流れについて図8のフローチャートを用いて説明する。
蓄積部706はまず、マルチメディアデータが入力終了か判断し(S801)、マルチメディアデータの入力が終了していれば(S801)終了する。
マルチメディアデータの入力が終了していない場合は(S801)、マルチメディアデータ入力部704および705よりマルチメディアデータを入力する(S802)。次に、マルチメディアデータ入力部704および705より入力されたマルチメディアデータを時刻情報とともに蓄積する(S803)。ここで表示されているチャンネル、表示されていないチャンネルに関わらず、マルチメディアデータ入力部704および705より入力されたマルチメディアデータを蓄積する理由を説明する。それは、チャンネルの切り替えで、現在表示されているチャンネルが、表示されていない状態に変化した場合に、所定シーン事前通知のために、蓄積を行うためである。また、図16における再生開始直後のように、番組1を遅延なしで再生する場合は、蓄積部706にマルチメディアデータが入力された直後に所定シーン事前通知効果付与部710に出力し、蓄積時間を0にすればよい。
チャンネル情報保持部701より、現在表示されているチャンネルの情報を入力する(S804)。
現在表示されていないチャンネルのマルチメディアデータ蓄積時間が所定の時間以上であるか判断し(S805)、所定の時間以上蓄積されていないのであれば(S805)、蓄積中であるという状態を表す情報を出力する(S808)。更に、表示されているチャンネルのマルチメディアデータの蓄積データで、時間軸上最も過去のマルチメディアデータを出力する(S809)。そして、出力されたマルチメディアデータを消去し(S810)、マルチメディアデータの入力終了を判断する処理に戻る(S801)。
表示されていないチャンネルのマルチメディアデータ蓄積時間が所定の時間以上であれば(S805)、表示されていないチャンネルの蓄積されている最も過去に入力されたマルチメディアデータの時刻情報のみを出力する(S806)。そして出力された時刻情報に関連付けられたマルチメディアデータは、蓄積部706より消去する(S807)。次に、表示されているチャンネルのマルチメディアデータの蓄積データで時間軸上最も過去のマルチメディアデータを出力(S809)。そして、出力されたマルチメディアデータを消去し(S810)、マルチメディアデータの入力終了を判断する処理に戻る(S801)。
続いて、図7における所定シーン事前通知効果付与部710の処理の流れについて図9のフローチャートを用いて説明する。
所定シーン事前通知効果付与部710はまず、マルチメディアデータが入力終了か判断し(S901)、マルチメディアデータの入力が終了していれば(S901)終了する。
マルチメディアデータの入力が終了していない場合は(S901)、チャンネル情報保持部701よりチャンネル情報を入力(S902)。次に、蓄積部706より、表示されているチャンネルのマルチメディアデータを入力(S903)。
次に、表示されていないマルチメディアデータが蓄積中であるか判断する(S904)。非表示のマルチメディアデータが蓄積中であれば(S904)、マルチメディアデータ蓄積中であることを知らせる効果を、表示されているチャンネルのマルチメディアデータに付与する(S905)。その後、マルチメディアデータ出力部711に表示されているマルチメディアデータを出力する(S911)。そしてマルチメディアデータの入力終了を判断する処理に戻る(S901)。
マルチメディアデータが蓄積中でなければ(S904)、蓄積部706より表示されていないチャンネルの時刻情報を入力する(S906)。
次に、表示されていないチャンネルの情報で、所定シーン開始時刻蓄積部709に、蓄積部706より入力したマルチメディアデータの時刻情報よりも未来の時刻で、かつ所定の時間以内の所定シーン開始時刻情報はあるかを判断する(S907)。
もし条件に合致する所定シーン開始時刻情報がなければ(S907)、マルチメディアデータ出力部711に表示されているマルチメディアデータを出力し(S911)、マルチメディアデータが入力終了か判断する分岐に戻る(S901)。
条件に合致する所定シーン開始時刻情報が有る場合(S907)、表示されていないチャンネルの情報で所定シーン開始時刻蓄積部709から、蓄積部706より入力した時刻情報よりも未来の時刻でかつ最も近い時刻の所定シーン開始時刻情報を入力する(S908)。次に、表示されていないチャンネルの情報で、所定シーン開始時刻情報と、蓄積部706から入力したマルチメディアデータの時刻情報の差を計算する(S909)。そして、計算された時刻の差を元に、所定シーン事前通知効果を表示されているチャンネルのマルチメディアデータに付与する(S910)。そして、マルチメディアデータ出力部711にマルチメディアデータを出力する(S911)。そしてマルチメディアデータの入力終了を判断する処理に戻る(S901)。
101 チャンネル情報保持部
102 チューナ
103 マルチメディアデータ入力部
104 蓄積部
108 所定シーン事前通知効果付与部
102 チューナ
103 マルチメディアデータ入力部
104 蓄積部
108 所定シーン事前通知効果付与部
Claims (13)
- 少なくとも動画像データ及び音声データを有するマルチメディアデータの再生方法において、
前記動画像データの所定のシーンが表示画面に表示されるよりも前に、前記所定のシーンが表示され得ることをユーザに通知するために、前記通知する時から前記表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する工程と、前記蓄積されたマルチメディアデータから前記所定のシーンを検出する工程と、
前記検出に基づいて前記通知を行う工程と、を有することを特徴とするマルチメディアデータ再生方法。 - 前記通知が行われる時から、前記表示されるまでの時間を選択することのできる工程を有することを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記表示画面は、親画面である第一の表示画面と子画面である第二の表示画面とを有する複数の表示画面を重畳して同時に表示するものであり、前記マルチメディアデータに基づいて表示される画面は前記第二の表示画面であることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記表示画面は、複数の表示画面を並べて同時に表示するものであり、前記マルチメディアデータに基づいて表示される画面は前記複数の表示画面のいずれか一つであることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記表示画面には、前記マルチメディアデータとは異なるマルチメディアデータに基づいて表示されている状態で、前記通知が行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記通知の後に前記表示画面に前記所定のシーンを表示にするか,或いは非表示にするかの選択をする工程を有することを特徴とする請求項5に記載のマルチメディアデータ再生方法。
- 前記所定のシーンの検出は、前記音声データの振幅の値に基づいて行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記所定のシーンの検出は、前記音声データの振幅の値と前記音声データの波形に基づいて行われることを特徴とする請求項7に記載のマルチメディアデータ再生方法。
- 前記所定のシーンの検出は、前記動画像データの動きベクトルに基づいて行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記マルチメディアデータには、字幕情報を有する文字データが含まれており、前記所定のシーン検出は、前記字幕情報に基づいて行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記通知は、前記表示画面の外枠を点滅させることにより行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記通知は、前記表示画面にメッセージを表示することにより行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
- 前記通知は、効果音を発生することにより行われることを特徴とする請求項1に記載のマルチメディアデータ再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007314791A JP2009141586A (ja) | 2007-12-05 | 2007-12-05 | マルチメディアデータ再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007314791A JP2009141586A (ja) | 2007-12-05 | 2007-12-05 | マルチメディアデータ再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009141586A true JP2009141586A (ja) | 2009-06-25 |
Family
ID=40871778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007314791A Pending JP2009141586A (ja) | 2007-12-05 | 2007-12-05 | マルチメディアデータ再生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009141586A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014527738A (ja) * | 2011-07-25 | 2014-10-16 | トムソン ライセンシングThomson Licensing | メタデータに支援されたトリック・モード介入方法およびシステム |
JP2015177471A (ja) * | 2014-03-17 | 2015-10-05 | 富士通株式会社 | 抽出プログラム、方法、及び装置 |
-
2007
- 2007-12-05 JP JP2007314791A patent/JP2009141586A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014527738A (ja) * | 2011-07-25 | 2014-10-16 | トムソン ライセンシングThomson Licensing | メタデータに支援されたトリック・モード介入方法およびシステム |
JP2015177471A (ja) * | 2014-03-17 | 2015-10-05 | 富士通株式会社 | 抽出プログラム、方法、及び装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9369758B2 (en) | Multifunction multimedia device | |
US9210366B2 (en) | Method and apparatus for processing multimedia | |
KR101335518B1 (ko) | 동영상 디스플레이 방법 및 이를 적용한 영상재생장치 | |
JP5135024B2 (ja) | コンテンツのシーン出現を通知する装置、方法およびプログラム | |
JP4331217B2 (ja) | 映像再生装置および方法 | |
JPWO2007029479A1 (ja) | 記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体 | |
US20070040936A1 (en) | Method of searching scenes recorded in PVR and television receiver using the same | |
JP2009076970A (ja) | 要約コンテンツ生成装置およびコンピュータプログラム | |
JP2012065119A (ja) | コンテンツ処理装置 | |
KR20090089878A (ko) | 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기 | |
WO2007119383A1 (ja) | コンテンツ再生装置、コンテンツ再生再開方法およびコンテンツ再生プログラム | |
JP2009141586A (ja) | マルチメディアデータ再生方法 | |
JP2007208651A (ja) | コンテンツ視聴装置 | |
JP5033653B2 (ja) | 映像記録再生装置及び映像再生装置 | |
WO2011158399A1 (ja) | コンテンツ再生装置、コンテンツ再生方法、およびコンテンツ再生プログラム | |
JP5682167B2 (ja) | 映像音声記録再生装置、および映像音声記録再生方法 | |
JP2014207619A (ja) | 録画再生装置、及び録画再生装置の制御方法 | |
JP2008312066A (ja) | 字幕付映像再生装置、プログラム | |
JP4232744B2 (ja) | 記録再生装置 | |
JP4335175B2 (ja) | 情報再生装置、情報再生方法及びコンピュータプログラム | |
KR101718896B1 (ko) | 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리 방법 및 장치 | |
EP1990996A1 (en) | Information reproducing device, information reproducing method, information reproducing program and recording medium | |
JP2012009927A (ja) | 映像再生装置 | |
JP2023026775A (ja) | 字幕表示装置、字幕表示方法およびプロフラム | |
KR101592944B1 (ko) | 자막 단어 검색 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |