JP2009141586A

JP2009141586A - マルチメディアデータ再生方法

Info

Publication number: JP2009141586A
Application number: JP2007314791A
Authority: JP
Inventors: 伸明 ▲桑▼原; Nobuaki Kuwahara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-12-05
Filing date: 2007-12-05
Publication date: 2009-06-25

Abstract

【課題】ユーザにとって好ましい所定シーンを検出できるようにし、その所定シーンを事前に通知することが可能なマルチメディアデータ再生方法を提供することである。
【解決手段】動画像データ及び音声データを有するマルチメディアデータの再生方法において、まず、動画像データの所定のシーンが表示画面に表示され得るよりも前に、ユーザに事前通知する時から表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する。そして、蓄積されたマルチメディアデータから所定のシーンを検出しておく。そして、検出結果に基づいて所定のシーンが表示画面に表示され得るよりも前に所定シーンが始まることをユーザに事前通知する。
【選択図】図１４

Description

本発明は、少なくとも動画像データ及び音声データを含むマルチメディアデータ中の所定シーンを検出して、ユーザに所定シーンの開始を事前通知するマルチメディアデータ再生方法に関する。

放送波によるテレビ視聴においては、リアルタイム放送であるため、視聴中の動画像を巻き戻す事が困難である。そのため、様々な条件において、所定シーン（特に、ユーザにとって重要なシーン。以下、同様。）を見逃す事があった。様々な条件とは、例えば、テレビ視聴中に席を離れる場合やＷｅｂブラウジングや読書など、他の作業に集中していた場合などが挙げられる。

そこで従来、テレビ番組の開始や所定シーンの開始を事前に通知する提案がなされてきた。

例えば、特開２００５−３３３４０３号公報（特許文献１）は、放送局制御装置からユーザに対して、ユーザの携帯端末に向けて、メールを用いて所定シーンの開始を事前通知する提案である。

放送局制御装置は、テレビ番組毎にあらかじめ決められた所定シーンの種別に応じた、シーンＩＤを振り分けたデータベースを備えている。前記シーンＩＤには、例えば、「サッカーの試合」という種別であれば、コーナーキックや、ロスタイムといったシーンがシーンＩＤと対応づけられて登録されている。ここで、コーナーキックのシーンが発生した場合、コーナーキックのシーンＩＤに対応するフラグが有効（１）になる。そして、ユーザ情報が記録されたデータベースを参照してユーザの携帯端末にメールを送信するとことで、所定シーンの開始を事前に通知する。
特開２００５−３３３４０３号公報

しかしながら、上述した特開２００５−３３３４０３号公報（特許文献１）の構成では、放送局制御装置に登録されたデータベースを用いる為、放送局の設定で、あらかじめ登録されていない所定シーンの発生をユーザに事前通知することは困難である。また、個人の嗜好の違いから、ユーザ毎に所定シーンの定義が異なるため、ユーザとって、好ましい所定シーンが事前に通知されない可能性がある。

そこで、本発明の目的は、ユーザにとって好ましい所定シーンを検出できるようにし、その所定シーンを事前に通知することが可能なマルチメディアデータ再生方法を提供することである。

上記の課題を解決する為に以下を提供する。

少なくとも動画像データ及び音声データを有するマルチメディアデータの再生方法において、
前記動画像データの所定のシーンが表示画面に表示され得るよりも前に、前記表示され得ることをユーザに通知するために、前記通知する時から前記表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する工程と、
前記蓄積されたマルチメディアデータから前記所定のシーンを検出する工程と、
前記検出に基づいて前記通知を行う工程と、を有することを特徴とするマルチメディアデータ再生方法。

以上説明してきたように、本発明によれば、マルチメディアデータの再生において、マルチメディアデータを一定時間蓄積しつつ、所定シーンを検出する。こうすることにより、所定シーンが再生される前に、ユーザに所定シーンが始まる旨を示す事前通知を行うことができ、かつユーザの嗜好に合った所定シーンを見逃す事を軽減する事が可能となる。

以下に添付図面を参照し、本発明のマルチメディアデータ再生装置に好適な実施例を詳細に説明する。なお、マルチメディアデータとは、動画像データ及び音声データを有する。また、字幕情報を有するテキストデータを有していても良い。

（実施例１）
実施例１では本発明を以下の事例に適用して説明する。

図１４は、視聴中のマルチメディアデータを一定時間蓄積部に蓄積し、或いは保存しつつ表示画面に表示し、所定シーン検出時に、表示画面上に所定シーンの発生を事前通知する事例に関して示した図である。

タイムバー１４０３上において、マルチメディアデータ蓄積時１４０４では、表示画面１４０７上に蓄積中であることを知らせるメッセージ１４０１を表示する。また、所定シーン通知時１４０５では、表示画面１４０８上に所定シーン開始までの残り時間１４０２を表示する。また、所定シーン出力時１４０６には所定シーン１４０９が表示される。

図１は本発明を適用できる実施例１のマルチメディアデータ再生装置の構成を表すブロック図である。

本例のマルチメディアデータ再生装置は、チャンネル情報保持部１０１、チューナ１０２、マルチメディアデータ入力部１０３、蓄積部１０４、計時部１０５、所定シーン検出部１０６、所定シーン時刻情報蓄積部１０７、所定シーン事前通知効果付与部１０８、マルチメディアデータ出力部１０９を有している。

以下に各部位についての詳細な説明を記述する。

チャンネル情報保持部１０１は、選択されているチャンネル情報を保持する部位であり、保持しているチャンネル情報をチューナ１０２に出力する。チャンネル情報の選択は、ユーザが手動で選択しても良いし、マルチメディアデータ再生装置内部で自動制御してもよい。

チューナ１０２は、放送波を入力し、放送波からチャンネル情報保持部１０１で選択されているチャンネルのマルチメディアデータを抽出しマルチメディアデータ入力部１０３へマルチメディアデータを出力する部位である。チューナ１０２は、デジタルチューナであってもよいし、アナログチューナでもよい。チューナの種類は特に限定されない。また、マルチメディアデータ入力部１０３に出力する、マルチメディアデータは、マルチメディアデータを識別する情報を付与したマルチメディアデータとする。

マルチメディアデータ入力部１０３は、チューナから出力されたマルチメディアデータを入力する部位であり、蓄積部１０４にマルチメディアデータを出力する。本例ではチューナ１０２を接続し、マルチメディアデータを入力しているが、マルチメディアデータを記録した記憶装置、例えばハードディスクのドライブや、ＤＶＤのドライブ、Ｂｌｕ−ｒａｙＤｉｓｃ（登録商標）のドライブを接続しても良い、接続される装置、手段は特に限定されない。

蓄積部１０４は、マルチメディアデータ入力部１０３より入力したマルチメディアデータを蓄積する部位であり、所定の時間以上蓄積したマルチメディアデータを、過去に入力されたマルチメディアデータから先に所定シーン事前通知効果付与部１０８に出力する。ここでいう所定の時間とは、事前通知を開始してから所定シーンが表示画面に出力されるまでの時間と、所定シーン検出部１０６が所定シーンかどうかを判断する為に必要な時間と、装置の安定した動作を保証する為に必要な時間を加算した値となる。このとき、倍速度で再生している場合には、蓄積部１０４に蓄積するマルチメディアデータは、その分多く蓄積する必要がある。所定シーンの事前検出を行うためである。これは、２倍、３倍、ｎ倍であっても同じである。

基本的に蓄積部から出力したマルチメディアデータは蓄積部１０４から消去するが、蓄積したマルチメディアデータを記録媒体にそのまま記録し、保存しておいても良い。

また所定の時間蓄積されるまでの期間は、蓄積中である事を通知するメッセージを所定シーン事前通知効果付与部１０８に出力する。蓄積に用いる装置は、ハードディスクドライブでもよいし、半導体メモリでもよい。蓄積に用いる装置は特に限定されない。

また、通知が行われる時から、表示画面に表示されるまでの時間をユーザが選択することのできる。

計時部１０５は、時刻情報を蓄積部１０４に出力する部位である。出力される時刻情報の形式は特に限定されないが、所定シーンが開始されるまでの時刻を秒単位で画面に表示し、出力する場合は少なくとも秒以上の精度の情報を有する時刻情報が必要となる。

所定シーン検出部１０６は、蓄積部１０４に蓄積されたマルチメディアデータを参照し、所定シーンの検出を行う。所定シーンが検出された場合、所定シーン時刻情報蓄積部１０７に、入力されたマルチメディアデータの識別情報、所定シーン開始時刻および終了時刻を出力する。前述したマルチメディアデータの識別情報は、例えばテレビ番組のチャンネル番号や、番組名などである。

所定シーンの検出方法としては、音声の振幅値、音声データの特性、動きベクトルなどを用いて検出する。

所定シーンの検出方法について図１１〜図１３を用いて詳細に説明する。まず、図１１より、音声の振幅のピークを用いて所定シーンを検出する方法を説明する。

時間軸１１０１上の音声の波形１１０２を取得した例において、図１１上の時刻ｔから区間△ｔづつ音声の振幅値１１０３を取得する。そして、音声の振幅のピークを結んだ線が、閾値１１０４を超えた区間１１０５を所定シーン区間とする。

また、音声の波形１１０２は、例えば、歓声などの特定の周波数を抽出した音量を用いても良い。

次に、図１２より、音声データの特性を用いて所定シーンを検出する方法を説明する。

まず、音声の波形１２０１を用いて音声認識をし、文字データ１２０２を得る。ここで音声データの認識方法について説明する。まず単語を音素系列にし、音素系列に対応する隠れマルコフモデルに変換し、隠れマルコフモデルの状態系列ネットワークを作成し、音声認識を行う。

次に、音声認識された文字データとマッチングを行う。ここで、予め字幕などの文字データが付与されているマルチメディアデータを用いた場合は、そのまま付与されている文字データを使用することも可能である。使用するキーワードについては、例えばサッカーの試合の場合、所定シーンであるゴールシーンに実況解説者が用いる「ゴール」という言葉１２０３である。キーワード情報とマッチングを行った後に、マッチングした区間における音声の波形１２０４の振幅のピークを検出する。検出した音声の波形１２０４の振幅のピークが閾値以上の場合に、所定シーンであると判断される。

ここで、前述した区間において音声の波形１２０４の振幅のピークを検出し、閾値と比較する理由としては、サッカーなどの実況解説では、所定シーンであるゴールシーン以外にも実況解説において「ゴール」という単語を用いる場合がある。しかしゴールシーンよりも実況解説者の音声の波形１２０４の振幅は小さいことが多い。そのため誤検出を避ける目的で、音声の波形１２０４の振幅のピークを検出し、閾値と比較する。

図１３より、動きベクトルを用いて所定シーンを検出する方法を説明する。

時間軸１３０７上に動画像データの動きベクトルの総計１３０５を取得した例において、動きベクトルの総計１３０５が閾値１３０６を超える区間１３０５を所定シーン区間として検出する。

ここで、動きベクトルの総計とは、まず、表示画面１３０１を格子状に分割し、前フレームからブロックマッチングを用いて、ベクトルを算出する。そして、動きベクトル１３０４を含む動画像データの動きベクトル１３０３において、全て若しくは一部の格子における動きベクトルの大きさを加算した値が動きベクトルの総計となる。

次に、閾値１３０６を越える区間１３０５を所定シーンとして検出する理由を説明する。例えばサッカーの試合の場合、選手１３０２が拡大されて表示されているゴールシーン１３０１のように、所定シーンでは選手が拡大されて表示されるシーンが多い。選手が拡大されるシーンは、選手の動きが同一であっても画面上での動きが大きくなり、結果として動きベクトルの値が大きくなる。よって、動きベクトルの総計が大きいシーンは所定シーンである可能性が高くなる。以上の理由から、動きベクトルの総計が大きいシーンを所定シーンとして判断する。

図１に戻り所定シーン時刻情報蓄積部１０７は、所定シーン検出部１０６から入力された、所定シーンの時刻情報とマルチメディアデータの識別情報を蓄積し、所定シーン事前通知効果付与部に、所定シーンの時刻情報とマルチメディアデータの識別情報を出力する。所定シーンの時刻情報およびマルチメディアデータの識別情報の保持方法は特に限定されないが、例えば図１０のようにマルチメディアデータの識別情報をｃｈａｎｎｅｌ、所定シーン開始時刻をｓｔａｒｔｔｉｍｅ、所定シーン終了時刻をｅｎｄｔｉｍｅとして表形式で記録しても良い。

図１に戻る。所定シーン事前通知効果付与部１０８は、所定シーン時刻情報蓄積部１０７に蓄積されたマルチメディアデータの識別情報、及び所定シーン開始時刻の情報を元に、蓄積部１０４に蓄積された表示画面に表示される動画像に事前通知の効果を付与する。そして、マルチメディアデータ出力部１０９に出力するための部位である。また、蓄積部１０４が蓄積時には、蓄積中を示すメッセージをマルチメディアデータに付与する。

ここで、事前通知の効果としては、表示画面の外枠を点滅させても良いし、加えて、外枠の点滅する間隔を所定シーンの再生が開始する時刻が近づくに従って短くしてもよい。また、所定シーンが開始されるまでの時刻情報を表示してもよいし、効果音を用いて通知してもよい。

マルチメディアデータ出力部１０９は所定シーン事前通知効果付与部１０８から入力したマルチメディアデータを出力する部位である。マルチメディアデータ出力部１０９には、表示装置、例えば液晶ディスプレイなどを接続しても良いし、記憶装置、例えばハードディスクドライブなどを接続してもよい。接続される装置、手段は特に限定されない。

実施例１の処理の流れを図２、図３、図４、図１７のフローチャートを用いて説明する。

まず図１における所定シーン検出部１０６の処理の流れについて図２のフローチャートを用いて説明する。

所定シーン検出部１０６はまず、所定シーン検出フラグを降ろす（Ｓ２０１）。所定シーン検出フラグとは、現在所定シーンであるかどうかを示すフラグであり、立っていれば所定シーンであることを意味し、降りていれば所定シーンではないことを意味する。次に蓄積部に参照可能なマルチメディアデータがあるか判断する（Ｓ２０２）。参照可能なマルチメディアデータがなければ（Ｓ２０２）終了し、参照可能なマルチメディアデータがあれば（Ｓ２０２）、蓄積部のマルチメディアデータを参照する（Ｓ２０３）。次に、参照したマルチメディアデータが所定シーンなのか判断する（Ｓ２０４）。参照したマルチメディアデータが所定シーンならば（Ｓ２０４）、所定シーン検出フラグが立っているか調べる（Ｓ２０５）。フラグが立っていれば（Ｓ２０５）、所定シーン中のマルチメディアデータと判断できるので、所定シーン時刻情報蓄積部１０７には記録せずに参照可能なマルチメディアデータがあるか判断する処理（Ｓ２０２）に戻る。また、所定シーン検出フラグが立っていなければ（Ｓ２０５）所定シーンが開始されたと判断できるので、所定シーン開始時刻をマルチメディアデータの識別情報と共に、所定シーン時刻情報蓄積部１０７に記録する（Ｓ２０６）。そして、所定シーン検出フラグを立て（Ｓ２０７）参照可能なマルチメディアデータがあるか判断する処理（Ｓ２０２）に戻る。

参照したマルチメディアデータが所定シーンでない場合（Ｓ２０４）所定シーン検出フラグが立っているかチェックする（Ｓ２０８）。もしフラグが立っていれば（Ｓ２０８）、所定シーンの終了を示すので、所定シーン終了時刻をマルチメディアデータの識別情報と共に所定シーン時刻情報蓄積部１０７に記録する（Ｓ２０９）。次に、所定シーン検出フラグを降ろし（Ｓ２１０）、参照可能なマルチメディアデータがあるかか判断する処理（Ｓ２０２）に戻る。

所定シーン検出フラグが立っているかチェックし（Ｓ２０８）、立っていなければ、所定シーン開始時刻でも、終了時刻でもないので、時刻を記録せずに、参照可能なマルチメディアデータがあるかする処理（Ｓ２０２）に戻る。

ここで図１における所定シーン検出部１０６におけるユーザによる所定のシーンの定義を設定する方法について、図１７のフローチャートを用いて説明する。

まず、ユーザは、動きベクトルで所定のシーンを検出するか判断する（Ｓ１７０１）。動きベクトルで所定のシーンを検出する場合は（Ｓ１７０１）、ユーザが動きベクトルの閾値を入力し（Ｓ１７０２）音声の振幅のピークで所定のシーンを抽出するか判断する処理に移る（Ｓ１７０３）。動きベクトルで所定のシーンを検出しない場合は（Ｓ１７０１）、そのまま音声の振幅のピークで所定のシーンを抽出するか判断する処理に移る（Ｓ１７０３）。

次に、音声の振幅のピークで所定のシーンを検出するか判断する（Ｓ１７０３）。音声の振幅のピークで所定のシーンを検出する場合は（Ｓ１７０３）、ユーザが音声の振幅のピークの閾値を入力し（Ｓ１７０４）、音声データの特性または文字データから所定のシーンを検出するか判断する処理に移る（Ｓ１７０５）。音声の振幅のピークで所定のシーンを検出しない場合は（Ｓ１７０３）、そのまま、音声データの特性または文字データから所定のシーンを検出するか判断する処理に移る（Ｓ１７０５）。

次に、音声データの特性または文字データから所定のシーンを検出するか判断する（Ｓ１７０５）。音声データの特性または文字データから所定のシーンを検出する場合は（Ｓ１７０５）、ユーザがキーワードを入力して（Ｓ１７０６）入力終了か判断する処理に移る（Ｓ１７０７）。音声データの特性または文字データから所定のシーンを検出しない場合は（Ｓ１７０５）、そのまま入力終了か判断する処理に移る（Ｓ１７０７）。

最後に入力終了か判断する（Ｓ１７０７）入力終了ならば終了し（Ｓ１７０７）、入力終了でないならば（Ｓ１７０７）、動きベクトルで所定シーン検出するか判断する処理にもどる（Ｓ１７０１）。

図１７のフローチャートでは、動きベクトルで所定のシーンを検出（Ｓ１７０１）、音声の振幅のピークに基づいて所定のシーンを検出（Ｓ１７０３）、音声データの特性または文字データから所定のシーンを検出（Ｓ１７０）の順番でユーザによって所定シーンの定義を設定する。定義する順番は特に限定されない。また、所定シーンの定義は、例えば番組毎であっても良いし、チャンネル毎であっても良い。所定のシーンの定義の有効範囲も限定されない。

次に図１における蓄積部１０４の処理の流れについて図３のフローチャートを用いて説明する。

蓄積部１０４はまず、マルチメディアデータが入力終了か判断し（Ｓ３０１）、マルチメディアデータの入力が終了していれば（Ｓ３０１）終了する。また、マルチメディアデータの入力が終了していない場合は（Ｓ３０１）、マルチメディアデータ入力部よりマルチメディアデータを入力する（Ｓ３０２）。次に、入力されたマルチメディアデータを時刻情報とともに蓄積する（Ｓ３０３）。そして、入力されているマルチメディアデータのマルチメディアデータ蓄積時間が所定の時間以上であるか判断する（Ｓ３０４）。所定の時間以上蓄積されていないのであれば（Ｓ３０４）、蓄積中であるという状態を表す情報を出力し（Ｓ３０５）、マルチメディアデータの入力終了を判断する処理に戻る（Ｓ３０１）。

入力されているマルチメディアデータのマルチメディアデータ蓄積時間が所定の時間以上であれば（Ｓ３０４）、蓄積されている最も過去に入力されたマルチメディアデータを所定シーン事前通知効果付与部１０８に出力する（Ｓ３０６）。そして出力されたマルチメディアデータは、蓄積部１０４より消去する（Ｓ３０７）。そしてマルチメディアデータの入力終了を判断する処理に戻る（Ｓ３０１）。

最後に図１における所定シーン事前通知効果付与部１０８の処理の流れについて図４のフローチャートを用いて説明する。

所定シーン事前通知効果付与部１０８はまず、マルチメディアデータが入力終了か判断し（Ｓ４０１）、マルチメディアデータの入力が終了していれば（Ｓ４０１）終了する。また、マルチメディアデータの入力が終了していない場合は（Ｓ４０１）、蓄積部がマルチメディアデータ蓄積中であるか判断する（Ｓ４０２）。マルチメディアデータが蓄積中であれば（Ｓ４０２）、マルチメディアデータが蓄積中であることを知らせるマルチメディアデータを作成し（Ｓ４０９）、マルチメディアデータ出力部１０９にマルチメディアデータを出力する（Ｓ４０８）。そしてマルチメディアデータの入力終了を判断する処理に戻る（Ｓ４０１）。

マルチメディアデータが蓄積中でなければ（Ｓ４０２）、蓄積部１０４よりマルチメディアデータを入力する（Ｓ４０３）。次に、所定シーン開始時刻蓄積部１０７に蓄積部１０４より入力したマルチメディアデータよりも未来の時刻で、かつ所定の時間以内の所定シーン開始時刻情報があるかを判断する（Ｓ４０４）。もし条件に合致する所定シーン開始時刻情報がなければ（Ｓ４０４）、マルチメディアデータ出力部１０９にマルチメディアデータを出力し（Ｓ４０８）、マルチメディアデータの入力終了を判断する処理に戻る（Ｓ４０１）。条件に合致する所定シーン開始時刻情報が有る場合（Ｓ４０４）、所定シーン開始時刻蓄積部１０７から、蓄積部１０４より入力したマルチメディアデータよりも未来の時刻でかつ最も近い時刻の所定シーン開始時刻情報を入力する（Ｓ４０５）。次に、所定シーン開始時刻情報と、蓄積部１０４から入力したマルチメディアデータの時刻情報の差を計算し（Ｓ４０６）、計算された時刻を元に、所定シーン事前通知効果をマルチメディアデータに付与する（Ｓ４０７）。そして、マルチメディアデータ出力部１０９にマルチメディアデータを出力し（Ｓ４０８）、マルチメディアデータの入力終了を判断する処理に戻る（Ｓ４０１）。

（実施例２）
実施例２では本発明を以下の事例に適用して説明する。

図１５は、第一のマルチメディアデータをＰｉｃｔｕｒｅｉｎＰｉｃｔｕｒｅにおける親画面である第一の表示画面に表示し、第一のマルチメディアデータとは異なる第二のマルチメディアデータを子画面である第二の表示画面に表示する。このピクチャ・イン・ピクチャ表示は、２つの表示画面に限らず、複数の表示画面を、重畳して同時に表示しても良い。また、ＰｉｃｔｕｒｅｉｎＰｉｃｔｕｒｅに限らず、第一の表示画面と第二の表示画面を有する複数の表示画面を並べて表示しても良い。図１５では、更に第二のマルチメディアデータを蓄積しつつ表示し、第二のマルチメディアデータの所定シーン検出時に、表示画面上に第二のマルチメディアデータの所定シーンの発生を事前通知する事例に関して示した図である。

第一のマルチメディアデータのタイムバー１５０８と、第二のマルチメディアデータのタイムバー１５０９上において、第二のマルチメディアデータ蓄積時１５１０では、第一のマルチメディアデータ１５０１に第二のマルチメディアデータが蓄積中であることを表すメッセージ１５０２を合成する。さらに、第二のマルチメディアデータの所定シーン通知時１５１１では、第一のマルチメディアデータ１５０３に、第二のマルチメディアデータ１５０５を合成し、さらに第二のマルチメディアデータの所定シーンを事前通知するメッセージ１５０４を合成したマルチメディアデータを表示する。また第二のマルチメディアデータの所定シーン再生中１５１２では第一のマルチメディアデータ１５０６に第二のマルチメディアデータの所定シーン１５０７を重ね合わせて、若しくは並べて表示する。

なお、表示画面上に第二のマルチメディアデータの所定シーンの発生を事前通知後に、必ずしも第二のマルチメディアデータの所定シーン１５０７を表示する必要は無く、ユーザに所定シーンの表示を許可するかの選択をさせるための選択手段があっても良い。これにより、所定のシーンであっても見たくない場合には、特に表示させることなく、非表示状態にもできる。

図５は本発明を適用できる実施例２のマルチメディアデータ再生装置の構成を表すブロック図である。

本例のマルチメディアデータ再生装置は、チャンネル情報保持部５０１、チューナ５０２、チューナ５０３、第一のマルチメディアデータ入力部５０４、第二のマルチメディアデータ入力部５０５を有している。更に、蓄積部５０６、計時部５０７、所定シーン検出部５０８、所定シーン時刻情報蓄積部５０９、所定シーン事前通知効果付与部５１０、マルチメディアデータ出力部５１１を有している。

以下に各部位についての説明を記述する。

チャンネル情報保持部５０１は、選択されているチャンネル情報を保持する部位であり、保持しているチャンネル情報をチューナ５０２、５０３に出力する。詳細な説明は、実施例１のチャンネル情報保持部１０１と同一である。

チューナ５０２およびチューナ５０３は、放送波などを入力する部位であり、入力したマルチメディアデータ情報を、それぞれ第一のマルチメディアデータ入力部５０４、第二のマルチメディアデータ入力部５０５へ出力している。詳細な説明は、実施例１のチューナ１０２と同一であるが、マルチメディアデータ入力部１０３は、第一のマルチメディアデータ入力部５０４および第二のマルチメディアデータ入力部５０５となる。

第一のマルチメディアデータ入力部５０４は、チューナ５０２から入力されたマルチメディアデータを入力する部位であり、所定シーン事前通知効果付与部５１０にマルチメディアデータを出力する。詳細な説明は実施例１のマルチメディアデータ入力部１０３と同一である。

第二のマルチメディアデータ入力部５０５は、チューナ５０３から入力されたマルチメディアデータを入力する部位であり、蓄積部５０６にマルチメディアデータを出力する。詳細な説明は実施例１のマルチメディアデータ入力部１０３と同一である。

蓄積部５０６は、第二のマルチメディアデータ入力部５０５より入力したマルチメディアデータを蓄積する部位であり、所定の時間以上蓄積したマルチメディアデータを、過去に入力されたマルチメディアデータから先に所定シーン事前通知効果付与部５１０に出力する。詳細な説明は実施例１の蓄積部１０４と同一であるが、所定シーン検出部１０６は所定シーン検出部５０８となり、所定シーン事前通知効果付与部１０８は、所定シーン事前通知効果付与部５１０となる。

計時部５０７は、時刻情報を蓄積部５０６に出力する部位である。詳細な説明は実施例１の計時部１０５と同一である。

所定シーン検出部５０８は、蓄積部５０６に蓄積されたマルチメディアデータを参照し、所定シーンの検出を行う。所定シーンが検出された場合、所定シーン時刻情報蓄積部５０９に、入力されたマルチメディアデータの識別情報、所定シーン開始時刻および終了時刻を出力する部位である。詳細な説明は、実施例１の所定シーン検出部１０６の説明と同一である。
所定シーン時刻情報蓄積部５０９は、所定シーン検出部５０８から入力された、所定シーンの時刻情報を蓄積し、所定シーン事前通知効果付与部５１０に出力する部位である。詳細な説明は、実施例１の所定シーン時刻情報蓄積部１０７と同一である。

所定シーン事前通知効果付与部５１０は、第一のマルチメディアデータ入力部５０４から入力されたマルチメディアデータと、蓄積部５０９から入力されたマルチメディアデータを合成する。なお、この合成は、所定シーン時刻情報蓄積部５０９に蓄積されたマルチメディアデータの識別情報と所定シーン開始時刻の情報に基づいている。さらに合成した画像に事前通知の効果を付与してマルチメディアデータ出力部５１１に出力する部位である。また、蓄積部５０６が蓄積時には、蓄積中を示すメッセージを第一のマルチメディアデータ入力部５０４から入力されたマルチメディアデータに付与する。事前通知の効果の説明は、実施例１所定シーン事前通知効果付与部１０８の説明と同一である。

マルチメディアデータ出力部５１１は所定シーン事前通知効果付与部５１０から入力したマルチメディアデータを出力する部位である。詳細な説明は、実施例１のマルチメディアデータ出力部１０９と同一である。

実施例２における処理の流れの説明をする。

図５における所定シーン検出部５０８の処理の流れは、実施例１における所定シーン検出部１０６の処理の流れの説明と同一である。

また、図５における蓄積部５０６の処理の流れは、実施例１における蓄積部１０４の処理の流れの説明と同一である。ただし、Ｓ３０２のマルチメディアデータ入力部の記述は、実施例２では第二のマルチメディアデータ入力部となる。

続いて、図５における所定シーン事前通知効果付与部５１０の処理の流れについて図６のフローチャートを用いて説明する。

所定シーン事前通知効果付与部５１０はまず、マルチメディアデータが入力終了か判断し（Ｓ６０１）、マルチメディアデータの入力が終了していれば（Ｓ６０１）終了する。

マルチメディアデータの入力が終了していない場合は（Ｓ６０１）、第一のマルチメディアデータ入力部５０４より第一のマルチメディアデータを入力する（Ｓ６０２）。次に、蓄積部がマルチメディアデータ蓄積中であるか判断する（Ｓ６０３）。マルチメディアデータが蓄積中であれば（Ｓ６０３）、第二のマルチメディアデータが蓄積中であることを知らせる効果を第一のマルチメディアデータに付与し（Ｓ６０５）、マルチメディアデータ出力部５１１に第一のマルチメディアデータを出力する（Ｓ６１１）。そしてマルチメディアデータの入力終了を判断する処理に戻る（Ｓ６０１）。

蓄積部がマルチメディアデータ蓄積中でなければ（Ｓ６０３）、蓄積部５０６より第二のマルチメディアデータを入力する（Ｓ６０４）。次に、所定シーン開始時刻蓄積部５０９に蓄積部５０６より入力したマルチメディアデータよりも未来の時刻で、かつ所定の時間以内の所定シーン開始時刻情報があるかを判断する（Ｓ６０６）。

もし条件に合致する所定シーン開始時刻情報がなければ（Ｓ６０６）、第一のマルチメディアデータと第二のマルチメディアデータを合成し（Ｓ６０７）、マルチメディアデータ出力部５１１にマルチメディアデータを出力する（Ｓ６１１）。そしてマルチメディアデータの入力終了を判断する処理に戻る（Ｓ６０１）。

条件に合致する所定シーン開始時刻情報が有る場合（Ｓ６０６）、所定シーン開始時刻蓄積部５０９から、蓄積部５０６より入力したマルチメディアデータよりも未来の時刻でかつ最も近い時刻の所定シーン開始時刻情報を入力する（Ｓ６０８）。次に、所定シーン開始時刻情報と、蓄積部５０６から入力した第二のマルチメディアデータの時刻情報の差を計算する（Ｓ６０９）。そして、第一のマルチメディアデータと第二のマルチメディアデータを合成すると共に計算された時刻を元に、所定シーン事前通知効果をマルチメディアデータに付与する（Ｓ６１０）。そして、マルチメディアデータ出力部５１１にマルチメディアデータを出力し（Ｓ６１１）、マルチメディアデータの入力終了を判断する処理に戻る（Ｓ６０１）。

（実施例３）
実施例３では本発明を以下の事例に適用して説明する。

図１６を説明する。まず、表示されているチャンネルのマルチメディアデータ視聴中に、表示していないチャンネルのマルチメディアデータを蓄積しつつ、所定シーンの検出を行う。次に、所定シーンが検出された際に、表示されているチャンネルのマルチメディアデータ上に表示していないチャンネルのマルチメディアデータの所定シーン発生を事前通知する事例に関して示したものである。

番組１のタイムバー１６０１と、番組２のタイムバー１６０２と、表示チャンネルを表すタイムバー１６１６上で、番組２蓄積時１６０３では、番組１のマルチメディアデータ１６０９を表示し、番組２のマルチメディアデータが蓄積中であることを表すメッセージ１６１０を合成して表示する。

番組２の所定シーン通知時１６０４では、番組１のマルチメディアデータ１６１１に、番組２の所定シーンを事前通知するメッセージ１６１２を合成したマルチメディアデータを表示する。

チャンネル切り替え時１６０５では、表示するマルチメディアデータを、番組１のマルチメディアデータから番組２のマルチメディアデータに切り替え、番組１のマルチメディアデータの蓄積を開始する。

番組２が所定シーンで、番組１が所定シーン通知時１６０６では、番組２の所定シーンマルチメディアデータ１６１３上に番組１の所定シーンを事前通知するメッセージ１６１４を合成したマルチメディアデータを表示する。

チャンネル切り替え時１６０７では、マルチメディアデータ表示を番組２から番組１に切り替える。

番組１の所定シーン表示時１６０８では、番組１の所定シーンマルチメディアデータ１６１５が表示される。

図７は本発明を適用できる実施例３のマルチメディアデータ再生装置の構成を表すブロック図である。

本例のマルチメディアデータ再生装置は、チャンネル情報保持部７０１、チューナ７０２、チューナ７０３、マルチメディアデータ入力部７０４、マルチメディアデータ入力部７０５を有している。蓄積部７０６、計時部７０７、所定シーン検出部７０８、所定シーン時刻情報蓄積部７０９、所定シーン事前通知効果付与部７１０、マルチメディアデータ出力部７１１を有している。
以下に各部位についての説明を記述する。

チャンネル情報保持部７０１は、選択されているチャンネル情報を保持する部位であり、保持しているチャンネル情報をチューナ７０２、７０３、蓄積部７０６、所定シーン事前通知効果付与部７１０に出力する。詳細な説明は、実施例１のチャンネル情報保持部１０１と同一である。

チューナ７０２およびチューナ７０３は、放送波などを入力する部位であり、入力したマルチメディアデータの情報をそれぞれマルチメディアデータ入力部７０４、マルチメディアデータ入力部７０５へ出力する。詳細な説明は、実施例１のチューナ１０２と同一であるが、マルチメディアデータ入力部１０３は、マルチメディアデータ入力部７０４およびマルチメディアデータ入力部７０５となる。

マルチメディアデータ入力部７０４およびマルチメディアデータ入力部７０５は、それぞれチューナ７０２、チューナ７０３から入力されたマルチメディアデータを入力し、蓄積部７０６にそれぞれのマルチメディアデータを出力する。詳細な説明は実施例１のマルチメディアデータ入力部１０３と同一である。

蓄積部７０６は、マルチメディアデータ入力部７０４、およびマルチメディアデータ入力部７０５より入力したマルチメディアデータを蓄積する部位である。そして、現在表示されているチャンネルであって、所定の時間以上蓄積したマルチメディアデータを、過去に入力されたマルチメディアデータから先に所定シーン事前通知効果付与部７１０に出力する。また、非表示のチャンネルのマルチメディアデータが所定の時間以上蓄積されている場合、非表示のチャンネルのマルチメディアデータの蓄積データで、最も過去に入力されたマルチメディアデータの時刻情報のみを所定シーン事前通知効果付与部７１０に出力する。

表示されていないチャンネルのマルチメディアデータが所定の時間以上蓄積されていない場合は、蓄積中であることを表す情報を所定シーン事前通知効果付与部７１０に出力する。

所定の時間に関する説明およびマルチメディアデータ蓄積に用いる装置の説明は実施例１の蓄積部１０４の説明と同一である。

計時部７０７は、時刻情報を蓄積部７０６に出力する部位である。詳細な説明は実施例１の計時部１０５と同一である。

所定シーン検出部７０８は、蓄積部７０６に蓄積された表示されていないチャンネルのマルチメディアデータを参照し、所定シーンの検出を行う。所定シーンが検出された場合、所定シーン時刻情報蓄積部７０９に、入力されたマルチメディアデータの識別情報、所定シーン開始時刻および終了時刻を出力する。詳細な説明は、実施例１の所定シーン検出部１０６の説明と同一である。

所定シーン時刻情報蓄積部７０９は、所定シーン検出部７０８から入力された、所定シーンの時刻情報を蓄積し、所定シーン事前通知効果付与部７１０に出力する部位である。詳細な説明は、実施例１の所定シーン時刻情報蓄積部１０７と同一である。

所定シーン事前通知効果付与部７１０は、蓄積部７０６から入力されたマルチメディアデータに事前通知の効果を付与してマルチメディアデータ出力部７１１に出力する部位である。なお、事前通知の効果を付与するのは、所定シーン時刻情報蓄積部７０９に蓄積されたマルチメディアデータの識別情報、所定シーン開始時刻の情報に基づいている。

また、蓄積部７０６が蓄積中の情報を出力している時は、蓄積中を示すメッセージを蓄積部７０６から入力されたマルチメディアデータに付与する。事前通知の効果の説明は、実施例１所定シーン事前通知効果付与部１０８の説明と同一である。

マルチメディアデータ出力部７１１は所定シーン事前通知効果付与部７１０から入力したマルチメディアデータを出力する部位である。詳細な説明は、実施例１のマルチメディアデータ出力部１０９と同一である。

実施例３における処理の流れの説明をする。

図７における所定シーン検出部７０８の処理の流れは、実施例１における所定シーン検出部１０６の処理の流れの説明と同一である。但し、参照するマルチメディアデータは、表示されていないマルチメディアデータとする。

次に図７における蓄積部７０６の処理の流れについて図８のフローチャートを用いて説明する。

蓄積部７０６はまず、マルチメディアデータが入力終了か判断し（Ｓ８０１）、マルチメディアデータの入力が終了していれば（Ｓ８０１）終了する。

マルチメディアデータの入力が終了していない場合は（Ｓ８０１）、マルチメディアデータ入力部７０４および７０５よりマルチメディアデータを入力する（Ｓ８０２）。次に、マルチメディアデータ入力部７０４および７０５より入力されたマルチメディアデータを時刻情報とともに蓄積する（Ｓ８０３）。ここで表示されているチャンネル、表示されていないチャンネルに関わらず、マルチメディアデータ入力部７０４および７０５より入力されたマルチメディアデータを蓄積する理由を説明する。それは、チャンネルの切り替えで、現在表示されているチャンネルが、表示されていない状態に変化した場合に、所定シーン事前通知のために、蓄積を行うためである。また、図１６における再生開始直後のように、番組１を遅延なしで再生する場合は、蓄積部７０６にマルチメディアデータが入力された直後に所定シーン事前通知効果付与部７１０に出力し、蓄積時間を０にすればよい。

チャンネル情報保持部７０１より、現在表示されているチャンネルの情報を入力する（Ｓ８０４）。

現在表示されていないチャンネルのマルチメディアデータ蓄積時間が所定の時間以上であるか判断し（Ｓ８０５）、所定の時間以上蓄積されていないのであれば（Ｓ８０５）、蓄積中であるという状態を表す情報を出力する（Ｓ８０８）。更に、表示されているチャンネルのマルチメディアデータの蓄積データで、時間軸上最も過去のマルチメディアデータを出力する（Ｓ８０９）。そして、出力されたマルチメディアデータを消去し（Ｓ８１０）、マルチメディアデータの入力終了を判断する処理に戻る（Ｓ８０１）。

表示されていないチャンネルのマルチメディアデータ蓄積時間が所定の時間以上であれば（Ｓ８０５）、表示されていないチャンネルの蓄積されている最も過去に入力されたマルチメディアデータの時刻情報のみを出力する（Ｓ８０６）。そして出力された時刻情報に関連付けられたマルチメディアデータは、蓄積部７０６より消去する（Ｓ８０７）。次に、表示されているチャンネルのマルチメディアデータの蓄積データで時間軸上最も過去のマルチメディアデータを出力（Ｓ８０９）。そして、出力されたマルチメディアデータを消去し（Ｓ８１０）、マルチメディアデータの入力終了を判断する処理に戻る（Ｓ８０１）。

続いて、図７における所定シーン事前通知効果付与部７１０の処理の流れについて図９のフローチャートを用いて説明する。

所定シーン事前通知効果付与部７１０はまず、マルチメディアデータが入力終了か判断し（Ｓ９０１）、マルチメディアデータの入力が終了していれば（Ｓ９０１）終了する。

マルチメディアデータの入力が終了していない場合は（Ｓ９０１）、チャンネル情報保持部７０１よりチャンネル情報を入力（Ｓ９０２）。次に、蓄積部７０６より、表示されているチャンネルのマルチメディアデータを入力（Ｓ９０３）。

次に、表示されていないマルチメディアデータが蓄積中であるか判断する（Ｓ９０４）。非表示のマルチメディアデータが蓄積中であれば（Ｓ９０４）、マルチメディアデータ蓄積中であることを知らせる効果を、表示されているチャンネルのマルチメディアデータに付与する（Ｓ９０５）。その後、マルチメディアデータ出力部７１１に表示されているマルチメディアデータを出力する（Ｓ９１１）。そしてマルチメディアデータの入力終了を判断する処理に戻る（Ｓ９０１）。

マルチメディアデータが蓄積中でなければ（Ｓ９０４）、蓄積部７０６より表示されていないチャンネルの時刻情報を入力する（Ｓ９０６）。

次に、表示されていないチャンネルの情報で、所定シーン開始時刻蓄積部７０９に、蓄積部７０６より入力したマルチメディアデータの時刻情報よりも未来の時刻で、かつ所定の時間以内の所定シーン開始時刻情報はあるかを判断する（Ｓ９０７）。

もし条件に合致する所定シーン開始時刻情報がなければ（Ｓ９０７）、マルチメディアデータ出力部７１１に表示されているマルチメディアデータを出力し（Ｓ９１１）、マルチメディアデータが入力終了か判断する分岐に戻る（Ｓ９０１）。

条件に合致する所定シーン開始時刻情報が有る場合（Ｓ９０７）、表示されていないチャンネルの情報で所定シーン開始時刻蓄積部７０９から、蓄積部７０６より入力した時刻情報よりも未来の時刻でかつ最も近い時刻の所定シーン開始時刻情報を入力する（Ｓ９０８）。次に、表示されていないチャンネルの情報で、所定シーン開始時刻情報と、蓄積部７０６から入力したマルチメディアデータの時刻情報の差を計算する（Ｓ９０９）。そして、計算された時刻の差を元に、所定シーン事前通知効果を表示されているチャンネルのマルチメディアデータに付与する（Ｓ９１０）。そして、マルチメディアデータ出力部７１１にマルチメディアデータを出力する（Ｓ９１１）。そしてマルチメディアデータの入力終了を判断する処理に戻る（Ｓ９０１）。

実施例１におけるマルチメディアデータ再生方法の構成を表すブロック図である。実施例１における所定シーン検出部１０６のフローチャートである。実施例１における蓄積部１０４のフローチャートである。実施例１における所定シーン事前通知効果付与部１０８のフローチャートである。実施例２におけるマルチメディアデータ再生方法の構成を表すブロック図である。実施例２における所定シーン事前通知効果付与部のフローチャートである。実施例３におけるブロック図である。実施例３における蓄積部のフローチャートである。実施例３における所定シーン事前通知効果付与部のフローチャートである。所定シーン時刻情報蓄積部のデータ保持例を表した図である。音声の振幅のピークを用いて所定シーンを抽出する方法を表した図である。音声データの特性を用いて所定シーンを抽出する方法を表した図である。動きベクトルを用いて所定シーン抽出する方法を表した図である。実施例１の事例を表した図である。実施例２の事例を表した図である。実施例３の事例を表した図である。ユーザーによる所定シーンの定義の設定を表したフローチャートである。

符号の説明

１０１チャンネル情報保持部
１０２チューナ
１０３マルチメディアデータ入力部
１０４蓄積部
１０８所定シーン事前通知効果付与部

Claims

少なくとも動画像データ及び音声データを有するマルチメディアデータの再生方法において、
前記動画像データの所定のシーンが表示画面に表示されるよりも前に、前記所定のシーンが表示され得ることをユーザに通知するために、前記通知する時から前記表示され得るまでの期間に応じてマルチメディアデータを蓄積部に蓄積する工程と、前記蓄積されたマルチメディアデータから前記所定のシーンを検出する工程と、
前記検出に基づいて前記通知を行う工程と、を有することを特徴とするマルチメディアデータ再生方法。
前記通知が行われる時から、前記表示されるまでの時間を選択することのできる工程を有することを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記表示画面は、親画面である第一の表示画面と子画面である第二の表示画面とを有する複数の表示画面を重畳して同時に表示するものであり、前記マルチメディアデータに基づいて表示される画面は前記第二の表示画面であることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記表示画面は、複数の表示画面を並べて同時に表示するものであり、前記マルチメディアデータに基づいて表示される画面は前記複数の表示画面のいずれか一つであることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記表示画面には、前記マルチメディアデータとは異なるマルチメディアデータに基づいて表示されている状態で、前記通知が行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記通知の後に前記表示画面に前記所定のシーンを表示にするか，或いは非表示にするかの選択をする工程を有することを特徴とする請求項５に記載のマルチメディアデータ再生方法。
前記所定のシーンの検出は、前記音声データの振幅の値に基づいて行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記所定のシーンの検出は、前記音声データの振幅の値と前記音声データの波形に基づいて行われることを特徴とする請求項７に記載のマルチメディアデータ再生方法。
前記所定のシーンの検出は、前記動画像データの動きベクトルに基づいて行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記マルチメディアデータには、字幕情報を有する文字データが含まれており、前記所定のシーン検出は、前記字幕情報に基づいて行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記通知は、前記表示画面の外枠を点滅させることにより行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記通知は、前記表示画面にメッセージを表示することにより行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。
前記通知は、効果音を発生することにより行われることを特徴とする請求項１に記載のマルチメディアデータ再生方法。