JP2009027430A

JP2009027430A - 動画再生装置

Info

Publication number: JP2009027430A
Application number: JP2007188205A
Authority: JP
Inventors: 志幾 ▲高▼林; Shiki Takabayashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-19
Filing date: 2007-07-19
Publication date: 2009-02-05
Also published as: US8627400B2; CN101350897A; US20090021642A1; CN101350897B

Abstract

【課題】メイン画面とサブ画面で同時にハイライトが発生した時に煩わしい画面を見ることがなく、使い勝手の良い動画再生装置を提供する。
【解決手段】メイン画面及びサブ画面のハイライトシーンを検出するメイン用ハイライト検出部７及びサブ用ハイライト検出部８、サブ画面のハイライトシーンの発生を通知する２画面合成部９を具備する。また、メイン画面とサブ画面のハイライトシーンが同時に発生していることを検出する制御回路を具備する。そして、メイン画面とサブ画面のハイライトシーンが同時に発生している場合には、視聴者にサブ画面のハイライトシーンの発生を通知しない。
【選択図】図１

Description

本発明は、メイン画面とサブ画面を重ねて複数の動画を同時に表示するピクチャーインピクチャー機能を有する動画再生装置に関するものである。

従来、複数の映像を表示する再生装置は、複数の映像のうち何れかをメイン画面に、これとは別の映像をサブ画面に表示して、２画面同時再生を実現している。これはピクチャーインピクチャー機能と呼ばれている。ピクチャーインピクチャー機能は、通常、サブ画面全体をメイン画面に収めるために、サブ画面を所定の大きさに縮小して所定の位置に配置している。

サブ画面が小さいのはその理由によるものだが、反面、サブ画面の映像においてハイライトシーンがあっても見逃す恐れがあった。その課題を防ぐためにサブ画面に対してハイライト検出方法を用い、ハイライトシーンがあった場合には、視聴者にシーンを見るように通知するシステムが提案されている。

例えば、特許文献１のものは、サブ画面の映像と共にある音声の音量やメタデータを基にしてハイライトシーンの検出を行い、音量が所定の閾値を超えるとハイライトシーンと認識する。そして、メイン画面上にハイライトシーンが発生していることを通知するマークを表示する。
特開２００６−３５２２０８号公報

特許文献１の方法では、サブ画面でハイライトシーンを検出した時、同時にメイン画面もハイライトシーンであったとしてもハイライトの通知が表示される。視聴者が最も見たい映像は当然、メイン画面の映像であるため、上記状況においてハイライトの通知は視聴者にとって不要であり、画像に余計な表示がなされるため煩わしかった。

本発明の目的は、メイン画面とサブ画面で同時にハイライトシーンがあった場合にはハイライトシーンの発生を通知しないことにより、視聴者は煩わしい画面を見ることがなく、使い勝手の良い動画再生装置を提供することにある。

本発明は、メイン画面及びサブ画面のハイライトシーンを検出する手段と、サブ画面のハイライトシーンの発生を通知する手段と、メイン画面とサブ画面のハイライトシーンが同時に発生していることを検出する手段とを具備する。そして、通知手段はメイン画面とサブ画面のハイライトシーンが同時に発生している場合には、当該サブ画面のハイライトシーンの発生を通知しないようにする。

本発明によれば、サブ画面でハイライトシーンを検出した時、同時にメイン画面もハイライトシーンであった場合には、サブ画面のハイライトシーンの発生を視聴者に通知しない。そのため、視聴者は煩わしいサブ画面のハイライトを知らせる画面を見ることなく、メイン画面を視聴することができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明に係る動画再生装置の第１の実施形態を示すブロック図である。なお、本実施形態では、ＤＶＤプレイヤー・レコーダー等の動画再生装置を例として説明する。

映像音声入力部1は、再生すべき映像・音声データを入力する。例えば、デジタル放送等の映像・音声データを入力する入力端子や映画等の映像・音声データを記録したＤＶＤ用の光学ドライブである。

ストリーム制御部２は映像音声入力部1に入力された映像・音声データを取り出し、外部からの指示に基づいて所定の処理を行う。例えば、視聴者からの映像の再生或いは早送り、巻き戻し、更には、ピクチャーインピクチャーの指示に従い、映像・音声データの処理を行う。

メイン映像デコーダ３及びメイン音声デコーダ４は視聴者がメイン画面と指定したデータを復号化する。同様にサブ映像デコーダ５及びサブ音声デコーダ６はサブ画面と指定したデータを復号化する。

メイン用ハイライト検出部７及びサブ用ハイライト検出部8は所定のハイライト検出方法に用いて、メイン画面及びサブ画面の映像・音声データからハイライトシーンを検出する。ハイライト検出方法には、次の方法が挙げられる。

（１）音量検出：音声データから音量を解析し、所定レベル以上の音量が所定期間以上検出された場合、ハイライトシーンと判断する（音声の音量に基づく検出方法）。例えば、スポーツ映像において観客の歓声やアナウンサの大声等を検出し、ハイライトシーンと判断する。

（２）音声検出：音声データから音声周波数を解析し、所定の音声周波数に類似する周波数が所定期間以上検出された場合、ハイライトシーンと判断する（音声の周波数特性に基づく検出方法）。例えば、音楽映像において歌手の高音や低音等を検出し、ハイライトシーンと判断する。

（３）動作検出：動画データから動作ベクトルを解析し、所定レベル以上の動作ベクトルの分布量や大きさが所定期間以上検出された場合、ハイライトシーンと判断する（映像の動きベクトル量に基づく検出方法）。例えば、スポーツ映像において選手の動作が通常よりも大きくなった部分等を検出し、ハイライトシーンと判断する。

（４）人数検出：動画データから人数を解析し、所定の人数以上が検出された場合、ハイライトのシーンと判断する（画面内の人数に基づく検出方法）。例えば、テレビ番組の冒頭等出演者が全員集合した部分等を検出し、ハイライトのシーンと判断する。

以上、主だったハイライト検出方法を挙げたが、本発明は以上のハイライト検出方法に限るものではない。

メイン映像デコーダ３及びメイン音声デコーダ４の出力は２画面合成部９に出力され、サブ映像デコーダ５及びサブ音声デコーダ６の出力も同様に２画面合成部９に出力される。２画面合成部9はメイン画面及びサブ画面の映像・音声データを所定の大きさにリサイズし、表示画面の所定位置にサブ画面を配置することで、２画面を合成し、ピクチャーインピクチャー再生を行う。

また、２画面合成部９はメイン用ハイライト検出部７及びサブ用ハイライト検出部８の結果に基づいて所定の画面処理を行う。所定の画面処理とは、サブ画面でハイライトシーンが検出された時に視聴者にサブ画面のハイライトシーンの発生を通知する画面処理をいう。所定の画面処理には次の方法がある。
（１）サブ画面の枠の輝度を増加する、もしくは枠を点滅する、或いは枠の色を所定の色に変化させる（つまりサブ画面の枠を強調する）。
（２）メイン画面の所定位置に所定のマークを表示する。
（３）サブ画面の画面サイズを拡大する。
（４）サブ画面の音量を大きくする。
（５）メイン画面とサブ画面を入れ替える。

このような方法にてサブ画面のハイライトを視聴者に通知する。以上、画面処理方法を挙げたが、本発明はこの画面処理に限るものではない。

出力部１０は図示しない表示装置への出力部であり、出力部１０を通じて表示装置に映像・音楽データを送信する。表示装置の表示画面でメイン画面とサブ画面を重ねて、複数の動画を同時に表示する。

図２（ａ）、図２（ｂ）はピクチャーインピクチャー再生を行うためのメニュー画面の説明図である。図２（ａ）の画面で視聴者はピクチャーインピクチャー再生を指示する。視聴者は記録されているコンテンツもしくは放送チャンネルから、どれをメイン画面、サブ画面にするかを選択する。図２（ａ）では既に記録された４つのコンテンツから「ワールドカップ」をメイン画面に指定している。

サブ画面には、放送チャンネルを指定している。即ち、視聴者は記録した「ワールドカップ」をメイン画面で、同時にリアルタイムで放送されている番組をサブ画面で視聴するように設定している。設定後、図２（ｂ）の画面に切り替わり、ハイライト検出を行う画面を設定する。

ここで、メイン画面とサブ画面が同時刻にハイライトシーンが発生した場合、上述の所定の画面処理をしないようにするには、視聴者はメイン画面、サブ画面ともにハイライト検出を行うように設定する。図２（ｂ）ではメイン画面、サブ画面ともにハイライト検出を行うように設定にしている。

図３は本実施形態の動作を説明するフローチャートである。図３において、スタートはピクチャーインピクチャー再生を開始した状態である。ステップＳ３０１でピクチャーインピクチャー再生が始まった時点から、メイン用ハイライト検出部７及びサブ用ハイライト検出部８はメイン画面とサブ画面に対してハイライト検出を開始する。検出結果は随時２画面合成部９に送信される。

次に、ステップＳ３０２で２画面合成部９はサブ画面がハイライトであるか否かの結果をサブ用ハイライト検出部8から受ける。ハイライトでない場合には、再度ステップＳ３０１に戻り、メイン画面、サブ画面のハイライト検出を引き続き行う。従って、ピクチャーインピクチャー再生はスタート時と変わらない画面である。

ステップＳ３０２でサブ画面がハイライトの場合、ステップＳ３０３に進む。ステップＳ３０３で２画面合成部９はメイン画面がハイライトであるか否かの結果をメイン用ハイライト検出部７から受ける。ここで、メイン画面がハイライトでない場合には、ステップＳ３０４に進み、２画面合成部９は上述のような所定の画面処理を行う。即ち、サブ画面でハイライトシーンが発生したことを通知する画面処理を行う。

一方、ステップＳ３０３でメイン画面がハイライトの場合には、再度ステップＳ３０１に戻り、メイン画面、サブ画面のハイライト検出を引き続き行う。即ち、メイン画面とサブ画面で同時にハイライトシーンが発生した場合には、上述のような所定の画面処理は行わない。その場合、図示しない制御回路はメイン用ハイライト検出部７、サブ用ハイライト検出部８からのハイライト検出結果に基づきメイン画面とサブ画面で同時にハイライトシーンが発生しているかを検出する。

本発明は、以上のようにメイン画面とサブ画面を重ねて、複数の動画を同時に表示する動画再生装置である。本発明は、メイン画面及びサブ画面のハイライトシーンを検出する手段と、サブ画面のハイライトシーンの発生を通知する手段と、メイン画面とサブ画面のハイライトシーンが同時に発生していることを検出する手段とを具備する。そして、通知手段は、メイン画面とサブ画面のハイライトシーンが同時に発生している場合には、当該サブ画面のハイライトシーンの発生を通知しない。

このようにメイン画面、サブ画面の両方でハイライト検出を行い、メイン画面とサブ画面で同時にハイライトが検出された場合には、サブ画面を見るように通知する所定の画面処理を行わない。そのため、視聴者は不要な通知に煩わされる事なく、メイン画面のハイライトを視聴することができる。

（第２の実施形態）
図４は本発明の第２の実施形態を示すブロック図である。図４では図１と同一部分には同一符号を付して説明を省略する。図１と異なるのは、ハイライト検出ライブラリ部１１とハイライト検出設定部１２を追加した点である。

ハイライト検出ライブラリ部１１には上述のようなハイライト検出方法が複数格納されている。ハイライト検出ライブラリ部１１はハイライト検出設定部１２で設定されたハイライト検出方法をメイン用ハイライト検出部７とサブ用ハイライト検出部８にそれぞれ送信する。メイン用ハイライト検出部７とサブ用ハイライト検出部8は送信されたハイライト検出方法を用いてハイライト検出を行う。

ハイライト検出設定部１２は視聴者がメイン用ハイライト検出部７とサブ用ハイライト検出部８の検出方法を設定するメニューの表示を行う。そのメニューで設定された指示をハイライト検出ライブラリ部１１に送信し、複数ある検出方法から使用する検出方法を選択する。

図５（ａ）、（ｂ）、（ｃ）はピクチャーインピクチャー再生を行うためのメニュー画面を説明する図である。図５（ａ）は図２（ａ）と同様の操作のため説明は省略する。図５（ｂ）の画面は図２（ｂ）と同様にハイライト検出を行う画面（メイン画面、サブ画面）を設定する。また、ハイライト検出方法を再生装置に予め設定されたハイライト検出方法を用いるか、視聴者が任意に決めたハイライト検出方法を用いるかを設定する。

即ち、図５（ｂ）の画面の右下に用意された項目がそれに当たり、「お任せ」は前者、「指定」は後者に対応する。視聴者が「お任せ」を選択した場合、ピクチャーインピクチャー機能の設定は図５（ｂ）で終了する。「指定」を選択した場合には、図５（ｃ）の画面に切り替わる。

図５（ｃ）の画面でメイン画面とサブ画面のハイライト検出方法を選択する。即ち、図５（ｃ）のウインドウにてハイライト検出ライブラリ部１１に格納されている検出方法から一つの方法を選択する。図５（ｃ）はメイン画面で音量検出、サブ画面で動き検出を選択した例を示す。

図５（ｃ）は一つの方法しか選択できないメニューであるが、選択するウインドウを複数設け、メイン画面、サブ画面に対してそれぞれ複数の検出方法を設定できるようにしても構わない。その場合、メイン画面とサブ画面でそれぞれ複数の検出方法でハイライトシーンを検出する。

本実施形態の動作は図３と同様であるので詳しい説明は省略する。本実施形態では、上述のように視聴者がサブ画面とメイン画面でハイライト検出方法を設定することが可能である。そのため、ユーザはメイン画面とサブ画面に対して、それぞれ適したハイライト検出方法を設定することができる。

例えば、スポーツ番組等には音量検出や動作検出等を設定し、音楽番組等には音声検出を設定するのが良い。また、メイン画面とサブ画面で同時にハイライトシーンが検出された場合には、サブ画面を見るように通知する所定の画面処理を行わないのは第１の実施形態と同様である。

このように本実施形態では、視聴者が複数のハイライト検出方法の中から任意に方法を選択した場合でも、第１の実施形態と同様の効果を得る。

（第３の実施形態）
図６は本発明の第３の実施形態を示すブロック図である。図６では第２の実施形態の図４と同一部分には同一符号を付して説明を省略する。図４との違いはハイライト重み設定部１３を追加した点である。本実施形態では、メイン画面とサブ画面に対して各々それぞれ複数の検出方法を設定し、各検出方法に対して重みを設定する。

ハイライト重み設定部１３は、ハイライト検出ライブラリ部１１に格納されている複数のハイライト検出方法に対して重み付けを設定するメニューの表示を行う。また、そのメニューで設定された指示をハイライト検出ライブラリ部１１に送信し、検出方法に重み付けを行う。

図７はハイライト重みを設定するメニュー画面の説明図である。図７のメニュー画面にはハイライト検出ライブラリ部１１に格納されている複数のハイライト検出方法が全て表示されている。そして、それぞれの検出方法に重み付けが出来る。重みとは重要度を意味するものである。

図７では複数の検出方法として「音量検出」、「動作検出」、「音声検出」、「人数検出」が表示されている。検出方法の右側にウインドウが用意され、重みは１から５まで設定できる。重み５は最重要度の重みであり、以下、重み４、３、２、１の順で重要度が下がるものとする。

ここで、例えば、メイン画面に対して音量検出と人数検出が設定され、サブ画面に対しては動作検出と音声検出が設定されたものとする。また、メイン画面の音量検出には重み４、人数検出には重み１が設定され、サブ画面の動作検出には重み５、音声検出には重み２が設定されたものとする。なお、メイン画面とサブ画面においてそれぞれ設定された複数の検出方法でハイライトシーンを検出する。

図８は本実施形態の動作を説明するフローチャートである。なお、ステップＳ８０１からステップＳ８０４までの処理は図３のＳ３０１からＳ３０４と同じ処理のため説明は省略する。ステップＳ８０３でメイン画面がハイライトの場合、ステップＳ８０５に進み、ハイライト重み設定部１３で設定されたサブ画面のハイライト検出方法の重みとメイン画面のハイライト検出方法の重みを比較する。

つまり、メイン画面とサブ画面で同時にハイライトが検出された場合には、メイン画面にてハイライトを検出した検出方法の重みとサブ画面にてハイライトを検出した検出方法の重みを比較する。その際、メイン用ハイライト検出部７とサブ用ハイライト検出部８からそれぞれハイライトを検出した検出方法の重みが図示しない制御回路に通知され、制御回路にて重みの比較を行う。

この時、サブ画面の検出方法の重みが大きい場合には、ステップＳ８０４に進み、２画面合成部９は上述のような所定の画面処理を行う。メイン画面の重みがサブ画面の重みと同等か大きい場合には、再度ステップＳ８０１に戻り、メイン画面、サブ画面のハイライト検出を引き続き行う。

ここで、サブ画面の重みがメイン画面の重みより大きいということは、メイン画面で、例えば、音量検出（重み４）にてハイライトが検出され（Ｓ８０３）、サブ画面では動作検出（重み５）にてハイライトが検出されたものである（Ｓ８０２）。つまり、ユーザはサブ画面の動作検出に最重要の重み５を設定し、その特徴である映像の動きベクトル量に基づく検出方法によってハイライトが検出された場合には、サブ画面におけるハイライトを通知するものである。

一方、サブ画面に設定されたもう１つの音声検出には重み２が設定されており、サブ画面で音声検出にてハイライトが検出された場合には、サブ画面におけるハイライトは通知しない。つまり、ユーザは音声検出に重要度を低く設定することによって音声検出にてハイライトが検出された場合には、サブ画面におけるハイライトの通知の頻度を抑えるようにするものである。

本実施形態では、サブ画面とメイン画面で最適なハイライトシーンを検出するため、複数の検出方法を任意に設定した場合、検出方法に重みを設定している。そうすることで、メイン画面とサブ画面で同時にハイライトが検出された場合、重みに応じてサブ画面におけるハイライトを通知するか通知しないかを任意に設定できる。

（第４の実施形態）
図９は本発明の第４の実施形態を示すブロック図である。図９では図１と同一部分には同一符号を付して説明を省略する。本実施形態では、メイン用ハイライト検出部７は不要のため構成に入っていない。また、ハイライト時間設定部１４とハイライト時間管理部１５を追加している。

ハイライト時間設定部１４は視聴者が事前に記録されているストリームに対してハイライトの開始時間と終了時間を設定するメニュー表示を行う。ここで設定されたハイライトの開始時間と終了時間をハイライト時間管理部１５に送信する。

ハイライト時間管理部１５は個々のストリームに設定されたハイライトの開始時間と終了時間を記録管理する。即ち、本実施形態のメイン画面のハイライトはハイライト時間管理部１５で管理された時間帯をハイライトとする。そして、メイン映像デコーダ３から再生されるコンテンツ情報を受けて、そのコンテンツに設定されたハイライト時間帯を選択する。選択したハイライト時間帯、つまり、ハイライトの開始時間と終了時間を２画面合成部９に送信する。

本実施形態の動作は図３と同様であり、サブ画面でハイライトシーンが発生した場合には、上述のようにサブ画面でハイライトシーンが発生したことを通知する所定の画面処理を行う。また、２画面合成部9は送信されたハイライト時間帯に基づいてメイン画面のハイライトの有無を判断し、サブ画面のハイライト検出と重なった場合には、第１の実施形態と同様に所定の画像処理を行わない。

本実施形態では、手動でメイン画面のハイライトの時間帯を設定するため、視聴者が確実にメイン画面で見たい場面を設定することが可能となる。また、メイン画面とサブ画面でハイライトシーンが同時に発生した場合には、同様にサブ画面を見るように通知する所定の画面処理は行わない。

本発明に係る動画再生装置の第１の実施形態を示すブロック図である。第１の実施形態の外部操作を説明する図である。第１の実施形態の動作を説明するフローチャートである。本発明の第２の実施形態を示すブロック図である。第２の実施形態の外部操作を説明する図である。本発明の第３の実施形態を示すブロック図である。第３の実施形態の外部操作を説明する図である。第３の実施形態の動作を説明するフローチャートである。本発明の第４の実施形態を示すブロック図である。

符号の説明

１映像音声入力部
２ストリーム制御部
３メイン映像デコーダ
４メイン音声デコーダ
５サブ映像デコーダ
６サブ音声デコーダ
７メイン用ハイライト検出部
８サブ用ハイライト検出部
９２画面合成部
１０出力部
１１ハイライト検出ライブラリ部
１２ハイライト検出設定部
１３ハイライト重み設定部
１４ハイライト時間設定部
１５ハイライト時間管理部

Claims

メイン画面とサブ画面を重ねて、複数の動画を同時に表示する動画再生装置において、
前記メイン画面及びサブ画面のハイライトシーンを検出する手段と、
前記サブ画面のハイライトシーンの発生を通知する手段と、
前記メイン画面とサブ画面のハイライトシーンが同時に発生していることを検出する手段とを備え、
前記通知手段は、前記メイン画面とサブ画面のハイライトシーンが同時に発生している場合には、当該サブ画面のハイライトシーンの発生を通知しないことを特徴とする動画再生装置。
前記メイン画面とサブ画面にそれぞれ複数の検出方法が設定され、且つ、前記メイン画面と前記サブ画面の前記複数の検出方法に重みが設定されており、前記メイン画面と前記サブ画面で同時にハイライトシーンが検出された場合には、前記メイン画面にてハイライトを検出した検出方法の重みと前記サブ画面にてハイライトを検出した検出方法との重みを比較し、前記サブ画面の重みが前記メイン画面の重みより大きい時に前記サブ画面のハイライトシーンの発生を通知することを特徴とする請求項１に記載の動画再生装置。
前記メイン画面とサブ画面のハイライトシーンを検出する手段は、音声の音量、音声の周波数特性、映像の動きベクトル量、又は画面内の人数に基づいて前記メイン画面とサブ画面のハイライトシーンを検出することを特徴とする請求項１又は２に記載の動画再生装置。
前記通知手段は、前記メイン画面上に所定のマークを表示する、前記サブ画面の枠を強調する、前記サブ画面の音量を大きくする、前記サブ画面を大きくする、又は前記メイン画面とサブ画面を入れ替えることによって、前記サブ画面におけるハイライトシーンの発生を通知することを特徴とする請求項１〜３のいずれか１項に記載の動画再生装置。
前記メイン画面のハイライトシーンは、予めハイライトシーンの開始から終了までの時間帯として設定されていることを特徴とする請求項１〜４のいずれか１項に記載の動画再生装置。