本発明例におけるマルチメディア再生システムは、静止画、動画、音楽、放送、ゲームなどの複数のコンテンツを再生または実行できる複合機器である。表示画面としてはテレビジョン受像機の画面を利用し、操作手段としては画面上の表示内容とコントローラの操作ボタンを用いる。もし複数のコンテンツをPC上で再生する場合、コンテンツの種類に応じたビューアなど個別のプログラムを用いる必要がある。これら個別のプログラムはそれぞれ異なるベンダーにより制作されたものであり、通常、共通したインタフェースを有しておらず、それぞれの操作方法に統一感はない。またこれらをいわゆるポータル画面のような共通インタフェースに統合したとしてもいわば寄せ集めにすぎず、また各プログラムの起動には少なからず時間を要するため、プログラム切替における操作の快適さは得られない。
本実施例に係るマルチメディア再生システムは、複数のコンテンツ再生を共通インタフェースの下に統合し、共通の操作性をユーザに与える。また、メニュー画面を三次元空間を有するものと仮想し、この三次元空間内にユーザが入り込んで操作をしているような世界観を与える直感的なユーザインタフェースを提供することにより、ユーザのコンテンツ世界への没入感を向上させる。
図1は、マルチメディア再生システムの基本的な構成を示す。マルチメディア再生システム10は、マルチメディア再生装置20を中心に機能する。マルチメディア再生装置20には、テレビジョン受像機30とコントローラ42が接続される。テレビジョン受像機30は、マルチメディア再生装置20から出力される映像や音声を表示または出力する機能を有し、マルチメディア再生装置20に外部接続される。コントローラ42は、ユーザによって操作されることによりコンテンツ再生に関する各種の指示を取得する装置であり、マルチメディア再生システム10の一部として機能する。このコントローラ42は、図示するようなゲーム用のコントローラで実現してもよいし、マルチメディア再生装置20がもつ各種機能の制御に用いられるリモートコントローラで実現してもよい。
マルチメディア再生装置20には、各種記録媒体や各種ケーブルを通じて情報が入力される。例えば、LAN35に接続された外部機器37、39に保持されるコンテンツがネットワークケーブル34を介してマルチメディア再生装置20に入力される。入力されたコンテンツは、マルチメディア再生装置20に保存またはバッファされた後に再生される。
マルチメディア再生装置20は、DVDやCDなどの光ディスク36に対するデータの読取機能および書込機能と、着脱可能なメモリカード38に対するデータの読出機能および書込機能と、を有する。マルチメディア再生装置20は、光ディスク36からは映画や音楽アルバムなどのデータを読み出してもよいし、メモリカード38からは撮影画像や撮影映像などのデータを読み出してもよい。
マルチメディア再生装置20は、テレビジョン受像機30にコンテンツ再生指示のためのメニュー画面を表示させる。そのメニュー画面において、マルチメディア再生装置20に保持されるコンテンツの項目と、外部機器37、39に保持されるコンテンツの項目が表示され、ユーザの指示に基づいて各コンテンツをマルチメディア再生装置20により再生することができる。
図2は、マルチメディア再生装置の構成を示す機能ブロック図である。マルチメディア再生装置20は、操作部40、入出力部44、表示出力部46、表示制御部48、格納部80、およびゲーム実行部82を含む。マルチメディア再生装置20は、ハードウエア的には、CPU、ハードディスク、RAM、ROM、描画回路などの構成で実現でき、ソフトウエア的にはデータ入力機能、データ保持機能、画像処理機能、描画機能などの諸機能を発揮するプログラムで実現されるが、図2ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによって様々な形で実現できる。
操作部40は、上、下、左、右の4方向のいずれかに関する指示をユーザによるコントローラ42の操作を介して取得する方向決定部92と、コンテンツの再生、再生停止、メニュー画面呼び出しなどの指示をユーザによるコントローラ42の操作を介して取得する指示決定部94と、方向決定部92および指示決定部94が取得した指示に基づいて入出力部44、表示出力部46、表示制御部48、ゲーム実行部82の各部を制御する操作制御部95と、を含む。
入出力部44は、外部機器に保持されたコンテンツの入力や各種データの出力をネットワークケーブル34を介して処理するネットワーク制御部86、光ディスク36に格納されたデータの入力や光ディスク36へのデータ書込を制御するディスク制御部88、およびメモリカード38との間でデータを入出力するメモリカード制御部90を含む。ネットワーク制御部86は、LAN35に接続された外部機器を検出する。ネットワーク制御部86、ディスク制御部88、メモリカード制御部90は、外部機器37、39、光ディスク36、メモリカード38に保持されるコンテンツの項目名、コンテンツ項目に対応するアイコンのデータ、データサイズなどの各情報を取得して格納部80へ保存する。入出力部44を構成する各部を介して入力されたデータは、表示出力部46、表示制御部48、格納部80、およびゲーム実行部82へ送られる。
格納部80には、ネットワークケーブル34を介して入力された外部機器37、39のコンテンツ、光ディスク36から読み込まれた音楽や映画などのコンテンツ、メモリカード38から読み込まれた静止画や動画などのコンテンツが格納される。格納部80には、再生機能の種類を象徴する複数の機能アイコンのデータと、表示出力部46により再生されるコンテンツやゲーム実行部82により実行されるコンテンツと、格納部80に格納された各コンテンツの項目を象徴する複数のコンテンツアイコンのデータと、コンテンツの表示単位を象徴する半透明のフォルダアイコンのデータがさらに格納される。また、外部機器37、39、光ディスク36、メモリカード38に格納されたコンテンツの項目を象徴するコンテンツアイコンがネットワーク制御部86、ディスク制御部88、メモリカード制御部90により外部機器37、39、光ディスク36、メモリカード38から取得され、格納部80に保存される。これら機能アイコン、コンテンツアイコンおよびフォルダアイコンは、メニュー画面への項目表示に用いられる。
機能アイコン、コンテンツアイコン、フォルダアイコンは、ビットマップ画像などの未圧縮画像やJPEGなどの圧縮画像であってもよいし、ポリゴンにテクスチャを貼り付けて構成されたオブジェクトであってもよい。後者の場合、Z値を操作することによって画面内の仮想的な三次元空間における画面垂直軸方向の位置を変えることができる。
表示出力部46は、コンテンツの符号化データを復号して再生する再生画面生成部96、テレビジョン受像機30へ出力する再生データをその出力前に一時蓄積する出力バッファ100、テレビジョン受像機30へ出力するオンスクリーンディスプレイ表示用の画像データを出力前に一時蓄積するオンスクリーンバッファ102、および再生データと画像データを合成する合成処理部98を含む。
再生画面生成部96は、操作部40が取得したユーザの指示に基づき、入出力部44または格納部80から受け取る映画、音楽などの符号化されたコンテンツデータを復号して出力バッファ100へ格納する。オンスクリーンバッファ102には、例えば表示制御部48で生成されたメニュー画面と背景画面の画像データがオンスクリーン表示用の画像データとして格納される。合成処理部98は、出力バッファ100に格納された再生データとオンスクリーンバッファ102に格納されたメニュー画面および背景画像の画像データとを合成し、これをアナログ信号に変換してテレビジョン受像機30へ出力する。
表示制御部48は、再生機能の種類と各再生機能に対応するコンテンツの項目をメニュー項目として管理するメニュー管理部104、各コンテンツの再生または実行を制御するコンテンツ制御部106、メニュー画面におけるアイコンの動作を処理するエフェクト処理部108、メニュー画面の画像データを生成するメニュー画面生成部110、およびメニュー画面や再生画面の背景に表示する背景画像を生成する背景生成部112を含む。
メニュー管理部104は、格納部80に保存されたコンテンツの項目と入出力部44経由で入力されるコンテンツの項目を記憶するとともに、現在選択中の再生機能およびコンテンツを記憶する。ここでいう再生機能には、例えば静止画再生機能、音楽再生機能、動画再生機能、放送表示機能、ゲーム実行機能があり、さらに各種設定機能とネットワーク装置選択機能も含まれる。また、メニュー管理部104は、コンテンツの項目を、コンテンツ再生機能の種類と複数のフォルダアイコンに関連づけする作業をする。コンテンツ制御部106は、操作部40が取得したユーザの指示に基づき、再生機能の切替、コンテンツの再生開始および停止、入出力部44によるデータ入力、格納部80からのデータ読み出し、ゲーム実行部82による処理を制御する。
メニュー画面生成部110は、複数の機能アイコンが水平方向に並んだ配列と、複数のフォルダアイコンが垂直方向に並んだ配列で構成されるメニュー画面を生成する。これら二つの配列は画面中央近傍で交差して十字配列を形成する。メニュー画面生成部110は、十字配列の交差位置およびその近傍に表示される機能アイコンとフォルダアイコンを他のアイコンと外観上区別できるよう強調表示する。さらに、メニュー画面生成部110は、複数のフォルダアイコンそれぞれについて、関連するコンテンツを象徴するコンテンツアイコンのひとつをフォルダ貼付画像として格納部80から取得し、フォルダ貼付画像がフォルダアイコンに内包されるようにフォルダ貼付画像とフォルダアイコンとを重畳表示する。
エフェクト処理部108は、機能アイコン、フォルダアイコン、コンテンツアイコンの配列のスクロール表示、注目する機能アイコン、フォルダアイコンおよびコンテンツアイコンの強調表示を処理する。アイコンの強調表示は、例えば他のアイコンと異なる色彩による表示とその変化、アイコンの拡大表示とその状態へ遷移する動きなど、他のアイコンと異なる形式により表現される。背景生成部112は、メニュー画面と再生画面の背景として、画面内に構成される仮想的な三次元空間内で変形する装飾オブジェクトが描画された背景画像を生成する。
ゲーム実行部82は、ディスク制御部88によって光ディスク36から読み出されるゲームプログラムまたは格納部80から読み出されるゲームプログラムを実行する。ゲーム実行部82は、操作部40により取得されるユーザの指示に基づいてゲームプログラムの動作を処理するとともに、ゲームの映像および音声を表示出力部46へ送る。
図3は、マルチメディア再生装置20により生成されるメニュー画面の構成を示す。メニュー画面50において、水平方向に複数の機能アイコンが並んだ機能アイコン配列70と、垂直方向に複数のフォルダアイコン120およびフォルダ貼付画像122が並んだフォルダアイコン配列72とが交差する二次元配列が表示される。機能アイコン配列70には、マルチメディア再生装置20の再生機能の種類を象徴するマークとして、写真アイコン52、音楽アイコン54、動画アイコン56、ゲームアイコン62、設定アイコン60が含まれる。フォルダアイコン配列72には、格納部80に格納された複数のコンテンツを所定の表示単位に分別してメニュー画面に表示するためのフォルダアイコンが含まれる。機能アイコン配列70およびフォルダアイコン配列72で構成されるメニュー画面はオンスクリーン表示であり、コンテンツ映像の前面に重ね合わされて表示される。背景領域160に現在再生中のコンテンツ映像が表示される場合、エフェクト処理部108は機能アイコン配列70とフォルダアイコン配列72の領域全体に、背景画像との外観上の区別を容易にするための彩色を施してもよく、またコンテンツ映像の明るさを調整するなどの方法により外観上の区別を容易にしてもよい。
フォルダアイコン120は、現実世界のCDやDVDなどの半透明のケースを表現したテクスチャデータであり、フォルダ貼付画像122は、例えばフォルダアイコンに関連するコンテンツのコンテンツアイコンのうち、名前順にソートしたときに一番先頭にあるものである。ユーザがコンテンツアイコンの中からフォルダ貼付画像として表示するものを選択できるようにしてもよい。コンテンツアイコンは、例えばケースに添付されるジャケット画像のサムネイルである。
機能アイコン配列70とフォルダアイコン配列72が交差する領域(交差領域76)に位置する機能アイコンは、図示するように他の機能アイコンと異なる色彩にて拡大表示される。交差領域76は、メニュー画面50の所定位置に据え置かれ、操作部40を介したユーザの左右方向の指示に応じて機能アイコン配列70全体が左右方向に移動し、交差領域76に位置した機能アイコンの色彩とアイコンサイズが変化する。したがって、ユーザは左右の方向指示をするだけで所望の再生機能を選択でき、PC上で通常行われるマウスのクリック操作のような決定指示は不要である。
エフェクト処理部108は、機能アイコンの左右方向の移動を、機能アイコン配列70の領域全体を左右方向にスクロールすることによって実現する。エフェクト処理部108は、各機能アイコンを左右に移動させる間はこれらを同色、同サイズで表示するが、交差領域76に位置する機能アイコンだけその色彩とサイズを変化させる。エフェクト処理部108は、色彩の変化として、機能アイコンの明度、彩度、色相などの要素を変化させてもよいし、点滅表示することにより色彩を変化させてもよい。このように、交差領域76に位置する機能アイコンをその他の機能アイコンと異なる表示態様で表示するため、ユーザは容易にメディアを選択できる。
エフェクト処理部108は、機能アイコンが左右方向へ移動中であって交差領域76にいずれの機能アイコンも位置していないときにはフォルダアイコン配列72を表示させない。エフェクト処理部108は、いずれかの機能アイコンが交差領域76で位置したときに、フォルダアイコン配列72を交差領域76から上下方向に繰り出すように展開表示するか、または展開済みのフォルダアイコン配列72をメニュー画面50にフェードインさせてもよい。このフェードインは、展開させた状態のフォルダアイコン配列72のアイコンにブラーをかけた不明瞭な画像を、次第に明瞭にさせていく。つまり、アイコンに適用するフィルタの強度を時間経過に応じて徐々に減少させていく。または、フォルダアイコンとフォルダ添付画像が、ポリゴンにテクスチャを貼り付けて構成されたオブジェクトである場合は、ポリゴンのZ値を初期値から次第に大きくまたは小さくすることによって、展開させた状態のフォルダアイコン配列72が画面垂直軸の手前または奧の方向からメニュー画面が定義されているレベルまで下降または上昇していくような表示をしてもよい。または、テクスチャのα値を初期値から次第に大きくしていくことによって、展開させた状態のフォルダアイコン配列72が透明な状態から徐々に不透明になっていくような表示をしてもよい。さらには、画面の右端や左端から展開させた状態のフォルダアイコン配列72が交差領域76まで移動してくるような表示をしてもよい。上記の表示態様を複数組み合わせてもよい。
ユーザは、交差領域76を目標地点にして機能アイコンを左右にスクロール操作するだけでその再生機能に対応するコンテンツを認識することができる。逆に、フォルダアイコン配列72が表示された状態で左右方向の指示があった場合、エフェクト処理部108は展開されていたフォルダアイコン配列72を交差領域76に向かって収納するような動きで表示するか、または展開されたフォルダアイコン配列72をメニュー画面50からフェードアウトさせる。フェードアウトの方法は、フェードインの場合と同様である。
メニュー画面50の中央近傍に位置する注目領域77は、ユーザによる操作の対象となるアイコンが表示されるべき領域である。メニュー画面生成部110は、この注目領域77の近傍位置、すなわち注目領域77の直上に交差領域76が位置するように機能アイコン配列70を表示する。注目領域77はフォルダアイコン配列72の一部を構成する。
操作部40がユーザによる上下方向の指示を取得する間は、その指示に応じて各フォルダアイコン120およびフォルダ貼付画像122が上下方向に移動する。エフェクト処理部108は、フォルダアイコン120およびフォルダ貼付画像122の上下方向の移動を、フォルダアイコン配列72の領域全体を上下方向にスクロールさせることにより実現する。
エフェクト処理部108は、各フォルダアイコン120およびフォルダ貼付画像122を上下に移動させる間はこれらを同サイズで表示するが、注目領域77に位置するフォルダアイコンとフォルダ貼付画像122だけは注目アイコンとしてサイズを拡大させる。エフェクト処理部108は、注目アイコンの明度、彩度、色相などの要素をさらに変化させてもよいし、点滅表示してもよい。その他のフォルダアイコン120およびフォルダ貼付画像122は、注目アイコンより小さいサイズで表示される。注目領域77の近傍位置、すなわち右方には、フォルダアイコン120のビューに関するフォルダ情報74が表示される。
メニュー画面生成部110は、機能アイコン配列70をメニュー画面50の垂直方向における中央よりやや上方に表示するとともに、フォルダアイコン配列72をメニュー画面50の水平方向における中央よりやや左方に表示する。
写真アイコン52は、静止画再生機能を象徴し、静止画を再生する場合に選択されるべきアイコンである。再生の対象となる画像は、主にディジタルカメラで撮影された静止画であり、例えばメモリカード38から読み込まれる。写真アイコン52が交差領域76に位置したときに展開表示されるフォルダ貼付画像122は、例えば静止画のサムネイルである。フォルダ貼付画像として用いる適当な画像が存在しない場合は、写真アイコン52をフォルダ貼付画像の代わりに使用してもよい。フォルダ情報74として静止画を撮影した月、年、アルバム、50音順、すべての写真といったビュー情報や静止画の枚数が表示され、コンテンツ情報として撮影日やファイルサイズなどの撮影情報が表示される。
音楽アイコン54は、音楽再生機能を象徴し、音楽データを再生する場合に選択されるべきアイコンである。再生の対象となる音楽データは、例えば光ディスク36から読み込まれたデータが特定の圧縮形式で符号化されて生成される。音楽アイコン54が交差領域76に位置したときに展開表示されるフォルダ貼付画像122は、例えばベンダーにより音楽データとともに配布される楽曲のジャケット画像のサムネイルや、音楽データの一部から所定の処理にしたがって生成されるビジュアルエフェクト画像のサムネイルなどである。フォルダ貼付画像として用いる適当な画像が存在しない場合は、音楽アイコン54をフォルダ貼付画像の代わりに使用してもよい。フォルダ情報74としてジャンル、アルバム、アーティスト、収録年、50音順、すべての音楽といったビュー情報や音楽データの数が表示され、コンテンツ情報として楽曲名、アルバムタイトル、再生時間などの情報が表示される。
動画アイコン56は、動画再生機能を象徴し、動画像を再生する場合に選択されるべきアイコンである。再生の対象となる動画像は、ディジタルビデオカメラで撮影された録画映像、光ディスク36や外部機器から読み出された映像であり、特定の圧縮形式で符号化されている。動画アイコン56が交差領域76に位置したときに展開表示されるフォルダ貼付画像122は、例えばベンダーにより動画像とともに配布されるジャケット画像のサムネイルや、動画像を構成する任意のフレームのサムネイルなどである。サムネイルは動画像であってもよい。フォルダ貼付画像として用いる適当な画像が存在しない場合は、動画アイコン56をフォルダ貼付画像の代わりに使用してもよい。フォルダ情報74としてジャンル、アーティスト、動画像を撮影した月、年、50音順、すべての映像といったビュー情報や動画像の数が表示され、コンテンツ情報として動画像名、記録日、再生時間などの情報が表示される。
ゲームアイコン62は、ゲーム実行機能を象徴し、ゲームプログラムを実行する場合に選択されるべきアイコンである。実行の対象は、格納部80に格納されたゲームプログラムまたは光ディスク36から読み込まれたゲームプログラムである。ゲームアイコン62が交差領域76に位置したときに展開表示されるフォルダ貼付画像122は、例えばベンダーによりゲームプログラムとともに配布されるジャケット画像のサムネイル、ゲームプログラムを象徴するアイコン、ゲーム内で提供される動画像を構成する任意のフレームのサムネイル、ゲームキャラクタ画像のサムネイルなどである。サムネイルは動画像であってもよい。フォルダ貼付画像として用いる適当な画像が存在しない場合は、ゲームアイコン62をフォルダ貼付画像の代わりに使用してもよい。フォルダ情報74としてジャンル、50音順、すべてのプログラムといったビュー情報やプログラムの数が表示され、コンテンツ情報としてゲームプログラムのタイトル、プログラムのインストール日などの情報が表示される。
設定アイコン60は、各種設定機能を象徴し、マルチメディア再生装置20の各種設定を変更する場合に選択されるべきアイコンである。
メニュー画面の背景には、背景生成部112により生成された背景画像を背景領域160に表示する。背景生成部112は、画面内の仮想的な三次元空間内で所定の法則にしたがって変形する装飾オブジェクト162と、それ以外の部分である背景オブジェクトとを重ね合わせてひとつの背景画像を生成する。背景生成部112は、装飾オブジェクト162を使用せずに所定の条件にしたがって変化する背景画像を生成してもよい。
図4は、メニュー画面50の内容が遷移する状態を模式的に示す。図3の状態から、操作部40がユーザによる選択指示を取得すると、エフェクト処理部108は、注目領域77にあるフォルダアイコン120から、その内部に重畳表示されているフォルダ貼付画像122を、フォルダアイコン配列72と交差する方向に引き出すように動作させる。図4では、フォルダ貼付画像122は右方向に引き出されている。エフェクト処理部108は、フォルダ貼付画像122を右方向に移動させて表示する一方で、機能アイコン配列70とフォルダアイコン配列72とを、両者の交差を維持した状態でわずかに左方向に移動させる。フォルダ貼付画像のみを右方向に移動させて、機能アイコン配列70とフォルダアイコン配列72は移動させないようにしてもよい。
図5は、図3からのメニュー画面50の遷移の続きであり、ユーザによるフォルダアイコン120の選択指示の結果を示す。図5に示すように、機能アイコン配列70が左方向に移動したために、設定アイコン60の一部がメニュー画面50に表示されなくなっている。また、注目領域77もメニュー画面50の中心から左方向に遠ざかって表示されている。フォルダアイコン120から引き出されたフォルダ貼付画像122は、注目領域77の右側に位置する。この位置は、新たに第2注目領域79となる。
フォルダアイコン配列72の右側には、コンテンツアイコン配列78が配置される。注目領域77のフォルダアイコン120に関連づけされているコンテンツ項目を象徴するコンテンツアイコン124が、格納部80から取得されてメニュー画面50に表示される。コンテンツアイコン配列78は、フォルダ貼付画像122が右方向に引き出された後に、第2注目領域79の位置から上下方向に繰り出すように展開表示されてもよいが、フォルダアイコン配列72と平行に展開済みのコンテンツアイコン配列78を、フォルダ貼付画像122の右方向への移動とともにフェードインするように表示させるほうが好ましい。後者であれば、コンテンツアイコン配列78が表示されるまでの時間を短縮することができる。また、メニュー画面50に生じる動きが少ないためユーザの注意を引きにくく、ユーザの注意を第2注目領域79に集めやすくなる。
フェードインは、上下方向に展開させた状態のコンテンツアイコン配列78のアイコンにブラーをかけた不明瞭な画像を、次第に明瞭にさせていく。つまり、アイコンに適用するフィルタの強度を時間経過に応じて徐々に減少させていく。または、コンテンツアイコンがポリゴンにテクスチャを貼り付けて構成されたオブジェクトである場合は、ポリゴンのZ値を初期値から次第に大きくまたは小さくすることによって、展開させた状態のコンテンツアイコン配列78が画面垂直軸の手前または奧の方向からメニュー画面が定義されているレベルまで下降または上昇していくような表示をしてもよい。または、テクスチャのα値を初期値から次第に大きくしていくことによって、展開させた状態のコンテンツアイコン配列78が透明な状態から徐々に不透明になっていくような表示をしてもよい。さらには、画面の右端や左端から展開させた状態のコンテンツアイコン配列78がフォルダアイコン配列72の右側まで移動してくるような表示をしてもよい。上記の表示態様を複数組み合わせてもよい。
図5の段階では、フォルダアイコン120から引き出されたフォルダ貼付画像122は、コンテンツアイコン124のひとつとして表される。フォルダ貼付画像122は、もともとフォルダアイコン120に関連づけられたコンテンツのコンテンツアイコンから選択されたものだからである。コンテンツアイコン配列78においていずれかのコンテンツアイコン124を選択すると、対応するコンテンツ項目が再生される。
第2注目領域79に位置するコンテンツアイコン124も、注目領域77と同じように、エフェクト処理部108により強調表示される。操作部40がユーザによる上下方向指示を取得すると、エフェクト処理部108によってコンテンツアイコン配列78が上下に移動し、第2注目領域79に入ったコンテンツアイコン124が強調表示される。さらに、コンテンツアイコン124の右側には、対応するコンテンツの項目に関する情報140として、例えば曲名や演奏時間が表示される。
ユーザの選択指示に応じてフォルダアイコン120からフォルダ貼付画像122が引き出された後、またはその間に、エフェクト処理部108は、機能アイコン配列70およびフォルダアイコン配列72に含まれる機能アイコン52〜62、ユーザにより選択されたフォルダアイコン以外のフォルダアイコン120、およびフォルダアイコン120と重畳表示されているフォルダ貼付画像122に対して、画像を目立たなくする処理効果を与える所定のフィルタを適用して得られた画像を、フォルダアイコン選択前のアイコンまたは画像の代わりに表示させることが好ましい。このフィルタは、例えば画像サイズを縮小する効果、画素の輝度値を小さくして表示を薄くする効果、ブラーをかけてアンフォーカスさせる効果などを与えるものであり、これらを組み合わせて用いてもよい。フィルタを適用する代わりに、対象となる機能アイコン、フォルダアイコン、およびフォルダ貼付画像が、ポリゴンにテクスチャを貼り付けて構成されたオブジェクトである場合は、テクスチャのα値を小さくして半透明状態にしたり、Z値を操作してオブジェクトを画面垂直軸の奥方向に移動させたりしてもよい。
画像を目立たなくするフィルタを適用する際、対象となる機能アイコン、フォルダアイコン、およびフォルダ貼付画像に対してそれぞれフィルタを適用して得られた画像を、フィルタ適用前の画像と置換することによって、フォルダアイコン選択後のメニュー画面を生成してもよい。または、フォルダアイコン選択前にメニュー画面生成部110により生成されたメニュー画面50全体に対して画像を目立たなくするフィルタを適用して得られたものを、フォルダアイコン選択後のメニュー画面として使用してもよい。
図5の例では、機能アイコン配列70とフォルダアイコン配列72に含まれるアイコンおよびフォルダ貼付画像は、注目領域77のフォルダアイコン120以外は、フォルダ選択前である図4のものよりもサイズが小さく、かつ薄く表示されている。このような表示をすることによって、現時点でユーザにより選択されておらず、さしあたってユーザにより注目される必要のないアイコンを目立たなくさせることができ、したがってユーザの注目を第2注目領域79に集中させることができる。なお、交差領域76に位置する機能アイコン(図4では音楽アイコン54)が現在選択中であることを示すため、フォルダアイコン選択の前後でサイズを変更しないようにしてもよい。または、交差領域76に位置する機能アイコンと、注目領域77に位置するフォルダアイコンとを、フォルダアイコンが選択されたときに他のアイコンとともにサイズを縮小して表示してもよい。
また、このようにユーザによる選択指示がなされるときに、選択されたもの以外のアイコンを小さくかつアンフォーカスして表示することで、選択されたアイコン以外のアイコンが、ユーザの視点から見て画面垂直軸の奥側に移動するような視覚的効果を得ることができる。こうすることで、メニュー画面50内に仮想的に構成された三次元空間内でメニュー操作をしているような感覚をユーザに与えることができ、ユーザの没入感を高めることができる。
第2注目領域79に表示されたコンテンツアイコン124に対応するコンテンツの再生決定を操作部40が取得すると、メニュー画面生成部110はメニュー画面の画像データを非表示にし、コンテンツ制御部106は選択されたコンテンツの再生を開始制御する。
図6は、コンテンツ項目を選択したときの画面の遷移を模式的に示す図である。背景生成部112は、メニュー画面50からコンテンツ再生画面51へと遷移するとき、機能アイコン配列70、フォルダアイコン配列72、コンテンツアイコン配列78を非表示とするが、メニュー画面50で既に表示されていた装飾オブジェクト162についてはそのままコンテンツ再生画面51でも表示し続ける。これによって、メニュー画面とコンテンツ再生画面との間でシームレスに連続するさまを表現できる。したがって、ユーザは両画面の間の断絶を看取しにくくなり、再生されるコンテンツ項目に集中しやすくなる。背景生成部112は、選択されたコンテンツ項目のコンテンツアイコン124をコンテンツ再生画面51の左下隅に表示し、その右側には、選択されたコンテンツ項目の情報146を表示する。コンテンツの再生が開始されると、背景生成部112は、再生中のコンテンツの出力特徴量などから得られるパラメータにしたがって、装飾オブジェクト162を背景領域160で動作させる。
操作部40がユーザによるコンテンツの再生決定を取得したとき、背景生成部112は、メニュー画面50からコンテンツ再生画面51へと遷移する際に、ユーザの視点から見て三次元空間の奥に入り込むような視覚的効果または手前側に戻るような視覚的効果が得られる映像を用いて背景画像を変化させる。例えば、装飾オブジェクト162の制御パラメータに係数を乗じることによってサイズを変更させたり、背景画面が奥行方向に沈んだりまたは手前に盛り上がるような動きをさせる。こうすることで、ユーザが仮想的な三次元空間内を奧または手前側に移動するような世界観を与えて、ユーザがコンテンツの内容に没頭しやすくする。
また、背景生成部112は、ユーザが再生を決定したコンテンツの項目に対応するコンテンツアイコン124の色調を抽出し、その色調と同系統の色調となるように背景画像を構成する装飾オブジェクト162または背景オブジェクトの色彩を調整してもよい。コンテンツ毎の色調が背景画像に反映されるため、特に動画コンテンツのフレームのサムネイルをコンテンツアイコンに利用していた場合などに、メニュー画面50が表示されているときの画面の雰囲気とコンテンツ再生画面51の雰囲気との連続性を出すことができる。したがって、メニュー画面からコンテンツ再生画面への切り替えがあっても、ユーザがコンテンツの内容に没頭しやすくなる。
さらに、背景生成部112は、操作部40によりユーザからの再生指示が取得されたとき、背景画像を構成する装飾オブジェクト162または背景オブジェクトの色調を遷移させてもよい。
背景生成部112は、コンテンツの再生中にそのコンテンツの出力特徴量や、ユーザによるコントローラ42のボタン操作に応じて装飾オブジェクト162を変形させてもよい。例えば、音楽コンテンツや動画コンテンツを再生する場合は、音声データのスペクトルをパラメータとして装飾オブジェクト162を変形させる。または、ユーザによる決定、キャンセル、移動などのボタン操作に応じて装飾オブジェクト162の制御パラメータを変化させてもよい。このように、メニュー画面とコンテンツ再生画面とで同じ装飾オブジェクトを用いることで、両者の世界観に連続性をもたせることができる。これにより、メニュー画面からコンテンツ再生画面への切り替えがあっても、ユーザがコンテンツの内容に没頭しやすくなる。
コンテンツ再生中に、操作部40によりユーザからの操作パネル表示指示が取得されると、再生画面生成部96は、コンテンツの再生、停止、一時停止、早送り、巻き戻しなどを操作するための操作パネル画像148を、コンテンツ再生画面51にフェードインさせる(図7参照)。フェードインの際に用いる手法は上述したのと同様である。このときも、装飾オブジェクト162は制御パラメータにしたがって動作を続ける。
コンテンツ再生中に、ユーザが操作部40を介してメニュー画面の呼び出しを指示すると、コンテンツ再生中の画面にメニュー画面が重ね合わされて表示される。ここで表示されるメニュー画面には、コンテンツが再生決定されたときの状態が再現される。
図8は、ユーザの指示に応じてオプションメニューを表示させた状態を模式的に示す。操作部40によりユーザからのオプションメニュー表示の指示が取得されると、メニュー画面生成部110はオプションメニュー142を生成する。エフェクト処理部108は、オプションメニュー142をメニュー画面50にフェードインするように表示する。フェードインは、上下方向に項目を配置したオプションメニュー142の画像にブラーをかけた不明瞭な画像を、次第に明瞭にさせていく。つまり、画像に適用するフィルタの強度を時間経過に応じて徐々に減少させていく。または、オプションメニュー142がポリゴンにテクスチャを貼り付けて構成されたオブジェクトである場合は、ポリゴンのZ値を初期値から次第に大きくまたは小さくすることによって、オプションメニュー142が画面垂直軸の手前または奧の方向からメニュー画面が定義されているレベルまで下降または上昇していくような表示をしてもよい。または、テクスチャのα値を初期値から次第に大きくしていくことによって、オプションメニュー142が透明な状態から徐々に不透明になっていくような表示をしてもよい。さらには、画面の右端や左端からオプションメニュー142がフォルダアイコン配列72の右側まで移動してくるような表示をしてもよい。上記の表示態様を複数組み合わせてもよい。
このとき、エフェクト処理部108は、機能アイコン配列70、フォルダアイコン配列72、およびコンテンツアイコン配列78に含まれるアイコンに対し、画像を目立たなくする処理効果を与える所定のフィルタを適用して得られた画像を、オプションメニュー142の表示前のアイコンまたは画像の代わりに表示させる。このフィルタは、例えば画像サイズを縮小する効果、画素の輝度値を小さくして表示を薄くする効果、ブラーをかけてアンフォーカスさせる効果などを与えるものであり、これらを組み合わせて用いてもよい。フィルタを適用する代わりに、対象となる機能アイコン、フォルダアイコン、およびフォルダ貼付画像が、ポリゴンにテクスチャを貼り付けて構成されたオブジェクトである場合は、テクスチャのα値を小さくして半透明状態にしたり、Z値を操作してオブジェクトを画面垂直軸の奥方向に移動させたりしてもよい。
オプションメニュー142において表示される項目のうち、ユーザによるいずれかの選択指示が操作部40により取得されると、メニュー画面生成部110は第2オプションメニュー144を生成する。エフェクト処理部108は、第2オプションメニュー144を、ブラーのかけられた状態から徐々に明瞭になるようにして、メニュー画面50にフェードインするようにしてオプションメニュー142の右側に表示する。このとき、エフェクト処理部108は、機能アイコン配列70、フォルダアイコン配列72、およびコンテンツアイコン配列78に含まれるアイコンに対し、画像を目立たなくする処理効果を与える所定のフィルタを適用して得られた画像を、第2オプションメニュー144の表示前のアイコンまたは画像の代わりに表示させる。
オプションメニュー142および第2オプションメニュー144はオンスクリーン表示であり、コンテンツ映像や背景画像の前面に重ね合わされて表示される。エフェクト処理部108は、オプションメニュー142および第2オプションメニュー144の領域全体に、背景画像との外観上の区別を容易にするための彩色を施してもよく、またコンテンツ映像の明るさを調整するなどの方法により外観上の区別を容易にしてもよい。
このように、フォルダやオプションメニューにおいて階層を下るたびに、それ以前に表示されているアイコンはより目立たなくなるように小さく、より不明瞭な画像として表示される。つまり、現在の操作に関係の少ないアイコンほど、画面上の仮想的な三次元空間において画面垂直軸の奧方向に沈んでいくように表示される。逆に、階層を上がると、アイコンはより大きく、より明瞭な画像として表示される。
オプションメニュー142中の「ビュー切り替え」を選択すると、フォルダアイコンに関連づけられるコンテンツのビューが変更される。図8において、第2注目領域79に位置するコンテンツアイコンは音楽データであるから、ビューの種類として第2オプションメニュー144に「ジャンル」、「アルバム」、「アーティスト」、「すべて」の4つのビューが示されている。第2注目領域79に位置するコンテンツアイコンが例えばフォトデータであれば、ビューの種類として、「月」、「年」、「アルバム」、「50音順」、「すべて」のビューが第2オプションメニュー144に表示されてもよい。
図9は、コンテンツの項目とビューの一例を示す図である。本明細書において、フォルダアイコンは、あるひとつのコンテンツ再生機能に対応するコンテンツ項目の表示単位としての役割を有する。また、ビューは、コンテンツ項目の分類または切り出し方を表している。
表150において、コンテンツ列152は、音楽データのコンテンツ項目(すなわち楽曲データ)の名称を表し、ジャンル列154、アーティスト列156、アルバム列158、収録年列159は、それぞれコンテンツ列152におけるコンテンツ項目のジャンル、アーティスト、収録アルバム、収録年を著している。ここで、ジャンル、アーティスト、アルバムが「ビュー」に相当する。したがって、ジャンルビューが選択されている場合、メニュー管理部104は、コンテンツ項目をジャンル毎に異なるフォルダアイコンに関連づける。すなわち、コンテンツ項目「aaa」、「bbb」、「eee」は「J−POP」フォルダアイコンに関連づけられ、コンテンツ項目「fff」、「ggg」、「hhh」は「Country」フォルダアイコンに関連づけられる。これらのフォルダアイコンが、図3で示したフォルダアイコン配列72としてメニュー画面50に表示される。ユーザにより異なるビュー、例えばアルバムビューが選択されると、メニュー管理部104は、コンテンツ項目をアルバム毎に異なるフォルダアイコンに関連づける。例えば、コンテンツ項目「fff」、「ggg」、「hhh」は、今度は「カ」のフォルダアイコンに関連づけられる。したがって、この場合であれば、「ア」、「イ」、「ウ」、「エ」、「オ」、「カ」の各フォルダアイコンが、図3で示したフォルダアイコン配列72としてメニュー画面50に表示される。ユーザによりアーティストビューが選択されると、メニュー管理部104は、コンテンツ項目をアーティスト毎に異なるフォルダアイコンに関連づける。例えば、コンテンツ項目「ggg」、「hhh」は、今度は「F」のフォルダアイコンに関連づけられる。収録年ビューについても同様である。このように、同一のコンテンツ項目「fff」、「ggg」、「hhh」が、ビューに応じて共通のフォルダアイコンに関連づけられたり、別のフォルダアイコンに関連づけられたりする。
コンテンツ再生機能の種類によっては、フォルダアイコンに関連づけるコンテンツがひとつしかない場合もあることに注意すべきである。例えば、マルチメディア再生装置20にひとまとまりの映像データのみが格納されている光ディスク36を挿入した場合には、動画アイコン56の下側にひとつのフォルダアイコンが表示され、そのアイコンを注目領域に配置しても、第2注目領域79にひとつのコンテンツアイコンしか表示されない。
また、本明細書において、フォルダアイコンに関連づけされるコンテンツ項目の切り分けは、コンテンツ項目の格納場所とは無関係であることに注意されたい。メニュー管理部104は、格納部80や外部機器37、39、光ディスク36などにあるコンテンツを検索し、その時点で選択されているビューにしたがって各コンテンツ項目をフォルダアイコンに関連づける作業を実行する。
なお、ビューの種類は上記に限られるわけではない。例えば、写真コンテンツや動画コンテンツのに関連づけられるフォルダアイコンのビューとして、「ジャンル」や「撮影者」を定義したり、または音楽コンテンツに関連づけられるフォルダアイコンのビューとして、記録した月や年などのビューを定義してもよい。
図3〜9では、機能アイコンとして音楽アイコン54を選択した場合を説明したが、その他の機能アイコンを選択した場合も同様である。
図10は、機能アイコン配列70の中から写真アイコン52を交差領域76に移動させたときのメニュー画面を模式的に示す。写真アイコン52が強調表示され、その下部にフォルダアイコン130とフォルダ貼付画像132とが重畳表示されている。フォルダ貼付画像132は、フォルダアイコン130に関連づけられたいずれかのフォトデータのサムネイルである。フォルダアイコン130は、図3〜5の正方形のフォルダアイコン120と異なり、フォトデータのサムネイルにあわせて横長の長方形である。フォルダアイコン130の右側には、フォルダ情報134としてビューとデータ数が表示される。図10では、ビューとして「すべて」が選択されているので、すべてのフォトデータがひとつのフォルダアイコン130に関連づけられており、したがってひとつのフォルダアイコン130のみがフォルダアイコン配列72として表示される。
図11は、図10に示したメニュー画面が遷移する過程を模式的に示す。操作部40がユーザからビュー切り替えの指示を取得すると、メニュー管理部104は、切り替えられたビューにしたがってコンテンツの項目を切り分け、複数のフォルダアイコン130に関連づける。図11では、「月」のビューが選択されたものとし、したがって、メニュー画面生成部110は、撮影の月別にコンテンツの項目を分別して関連づけられた複数のフォルダアイコン130を交差領域76の上下方向に配置し、フォルダアイコン配列72を形成する。フォルダアイコン130に関連づけられたコンテンツ項目のコンテンツアイコンがひとつ選択され、フォルダ貼付画像132としてフォルダアイコン130に重畳表示される。注目領域77におけるフォルダアイコン130とフォルダ貼付画像132とは強調表示され、その右側にフォルダ情報134としてビューとデータ数が表示される。その他のフォルダアイコン130の右側にも、ビューの情報、すなわち撮影の月が表示される。
フォルダアイコン130に重畳してビューに関する文字情報136が表示されてもよい。例えば、注目領域77のフォルダアイコン130には、メニュー画面生成部110によりビュー情報として「12 2005」が表示される。これにより、ユーザはフォルダアイコン130に関連づけられたコンテンツの性質を容易に認識することができる。
図12は、マルチメディア再生装置の動作過程を示すフローチャートである。ユーザがマルチメディア再生装置20の電源を投入すると、ネットワーク制御部86はネットワークケーブル34を介してLAN35上の外部機器を検出し(S6)、外部機器および格納部80からコンテンツの項目を検出する(S8)。メニュー画面生成部110は機能アイコンやコンテンツアイコンなどのアイテムを格納部80から取得してメニュー画面を生成し、これを表示出力部46がテレビジョン受像機30へ表示させる(S10)。操作部40がユーザによる左右いずれかの方向指示を取得すると(S12Y)、その指示に応じてエフェクト処理部108は機能アイコンを左右いずれかの方向へ移動させ(S14)、交差領域76に位置した機能アイコンを強調表示させるとともに(S16)、その再生機能に対応するフォルダアイコンおよびフォルダ貼付画像を格納部80や外部機器から取得してこれらを上下方向に展開表示させる(S18)。ユーザによる左右方向の指示がない間は、S14はスキップされる(S12N)。
操作部40がユーザによる上下いずれかの方向指示を取得すると(S20Y)、その指示に応じてエフェクト処理部108はフォルダアイコンを上下いずれかの方向へ移動させ(S22)、交差領域76直下の注目領域77に位置したフォルダアイコンおよびフォルダ貼付画像を強調表示させ(S24)、フォルダに関する情報140を右方に表示させる(S26)。ユーザによる上下方向の指示がない間は、S22はスキップされる(S20N)。
操作部40がユーザによるフォルダ選択の指示を取得すると(S28Y)、その指示に応じてエフェクト処理部108は、フォルダアイコンからフォルダ貼付画像を右方向に移動させ(S30)、選択されたフォルダに関連つけられているコンテンツ項目のコンテンツアイコンを上下方向に展開表示させる(S32)。さらに、第2注目領域79に位置したコンテンツアイコンを強調表示させ、各コンテンツ項目に関する情報140を右方に表示させる(S34)。ユーザによるフォルダ選択の指示を取得するまでは、S12〜S26の処理を繰り返す(S28N)。
操作部40がユーザによるコンテンツ再生決定指示を取得するまではS12〜S34の処理を繰り返し(S36N)、操作部40がコンテンツ再生決定指示を取得すると(S36Y)、コンテンツ制御部106は注目領域77にて強調表示されたコンテンツの再生を開始させる(S38)。また、背景生成部112は、メニュー画面からコンテンツの再生画面への遷移にしたがい、ユーザの視点から見て奧側に入り込むような視覚的効果をもつ演出を表示する(S40)。コンテンツ再生中に操作部40がユーザによるメニュー画面の呼び出し指示を取得したとき(S42Y)、S10へジャンプし、S10〜S40の処理を再度実行する。ユーザによるメニュー画面の呼び出し指示がなければコンテンツの再生は継続され(S42N)、そのコンテンツ再生中に操作部40がユーザによるコンテンツ再生停止の指示を取得すると、コンテンツ制御部106はコンテンツ再生を停止させる(S44Y)。
以上説明したように、本実施形態のマルチメディア再生装置20は、メニュー画面50に再生機能の配列とフォルダアイコンの配列からなるメニュー画像を表示する。実際に表示される機能アイコン配列70とフォルダアイコン配列72はそれぞれ1行または1列であるが、上下左右のスクロールにより次々に異なる再生機能に対応する異なるフォルダアイコンまたはコンテンツアイコンが表示される。したがって、あたかも画面全面にわたって多数のコンテンツがマトリクス状に並べられているかのような感覚をユーザに与えることができる。ユーザは多数のコンテンツが並べられたマトリクスを自在に動かしながら所望のコンテンツにフォーカスを当てるような感覚でコンテンツを選択できる。ただし、実際に画面表示されるアイコン数は少ないため、煩雑な印象をユーザに与えることはない。
また、フォルダアイコンを選択すると、重畳表示されていたフォルダ貼付画像がフォルダアイコンから引き出される動作が生じるので、現実世界におけるCDやDVDのパッケージからディスクを取り出すような感覚をユーザに与えることができる。
ユーザによりフォルダアイコンが選択されたりまたはオプションメニュー表示が選択されると、選択されていないアイコンは視覚的に目立たないように画像変換されてメニュー画面に表示される。したがって、ユーザは自らが選択している階層や操作をメニュー画面内で容易に認識することができる。また、フォルダアイコンを選択したりオプションメニューを表示するときに、それ以外の画面表示を小さくまたアンフォーカスしてメニュー画面に表示することで、ユーザは画面垂直軸方向に奥行を感じることができ、仮想的な三次元空間内でメニュー操作をしているような感覚が得られる。
また、フォルダアイコンに関連づけられるコンテンツ項目をビュー切り替えによって容易に変更できるため、ユーザは再生したいコンテンツ項目を様々な切り口から検索することができ、より迅速かつストレスの少ない検索が実現される。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例について述べる。
実施例では、注目領域77の直上に交差領域76が位置するようにメニュー画面を構成した。変形例においては、ユーザが注目アイコンに視点を置きながら機能アイコンを容易に確認できるような配置関係であれば、例えば注目領域77の直下や周辺に交差領域76が位置するようメニュー画面を構成してもよい。
実施例では、メニュー画面50上で機能アイコン配列70とフォルダアイコン配列72とをそれぞれ水平方向と垂直方向に表示する構成とした。変形例においては、機能アイコン配列70とフォルダアイコン配列72とを画面の奥行を利用した配置としてもよい。例えば、機能アイコン配列70とフォルダアイコン配列72を画面内の仮想的な球面上に貼り付けるように配置して、ユーザの上下左右方向の指示にしたがい、アイコンが球面に沿って回転する構成としてもよい。あるいは、注目領域に位置するアイコンを画面垂直軸に沿って最も手前になるように表示し、それ以外のアイコンは画面垂直軸の奥側になるように表示し、ユーザの上下左右方向の指示にしたがい、注目領域に移動したアイコンが手前に飛び上がって来るような態様で表示してもよい。機能アイコン配列70やフォルダアイコン配列72の奥行を持たせた表示態様と、選択したアイコン以外を縮小やアンフォーカスする表示態様とを組み合わせることで、仮想的な三次元空間内でメニュー操作をしているような感覚を、ユーザにより植え付けることができる。
実施例では、交差領域76および注目領域77がメニュー画面50の中央近傍に位置するようマルチメディア再生装置20を構成した。変形例においては、交差領域76および注目領域77の表示位置をユーザが自由に設定できる構成としてもよい。
実施例では、マルチメディア再生装置20は、外部接続されたテレビジョン受像機30にコンテンツ再生指示のためのメニュー画面を表示させた。変形例では、マルチメディア再生装置は、装置と一体に構成されたディスプレイを備える携帯型の複合機器であってもよい。また、実施例で述べた各種の機能を発揮せしめるコンピュータプログラムをパーソナルコンピュータで実行させて、マルチメディア再生装置を実現してもよい。