JP2008059152A

JP2008059152A - 画像ビューワ、画像表示方法及びプログラム

Info

Publication number: JP2008059152A
Application number: JP2006233751A
Authority: JP
Inventors: Munetaka Tsuda; 宗孝津田; Koichi Sato; 晃一佐藤
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2006-08-30
Filing date: 2006-08-30
Publication date: 2008-03-13
Anticipated expiration: 2026-08-30
Also published as: US20090179892A1; EP2058768A1; JP4778865B2; EP2058768A4; WO2008026342A1

Abstract

【課題】複数の画像をそのグループを明示しつつ表示することのできる画像ビューワ、画像表示方法及びプログラムを提供すること。
【解決手段】各グループに属する画像の数に基づいて、各グループに対応する１以上のモーションデータをモーションデータ記憶手段から選択的に読み出し、グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す写真オブジェクト５０に対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた写真オブジェクト５０を、仮想３次元空間５４のグループ毎に相互に離間した位置において落下させるとともに、その様子をモニタに表示する。
【選択図】図４

Description

本発明は画像ビューワ、画像表示方法及びプログラムに関する。

近年、デジタルカメラで撮影した画像や、インターネットから取得した画像等、個人が保有する画像の数は膨大になっており、それらを効率よく閲覧するための各種のコンピュータソフトウェアも知られている。例えば、仮想３次元空間に多数の画像を配置し、ある視点からそれらの画像を見た様子を表示するソフトウェアによると、ユーザは多数の画像を一覧することができる。また、多数の画像を数秒おきに順に表示するソフトウェアによると、ユーザは多数の画像を、コンピュータ操作を行うことなく閲覧することができる。

画像は、例えばその撮影日付等の属性によりグループ分けすることができ、こうしたグループ分けに従って画像を表示することで、多数の画像を極めてわかり易く閲覧させることができる。この点、従来のソフトウェアは、多数の画像をその類似度に従って仮想３次元空間に配置したり、あるいは撮影日時順に表示したりするものであって、画像のグループを明示しつつ、多数の画像を閲覧させるものは存在しなかった。

本発明は上記課題に鑑みてなされたものであって、その目的は、複数の画像をそのグループを明示しつつ表示することのできる画像ビューワ、画像表示方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像ビューワは、表示対象となる複数の画像を取得する画像取得手段と、前記複数の画像を１又は複数のグループに分類するグループ分け手段と、前記グループ分け手段により分類された前記各グループに属する画像の数を取得するグループ画像数取得手段と、それぞれ異なる画像数に対応づけられた複数のモーションデータを記憶するモーションデータ記憶手段であって、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の３次元モデルの仮想３次元空間における動きを示すものである、モーションデータ記憶手段と、前記グループ画像数取得手段により取得される前記各グループに属する画像の数に基づいて、前記各グループに対応する１以上のモーションデータを前記モーションデータ記憶手段から選択的に読み出すモーションデータ読出し手段と、前記グループ分け手段により分類された前記グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す前記３次元モデルに対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた前記３次元モデルを、前記仮想３次元空間のグループ毎に相互に離間した位置において移動させるとともに、その様子を表示する３次元画像表示手段と、を含むことを特徴とする。

また、本発明に係る画像表示方法は、表示対象となる複数の画像を取得する画像取得ステップと、前記複数の画像を１又は複数のグループに分類するグループ分けステップと、前記グループ分けステップで分類された前記各グループに属する画像の数を取得するグループ画像数取得ステップと、それぞれ異なる画像数に対応づけられた複数のモーションデータを記憶するモーションデータ記憶手段であって、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の３次元モデルの仮想３次元空間における動きを示すものである、モーションデータ記憶手段から、前記グループ画像数取得ステップで取得される前記各グループに属する画像の数に基づいて、前記各グループに対応する１以上のモーションデータを選択的に読み出すモーションデータ読出しステップと、前記グループ分けステップで分類された前記グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す前記３次元モデルに対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた前記３次元モデルを、前記仮想３次元空間のグループ毎に相互に離間した位置において移動させるとともに、その様子を表示する３次元画像表示ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、表示対象となる複数の画像を取得する画像取得手段、前記複数の画像を１又は複数のグループに分類するグループ分け手段、前記グループ分け手段により分類された前記各グループに属する画像の数を取得するグループ画像数取得手段、それぞれ異なる画像数に対応づけられた複数のモーションデータを記憶するモーションデータ記憶手段であって、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の３次元モデルの仮想３次元空間における動きを示すものである、モーションデータ記憶手段、前記グループ画像数取得手段により取得される前記各グループに属する画像の数に基づいて、前記各グループに対応する１以上のモーションデータを前記モーションデータ記憶手段から選択的に読み出すモーションデータ読出し手段、及び前記グループ分け手段により分類された前記グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す前記３次元モデルに対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた前記３次元モデルを、前記仮想３次元空間のグループ毎に相互に離間した位置において移動させるとともに、その様子を表示する３次元画像表示手段としてコンピュータを機能させるためのプログラムである。プログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係るエンタテインメントシステム（画像処理装置）のハードウェア構成を示す図である。同図に示すように、エンタテインメントシステム１０は、ＭＰＵ（Micro Processing Unit）１１と、メインメモリ２０と、画像処理部２４と、モニタ２６と、入出力処理部２８と、音声処理部３０と、スピーカ３２と、光ディスク読み取り部３４と、光ディスク３６と、ハードディスク３８と、インタフェース（Ｉ／Ｆ）４０，４４と、操作デバイス４２と、カメラユニット４６と、ネットワークインタフェース４８と、を含んで構成されるコンピュータシステムである。

図２は、ＭＰＵ１１（プログラム実行手段）の構成を示す図である。同図に示すように、ＭＰＵ１１は、メインプロセッサ１２と、サブプロセッサ１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ，１４ｈと、バス１６と、メモリコントローラ１８と、インタフェース（Ｉ／Ｆ）２２と、を含んで構成される。

メインプロセッサ１２は、図示しないＲＯＭ（Read Only Memory）に記憶されるオペレーティングシステム、例えばＤＶＤ（Digital Versatile Disk）−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ１４ａ乃至１４ｈに対する制御を行ったりする。

サブプロセッサ１４ａ乃至１４ｈは、メインプロセッサ１２からの指示に従って、各種情報処理を行ったり、エンタテインメントシステム１０の各部を、例えばＤＶＤ−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて制御したりする。

バス１６は、アドレス及びデータをエンタテインメントシステム１０の各部でやり取りするためのものである。メインプロセッサ１２、サブプロセッサ１４ａ乃至１４ｈ、メモリコントローラ１８、インタフェース２２は、バス１６を介して相互にデータ授受可能に接続される。

メモリコントローラ１８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、メインメモリ２０へのアクセスを行う。メインメモリ２０には、光ディスク３６やハードディスク３８から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ２０はメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈの作業用としても用いられる。

インタフェース２２には画像処理部２４及び入出力処理部２８が接続される。メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、画像処理部２４又は入出力処理部２８と、の間のデータ授受はインタフェース２２を介して行われる。

画像処理部２４は、ＧＰＵ（Graphical Processing Unit）とフレームバッファとを含んで構成される。ＧＰＵは、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面、すなわちＭＰＵ１１の実行結果を示す画面は、所定のタイミングでビデオ信号に変換されてモニタ２６に出力される。なお、モニタ２６には例えば家庭用テレビ受像機が用いられる。

入出力処理部２８には、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４が接続される。入出力処理部２８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４、ネットワークインタフェース４８と、の間のデータ授受を制御する。

音声処理部３０は、ＳＰＵ（Sound Processing Unit）とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク３６やハードディスク３８から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。ＳＰＵは、これらの各種音声データを再生してスピーカ３２から出力させる。なお、スピーカ３２には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。

光ディスク読み取り部３４は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、光ディスク３６に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム１０は、光ディスク３６以外の他のコンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。

光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスク（コンピュータ読み取り可能な情報記憶媒体）である。また、ハードディスク３８は一般的なハードディスク装置である。光ディスク３６やハードディスク３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。

インタフェース（Ｉ／Ｆ）４０，４４は、操作デバイス４２やカメラユニット４６等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばＵＳＢ（Universal Serial Bus）インタフェースが用いられる。

操作デバイス４２は汎用操作入力手段であり、ユーザが各種操作（例えばゲーム操作）を入力するために用いられる。入出力処理部２８は、所定時間（例えば１／６０秒）ごとに操作デバイス４２から、その各部の状態を無線又は有線通信により取得し、その結果を表す操作信号をメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈに供給する。メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈは、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム１０は複数の操作デバイス４２を通信接続可能に構成されており、各操作デバイス４２から入力される操作信号に基づいて、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈが各種処理を実行するようになっている。

カメラユニット４６は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間（例えば１／６０秒）ごとに入力する。本実施の形態におけるカメラユニット４６は、撮影画像をＪＰＥＧ（Joint Photographic Experts Group）形式の画像データとして入力するようになっている。また、カメラユニット４６は、例えばレンズをプレイヤに向けた状態でモニタ２６の上に設置され、ケーブルを介してインタフェース４４に接続される。ネットワークインタフェース４８は入出力処理部２８とインターネット等の通信ネットワークとに接続されており、エンタテインメントシステム１０が通信ネットワークを介して他のエンタテインメントシステム１０等のコンピュータシステムとデータ通信するのを中継するようになっている。

操作デバイス４２は、ユーザがエンタテインメントシステム１０を操作するためのデバイスであって、ＵＳＢ等の有線通信手段、及びＢｌｕｅＴｏｏｔｈ（商標）やワイヤレスＬＡＮ等の無線通信手段を備える河畔方の小型コンピュータとして構成されており、操作デバイス４２において行われたユーザの操作内容を示す操作データがエンタテインメントシステム１０に有線又は無線で送信されるようになっている。

以下、上記ハードウェア構成を有するエンタテインメントシステム１０を、多数の画像を自動表示する画像ブラウザとして動作させるための技術について説明する。

図３は、画像ブラウザとして動作中のエンタテインメントシステム１０のモニタ２６に表示される画面の一例を示す図である。同図に示す表示画面は、仮想３次元空間を可視化したものであり、具体的には、例えばＬ判の白縁付き写真を示す仮想的な３次元モデルである写真オブジェクト５０が多数配置された仮想３次元空間を、同空間内を移動する視点から見た様子を公知の３次元コンピュータグラフィックス技術によりリアルタイムに画像化することで、モニタ２６の表示画面が生成される。同図に示すように、仮想３次元空間には、写真オブジェクト５０はグループ５１毎にまとめられて、テーブルを示す仮想的な３次元モデルであるテーブルオブジェクト５２上に配置されている。また、同図に示す表示画面を生成する際には、シェーディングやシャドウイングを実施しており、各写真オブジェクト５０の下方には影が描画され、写真オブジェクト５０が反れて曲がった様子が表現されている。

各３次元モデルはポリゴンにより構成されており、各写真オブジェクト５０には、ユーザが保有している、例えばデジタルカメラで撮ったりインターネット経由で取得したりした写真画像がテクスチャとしてマッピングされる。そして、各グループ５１の写真オブジェクト５０には、例えば同じ撮影日である等、共通の属性を有する画像がテクスチャとしてマッピングされている。また、テーブルオブジェクト５２の表面は、各写真オブジェクト５０が見やすいよう、例えば白や黒等の単一色に表される。

各グループ５１に属する写真オブジェクト５０は、同グループ５１に属する少なくとも１枚の写真オブジェクト５０と視点から見て部分的に重なって配置されており、これにより各グループ５１に属する写真オブジェクト５０がどれなのかをユーザが容易に理解できるようにしている。

図４は、上記仮想３次元空間の全体像を示す斜視図である。同図に示す仮想３次元空間５４は、エンタテインメントシステム１０のメインメモリ２０上に仮想的に構築されるものであり、広大な平板状のテーブルオブジェクト５２上には、グループ５１−１に属する６枚の写真オブジェクト５０、グループ５１−２に属する９枚の写真オブジェクト５０、グループ５１−３に属する４枚の写真オブジェクト５０、グループ５１−４に属する４枚の写真オブジェクト５０が、グループ毎に互いに離間して置かれている。ここで、各グループ５１はテーブルオブジェクト５２上で略一方向に並んでいる。また、グループ５１−２に属する写真オブジェクト５０は９枚と比較的多いことから、６枚の写真オブジェクト５０からなるサブグループ５１−２１及び該サブグループ５１−２１とは離間して配置された３枚の写真オブジェクト５０からなるサブグループ５１−２２とに分かれて配置されている。

テーブルオブジェクト５２の上方には視点軌道５８が設定されており、この視点軌道５８上に、写真オブジェクト５０側に視線方向が向けられた視点５６（不可視）が配置されている。エンタテインメントシステム１０では、リアルタイムに、すなわち所定時間（例えば１／６０秒）毎に視点５６から視線方向を見た様子を示す画像を生成して、これをモニタ２６に表示するようにしている。また、エンタテインメントシステム１０では、視点５６を、同図に表された横方向の矢印のように、時間経過に従って視点軌道５８に沿って一定速度で一方向に移動させるようにしており、これによりテーブルオブジェクト５２上に配置された各グループ５１の写真オブジェクト５０がすべてモニタ２６に映し出されるようにしている。なお、視点５６の前方に設定される所定サイズの空間領域内に存在する写真オブジェクト５０の数に応じて視点５６の移動速度を動的に変更してもよい。

さらに、各グループ５１の上方には、写真オブジェクト５０をテーブルオブジェクト５２に投下する基準位置である投下基準位置６２−１〜６２−４が配置されている。これら投下基準位置６２は、テーブルオブジェクト５２の上方に予め設定された投下ライン６０上に相互に離間して配置されている。なお、投下ライン６０は乱数に基づいて動的に生成してもよく、そうすればユーザは予期しない位置から投下される写真オブジェクト５０の画像を楽しむことができる。また、投下ライン６０上の投下基準位置６２の間隔は一定間隔でもよいし、投下される写真オブジェクト５０の数等に応じて動的に変更されてもよい。図５に示すように、テーブルオブジェクト５２の上方には投下ライン６０が設定されており、この投下ライン６０上の一点である投下基準位置６２を基準として、所与のモーションデータに従って所定枚数の写真オブジェクト５０が仮想３次元空間５４内で順に投下され、下方に落下する。そして、部分的に他と重なり合いながら、テーブルオブジェクト５２上にそれら所定枚数の写真オブジェクト５０が配置されるようになっている。この様子は、リアルタイムに画像化され、モニタ２６に表示される。このとき、エンタテインメントシステム１０では、ある投下基準位置６２の近くに視点５６が移動すると、その投下基準位置６２に関連するグループ５１の写真オブジェクト５０をテーブルオブジェクト５２上に投下するようにしている。このため、視点５６が移動するのに伴って、各グループ５１の写真オブジェクト５０が次々に落下する様子がリアルタイムにモニタ２６に表示されることになる。

図６は、画像ブラウザとして動作するエンタテインメントシステム１０の機能ブロック図である。同図に示すように、エンタテインメントシステム１０は、機能的には、画像記憶部８０、表示対象画像取得部８２、グループ分け及びグループ内画像計数部８４、モデルデータ及びモーションデータ記憶部８６、データ読出し部８８及び３次元画像合成表示部９０を含んでいる。各機能は、光ディスク３６に格納された画像ブラウザ用プログラムをＭＰＵ１１が実行することにより実現されるものである。なお、上記機能の一部又は全部をハードウェアにより実現してよいのはもちろんである。

まず、画像記憶部８０は、ハードディスク３８を中心に構成されるものであり、ユーザがデジタルカメラで撮影した静止画像や、ネットワークインタフェース４８を介してインターネット上のサイトからダウンロードした静止画像を多数記憶するものである。デジタルカメラで撮影した画像は、エンタテインメントシステム１０の入出力処理部２８に接続された図示しないインタフェースを介して、デジタルカメラから直接、又はデジタルカメラから取り外された可搬型の記憶媒体から読み出される。また、画像記憶部８０は、各画像の画像サイズ、撮影日時、コメント等の属性情報も併せて記憶している。

表示対象画像取得部８２は、画像記憶部８０に記憶された多数の画像の中から、表示対象となる複数の画像を、例えば操作デバイス４２を用いたユーザの指示に従って取得するものである。

グループ分け及びグループ内画像計数部８４は、表示対象画像取得部８２により取得される複数の画像をそれらの画像の属性情報に従って１又は複数のグループ５１に分類するとともに、分類された前記各グループ５１に属する画像の数を取得するものである。例えば、グループ分け及びグループ内画像計数部８４は、各画像の撮影日時に従って、同じ日に撮影された画像が同じグループ５１に属するようにしてグループ分けを実行する。

モデルデータ及びモーションデータ記憶部８６は、それぞれ異なる画像数に対応づけて、１以上の写真オブジェクト５０の形状を示すモデルデータ及びそれら写真オブジェクト５０の動きを示すモーションデータからなるデータセットを複数記憶する。このとき、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の写真オブジェクト５０の仮想３次元空間における動きを示す。

ここでは、モデルデータ及びモーションデータ記憶部８６は、図７に示すように、１〜８の各画像枚数に関連づけて、同数の写真オブジェクト５０の形状を示すモデルデータ及びそれら写真オブジェクト５０の動きを示すモーションデータからなるデータセットを３組ほど記憶している。すなわち、各画像枚数に関連づけて、モーションデータを複数種類記憶している。

データ読出し部８８は、グループ分け及びグループ内画像計数部８４により取得される各グループ５１に属する画像の数に基づいて、前記各グループ５１に対応する１以上のデータセットをモデルデータ及びモーションデータ記憶部８６から選択的に読み出す。このとき、データ読出し部８８は、各グループ５１に対応するデータセットのそれぞれに対応づけられた画像数の合計が、該グループ５１に属する画像の数に等しくなるようにして、各グループ５１に対応するデータセットを１以上選択する。ここでは、１〜８の各画像枚数に関連づけて、データセットが記憶されているので、グループ５１に属する画像が１〜８枚のいずれかであれば、その枚数に関連づけられたモデルデータ及びモーションデータが読み出される。また、９枚以上であれば、例えば３枚に関連づけられたモデルデータ及びモーションデータと、６枚に関連づけられたモデルデータ及びモーションデータと、の２組のデータセットが読み出される。

さらに、データ読出し部８８は、各グループ５１に対応するモーションデータのそれぞれを、モデルデータ及びモーションデータ記憶部８６に記憶される複数種類のモーションデータの中から、例えば乱数に従って１つずつ選択的に読み出す。こうして読み出されるモーションデータに従って写真オブジェクト５０を移動させることで、同じ枚数の写真オブジェクト５０であってもグループ５１が異なれば動きが変わることになり、より自然な画像表示を実現できる。

３次元画像合成表示部９０は、グループ分け及びグループ内画像計数部８４により分類されたグループ５１毎に、該グループ５１に対応する写真オブジェクト５０に対して該グループ５１に属する画像をテクスチャとしてマッピングする。

このとき、どの写真オブジェクトにどの画像をマッピングするかを、さまざまな基準により決定してよい。例えば、図８に示すように、モデルデータ及びモーションデータ記憶部８６に各モデルデータに対してマッピング順位を予め設定しておくとともに、各グループ５１に属する画像に対して、例えば各画像のサイズ、公知の顔認識処理により得られる各画像に表された顔の数や大きさに基づいて優先順位を設定し、優先順位の高い画像を、高いマッピング順位が設定されたモデルデータの写真オブジェクト５０にマッピングするようにすればよい。マッピング順位は、各モデルデータに対応する写真オブジェクト５０の大きさ、テーブルオブジェクト５２に置かれたときの該写真オブジェクト５０と視点５６との距離、他の写真オブジェクト５０により隠れる程度に基づいて決定するのが望ましい。こうすれば、目立つ写真オブジェクト５０に、サイズの大きい画像、顔が大きく映し出された画像、顔が多数映し出された画像などを優先的にマッピングすることができる。

或いは、図９に示すように、各モデルデータに対してマッピング順位及び縦横適正を予め設定しておいてもよい。縦横適正は、各モデルデータに対応する写真オブジェクト５０に対して横長画像がマッピングされるのが望ましいか、縦長画像がマッピングされるのが望ましいか、或いはどちらでもよいかを示す情報であり、テーブルオブジェクト５２に置かれたときの各写真オブジェクト５０の姿勢に基づいて設定すればよい。そして、各グループ５１に属する画像を、その優先順位に従って、マッピング順位が高く、また縦横比がより適した写真オブジェクト５０にマッピングすればよい。こうすれば、横長画像は、テーブルオブジェクト５２に横置きされる写真オブジェクト５０に優先的にマッピングされ、縦長画像は、縦置きされる写真オブジェクト５０に優先的にマッピングされるようにできる。

３次元画像合成表示部９０は、その後、各グループ５１に対応するモーションデータに従って、テクスチャがマッピングされた写真オブジェクト５０を、該グループ５１に関連づけられた投下基準位置６２を基準として移動させるとともに、その様子を示す表示画面を生成し、モニタ２６に表示させる。

図１０は、画像ビューワとして動作するエンタテインメントシステム１０の動作フロー図である。同図に示される処理は、表示対象画像取得部８２により表示対象となる画像が取得され、それらの画像がグループ分けされた後に実行されるものであり、まず３次元画像合成表示部９０が仮想３次元空間５４内の視点５６の位置を更新する（Ｓ１０１）。このとき、未設定であれば初期位置に視点５６を設定する。次に、３次元画像合成表示部９０が、視点５６から視線方向を見た様子を示す画像を生成する（Ｓ１０２）。この画像は所定タイミングでモニタ２６に表示される。次に、３次元画像合成表示部９０は、写真オブジェクト５０をテーブルオブジェクト５２に投下するモーションを再生中であるかを判断する（Ｓ１０３）。そして、再生中でなければ、表示対象画像取得部８２で取得されたすべての画像の表示が終了したか否かを判断し（Ｓ１０４）、終了していれば画像ビューワの処理を終了する。

一方、まだすべての画像の表示が終了していない場合には、視点５６が写真オブジェクト５０の投下を開始すべき位置に到達しているか否かを判断する（Ｓ１０５）。すなわち、事前に設定されたいずれかの投下基準位置６２が視線方向に位置しているか否かを判断する。そして、そのような位置に視点５６が到達していなければ、再びＳ１０１の処理を実行し、視点５６を視点軌道５８に沿って所定距離だけ移動させる。一方、視点５６が写真オブジェクト５０の投下を開始すべき位置に到達していれば、３次元画像合成表示部９０は表示対象画像取得部８２から、未だ表示されていない画像のグループのうち最も古い撮影日付をもつ１グループ分の画像を取得するとともに（Ｓ１０６）、データ読出し部８８から同グループに対応するデータセット（モデルデータ及びモーションデータ）を取得する（Ｓ１０７）。さらに、３次元画像合成表示部９０は、上述したようにして（図８及び図９参照）、どの写真オブジェクト５０にどの画像をテクスチャとしてマッピングすべきかを決定し（Ｓ１０８）、写真オブジェクト５０を、投下基準位置６２を基準としてモーションデータに従って移動させる処理を開始する。

その後、視点５６の位置を更新しながら（Ｓ１０１、仮想３次元空間５４の様子を示す画像を生成し（Ｓ１０２）、これをモニタ２６に表示する。そして、Ｓ１０９で開始した処理の実行中は（Ｓ１０３）、同処理を継続して、各写真オブジェクト５０の仮想３次元空間５４における位置をモーションデータに従って更新する（Ｓ１１０）。

以上の画像ビューワによれば、ユーザの保有する画像が撮影日付によりグループ分けされ、グループ毎にそれぞれ写真オブジェクト５０にマッピングされ、テーブルオブジェクト５２上に順に落とされる。このため、ユーザは次々に３次元モデルのテクスチャとして表示される画像がどのグループに属しているかを理解しながら、各画像を閲覧できる。

なお、本発明は上記実施形態に限定されるものではなく、種々の変形実施が可能である。例えば、図１１に示すように、各グループに属する画像の撮影日付を示す日付ゲージ画像７４をモニタ２６に併せて表示するようにしてもよい。日付ゲージ画像７４は、現在モニタ２６に表示中の写真オブジェクト５０に係る撮影日付及びその前後の日付を横方向に時系列に並べて表した画像であり、表示対象となる画像が撮影された日付とそれ以外の日付とが区別されている。すなわち、撮影日付については日付を表す数字が表され（図中、「１５」、「２５」「１０」等）、それ以外はそうした数字の表示が行われておらず、単に点（「…」）が表されている。また、特にモニタ２６の中央に表示されている写真オブジェクト５０の撮影日付については他と区別できるよう大きな数字で表されている。また、日付ゲージ画像７４により撮影日付が示される期間の長さは、表示対象となる画像によって決定されてよい。例えば、期間内に撮影された画像の総数が一定以下となるよう、或いは期間内における撮影日が一定日数以下となるよう、日付ゲージ画像７４により撮影日付が示される期間の長さを決定してよい。また、日付ゲージ画像７４は、モニタ２６の中央に表示中の写真オブジェクト５０に係る撮影日付がゲージの中央に位置するようになっている。この日付ゲージ画像７４により、モニタ２６に表示された写真オブジェクト５０にいつ撮影された画像がマッピングされているか、また前後のどの日付に撮影された画像が存在するかを、ユーザは直ちに把握することができる。

さらに、各画像の属性情報のうち、コメントや画像ファイル名等のテキストデータを画像化し、該画像をテクスチャとしてマッピングした説明書きオブジェクト７０を同画像がマッピングされた写真オブジェクト５０の側に配置してもよい。また、各グループ５１に一つ、同グループ５１に属する画像の撮影日付を示す日付オブジェクト７２を配置してもよい。

本発明の一実施形態に係るエンタテインメントシステムのハードウェア構成を示す図である。ＭＰＵの構成を示す図である。モニタの表示画面の一例を示す図である。仮想３次元空間の全体像を示す斜視図である。写真オブジェクトがモーションデータに従って順に落下する様子を説明する図である。画像ビューワとして機能するエンタテインメントシステムの機能ブロック図である。モデルデータ及びモーションデータ記憶部の記憶内容を模式的に示す図である。各画像のマッピング先を決定するのに用いるテーブルを示す図である。各画像のマッピング先を決定するのに用いるテーブルの変形例を示す図である。画像ビューワとして機能するエンタテインメントシステムの動作フロー図である。モニタの表示画面の他の例を示す図である。

符号の説明

１０エンタテインメントシステム、１１ＭＰＵ、１２メインプロセッサ、１４ａ〜１４ｈサブプロセッサ、１６バス、１８メモリコントローラ、２０メインメモリ、２２，４０，４４インタフェース、２４画像処理部、２６モニタ、２８入出力処理部、３０音声処理部、３２スピーカ、３４光ディスク読み取り部、３６光ディスク、３８ハードディスク、４２操作デバイス、４６カメラユニット、５０写真オブジェクト、５１グループ、５２テーブルオブジェクト、５４仮想３次元空間、５６視点、５８視点軌道、６０投下ライン、６２投下基準位置、７０説明書きオブジェクト、７２日付オブジェクト、７４日付ゲージ画像、８０画像記憶部、８２表示対象画像取得部、８４グループ分け及びグループ内画像計数部、８６モデルデータ及びモーションデータ記憶部、８８データ読出し部、９０３次元画像合成表示部。

Claims

表示対象となる複数の画像を取得する画像取得手段と、
前記複数の画像を１又は複数のグループに分類するグループ分け手段と、
前記グループ分け手段により分類された前記各グループに属する画像の数を取得するグループ画像数取得手段と、
それぞれ異なる画像数に対応づけられた複数のモーションデータを記憶するモーションデータ記憶手段であって、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の３次元モデルの仮想３次元空間における動きを示すものである、モーションデータ記憶手段と、
前記グループ画像数取得手段により取得される前記各グループに属する画像の数に基づいて、前記各グループに対応する１以上のモーションデータを前記モーションデータ記憶手段から選択的に読み出すモーションデータ読出し手段と、
前記グループ分け手段により分類された前記グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す前記３次元モデルに対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた前記３次元モデルを、前記仮想３次元空間のグループ毎に相互に離間した位置において移動させるとともに、その様子を表示する３次元画像表示手段と、
を含むことを特徴とする画像ビューワ。
請求項１に記載の画像ビューワにおいて、
前記各グループに対応する前記１以上のモーションデータのそれぞれに対応づけられた画像数の合計は、該グループに属する画像の数に等しい、
ことを特徴とする画像ビューワ。
請求項１又は２に記載の画像ビューワにおいて、
前記グループ分け手段は、前記各画像に関する日付情報に従って前記複数の画像を１又は複数のグループに分類する、
ことを特徴とする画像ビューワ。
請求項３に記載の画像ビューワにおいて、
前記３次元画像表示手段は、前記各グループに属する画像に関する日付を示す画像をさらに表示する、
ことを特徴とする画像ビューワ。
請求項１乃至４のいずれかに記載の画像ビューワにおいて、
前記各グループに属する画像の優先順位に従って、各画像がテクスチャとしてマッピングされる前記３次元モデルが決定される、
ことを特徴とする画像ビューワ。
請求項１乃至５のいずれかに記載の画像ビューワにおいて、
前記モーションデータ記憶手段は、各画像数に対応づけてモーションデータを複数種類記憶し、
前記モーションデータ読出し手段は、前記各グループに対応する前記１以上のモーションデータのそれぞれを、前記モーションデータ記憶手段に記憶される複数種類のモーションデータの中から選択的に読み出す、
ことを特徴とする画像ビューワ。
請求項６に記載の画像ビューワにおいて、
前記モーションデータ読出し手段は、乱数に従ってモーションデータを選択する、
ことを特徴とする画像ビューワ。
表示対象となる複数の画像を取得する画像取得ステップと、
前記複数の画像を１又は複数のグループに分類するグループ分けステップと、
前記グループ分けステップで分類された前記各グループに属する画像の数を取得するグループ画像数取得ステップと、
それぞれ異なる画像数に対応づけられた複数のモーションデータを記憶するモーションデータ記憶手段であって、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の３次元モデルの仮想３次元空間における動きを示すものである、モーションデータ記憶手段から、前記グループ画像数取得ステップで取得される前記各グループに属する画像の数に基づいて、前記各グループに対応する１以上のモーションデータを選択的に読み出すモーションデータ読出しステップと、
前記グループ分けステップで分類された前記グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す前記３次元モデルに対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた前記３次元モデルを、前記仮想３次元空間のグループ毎に相互に離間した位置において移動させるとともに、その様子を表示する３次元画像表示ステップと、
を含むことを特徴とする画像表示方法。
表示対象となる複数の画像を取得する画像取得手段、
前記複数の画像を１又は複数のグループに分類するグループ分け手段、
前記グループ分け手段により分類された前記各グループに属する画像の数を取得するグループ画像数取得手段、
それぞれ異なる画像数に対応づけられた複数のモーションデータを記憶するモーションデータ記憶手段であって、各モーションデータは、該モーションデータに対応づけられた画像数の画像をテクスチャとしてマッピング可能である１以上の３次元モデルの仮想３次元空間における動きを示すものである、モーションデータ記憶手段、
前記グループ画像数取得手段により取得される前記各グループに属する画像の数に基づいて、前記各グループに対応する１以上のモーションデータを前記モーションデータ記憶手段から選択的に読み出すモーションデータ読出し手段、及び
前記グループ分け手段により分類された前記グループ毎に、該グループに対応する前記１以上のモーションデータがその動きを示す前記３次元モデルに対して該グループに属する画像をテクスチャとしてマッピングし、該１以上のモーションデータに従って、テクスチャがマッピングされた前記３次元モデルを、前記仮想３次元空間のグループ毎に相互に離間した位置において移動させるとともに、その様子を表示する３次元画像表示手段
としてコンピュータを機能させるためのプログラム。