JP4341408B2

JP4341408B2 - 画像表示方法及び装置

Info

Publication number: JP4341408B2
Application number: JP2004007685A
Authority: JP
Inventors: 直樹田中; 晴代大久保; 義盛中瀬
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-01-15
Filing date: 2004-01-15
Publication date: 2009-10-07
Anticipated expiration: 2024-01-15
Also published as: CN1910577A; CN100517316C; EP1705583A1; EP1705583A4; US20080129757A1; JP2005202635A; WO2005069170A1

Description

本発明は、デジタルスチルカメラや携帯端末で撮影された画像データのディスプレイ画面上での画像閲覧のブラウジング、画像管理を行う画像表示方式と装置に関するものである。

近年、デジタルスチルカメラ、デジタル動画カメラ、さらに携帯電話での動画やスチル画像の撮影が普及し、また、それと並行して個人ユースのパーソナルコンピュータ（以後、“パソコン”と呼ぶ）が普及し、個人が所有する画像データの数量は爆発的に増加している。しかし、それら画像データの管理を行う画像表示装置は、パソコンのオペレーティングシステム（以後、“ＯＳ”と呼ぶ）が持つファイル管理構造を示すフォルダを表示し、そのフォルダ内の画像データの縮小画像（以後、“サムネール”と呼ぶ）を表示しているにとどまっている。図１１から図１４に従来の画像表示装置の一般的なユーザインターフェースの一例として、画面構成図を示す。図１１の左側はフォルダという単位でファイル管理を階層構造で示している。ユーザがフォルダを選択すると図１１の右側のサムネール表示領域にフォルダ内に格納されている画像データを選択した一定のサイズで一覧表示する。ここで、選択したフォルダ内の画像データのサムネールをすべて表示できない場合は、以下の二つの方式で表示できなかった画像データのサムネール表示を行う。第一の方法は、スクロールバーを追加し、ユーザに画面外のサムネールを表示させる手段を提供する方法である。図１２は、実際には表示対象として２４枚分のサムネールがあるにも関わらず、画面内には１２枚しか表示できない状態を表す例である。図１２（Ａ）では、表示対象のサムネールのうち、枠で囲まれている部分のみが実際に画面に表示されている（図１２（Ｂ））。この時、全表示対象サムネールに対してどの範囲を画面に表示しているのかをスクロールバーにより知ることができる。この例では、画面右端にスクロールバーを表示し、上下方向に移動させる例を挙げているが、画面下部にスクロールバーを表示させて左右方向に移動させる方法も同様に用いられている。第二の方法は、サムネールサイズ設定を変更する方法である。図１３にサムネールサイズ変更中の画面を、図１４にサムネールサイズを１２８ｘ１２８サイズ及び３２ｘ３２サイズに設定した場合の画面を示す。３２ｘ３２サイズにした場合は、１２８ｘ１２８の時の約７倍（８８／１２≒７．３３）のサムネールを表示することができる。しかし、第一の方法については、画面内に表示されていないサムネールについては、スクロールバーを操作して画面内に移動しなくては、内容を確認することができない。また、大量画像を管理する場合、画面外に存在する所望の画像の検索が困難になるという欠点を持つ。一方、第二の方法については、大量の画像を一度に表示しようとした場合には、サムネールのサイズが小さくなり一枚一枚のサムネールの視認性が落ち、サムネールのサイズを大きくした場合、画面内に表示可能な枚数が減ってしまう。という欠点を持つ。

なお、これに関連する文献として以下のものがある（例えば、特許文献１参照。）。
特開平１０−３０７９３６号公報

デジタルスチルカメラやカメラ付携帯電話で撮影、さらにインターネットからダウンロードしたものなど個人が所有する画像は大量になりつつある。ここで、従来の方法では以下のような課題がある。
１）フォルダなどの一つの属性情報で分類された大量の画像から目的の画像を含む一覧を速やかに出せない。
２）フォルダなど属性情報で複数に分類された一覧表示を同時に表示し、指定の一覧を明確に表示し、同時表示一覧の他の分類に速やかに移行できない。
３）撮影年月日や撮影場所である県と市などの階層構造の上位階層の属性情報を指定した時、下位階層の分類を明記して、ソーティングした一覧表示ができない。
４）フォルダでない属性情報、例えば、撮影年月日と撮影場所の複数の属性情報の論理演算を一覧表示のブラウザ上で行い、結果を一覧表示できない。

本発明は、複数の属性情報で画像を管理する画像データベースと、指定された分類情報から関連付けられる属性情報により、分類種別毎に抽出された画像ファイルの画像を表示するための画像表示有効領域と、前記画像表示有効領域の画像表示サイズと、前記画像データベースから抽出された各分類種別に分類される画像ファイル数とに合わせて、前記画像表示有効領域内に前記縮小画像を一覧表示する複数の縮小画像表示ページと、分類種別を優先順位に基づき表示順序を演算する分類種別表示領域演算手段と、連続的に分類種別を表示する分類種別表示手段と、連続的に表示した前記分類種別表示手段に対応して前記縮小画像表示ページを連続的に同時表示する縮小画像表示ページ描画手段を備えたものである。

本発明の画像表示方法及び装置は、デジタルスチルカメラなどで撮影された複数のサムネールを複数の分類種別毎にページ単位で管理し表示することによって、以下の効果がある。
１）属性情報で分類された大量の画像から目的の画像を含む一覧を速やかに抽出できる。
２）属性情報で複数に分類された一覧表示を同時に表示し、指定の一覧を明確に表示し、同時表示一覧の他の分類に速やかに移行できる。
３）撮影年月日や撮影場所である県と市などの階層構造の上位階層の属性情報を指定した時、下位階層の分類を明記して、ソーティングした一覧表示ができる。

大量画像の中から所望の画像を速やかに抽出するという目的に対し、閲覧装置としての利便性向上のためユーザが指定したサムネールの画面上でのピクセル数を維持する許容最大枚数分の画像表示を行い、分類種別間の相対関係の把握を容易にするため分類種別によるソート処理を行い、ページ単位で表示させる本発明の特徴を伸長させる最適な表示形態として注目ページを前面に表示させる３次元ＣＧ表示を用いて実現した。

（実施の形態１）
図１は本発明装置の実施の形態１のサムネールを一覧表示するブラウザの基本画面であり、１は画像表示有効領域部、２は縮小画像表示ページ、３は注目ページ、４は縮小画像（サムネール）、５は分類種別表示部、６は分類種別、７は縮小画像表示指標、８は注目ページ指標である。図２は図１の縮小画像表示ページ２のページ数、及び、分類種別表示部５の分類種別６の種類、領域を決定するブロック図を示す。
図２おいて、１１は画像データベース、１２は属性情報パラメータ変換部、１３はページ形状演算部、１４は分類種別データ保存部、１５は分類種別ページ演算部、１６は分類種別領域演算部、１７は分類種別順序演算部、１８は分類種別順序演算部、１９は分類種別順序領域算出部、２０は分類種別表示部、２１は分類種別表示領域演算部である。
図２において、画像データベース１１は画像と画像が持つ属性情報（例えば、撮影位置の緯度経度や撮影日時など）を保存している。画像が保持している属性情報の分類情報（本実施例では“県”）を入力として、属性情報パラメータ変換部１２は、入力された分類種別から画像が持つ属性情報に変換して、画像データベースに入力する。例えば、画像が保有する属性情報の一つである位置情報は、撮影位置の緯度経度とすると、県境の一部は、地図情報の緯度ｘ、経度ｙを元に線分ａｘ＋ｂｙ＋ｃで表現ができ、属性情報パラメータ変換部１２は県という分類種別をｎ多角形に変換する。画像データベース１１は北海道、青森県などを検索して、マッチングがとれた画像ファイルを抽出し、分類種別データ保存部１５に分類種別単位でサムネールと共に蓄える。尚、サムネールが存在しない場合には、元画像ファイルから作成する。ここで、分類種別データ保存部１５に蓄えられた分類種別情報（本実施例では県名）を画像ファイルの属性情報としてユーザに明示的に画像データベース１１に登録させることは、再検索の行う上で高速化を図ることが可能となり有効である。

一例として、今青森県を凸のｎ多角形で近似し、その稜線を方向ベクトルＰ_m（ｍ＝１〜ｎ）で内部を左に見る順序で示し、また、画像Ａの撮影場所の位置をＱとして、各稜線の方向ベクトルの始点からＱへの方向ベクトルをＱ_mとすると、外積Ｐ_m × Ｑ_mがすべてプラスならばＱは青森県の内部であると判定され、画像Ａは分類種別である青森県に分類される。尚、凹多角形に近似される場合、凸多角形に分割してそれぞれの内外判定を行えばよい。図１においては、ある検索範囲の画像データに対して青森県、長野県、福岡県の三県の分類種別だけが検出された例である。

一方、ＣＲＴや液晶モニタの画面表示サイズもしくはモニタ内に表示する範囲をユーザが指定したブラウザ表示領域から画像有効領域演算部１３によって画像表示有効領域部１を決定し、サムネールの指定された大きさと画像表示有効領域部１を入力とするページ形状演算部１４ではページに表示されるサムネール数の最大値であるページ単位サムネール数とページ形状（本実施例では矩形のページ）領域を算出する。

図３において、左図はモニタ画面とアプリケーションのウインドウを示し、右図はアプリケーションウインドウの拡大図である。アプリケーションウインドウはユーザ操作によって縦横比、及び画素数を変更することができる。画像有効領域演算部１３はこのユーザ操作によって、アプリケーション全体の領域からアプリケーションが備える機能（例えばファイル操作など）の領域を減算して画像表示有効領域部１が決定される。ここで、画像表示有効領域部１の矩形ページの大きさを決定する必要がある。ページ表示として画像表示有効領域の右端、下端にスライダーを設け、ユーザのスライダー操作でページを前後左右にシフトさせる操作も考えられるが、ページ単位で表示の管理する上では有効でない。そこで、画像表示有効領域部１で収まる縮小画像表示ページの大きさを決定し、画像の数が多くて一枚の縮小画像表示ページに収まらない場合には縮小画像表示ページの枚数を増やし、ページ切り替え操作を行うことにより機敏な閲覧を行うことができる。
ページ形状演算部１４の動作を図３の右図において説明する。
画像表示有効領域部１の横軸の画素数をＬ、サムネールの横軸の画素数をａ、サムネール間の横軸の画素数をｂ、画像縮小表示ページの左右の開き領域をｘ、画像表示有効領域部１の左右の開き領域をｄ（本実施例では、左右の開き領域は同一としている）とした場合、以下の式が成り立つ。

Ｌ＝ｋａ＋（ｋ−１）ｂ＋２ｘ＋２ｄ（式１）
ｘ≧ｘ_min
（ｋ：縮小画像表示ページの横軸方向のサムネール数、ｘ_min：ｘ値としての最小値）
すなわち、
２ｘ＝Ｌ−ｋ（ａ＋ｂ）＋ｂ−２ｄ≧２ｘ_min
となる最大の縮小画像表示ページの横軸方向のサムネール数ｋ_maxを算出すればよい。
決定すべき画像表示縮小表示ページの横軸方向の画素数をＳとすると、以下の式で算出される。

Ｓ＝ｋmaxａ＋（ｋmax−１）ｂ＋２ｘ
同様にして、縦軸方向のサムネール数、及び縮小画像表示ページの画素数も決定できる。このように、横方向のサムネール数、縦方向のサムネール数が決定されるため、縮小画像表示ページの総サムネール数であるページ単位サムネール数が算出され、かつ、本実施例では矩形とした縮小画像表示ページの形状であるページ形状が算出される。

ここで、サムネールの画素数ａを規定せずに、画像表示有効領域部１の大きさに比例して、つまり、縮小画像表示ページの大きさに比例して、サムネールの画素数を増減させることも考えられるが、画像表示有効領域部１の縦横比を限定する場合には有効ではあるものの、縦横比を限定しない場合には、サムネールの縦横比も変動しサムネールに歪みをもたらすため、本実施例ではサムネールの画素数を予め設定している。

次に、分類種別表示領域演算部２１はページ形状演算部１４によって算出されたページ単位サムネール数と分類種別データ保存部１５に蓄えられた分類種別毎の画像数と同じサムネール数をもとに、分類種別毎のページ数を示す分類種別ページ数と分類種別の表示の並びを示す分類種別表示順序、及び各分類種別の位置と領域を出力する。

以下、図２の分類種別表示領域演算部２１の構成要素である分類種別ページ演算部１６、分類種別領域演算部１７、分類種別順序演算部１８、分類種別順序領域算出部１９を用いて説明する。

分類種別ページ演算部１６は各分類種別で表示されるべき分類種別ページ数を算出する。図１で説明すると、ページ形状演算部１４によって算出されたページ単位サムネール数は３０枚であり、分類種別データ保存部１５に蓄えられた分類種別は、青森県、長野県、福岡県で、青森県の画像数は２８枚、長野県は８７枚、福岡県は５６枚であった例であるが、単純にそれぞれ２８／３０、８７／３０、５６／３０ページで小数点以下を切り上げて、分類種別ページ数は青森県：１ページ、長野県：３ページ、福岡県：２ページとなる。

次に、分類種別領域演算部１７は画像有効領域演算部１３と同様にモニタの画面表示サイズもしくはユーザ指定されたブラウザ表示領域から分類種別表示部領域である分類種別表示部５を決定すると共に、分類種別ページ数に比例して各分類種別の領域である個別分類種別領域を決定する。

図３の右図を用いて説明すると、前述の画像有効領域演算部１３と同様に、アプリケーション全体の領域からアプリケーションが備える機能（例えばファイル操作など）の領域を減算して横軸方向の分類種別表示部領域を算出し、縦軸方向は規定の画素数の分類種別表示部領域として、分類種別表示部５を決定している。尚、横軸方向の分類種別表示領域は画像表示有効領域と整合をとる方法も考えられる。この場合は画像有効領域演算部１３の値を流用することが可能である。次に、青森県、長野県、福岡県のそれぞれの分類種別ページ数の比は１：３：２であり、分類種別表示部５の横軸画素数を１：３：２で分割して青森県、長野県、福岡県の個別分類種別領域が決定される。
ここで、図３においては、北から青森県、長野県、福岡県の順序で表示位置を示しているが、分類種別データ保存部１５に保存された分類種別は、目的をもった順序であるとは限らない。そのため、分類種別順序演算部１８は分類種別順序パラメータ（図３の実施例では“北から”。尚分類種別とは別のパラメータ、例えば“分類種別のページ数が最大のものから”を設定することも可能である。）入力として、分類種別表示部５の分類種別表示順序を決定し、分類種別順序領域算出部１９は、分類種別表示順序と個別分類種別領域から分類種別表示部５内の各分類種別の位置と領域を算出する。分類種別描画部２０は各分類種別の描画を行う。

また、図３に於ける本実施例ではｘを変数としたが、それ以外のパラメータａ、ｂ、ｄも変数として算出することもできる。例えば、ページ単位サムネール数を指定し、サムネールの画素数またはサムネール間の距離を決定する場合もある。この場合、ページ形状演算部１４は縮小画像表示ページの横軸方向のサムネール数ｋを固定し、サムネールの横軸の画素数ａもしくはサムネール間の横軸の画素数ｂを変数として、式１を適用すればａもしくはｂの値を決定でき、さらに画像表示縮小表示ページの横軸方向の画素数Ｓを算出することができる。また、サムネールの大きさを指定した場合と同様に分類種別ページ演算部１６は分類種別毎のサムネール数と指定されたページ単位サムネール数から分類種別ページ数を算出することができる。

さらに、本実施例においては画像表示有効領域部１に最大となる縮小画像表示ページを算出したが、同時に同一の大きさで縮小画像表示ページを表示する手法もある。例えば、画像表示有効領域１を４分割し、分割されたサブの画像表示有効領域に縮小画像表示ページを表示する場合などが考えられる。この場合も、サブの画像表示有効領域に対して上記で示した同様の演算を行うことによって、縮小画像表示ページのページ形状、ページ単位サムネール数を算出することができる。

次に、縮小画像表示ページ描画部２２ではページ形状演算部１４によって算出されたページ単位サムネール数とページ形状領域と、分類種別表示領域演算部２１の出力である分類種別ページ数と分類種別表示順序の制御のもとに、分類種別データ保存部１５からの分類種別情報と表示すべきサムネールを取り出し、指定されたサムネールの表示順番（例えば、撮影された位置情報である緯度や日付）で各縮小画像表示ページを描画する。

図４（Ａ）は縮小画像表示ページ描画部２２の内部構成の実施例のブロック図である。描画リスト処理部３１、２次元ページ描画部３２、２次元画像変形部３３から構成されている。また、図４（Ｂ）は描画リスト処理部３１で作成されるリストの例である。図４（Ｂ）を用いて縮小画像表示ページ描画部２２の説明を以下にする。ページ形状演算部１４から入力されたページ単位サムネール数と分類種別データ保存部１５から得る分類種別と分類種別ページ数とサムネールから、描画リスト処理部３１は図４（Ｂ）に示すような各縮小画像表示ページの分類種別、分類種別内ページ番号、分類種別内ページ番号の中に表示すべきサムネール識別を算出する。ここで、図４（Ｂ）では図１と同様に青森県、長野県、福岡県の３県で実施した例を示している。次に、２次元ページ描画部３２は分類種別表示順序から描画すべき縮小画像表示ページとその描画順序を決定し、そのページのサムネール識別のサムネールを分類種別データ保存部１５から取り出し、ページ形状演算部１４で算出されたページ形状の図形とサムネールを描画する。図４の（Ｂ）では分類種別は青森県、福岡県、長野県の順序でリスト化されているが、分類種別表示順序は青森県、長野県、福岡県の順序で描画する。尚、サムネールの取り出し順序は日付情報や緯度情報など指定された順序である。その後、２次元画像変形部３３は分類種別ページ数の総和である総ページ数に合わせて、描画されたすべての縮小画像表示ページを画像表示有効領域部１内に同一の大きさで表示できるようにアフィン変形する。尚、２次元描画部３２では、分類種別表示順序に従わず、図４（Ｂ）のリストの順に描画し、それら描画された縮小画像表示ページを保存し、分類種別表示順序に従って描画された縮小画像表示ページを取り出して２次元変形を行ってもよい。

以上により、分類種別表示部２０で描画表示された分類種別の並びに対応して縮小画像表示ページを連続的に同時表示することができる。

ここで、大量の画像を扱う際には、すべての縮小画像表示ページを同一の大きさで表示することや、すべての縮小画像表示ページの中のサムネールをすべて表示することは困難である。そのため、分類種別順序演算部１８によって算出された分類種別表示順序で各分類種別の並びが決定された複数の縮小画像表示ページの中で、注目ページを設定し、注目ページを最前面でしかも最大の占有領域を持たせ、その注目ページの属性情報の類似度なる測度で遠ざかるに従い縮小画像表示ページの占有領域を小さくすることは、注目ページの近傍ページの概要を知る上で、また、注目ページを容易に変更できるため有効である。また、複数の分類種別が表示される場合、どの分類種別が注目している分類種別かを示すことも重要である。

例えば、顕著な例として撮影された“１月”から“１２月”を分類種別として、“７月”に撮影された画像を表示する縮小画像表示ページに注目している場合、“７月”に一番類似度が高い月は６月と８月であり、“６月”と“８月”の縮小画像表示ページの占有領域を、“７月”の縮小画像表示ページの占有領域の次に大きくし、さらに、“５月”と“９月”という順序で占有領域を小さくして表示することは、ユーザの注目ページを近隣のページに変更する確度も高いため有効である。図１の本実施例での県別についても、旅行写真などは複数の近隣の県に及んでいることが多いと考えられる。

図５は分類種別順序領域算出部１９から出力された各分類種別の位置と領域である個別分類種別領域の上部にその分類種別の各縮小画像表示ページの縮小画像表示指標と、その中の注目ページ指標を出力し、有効画像表示領域１内に表示されている縮小画像表示ページの注目ページを決定するブロック図である。

各分類種別の位置と領域を入力と分類種別ページ数を入力とする指標位置決定部４１は、各分類種別の位置の上部に各分類種別の横軸方向の範囲内に等間隔で領域描画すべき縮小画像表示指標の位置を決定する。指標描画部４２は縮小画像表示指標の位置から指標を描画する。また、縮小画像表示ページ対応決定部４３は分類種別表示順序と分類種別のページ数から各縮小画像表示指標と有効画像表示領域１内に表示されている縮小画像表示ページと１対１の対応関係を決定する。ここで、注目指標指定（例えば、ユーザが縮小画像表示指標をマウスカーソルでクリックなど）すると、指標位置決定部４１はクリックされた位置から縮小画像表示指標を選別して注目ページ指標として変更する。例えば、指標の形状や色の変更などを行う。また、指標位置決定部４１で注目ページの指標を注目ページ決定部４４に出力することにより、縮小画像表示ページ対応決定部４３の出力である指標と縮小画像表示ページの対応関係から、注目ページとなる縮小画像表示ページの番号を縮小画像表示ページ描画部２２に送る。例として図１の青森県、長野県、福岡県の分類種別の上に三角形で示されたものが縮小画像表示指標であり、注目ページ指標は色を変更している。

次に注目ページ番号が指定された場合の縮小画像表示ページ描画部２２のブロック図である図６を用いて動作を説明する。図６の描画リスト処理部３１、２次元ページ描画部３２、２次元画像変形部３３は図４（Ａ）と同じである。注目ページを最前面でしかも最大の占有領域を持たせ、その注目ページの属性情報の類似度なる測度で遠ざかるに従い縮小画像表示ページの占有領域を小さくし、隠れ面消去を行って３次元的効果を出すために、まず分類種別ページ数と分類種別表示順序と注目ページ番号を入力とする描画順序ソーティング部５１は、描画する縮小画像表示ページすべてについて、最初に描画順序を決め、描画ページ番号を２次元ページ描画部３２に出力する。つまり、注目ページ番号から遠くに離れた番号の縮小画像表示ページを選択して描画を始める。一方、縮小画像ページ配置演算部５２は分類種別ページ数と注目ページ番号と描画ページ番号からアフィン変換のパラメータを決定する。すなわち、注目ページ番号から最も離れた番号の縮小画像表示ページは変形度を最も大きくして有効画像表示領域１内の占有率を少なくする変形のパラメータを出力する。２次元画像変形部３３はこのパラメータを元に縮小画像表示ページを変形して適切な位置に出力する。次に注目ページから２番目に遠い描画ページ番号を描画順序ソーティング部５１は出力し、同様に２次元ページ描画部３２は指定された描画ページ番号の縮小画像表示ページを描画する。また同じく、縮小画像ページ配置演算部５２は有効画像表示領域１の占有率を少し上げたアフィン変換のパラメータを出力して同様の処理を継続する。ここで、例えば注目ページの中心Ｏ₀とその最も近隣の縮小画像表示ページの中心Ｏ₁との距離をｃとし、Ｏ₁と次の近隣の縮小画像表示ページの中心Ｏ₂との距離をｃ・ｒ（ｒ＜１）と等比数列にした場合には、縮小画像表示ページの数の等比数列の和によって、全縮小画像表示ページの画像表示有効領域部１の横軸方向に占める距離が算出できる。この等比数列の和から、ｃを決定できる。また同様にアフィン変換のパラメータも画像縮小ページの横軸方向の長さを等比数列で求めることもできる。

ここで、２次元処理で行う縮小画像表示ページ描画部２２を説明してきたが、隠れ面処理や画像変形処理を行うなどのことから、ソーティング処理が必要であり、各縮小画像表示ページの描画が終了しないとディスプレイ上に表示できないなどの課題がある。昨今のパソコンは３次元処理を行うハードウエアグラフィックスエンジンの搭載が拡大していることから、３次元処理を行う縮小画像表示ページ描画部２２を説明する。

図７は３次元処理による縮小画像表示ページ描画部２２のブロック図であり、処理を詳細に説明する。ここで、さらに、分類種別の最初の縮小画像表示ページには見出しをつけること、また、同一分類種別の縮小画像表示ページには分類種別表示部の各分類種別領域の色と同じ色で明示する機能を追加している。

尚、描画リスト処理部３１は図４（Ａ）と同じ動作をするが、同一分類種別には指定した色情報をさらに追加されている。３次元逆変換処理部６１は画像表示有効領域を仮想３次元空間のビューポートとして入力し、また図２のページ形状演算部１４で算出されたページ形状領域と予め設定された仮想カメラ位置、縮小画像表示有効領域の縦横比と等しいアスペクト比の画面が取得されるよう設定される仮想カメラの画角、及び注目ページとして表示されるべき矩形形状の仮想スクリーンからの特定の距離を入力として、仮想３次元空間での仮想ページ形状を決定する。この決定方法について少し述べる。通常３次元処理においての画像表示は、３次元部品のローカル座標系から世界座標系に変換し、仮想カメラで仮想スクリーンに撮影してスクリーン座標に変換するが、今スクリーン座標系でのページ形状領域が入力としてあるため、逆変換処理を行ってローカル座標系での仮想ページ形状を算出することになる。つまり、カメラ情報が指定されており、また視野座標系での仮想スクリーンと仮想ページ形状が並行であり、しかも距離が一定であるならば、逆の座標変換を行うことによって、仮想ページ形状を算出することができる。ここで、仮想ページ形状には同一分類種別であることを示すための領域を自動発生させる。例えば矩形の仮想ページ形状であり、矩形を取り囲む形状を設定するならば、分類種別部品を貼り付ける、もしくは矩形を分割して、分類種別部品とするなどで対応することができる。図８（Ａ）に仮想ページ形状と分類種別部品を示す。次にサムネール３次元形状決定部６２は仮想ページ形状の上にサムネールをマッピング処理する形状を算出するものである。この方法は前述の３次元逆変換処理部６１と同様の方法でも算出することができるが、ページ単位サムネール数とサムネールの画素数、サムネールの配置からも算出することができる。つまり、前述の式１で算出したサムネールの数やサムネール画素数によってページ形状演算部１４で算出されたページ形状領域でのサムネールの配列位置の比率を、サムネール３次元形状決定部６２で算出された仮想ページ形状での座標系に適用することにより、サムネールの形状を算出することができる。以上によって算出された仮想ページ形状と仮想サムネール形状を基本ページ部品として基本ページ部品保存部６３に保存する。基本ページ部品保存部６３には見出しを示すための見出し形状部品がすでに保存されている。次に基本ページ部品空間配置部６４は図６の縮小画像ページ配置演算部５２と同等の処理ではあるが、３次元空間での配置の演算を行うものである。分類種別ページ数と分類種別表示順序により、描画すべき縮小画像表示ページの全ページ数と画面上でのそれら縮小画像表示ページの配列を算出し、さらに、注目ページ番号の基本ページ部品のローカル座標系の配置、及び、注目ページから遠ざかるに従い描画した際の画面上の占有面積が小さくなるように世界座標系での配置を算出する。図８（Ｂ）は同一の基本ページ部品の世界座標系での配置の例を模式的に表現した図である。図８（Ｂ）では世界座標系のＺ軸に垂直な平面Ｐ上のＸ軸に平行な直線Ｌ上に注目ページとなる基本ページ部品のローカル座標系でのｘ軸及びｙ軸を配置している。また、注目ページに最も近隣する縮小画像表示ページに対応する基本ページ部品の原点Ｏ_-1は直線Ｌ上に、またｙ軸は平面Ｐ上にあり、世界座標系のＹ軸と平行に配置している。ｘ軸は平面Ｐから少しＺ軸の方向にしている。同様にＯ_-2 、Ｏ_-3 も直線Ｌ上で、Ｏ_-0とＯ_-1の距離＞Ｏ_-1とＯ_-2の距離＞Ｏ_-2とＯ_-3の距離を成立させている。また、すべてのｙ軸はＹ軸と平行であり、注目ページから遠ざかるほどｘ軸はＺ軸方向に向けている。一方、原点がＯ₁である基本ページ部品も注目ページの最も近隣しているが、基本ページ部品の右下端Ｐ₁が直線Ｌ上になり、またｙ軸はＹ軸と平行になるように配置している。同様にＰ₂、Ｐ₃を直線Ｌ上に置き、さらにＰ₀とＰ₁の距離＞Ｐ₁とＰ₂の距離＞Ｐ₂とＰ₃の距離が成立するように、しかもｘ軸は徐々に−Ｙ軸方向になるように配置している。また、各分類種別の最初のページには見出し部品を貼り付けるように配置される。

尚、縮小画像ページ配置演算部５２の説明で例として挙げた等比数列でこれら距離を決定し、仮想カメラの画角によるビューボリューム内にすべての基本ページ部品が収まるように配置できる。同様に基本ページ部品のｙ軸周りの回転に関しても、回転角を等比数列にして算出することもできる。

この例では基本ページ部品が矩形の平面部品であり、複数の基本部品が並べられた場合において、仮想カメラに一番近いＹ軸方向の辺は平面Ｐ上にあり、しかもこの辺の両端のそれぞれの頂点は平面Ｐ上のＸ軸に平行な直線状に配列されるように配列している。つまりこの例では描画した際に画像表示有効領域の中に縮小画像表示ページ以外の空き領域を少なくすることと、画像表示有効領域の注目ページの近隣の縮小画像表示ページに於ける仮想カメラに近いサムネールが注目ページのサムネールとバランスがとれた見え方がなされるように配置している。

次に３次元描画部６５は、まず基本ページ部品６３から縮小画像表示ページとなる基本ページ部品と見出し部品を取り出して基本ページ部品空間配置部６４で作成された世界座標系（本例で視野座標系及び世界座標系での原点とＸ、Ｙ軸同じとしている）での基本ページ部品と見出し部品の配置をもとに座標変換を施してスクリーン座標系にする。次に描画リスト処理部３１で得られた各ページのリストからサムネール識別を元に、サムネールを分類種別データ保存部１５から取り出し、サムネールの形状部分にマッピング処理を行う。また、分類種別識別子として設けた分類種別部品には描画リスト処理部３１に追加された分類種別の色情報で描画を行う。

ここで、仮想カメラの世界座標系での位置と画角は３次元逆変換処理部６１の入力として設定した値を利用するが、３次元処理の特徴から任意に設定可能である。また、隠れ面処理はパソコンのグラフィックスエンジンが備えているＺバッファ法を用いると高速に処理できる。これら処理によって図１の画像表示有効領域部の画像が得られる。

ところで、パソコン上で縮小画像指標を指定して注目ページを選択するだけでなく、画像表示有効領域内に表示されている縮小画像表示ページをクリックなどして注目ページにすることはユーザメリットが大きい。図９は表示された縮小画像表示ページ指定による注目ページ変更の方法を示している。尚、図７で示した３次元での描画方式の場合を例にとっている。前述のユーザが画像表示有効領域内をクリックした場合、入力ポイント座標算出部７１はスクリーン座標系でのポイント座標値を出力する。縮小画像表示ページ交差判定部７２は、ポイント座標値は仮想カメラ位置からのポイント座標値を通過する視線と縮小画像表示ページ数だけ並べられた基本ページ部品との交点の有無、交点ありの場合は、仮想カメラからの距離が最も短い、つまり最前面の基本ページ部品を算出する。これは、図７に於ける基本ページ部品空間配置部６４によって現在の仮想空間上の基本ページ部品の配列と視線の交点を算出することによって得られる。尚、交点がない場合にはアクションは起こさない。また、基本ページ部品空間配置部６４に於ける配置と縮小画像表示ページの対応関係から注目ページ判別部７３は現注目ページか否かの判別を行う。注目ページでないならば、交点が算出された画像縮小表示ページの番号を注目ページ番号として、図７の縮小画像表示ページ描画部２２に入力して描画を開始する。一方、画像縮小表示ページと縮小画像表示指標とは１対１の対応関係があるため、判定された縮小画像表示ページを注目ページ指標に変更する。ここで、交点が注目ページであるならば、さらにサムネール形状との交差判定を行い、交差しないならばアクションは起こさなく、交差したならば交差したサムネールへのアクションを呼び出す信号を出力する。

次に、注目ページの切り替わりをアニメーション表示することはユーザが行った操作をとブラウザの応答として明示することができること、そして現在の注目ページと指定した注目ページの間にある縮小画像表示ページの内部を眺めることができるということ、さらに縮小画像表示指標や画像表示有効領域での注目ページの変更だけでなく、全縮小画像ページを滑らかに閲覧できることは目的の画像縮小表示ページを検索する上でも有効である。
そのため、縮小画像表示指標の上にスライダーを設けることによって、スライダーの位置の変更に伴い、アニメーション効果をつけることができ、スライダーの位置が縮小画像表示指標の中間位置で停止させると、アニメーションも停止して隣接する縮小画像表示指標間で注目ページが変更される中間の状態で二つの縮小画像表示ページを同時に閲覧できるという利点もある。図１０にアニメーションとスライダーの関係の模式図を示すもので、縮小画像表示指標は３個、つまり縮小画像表示ページは３枚の場合である。図１０（Ａ）はスライダー位置が左端の第１の縮小画像表示指標の位置にあり、縮小画像表示ページ＃１が注目ページとして表示されている。次に図１０（Ｂ）では、スライダー位置は第１の縮小画像表示指標と第２の縮小画像表示指標の中間にあり、注目ページがなく縮小画像表示ページ＃１と縮小画像表示ページ＃２が同一の大きさで表示されている。また図１０（Ｃ）では第２の縮小画像表示指標の位置にスライダーはあり、縮小画像表示ページ＃２が注目ページとなっている。

本実施例では、縮小画像表示ページの形状が矩形の場合に限定した例を挙げたが、本発明は縮小画像表示ページの形状が矩形でない場合においても有効である。以下、例えば台形や正六角形といった非矩形領域を縮小画像表示ページの形状として使用する場合の実施の一例について、先に述べた実施例と処理が異なる部分となるページ形状演算部１４と基本ページ部品空間配置部６４の２ブロックの処理について説明する。

ページ形状演算部１４では、内部に縮小画像表示ページ用形状データとそのページ形状専用の導出式を保持する。この導出式とは、先に述べた実施例での（式１）同様、画像表示有効領域部の縦・横方向の画素数の入力値に応じてページ毎に貼り付け可能なサムネール枚数を一意に決定するものである。前記実施例の説明ではページ形状演算部１４では“縦・横”の枚数を求めると説明しているが、台形状や円状等の非矩形縮小画像表示ページ形状を選択した場合等、最大サムネール数となる場合のサムネールの並べ方は必ずしもｎ行Ｘｍ列といった形態はならない場合があり、どのようなページ形状にも適用可能な導出式の導出は難しい。従ってこの導出式はページ形状毎に用意されることが望ましい。ページ形状演算部１４では、この導出式を用いてページ毎に表示可能なサムネールの導出式を求めた後、それら枚数に従って縮小画像表示ページの形状の調整を行う。この調整は用意された縮小画像表示ページ用の形状データに対するＸ，Ｙ，Ｚの各方向のスケーリング処理などが考えられる。

基本ページ部品空間配置部６４では、ページ形状演算部１４で調整された縮小画像表示ページ形状のＸ．Ｙ．Ｚ方向それぞれの大きさ（外接矩形）をもとに、縮小画像表示ページ形状間での衝突・干渉が発生しない位置の計算が行われ、実際に空間内で配置すべき座標が決定される。この場合の縮小画像表示ページの配置についても、例えば、ページ形状が正六角形の場合は各ページを２次元的に敷き詰めるような配置や、ページ形状同士の重なりによるサムネール表示面積の消失が起こりにくくする配置等、ページ形状の特性を活かした配置を考慮することより、本発明の有効性をさらに高めることが可能と考えられる。

本発明にかかる画像表示方式と装置は、ページ単位で管理するインターフェースを提供するものであり、パソコンの画像管理ソフトウェアだけでなく、デジタルスチルカメラの内蔵アプリケーション、またユーザは画面上のボタンの選択によって一覧表示を変更できることや３次元処理機能が充実しつつあるカメラ付き携帯電話のインターフェースとしての用途にも適用できる。また、ボタンでのインターフェースという観点からリモコン対応も容易である。

本発明の実施の形態１に於ける画像表示方式と装置の表示画面の説明図本発明の実施の形態１に於ける画像表示方式と装置の全体構成ブロック図本発明の実施の形態１に於ける画像表示有効領域部の説明図本発明の実施の形態１に於ける縮小画像表示ページ描画部のブロック図と縮小画像表示ページ毎の描画リストの説明図本発明の実施の形態１に於ける縮小画像表示指標の描画と注目ページ番号算出のブロック図本発明の実施の形態１に於ける注目ページとその他の縮小画像表示ページの２次元処理での描画を行うための縮小画像表示ページ描画部のブロック図本発明の実施の形態１に於ける注目ページとその他の縮小画像表示ページの３次元処理での描画を行うための縮小画像表示ページ描画部のブロック図本発明の実施の形態１に於ける縮小画像表示ページを描画するための仮想３次元部品と世界座標系でのレイアウトの説明図本発明の実施の形態１に於ける画像表示有効領域内での指定による注目ページ変更処理のブロック図本発明の実施の形態１に於けるスライダー使用と縮小画像表示ページのアニメーション模式図従来の実施例に於ける従来の画像表示装置の画面構成図従来の実施例に於けるスクロールバーを用いた画面表示図従来の実施例に於けるサムネールサイズ設定中の画面を表した図従来の実施例に於けるサムネール変化前後の画面を表した図

符号の説明

Ｌ画像表示有効領域部１の横軸の画素数
ｄ画像表示有効領域部１の左右の開き領域
ａサムネールの横軸の画素数
ｘ画像縮小表示ページの左右の開き領域
Ｓ画像表示縮小表示ページの横軸方向の画素数
ｂサムネール間の横軸の画素数

Claims

分類種別毎に抽出された画像ファイルの画像を表示するための画像表示有効領域と、画像表示有効領域の画像表示サイズと、分類種別に分類される画像ファイル数とに合わせて、画像表示有効領域内に縮小画像を一覧表示する複数の縮小画像表示ページと分類種別の表示領域とを算出する表示領域演算ステップと、
前記表示領域演算ステップで算出された分類種別の表示領域に表示される、分類種別と分類種別に対応する縮小画像表示ページを明示する縮小画像表示指標と、任意の縮小画像表示ページを注目ページとして縮小画像表示指標を明示する注目ページ指標を作成する分類種別作成ステップと、
注目ページの画像ファイル数及び注目ページとの類似度の距離に応じて段階的に凝縮表示される注目ページ以外の縮小画像表示ページ並びに注目ページの縮小画像表示ページの配置を算出する縮小画像ページ配置演算ステップと、
前記分類種別作成ステップで作成された分類種別の表示内容と前記縮小画像ページ配置演算ステップで算出された複数の縮小画像表示ページを連続的に同時表示する縮小画像表示ページ描画ステップと、
前記縮小画像表示ページ描画ステップで表示された表示画面の任意の縮小画像表示ページの画面領域内のポイント指定により、指定されたポイントが注目ページ内外の領域かを判定する注目ページ判別ステップと、
前記注目ページ判別ステップでポイントが注目ページ外の領域であると判別した場合には、ポイント指定されたページを注目ページに変更し、注目ページ指標の位置を変更する注目ページ変更ステップと
を有することを特徴とする画像表示方法。
分類種別毎に抽出された画像ファイルの画像を表示するための画像表示有効領域と、画像表示有効領域の画像表示サイズと、分類種別に分類される画像ファイル数とに合わせて、画像表示有効領域内に縮小画像を一覧表示する複数の縮小画像表示ページと分類種別の表示領域とを算出する表示領域演算ステップと、
前記表示領域演算ステップで算出された分類種別の表示領域に表示される、連続的な分類種別と、分類種別に対応する縮小画像表示ページを明示する縮小画像表示指標と、縮小画像表示指標に関連付けられたスライダーを作成する分類種別作成ステップと、
任意の縮小画像表示ページを注目ページとし、注目ページの画像ファイル数、及び注目ページとの類似度の距離に応じて段階的に凝縮表示される注目ページ以外の縮小画像表示ページ並びに注目ページの縮小画像表示ページの配置を算出する縮小画像ページ配置演算ステップと、
前記分類種別作成ステップで作成された分類種別の表示内容と前記縮小画像ページ配置演算ステップで算出された複数の縮小画像表示ページを連続的に同時表示する縮小画像表示ページ描画ステップと、
前記縮小画像表示ページ描画ステップで表示された表示画面の分類種別の表示内容に関連付けて、任意の縮小画像表示ページを注目ページに更新するスライダー操作ステップと
を有することを特徴とする画像表示方法。
前記分類種別表示ステップの各分類種別の領域は、指定された属性情報に対応した縮小画像表示ページの枚数に対応してサイズを変化させることを特徴とする、請求項１または請求項２に記載の画像表示方法。
前記注目ページ変更ステップ、またはスライダー操作ステップによる注目ページの更新過程を動画表示することを特徴とする請求項１、または請求項２に記載の画像表示方法。
前記分類種別表示ステップの各分類種別に対応する縮小画像表示ページ内に識別子を備え、凝縮表示状態においても明示することを特徴とする請求項１または請求項２に記載の画像表示方法。
前記分類種別表示ステップの各分類種別に対応する縮小画像表示ページの先頭ページに分類種別の見出しを設けたことを特徴とする、請求項１または請求項２に記載の画像表示方法。
請求項１から６のいずれかの請求項に記載の画像表示方法により画像を表示する画像表示装置。
請求項１から６のいずれかの請求項に記載の画像表示方法を含むプログラム。
請求項８に記載のプログラムを記録した媒体。