JP6346476B2

JP6346476B2 - 表示制御装置、制御方法、プログラム及び記録媒体

Info

Publication number: JP6346476B2
Application number: JP2014053984A
Authority: JP
Inventors: 俊孝相場
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-17
Filing date: 2014-03-17
Publication date: 2018-06-20
Anticipated expiration: 2034-03-17
Also published as: US9736380B2; US20150264268A1; JP2015177455A

Description

本発明は、表示制御装置、制御方法、プログラム及び記録媒体に関する。

デジタルカメラ等の撮像装置の中には、撮影後に異なる焦点状態の画像を生成することが可能な画像信号を出力できるものがある。所謂プレノプティックカメラ（plenoptic camera）のような撮像装置では、図１１に示されるように撮像素子１１０３と光学系の瞳１１０１との間にマイクロレンズアレイ１１０２を設けている。このように光学系を構成することで、各マイクロレンズに入射する光束を瞳分割して記録できる。即ち、このような撮像装置では、被写体からの反射光を入射位置と方向とに分けて画像信号（光線空間情報）として記録することができる。このようにして得られた光線空間情報を所定の基準に基づいて画素の並べ替えを行うことで、所定の焦点距離に対応する面における光線分布を再現することができる。

ところで、光線空間情報は隣り合う画素が異なる分割瞳を通過した光束に対応する画素値を示しており、そのままの配列で表示したとしても被写体を表現する画像は得られない。被写体を表現した画像を得るためには、特定の焦点距離に対応する面での光線分布を再現した後、瞳分割された光束に対応する画素を足し合わせて画素を生成する再構成処理を行う必要がある。しかしながら、該再構成処理には所定の演算時間を要するため、例えば複数の光線空間情報に係る画像を生成して一覧表示する場合には、各光線空間情報について画像が生成されて一覧表示されるまでに時間を要することがある。これに対し特許文献１には、画素を間引いて生成したサムネイル画像を光線空間情報と共に記録しておき、一覧表示の際には該サムネイル画像を表示する方法が開示されている。

特開２００８−２１９８７８号公報

ところで、光線空間情報からは複数の被写体距離に合焦した、異なる焦点状態の画像を生成することが可能であるため、表示されるサムネイル画像が所望の焦点状態ではない可能性がある。

これに対し、複数の被写体距離に対応したサムネイル画像を光線空間情報とともに予め記録しておくことが考えられるが、複数のサムネイル画像を一覧表示において全て表示すると、同一の構図で焦点状態が異なる画像が複数並ぶことになる。特に複数の光線空間情報を含むサムネイル画像の一覧表示では、類似する焦点状態のサムネイル画像群が多数並ぶだけでなく、このようなサムネイル画像群が複数並ぶことになるため、ユーザは所望の画像を探すことが困難であった。

本発明は、上述の問題点に鑑みてなされたものであり、一覧性を向上させ、ユーザが所望の焦点状態の画像を容易に閲覧可能な表示制御装置、制御方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の表示制御装置は、以下の構成を備えることを特徴とする。具体的には表示制御装置は、焦点状態を変更可能な光線空間情報と第１の焦点状態を有する画像とが対応付けて記録されている記録媒体から、情報を取得する取得手段と、記録媒体に記録されている画像を表示手段に表示させる表示制御手段であって、光線空間情報に、第１の焦点状態とは異なる他の焦点状態の画像が関連付けられている場合に、他の焦点状態の画像が存在することを通知する第１の表示アイテムを、第１の焦点状態の画像とともに表示手段に表示させる表示制御手段と、を有し、第１の焦点状態は、被写界深度が深いパンフォーカスであり、表示制御手段は、第１の表示アイテムに対する指示入力を受け付けたことに応じて、他の焦点状態の画像を表示手段に表示させ、第１の焦点状態の画像に対する指示入力を受け付けたことに応じて、他の焦点状態の画像において合焦状態である被写体を特定するための第２の表示アイテムを、第１の焦点状態の画像と共に表示手段に表示させることを特徴とする。

このような構成により本発明によれば、一覧性を向上させ、ユーザが所望の焦点状態の画像を容易に閲覧することが可能となる。

本発明の実施形態に係るＰＣ１００の機能構成を示した図本発明の実施形態に係る光線空間情報ファイルのデータ構造を示した図本発明の実施形態に係る画像ファイルの一覧表示に係るアプリケーションウィンドウを例示した図本発明の実施形態に係る対応サムネイル画像の一覧表示に係るアプリケーションウィンドウを例示した図本発明の実施形態に係るＰＣ１００で実行される一覧表示処理を例示したフローチャート本発明の実施形態に係るＰＣ１００で実行される対応サムネイル画像表示処理を例示したフローチャート本発明の実施形態に係る対応サムネイル画像の追加に係る表示遷移を例示した図本発明の実施形態に係るＰＣ１００で実行される追加処理を例示した風呂チャート本発明の実施形態に係る対応サムネイル画像の削除に係る表示を例示した図本発明の実施形態に係るＰＣ１００で実行される削除処理を例示したフローチャート光線空間情報の取得に係る光学系の構成例を示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、表示制御装置の一例としての、光線空間情報から所定の焦点状態の画像（再構成画像）を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、光線空間情報から再構成画像を生成することが可能な任意の機器に適用可能である。

《ＰＣ１００の構成》
図１は、本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、ＰＣ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２や記録媒体１０４に記録された各ブロックの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。

ＲＯＭ１０２は、電気的に書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、ＰＣ１００が有する各ブロックの動作プログラムに限らず、各ブロックの動作において必要となるパラメータ等を格納する。ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

記録媒体１０４は、例えばＨＤＤやメモリカード等のＰＣ１００に着脱可能に接続される記録媒体である。記録媒体１０４には、ＰＣ１００が有する各ブロックの動作プログラムや、各ブロックの動作において機能が実現されるアプリケーションプログラム等が記録されている。本実施形態では、後述する画像閲覧アプリケーションに係るプログラムは記録媒体１０４に格納されているものとする。また本実施形態では記録媒体１０４には、画像閲覧アプリケーションの閲覧対象となる画像や光線空間情報等が記録されているものとする。

操作入力部１０５は、例えばマウスやキーボード等のＰＣ１００が有するユーザインタフェースである。操作入力部１０５は、ユーザインタフェースになされた操作入力の受付をすると、対応する制御信号を制御部１０１に出力する。

表示制御部１０６は、表示部１０７の表示内容を制御する。表示制御部１０６は、例えばＧＰＵのような描画装置を含んでもよく、制御部１０１からの指示に従い、表示部１０７に表示する画像を生成するものであってもよい。表示部１０７は、例えばＬＣＤ等の表示装置である。表示部１０７は、ＰＣ１００に内蔵されるものであってもよいし、ＰＣ１００に接続される外部の装置であってもよい。

《画像閲覧アプリケーションの動作》
以下、本実施形態のＰＣ１００において実行される画像閲覧アプリケーションについて、その動作を説明する。

画像閲覧アプリケーションが起動されると、図３に示されるアプリケーションウィンドウ３００には記録媒体１０４の所定の格納場所に格納されている画像ファイルに対応する画像が一覧表示される。上述したように、光線空間情報は再構成画像を生成する処理を行わなければ対応する画像を閲覧することができないため、本実施形態で取り扱う光線空間情報には予め定められた焦点状態のサムネイル画像が生成され、光線空間情報に関連付けられているものとする。本実施形態では光線空間情報は、ＲＡＷ形式のファイルとして記録され、ファイル内にサムネイル画像のデータが含められているものとする。

〈光線空間情報ファイルの構成〉
ここで、本実施形態で取り扱われる光線空間情報ファイルの構成について、図２を用いて詳細を説明する。なお、光線空間情報ファイルは、上述したようなプレノプティックカメラにより撮影されて記録されるものとする。

図２に示されるように、光線空間情報ファイルにはプレノプティックカメラの撮像素子の出力のデジタルデータに相当する光線空間情報２０３に加えて、一覧表示や再構成画像の生成に必要な情報が含まれる。具体的には、ファイルの定義やファイルが光線空間情報ファイルであることを示す情報等を含むヘッダ２０１がファイルの先頭に配置される。そしてヘッダ２０１に続けて、光線空間情報２０３を撮影した際の撮影日時や撮影機種名、その他、撮影時に設定されていた焦点距離等の撮影条件を示す情報である撮影情報２０２が含まれる。

また一覧表示時における該光線空間情報ファイルのサムネイル画像として表示する表示用サムネイル画像データ２０４が光線空間情報２０３に続く。表示用サムネイル画像データ２０４は、本実施形態ではユーザが光線空間情報ファイルの撮影が行われた環境に存在していた被写体を把握可能なように、被写界深度の深い、所謂パンフォーカスの焦点状態を表現した再構成画像に基づいて生成されるものとする。即ち、光線空間情報２０３のうち、限定的な瞳領域を通過した光束に対応する情報のみを使用して生成された、絞り口径が小さい状態で撮影された画像と等価な再構成画像が、表示用サムネイル画像データ２０４として用いられる。本実施形態では、表示用サムネイル画像データ２０４をパンフォーカス画像であるものとして説明するが、本発明の実施はこれに限られるものではない。画像閲覧アプリケーションにおいて光線空間情報ファイルの概要を説明するものとして表示される表示用の画像は、例えば予め定められた焦点状態を表現する再構成画像に基づく画像であればよい。

また本実施形態の光線空間情報ファイルには、表示用のサムネイル画像とは別に、該画像とは異なる焦点状態のサムネイル画像を含めることができる。表示用とは異なる焦点状態のサムネイル画像（対応サムネイル画像）は、例えばプレノプティックカメラを使用した光線空間情報の撮影の際に撮影者が選択した被写体が合焦状態となるように生成した再構成画像に基づくサムネイル画像であってよい。あるいは、例えば撮影した光線空間情報から生成可能な複数の焦点状態のうちの所定数の焦点状態の再構成画像に基づくサムネイル画像であってもよいし、予め定められた被写体距離に合焦した再構成画像に基づくサムネイル画像であってもよい。本実施形態の光線空間情報ファイルには、このような対応サムネイル画像の数を示すフォーカス情報数２０５を有する。またフォーカス情報数２０５で示される数の対応サムネイル画像の各々について、フォーカス情報２０６及び対応サムネイル画像データ２０７が光線空間情報ファイルに含められている。

フォーカス情報２０６には、例えば光線空間情報２０３から対応サムネイル画像を生成する際に使用した条件や、対応サムネイル画像における合焦状態の被写体に係る情報等が含まれてよい。対応サムネイル画像における合焦状態の被写体に係る情報は、例えば対応サムネイル画像中の合焦状態にある被写体の位置（座標）を特定する情報であってもよいし、撮影時に撮影者により選択された被写体の位置を特定する情報であってもよい。また、合焦状態にある被写体に係る被写体距離や対応する焦点距離の情報等であってもよい。またこの他、対応サムネイル画像における合焦状態の被写体に係る情報には、対応サムネイル画像における被写界深度を示す情報が含まれていてもよい。

〈対応サムネイル画像に係る表示〉
本実施形態の画像閲覧アプリケーションでは、光線空間情報ファイルが一覧表示される際、図３に示されるように光線空間情報ファイルの各々から読み出された表示用サムネイル画像データ２０４がアプリケーションウィンドウ３００に配置されて表示される。なお、図３では説明を簡単にするため、画像閲覧アプリケーションの一覧表示の対象となるファイルの格納場所に光線空間情報ファイルのみが記録されているものとして説明する。しかしながら、本発明は光線空間情報ファイルのみを表示するアプリケーションに限られるものではなく、光線空間情報ファイルとは異なる所謂通常の画像ファイルも同様に一覧表示の対象となってもよいことは容易に理解されよう。

図３に示されるように、１つの光線空間情報ファイルについては、そのファイル名３０１、表示用サムネイル画像３０３（第１画像）が表示される。また本実施形態の画像閲覧アプリケーションでは、光線空間情報ファイルを一覧表示する際には、表示用サムネイル画像３０３上にフォーカス情報通知３０２が重畳されて表示される。

フォーカス情報通知３０２は、一覧表示の対象が光線空間情報ファイルである場合に表示される表示アイテムとしてのアイコンである。フォーカス情報通知３０２は、光線空間情報ファイルに対応サムネイル画像データ２０７が含まれている場合にはその数を示す文字列が付加された形で表示される（第１の表示アイテム）。またフォーカス情報通知３０２は、対応サムネイル画像データ２０７が含まれていない場合には該文字列がない状態で表示される（第２の表示アイテム）。図３の例では、ファイル名３０１ａの光線空間情報ファイルには２つの対応サムネイル画像データ２０７が含まれているため、フォーカス情報通知３０２ａには文字列「２」が下部に付加された状態で表示用サムネイル画像３０３ａに重畳されている。またファイル名３０１ｂの光線空間情報ファイルには対応サムネイル画像データ２０７が含まれていないため、フォーカス情報通知３０２ｂは文字列が付加されない状態で表示用サムネイル画像３０３ｂに重畳されている。

ユーザは、このような表示態様のアプリケーションウィンドウ３００において、例えばマウス等のポインティングデバイスを使用してフォーカス情報通知３０２に対する指示入力を行うことで、対応サムネイル画像データ２０７をさらに閲覧することができる。具体的には、フォーカス情報通知３０２への指示入力がなされた場合、対応する光線空間情報ファイルに対応サムネイル画像データ２０７が含まれている場合、図４のようなアプリケーションウィンドウ４００に遷移する。あるいは、アプリケーションウィンドウ３００に加えてさらにアプリケーションウィンドウ４００が表示される。アプリケーションウィンドウ４００は、図３のフォーカス情報通知３０２ａに対する指示入力がなされた対象である光線空間情報ファイルのファイル名４０１が表示される。またアプリケーションウィンドウ４００には、該光線空間情報ファイルに含まれていた対応サムネイル画像データ２０７に基づく２つの対応サムネイル画像４０２ａ及びｂ（第２画像）が整列されて表示される。図４において対応サムネイル画像４０２ａは撮影時にカメラ近くに存在していた人物に合焦している画像であり、対応サムネイル画像４０２ｂは撮影時に遠景であった建物に合焦している画像である。

つまり、本実施形態の画像閲覧アプリケーションでは、光線空間情報ファイルを含むファイル群を一覧表示する際には、該光線空間情報ファイルの設定されている１つの表示用サムネイル画像のみが表示される。このとき、表示用サムネイル画像とは異なる焦点状態の対応サムネイル画像が別途ファイルに含まれている場合には、対応サムネイル画像が存在することを示す通知が表示される。そして、該通知に対する指示入力がなされた場合には、対応する光線空間情報ファイルに関連付けられた対応サムネイル画像が一覧表示される画面が表示される。

なお、ユーザはアプリケーションウィンドウ４００において戻るボタン４０３に対する指示入力を行うことで、画像ファイルの一覧表示を行うアプリケーションウィンドウ３００に表示を戻すことができる。

〈一覧表示処理〉
以下、本実施形態の画像閲覧アプリケーションの一覧表示に係る一覧表示処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が記録媒体１０４に記録されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本一覧表示処理は、例えば画像閲覧アプリケーションが起動された際に開始され、スクロール操作等により一覧表示するファイルの範囲が変更された際にも実行されるものとして説明する。

Ｓ５０１で、制御部１０１は、記録媒体１０４の予め定められた格納場所に格納されている画像ファイル群のうち、一覧表示に係るアプリケーションウィンドウ３００に配置するファイルを特定する。そして制御部１０１は、これらのファイルのうち、アプリケーションウィンドウ３００に係る画像データに表示用の画像を配置させていない１つの画像ファイル（対象ファイル）を選択する。

Ｓ５０２で、制御部１０１は、選択した対象ファイルが光線空間情報ファイルであるか否かを判断する。具体的には制御部１０１は、対象ファイルのヘッダ２０１を読み出して本ステップの判断を行う。制御部１０１は、対象ファイルが光線空間情報ファイルであると判断した場合は処理をＳ５０３に移す。また制御部１０１は、対象ファイルが光線空間情報ファイルではないと判断した場合は対象ファイルは通常の画像ファイルであるため、Ｓ５０７で関連付けられたサムネイル画像あるいは間引きにより生成した画像を対象ファイルの表示用画像として設定する。そして表示制御部１０６は、アプリケーションウィンドウ３００に係り生成している画像データの対応する領域に該表示用画像と対象ファイルのファイル名の文字列とを配置する。

対象ファイルが光線空間情報ファイルであると判断した場合、制御部１０１はＳ５０３で、表示用画像である対象ファイルの表示用サムネイル画像データ２０４を読み出す。そして制御部１０１は該データと対象ファイルのファイル名の情報とを表示制御部１０６に伝送し、アプリケーションウィンドウ３００に係る画像データ上の対応する領域に配置させる。

Ｓ５０４で、制御部１０１は、対象ファイルに表示用画像以外の対応サムネイル画像データ２０７が含まれているか否かを判断する。具体的には制御部１０１は、対象ファイルのフォーカス情報数２０５を参照し、対象ファイルに含まれる対応サムネイル画像データの数が１以上であるか否かを判断することにより、本ステップの判断を行う。制御部１０１は、対象ファイルに表示用画像以外の対応サムネイル画像データ２０７が含まれていると判断した場合は処理をＳ５０５に移し、含まれていないと判断した場合は処理をＳ５０６に移す。

Ｓ５０５で、制御部１０１は、対象ファイルのフォーカス情報数２０５を表示制御部１０６に伝送し、アプリケーションウィンドウ３００に係る画像データ上の対象ファイルの表示用画像の領域にフォーカス情報通知３０２のアイコンとともに配置させる。

一方、対象ファイルに対応サムネイル画像データ２０７が含まれていない場合、表示制御部１０６はＳ５０６で、アプリケーションウィンドウ３００に係る画像データ上の対象ファイルの表示用画像の領域にフォーカス情報通知３０２のアイコンのみを配置する。

Ｓ５０８で、制御部１０１は、アプリケーションウィンドウ３００に配置する全ての画像ファイルの表示用画像をアプリケーションウィンドウ３００に係る画像データに配置させたか否かを判断する。制御部１０１は、全ての画像ファイルの表示用画像を配置させたと判断した場合は処理をＳ５０９に移し、まだ配置させていない画像ファイルが存在すると判断した場合は処理をＳ５０１に戻す。

Ｓ５０９で、制御部１０１は、操作入力部１０５により生成されたアプリケーションウィンドウ３００に係る画像データを表示部１０７に表示させ、本一覧表示処理を完了する。

〈対応サムネイル画像表示処理〉
次に、一覧表示処理により表示されたアプリケーションウィンドウ３００においてフォーカス情報通知３０２に対する指示入力がなされた際に実行される対応サムネイル画像の一覧表示に係る対応サムネイル画像表示処理について、図６を用いて詳細を説明する。該フローチャートに対応する処理も、制御部１０１により同様に実行される。

Ｓ６０１で、制御部１０１は、フォーカス情報通知３０２への指示入力がなされた光線空間情報ファイル（対象ファイル）からフォーカス情報数２０５を読み出し、配置画像数としてＲＡＭ１０３に格納する。

Ｓ６０２で、制御部１０１は、対象ファイルから対応サムネイル画像の一覧表示に係るアプリケーションウィンドウ４００に係る画像データにまだ配置されていない対応サムネイル画像データ２０７を読み出す。そして制御部１０１は該データを表示制御部１０６に伝送し、アプリケーションウィンドウ４００に係る画像データの対応する領域に配置させる。

Ｓ６０３で、制御部１０１は、配置画像数の対応サムネイル画像をアプリケーションウィンドウ４００に係る画像データに配置させたか否かを判断する。制御部１０１は、配置画像数の対応サムネイル画像を配置させていないと判断した場合は処理をＳ６０２に戻し、配置させたと判断した場合は処理をＳ６０４に移す。

Ｓ６０４で、制御部１０１は、操作入力部１０５により生成されたアプリケーションウィンドウ４００に係る画像データを表示部１０７に表示させ、本対応サムネイル画像表示処理を完了する。

このように本実施形態の画像閲覧アプリケーションでは、複数の画像ファイルを一覧表示する際には関連付けられた表示用の画像のみを表示し、関連付けられた異なる焦点状態の画像が存在すること通知のみを行う。そして通知に対する指示入力があった場合に、表示用の画像以外の対象の光線空間情報ファイルに関連付けられた異なる焦点状態の画像を表示するため、ユーザは所望の焦点状態の画像を容易に探し出し、閲覧あるいは選択することができる。

〈対応サムネイル画像データの追加〉
本実施形態の画像処理アプリケーションはさらに、光線空間情報ファイルに対応サムネイル画像データ２０７を新たに生成して追加することができる。例えば図３のアプリケーションウィンドウ３００において、光線空間情報ファイルの表示用サムネイル画像を対応サムネイル画像追加用に選択する指示入力がなされた場合に、図７（ａ）のような合焦位置ウィンドウ７００が表示される。

合焦位置ウィンドウ７００には、選択する指示入力がなされた光線空間情報ファイルの表示用サムネイル画像７０１が表示されている。そして合焦位置ウィンドウ７００では、該ファイルに含まれる対応サムネイル画像データ２０７の各々において合焦する被写体の位置を示す合焦位置マーカ７０２（第２の表示アイテム）が、表示用サムネイル画像７０１上に重畳表示される。図７（ａ）は、図３の表示用サムネイル画像３０３ａを選択する指示入力がなされた場合に表示される合焦位置ウィンドウ７００を例示している。図７（ａ）に示されるように、対応する光線空間情報ファイルに含まれていた２つの対応サムネイル画像データ２０７において合焦している被写体である人物と建物のそれぞれの位置に合焦位置マーカ７０２ａ、ｂが重畳されている。

ユーザは、このような合焦位置ウィンドウ７００により選択した表示用サムネイル画像の光線空間情報ファイルに、いずれの被写体に合焦している対応サムネイル画像が含まれているのかを確認することができる。ユーザは、合焦位置ウィンドウ７００においてキャンセルボタン７０３に対する指示入力を行うことで、画像ファイルの一覧表示をするアプリケーションウィンドウ３００にもどることができる。一方で、ユーザは表示用サムネイル画像７０１上の任意の位置を指定する指示入力を行うことで、新たに追加する対応サムネイル画像を確認する再構成画像ウィンドウ７１０に表示を遷移させることができる。

図７（ｂ）は再構成画像ウィンドウ７１０を例示した図である。合焦位置ウィンドウ７００において表示用サムネイル画像７０１上の位置を指定する指示入力がなされた場合、該位置に表示される被写体に合焦した再構成画像７１１（合焦画像）が生成される。該再構成画像７１１は、再構成画像ウィンドウ７１０に配置されて表示される。図７（ｂ）に示されるように、再構成画像７１１上には指定された合焦させる被写体の位置を通知する合焦位置マーカ７１２が重畳されて表示される。ユーザは、表示された再構成画像７１１を対応サムネイル画像として新たに対象の光線空間情報ファイルに追加したい場合は、再構成画像ウィンドウ７１０の保存ボタン７１３に対する指示入力を行うことにより光線空間情報ファイルを更新することができる。光線空間情報ファイルの更新後、表示は合焦位置ウィンドウ７００に戻るが、該表示を終了してファイルの一覧表示に戻った場合は、アプリケーションウィンドウ３００において該ファイルについてフォーカス情報通知３０２とともに表示される数値は増加する。またユーザは、再構成画像７１１を対応サムネイル画像として追加することを望まない場合は、キャンセルボタン７１４に対する指示入力を行うことにより光線空間情報ファイルを更新することなく合焦位置ウィンドウ７００に表示を戻すことができる。

〈追加処理〉
ここで、一覧表示処理により表示されたアプリケーションウィンドウ３００において表示用サムネイル画像３０３を選択する指示入力がなされた際に実行される対応サムネイル画像を追加する追加処理について、図８を用いて詳細を説明する。該フローチャートに対応する処理も、制御部１０１により同様に実行される。

Ｓ８０１で、制御部１０１は、表示用サムネイル画像３０３が選択された光線空間情報ファイル（対象ファイル）からフォーカス情報数２０５を読み出し、マーカ配置数としてＲＡＭ１０３に格納する。

Ｓ８０２で、制御部１０１は、対象ファイルから表示用サムネイル画像７０１上にまだ合焦位置マーカ７０２を配置していない対応サムネイル画像に係るフォーカス情報２０６を読み出す。そして制御部１０１は該データのうちの合焦状態にある被写体の位置の情報を表示制御部１０６に伝送し、合焦位置ウィンドウ７００に係る画像データに配置された表示用サムネイル画像７０１上の対応する位置に合焦位置マーカ７０２を配置させる。

Ｓ８０３で、制御部１０１は、マーカ配置数の合焦位置マーカ７０２を合焦位置ウィンドウ７００に係る画像データに配置させたか否かを判断する。制御部１０１は、マーカ配置数の合焦位置マーカ７０２を配置させていないと判断した場合は処理をＳ８０２に戻し、配置させたと判断した場合は処理をＳ８０４に移す。

Ｓ８０４で、制御部１０１は、操作入力部１０５により生成された合焦位置ウィンドウ７００に係る画像データを表示部１０７に表示させる。

Ｓ８０５で、制御部１０１は、表示用サムネイル画像の画像上に新たに追加する対応サムネイル画像に係る合焦位置を指定する指示入力がなされたか否かを判断する。制御部１０１は、該指示入力がなされたと判断した場合は処理をＳ８０６に移し、なされていないと判断した場合は処理をＳ８１０に移す。

Ｓ８０６で、制御部１０１は、指示入力がなされた合焦位置に表示される被写体までの被写体距離の情報を取得し、該被写体に合焦する再構成画像７１１を対象ファイルの光線空間情報２０３から生成する。

Ｓ８０７で、制御部１０１は、生成した再構成画像７１１と合焦位置の情報とを表示制御部１０６に伝送し、再構成画像ウィンドウ７１０に係る画像データを生成させ、表示部１０７に表示させる。具体的には表示制御部１０６は、再構成画像ウィンドウ７１０に係る画像データ上に再構成画像７１１を配置し、さらに再構成画像７１１上の合焦位置で示される位置に合焦位置マーカ７１２を配置して表示する画像データを生成する。

Ｓ８０８で、制御部１０１は、再構成画像ウィンドウ７１０の再構成画像７１１に係る対応サムネイル画像の保存指示とキャンセル指示のいずれかがなされたか否かを判断する。制御部１０１は、保存指示がなされたと判断した場合は処理をＳ８０９に移し、キャンセル指示がなされたと判断した場合は処理をＳ８０５に戻す。

Ｓ８０９で、制御部１０１は、対象ファイルのフォーカス情報数２０５を１増加させた値に変更し、再構成画像７１１に係る対応サムネイル画像データ２０７と合焦位置の情報を含むフォーカス情報２０６の情報を対象ファイルに追加して更新する。制御部１０１は、更新の完了後、処理をＳ８０２に戻す。

一方、Ｓ８０５において合焦位置を指定する指示入力がなされていないと判断した場合、制御部１０１はＳ８１０で、キャンセル指示がなされたか否かを判断する。制御部１０１はキャンセル指示がなされたと判断した場合は本追加処理を完了し、なされていないと判断した場合は処理をＳ８０５に戻す。

このように本実施形態の画像閲覧アプリケーションでは、光線空間情報ファイルに、表示用の画像以外の対応サムネイル画像を容易に追加することができる。

〈対応サムネイル画像データの削除〉
本実施形態の画像処理アプリケーションはさらに、光線空間情報ファイルに含まれる対応サムネイル画像データ２０７を削除することもできる。例えば、図４のアプリケーションウィンドウ４００において表示されている対応サムネイル画像４０２ａを選択して削除ボタンを操作することで、図９のように対応サムネイル画像４０２ａが削除対象となった表示（網掛け表示）に遷移する。そして、ユーザはこの状態でアプリケーションウィンドウ４００の表示を終了するための指示入力を行うことで、削除対象にある対応サムネイル画像を対象の光線空間情報ファイルから削除することができる。

〈削除処理〉
以下、アプリケーションウィンドウ４００の表示中に実行される、該対応サムネイル画像を光線空間情報ファイルから削除する削除処理について、図１０を用いて詳細を説明する。該フローチャートに対応する処理も、制御部１０１により同様に実行される。

Ｓ１００１で、制御部１０１は、新たにいずれかの対応サムネイル画像を削除対象とする指示入力がなされたか否かを判断する。制御部１０１は、新たにいずれかの対応サムネイル画像を削除対象とする指示入力がなされたと判断した場合は処理をＳ１００２に移し、なされていないと判断した場合は処理をＳ１００４に移す。

Ｓ１００２で、制御部１０１は、新たに削除対象とされた対応サムネイル画像を特定する情報を取得し、該情報を例えばＲＡＭ１０３に生成した削除対象リストに追加して保持する。対応サムネイル画像を特定する情報は、例えば光線空間情報ファイルに記録されている対応サムネイル画像のうち、先頭から何番目に記録されている対応サムネイル画像であるか等の情報でよい。

Ｓ１００３で、制御部１０１は、新たに削除対象とされた対応サムネイル画像を特定する情報を表示制御部１０６に伝送し、対応する対応サムネイル画像が削除対象となった状態に表示を変更した画像データを生成させ、表示部１０７に表示させる。

Ｓ１００４で、制御部１０１は、対応サムネイル画像の表示を行うアプリケーションウィンドウ４００の表示を終了する指示入力がなされたか否かを判断する。制御部１０１は、アプリケーションウィンドウ４００の表示を終了する指示入力がなされたと判断した場合は処理をＳ１００５に移し、なされていないと判断した場合は処理をＳ１００１に戻す。

Ｓ１００５で、制御部１０１は、ＲＡＭ１０３に格納されている削除対象リストに削除対象の対応サムネイル画像を特定する情報が含まれているか否かを判断する。制御部１０１は、削除対象リストに該情報が含まれていると判断した場合は処理をＳ１００６に移し、なされていないと判断した場合は本削除処理を完了する。

Ｓ１００６で、制御部１０１は、対象の光線空間情報ファイルから削除対象リストに含まれる対応サムネイル画像に係る対応サムネイル画像データ２０７及びフォーカス情報２０６を削除する。このとき、制御部１０１は対応サムネイル画像の数の構造体を有するフォーカス情報に係る配列を再ソートし、データの順番を整合させる。また制御部１０１は、光線空間情報ファイルのフォーカス情報数２０５から削除対象リストに含まれていた対応サムネイル画像の数を減じて新たな値に変更する。また制御部１０１は、削除対象リストのデータを削除する。処理後、制御部１０１は本削除処理を完了する。

このように本実施形態の画像閲覧アプリケーションでは、光線空間情報ファイルに含まれる表示用の画像以外の対応サムネイル画像を削除することができる。また本実施形態の画像閲覧アプリケーションでは対応サムネイル画像を表示させて削除対象を選択するものとして説明したが、フォーカス情報の一覧を表示させて削除対象を選択するものとしてもよい。

また、本実施形態では光線空間情報ファイルには、再構成画像から生成されたサムネイル画像をがファイルに含められるものとして説明したが、本発明の実施はこれに限られるものではない。つまり、光線空間情報ファイルに含められる画像は、サムネイル画像に限られるものではなく、光線空間情報から生成した再構成画像そのものが含められるものであってもよい。また光線空間情報とこれらの画像とは１つのファイルに構成されるものである必要はなく、別々のファイルとして存在し、互いに関連付けられて構成されるものであってもよい。

以上説明したように、本実施形態の表示制御装置は、一覧性を向上させ、ユーザが所望の焦点状態の画像を容易に閲覧することができる。具体的には表示制御装置は、焦点状態を変更可能な光線空間情報に、該光線空間情報に対応づけられている第１の焦点状態の第１画像とは異なる第２の焦点状態の第２画像が関連付けられているか否かを判断する。そして、第２画像が関連付けられていると判断された場合に、第２画像が存在することを通知する第１の表示アイテムを、第１画像とともに表示装置に表示させる。表示制御装置は、第１の表示アイテムに対する指示入力が受け付けられたことに応じて、該光線空間情報に関連付けられた第２画像を表示装置に表示させる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

焦点状態を変更可能な光線空間情報と第１の焦点状態を有する画像とが対応付けて記録されている記録媒体から、情報を取得する取得手段と、
前記記録媒体に記録されている画像を表示手段に表示させる表示制御手段であって、前記光線空間情報に、前記第１の焦点状態とは異なる他の焦点状態の画像が関連付けられている場合に、前記他の焦点状態の画像が存在することを通知する第１の表示アイテムを、前記第１の焦点状態の画像とともに表示手段に表示させる表示制御手段と、を有し、
前記第１の焦点状態は、被写界深度が深いパンフォーカスであり、
前記表示制御手段は、
前記第１の表示アイテムに対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像を前記表示手段に表示させ、
前記第１の焦点状態の画像に対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像において合焦状態である被写体を特定するための第２の表示アイテムを、前記第１の焦点状態の画像と共に前記表示手段に表示させる
ことを特徴とする表示制御装置。
焦点状態を変更可能な光線空間情報と第１の焦点状態を有する画像とが対応付けて記録されている記録媒体から、情報を取得する取得手段と、
前記記録媒体に記録されている画像を表示手段に表示させる表示制御手段であって、前記光線空間情報に、前記第１の焦点状態とは異なる他の焦点状態の画像が関連付けられている場合に、前記他の焦点状態の画像が存在することおよび前記光線空間情報に関連付けられている画像の数を通知するための第１の表示アイテムを、前記第１の焦点状態の画像とともに表示手段に表示させる表示制御手段と、を有し、
前記表示制御手段は、
前記第１の表示アイテムに対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像を前記表示手段に表示させ、
前記第１の焦点状態の画像に対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像において合焦状態である被写体を特定するための第２の表示アイテムを、前記第１の焦点状態の画像と共に前記表示手段に表示させる
ことを特徴とする表示制御装置。
前記他の焦点状態の画像は、前記第１の表示アイテムに対する指示入力を受け付ける前には表示されていなかった画像であることを特徴とする請求項１または２に記載の表示制御装置。
前記表示制御手段は、前記記録媒体に記録されている複数の画像を前記表示手段に一覧表示させ、前記一覧表示においては、前記他の焦点状態の画像が存在したとしても当該他の焦点状態の画像は表示させない
ことを特徴とする請求項１から３のいずれか１項に記載の表示制御装置。
前記表示制御手段は、前記光線空間情報に前記他の焦点状態の画像が関連付けられていない場合に、前記他の焦点状態の画像が関連付けられていないことを通知する第３の表示アイテムを、前記第１の焦点状態の画像とともに前記表示手段に表示させることを特徴とする請求項１から４のいずれか１項に記載の表示制御装置。
前記他の焦点状態の画像が削除対象として選択されたことに応じて、対応する前記光線空間情報から選択された前記他の焦点状態の画像の関連付けを削除する削除手段と、をさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の表示制御装置。
前記第１の焦点状態の画像中の位置が指定されたことに応じて、該指定された位置に合焦した合焦画像を前記光線空間情報から生成する生成手段と、
前記生成手段により生成された前記合焦画像を、前記第１の焦点状態の画像に対応づけられた前記光線空間情報に関連付けて前記記録媒体に記録する追加手段と、をさらに有する
ことを特徴とする請求項１から６のいずれか１項に記載の表示制御装置。
撮像手段と、
前記撮像手段により取得された前記光線空間情報を前記記録媒体に記録する記録手段と、をさらに有する
ことを特徴とする請求項１から７のいずれか１項に記載の表示制御装置。
焦点状態を変更可能な光線空間情報と第１の焦点状態を有する画像とが対応付けて記録されている記録媒体から、情報を取得する取得工程と、
前記記録媒体に記録されている画像を表示手段に表示させる表示制御工程であって、前記光線空間情報に、前記第１の焦点状態とは異なる他の焦点状態の画像が関連付けられている場合に、前記他の焦点状態の画像が存在することを通知する第１の表示アイテムを、前記第１の焦点状態の画像とともに表示手段に表示させる表示制御工程と、を有し、
前記第１の焦点状態は、被写界深度が深いパンフォーカスであり、
前記表示制御工程において、
前記第１の表示アイテムに対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像が前記表示手段に表示され、
前記第１の焦点状態の画像に対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像において合焦状態である被写体を特定するための第２の表示アイテムが、前記第１の焦点状態の画像と共に前記表示手段に表示される
ことを特徴とする表示制御装置の制御方法。
焦点状態を変更可能な光線空間情報と第１の焦点状態を有する画像とが対応付けて記録されている記録媒体から、情報を取得する取得工程と、
前記記録媒体に記録されている画像を表示手段に表示させる表示制御工程であって、前記光線空間情報に、前記第１の焦点状態とは異なる他の焦点状態の画像が関連付けられている場合に、前記他の焦点状態の画像が存在することおよび前記光線空間情報に関連付けられている画像の数を通知する第１の表示アイテムを、前記第１の焦点状態の画像とともに表示手段に表示させる表示制御工程と、を有し、
前記表示制御工程において、
前記第１の表示アイテムに対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像が前記表示手段に表示され、
前記第１の焦点状態の画像に対する指示入力を受け付けたことに応じて、前記他の焦点状態の画像において合焦状態である被写体を特定するための第２の表示アイテムが、前記第１の焦点状態の画像と共に前記表示手段に表示される
ことを特徴とする表示制御装置の制御方法。
コンピュータを、請求項１から８のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
請求項１１に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。