以下、本発明の第1実施形態としてライトフィールドカメラを説明する。
図1(A)は、ライトフィールドカメラ10の構成例であり、図1(B)は、ライトフィールドカメラ1を背面から見た様子の一例である。
図1(A)に示すとおりライトフィールドカメラ10には、撮像部11、画像処理部15、カメラ制御部16、システム制御部17、記録インタフェース18、表示部19、操作部材20などが備えられる。このうち撮像部11には、撮影レンズ12、マイクロレンズアレイ13、撮像素子14などが備えられ、記録インタフェース18には記憶媒体であるカードメモリ21が装着される。
撮影レンズ12は、被写界からの光束を結像する結像レンズである。この撮影レンズ12の実際の撮影条件は調節可能であってもよいが、ここでは簡単のため不変と仮定する。また、撮影レンズ12は、仕様の異なる他の撮影レンズとの間で交換可能であってもよいが、ここでは簡単のため、撮影条件が不変の撮影レンズ12がライトフィールドカメラ10に常時装着されていると仮定する。
なお、撮影レンズ12の実際の撮影条件には、撮影レンズ12の実際の撮影距離(撮影レンズ12に関してマイクロレンズアレイ13と共役な面までの距離)と、撮影レンズ12の実際の絞り値と、撮影レンズ12の実際の画角との少なくとも一つが含まれる。
因みに、撮影レンズ12の実際の撮影距離が変化すると、後設定可能な撮影距離の範囲(リフォーカス範囲)が変化し、撮影レンズ12の実際の絞り値が変化すると、後設定可能な絞り値の範囲が変化し、撮影レンズ12の実際の画角が変化すると、後設定可能な視点の範囲が変化するものの、何れの範囲も実際の撮影距離及び実際の絞り値及び実際の画角から一義的に決まる。
マイクロレンズアレイ13は、撮影レンズ12の結像面近傍の面に複数のマイクロレンズを二次元状に配列してなる。
撮像素子14は、マイクロレンズアレイ13に属する個々のマイクロレンズの後側に複数の受光素子(画素)を二次元状に配列してなる。なお、個々のマイクロレンズの後側に位置する画素群(部分撮像素子14a)の画素配列パターンは、個々のマイクロレンズの間で共通である。
ここで、或る1つのマイクロレンズの後側に位置する部分撮像素子14aに着目すると、この部分撮像素子14aの各画素座標a、b、c、d、eへ個別に入射する各光束の間では、撮影レンズ12の射出瞳における通過領域が互いに異なる。このことは、全ての部分撮像素子14aについて同様に当てはまる。
よって、部分撮像素子14a上で1方向に並ぶ画素座標を順にa、b、c、d、eとおき、複数の部分撮像素子14aの間で画素座標の共通する画素同士で1枚ずつ画像を生成したならば、画素座標aから生成される画像Iaと、画素座標bから生成される画像Ibと、画素座標cから生成される画像Icと、画素座標dから生成される画像Idと、画素座標eから生成される画像Ieとの関係は、被写界を互いに異なる視点から撮影した5枚の視差画像の関係と同じになる。よって、以下では画像Ia、Ib、Ic、Id、Ieを「視差画像」と称す。
なお、部分撮像素子14aの実際の画素配列方向は、1方向ではなく2方向に亘っており、部分撮像素子14aの実際の画素数は、「5」よりも十分に大きいが、以下の説明では簡単のため、1方向に並ぶ5つの画素座標a、b、c、d、eのみからなると仮定する。
画像処理部15は、撮像素子14が生成したライトフィールド画像(一連の視差画像Ia、Ib、Ic、Id、Ieからなる)を取り込み、そのライトフィールド画像を不図示のバッファメモリへ一時的に保管する。また、画像処理部15は、システム制御部17からの指示に応じて、バッファメモリ上のライトフィールド画像へ各種の画像処理を施す。
例えば、画像処理部15は、ライトフィールド画像を構成する5枚の視差画像Ia、Ib、Ic、Id、Ieを互いに位置ずらししてから重み付け合成することにより、撮影条件(撮影距離、絞り値、視点)の設定された1枚の撮影画像を作成する。以下、撮影条件の後設定された撮影画像を「リフォーカス画像」と称す。
なお、リフォーカス画像の撮影距離は、視差画像Ia、Ib、Ic、Id、Ieの位置ずらし量によって決まる。例えば、視差画像Ia、Ib、Ic、Id、Ieの位置ずらし量が「ゼロ」であるときには、リフォーカス画像の撮影距離は、撮影レンズ12に関してマイクロレンズアレイ13と共役な面と同じ距離となり、位置ずらし量が「ゼロ」以外の値であるときには、リフォーカス画像の撮影距離は、撮影レンズ12に関してマイクロレンズアレイ13と非共役な面と同じ距離となる。
また、リフォーカス画像の絞り値は、視差画像Ia、Ib、Ic、Id、Ieの重み比によって決まる。例えば、視差画像Ia、Ib、Ic、Id、Ieの重み比が「0:0:1:0:0」であるときには、リフォーカス画像の絞り値は最大となり、視差画像Ia、Ib、Ic、Id、Ieの重み比が「1:1:1:1:1」であるときには、リフォーカス画像の絞り値は最小となる。
また、リフォーカス画像の視点も、視差画像Ia、Ib、Ic、Id、Ieの重み比によって決まる。例えば、視差画像Ia、Ib、Ic、Id、Ieの重み比が「1:0:0:0:0」であるときには、リフォーカス画像の視点は一方の端点となり、視差画像Ia、Ib、Ic、Id、Ieの重み比が「0:0:0:0:1」であるときには、リフォーカス画像の視点は他方の端点となる。
なお、以上の撮像部11の構成には、公知の何れかのライトフィールドカメラの構成が適用可能であり、以上の画像処理部15の動作には、公知の何れかのライトフィールドカメラの動作が適用可能である。公知のライトフィールドカメラとしては、例えば、特開2011−217411号公報、米国特許公報第7936392号明細書、特開2011−259218号公報に開示されたもの等が挙げられる。
カメラ制御部16は、撮像部11を駆動する機構と、その機構を制御する回路とを備えている。このカメラ制御部16は、システム制御部17からの指示に応じて撮像素子14を駆動し、ライトフィールド画像を取得する。
カードメモリ21は、撮像部11が取得したライトフィールド画像の画像ファイル(後述)や、他のライトフィールドカメラで取得されたライトフィールド画像の画像ファイルなどを多数に亘って記憶することのできる記憶媒体である。
記録インタフェース18は、ライトフィールドカメラ10に装着されたカードメモリ21とシステム制御部17との間のインタフェースをとる。この記録インタフェース18は、システム制御部17からの指示に従い、ライトフィールド画像の画像ファイルをカードメモリ21へ書き込んだり、ライトフィールド画像の画像ファイルをカードメモリ21から読み込んだりする。
表示部19は、マルチタッチパネルで構成され、少なくとも、液晶カラーモニタなどのモニタと、そのモニタに対するユーザ操作を検出するマルチタッチセンサとを備える。このうち、マルチタッチセンサは、1本の手指を使用したユーザ操作(タッチ(触る)、スライド(なぞる)、タップ(叩く)、ダブルタップ(2連続で叩く)など)の他に、2本以上の手指を同時に使用したユーザ操作(ピンチ(挟む)、ピンチイン(狭める)、ピンチアウト(拡げる)など)を検出することが可能である。このような表示部19は、システム制御部17からの指示に従い各種の画像を表示すると共に、その画像に対するユーザ操作の内容を検出してシステム制御部17へ送信する。
操作部材20は、不図示の電源釦の他に、図1(B)に示したレリーズ釦20a、再生釦20b、十字釦20cなどの各種の入力スイッチを備える。ユーザは、この操作部材20を介して撮影指示やモード切り換え指示などの各種の指示をシステム制御部17へ入力する。なお、本実施形態ではタッチパネルで構成された表示部19が使用されるので、電源釦以外の操作部材20については省略することも可能である。
システム制御部17は、不図示のROM、RAM、CPUなどを備えたコンピュータである。CPUは、ROMに格納されたプログラムを実行することによりライトフィールドカメラ10の各部を制御し、ライトフィールドカメラ10を撮影モードや再生モードなどの各種のモードで動作させる。なお、RAMは、CPUの動作中に必要となったデータを一時的に格納するメモリである。
因みに、ライトフィールドカメラ10が撮影モードにあるとき、システム制御部17は、ユーザからの撮影指示に応じて撮像部11を駆動してライトフィールド画像を取得すると、そのライトフィールド画像の画像ファイルを作成してカードメモリ21へ保存する。
また、ライトフィールドカメラ10が再生モードにあるとき、システム制御部18は、カードメモリ21上の画像ファイルをサムネイル表示したり、カードメモリ21上の画像ファイルを再生表示したりする。
図2は、画像ファイルの構成例である。図2に示すとおりこの画像ファイルは、ライトフィールド画像を格納した領域と、そのライトフィールド画像の付随情報を格納した領域とを有する。付随情報には、例えば、被写体情報、サムネイル画像、履歴情報などが含まれる。
先ず、被写体情報は、ライトフィールド画像に写っている1又は複数の被写体の各々を説明する情報であり、各被写体の被写体情報には、その被写体の属性情報と、その被写体の存在エリアを示すエリア情報と、その被写体の被写体距離を示す距離情報とが含まれる。
このうち、属性情報には、被写体の種類を示す被写体種類情報(ヒト、建物、樹木、山、海、…)と、同種の被写体を互いに区別するための被写体名情報(Aさん、Bさん、建物1、建物2、樹木1、樹木2、…)とが含まれる。
次に、サムネイル画像は、ライトフィールド画像から作成されたリフォーカス画像のサイズ縮小版である。ここでは、撮影条件(撮影距離、絞り値、視点の組み合わせ)の異なる複数のサムネイル画像が画像ファイルに格納されていると仮定する。複数のサムネイル画像の中には、パンフォーカス画像のサムネイル画像のサムネイル画像(=被写界深度が最大、つまり絞り値が最大であるリフォーカス画像のサムネイル画像)も含まれる。
次に、履歴情報は、画像ファイルの再生時又はサムネイル表示時に採用された撮影条件の履歴を示しており、少なくとも最近に採用された撮影条件(前回の撮影条件)の情報を含む。
なお、以上の付随情報のうち、被写体情報及びサムネイル画像は、画像ファイルが作成されるタイミング又は必要なタイミングで、画像処理部15がライトフィールド画像から抽出したものである。或いは、画像ファイルが作成されたタイミング又は必要なタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータがライトフィールド画像から抽出したものである。
また、以上の付随情報のうち、履歴情報は、画像ファイルがサムネイル表示又は再生表示されたタイミングで、システム制御部17が書き込んだものである。或いは、画像ファイルがサムネイル表示又は再生表示されたタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータが書き込んだものである。
因みに、ライトフィールド画像から被写体のエリア情報及び属性情報を抽出するためには、テンプレートマッチングなどの公知の被写体抽出処理をライトフィールド画像に施せばよい。但し、全ての被写体のエリア情報及び属性情報を抽出するためには、そのライトフィールド画像から撮影距離の異なる複数のリフォーカス画像を作成すると共に、それら複数のリフォーカス画像の各々に対して被写体抽出処理を施す必要がある。或いは、そのライトフィールド画像からパンフォーカス画像を作成すると共に、そのパンフォーカス画像に対して被写体抽出処理を施す必要がある。なお、パンフォーカス画像は、被写界深度が最大(絞り値が最大)のリフォーカス画像に相当する。また、ライトフィールド画像から被写体の距離情報を抽出するためには、ライトフィールド画像を構成する少なくとも2枚の視差画像に対して、その被写体の座標に応じた距離算出処理を施す必要がある。
なお、以上の説明では、各画像ファイルの付随情報の格納先を各画像ファイルとしたが、各画像ファイルの付随情報の一部又は全部の格納先を、各画像ファイルを管理するデータベースとしてもよい。このデータベースでは、各画像ファイルの付随情報は、各画像ファイルのファイル名に対応づけられる。このデータベースの保管先は、例えば、カードメモリ21である。
以下、再生モードにおけるライトフィールドカメラ10の動作を説明する。
再生モードの開始当初、システム制御部17は、カードメモリ21に格納中の複数の画像ファイルを参照し、それら複数の画像ファイルの各々のサムネイル画像を表示部19に並べて表示する(サムネイル表示)。このとき、個々の画像ファイルのサムネイル画像としては、前回の撮影条件と同じ撮影条件を有したサムネイル画像が選ばれる。但し、履歴情報を有しない画像ファイルのサムネイル画像としては、デフォルトの撮影条件を有したサムネイル画像が選ばれる。また、必要なサムネイル画像が見つからない場合は、このタイミングで作成される。
この表示部19上でユーザが所望のサムネイル画像をタップすると、システム制御部17は、そのサムネイル画像に対応した画像ファイルの再生表示を行う。具体的に、システム制御部17は、その画像ファイルのリフォーカス画像を画像処理部15に合成させ、合成されたリフォーカス画像を、例えば図3(A)に示すように表示部19の全面に表示する。このリフォーカス画像の撮影条件も、前回の撮影条件と同じに設定される。但し、履歴情報を有しない画像ファイルのリフォーカス画像は、デフォルトの撮影条件に設定される。
因みに、図3(A)に示したリフォーカス画像の撮影距離は比較的短く、絞り値も比較的小さい。このため、リフォーカス画像に写っている5つの被写体(ヒト、建物、自動車、樹木)の各々はボケている。
次に、図3(B)に示すとおり、このリフォーカス画像上をユーザが1本の指でタッチする(触れる)と、システム制御部17は、タッチポイントに位置する被写体(自動車)の被写体距離を参照し、表示中のリフォーカス画像の撮影距離を、その被写体距離と同じに設定する。これによって、表示中のリフォーカス画像は、その被写体(自動車)に合焦し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される。
なお、表示中のリフォーカス画像の撮影距離を切り換えるために、システム制御部17は次のとおり動作する。すなわち、先ずシステム制御部17は、表示中のリフォーカス画像に対応する画像ファイルからライトフィールド画像を読み出す。次にシステム制御部17は、読み出したライトフィールド画像に基づき所望の撮影距離のリフォーカス画像を合成するよう画像処理部15に指示を与える。次にシステム制御部17は、画像処理部15が合成したリフォーカス画像を、表示中のリフォーカス画像の代わりに表示する。
続いて、ユーザがタッチした指を離さずにそのまま任意の方向へスライドさせると、システム制御部17は、そのスライド量に応じて表示中のリフォーカス画像の絞り値を変化させ、絞り値以外の撮影条件を維持する。
このとき、システム制御部17は、図3(C)に示すとおり最初にタッチされたポイントから離れる方向に指がスライドすると、リフォーカス画像の絞り値を大きくする。図3(C)の例では、リフォーカス画像の被写界深度が深くなり、自動車のピントだけでなく自動車より遠方に位置する建物のピントも合った様子を示した。
さらに、システム制御部17は、図3(D)に示すとおり最初にタッチされたポイントに近づく方向に指がスライドすると、リフォーカス画像の絞り値を小さくする。図3(D)の例では、リフォーカス画像の被写界深度が再び浅くなり、自動車より遠方に位置する建物が再びボケた様子を示した。
したがって、本実施形態のユーザは、リフォーカス画像の撮影距離及び絞り値の調整を、「タッチ・アンド・スライド」というワンアクション操作で直感的に行うことができる。
その後、ユーザの手指がモニタから離れると、システム制御部17は、その時点におけるリフォーカス画像の撮影条件を、対応する画像ファイルの履歴情報に書き込む。これによって、画像ファイルの履歴情報が更新される。
その後、表示中のリフォーカス画像の保存指示がユーザから入力されると、システム制御部17は、そのリフォーカス画像の画像ファイルを新たに作成し、その画像ファイルをカードメモリ21へ書き込む。なお、この画像ファイルには、リフォーカス画像の作成元となったライトフィールド画像の画像ファイル情報(ファイル名など)が書き込まれることが望ましい。
[第1実施形態の変形例]
なお、第1実施形態では、指のスライド方向が最初のタッチポイントから離れる方向であるときに絞り値を大きくし、指のスライド方向が最初のタッチポイントから近づく方向であるときに絞り値を小さくしたが、指のスライド方向が最初のタッチポイントから離れる方向であるときに絞り値を小さくし、指のスライド方向が最初のタッチポイントから近づく方向であるときに絞り値を大きくしてもよい。
また、第1実施形態では、指のスライド方向が最初のタッチポイントから離れる方向であるときに絞り値を大きくし、指のスライド方向が最初のタッチポイントから近づく方向であるときに絞り値を小さくしたが、指のスライド方向が所定方向であるときに絞り値を大きくし、指のスライド方向が反対方向であるときに絞り値を小さくしてもよい。
また、第1実施形態では、最初に表示されるリフォーカス画像の撮影条件を、基本的には前回の撮影条件と同じに設定したが、前回の撮影条件に拘わらずデフォルトの撮影条件(例えば絞り値最小)に設定してもよい。
また、第1実施形態では、タッチポイントに位置する被写体にリフォーカス画像を合焦させたが、そのタッチポイントにリフォーカス画像を合焦させてもよい。
但し、その場合、被写界中の各ポイントの距離情報がライトフィールド画像の画像ファイルに予め書き込まれていることが望ましい。そうでなければ、ライトフィールド画像から必要なポイントの距離情報を抽出する必要がある。
因みに、被写界中の或るポイントの距離情報を算出するためには、例えば、ライトフィールド画像を構成する少なくとも2枚の視差画像に対して、そのポイントの位置に応じた距離算出処理を施せばよい。
また、第1実施形態では、ユーザの最初のタッチポイントが明確となるように、そのポイントに対して所定のマーク(ドットマーク、十字マーク、×マークなど)を表示してもよい。
また、第1実施形態では、リフォーカス画像上で被写界深度内に位置する物体(合焦した物体)と被写界深度外に位置する物体(ボケた物体)とを区別するために、被写界深度内に位置する物体の表示色(輝度又は彩度)と、被写界深度外に位置する物体の表示色(輝度又は再度)との間に差異を設けてもよい。
或いは、被写界深度内に位置する被写体(合焦した被写体)と被写界深度外に位置する被写体(ボケた被写体)とを区別するために、被写界深度内に位置する被写体と、被写界深度外に位置する被写体との少なくとも一方に対して両者を区別するためのマークを付与してもよい。例えば、被写界深度内に位置する被写体に矩形枠マークを付与し、被写界深度外に位置する被写体に矩形枠マークを付与しないこととしてもよい。
また、第1実施形態では、ワンアクションで調整可能な撮影条件を、撮影距離と絞り値との組み合わせとしたが、撮影距離と視点との組み合わせ、又は、絞り値と視点との組み合わせとしてもよい。
[第2実施形態]
以下、本発明の第2実施形態としてライトフィールドカメラを説明する。
ここでは、第1実施形態との相違点のみを説明する。相違点は、撮影距離及び絞り値を調整するためのユーザの初期操作を「1ポイントタッチ」ではなく「2ポイントタッチ」とした点にある。
ここでは、図4(A)に示すようなリフォーカス画像が表示部19の全面に表示されていると仮定する。このリフォーカス画像は、図3(A)に示したものと同じである。
図4(B)に示すとおり、このリフォーカス画像上をユーザが2本の指でタッチ(ピンチ)すると、システム制御部17は、タッチされた2つのポイントの中点に位置する被写体(自動車)の被写体距離を参照し、表示中のリフォーカス画像の撮影距離を、その被写体距離と同じに設定する。これによって、表示中のリフォーカス画像は、その被写体(自動車)に合焦し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される。
続いて、ユーザがタッチした2本の指を離さずに2つのタッチポイントの間隔を拡縮させると、システム制御部17は、その拡縮量に応じて表示中のリフォーカス画像の絞り値を変化させ、絞り値以外の撮影条件を維持する。
このとき、システム制御部17は、図4(C)に示すとおり2つのタッチポイントの間隔が広がると、リフォーカス画像の絞り値を大きくする。図4(C)の例では、リフォーカス画像の被写界深度が深くなり、自動車のピントだけでなく自動車より遠方に位置する建物のピントも合った様子を示した。
また、システム制御部17は、図4(D)に示すとおり2つのタッチポイントの間隔が狭まると、リフォーカス画像の絞り値を小さくする。図4(D)の例では、リフォーカス画像の被写界深度が再び浅くなり、自動車より遠方に位置する建物が再びボケた様子を示した。
したがって、本実施形態のユーザは、リフォーカス画像の撮影距離及び絞り値の調整を、「ピンチアウト」又は「ピンチイン」というワンアクション操作で直感的に行うことができる。
[第2実施形態の変形例]
なお、第2実施形態では、撮影距離及び絞り値を調整するための初期操作として「2ポイントタッチ」を採用したが、「3以上の複数ポイントタッチ」を採用してもよい。
その場合、例えば、システム制御部17は、複数のタッチポイントの中心を、ユーザの指定したポイントとみなせばよい。
或いは、システム制御部17は、複数のタッチポイントの座標に所定の演算処理をして割り出された点(重心など)を、ユーザの指定したポイントとみなせばよい。
また、第2実施形態では、2つのタッチポイントの間隔が拡大したときに絞り値を大きくし、2つのタッチポイントの間隔が縮小したときに絞り値を小さくしたが、2つのタッチポイントの間隔が拡大したときに絞り値を小さくし、2つのタッチポイントの間隔が縮小したときに絞り値を大きくしてもよい。
また、第2実施形態では、2つのタッチポイントの中点に位置する被写体にリフォーカス画像を合焦させたが、その中点にリフォーカス画像を合焦させてもよい。
また、第2実施形態では、ユーザが最初に指定したポイントが明確となるように、2つのタッチポイントの中点に対して所定のマーク(ドットマーク、十字マーク、×マークなど)を表示してもよい。
その他、第2実施形態も第1実施形態と同様に変形することができる。
[第3実施形態]
以下、本発明の第3実施形態としてライトフィールドカメラを説明する。
ここでは、第1実施形態との相違点のみを説明する。相違点は、ライトフィールドカメラ10にエリア確認モードが搭載された点にある。
このエリア確認モードは、再生モードの途中で必要に応じてユーザが呼び出すことのできるモード、或いは、再生モードの代わりにライトフィールドカメラ10に搭載されるモードである。
ここでは、エリア確認モードの開始当初、図5(A)に示すようなリフォーカス画像が表示部19の全面に表示されていたと仮定する。このリフォーカス画像は、図3(A)に示したものと同じである。
また、エリア確認モードの開始当初、不図示のバッファメモリには、表示中のリフォーカス画像に対応するパンフォーカス画像(図5(A’))が保管されている。
このパンフォーカス画像(図5(A’))は、リフォーカス画像(図5(A))の作成元となったライトフィールド画像から画像処理部15が合成したものである。このパンフォーカス画像では、ほぼ全ての被写体(ヒト、自動車、樹木、建物)のピントが合っている。このパンフォーカス画像(図5(A’))の視点は、リフォーカス画像(図5(A))の視点と同じである。
なお、このパンフォーカス画像の保管先は、不図示のバッファメモリではなくリフォーカス画像の画像ファイルであってもよいが、パンフォーカス画像が保管されていれば、パンフォーカス画像をエリア確認モード中に繰り返し使用することが可能である。
さて、図5(A)に示すとおり、リフォーカス画像上をユーザが1本の指でタップ(叩く)すると、システム制御部17は、図5(B)に点線で示すとおり、タップポイントに位置する被写体(樹木)の外接長方形エリアを、ユーザの指定エリアとみなす。
続いて、システム制御部17は、パンフォーカス画像(図5(A’))のうち指定エリアに対応するエリアの画像(合焦部分画像)を参照し(図5(B’))、その合焦部分画像を、図5(C)に示すとおりリフォーカス画像の指定エリア上に重畳表示する。これによって、リフォーカス画像の指定エリアのみが合焦画像に切り換わる。
続いて、重畳表示された合焦部分画像に対してユーザがピンチアウト操作を行うと、システム制御部17は、図5(D)に示すとおり合焦部分画像の表示サイズを拡大する。
また、重畳表示された合焦部分画像に対してユーザがピンチイン操作を行うと、システム表示部17は、合焦部分画像の表示サイズを縮小する。
したがって、本実施形態のユーザは、リフォーカス画像上の非指定エリアの撮影条件を維持したまま、指定エリアのみを1回のタップ操作で合焦させることができる。
また、本実施形態のユーザは、合焦部分画像に対してピンチアウト又はピンチイン操作を行うだけで、合焦部分画像の表示サイズを調整することができる。
また、本実施形態では、各被写体にピントの合ったパンフォーカス画像を予め用意しておくので、合焦部分画像の表示に関する演算負荷は低く抑えられ、ユーザの待ち時間も短く抑えられる。このため、指定エリアの切り換え(つまりエリア指定の繰り返し)もスムーズに行うことができる。
また、本実施形態では、合焦部分画像の表示サイズの調整が可能なので、ユーザは、必要に応じて指定エリアを詳細確認することもできる。
[第3実施形態の変形例]
なお、第3実施形態では、最初に表示されるリフォーカス画像の撮影条件を、基本的には前回の撮影条件と同じに設定したが、前回の撮影条件に拘わらずデフォルトの撮影条件(例えば絞り値最小)に設定してもよい。
また、第3実施形態では、指定エリアの形状を、被写体の外接長方形としたが、被写体の外接楕円形にしてもよいし、被写体の輪郭形状と同じにしてもよい。
また、第3実施形態では、ユーザに任意の被写体を指定させるために、その被写体をタップさせたが、他のユーザ操作、例えば、「被写体を囲う閉曲線を描く操作」、「被写体に掛かる閉曲線を描く操作」などを適用することもできる。なお、ユーザが閉曲線を描くための操作としては、例えば、図6(A)〜(E)の何れかの操作が適用可能である。
また、第3実施形態では、ユーザに任意の被写体を指定させ、その被写体の輪郭から一義的に決まるエリアを指定エリアとしたが、ユーザに任意の閉曲線を描かせ、その閉曲線内のエリアをそのまま指定エリアとしてもよい。なお、ユーザが閉曲線を描く操作としては、例えば、図6(A)〜(E)の何れかの操作が適用可能である。
或いは、第3実施形態では、ユーザに任意のポイントをタップさせ、そのタップポイントから一義的に決まる、所定サイズかつ所定形状のエリアを、指定エリアとしてもよい。
また、第3実施形態では、合焦部分画像を作成するために、各被写体にピントの合ったパンフォーカス画像を利用したが、指定エリア(又は指定エリアの被写体)にのみピントの合ったリフォーカス画像を利用してもよい。但し、その場合は、指定エリアが切り換わる度にリフォーカス画像を合成するか、或いは、互いに異なる被写体にピントの合った複数のリフォーカス画像を予め用意しておく必要がある。
また、第3実施形態では、合焦部分画像の表示後、その合焦部分画像の表示倍率をユーザに調整させたが、表示倍率の代わりに、或いは、表示倍率に加えて、合焦部分画像の絞り値及び視点の少なくとも一方をユーザに調整させてもよい。
また、第3実施形態では、合焦部分画像の表示倍率又は絞り値又は視点を調節するためのユーザ操作は、表示部19に対する特定操作(例えば第1実施形態又は第2実施形態で説明した何れかのユーザ操作)であってもよいし、操作部材20に対する特定操作であってもよい。
例えば、エリアを指定するためのユーザ操作を1ポイント又は2ポイントのタッチ操作とし、合焦部分画像の表示倍率又は絞り値又は視点を調整するためのユーザ操作を、そのタッチ操作に連続したスライド操作としてもよい。この場合、エリアの指定と合焦部分画像の調整とをワンアクションで行うことが可能となる。
また、第3実施形態では、合焦部分画像の表示前に、指定エリアのサイズをユーザに調整させてもよい。エリアのサイズ調整のためのユーザ操作としては、表示部19に対する特定操作であってもよいし、操作部材20に対する特定操作であってもよい。
例えば、エリアを指定するためのユーザ操作を1ポイント又は2ポイントのタッチ操作とし、指定エリアのサイズ調整のためのユーザ操作を、そのタッチ操作に連続したスライド操作としてもよい。この場合、エリアの指定とエリアのサイズ調整とをワンアクションで行うことが可能となる。
因みに、以下に説明する第4実施形態は、エリアの指定とエリアのサイズ調整とをワンアクションで行うものである。
[第4実施形態]
以下、本発明の第4実施形態としてライトフィールドカメラを説明する。
ここでは、第3実施形態との相違点のみを説明する。相違点は、合焦部分画像の表示前に指定エリアのサイズ調整が可能であって、しかも、エリアの指定とエリアのサイズ調整とがワンアクション操作で行われる点、具体的には「ピンチイン」又は「ピンチアウト」により行われる点にある。
本実施形態のシステム制御部17は、リフォーカス画像上をユーザが2本の指でタッチすると、それら2つのタッチポイントの中点に位置する被写体の外接長方形エリアを、ユーザの指定エリアとみなす。
続いて、ユーザがタッチした2本の指を離さずに2つのタッチポイントの間隔を拡縮させると、システム制御部17は、その拡縮量に応じて指定エリアのサイズを変化させる。
このとき、システム制御部17は、2つのタッチポイントの間隔が広がると、指定エリアのサイズを大きくし、2つのタッチポイントの間隔が狭まると、指定エリアのサイズを小さくする。
その後、ユーザがタッチした2本の指を表示部19から離すと、合焦部分画像の重畳表示(第3実施形態を参照)が開始される。
したがって、本実施形態のユーザは、エリアの指定及びエリアのサイズ調整を、「ピンチアウト」又は「ピンチイン」というワンアクション操作で行うことができる。
[第4実施形態の変形例]
なお、第4実施形態では、エリアの指定及びエリアのサイズ調整を行うための初期操作として「2ポイントタッチ」を採用したが、「3以上の複数ポイントタッチ」を採用してもよい。
その場合、例えば、システム制御部17は、複数のタッチポイントの中心に位置する被写体の外接長方形エリアを、指定エリアとみなせばよい。
或いは、システム制御部17は、複数のタッチポイントの座標に所定の演算処理をして割り出された点(重心など)に位置する被写体の外接長方形エリアを、指定エリアとみなせばよい。
或いは、システム制御部17は、複数のタッチポイントから一義的に決まる長方形エリアを、指定エリアとしてもよい。
その他、最初に表示されるリフォーカス画像の撮影条件、指定エリアの形状、合焦部分画像の元となるリフォーカス画像の種類、合焦部分画像の調整パラメータ、合焦部分画像のユーザ操作などは、第4実施形態も第3実施形態と同様に変形することが可能である。
[第5実施形態]
以下、本発明の第5実施形態としてライトフィールドカメラを説明する。
ここでは、第1実施形態との相違点のみを説明する。相違点は、サムネイル表示の詳細を調整可能とした点にある。
サムネイル表示の開始当初、システム制御部17は、カードメモリ21に格納中の複数の画像ファイルを参照し、それら複数の画像ファイルの各々のサムネイル画像を表示部19に並べて表示する。このとき、個々の画像ファイルのサムネイル画像としては、前回の撮影条件と同じ撮影条件を有したサムネイル画像が選ばれる。但し、履歴情報を有しない画像ファイルのサムネイル画像としては、デフォルトの撮影条件を有したサムネイル画像が選ばれる。
この表示部19上でユーザが所望のサムネイル画像をタップすると、システム制御部17は、そのサムネイル画像に対応した画像ファイルの再生表示を行う。具体的に、システム制御部17は、その画像ファイルのリフォーカス画像を画像処理部15に合成させ、合成されたリフォーカス画像を、例えば図7(A)に示すように表示部19の比較的広いエリアに表示する。このリフォーカス画像の撮影条件も、前回の撮影条件と同じに設定される。但し、履歴情報を有しない画像ファイルのリフォーカス画像は、デフォルトの撮影条件に設定される。
なお、表示部19に並べて表示できる画像の枚数は限られているので、ここでは、リフォーカス画像の画像ファイルとファイル作成日時(撮影日時)の近い画像ファイルが優先的にサムネイル表示の対象に選ばれたと仮定する。この場合、表示中のリフォーカス画像と表示中の複数のサムネイル画像との間では、撮影日時が近接するので、互いに共通の被写体を含んでいる可能性が高い。
次に、図7(B)に示すとおり、このリフォーカス画像上をユーザが1本の指でタッチする(触れる)と、システム制御部17は、そのタッチポイントに位置する被写体(Aさん)の被写体距離を参照し、表示中のリフォーカス画像の撮影距離を、参照した被写体距離と同じに設定する。
それと同時に、システム制御部17は、表示中のサムネイル画像の中で同じ被写体(Aさん)の写っているサムネイル画像を見出し、そのサムネイル画像における被写体(Aさん)の被写体距離を参照すると、そのサムネイル画像の撮影距離を、参照した被写体距離と同じに設定する。
これによって、同じ被写体(Aさん)の写っているリフォーカス画像及びサムネイル画像は、一括して被写体(Aさん)に合焦し、それらリフォーカス画像及びサムネイル画像の撮影距離以外の撮影条件は、維持される。
なお、表示中のリフォーカス画像の撮影距離を切り換える方法は、第1実施形態で説明したとおりである。また、表示中のサムネイル画像の撮影距離を切り換える方法は、次のとおりである。すなわち、システム制御部17は、サムネイル画像に対応する画像ファイルから、所望の撮影距離を有したサムネイル画像を読み出し、読み出したサムネイル画像を、表示中のサムネイル画像の代わりに表示する。
その後、ユーザの指がリフォーカス画像から離れると、システム制御部17は、撮影条件の変更されたリフォーカス画像及びサムネイル画像の履歴情報を、更新する。
図7(A)の例では、表示中の3つのサムネイル画像の各々にAさんが写っていたので、図7(B)に示すとおりAさんがタッチされると、リフォーカス画像及び3つのサムネイル画像の各々は、一括してAさんに合焦し、リフォーカス画像及び3つのサムネイル画像の各々の履歴情報は、一括して更新される。
また、図7(A)の例では、左のサムネイル画像及び中央のサムネイル画像に建物1が写っていたので、図7(C)に示すとおり建物1がタッチされると、リフォーカス画像及び左のサムネイル画像及び中央のサムネイル画像は、一括して建物1に合焦し、リフォーカス画像及び左のサムネイル画像及び中央のサムネイル画像の各々の履歴情報は、一括して更新される。
ここで、本実施形態のシステム制御部17は、表示中のサムネイル画像の中に、ユーザの指定した被写体(建物1)を含まないサムネイル画像が仮に存在した場合には、そのサムネイル画像の表示を取り止めるべく、そのサムネイル画像と撮影日時が近く、かつ、ユーザの指定した被写体(建物1)を含んだ画像ファイルをカードメモリ21から検索し、検出した画像ファイルのサムネイル画像を、取り止めの対象となったサムネイル画像の代わりに表示部19へ表示する。このときシステム制御部17は、新たに表示するサムネイル画像の撮影距離を、その被写体(建物1)の被写体距離に一致させる。
よって、本実施形態では、図7(C)に示すとおり建物1がタッチされると、建物1の写っていなかった右のサムネイル画像の代わりに、建物1の写った別のサムネイル画像が自動的に読み出されて表示される(図7(C)の右下を参照。)。
したがって、本実施形態のユーザは、1枚のリフォーカス画像上で被写体を指定するだけで、表示中の複数の画像(リフォーカス画像及びサムネイル画像)の各々を同じ被写体に一括で合焦させることができる。
また、本実施形態のユーザは、1枚のリフォーカス画像上で被写体を指定するだけで、その被写体を含んだ他の画像(サムネイル画像)をカードメモリ21から呼び出すこともできる。つまり、本実施形態のユーザは、任意の被写体を検索キーとして、カードメモリ21から画像ファイルの検索を行うこともできる。
[第5実施形態の変形例]
なお、第5実施形態では、表示中の画像群の中に、ユーザの指定した被写体を含まない画像があった場合には、その画像の表示を取り止めたが、その画像の表示を継続してもよい。その場合、その画像の撮影条件は、ユーザの指定内容に拘らず維持される。
また、第5実施形態では、表示中の画像群の中に、ユーザの指定した被写体を含まない画像があった場合には、その画像の表示を取り止めたが、取りやめる代わりに、その画像の表示を抑制してもよい。その画像の表示を抑制するには、例えば、その画像の輝度、その画像の彩度のうち少なくとも一方を低めに設定すればよい。
また、第5実施形態では、表示中の各画像をユーザの指定した被写体に一括で合焦させたが、表示中の各画像の撮影距離を、ユーザの指定した被写体の被写体距離と同じに一括で設定してもよい(図8(A)参照)。
図8(A)に示したのは、各画像の撮影距離を、ユーザの指定した被写体の被写体距離と同じに設定した場合の例である。右のサムネイル画像及び中央のサムネイル画像の各々には、ユーザの指定した被写体(Aさん)と同じ被写体(Aさん)が含まれているが、それらサムネイル画像における被写体(Aさん)の被写体距離は、リフォーカス画像における被写体(Aさん)の被写体距離とは異なるため、それらサムネイル画像では被写体(Aさん)はボケたままである。
また、第5実施形態では、複数の画像間で一括調整可能なパラメータを撮影距離のみとしたが、絞り値、視点などの他の撮影条件としてもよいし、被写体の色、被写体のサイズ、付随情報の内容などの他種パラメータを、一括調整可能なパラメータに加えてもよい。
例えば、第5実施形態では、複数の画像間で一括調整可能なパラメータを、被写界深度としてもよい。被写界深度は、撮影距離と絞り値との組み合わせで決まるパラメータである。
よって、例えば、図8(B)に示すとおり、ユーザが1枚の画像上で距離の異なる2つの被写体を指定すると、一方の被写体の被写体距離から他方の被写体の被写体距離までの距離範囲が合焦する(被写界深度内に収まる)ように、各画像の撮影距離及び絞り値を一括調整してもよい。
また、第5実施形態において、ユーザが1枚の画像に対して施すべき編集内容(一括調整されるパラメータと一括調整に必要なユーザ操作との組み合わせ)としては、第1実施形態、第2実施形態、第3実施形態、第4実施形態で説明した何れかの編集内容を採用してもよい。
また、第5実施形態では、ユーザの編集対象となる画像を、他のサムネイル画像よりも大きく表示されたリフォーカス画像としたが、他のサムネイル画像よりも大きく表示されたサムネイル画像としてよい。
また、第5実施形態では、ユーザの編集対象となる画像を、他の画像よりも大きなサイズで表示させたが、ユーザの編集対象となる画像と、他の画像とを同じサイズで表示させてもよいことは言うまでもない。
また、第5実施形態では、一括調整の対象となる画像群を、表示部19に表示中の画像群としたが、カードメモリ21内の全ての画像群としてもよいし、特定フォルダ内の全ての画像群としてもよい。また、一括調整の対象となる画像群の保管先(フォルダ名など)を、ユーザに予め指定させてもよい。
また、第5実施形態では、表示部19に対する画像群の表示方法をサムネイル表示(同時に表示)としたが、スライドショー表示(順次に表示)としてもよい。
その場合、ユーザは、スライドショー表示前に画像群の一括調整を行ってもよく、スライドショー表示中に画像群の一括調整を行ってもよい。また、スライドショー表示中における複数のタイミングの各々で一括調整を行ってもよい。
因みに、画像群をスライドショー表示させる際に、ユーザの指定した被写体を含まない画像を表示対象から外したならば、ユーザの指定した被写体の画像のみを選択的にスライドショー表示できるので、効果的である。
[各実施形態の変形例]
なお、上述した各実施形態では、後設定可能な撮影条件として、撮影距離、絞り、視点の3つを説明したが、後設定可能な撮影条件に、「合焦面の姿勢又は形状」、すなわち「リフォーカス画像内の撮影距離の分布」を加えてもよい。
また、第1実施形態のライトフィールドカメラ10の機能と、第2実施形態のライトフィールドカメラ10の機能と、第3実施形態のライトフィールドカメラ10の機能と、第4実施形態のライトフィールドカメラ10の機能と、第5実施形態のライトフィールドカメラ10の機能とを併せ持ったライトフィールドカメラを構成してもよい。
また、上述した各実施形態では、ライトフィールドカメラ10を説明したが、撮影条件の後設定が可能な撮影画像を取得できる他のカメラ、例えば、フォーカスブラケット撮影可能なカメラ、カメラアレイなどにも本発明は適用が可能である。
また、上述した各実施形態では、撮像機能とモニタ機能との双方を搭載した装置を説明したが、撮像機能とモニタ機能との少なくとも一方を搭載しない装置にも本発明は適用が可能である。例えば、ディジタルフォトフレーム、タブレットPC、スマートフォン、デスクトップ型PC、ノートPCなどにも本発明は適用が可能である。
また、コンピュータ実行可能なプログラム又はそれを記憶した記憶媒体に対して上述した何れかの実施形態の装置の少なくとも一部の機能を付与してもよい。
[第1実施形態又は第2実施形態の作用効果]
以上、第1実施形態又は第2実施形態の画像処理装置(画像処理部15、システム制御部17、記録インタフェース18)は、撮影条件(撮影距離、絞り値、視点)の後設定が可能な撮影画像(ライトフィールド画像)を読み込む読み込み手段(システム制御部17、記録インタフェース18)と、前記撮影画像(リフォーカス画像)をモニタへ表示する表示制御手段(システム制御部17)と、前記モニタに対するユーザのタッチ操作と、前記タッチ操作に連続したスライド操作とからなる一連の操作に応じて、前記モニタへ表示された撮影画像(リフォーカス画像)の少なくとも2つの撮影条件を調整する調整手段(システム制御部17、画像処理部15)とを備える。
したがって、前記ユーザは、前記撮影画像(リフォーカス画像)の少なくとも2つの撮影条件の調整を、ワンアクションで行うことができる。
なお、前記タッチ操作は、前記撮影画像(リフォーカス画像)の撮影距離を調整するための操作であり、前記スライド操作は、前記撮影画像(リフォーカス画像)の絞り値を調整するための操作である。
よって、前記ユーザは、前記撮影画像(リフォーカス画像)の撮影距離及び絞り値の調整を、ワンアクションで行うことができる。
また、前記一連の操作は、ピンチイン操作又はピンチアウト操作である。
よって、前記ユーザは、前記撮影画像(リフォーカス画像)の撮影距離及び絞り値の調整を、直感的に行うことができる。
[第3実施形態又は第4実施形態の作用効果]
以上、第3実施形態又は第4実施形態の画像処理装置(画像処理部15、システム制御部17、記録インタフェース1)は、撮影条件(撮影距離、絞り値、視点)の後設定が可能な撮影画像(ライトフィールド画像)を読み込む読み込み手段(システム制御部17、記録インタフェース18)と、前記撮影画像(リフォーカス画像)をモニタへ表示する表示制御手段(システム制御部17)と、前記撮影画像(リフォーカス画像)における所望の領域に対する撮影条件の調整指示をユーザが入力すると、前記撮影画像(リフォーカス画像)のうち前記領域のみの撮影条件を調整する調整手段(システム制御部17、画像処理部15)とを備える。
したがって、前記ユーザは、前記撮影画像(リフォーカス画像)上の前記領域(指定領域)以外の領域(非指定領域)の撮影条件を維持したまま、前記指定領域の撮影条件を調整することができる。
また、前記調整指示は、前記指定領域の撮影距離、前記指定領域の絞り値、前記指定領域の視点のうち少なくとも1つを調整するための指示である。
よって、前記ユーザは、前記撮影画像(リフォーカス画像)上の前記領域(指定領域)以外の領域(非指定領域)の撮影距離、絞り値、視点を維持したまま、前記指定領域の撮影距離、絞り値、視点を調整することができる。
また、前記調整手段(システム制御部17、画像処理部15)は、被写界深度が最大である前記撮影画像(パンフォーカス画像)を予め用意し、前記撮影画像(パンフォーカス画像)から前記指定領域に該当する部分画像(合焦部分画像)を切り出すと共に、前記撮影画像(リフォーカス画像)の前記指定領域上に前記部分画像(合焦部分画像)を重畳表示する。
したがって、前記調整手段(画像処理部15)の演算負荷は低く抑えられ、前記ユーザの待ち時間も短く抑えられる。このため、前記指定領域の切り換えもスムーズに行われる。
また、前記調整手段(システム制御部17、画像処理部15)は、前記部分画像(合焦部分画像)の表示サイズ、絞り値、視点の少なくとも1つを必要に応じて調整する。
したがって、前記ユーザは、必要に応じて前記指定領域を詳細に確認することができる。
[第5実施形態の作用効果]
以上、第5実施形態の画像処理装置(画像処理部15、システム制御部17、記録インタフェース18)は、撮影条件(撮影距離、絞り値、視点)の後設定が可能な撮影画像を読み込む読み込み手段(システム制御部17、記録インタフェース18)と、撮影タイミングの異なる複数の前記撮影画像(リフォーカス画像及びサムネイル画像)を同時又は順次にモニタへ表示する表示制御手段(システム制御部17)と、前記複数の撮影画像(リフォーカス画像及びサムネイル画像)の中の1枚に対する撮影条件の調整指示をユーザが入力すると、前記複数の撮影画像(リフォーカス画像及びサムネイル画像)の全部の撮影条件を一括で調整する調整手段(システム制御部17、画像処理部15)とを備える。
したがって、前記ユーザは、前記1枚の画像の撮影条件を調整するだけで、前記複数の撮影画像の全部の撮影条件を一括調整することができる。
また、前記調整指示は、前記撮影画像の撮影距離を調整するための指示である。
したがって、前記ユーザは、前記複数の撮影画像の全部の撮影距離を一括調整することができる。
また、前記調整指示は、前記撮影画像の合焦先被写体を指定するための指示である。
したがって、前記ユーザは、前記複数の撮影画像の全部を同じ被写体に一括して合焦させることができる。
また、前記調整手段(システム制御部17、画像処理部15)は、前記複数の撮影画像の中に前記被写体を含まない撮影画像があった場合には、前記撮影画像の表示を取り止め又は抑制する。
したがって、前記ユーザは、前記被写体を含む撮影画像と前記被写体を含まない撮影画像とを簡単に区別することができる。
また、前記表示制御手段は、複数の前記撮影画像をサムネイル表示すると共に、前記調整の内容を前記サムネイル表示に反映させる。
したがって、前記ユーザは、複数の前記撮影画像及び前記調整の内容を一覧することができる。
前記表示制御手段は、複数の前記撮影画像をスライドショー表示すると共に、前記調整の内容を前記スライドショー表示に反映させる。
したがって、前記ユーザは、複数の前記撮影画像及び前記調整の内容を順次に確認することができる。