JP5875839B2 - プレノプティックカメラ - Google Patents

Description

本発明は、プレノプティックカメラ（Plenoptic Camera）で撮像して生成されたライトフィールド画像データを再構成処理して表示する技術に関する。

プレノプティックカメラでは、カメラの撮影光学系に入射する光線の方向の分布についても記録することにより、被写体に関する三次元の画像情報を含む画像データを記録することができる。ここで、三次元の画像情報とは、通常のカメラで得られる二次元の画像情報に加えて、深度方向の情報が含まれることを意味する。三次元の画像情報を含む画像データを処理して、撮影光学系に入射する光線のうち、任意の方向からのものを抽出して二次元の画像を再構成することにより、例えば任意の撮影距離に位置する被写体にピントの合った画像を生成することが可能となる。

比較的小型で一般ユーザにも使いやすいプレノプティックカメラとして、二次元に配列された多数のマイクロレンズによって構成されたマイクロレンズアレイを撮像素子の受光面近傍に配設し、撮影レンズによって形成された被写体像をマイクロレンズアレイで分割し、撮像素子上に導くタイプのものが知られている。

このようなプレノプティックカメラで撮影して得られた画像データに基づく画像を当該カメラ上で再生する際に、「リフォーカス」と称される画像生成処理が行われて、撮影範囲内における所望の撮影距離に位置する被写体にピントの合った画像が生成される。このような画像生成処理は、パーソナルコンピュータやオンラインサービス等により行うことも可能である。

特許文献１には、プレノプティックカメラで得られた画像データを用い、ユーザによって指定されたフォーカス値に対応した画像生成処理を行って表示用の画像を生成し、表示する技術が開示される。

特開２００８−２１９８７８号公報

プレノプティックカメラで得られた画像データを後処理し、所望の被写体にピントの合った画像を生成する場合を例に説明すると、撮影範囲内に写る被写体中、ユーザの指定した任意の被写体に対してピントの合った画像を常に生成できる訳ではない。つまり、プレノプティックカメラで撮影をする際に設定されていた撮影レンズの焦点調節位置（距離）や撮影レンズの被写界深度等に応じて、遠すぎる位置の被写体や近すぎる位置の被写体に対してはピントの合った画像を生成することができない場合がある。

したがって、後で処理をしようとしたときに、所望の被写体にピントの合った画像を生成することができない場合がある。つまり、プレノプティックカメラであっても、後からピントの合った画像を得ることができる範囲には制限がある。例えば、手前の花にピントを合わせ、背景をぼかして撮影した方が良いのか、手前の花はぼかして背景にピントを合わせた方が良いのか、撮影者が迷うことがある。プレノプティックカメラで撮影をする場合、後で仮にどちらにもピントが合った画像が得られることが判っていれば、ユーザはピント位置に気を遣うことなく、構図に集中して撮影をすることができる。しかし、上述したように、プレノプティックカメラで撮影した画像であっても後でピントを合わせることが可能な距離範囲には限りがある。したがって、後で所望の画像を確実に得られるようにするためには、撮影者は結局、撮影レンズの焦点調節位置を変えるか、撮影距離を変えるか、撮影レンズの焦点距離を変えるかをしながら複数回の撮影を行う必要を生じる場合がある。

本発明は、上記の課題に鑑みてなされたものであり、プレノプティックカメラで撮影して得られる画像に対して後処理をした場合に、どのような仕上がりの画像を得ることができるのかを、撮影時に提示可能とすることを目的とする。

本発明のある態様によれば、プレノプティックカメラが、
被写体の奥行き方向の情報も得ることの可能なライトフィールド画像に対して、所定の再構成パラメータに基づく再構成処理を行い、完成画像を生成する再構成処理部と、
画像を表示可能な表示部と、
前記再構成処理部で前記再構成処理をする際の再構成パラメータとしてとりうる範囲の両極の値を選択して設定する再構成パラメータ設定部と、
撮影時から所定期間内に、前記再構成パラメータ設定部で設定された前記両極の値のうち一方の値に対応して前記再構成処理部で生成された画像と、他方の値に対応して前記再構成処理部で生成された画像と、を前記表示部に同時に表示する処理を行う表示処理部と
を備える。

本発明によれば、プレノプティックカメラで撮影して得られる画像に対して後処理をした場合に、どのような仕上がりの画像を得ることができるのかを、撮影時に確認することが可能となる。

プレノプティックカメラの光学的構成の一例を概念的に説明する図である。 プレノプティックカメラの光学的構成の別例を概念的に説明する図である。 ライトフィールド画像を再構成処理して完成画像を得る際の処理を概念的に説明する図である。 本発明の実施の形態に係るプレノプティックカメラの内部構成を説明するブロック図である。 本発明の第１の実施の形態に係るプレノプティックカメラで被写体深度を変化させた完成画像を生成して、この完成画像に基づく表示画像を表示部に表示する例を説明する図であり、（ａ）、（ｂ）はユーザの操作に応じて被写界深度の異なる画像が表示される例を、（ｃ）は被写界深度の異なる複数の画像が表示部上に同時に表示される例を説明する図である。 本発明の第２の実施の形態に係るプレノプティックカメラで視点を変化させた完成画像を生成して、この完成画像に基づく表示画像を表示部に表示する例を説明する図であり、（ａ）、（ｂ）はユーザの操作に応じて視点の位置の異なる画像が表示される例を、（ｃ）は視点の位置の異なる複数の画像が表示部上に同時に表示される例を説明する図である。 本発明の第３の実施の形態に係るプレノプティックカメラで合焦距離を変化させた完成画像を生成して、この完成画像に基づく表示画像を表示部に表示する例を説明する図であり、（ａ）、（ｂ）はユーザの操作に応じて合焦距離の異なる画像が表示される例を、（ｃ）は合焦距離の異なる複数の画像が表示部上に同時に表示される例を説明する図である。

図１および図２は、本発明の実施の形態に係るプレノプティックカメラの光学素子の配置例を説明する概念図である。図１と図２とでは、マイクロレンズアレイの、撮影レンズの光軸方向に沿う配置位置が異なる。図１、図２においては、実際の寸法と異なる大きさで各構成要素が描かれている。

図１および図２において、マイクロレンズアレイ１０４は、多数のマイクロレンズが二次元に配列されて構成される。マイクロレンズアレイ１０４を構成するそれぞれのマイクロレンズは、撮像素子１０６の受光面上の部分領域へと被写体光を導く。各部分領域は、二次元配列された複数の画素を含む。図１、図２において、撮影レンズ１０２は一枚のレンズ素子として示されているが、撮影レンズ１０２は複数枚のレンズ素子から構成されていてもよい。撮影レンズ１０２は、単焦点レンズであっても、焦点距離を変更可能なレンズであってもよい。撮影レンズ１０２はまた、固定焦点のものであってもよいが、焦点調節（フォーカシング）が可能に構成されていることが望ましい。図１、図２には、マイクロレンズおよび撮像素子の数は、実際とは異なるものが描かれている。

図１は、撮影レンズ１０２の焦点面（結像面）上に位置するようにマイクロレンズアレイ１０４が配設され、その後方に撮像素子１０６が配設される例を示す。ここで、マイクロレンズアレイ１０４を構成する各マイクロレンズの焦点距離をｆとすると、マイクロレンズの主面と撮像素子１０６の受光面との間の距離がｆとなるようにマイクロレンズアレイ１０４は撮像素子１０６に対して位置決めされ、固定されている。図１に示されるように、撮影レンズ１０２からマイクロレンズアレイ１０４に向かって出射した被写体光は、マイクロレンズアレイ１０４を構成する各マイクロレンズを通して撮像素子１０６の受光面上に導かれる。

図２は、撮影レンズ１０２の焦点面（結像面）と、マイクロレンズアレイ１０４を構成する各マイクロレンズの物点とが一致するようにマイクロレンズアレイ１０４が配置され、その後方に撮像素子１０６が配設される例を示す。マイクロレンズの像点と撮像素子１０６の受光面とが一致するようにマイクロレンズアレイ１０４が撮像素子１０６に対して位置決めされる。つまり、マイクロレンズの物体距離をａ、像距離をｂ、焦点距離をｆとすると、（１／ａ）＋（１／ｂ）＝（１／ｆ）が成立する位置関係に各構成要素は位置決めされる。

図１または図２に示される構成により、被写体から出射して撮影レンズ１０２、マイクロレンズアレイ１０４を透過して撮像素子１０６上の各画素に入射する光が、どのような光路を経てきたのかを画素ごとに特定することが可能となる。つまり、従来のカメラにおいては画素ごとに色や輝度の情報を得るところ、プレノプティックカメラにおいては、画素ごとに色や輝度の情報が得られるのに加えて光線の入射方向に関しても情報を得ることができる。撮像素子１０６は、モノクロ撮像素子であっても、オンチップカラーフィルタが画素上に配設された撮像素子であってもよい。本明細書では、撮像素子１０６は、ベイヤー配列のオンチップカラーフィルタを備えるものとする。そして、撮像素子１０６から読み出されてデモザイク処理された画像データを本明細書ではライトフィールド画像と称する。

図３は、ライトフィールド画像に再構成の処理をして、通常の画像として表示できるようにする処理手順を概念的に説明する図である。図３においては、図を見やすくするためにすべて正立正像として示す。撮影レンズ１０２によって一次像ＰＩが形成され、さらにマイクロレンズアレイ１０４によって撮像素子１０６の受光面上に二次像ＳＩが形成される。この二次像ＳＩを撮像素子１０６で撮像し、デモザイク処理が施されてライトフィールド画像ＬＦＩが生成される。図３ではライトフィールド画像ＬＦＩの一部を抜き出し、拡大したものがライトフィールド画像ＬＦＩとして示されている。

このライトフィールド画像ＬＦＩに対して所定の再構成パラメータに基づく再構成処理が行われ、再構成画像ＲＩが生成される。そして、ライトフィールド画像ＬＦＩ全体に対して再構成処理を行うことにより、ユーザの所望する完成画像ＦＲＩが生成される。完成画像ＦＲＩは、表示、印刷等の処理を経てユーザが観視可能となる画像を生成可能なビットマップ画像である。完成画像ＦＲＩを生成するための再構成処理をする際に、目的に応じて様々な再構成パラメータを設定することにより、後で詳述するように所望の撮影距離に位置する被写体に合焦した画像、所望の被写界深度、あるいは所望の視点位置からの画像を完成画像ＦＲＩとして生成することができる。

画像を再構成する処理に際して、ライトフィールド画像ＬＦＩ中のどの画素位置からの信号を選択するかを決定することにより、被写界からどの光路を経て撮像素子１０６まで達した光線を選択するかを決定することができる。つまり、ライトフィールド画像ＬＦＩ中から所望の光路を経て撮像素子１０６まで達する光線を選択して再構成することにより、例えば特定の撮影距離に位置する被写体の像がより鮮鋭となる画像を生成することが可能となる。

また、撮影範囲内の異なる撮影距離に位置する各被写体に対応して、それぞれの被写体の像がより鮮鋭に写る画像を得て、それらを合成することにより、所望の被写界深度の画像を生成することが可能となる。さらに、撮影レンズ１０２の、Ｆ値の大きい部分（開口径の小さい部分）を透過した光線を選択して再構成することにより、より深い被写界深度の画像を得ることも可能となる。

また、撮影レンズ１０２の絞り開口内における一部の領域、すなわちサブ開口領域を設定して、このサブ開口領域を通過する光線に対応する情報をライトフィールド画像から抽出して再構成することにより、特定の視点位置から被写体を撮影したのに相当する画像を得ることができる。例えば、撮影レンズ１０２の絞り開口よりも小さい円形の領域をサブ開口領域とし、そのサブ開口領域の中心位置を撮影レンズ１０２の軸外における異なる位置に設定することにより、異なる視点の画像を得ることができる。例えば、撮影レンズ１０２の絞り開口をカメラ１００の後方から見て、サブ開口領域を上側、下側、右側、左側に設定することにより、異なる視点からの画像を得ることが可能となる。視点を移動させることのできる範囲は、撮影レンズ１０２の絞り開口（射出瞳径）の大きさに依存する。つまり、絞り開口の径が大きいほど、サブ開口領域の位置を大きく変化させることが可能となり、視点を移動可能な範囲が広がることになる。また、設定するサブ開口領域の大きさを、可能な限り小さくすれば、それによって視点移動可能範囲を広げることもできる。

図４は、本発明の実施の形態に係るプレノプティックカメラ１００（以下、単にカメラ１００と称する）の構成を説明するブロック図である。カメラ１００は、撮影レンズ１０２と、マイクロレンズアレイ１０４（図４中でマイクロレンズアレイはＭＬＡと表記されている）と、撮像素子１０６と、アナログ・フロントエンド１０８（図４中でアナログ・フロントエンドはＡＦＥと表記される）と、レンズ駆動部１１０とを備える。カメラ１００はさらに、ＣＰＵ１２２と、記憶部１２４と、操作部１３０と、表示部１４０と、表示処理部１４２と、トリガ入力部１４４と、システムバス１５０と、再構成パラメータ設定部１６０と、画像処理部１７０とを備える。画像記録媒体１２０は、フラッシュメモリカード等で構成され、カメラ１００に対して着脱自在に構成される。

撮影レンズ１０２は、カメラ１００に固定されるものであっても、カメラ１００に対して着脱自在に構成されるものであってもよい。先に説明したように、撮影レンズ１０２は単焦点レンズであっても、焦点距離可変のレンズであっても、固定焦点のレンズであっても、焦点調節可能なレンズであってもよいが、ここでは撮影レンズ１０２は焦点調節可能なレンズであるものとする。レンズ駆動部１１０は、撮影レンズ１０２内の焦点調節用レンズの動きを制御する。

画像記録媒体１２０には、カメラ１００で撮影して得られた画像が記録される。ＣＰＵ１２２は、カメラ１００の動作を統括的に制御する。記憶部１２４は、ＲＯＭ１２６とＲＡＭ１２８とを含む。ＲＯＭ１２６はフラッシュメモリ等で構成され、ファームウェアや、カメラ１００に電源が供給されない状態でも保持することの必要なカメラ制御パラメータやステータス情報等が記憶される。ＲＡＭ１２８は比較的高速なアクセス速度を有するＳＤＲＡＭ等で構成され、ＣＰＵ１２２、画像処理部１７０の双方からアクセス可能に構成されて、これらＣＰＵ１２２、画像処理部１７０のワークエリアとして機能する。再構成パラメータ設定部１６０、トリガ入力部１４４、表示処理部１４２は、ＲＡＭ１２８にロードされたプログラムをＣＰＵ１２２が実行することにより実現可能である。

操作部１３０は、スライドスイッチ、押しボタンスイッチ、タッチパネル、ダイヤルスイッチ等のいずれか一つまたは複数を含み、ユーザによる操作をＣＰＵ１２２が検出する。そして、ユーザの操作に応じた動作が行われるようにＣＰＵ１２２はカメラ１００を制御する。表示部１４０は、ＴＦＴカラー液晶表示装置とバックライト装置等を備えて構成され、カラー画像や文字、アイコン等を表示可能に構成される。表示部１４０は、有機ＥＬカラー表示パネル等、自発光タイプの表示デバイスで構成されていてもよい。本実施の形態において、表示部１４０の表面にはタッチパネルが備えられるものとする。

撮像素子１０６は、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子のいずれであってもよい。アナログ・フロントエンド１０８は、撮像素子１０６から出力されるアナログ画像に増幅、ノイズ低減処理、Ａ／Ｄ変換処理等を施してデジタル画像を生成する。本明細書において、撮像素子１０６はＣＭＯＳ撮像素子であり、アナログ・フロントエンド１０８が撮像素子１０６に内蔵されてデジタル画像を出力可能に構成されるものとする。

画像処理部１７０は、撮像素子１０６から出力された画像にデモザイク、ホワイトバランス調整、ノイズ低減、彩度・コントラスト調節等の処理をする。画像処理部１７０はまた、再構成処理部１７２を備える。再構成処理部１７２は、デモザイク処理後のライトフィールド画像に対して後述する再構成処理をして完成画像ＦＲＩを生成する。表示処理部１４２は、完成画像ＦＲＩに基づく表示画像を生成して表示部１４０に表示する。表示処理部１４２はまた、カメラ１００が記録モードで動作しているときに、プレビュー画像（ライブビュー画像）やポストビュー画像を表示部１４０に表示する処理も行う。

トリガ入力部１４４は、以下で説明するトリガを入力すると、再構成処理部１７２に対して制御信号を発する。この制御信号を再構成処理部１７２が受信すると、その時点で得られたライトフィールド画像に再構成処理をして完成画像ＦＲＩを生成する処理の実行が開始される。

トリガ入力部１４４が入力するトリガとしては、例えば、電源投入されて動作モードが記録モードに切り換えられてから一定の時間が経過した時点で信号を発する不図示のタイマから入力する信号とすることができる。あるいは、カメラ１００がプレビュー表示動作をしている状態のときに、ユーザが操作部１３０を操作したことを検出し、これをトリガとすることができる。ユーザによる操作部１３０の操作としては、再構成処理して得た最終画像ＦＲＩに基づく表示画像を表示する処理の実行を開始するための、タッチパネル、押しボタンスイッチ、ダイヤ類スイッチ等の操作とすることが可能である。あるいは、ポストビュー表示を開始した後、一定時間が経過したときにタイマから信号が発せられるのをトリガとして入力することも可能である。また、ポストビュー表示中に、ユーザが操作部１３０の操作をしたことを検出し、これをトリガとすることも可能である。

再構成パラメータ設定部１６０は、再構成処理部１７２で再構成処理をする際の処理内容を特定するパラメータである再構成パラメータを設定する。再構成パラメータ設定部１６０での再構成パラメータ設定の処理は、後で詳しく説明する。

カメラ１００は、静止画を撮影可能なものであっても、動画を撮影可能なものであってもよいが、以下ではカメラ１００で静止画を撮影する場合を例に動作の説明をする。

− 第１の実施の形態 −
以下、本発明第１の実施の形態に係るカメラ１００で行われる再構成画像表示の処理について説明する。図５は、カメラ１００に備えられる表示部１４０と、操作部としてのダイヤルスイッチ１３４およびシーソースイッチ１３２とを示す図である。これらの表示部１４０、ダイヤルスイッチ１３４、シーソースイッチ１３２は、カメラ１００の背面等に設けられる。また、表示部１４０の表面にはタッチパネルが設けられているものとする。表示部１４０にはプレビュー画像（ライブビュー画像）、ポストビュー画像、あるいは再構成処理によって生成された完成画像ＦＲＩに基づく表示画像と共にＧＵＩ表示５００等が表示される。本実施の形態においては、スライド式ボリュームを模したＧＵＩ表示５００が表示画像上になされるものとする。

従来のカメラで行われるのと同様のプレビュー表示が行われている状態のときに、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作する。このとき、トリガ入力部１８０は、再構成画像を表示する処理の実行を開始する操作をしたのをトリガとして入力し、再構成処理部１７２に対して再構成処理の実行を開始するコマンドを発する。再構成処理部１７２は、コマンド入力時点、あるいはその後に得られたライトフィールド画像に再構成処理を行う。そして、生成された完成画像ＦＲＩに基づく表示画像がＧＵＩ表示５００とともに表示部１４０に表示される。

完成画像ＦＲＩは、撮影動作を行って得られたライトフィールド画像に対して再構成処理が行われ、生成されてもよい。その場合、撮影動作後のポストビュー表示が行われているときにユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力する。また、ポストビュー表示を開始した後、一定時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらに、ポストビュー表示中にユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力することも可能である。

スライドレバー５０２の表示される部分にユーザが指等を当てて表示部１４０の上下方向に沿ってスライド（ドラグ）させる操作をすることにより、スライドレバー５０２の表示位置が上下し、それに伴って再構成パラメータが変化する。図５ではスライドレバー５０２を上下にスライドする例について示しているが、左右にスライドするものであってもよい。また、ダイヤルスイッチ１３４を時計回り、反時計回りの方向に回転させたり、シーソースイッチ３１２を上下方向あるいは左右方向に傾ける操作をしたりするのに応じてスライドレバー５０２の表示位置が変化し、再構成パラメータも変化するようにしてもよい。その場合、タッチパネルは不要となる。

図５では、再構成の処理によって生成される画像の被写界深度を変化させて表示する場合を示している。図５（ａ）は、スライドレバー５０２を上側にスライドさせて「浅」の側に位置させたのに応じて被写界深度の浅い画像が表示部１４０に表示される例を示す。図５（ａ）において三輪の花ＦＬ１、ＦＬ２、ＦＬ３の画像が表示部１４０に表示されているものとする。花ＦＬ１はカメラ１００から比較的近い撮影距離に位置し、花ＦＬ３は比較的遠い撮影距離に位置し、花ＦＬ２は中間の撮影距離に位置するものとする。以下では花ＦＬ１、ＦＬ２、ＦＬ３の位置する距離を近距離、中距離、遠距離と称する。

図５（ａ）では、近距離に位置する花ＦＬ１のみが鮮鋭な像を結び、中距離、遠距離に位置する花ＦＬ２、ＦＬ３の像はぼけている様子が示される。つまり、被写界深度の浅い画像が表示される。すなわち、ユーザがスライドレバー５０２を「浅」の側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像の被写界深度が浅くなるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、完成画像ＦＲＩを生成する。

図５（ｂ）は、スライドレバー５０２を下側にスライドさせて「深」の側に位置させたのに応じて被写界深度の深い画像が表示部１４０に表示される例を示す。図５（ｂ）では、近距離から遠距離にかけて位置する花ＦＬ１、ＦＬ２、ＦＬ３すべてが鮮鋭な像を結ぶ画像、すなわち被写界深度の深い画像が表示部１４０に表示される例が示される。ユーザがスライドレバー５０２を「深」の側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像の被写界深度が深くなるように再構成パラメータを設定する。

再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行う。この場合、再構成処理部１７２は、近距離に位置する花ＦＬ１に焦点の合った画像、中距離に位置する花ＦＬ２の焦点の合った画像、遠距離に位置する花ＦＬ３に焦点の合った画像を再構成処理により生成する。そして、画像処理部１７０でこれらの画像を合成する処理を行い、被写界深度の深い完成画像ＦＲＩを生成する。あるいは、再構成処理部１７２において、撮影レンズ１０２中で絞り径の比較的小さい部分（小絞りの部分）を通過した光線を抽出して再構成する処理をすることによって被写界深度の深い完成画像ＦＲＩを生成することも可能である。

以上では図５（ａ）、図５（ｂ）を参照して、ユーザ操作に応じて再構成パラメータ設定部１６０で設定された再構成パラメータに基づいて再構成処理部１７２が再構成の処理を行い、ユーザ操作に対応する完成画像ＦＲＩが生成され、表示画像が表示される例について説明したが、以下のように処理をすることも可能である。図５（ｃ）は、被写界深度の異なる複数の画像が表示部１４０に並べて表示される例を示している。図５（ｃ）では、被写界深度の浅い画像Ｉｓと、被写界深度の深い画像Ｉｄとが並べて表示される例を示すが、３枚以上の画像が並べて表示されてもよい。このとき、画像の一部が重なるように表示されていてもよく、また、表示される画像の大きさが複数の画像間で異なっていてもよい。また、複数の画像が時間の経過とともに切り換えられて、表示部１４０に順に表示されるようにしてもよい。

図５（ｃ）に例示される表示が行われるにあたり、トリガ入力部１８０は、ユーザがレリーズスイッチを半押しする操作をしたときにトリガが入力されるようにしてもよいし、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作したときトリガが入力されるようにしてもよい。あるいは、ユーザがカメラ１００の電源を投入する操作、撮影モードに切り換える操作、半押しをする操作等をしてから所定の時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらには、撮影後のポストビュー表示中にユーザの操作が検出された場合や、ポストビュー表示を開始してから一定時間経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。図５（ｃ）に例示される表示が開始されるまでの間、あるいは図５（ｃ）に例示される表示を完了した後は、通常のデジタルカメラで行われるのと同様のプレビュー表示を行うことが可能である。

図５（ｃ）を参照して説明した表示が行われる際には、再構成処理部１７２でライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータが再構成パラメータ設定部１６０で設定される。本実施の形態において、再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値は、例えば、被写界深度が最も浅くなる再構成パラメータと、被写界深度が最も深くなる再構成パラメータとすることができる。このとき、撮影レンズ１０２において現状で設定されている焦点調節位置（合焦距離）と、撮影レンズ１０２の焦点距離および絞り値と、許容錯乱円径（実質ピントが合って見えると見なせる画像の鮮鋭度）とから被写界深度を設定可能である。つまり、許容錯乱円径を最小（０）としたときに被写界深度は最も浅くなり、許容錯乱円径を許容可能な最大の大きさにしたときに被写界深度は最も深くなる。

上記再構成パラメータにもとづき、再構成処理部１７２で再構成の処理が行われて複数枚（複数種類）の完成画像ＦＲＩが生成され、それらの完成画像ＦＲＩに基づく表示画像が表示部１４０に同時または順次表示される。その結果、本実施の形態では、被写界深度の最も浅い画像、最も深い画像を少なくとも含む複数の画像が表示される。これらの表示画像を観ることにより、後でどの範囲までピントの合った完成画像ＦＲＩを得ることができるのか、作画意図に合う画像を得ることができるのか等をユーザは撮影時時点で直観的に確認することができ、安心して撮影を行うことができる。

− 第２の実施の形態 −
図６は、図５に示すものと同様、カメラ１００に備えられる表示部１４０と、ダイヤルスイッチ１３４およびシーソースイッチ１３２とを示す図である。表示部１４０の表面にはタッチパネルが設けられているものとする。表示部１４０には、ライブビュー画像、ポストビュー画像、あるいは再構成処理によって生成された完成画像ＦＲＩに基づく表示画像と共にＧＵＩ表示６００等が表示される。本実施の形態においてＧＵＩ表示６００は、視点を移動することが可能な範囲を破線の丸で示し、その範囲内で現在設定されている視点の位置を十字のカーソル６０２で示している。ここで、表示部１４０はカメラ１００の背面に設けられているものとする。以下の説明において左、右とは、被写体に向かって左、右を意味する。また、上、下とは、天、地に向かう向きを意味する。図６には、再構成の処理によって、視点を変化させた場合の画像が表示部１４０に表示される様子が示される。視点を変化させた完成画像ＦＲＩを得る方法は先に説明したとおりである。つまり、撮影レンズの絞り開口内で、当該絞り開口よりも小さいサブ開口領域の大きさおよび位置を特定し、当該サブ開口領域を通過する光線に対応する情報を前記ライトフィールド画像から抽出して再構成することにより、視点を変化させた画像を得ることが可能となる。

従来のカメラで行われるのと同様のプレビュー表示が行われている状態のときに、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作する。このとき、トリガ入力部１８０は、再構成画像を表示する処理の実行を開始する操作をユーザが行ったのをトリガとして入力し、再構成処理部１７２へ再構成処理の実行を開始するコマンドを発する。再構成処理部１７２は、コマンド入力時点、あるいはその後に得られたライトフィールド画像に再構成処理を行う。そして、生成された完成画像ＦＲＩに基づく表示画像がＧＵＩ表示６００とともに表示部１４０に表示される。

完成画像ＦＲＩは、第１の実施の形態で説明したのと同様に、撮影動作を行って得られたライトフィールド画像に対して再構成処理が行われて生成されても良い。その場合、撮影動作後のポストビュー表示が行われているときにユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力する。また、ポストビュー表示を開始した後、一定時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。

カーソル６０２の表示される部分にユーザが指等を当てて表示部１４０の上下左右方向に沿ってスライドさせる操作をすることにより、カーソル６０２の表示位置が破線の丸の範囲内で上下左右に変化し、再構成パラメータも変化する。また、シーソースイッチ３１２を上下左右のいずれかの方向に傾ける操作をするのに応じてカーソル６０２の表示位置が変化し、再構成パラメータも変化するようにしてもよい。

図６（ａ）は、カーソル６０２を右上側にスライドさせたのに応じて、視点を右上に移動したときの画像が表示部１４０に表示される例を示す。図６においても、図５と同様、近距離に位置する花ＦＬ１、中距離に位置する花ＦＬ２、遠距離に位置する花ＦＬ３が撮影されているものとする。

図６（ａ）では、近距離に位置する花ＦＬ１が画面内において相対的に左下に位置がずれて表示される様子が示される。つまり、視点を右上に移動したのに伴い、カメラ１００からより近い位置に存在する被写体である花ＦＬ１の像が視点移動の影響をより強く受けて、花ＦＬ１の像の位置の移動量が他の花ＦＬ２、ＦＬ３の位置の移動量よりも大きくなる。その結果、図５（ｂ）などにおいて、花ＦＬ２の茎や葉のうち、花ＦＬ１の影に隠れて見えなくなっていた部分が、図６（ａ）では見えるようになっている様子が示される。

つまり、ユーザがカーソル６０２を右上側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像が、視点を右上側に移動させたときのものとなるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、完成画像ＦＲＩを生成する。この完成画像ＦＲＩに基づく表示画像が表示部１４０に表示される例が図６（ａ）に示されている。

図６（ｂ）は、カーソル６０２を左上側に位置させたのに応じて、視点を左上に移動したときの画像が表示部１４０に表示される例を示す。ユーザがカーソル６０２を左上側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像が、視点を左上側に移動させたときのものとなるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行う。この場合、近距離に位置する花ＦＬ１が画面内において相対的に右下に位置がずれて表示される様子が示される。つまり、視点を左上に移動したのに伴い、先にも説明したように、カメラ１００からより近い位置に存在する被写体である花ＦＬ１の像が視点移動の影響をより大きく受けて、花ＦＬ１の像の位置の移動量が他の花ＦＬ２、ＦＬ３の位置の移動量よりも大きくなる。その結果、図６（ａ）に示されるものと比較して花ＦＬ１の位置が右に移動している。

以上では図６（ａ）、図６（ｂ）を参照して、ユーザ操作に応じて再構成パラメータ設定部１６０で設定された再構成パラメータに基づいて再構成処理部１７２が再構成の処理を行い、ユーザ操作に対応する完成画像ＦＲＩが生成され、表示画像が表示される例について説明したが、以下のように処理をすることも可能である。図６（ｃ）は、視点の異なる複数の画像が表示部１４０に並べて表示される例を示している。図６（ｃ）では、視点を右上にずらしたときの画像ＩＵＲ（Upper Right）、左上にずらしたときの画像ＩＵＬ（Upper Left)、右下にずらしたときの画像ＩＬＲ（Lower Right)、左下にずらしたときの画像ＩＬＬ（Lower Left）が並べて表示されるが、３枚以下の画像や５枚以上の画像が並べて表示されてもよい。このとき、画像の一部が重なるように表示されていてもよく、また、表示される画像の大きさが複数の画像間で異なっていてもよい。また、複数の画像が時間の経過とともに切り換えられて、表示部１４０に順次表示されるようにしてもよいのも第１の実施の形態と同様である。

図６（ｃ）に例示される表示が行われるにあたり、第１の実施の形態で説明したのと同様、トリガ入力部１８０は、ユーザがレリーズスイッチを半押しする操作をしたときにトリガが入力されるようにしてもよいし、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作したときトリガが入力されるようにしてもよい。あるいは、ユーザがカメラ１００の電源を投入する操作、撮影モードに切り換える操作、半押しをする操作等をしてから所定の時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらには、撮影後のポストビュー表示中にユーザの操作が検出された場合や、ポストビュー表示を開始してから一定時間経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。図６（ｃ）に例示される表示が開始されるまでの間、あるいは図６（ｃ）に例示される表示を完了した後は、通常のデジタルカメラで行われるのと同様のプレビュー表示を行うことが可能である。

図６（ｃ）を参照して説明した表示が行われる際には、第１の実施の形態で説明したのと同様、再構成処理部１７２でライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータが再構成パラメータ設定部１６０で設定される。例えば、本例においては、視点の位置が、変更可能範囲内の右端、左端となるのに対応する再構成パラメータを両極の値とすることができる。また、変更可能範囲内の上端、下端や、右上、左下、あるいは左上、右下となるのに対応する再構成パラメータを両極の値とすることも可能である。

上記のように設定された再構成パラメータに基づき、再構成処理部１７２で再構成の処理が行われて複数枚（複数種類）の完成画像ＦＲＩが生成され、それらの完成画像ＦＲＩに基づく表示画像が表示部１４０に同時または順次表示される。図６（ｃ）の例では、視点を右上にずらしたときの画像ＩＵＲ、左上にずらしたときの画像ＩＵＬ、右下にずらしたときの画像ＩＬＲ、左下にずらしたときの画像ＩＬＬが並べて表示される。これらの表示画像を観ることにより、手前側の被写体によって隠れて見えなかった部分が後の処理で見えるようになるのか否かをユーザは撮影時時点で直観的に確認することができ、安心して撮影を行うことができる。

以上、第２の実施の形態では、ライトフィールド画像から視点を変化させた完成画像ＦＲＩを生成する例について説明したが、いわゆるステレオ画像を生成することも可能である。つまり、左右方向に視差の設定された一組の画像（ステレオペア）をライトフィールド画像から生成することが可能である。この場合、表示部１４０は、ユーザが裸眼で立体画像を観視可能に構成されていても、ユーザが眼鏡型のアダプタを装着することにより立体画像を観視可能に構成されていてもよい。そして、再構成パラメータ設定部１６０で設定される再構成パラメータは、ステレオペアの画像間の視差の量、すなわち、表示される立体画像の奥行き感とすることが可能である。図６（ｃ）を参照して説明したのと同様にして、奥行き感の異なる複数の立体画像が同時または順次表示される場合、再構成パラメータ設定部１６０は、再構成処理部１７２がライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータを設定する。この場合、再構成パラメータとしてとりうる範囲の両極の値としては、例えば視差量が０（奥行き感０）に対応するものと、視差量が最大（奥行き感が最大）に対応するものとすることができる。視差量が最大に対応するもの、とは、視点を設定することの可能な範囲で一番左および一番右の視点に対応する完成画像ＦＲＩのペアを生成するための再構成パラメータとなる。

− 第３の実施の形態 −
図７は、図５、図６に示すものと同様、カメラ１００に備えられる表示部１４０と、ダイヤルスイッチ１３４およびシーソースイッチ１３２とを示す図である。表示部１４０の表面にはタッチパネルが設けられているものとする。表示部１４０には、プレビュー画像、ポストビュー画像、あるいは再構成処理によって生成された完成画像に基づく表示画像と共にＧＵＩ表示７００等が表示される。本実施の形態においては、スライド式ボリュームを模したＧＵＩ表示７００がなされるものとする。図７では、合焦位置を変化させたかのような画像を再構成処理によって生成し、表示する場合を示している。

従来のカメラで行われるのと同様のプレビュー表示が行われている状態のときに、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作する。このとき、トリガ入力部１８０は、再構成画像を表示する処理の実行を開始する操作をしたのをトリガとして入力し、再構成処理部１７２に対して再構成処理の実行を開始するコマンドを発する。再構成処理部１７２は、コマンド入力時点、あるいはその後に得られたライトフィールド画像に再構成処理を行う。そして、生成された完成画像ＦＲＩに基づく表示画像がＧＵＩ表示７００とともに表示部１４０に表示される。

完成画像ＦＲＩは、第１の実施の形態で説明したのと同様に、撮影動作を行って得られたライトフィールド画像に対して再構成処理が行われ、生成されても良い。その場合、撮影動作後のポストビュー表示が行われているときにユーザがダイヤルスイッチ１３４やシーソースイッチ１３２、あるいはタッチパネルを操作したのをトリガ入力部１８０がトリガとして入力する。また、ポストビュー表示を開始した後、一定時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。

スライドレバー７０２の表示される部分にユーザが指等を当てて表示部１４０の上下方向に沿ってスライドさせる操作をすることにより、スライドレバー７０２の表示位置が上下に変化し、再構成パラメータも変化する。図７ではスライドレバー７０２を上下にスライドする例について示しているが、左右にスライドするものであってもよい。また、シーソースイッチ３１２を上下方向あるいは左右方向に傾ける操作や、ダイヤルスイッチ１３４を時計回り、反時計回りいずれかの方向に回す操作をするのに応じてスライドレバー７０２の表示位置が変化し、再構成パラメータも変化するようにしてもよい。

図７（ａ）は、スライドレバー７０２を上側にスライドさせて「遠」の側に位置させたのに応じて、撮影範囲内のより遠い位置に存在する被写体の画像がより鮮鋭となるように表示部１４０に表示される例を示す。本明細書では、再構成処理によって得られる完成画像中で鮮鋭な像が得られる被写体までの、カメラ１００からの距離を「合焦距離」と称する。図７においても、図５と同様、近距離に位置する花ＦＬ１、中距離に位置する花ＦＬ２、遠距離に位置する花ＦＬ３が撮影されているものとする。つまり、花ＦＬ３の合焦距離は花ＦＬ１、ＦＬ２の合焦距離よりも長い（遠い）。図７（ａ）では、遠距離に位置する花ＦＬ３の画像がより鮮鋭となるようにライトフィールド画像が再構成されて完成画像ＦＲＩが生成され、表示画像が表示される様子が示される。

スライドレバー７０２が「遠」の側に位置するのに対応し、再構成パラメータ設定部１６０は、再構成処理をして得られる画像が、合焦距離のより長い（遠い）被写体の像が鮮鋭になるように再構成パラメータを設定する。再構成処理部１７２は、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、完成画像ＦＲＩを生成する。この完成画像ＦＲＩに基づき、図７（ａ）に例示される表示画像が表示部１４０に表示される。

図７（ｂ）は、ユーザがスライドレバー７０２を下側にスライドさせて「近」の側に位置させた状態を示しており、合焦距離のより短い（近い）被写体、すなわち花ＦＬ１の画像がより鮮鋭となる画像が表示部１４０に表示される例を示す。ユーザがスライドレバー７０２を「近」の側に位置させるのに応じて、再構成パラメータ設定部１６０は、再構成処理をして得られる画像中、合焦距離のより近い被写体の像が鮮鋭となるように再構成パラメータを設定する。再構成処理部１７２では、再構成パラメータ設定部１６０で設定された再構成パラメータに基づく再構成処理をライトフィールド画像に対して行い、花ＦＬ１の像が鮮鋭となる完成画像ＦＲＩを生成する。この完成画像ＦＲＩに基づき、図７（ｂ）に例示される表示画像が表示部１４０に表示される。以上に説明したスライドレバー７０２の操作に代えて、あるいはスライドレバー７０２の操作に加えて、表示部１４０に表示される画像中、ユーザがタッチパネルに触れて指定した被写体の像が鮮鋭となるように再構成パラメータが設定されてもよい。このとき、ユーザが表示画像中で複数の被写体を指定可能に構成され、指定された複数の被写体の像が全て鮮鋭となるように再構成パラメータが設定されてもよい。

以上では図７（ａ）、図７（ｂ）を参照し、ユーザ操作に応じて再構成パラメータ設定部１６０で設定された再構成パラメータに基づいて再構成処理部１７２が再構成の処理を行い、ユーザ操作に対応する完成画像ＦＲＩを生成して、対応する表示画像が表示される例について説明したが、以下のように処理をすることも可能である。図７（ｃ）は、異なる合焦距離の被写体に対応して鮮鋭な像を結ぶ複数の画像が表示部１４０に並べて表示される例を示している。図７（ｃ）では、合焦距離の近い被写体である花ＦＬ１に対して鮮鋭な像を結ぶ画像Ｉｎと、合焦距離の遠い被写体である花ＦＬ３に対して鮮鋭な像を結ぶ画像Ｉｆとが並べて表示される例を示すが、第１の実施の形態で図５を参照して説明したのと同様、３枚以上の画像が並べて表示されてもよい。このとき、画像の一部が重なるように表示されていてもよく、また、表示される画像の大きさが複数の画像間で異なっていてもよい。また、複数の画像が時間の経過とともに切り換えられて、表示部１４０に順次表示されるようにしてもよい。

図７（ｃ）に例示される表示が行われるにあたり、第１の実施の形態で説明したのと同様、トリガ入力部１８０は、ユーザがレリーズスイッチを半押しする操作をしたときにトリガが入力されるようにしてもよいし、ユーザがダイヤルスイッチ１３４やシーソースイッチ１３２を操作したときトリガが入力されるようにしてもよい。あるいは、ユーザがカメラ１００の電源を投入する操作、撮影モードに切り換える操作、半押しをする操作等をしてから所定の時間が経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。さらには、撮影後のポストビュー表示中にユーザの操作が検出された場合や、ポストビュー表示を開始してから一定時間経過したときにタイマから発せられる信号をトリガ入力部１８０が入力してもよい。図７（ｃ）に例示される表示が開始されるまでの間、あるいは図７（ｃ）に例示される表示を完了した後は、通常のデジタルカメラで行われるのと同様のプレビュー表示を行うことが可能である。

図７（ｃ）を参照して説明した表示が行われる際には、第１の実施の形態で説明したのと同様、再構成処理部１７２でライトフィールド画像に対して再構成処理を行う際の再構成パラメータとしてとりうる範囲の両極の値を含めて、複数の再構成パラメータが再構成パラメータ設定部１６０で設定される。例えば、本例においては、合焦距離が、変更可能範囲内の最短、最長となるのに対応する再構成パラメータを両極の値とすることができる。このとき、撮影レンズ１０２において現状で設定されている焦点調節位置（合焦距離）と、撮影レンズ１０２の焦点距離および絞り値と、許容錯乱円径（実質ピントが合って見えると見なせる画像の鮮鋭度）とから被写界深度を求め、そこから最短、最長の合焦距離を設定することが可能である。

上記のように設定された再構成パラメータに基づき、再構成処理部１７２で再構成の処理が行われて複数枚（複数種類）の完成画像ＦＲＩが生成され、それらの完成画像ＦＲＩに基づく表示画像が表示部１４０に同時または順次表示される。図７（ｃ）の例では、合焦距離が最短、最長の場合に対応する画像が並べて表示される。これらの表示画像を観ることにより、鮮鋭な像を得ることのできる合焦距離の範囲をユーザは撮影時時点で直観的に確認することができ、安心して撮影を行うことができる。また、合焦距離を少しずつ変化させた複数の画像を動画風に順次表示することにより、情感のあふれる画像を再生表示することも可能となり、カメラ１００を使用する上での新たな楽しみをユーザにもたらす事が可能となる。

以上、第１から第３の実施の形態によって静止画のライトフィールド画像に対して再構成の処理を行い、表示を行う例について説明したが、動画像に対して同様の処理を行うことも可能である。

本発明は、デジタルスチルカメラ、デジタルムービーカメラ等の製品に適用可能である。

以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。

１００ … プレノプティックカメラ （カメラ）
１０２ … 撮影レンズ
１０４ … マイクロレンズアレイ
１０６ … 撮像素子
１０８ … アナログ・フロントエンド （ＡＦＥ）
１１０ … レンズ駆動部
１２０ … 画像記録媒体
１２２ … ＣＰＵ
１２４ … 記憶部
１３０ … 操作部
１３２ … シーソースイッチ
１３４ … ダイヤルスイッチ
１４０ … 表示部
１５０ … システムバス
１６０ … 再構成パラメータ設定部
１７０ … 画像処理部
１７２ … 再構成処理部
５００、６００、７００ … ＧＵＩ表示
５０２、７０２ … スライドレバー
６０２ … カーソル

Claims (5)

1. 被写体の奥行き方向の情報も得ることの可能なライトフィールド画像に対して、所定の再構成パラメータに基づく再構成処理を行い、完成画像を生成する再構成処理部と、
   画像を表示可能な表示部と、
   前記再構成処理部で前記再構成処理をする際の再構成パラメータとしてとりうる範囲の両極の値を選択して設定する再構成パラメータ設定部と、
   撮影時から所定期間内に、前記再構成パラメータ設定部で設定された前記両極の値のうち一方の値に対応して前記再構成処理部で生成された画像と、他方の値に対応して前記再構成処理部で生成された画像と、を前記表示部に同時に表示する処理を行う表示処理部と
   を備えることを特徴とするプレノプティックカメラ。
2. 前記再構成パラメータは、被写界深度を変化させるためのパラメータであることを特徴とする請求項１に記載のプレノプティックカメラ。
3. 前記再構成パラメータは、特定視点位置を変化させるためのパラメータであることを特徴とする請求項１に記載のプレノプティックカメラ。
4. 前記再構成パラメータは、特定の撮影距離を変化させるためのパラメータであることを特徴とする請求項１に記載のプレノプティックカメラ。
5. 前記再構成処理部における前記再構成処理を開始する契機となるトリガを入力するトリガ入力部をさらに備えることを特徴とする請求項１から４のいずれか一つに記載のプレノプティックカメラ。