JP6245892B2 - 画像処理装置およびその制御方法、プログラム - Google Patents

Description

本発明は、撮影後に合焦範囲を変更可能な画像データに対して画像処理を行う技術に関するものである。

特殊なレンズと高解像度センサを活用することで、三次元空間での光の情報（ライトフィールド、以下、ＬＦとも記す）を記録可能なカメラ（ライトフィールドカメラ、以下、ＬＦカメラという）が知られている。ＬＦカメラでは、高解像度センサの前面に、マイクロレンズと呼ばれる微小なレンズ群が配置されている。１つの光点に対し複数のマイクロレンズが対応しており、マイクロレンズごとに異なる方向、異なる被写界深度における光の情報を記録することでＬＦ画像を取得可能である。ＬＦカメラで撮影したＬＦ画像は、撮影後に合焦範囲や視点を変更可能である。ＬＦ画像データは、撮像された画像に係る光の強度を示す光線情報および光線の方向情報を含む。
特許文献１には、カメラで被写体を撮影する時に、切り出し範囲内の撮影者の意図する被写体あるいは主要被写体に焦点の合った画像を得る技術が開示されている。特許文献２には、電子カメラからパーソナルコンピュータに入力される画像の切り出し実行時に、切り出し画像に対して入力調整（例えば、焦点調整、露出調整及び色調整）を行う技術が開示されている。

ところで、撮像素子の技術進歩により画素数は増加し続けている。このような状況において、画素を解像度方向のみならず複数のマイクロレンズに振り分けることで有効に活用できるため、ＬＦカメラがより一般的となることが予想される。ＬＦ画像は撮影後に合焦範囲などを変更できる反面、表示の際には合焦範囲が確定していなければならない。そのため、例えば撮影時の合焦範囲を初期設定の合焦範囲（以下、デフォルト合焦範囲という）として付与することが、利便性の観点で一般的と考えられる。

特開２００１−２０８９６１号公報 特開平１０−７９８８２号公報

撮影画像において、余分な映像部分が写り込んでいる場合や、ユーザが構図を調整する目的で、所望の被写体像を抜き出すトリミング編集を行うことは一般的である。一方、ＬＦ画像に対してトリミング編集を行う場合、デフォルト合焦範囲として設定されているトリミング領域の合焦状態が不適切な場合があると考えられる。例えば、ユーザが風景画像内の花の映像部分をトリミングしたい場合を想定する。この場合、花よりも奥側に存在している山や建築物といった背景側にデフォルト合焦範囲が設定されていると、手前側の花には合焦していない。また、撮影画像において、ユーザが画像内容を詳細に確認する目的で、所望の被写体像の周辺を拡大する拡大処理を行う場合も、同様に拡大領域の合焦状態が不適切な場合があると考えられる。
本発明は、撮影後に合焦範囲を変更可能な画像データに対して画像処理を行う画像処理装置において、トリミング処理後または拡大処理後の対象範囲に応じて合焦範囲を変更することにより、利便性を高めることを目的とする。

上記課題を解決するために、本発明の一実施形態に係る装置は、撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置であって、前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定手段と、前記範囲決定手段により決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶手段と、を備える。

前記範囲決定手段は、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、複数の前記所定のオブジェクトの奥行き位置を含むように合焦範囲を決定する。

本発明によれば、撮影後に合焦範囲を変更可能な画像データに対して画像処理を行う画像処理装置において、トリミング処理後または拡大処理後の対象範囲に応じて合焦範囲を変更することにより、利便性を高めることができる。

ライトフィールドカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。 イメージセンサ１３に入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 本発明の第１実施形態に係る装置の構成を示すブロック図である。 第１実施形態において編集前後で合焦範囲が変化する様子を示した図である。 本発明の第２実施形態において編集前後で、トリミング領域の中心座標に着目して合焦範囲が変化する様子を示した図である。 第２実施形態において編集前後で、最も頻度の高い奥行き位置に着目して合焦範囲が変化する様子を示した図である。 本発明の第３実施形態において編集前後で合焦範囲が変化する様子を示した図である。 本発明の第４実施形態に係る装置の構成を示すブロック図である。 第４実施形態において拡大前後で合焦範囲が変化する様子を示した図である。

以下、添付図面を参照して、本発明の各実施形態について詳細に説明する。
本発明の実施形態に係る映像処理装置を説明する前に、ピント状態を指定可能な動画像の撮影に用いる撮像装置について説明する。図１（Ａ）、図１（Ｂ）は、ＬＦカメラの概略構成を例示する。撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。尚、ここで得られた撮像データをライトフィールドデータ（以下、ＬＦデータという）と呼ぶ。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点を指定した画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射する光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系を（ｘ，ｙ）とし、さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重みづけを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理が行われる。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理を行う。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。
各実施形態ではＬＦ画像を編集する画像処理装置を例示する。

［第１実施形態］
図８を参照して、第１実施形態のシステム構成例を説明する。本システムはＬＦ画像の編集機能をユーザに提供し、高機能ディスプレイや、表示ディスプレイなどを含むＰＣ（パーソナルコンピュータ）内に構成される。ＣＰＵ（中央演算処理装置）がメモリから読み出したプログラムを実行することにより、以下に説明する処理が実現される。あるいは、ＬＦ画像を撮影可能な撮像装置において、撮影後に簡易編集を行うシステム形態もある。この場合、ＬＦカメラ内部に以下のシステムが構成される。その他、ＬＦ画像の現像および編集処理が可能であれば、適用機器は限定されない。本発明は、例えば、ＬＦ画像データ（ＬＦデータ）に含まれる光線情報と方向情報を取得し、光線の並べ替えと再構築により、任意のフォーカス位置や視点を指定した画像データの生成が可能な装置へ適用可能である。

トリミング対象指定部（以下、対象指定部という）１０１は、画像データに対してユーザが、画像内のトリミング領域を指定するＩＦ（インタフェース）部である。対象指定部１０１は、マウスなどのポインティングデバイスや、タッチパネルといった一般的な入力デバイスである。トリミング対象指定には、例えば、以下の方法がある。
・オブジェクトを指定する方法。
・矩形枠を表現するための開始点と終了点を指定する方法。
・任意の多角形を指定するための任意個数の点を指定する方法。
トリミング領域決定部（以下、領域決定部という）１０２は、対象指定部１０１による指定内容、および記憶部１０６に記憶されているトリミング対象となるＬＦ画像データから、トリミング対象となる領域を決定する。例えば、オブジェクトを指定する点座標が対象指定部１０１により指定された場合、領域決定部１０２は、指定された点を含むオブジェクト領域を、記憶部１０６からのＬＦ画像の解析により判別し、トリミング領域として決定する。あるいは、領域決定部１０２は、矩形枠を表現するために開始点と終了点の座標が対象指定部１０１により指定された場合、開始点と終了点で規定される矩形領域を、画像内のトリミング領域として決定する。また、任意の多角形を指定するための任意個数の点座標が対象指定部１０１により指定された場合には、領域決定部１０２は任意個数の点座標で囲まれる領域をトリミング領域として決定する。

トリミング領域解析部（以下、領域解析部という）１０３は、領域決定部１０２からトリミング領域の情報を取得し、トリミング領域の画像データの内容を解析する。本実施形態では解析内容として、後述する奥行きマップ上でトリミング領域が奥行き方向のどこに位置しているかが解析される。奥行きマップとは、縦方向および横方向の２次元で表現される画像に対して、それぞれの画素がマッピングされている奥行き方向の位置を示す地図データを含む。本実施形態では、奥行き方向において、縦横の座標に関わらず存在する画素の数（度数）をカウントした画素数を示すヒストグラム形式の奥行きマップを用いる。

図９は、本実施形態に係る奥行きマップを例示する。トリミング編集前のＬＦ画像については、撮影者側から見た場合、手前側の領域である合焦範囲２０１がデフォルト合焦範囲に設定されている。トリミング対象領域２０２は、奥側にて合焦していない範囲である。ユーザがこのままトリミング編集を実施した場合、トリミング編集後の画像は合焦していない、いわゆる暈けた画像になる。
領域解析部１０３は、領域決定部１０２から取得したトリミング領域の情報を解析する。これにより、トリミング対象は奥行きマップ上のトリミング対象領域２０２に存在すると判別される。
合焦範囲決定部１０４は、領域解析部１０３からの解析結果に基づいて、合焦範囲を決定する。図９を参照して、トリミング編集前のＬＦ画像に対して、トリミング編集後に合焦範囲が変化する様子を説明する。トリミング編集前の合焦範囲２０１は、撮影時に付与されたデフォルト合焦範囲とする。なお、合焦範囲は、焦点を合わせる奥行き範囲とも言い換えられる。また、合焦範囲は、所定の幅を有する奥行き範囲に限定されず、合焦位置（焦点を合わせる奥行き位置）とも言い換えられる。

トリミング編集では、トリミング対象外２０３の領域が除外されると同時に、トリミング編集前の合焦範囲２０１から、トリミング編集後の領域全体に合焦範囲（範囲２０４参照）が変更される。その結果、トリミング編集後の表示画像は、暈けのない焦点の合った画像となる。合焦範囲付与部１０５は、合焦範囲決定部１０４で決定された範囲を、トリミング結果の画像に対応する合焦範囲として、トリミング結果であるＬＦ画像に付与して記憶部１０６に記憶させる。決定された合焦範囲の情報は、トリミング編集前の合焦範囲として記憶されている形式で、トリミング編集後の情報へと変更される。そのため、デフォルト合焦位置の情報が上書きされることになる。

合焦範囲を示す情報の記憶形式としては、例えば、トリミング編集後のＬＦ画像データに対して、メタデータとして付与される。メタデータを用いることで、トリミング編集後のＬＦ画像を表示する際に適切な合焦範囲で画像が表示可能となる。例えば、合焦範囲については、奥行きマップ上の奥行き方向における位置（２点）として表現される。具体的には、２点を点Ａと点Ｂとした場合に、奥行き方向における点Ａの位置から点Ｂの位置までが合焦範囲として扱われる。
なお、トリミング編集前のＬＦ画像データに対して、トリミング編集を行った際の履歴情報と併せて、トリミング編集後の合焦範囲の情報を追加記録してもよい。この場合、ＬＦ画像自体についてはトリミング編集前の全データが保存される。ユーザが履歴情報を利用してトリミング編集およびトリミング編集後の画像表示を行う際には、トリミング編集と併せて適切に変更された合焦範囲での画像表示が可能となる。この場合、デフォルト合焦位置を示す情報は上書きされないので、トリミング編集前の画像を表示する際には、撮影時のデフォルト合焦位置をそのまま使用可能である。

記憶部１０６はトリミング編集前のＬＦ画像データや、領域決定部１０２から得られるトリミング編集後のＬＦ画像データ、合焦範囲付与部１０５から取得した合焦範囲データ、およびサムネイル画像などの付随データを記憶する。表示部１０７は、トリミング編集前およびトリミング編集後のＬＦ画像を表示する。また表示部１０７は、ユーザがトリミング対象を対象指定部１０１により指定する際のＵＩ（ユーザインタフェース）画面などをユーザに提示する。表示機器に関しては、テレビジョン装置、ＰＣディスプレイ、業務用ディスプレイ、タブレットデバイス、スマートフォンなどでもよい。なお、表示部１０７を備えていない装置の場合には、表示部１０７に代えて出力部から外部装置へ表示用の画像データなどが出力される。
本実施形態によれば、ＬＦ画像に対してトリミング編集を行った際、トリミング編集結果に応じた適切な合焦範囲への変更制御が行われる。すなわち、ユーザにとって利便性の高い合焦範囲が自動的に設定される。また、編集時に変更された合焦範囲から、さらに合焦範囲の微調整や追加のトリミング編集などを行う場合、ユーザは再度合焦範囲の変更指定が可能である。

［第２実施形態］
次に本発明の第２実施形態を説明する。第２実施形態では、第１実施形態に対し、領域解析部１０３および合焦範囲決定部１０４の動作が異なる。よって、第１実施形態の場合と同様の構成要素についての詳細な説明を省略し、相違点を主に説明する。このような説明の省略については、後述の実施形態でも同様である。
領域解析部１０３は、トリミング領域の中心座標を解析する。また領域解析部１０３は、トリミング領域内において最も画素数が多い、すなわち画素数を度数とする場合に最も度数が高い奥行きマップ上の位置（以後、最頻奥行き位置という）を解析する。領域解析部１０３は第１実施形態に記載した処理に加えて、トリミング領域の中心座標、およびトリミング領域の最頻奥行き位置のいずれか一方、または両方の情報を合焦範囲決定部１０４へ送る。

合焦範囲決定部１０４は、トリミング領域全体に合焦範囲を設定する。この場合、トリミング編集前のＬＦ画像データ次第では、トリミング編集後の領域全体に合焦させることが不可能な場合がある。ＬＦカメラにおいて、マイクロレンズ群の光学特性、メインレンズの光学特性、絞り値などの撮影パラメータを含めた撮影条件から、撮影後に調整または変更可能な合焦範囲は有限の範囲である。例えば、それほど明るくない環境下で、遠方の主被写体を撮影する場合、ユーザはメインレンズを望遠側に設定し、絞りを開放側に設定することが想定される。この状態では、広角側で絞りを絞った設定と比較して、光学的に合焦範囲が狭くなる。

本実施形態の合焦範囲決定部１０４は、トリミング領域の中心座標またはトリミング領域の最頻奥行き位置のいずれかを基準にして、トリミング編集後の合焦範囲を決定する。
まず、トリミング領域の中心座標の位置を基準にして合焦範囲を決定する処理について説明する。この場合、トリミング領域の中心座標の画素が存在する奥行き方向の位置を中心として、奥行き方向および手前方向に設定可能な範囲が、トリミング編集後の合焦範囲として設定される。

図１０を参照して、トリミング編集前のＬＦ画像に対して、トリミング編集後に合焦範囲が変化する様子を説明する。図１０はトリミング編集前のＬＦ画像に対しトリミング編集を行った結果、トリミング対象外３０１の領域を除いた部分全てに合焦範囲を設定することが不可能な場合を表している。
この場合、トリミング領域の中心座標の画素が存在する奥行きマップ上の位置３０２を中心として合焦可能な範囲に合焦範囲３０３が設定される。このような処理を行うことで、トリミング結果領域の中心部に合焦可能となる。トリミング領域の中心部はトリミング編集の意図として妥当である場合が多い。また第１実施形態でも述べたように、必要があれば追加の微調整や再変更も可能である。

次に、トリミング領域の最頻奥行き位置を基準にして合焦範囲を決定する処理について説明する。この場合、トリミング領域の最頻奥行き位置を中心として、奥行き方向および手前方向に設定可能な範囲が、トリミング編集後の合焦範囲として決定される。
図１１を参照して、トリミング編集前のＬＦ画像に対して、トリミング編集後に合焦範囲が変化する様子を説明する。図１１はトリミング編集前のＬＦ画像に対しトリミング編集を行った結果、トリミング対象外４０１の領域を除いた部分全てに合焦範囲を設定することが不可能な場合を表している。
この場合、トリミング領域の最頻奥行き位置４０２を中心として、奥行きおよび手前方向に合焦可能な範囲で合焦範囲４０３が設定される。このような処理を行うことで、トリミング結果領域の中心部に合焦したい対象が存在しない場合でも、トリミング編集の意図に応じた位置に合焦可能となる。なお、トリミング領域の中心座標から合焦範囲を決定するか、またはトリミング領域の最頻奥行き位置から合焦範囲を決定するかについては、ユーザが選択可能である。

［第３実施形態］
次に本発明の第３実施形態を説明する。第３実施形態では、第１実施形態に対し、領域解析部１０３および合焦範囲決定部１０４の動作が異なる。
領域解析部１０３は、トリミング領域内のオブジェクト（例えば、人物の顔、犬や猫などの動物の顔の画像など）を解析する。トリミング領域内に複数のオブジェクトが存在する場合、領域解析部１０３は各オブジェクトが存在する領域を解析する。領域解析部１０３は第１実施形態に記載の処理に加えて、上記解析の結果から得た各オブジェクトが存在する領域についての情報を、合焦範囲決定部１０４へ送る。合焦範囲決定部１０４では、トリミング領域全体に合焦範囲を設定するが、第２実施形態で説明したように、トリミング編集前のＬＦ画像データ次第では、トリミング編集後の領域全体に合焦させることが不可能な場合がある。

本実施形態の合焦範囲決定部１０４は、トリミング領域内にオブジェクトが存在する領域を基準にしてトリミング編集後の合焦範囲を決定する。トリミング領域内に含まれるオブジェクトの数が単数の場合には、そのオブジェクトが存在する奥行き範囲を中心に合焦範囲が決定される。一方、トリミング領域内に含まれるオブジェクトの数が複数の場合には、全てのオブジェクトが含まれるよう合焦範囲が決定される。
図１２を参照して、トリミング編集前のＬＦ画像に対して、トリミング編集後に合焦範囲が変化する様子を説明する。図１２では、トリミング編集前の全体画像５０１に対し、トリミング領域５０２を選択してトリミング編集を行う場合を示している。トリミング領域５０２内には、三角形５０３と円形５０４のオブジェクトが存在している。
トリミング編集前の画像全体に対する、前述の奥行きマップを図１２に示す。撮影側から被写体に対して手前側にトリミング対象領域５０５があり、トリミング編集前の合焦範囲５０６はトリミング対象領域５０５から外れている。全体画像５０１に対してトリミング編集を行う場合、領域解析部１０３はトリミング領域５０２に含まれるオブジェクトである三角形５０３と円形５０４の領域を検出する。

合焦範囲決定部１０４は、トリミング編集後の三角形５１３が存在する奥行きマップ上の範囲５０８と、円形５１４が存在する奥行きマップ上の範囲５０７が含まれるように合焦範囲５１０を決定する。トリミング編集の前後で、合焦範囲５０６が合焦範囲５１０に変更される。このため、トリミング編集前には暈けていた三角形５０３や円形５０４は、領域５１２内で焦点が合った状態の三角形５１３と円形５１４として表示される。
なお、オブジェクトが多数存在し、全てのオブジェクトを含めることが困難な場合には、合焦範囲決定部１０４はオブジェクトの大きさ順で優先度を規定する。優先度の高いオブジェクトが優先的に含まれるように合焦範囲が決定される。または、合焦範囲決定部１０４はトリミング領域の中心に存在するオブジェクトについて優先度を高く規定する。また、上記優先度の規定については、ユーザが大きさ順を優先するか、または中心座標を優先するかを選択可能である。

［第４実施形態］
次に、図１３を参照して本発明の第４実施形態を説明する。第１ないし第３実施形態では、編集処理としてトリミングについて示したが、拡大処理を行う場合にも本発明を適用可能である。つまり、撮影後の拡大処理は、見方を変えれば拡大して表示したい範囲をトリミング領域とし、残りの領域を削除する処理と見做すことが可能である。
図１３の拡大操作部６０１は、ＬＦ画像データに対してユーザが拡大操作を指示するＩＦ（インタフェース）部であり、マウスなどのポインティングデバイスやタッチパネルといった一般的な入力デバイスである。
拡大領域の指定方法としては、拡大したい領域の中心座標や、矩形枠での指定が一般的である。また、他の拡大領域の指定方法では、上下左右方向を指定するための十字操作部材を用いる場合がある。具体的には、デジタルカメラなどでプレビュー表示や簡易編集を行っている状態で、元の画像に対して拡大した領域が表示されているとする。その状態で、画像を拡大したままでユーザの操作指示に従って上下左右方向に表示領域を変更する処理が一般的に行われる。

拡大領域決定部６０２は、拡大操作部６０１による指定内容および記憶部１０６に記憶されている拡大対象（ＬＦ画像データ）に基づいて、拡大対象となる領域を決定する。中心座標が指定された場合には、予め定められた一定の拡大率に応じて拡大領域が決定される。拡大領域決定部６０２は、この拡大率に応じて拡大前の領域を拡大領域として決定する。また、拡大領域として矩形枠が指定された場合には、その矩形領域が拡大領域として決定される。
画像の拡大状態で十字ボタンなどの操作により表示画像の移動が指示された場合には、十字ボタンの各方向を押下した場合に規定されている変更量に応じて拡大領域が変更される。例えば、右方向への操作が行われた場合、拡大前の領域換算で所定画素数（例えば５０画素）分の移動が規定されているものとする。この場合、拡大操作部６０１から右方向への操作が行われると、その時点で規定されている拡大領域から右方向に５０画素分だけ領域がシフトする。

拡大領域解析部６０３は、拡大領域決定部６０２から送られる拡大領域の情報を取得して、拡大領域のＬＦ画像データの内容を解析する。本実施形態では、奥行きマップ上での拡大領域が解析される。
図１４に本実施形態での拡大事例および奥行きマップを示す。本実施形態では、拡大前のＬＦ画像７０１に対して、円形７０３が表示されている対象領域を拡大領域７０２として処理が実行される。
拡大前画像の奥行きマップから判るように、拡大前のＬＦ画像は撮影側から見た場合、奥側の領域が合焦範囲７０５となっている。拡大領域７０２に対応する範囲７０４は、合焦範囲７０５よりも手前側の、焦点の合っていない部分に存在しているので、このまま実施したのでは、拡大後の画像は暈けた画像になる。

拡大領域解析部６０３は、拡大領域決定部６０２から取得した拡大領域の情報を解析する。これにより、拡大対象は奥行きマップ上で範囲７０４に存在すると判定される。合焦範囲決定部６０４は、拡大領域解析部６０３からの解析結果に基づいて合焦範囲を決定する。
図１４を参照して、拡大処理前のＬＦ画像に対して、拡大処理後に合焦範囲が変化する様子を説明する。
拡大処理後の表示画像７０６の状態では、拡大処理前の合焦範囲７０５が、拡大領域７０２が存在する奥行きマップ上の範囲７０４の位置に変更され、合焦範囲７０８となる。その結果、拡大処理前には暈けた画像となっていた円形７０３が、拡大処理後には焦点の合った円形７０７となって表示される。
ユーザが拡大操作を行う場合、拡大対象となる領域に注目したいことが多いと考えられる。本実施形態によれば、上記処理によって、拡大操作を行った際に自動的に拡大領域に合焦するため、ユーザの利便性が向上する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 対象指定部
１０２ 領域決定部
１０３ 領域解析部
１０４ 合焦範囲決定部
１０５ 合焦範囲付与部
１０６ 記憶部

Claims (15)

1. 撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置であって、
   前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定手段と、
   前記範囲決定手段により決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶手段と、
   を備え、
   前記範囲決定手段は、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、複数の前記所定のオブジェクトの奥行き位置を含むように合焦範囲を決定することを特徴とする画像処理装置。
2. 撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置であって、
   前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定手段と、
   前記範囲決定手段により決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶手段と、
   を備え、
   前記範囲決定手段は、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、前記所定のオブジェクトの大きい順に優先して合焦範囲を決定することを特徴とする画像処理装置。
3. 撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置であって、
   前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定手段と、
   前記範囲決定手段により決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶手段と、
   を備え、
   前記範囲決定手段は、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、前記トリミング領域の中心に存在する前記所定のオブジェクトを優先して合焦範囲を決定することを特徴とする画像処理装置。
4. 前記記憶手段により記憶された前記情報を用いて、前記トリミング編集後のライトフィールド画像データを再構築することにより、前記情報が示す合焦範囲に焦点が合った画像データを出力する出力手段をさらに備えることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記所定のオブジェクトは顔であることを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記範囲決定手段は、前記ライトフィールド画像データを構成する各画素について奥行き方向の位置を示す奥行きマップを用いて、前記所定のオブジェクトの奥行き位置を解析することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記ライトフィールド画像データは、撮像された画像に係る光の強度および方向を示す情報を含むことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置にて実行される制御方法であって、
   前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定ステップと、
   前記範囲決定ステップで決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶ステップと、
   を有し、
   前記範囲決定ステップでは、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、複数の前記所定のオブジェクトの奥行き位置を含むように合焦範囲を決定することを特徴とする画像処理装置の制御方法。
9. 撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置にて実行される制御方法であって、
   前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定ステップと、
   前記範囲決定ステップで決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶ステップと、
   を有し、
   前記範囲決定ステップでは、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、前記所定のオブジェクトの大きい順に優先して合焦範囲を決定することを特徴とする画像処理装置の制御方法。
10. 撮影後に合焦範囲を変更可能なライトフィールド画像データに対して画像処理を行う画像処理装置にて実行される制御方法であって、
    前記ライトフィールド画像データに対して指定されたトリミング領域において焦点を合わせる奥行き範囲に関する合焦範囲を決定する範囲決定ステップと、
    前記範囲決定ステップで決定された前記合焦範囲を示す情報を、トリミング編集後のライトフィールド画像データに関連づけて記憶する記憶ステップと、
    を有し、
    前記範囲決定ステップでは、前記トリミング領域内に含まれる所定のオブジェクトの数が１つの場合に、１つの前記所定のオブジェクトの奥行き位置を中心として合焦範囲を決定し、前記トリミング領域内に含まれる前記所定のオブジェクトの数が複数の場合に、前記トリミング領域の中心に存在する前記所定のオブジェクトを優先して合焦範囲を決定することを特徴とする画像処理装置の制御方法。
11. 前記記憶ステップで記憶された前記情報を用いて、前記トリミング編集後のライトフィールド画像データを再構築することにより、前記情報が示す合焦範囲に焦点が合った画像データを出力する出力ステップをさらに備えることを特徴とする請求項８ないし１０のいずれか１項に記載の画像処理装置の制御方法。
12. 前記所定のオブジェクトは顔であることを特徴とする請求項８ないし１１のいずれか１項に記載の画像処理装置の制御方法。
13. 前記範囲決定ステップでは、前記ライトフィールド画像データを構成する各画素について奥行き方向の位置を示す奥行きマップを用いて、前記所定のオブジェクトの奥行き位置を解析することを特徴とする請求項８ないし１２のいずれか１項に記載の画像処理装置の制御方法。
14. 前記ライトフィールド画像データは、撮像された画像に係る光の強度および方向を示す情報を含むことを特徴とする請求項８ないし１３のいずれか１項に記載の画像処理装置の制御方法。
15. 請求項８から１４のいずれか１項に記載の、画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。