JP6632384B2 - 画像再生装置及び画像再生方法 - Google Patents

Description

本発明は、画像を再生する画像再生装置及び画像再生方法に関するものである。

近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、撮像装置に入射した光をマイクロレンズによって分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。特許文献１には、ＬＦ画像データに対して所定のリフォーカス演算処理を行うことにより、任意の焦点に設定した画像を再構築する方法が開示されている。

特開２００９−１５９３５７号公報

多数の画像データを連続して再生する際に、フォーカスが合っている奥行き方向の位置を徐々に変化させる場合がある。このような場合に、多数の画像データそれぞれに対してフォーカス位置を設定することが煩雑であるという問題があった。

そこで、本発明は上述した点に鑑みてなされたものであり、多数の画像データを再生する際のフォーカス位置の設定を容易にすることを目的とする。

本発明の画像再生装置は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データを記憶する記憶手段と、前記複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付手段と、前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定手段と、前記第１画像データ、前記第２画像データ及び前記第３画像データを含む前記動画データを再生する再生手段と、を有し、前記受付手段は、前記複数の画像データから前記第３画像データを選択する指示をさらに受け付け、前記再生手段は、フォーカス位置が前記第３フォーカス位置に設定された、前記受付手段が受け付けた指示に対応する前記第３画像データを表示部に表示させることを特徴とする。

本発明の画像再生方法は、コンピュータにより実行される、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付けるステップと、前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定するステップと、前記第１画像データ、前記第２画像データ及び前記第３画像データを含む前記動画データを再生する再生ステップと、を有し、前記受付ステップでは、前記複数の画像データから前記第３画像データを選択する指示をさらに受け付け、前記再生ステップでは、フォーカス位置が前記第３フォーカス位置に設定された、前記受付ステップで受け付けた指示に対応する前記第３画像データを表示部に表示させることを特徴とする。

本発明によれば、多数の画像データを再生する際のフォーカス位置の設定を容易にすることができるという効果を奏する。

ＬＦカメラとしての撮像装置１０の構成の模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。 マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。 イメージセンサ１３に入射する光線の情報について説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 ＬＦ動画データに含まれる３つのＬＦ画像データに基いて再生される３つの画像データを示す図である。 画像再生装置１の構成を示す図である。 フォーカス位置と再生時間との関係の例を示す図である。 ユーザがフォーカス位置を設定するためのフォーカス位置設定画面３０を示す図である。 設定部２２がフォーカス位置を設定する方法について説明するための図である。 画像再生装置１がフォーカス位置を決定する動作のフローチャートである。 変形例３における画像再生装置１の動作について説明するための図である。 変形例３において用いられる、再生時間とフォーカス位置との関係を示す図である。

［ＬＦカメラの概要］
本実施形態に係る画像再生装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った奥行き方向の位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。

マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。

イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。

マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。

被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。

図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。

次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。

図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。

続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。

このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データを再生する画像再生装置及び画像再生方法の実施形態について説明する。

［画像再生装置１の概要］
本実施形態における画像再生装置１は、複数のＬＦ画像データを含むＬＦ動画データに基づいて、動画データを再生することができる。ＬＦ動画データは、それぞれがＬＦ画像データを含む複数の画像フレーム（以下、「フレーム」という）を有しており、画像再生装置１は、各フレームのＬＦ画像データを再構築して得られるリフォーカス画像を順次再生することにより、動画データを再生することができる。ユーザが、２つのフレーム（第１フレーム、第２フレーム）のＬＦ画像データのフォーカス位置を指定すると、画像再生装置１は、２つのフレームの間のフレームのＬＦ画像データのフォーカス位置を自動的に設定する。

図８は、ＬＦ動画データに含まれる３つのＬＦ画像データに基いて再生される３つのフレームに対応する画像データを示す図である。
図８（ａ１）は、ユーザが指定する２つのフレームのうち、先に再生される第１フレームに対応する第１画像データＤ１を示している。図８（ａ２）は、第１画像データＤ１の奥行き方向におけるフォーカス位置を示す奥行きマップである。図８（ａ２）における符号Ｒ１は、フォーカスが合っているフォーカス範囲を示しており、第１画像データＤ１の被写界深度に対応している。図８（ａ２）が示すように、図８（ａ１）においては、左側のオブジェクトＸにフォーカスが合う位置（以下、第１フォーカス位置という）にフォーカス位置が設定されており、右側のオブジェクトＹにはフォーカスが合っていない。

図８（ｃ１）は、ユーザが指定する２つのフレームのうち、後に再生される第２フレームに対応する第２画像データＤ２を示している。図８（ｃ２）は、第２画像データＤ２の奥行きマップである。図８（ｃ２）における符号Ｒ２は、フォーカスが合っているフォーカス範囲を示しており、第２画像データＤ２の被写界深度に対応している。図８（ｃ１）においては、右側のオブジェクトＹにフォーカスが合う位置（以下、「第２フォーカス位置」という）にフォーカス位置が設定されており、左側のオブジェクトＸにはフォーカスが合っていない。

図８（ｂ１）は、第１フレームと第２フレームとの間に再生されるフレームに対応する第３画像データＤ３を示している。図８（ｂ２）は、第３画像データＤ３の奥行きマップである。画像再生装置１は、ユーザが第１フォーカス位置、及び第２フォーカス位置を設定すると、第１フォーカス位置及び第２フォーカス位置に基づいて、第３画像データＤ３のフォーカス位置（以下、第３フォーカス位置）を設定する。図８（ｂ２）が示すように、第３フォーカス位置は、第１フォーカス位置と第２フォーカス位置との間の範囲Ｒ３に設定されており、この状態では、左側のオブジェクトＸにも右側のオブジェクトにもＹにもフォーカスが合っていない。

画像再生装置１は、第１画像データＤ１、第３画像データＤ３及び第２画像データＤ２をこの順序で再生することにより、オブジェクトＸにフォーカスが合った状態からオブジェクトＹにフォーカスが合った状態にフォーカス位置を遷移させることができる。第１画像データＤ１と第２画像データＤ２との間に多数の画像データがある場合、画像再生装置１は、オブジェクトＸにフォーカスが合った状態からオブジェクトＹにフォーカスが合った状態まで、滑らかにフォーカス位置を遷移させることができる。

［画像再生装置１の構成］
以下、画像再生装置１の構成について詳細に説明する。
図９は、本実施形態に係る画像再生装置１の構成を示す図である。画像再生装置１は、記憶部２０と、受付部２１と、設定部２２と、表示部２３と、再生部２４とを有する。

記憶部２０は、例えばハードディスク、メモリ等の記憶媒体であり、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のＬＦ画像データを記憶する。記憶部２０は、例えば、複数のＬＦ画像データにより構成されるＬＦ動画データを記憶する。

受付部２１は、複数のＬＦ画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける。受付部２１は、例えば、マウス及びタッチパネル等のユーザインターフェイスを介してユーザにより入力された第１フォーカス位置及び第２フォーカス位置を受け付ける。

受付部２１は、第１フォーカス位置として、例えば、第１画像データが再生される際にフォーカス範囲を指定する指示情報を受け付ける。具体的には、受付部２１は、第１画像データが再生される際にフォーカスが合う最も手前の位置及び最も奥の位置を指定する指示情報を受け付ける。受付部２１は、フォーカス範囲の中央位置である第１フォーカス位置を示す指示情報と、フォーカス範囲の大きさを示す指示情報とを受け付けてもよい。受付部２１は、これらの指示情報を設定部２２に通知する。

設定部２２は、ＬＦ画像データごとにフォーカス位置を設定する。設定部２２は、受付部２１から、第１画像データにおいてフォーカスが合う最も手前の位置と最も手前の位置を示す指示情報を受けた場合、指示情報が示す位置により定められるフォーカス範囲の中央位置に第１フォーカス位置を設定する。同様に、受付部２１から、第２画像データにおいてフォーカスが合う最も手前の位置と最も手前の位置を示す指示情報を受けた場合、指示情報が示す位置により定められるフォーカス範囲の中央位置に第２フォーカス位置を設定する。

そして、設定部２２は、第１画像データと第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、第１フォーカス位置及び第２フォーカス位置に基づいて設定する。設定部２２は、例えば、第１フォーカス位置と第２フォーカス位置との間に第３フォーカス位置を設定する。設定部２２は、第１画像データと第２画像データとの間の複数の画像データに対応する複数の第３フォーカス位置を、第２画像データに近いタイミングで再生する画像データほど第２フォーカス位置に近い位置に設定する。

図１０は、設定部２２が第３フォーカス位置の設定に用いる、フォーカス位置と再生時間との関係の例を示す図である。図１０（ａ）においては、単位時間が経過する間に、一定の大きさだけ第３フォーカス位置が同一の手前から奥へと変化している。この場合、設定部２２は、２つのフォーカス位置の間の第３フォーカス位置を、再生時間の一次関数に基づいて算出する。すなわち、設定部２２は、再生時間と第３フォーカス位置とが線形の関係を有するように、第３フォーカス位置を算出する。

図１０（ｂ）においては、時間の経過とともに、第３フォーカス位置が変化する量が減少している。この場合、設定部２２は、２つのフォーカス位置の間の第３フォーカス位置を、再生時間の対数に基づいて算出する。
図１０（ｃ）においては、時間の経過とともに、第３フォーカス位置が変化する量が増加している。この場合、設定部２２は、２つのフォーカス位置の間の第３フォーカス位置を、再生時間の二次関数に基づいて算出する。このように、設定部２２は、異なる態様で再生時間の変化とともに第３フォーカス位置を変化させることができる。設定部２２は、図１０に示した関係以外にも、スプライン曲線補間等の多項式を用いて第３フォーカス位置を算出してもよい。

記憶部２０は、図１０に示すような、第１画像データと第２画像データとの間における第３画像データの再生時間と、第１フォーカス位置と第２フォーカス位置との間における第３フォーカス位置との関係を予め記憶している。記憶部２０が第３フォーカス位置と再生時間との関係を複数記憶している場合、受付部２１は、第３フォーカス位置の設定に用いる上記の関係をユーザが選択するための操作画面を表示部２３に表示させ、第３フォーカス位置の設定に用いる関係を指定する指示を受け付ける。そして、設定部２２は、受付部２１が受け付けた指示が示す関係に基づいて第３フォーカス位置を設定する。このようにすることで、ユーザは、シーンや表示効果に適したフォーカス位置を容易に指定することが可能になる。

図９に戻って画像再生装置１の構成についての説明を続ける。
表示部２３は、例えば液晶ディスプレイである。表示部２３は、再生部２４により生成されたリフォーカス画像データを含む画面、及びユーザインターフェイス画像（以下、ＵＩ画像という）を表示する。

再生部２４は、記憶部２０に記憶されたＬＦ画像データを再構築することによりリフォーカス画像データを生成し、生成したリフォーカス画像データを表示部２３に出力することにより再生する。再生部２４は、例えば、図８に示した第１画像データＤ１、第２画像データＤ２及び第３画像データＤ３を含む動画データを再生する。この際、再生部２４は、受付部２１が受け付けたフォーカス範囲に対応する深さの被写界深度を有する画像データを再生する。

再生部２４は、再構築部２４１と、画面生成部２４２と、奥行きマップ生成部２４３と、ＵＩ画像生成部２４４と、合成部２４５とを有する。
再構築部２４１は、設定部２２が設定したフォーカス位置に基づいて記憶部２０から取得したＬＦ画像データを再構築してリフォーカス画像を生成する。

画面生成部２４２は、再構築部２４１が生成したリフォーカス画像を表示部２３に表示するための画面データを生成する。
奥行きマップ生成部２４３は、図８に示した奥行きマップを生成する。ＵＩ画像生成部２４４は、ユーザがフォーカス位置を設定するためのＵＩ画像データを生成する。ＵＩ画像生成部２４４は、例えば、フォーカス範囲をユーザが設定するための画像データを生成して奥行きマップに重畳することによりＵＩ画像データを生成する。合成部２４５は、画面生成部２４２が生成した画面データとＵＩ画像生成部２４４が生成したＵＩ画像データとを合成して表示用画像データを生成する。合成部２４５は、生成した表示用画像データを表示部２３へと出力する。

［フォーカス位置設定画面］
図１１は、ユーザがフォーカス位置を設定するためのフォーカス位置設定画面３０を示す図である。フォーカス位置設定画面３０は、第１フォーカス位置設定画面３１、第２フォーカス位置設定画面３２、プレビュー画面３３、及びフレーム指定画面３４から構成されている。

第１フォーカス位置設定画面３１は、第１フォーカス位置を設定するための画面であり、フレーム指定画面３４において指定された第１フレームに対応する第１画像データＤ１と、第１画像データＤ１に対応する奥行きマップとを含んでいる。奥行きマップには、第１フォーカス位置に対応するフォーカス範囲を指定するためのカーソルＣ１，Ｃ２が表示されている。

ユーザがカーソルＣ１を上に移動するほど、フォーカス位置は奥になる。また、ユーザがカーソルＣ２を下に移動するほど、フォーカス位置は手前になる。そして、カーソルＣ１とカーソルＣ２との間が、フォーカス範囲となる。カーソルＣ１とカーソルＣ２との間が広いほど被写界深度が深く、カーソルＣ１とカーソルＣ２との間が狭いほど被写界深度が浅い。

第２フォーカス位置設定画面３２は、第２フォーカス位置を設定するための画面であり、フレーム指定画面３４において指定された第２フレームに対応する第２画像データＤ２と、第２画像データＤ２に対応する奥行きマップとを含んでいる。奥行きマップには、第２フォーカス位置に対応するフォーカス範囲を指定するためのカーソルＣ１，Ｃ２が表示されている。

プレビュー画面３３には、設定部２２が、第１フォーカス位置及び第２フォーカス位置に基づいて設定された、第１画像データと第２画像データとの間の画像データの第３フォーカス位置に基づいて再構築部２４１が生成したリフォーカス画像のプレビュー画面が表示される。ユーザは、プレビュー再生ボタン３３１を押すことにより、フレーム指定画面３４において指定した第１フレームから第２フレームまでの間のいずれかの画像データをプレビュー画面に表示させることができる。

フレーム指定画面３４は、ユーザがフォーカス位置を設定するフレームを指定するための画面である。フレーム指定画面３４には、第１フレームを指定するためのカーソル３４１、第２フレームを指定するためのカーソル３４２、及びプレビュー画面に表示させているフレームの位置を示すカーソル３４３が表示されている。受付部２１は、カーソル３４３を介して、複数の画像データから一の画像データを選択する指示を受け付ける。この場合、再生部２４は、フォーカス位置が第３フォーカス位置に設定された、受付部２１が受け付けた選択指示に対応する第３画像データを表示部２３に表示させる。

領域３４４には、第１画像データ及び第２画像データに基づくリフォーカス画像が表示されている。領域３４５には、フォーカス位置を示す帯画像が表示されている。このように、再生部２４は、動画データに含まれる複数の画像データに関連付けて、それぞれの画像データに対応して設定されたフォーカス位置を示す帯画像を表示部２３に表示させる。フレーム指定画面３４における帯画像は、領域３４５の上側に近いほどフォーカス位置が奥に設定されており、帯画像が領域３４５の下側に近いほどフォーカス位置が手前に設定されており、カーソル３４１が示す第１フレームからカーソル３４２が示す第２フレームまでの間に、フォーカス位置が手前から奥に変化することを示している。

なお、図１１においては、カーソル３４１及びカーソル３４２の前後で、帯画像に不連続点が生じている。これは、カーソル３４１及びカーソル３４２の前後でシーンが変化していることを示している。カーソル３４１及びカーソル３４２の前後でシーンが変化しない場合は、帯画像が連続的に変化することが望ましい。

［フォーカス位置の設定方法］
図１２は、設定部２２がフォーカス位置を設定する方法について説明するための図である。図１２（ａ）は、４つのフレームに対応するリフォーカス画像データを示している。図１２（ａ）においては、フレーム番号がそれぞれ２０００、２０６０、２１２０、２１８０の４つのフレームに対応するリフォーカス画像である第１画像データＤ１、第３画像データＤ３、第４画像データＤ４、第２画像データＤ２が示されている。第３画像データＤ３及び第４画像データＤ４は、第１画像データＤ１と第２画像データＤ２との間の複数の画像データのうちの２つの画像データである。第３画像データＤ３及び第４画像データＤ４のフォーカス位置は、ユーザにより指定された、フレーム番号２０００の第１フレームの第１フォーカス位置、及びフレーム番号２１８０の第２フレームの第２フォーカス位置に基づく位置に設定されている。

図１２（ｂ）は、図１２（ａ）に示すそれぞれのリフォーカス画像データに対応する奥行きマップである。この奥行きマップは、ユーザがフレーム番号２０００の第１フレームの第１フォーカス位置、及びフレーム番号２１８０の第２フレームの第２フォーカス位置を指定するためのユーザインターフェイスである。また、この奥行きマップは、ユーザがフォーカス位置を指定した複数のフレームの間のフレームに対応する画像データのフォーカス位置を表示するユーザインターフェイスとしても機能する。

奥行きマップには、最も手前のフォーカス位置を示す数値０と最も奥のフォーカス位置を示す数値１００とが示されており、ユーザは、第１フレーム及び第２フレームの奥行きマップに表示されているカーソルＣ１，Ｃ２を移動させることにより、第１フレームにおけるフォーカス範囲Ｒ１、及び第２フレームにおけるフォーカス範囲Ｒ２を指定する。設定部２２は、ユーザにより指定されたフォーカス範囲Ｒ１の中央位置に第１フォーカス位置を設定し、フォーカス範囲Ｒ２の中央位置に第２フォーカス位置を設定する。

設定部２２は、第１フォーカス位置と第２フォーカス位置との間に、第３フレームのフォーカス位置である第３フォーカス位置及び第４フレームのフォーカス位置である第４フォーカス位置を設定する。図１２（ｂ）によれば、フレーム番号２０００の第１フレームからフレーム番号２１８０の第２フレームまで、徐々にフォーカス位置が手前（０）から奥（１００）に変化していることがわかる。

また、設定部２２は、第３フレームにおけるフォーカス範囲Ｒ３、及び第４フレームにおけるフォーカス範囲Ｒ４を、フォーカス範囲Ｒ１及びフォーカス範囲Ｒ２に基づいて設定する。設定部２２は、例えば、フォーカス範囲Ｒ１とフォーカス範囲Ｒ２とが等しい場合、フォーカス範囲Ｒ３及びフォーカス範囲Ｒ４を、フォーカス範囲Ｒ１及びフォーカス範囲Ｒ２と同じ大きさにする。設定部２２は、フォーカス範囲Ｒ１よりもフォーカス範囲Ｒ２が大きい場合、フォーカス範囲Ｒ１からフォーカス範囲Ｒ２まで徐々にフォーカス範囲が大きくなるように、第１フレームと第２フレームとの間の複数のフレームのフォーカス範囲を設定する。設定部２２は、第１フレーム及び第２フレームのうち、第３フレームが近いフレームである第１フレームに対応するフォーカス範囲Ｒ１と同じ値にフォーカス範囲Ｒ３を設定し、第４フレームが近いフレームである第２フレームに対応するフォーカス範囲Ｒ２と同じ値にフォーカス範囲Ｒ４を設定してもよい。

図１２（ｃ）は、フレーム番号とフォーカス位置との関係を示す表である。図１２（ｃ）に示すように、フレーム番号が大きくなるにつれて、フォーカス位置が手前から奥に変化していることがわかる。図１２（ｃ）は、各フレームのフォーカス範囲が同じ値である例を示しているが、これに限らず、各フレームのフォーカス範囲が変化してもよい。

続いて、設定部２２が第１フレームの第１フォーカス位置及び第２フレームの第２フォーカス位置に基づいて、第１フレームと第２フレームとの間の複数のフレームのフォーカス位置を決定する手順について説明する。
図１２（ｃ）に示すように、第１フレームの第１フォーカス位置の範囲は、１０〜２０に設定されている。また、第２フレームの第２フォーカス位置の範囲は、８０〜９０に設定されている。設定部２２は、ユーザにより２つのフレームのフォーカス位置の範囲を指定されると、フレーム番号２０００の第１フレームとフレーム番号２１８０の第２フレームと間のフレームであるフレーム番号２００１からフレーム番号２１７９のフォーカス位置を算出する。

設定部２２は、２つのフレームのフォーカス位置に基づいて、この２つのフレームの間の複数のフレームのフォーカス位置を、フレーム番号の変化に対して線形に変化するように算出する。その結果、設定部２２が算出したフレーム番号２００１からフレーム番号２１７９までの各フレームのフォーカス位置は、図１２（ｃ）に示すようになる。

ここで、ｎ番目のフレームのフォーカス範囲の手前をＦＦｎ、奥側をＦＥｎとする。ユーザがフォーカス位置を指定した第１フレームのフレーム番号をｓ、第２フレームのフレーム番号をｅとする。また、ｓ番目のフレームのフォーカス範囲の手前をＦＦｓ、奥側をＦＥｓとし、ｅ番目のフレームのフォーカス範囲の手前をＦＦｅ、奥側をＦＥｅとする。この場合、設定部２２は、各フレームのフォーカス範囲ＦＦｎ〜ＦＥｎを、以下の（３）式及び（４）式に基づいて算出することができる。
ＦＦｎ＝ＦＦｓ＋（ＦＦｅ−ＦＦｓ）／（ｅ−ｓ）×ｎ ・・・（３）
ＦＥｎ＝ＦＥｓ＋（ＦＥｅ−ＦＥｓ）／（ｅ−ｓ）×ｎ ・・・（４）

［フォーカス位置を決定する動作のフローチャート］
図１３は、画像再生装置１がフォーカス位置を決定する動作のフローチャートである。まず、受付部２１は、第１フレームの第１フォーカス位置を受け付ける（Ｓ１１）。また、受付部２１は、第２フレームの第２フォーカス位置を受け付ける（Ｓ１２）。

続いて、設定部２２は、受付部２１が受け付けた第１フォーカス位置及び第２フォーカス位置に基づいて、第１フレームと第２フレームとの間の他のフレームのフォーカス位置を設定する（Ｓ１３）。設定部２２は、各フレームに対応するＬＦ画像データに対して、Ｓ１３で設定したフォーカス位置を付与する（Ｓ１４）。具体的には、設定部２２は、記憶部２０に記憶されているＬＦ画像データのフォーカス位置を示す情報を、設定したフォーカス位置を示す情報に更新する。以上の手順により、記憶部２０に記憶されている複数のＬＦ画像データのフォーカス位置を、第１フォーカス位置から第２フォーカス位置までの範囲で順次変化するようにすることができる。

＜変形例１＞
上記の説明においては、記憶部２０が、複数のＬＦ画像データにより構成されるＬＦ動画データを記憶し、再生部２４が、設定部２２が設定した位置にフォーカス位置が順次変化する動画データを再生する例について説明したが、これに限らない。記憶部２０が、ＬＦ静止画データをＬＦ画像データとして記憶し、再生部２４が、設定部２２が設定した位置にフォーカス位置が設定された複数のリフォーカス画像データを順次再生してもよい。このようにすることで、１つのＬＦ静止画データをスライドショーとして再生する場合においても、ユーザは、少なくとも２つのフォーカス位置を設定するだけで、順次フォーカス位置を変化させながら複数のリフォーカス画像データを再生することが可能になる。

＜変形例２＞
上記の説明においては、ユーザが、第１フレームに対応する第１画像データにおいてフォーカスが合う範囲と、第２フレームに対応する第２画像データにおいてフォーカスが合う範囲を指定することにより、受付部２１が第１フォーカス位置及び第２フォーカス位置を受け付ける場合について説明したが、第１フォーカス位置及び第２フォーカス位置を受け付ける方法は、これに限らない。受付部２１は、第１画像データ及び第２画像データにおいてフォーカスを合わせるオブジェクトの指定を受け付けてもよい。

この場合、受付部２１は、第１画像データにおいて指定されたオブジェクトにフォーカスが合う位置を第１フォーカス位置とする。また、受付部２１は、第２画像データにおいて指定されたオブジェクトにフォーカスが合う位置を第２フォーカス位置とする。そして、設定部２２は、受付部２１がオブジェクトを指定する指示を受け付けた場合、第１フォーカス位置と第２フォーカス位置との間で、オブジェクトにフォーカスが合う位置に第３フォーカス位置を決定する。すなわち、設定部２２は、第１フレームと第２フレームとの間のフレームのＬＦ画像データのフォーカス位置を、指定されたオブジェクトにフォーカスが合う位置に設定する。設定部２２は、例えば、ＬＦ画像データに含まれている、各画素にフォーカスが合う位置を示す情報を参照することにより、指定されたオブジェクトにフォーカス位置を決定する。

設定部２２は、図１０に示した再生時間とフォーカス位置との関係と、オブジェクトの奥行き方向の位置とを用いて第３フォーカス位置を決定してもよい。例えば、設定部２２は、ユーザがフォーカスを合わせたいオブジェクトの奥行き方向の位置が、図１０に示した再生時間とフォーカス位置との関係に基づいて定められるフォーカス範囲に含まれない場合、当該フォーカス範囲とともにオブジェクトにフォーカスが合うように被写界深度を深くする。この場合、受付部２１は、第１画像データにおいてのみフォーカスを合わせる対象となるオブジェクトの指定を受け付けてもよい。このようにすることで、ユーザがフォーカスを合わせたいオブジェクトの奥行き方向の位置が、図１０に示した再生時間とフォーカス位置との関係に基づいて定められるフォーカス範囲に含まれない場合であっても、ユーザが指定したオブジェクトにフォーカスが合った状態を維持することができる。なお、受付部２１は、第２フォーカス位置を受け付ける代わりに、第２フレームにおいても、フォーカスを合わせるオブジェクトの指定を受け付け、受け付けたオブジェクトにフォーカスが合う位置を第２フォーカス位置としてもよい。

＜変形例３＞
上記の説明においては、設定部２２が、第１画像データと第２画像データとの間の画像データのフォーカス位置を設定する場合について説明したが、設定部２２は、第２画像データの後の複数の画像データのフォーカス位置を、第１フォーカス位置及び第２フォーカス位置に基づいて設定してもよい。設定部２２は、例えば、第２画像データの後の複数の画像データのうち、シーンチェンジが発生する前の一以上の画像データのフォーカス位置を、第１フォーカス位置及び第２フォーカス位置に基づいて決定する。設定部２２が第２画像データの後の複数の画像データのフォーカス位置を決定する際には、図１０に示した関係を用いることができる。

図１４は、変形例３における画像再生装置１の動作について説明するための図である。図１５は、変形例３において用いられる、再生時間とフォーカス位置との関係を示す図である。ユーザが、フレーム番号１０００に対応する第１画像データＤ１の第１フォーカス位置、及びフレーム番号１３６０に対応する第２画像データＤ２の第２フォーカス位置を指定した場合、設定部２２は、再生時間ｔ３において再生される第３画像データＤ３から再生時間ｔ４において再生される第４画像データＤ４までのフォーカス位置を設定する。第３画像データＤ３は、第２画像データＤ２の次に再生されるフレーム番号１３６１の画像データである。また、第４画像データＤ４は、シーンチェンジが発生する直前のフレーム番号１３６５の画像データである。

なお、設定部２２は、第２画像データＤ２以降の画像データのフォーカス位置が、最も奥の位置又は最も手前の位置に達した場合、それ以降の画像データのフォーカス位置を、最も奥の位置又は最も手前の位置に固定してもよい。

また、受付部２１は、第１画像データＤ１の第１フォーカス位置と第２画像データＤ２の第２フォーカス位置とに基づいてフォーカス位置を決定する対象となる画像データの範囲を指定する指示を受け付けてもよい。例えば、受付部２１は、第２画像データの後の画像データのフォーカス位置を自動的に設定するか否かを選択するための操作画面を表示部２３に表示させることにより、ユーザの指示を受け付けることができる。また、受付部２１は、第２画像データの後の画像データのうち、どこまでの画像データに対してフォーカス位置を設定するかを指定する指示を受け付けてもよい。

［本実施形態の画像再生装置１における効果］
以上説明したように、第１の実施形態に係る画像再生装置１においては、受付部２１が、第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付け、設定部２２が、第１フォーカス位置及び第２フォーカス位置に基づいて、第１画像データと第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を設定する。このようにすることで、ユーザは、一部のＬＦ静止画データのフォーカス位置を設定するだけで、順次フォーカス位置を変化させながら複数のリフォーカス画像データから構成される動画データを再生することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、画像再生装置１は、画像再生処理を実行するためのプログラムが記憶された記憶媒体をＣＰＵが読み出して実行することにより、上記の動作を実現することができる。この場合、例えば、ＣＰＵは、受付部２１、設定部２２及び再生部２４として機能する。

１・・・画像再生装置
２０・・・記憶部
２１・・・受付部
２２・・・設定部
２４・・・再生部

Claims (10)

1. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データを記憶する記憶手段と、
   前記複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付手段と、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定手段と、
   前記第１画像データ、前記第２画像データ及び前記第３画像データを含む前記動画データを再生する再生手段と、を有し、
   前記受付手段は、前記複数の画像データから前記第３画像データを選択する指示をさらに受け付け、
   前記再生手段は、フォーカス位置が前記第３フォーカス位置に設定された、前記受付手段が受け付けた指示に対応する前記第３画像データを表示部に表示させることを特徴とする画像再生装置。
2. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データを記憶する記憶手段と、
   前記複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付手段と、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定手段と、を有し、
   前記受付手段は、前記第１画像データと前記第２画像データとの間における前記第３画像データの位置と、前記第１フォーカス位置と前記第２フォーカス位置との間における前記第３フォーカス位置との関係を指定する指示を受け付け、
   前記設定手段は、前記受付手段が受け付けた指示が示す前記関係に基づいて前記第３フォーカス位置を決定することを特徴とする画像再生装置。
3. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データを記憶する記憶手段と、
   前記複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付手段と、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定手段と、を有し、
   前記受付手段は、前記第１画像データに含まれるオブジェクトを指定する指示を受け付け、
   前記設定手段は、前記受付手段が前記オブジェクトを指定する指示を受け付けた場合、前記オブジェクトにフォーカスが合う位置に前記第３フォーカス位置を決定することを特徴とする画像再生装置。
4. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データを記憶する記憶手段と、
   前記複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付手段と、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定手段と、を有し、
   前記設定手段は、前記第２画像データの後の前記複数の画像データのフォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて決定することを特徴とする画像再生装置。
5. 前記設定手段は、前記第２画像データの後の前記複数の画像データのうち、シーンチェンジが発生する前の一以上の前記画像データのフォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて決定することを特徴とする、
   請求項４に記載の画像再生装置。
6. コンピュータにより実行される、
   フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付ステップと、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定ステップと、
   前記第１画像データ、前記第２画像データ及び前記第３画像データを含む前記動画データを再生する再生ステップと、を有し、
   前記受付ステップでは、前記複数の画像データから前記第３画像データを選択する指示をさらに受け付け、
   前記再生ステップでは、フォーカス位置が前記第３フォーカス位置に設定された、前記受付ステップで受け付けた指示に対応する前記第３画像データを表示部に表示させることを特徴とする画像再生方法。
7. コンピュータにより実行される、
   フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付ステップと、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定ステップと、を有し、
   前記受付ステップでは、前記第１画像データと前記第２画像データとの間における前記第３画像データの位置と、前記第１フォーカス位置と前記第２フォーカス位置との間における前記第３フォーカス位置との関係を指定する指示を受け付け、
   前記設定ステップでは、前記受付ステップで受け付けた指示が示す前記関係に基づいて前記第３フォーカス位置を決定することを特徴とする画像再生方法。
8. コンピュータにより実行される、
   フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付ステップと、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定ステップと、を有し、
   前記受付ステップでは、前記第１画像データに含まれるオブジェクトを指定する指示を受け付け、
   前記設定ステップでは、前記受付ステップで前記オブジェクトを指定する指示を受け付けた場合、前記オブジェクトにフォーカスが合う位置に前記第３フォーカス位置を決定することを特徴とする画像再生方法。
9. コンピュータにより実行される、
   フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データが複数の画像データを含む動画データとして再生される際に第１画像データに設定される第１フォーカス位置、及び第２画像データに設定される第２フォーカス位置を受け付ける受付ステップと、
   前記第１画像データと前記第２画像データとの間で再生される第３画像データの再生時に用いられる第３フォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて設定する設定ステップと、を有し、
   前記設定ステップでは、前記第２画像データの後の前記複数の画像データのフォーカス位置を、前記第１フォーカス位置及び前記第２フォーカス位置に基づいて決定することを特徴とする画像再生方法。
10. 請求項６から９のいずれか１項に記載の画像再生方法の各ステップをコンピュータに実行させるためのプログラム。