JP6509031B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び撮像装置に関する。

撮像装置の焦点検出方法の１つに、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。

特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの視差信号から像ずれ量を求めて、位相差方式の焦点検出を行うことができる。特許文献２では、分割された光電変換部で受光した視差信号を加算することにより撮像信号を生成することが開示されている。

撮影された複数の視差信号は、光強度の空間分布及び角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１では、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

一方、撮像装置には、被写体の経時変化を観察するためのタイムラプス撮影（インターバル撮影）と呼ばれる機能を有しているものがある。タイムラプス撮影では、操作者が撮影間隔を指定し、この撮影間隔が経過する毎に、撮像装置が映像を撮影・記録する。特許文献３では、タイムラプス撮影が行われる毎に、取得された画像を画像ファイルとして出力するとともに、取得された画像を動画の１コマとしてタイムラプス動画ファイルを生成するタイムラプス撮影技術が開示されている。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報 特開２０１３−０６２７４０号公報

Ren Ng, et. Al., "Light Field Photography with a Hand-held Plenoptic Camera", Stanford Tech Report CTSR 2005-02, pp. 1-11 (2005)

しかしながら、従来は、タイムラプス動画に対してリフォーカス処理を行うことはできなかった。

本発明の目的は、タイムラプス動画に対してリフォーカス処理を行い得る画像処理装置、画像処理方法及び撮像装置を提供することにある。

本発明の一観点によれば、タイムラプス動画を構成する複数のフレームのうちの第１のフレームに対して第１の合焦位置を指定する合焦位置指定手段と、前記第１のフレームに対応する第１の画像ファイルに含まれている第１の視差画像と第２の視差画像とを記録媒体から取得する視差画像取得手段と、前記第１の合焦位置で合焦させるために前記第１の視差画像と前記第２の視差画像とに対して行われる第１の合焦位置シフトのための第１のシフト量を算出するシフト量算出手段と、前記第１の視差画像と前記第２の視差画像とに対して前記第１のシフト量での前記第１の合焦位置シフトを行い、前記第１の合焦位置シフトが行われた後の前記第１の視差画像と前記第２の視差画像とを合成することにより第１のリフォーカス画像を生成するリフォーカス画像生成手段と、前記第１のフレームを前記第１のリフォーカス画像によって置き換えることにより前記タイムラプス動画を再生成するタイムラプス動画生成手段とを備えることを特徴とする画像処理装置が提供される。

本発明によれば、タイムラプス動画に対してリフォーカス処理を行い得る画像処理装置、画像処理方法及び撮像装置を提供することができる。

本発明の第１実施形態による撮像装置の全体構成を示す概略図である。 本発明の第１実施形態による撮像装置の撮像素子における画素配列を示す概略図である。 デフォーカス量と像ずれ量との関係を示す概略図である。 リフォーカス処理の概略を示す図である。 本発明の第１実施形態による撮像装置におけるタイムラプス撮影の際の動作を示すフローチャートである。 本発明の第１実施形態による撮像装置におけるタイムラプス動画の編集の際の動作を示すフローチャートである。 本発明の第１実施形態による撮像装置におけるタイムラプス動画の編集の際の動作を示すフローチャートである。 本発明の第１実施形態による撮像装置におけるタイムラプス動画の編集の概略を示す図である。 フレーム制御番号と合焦位置シフト量との関係を示すグラフである。 本発明の第２実施形態による撮像装置におけるタイムラプス動画の編集の際の動作を示すフローチャートである。 本発明の第２実施形態による撮像装置におけるタイムラプス動画の編集の際の動作を示すフローチャートである。 フレーム制御番号と合焦位置シフト量との関係を示すグラフである。

以下、図面を参照して、本発明の実施形態を詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。なお、以下の実施形態は、特許請求の範囲に記載された発明を限定するものでなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［第１実施形態］
第１実施形態による画像処理装置、画像処理方法、撮像装置及びコンピュータプログラムについて図面を用いて説明する。

［全体構成］
まず、本実施形態による撮像装置の全体構成について図１を用いて説明する。図１は、本実施形態による撮像装置の全体構成を示す図である。本実施形態による撮像装置１００は、デジタルカメラである。図１に示すように、結像光学系の先端部に第１レンズ群１０１が配置されており、第１レンズ群１０１は光軸方向に進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）を奏する。

第３レンズ群１０５は、光軸方向の進退によって、焦点調節を行なう。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。撮像素子１０７は、結像光学系の異なる瞳部分領域３０１，３０２（図３参照）を通過する光束を受光する複数の副画素２０１，２０２からなる画素２００Ｒ、２００Ｇ、２００Ｂを複数配列したものである。

ズームアクチュエータ１１１は、図示しないカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

撮影時に用いられる照明手段（被写体照明用電子フラッシュ）１１５は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。

制御部１２１は、撮像装置１００における種々の制御を司るものであり、図示しないＣＰＵ（演算部）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。制御部１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。制御部１２１は、画像処理手段として機能する。

電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示装置１３１は、例えばＬＣＤ等により構成されており、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。また、表示装置１３１は、タイムラプス動画の再生、編集の際に、動画の各コマやリフォーカス後の画像を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。また、操作スイッチ群１３２は、タイムラプス動画の再生、編集の際に、動画のフレーム送りや合焦位置の移動を指示する操作スイッチ等をも含む。記録媒体１３３は、着脱可能なフラッシュメモリ等である。記録媒体１３３は、撮影により取得したタイムラプス画像、タイムラプス画像の各々のフレームに対応する複数の画像ファイルであって、複数の視差画像をそれぞれ含む画像ファイル、編集後のタイムラプス動画等を記録する。

［撮像素子］
次に、本実施形態による撮像装置に設けられている撮像素子について図２を用いて説明する。図２は、本実施形態による撮像装置に設けられている撮像素子における画素配列を示す概略図である。

撮像素子１０７としては、２次元ＣＭＯＳセンサーが用いられている。図２は、撮像素子１０７における画素配列を４列×４行の範囲で抜き出して示したものである。即ち、図２は、撮像素子１０７における副画素配列を８列×４行の範囲で抜き出して示したものである。

図２に示すように、２列×２行の各々の画素群２００には、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。各々の画素２００Ｒ、２００Ｇ、２００Ｂは、２列×１行に配列された副画素２０１と副画素２０２とによりそれぞれ構成されている。

図２に示すような４列×４行の画素（８列×４行の副画素）が受光面に多数配置されているため、撮像素子１０７は、撮像画像や焦点検出信号を取得することができる。

本実施形態では、撮像素子１０７の各画素の副画素２０１の受光信号を集めて第１の視差画像を生成し、撮像素子１０７の各画素の副画素２０２の受光信号を集めて第２の視差画像を生成する。本実施形態では、撮像素子１０７の各画素によって取得される画像から、異なる瞳部分領域３０１，３０２（図３参照）毎に、複数の視差画像（視差画像対）を生成する。

また、撮像素子１０７の画素毎に、副画素２０１の信号と副画素２０２の信号とを加算して読み出すことで、有効画素数の解像度の撮像画像を生成する。即ち、本実施形態では、複数の視差画像（第１の視差画像と第２の視差画像）から撮像画像を生成する。

［デフォーカス量と像ずれ量の関係］
次に、デフォーカス量と像ずれ量との関係について図３を用いて説明する。図３は、デフォーカス量と像ずれ量との関係を示す概略図である。

デフォーカス量は、被写体の結像位置から撮像面３０３までの距離であり、符号ｄを用いて示されている。デフォーカス量の大きさは、｜ｄ｜である。被写体の結像位置が撮像面３０３に対して被写体側にある状態、即ち、前ピン状態においては、デフォーカス量ｄは負となる（ｄ＜０）。一方、被写体の結像位置が撮像面３０３に対して被写体側とは反対側にある状態、即ち、後ピン状態においては、デフォーカス量ｄは正となる（ｄ＞０）。被写体の結像位置が撮像面３０３にある状態、即ち、合焦状態においては、デフォーカス量ｄは０である。図３において、符号３０４は、合焦状態（ｄ＝０）に対応する被写体の位置を示しており、符号３０５は、前ピン状態（ｄ＜０）に対応する被写体の位置を示している。なお、前ピン状態（ｄ＜０）も後ピン状態（ｄ＞０）も、いずれもデフォーカス状態（｜ｄ｜＞０）である。

前ピン状態（ｄ＜０）においては、被写体３０５からの光束のうちの瞳部分領域３０１を通過した光束は、一度、集光した後、光束の重心位置Ｇ１を中心として、幅Γ１の範囲に広がり、撮像面３０３においてボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１によって受光され、第１の視差画像が生成される。また、前ピン状態（ｄ＜０）においては、被写体３０５からの光束のうちの瞳部分領域３０２を通過した光束は、一度、集光した後、光束の重心位置Ｇ２を中心として、幅Γ２の範囲に広がり、撮像面３０３においてボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０２によって受光され、第２の視差画像が生成される。よって、第１の視差画像は、撮像面３０３上の重心位置Ｇ１において、被写体３０５が幅Γ１でボケた被写体像として記録される。また、第２の視差画像は、撮像面３０３上の重心位置Ｇ２において、被写体３０５が幅Γ２でボケた被写体像として記録される。被写体像のボケ幅Γ１及びΓ２は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。同様に、第１の視差画像と第２の視差画像との間における被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。後ピン状態（ｄ＞０）においては、第１の視差画像と第２の視差画像間との間における被写体像の像ずれ方向が前ピン状態の場合とは反対方向となるが、像ずれ方向以外については、前ピン状態の場合と同様である。

このように、デフォーカス量の大きさが増加するのに伴い、第１視差画像と第２視差画像間の像ずれ量の大きさが増加する。換言すれば、第１の視差画像と第２の視差画像とを加算することにより得られる撮像信号のデフォーカス量の大きさが増加するのに伴って、第１の視差画像と第２の視差画像間の像ずれ量の大きさも増加する。

［リフォーカス］
次に、リフォーカスについて図４を用いて説明する。図４は、本実施形態による撮像装置において行われるリフォーカス処理の概略を示す図である。図４は、複数の視差画像、即ち、第１の視差画像と第２の視差画像とを用いた瞳分割方向（列方向）におけるリフォーカス処理の概略を示している。図４に示す撮像面３０３は、図３に示す撮像面３０３に対応している。図４においては、撮像素子１０７の撮像面３０３に配置された列方向のｉ番目の画素によって得られる第１の視差画像をＡｉで模式的に表し、列方向のｉ番目の画素において得られる第２の視差画像をＢｉで模式的に表している。なお、ｉは整数である。第１の視差画像Ａｉは、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。主光線角度θａでｉ番目の画素に入射する光束は、図３に示す瞳部分領域３０１を通過した光束に対応している。第２の視差画像Ｂｉは、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。主光線角度θｂでｉ番目の画素に入射する光束は、図３に示す瞳部分領域３０２を通過した光束に対応している。

第１の視差画像Ａｉと第２の視差画像Ｂｉとは、光強度分布情報を有するのみならず、入射角度情報をも有している。よって、第１の視差画像Ａｉを角度θａに沿って仮想結像面４０１まで平行移動させ、第２の視差画像Ｂｉを角度θｂに沿って仮想結像面４０１まで平行移動させ、これらを加算することで、仮想結像面４０１におけるリフォーカス信号を生成することができる。第１の視差画像Ａｉを角度θａに沿って仮想結像面４０１まで平行移動させることは、列方向に＋０．５画素分シフトさせることに対応する。第２の視差画像Ｂｉを角度θｂに沿って仮想結像面４０１まで平行移動させることは、列方向に−０．５画素分シフトさせることに対応する。従って、第１の視差画像Ａｉと第２の視差画像Ｂｉとを相対的に＋１画素分シフトさせ、ＡｉとＢｉ＋１とを対応させて加算することによって、仮想結像面４０１におけるリフォーカス信号を生成することができる。同様に、第１の視差画像Ａｉと第２の視差画像Ｂｉとを整数画素分シフトさせて加算することによって、整数画素分のシフト量に応じた各仮想結像面４０１でのシフト加算信号（リフォーカス信号）を生成することができる。

［タイムラプス撮影］
次に、本実施形態による撮像装置によって行われるタイムラプス撮影について図５を用いて説明する。図５は、本実施形態による撮像装置におけるタイムラプス撮影の際の動作を示すフローチャートである。図５に示す各ステップは、本実施形態による撮像装置１００の制御部１２１によって実行される。

まず、撮影を開始する前に、撮影モードがタイムラプス撮影モードに設定されているか否かを予め判定する。タイムラプス撮影モードのＯＮ／ＯＦＦの設定は、ユーザが操作スイッチ群１３２を操作することによって行われる。撮影モードがタイムラプス撮影モードに設定されていない場合（ステップＳ５０１においてＮＯ）、即ち、撮影モードが通常撮影モードである場合には、ステップＳ５０１が繰り返し行われる。通常撮影モードにおいては、撮像素子１０７から出力される複数の視差画像に対して合成処理が行われ、合成された画像が記録媒体１３３に記録される。通常撮影モードにおいては、制御部１２１は、撮像素子１０７から得られる複数の視差画像を合成することにより形成される合成画像ファイルを記録媒体１３３に記録する合成画像ファイル生成手段として機能する。一方、撮影モードがタイムラプス撮影モードに設定された場合には（ステップＳ５０１においてＹＥＳ）、ステップＳ５０２へ移行する。

ステップＳ５０２では、記録画質設定をリフォーカス可能な画質に設定する。これにより、リフォーカス可能な画像が記録媒体１３３に記録されることとなる。

ステップＳ５０３では、予め設定された所定の撮影間隔ｔが経過するのを待つ。なお、かかる撮影間隔ｔは、ユーザが操作スイッチ群１３２を操作することによって、撮影開始前に予め設定し得る。

ステップＳ５０４では、撮影間隔ｔの経過に応じて撮影を行い、複数の視差画像、即ち、第１の視差画像と第２の視差画像とを取得する。

ステップＳ５０５では、撮影画像のファイルヘッダを作成し、当該ファイルヘッダ内にリフォーカス可能であることを示すリフォーカス可能フラグを追記する。

ステップＳ５０６では、ステップＳ５０４で取得した複数の視差画像、即ち、第１視差画像及び第２視差画像と、ステップＳ５０５で作成したファイルヘッダとを含む１つの画像ファイルを作成し、当該画像ファイルを着脱可能な記録媒体１３３に記録する。このように、制御部１２１は、撮像素子１０７から得られる複数の視差画像を含む非合成画像ファイルを記録媒体１３３に記録する非合成画像ファイル生成手段として機能する。

ステップＳ５０７では、タイムラプス動画ファイルを構成する１コマの画像（以下、フレームともいう）を、ステップＳ５０４で取得した複数の視差画像を合成することによって作成する。そして、作成したタイムラプス動画ファイルを着脱可能な記録媒体１３３に記録する。

ステップＳ５０８では、タイムラプス動画ファイルのヘッダに、ステップＳ５０７で作成したフレームの情報を追記し、着脱可能な記録媒体１３３に記録する。この際、ステップＳ５０６で作成した画像ファイルとステップＳ５０７で作成したフレームとの関連を示す関連付け情報をタイムラプス動画ファイルのヘッダに記録する。かかる関連付け情報は、例えば、画像ファイルが記録されるフォルダのフォルダ番号と当該画像ファイルのファイル番号とを組み合わせることにより、関連付け情報を生成してもよい。また、画像ファイルのヘッダとタイムラプス動画ファイルとに同じ乱数を保存することによって、関連付けを行ってもよい。かかる関連付け情報は、画像ファイルとタイムラプス動画ファイルの１フレームとが１対１で関連付けられていれば如何なる構成であってもよい。

ステップＳ５０９では、撮影枚数が予め設定された所定の撮影枚数に達したか否かを判定し、撮影枚数が所定の撮影枚数に達した場合には（ステップＳ５０９においてＹＥＳ）、タイムラプス撮影を終了する。一方、撮影枚数が所定の撮影枚数に達していない場合には（ステップＳ５０９においてＮＯ）、ステップＳ５０３に戻る。なお、かかる所定の撮影枚数は、ユーザが操作スイッチ群１３２を操作することによって、撮影開始前に予め設定し得る。

このように、本実施形態では、通常撮影モードの場合、即ち、タイムラプス撮影モードでない場合においては、複数の視差画像を合成することにより得られる合成画像ファイルを記録媒体１３３に記録する。一方、撮影モードがタイムラプス撮影モードに設定されている場合には、複数の視差画像を含む非合成画像ファイルを記録媒体１３３に記録する。通常撮影モードにおいて非合成画像ファイルを生成しないため、本実施形態によれば、記録媒体１３３の容量を有効に使うことができる。このように、本実施形態では、タイムラプス撮影モードをオンにしたタイミング（所定のタイミング）、即ち、ステップＳ５０１のタイミングにおいて、合成画像ファイル生成手段と非合成画像ファイル生成手段とが切り替えられる。

なお、ここでは、ステップＳ５０１において、撮影モードがタイムラプス撮影モードに設定されているか否かを判定したが、ステップＳ５０１において行う判定は、撮影モードがタイムラプス撮影モードに設定されているか否かの判定に限定されるものではない。例えば、撮影設定がマクロ撮影設定であるか否かを、ステップＳ５０１において判定するようにしてもよい。この場合には、撮影設定がマクロ撮影設定に設定されたときが、合成画像ファイル生成手段と非合成画像ファイル生成手段とが切り替えられるタイミングとなる。この場合、撮影設定がマクロ撮影設定に設定されると、非合成画像ファイル生成手段によって処理が行われる。また、所定の被写界深度より浅い被写界深度となるような条件に撮影条件が設定されているか否かを、ステップＳ５０１において判定するようにしてもよい。この場合には、所定の被写界深度より浅い被写界深度となるような条件に設定されていると判定されたときが、合成画像ファイル生成手段と非合成画像ファイル生成手段とが切り替えられるタイミングとなる。この場合、所定の被写界深度より浅い被写界深度となるような条件に撮影設定が設定されると、非合成画像ファイル生成手段によって処理が行われる。

［タイムラプス動画の編集］
次に、タイムラプス動画の編集について図６Ａ乃至図８を用いて説明する。

まず、タイムラプス動画の編集の概略について図７を用いて説明する。図７は、タイムラプス動画の編集の概略を示す図である。撮像装置１００は、タイムラプス動画の編集を行う画像処理装置として機能する。図７に示すように、例えば「ＤＣＩＭ」という名称のフォルダが記録媒体１３３に形成され、「ＤＣＩＭ」という名称のフォルダに例えば「１００ＤＩＲＥＣＴ」という名称のフォルダが形成される。「１００ＤＩＲＥＣＴ」という名称のフォルダに、例えば、動画（動画ファイル）１と画像ファイル（静止画）１、２、３、・・・、Ｎ、・・・、Ｍとが記録される。動画１は、タイムラプス撮影によって取得された動画、即ち、タイムラプス動画である。画像ファイル１、２、・・・、Ｎ、・・・、Ｍは、それぞれ複数の視差画像を含んでいる。これらの画像ファイル１、２、・・・、Ｎ、・・・、Ｍに含まれている画像は、リフォーカス処理が行われていない状態の画像、即ち、非合成画像である。

動画１は、複数のフレームを含んでいる。図７には、動画１の第１番目のフレーム、即ち、動画１のフレーム１と、動画１の第２番目のフレーム、即ち、動画１のフレーム２と、動画１の第３番目のフレーム、即ち、動画１のフレーム３とが図示されている。更に、図７には、動画１の第Ｎ−１番目のフレーム、即ち、動画１のフレームＮ−１と、動画１の第Ｎ番目のフレーム、即ち、動画１のフレームＮと、動画１の第Ｎ＋１番目のフレーム、即ち、動画１のフレームＮ＋１とが図示されている。更に、図７には、動画１の第Ｍ番目のフレーム、即ち、動画１のフレームＭが図示されている。

画像ファイル１，２，３・・・は、動画１のフレーム１，２，３・・・にそれぞれ関連付けられた画像ファイルである。画像ファイルＮ−１，Ｎ，Ｎ＋１，・・・，Ｍは、動画１のフレームＮ−１，Ｎ，Ｎ＋１，・・・，Ｍにそれぞれ関連付けられた画像ファイルである。

リフォーカス画像Ｎ−１は、画像ファイルＮ−１に含まれる複数の視差画像に対してリフォーカス処理を行うことにより取得される画像である。リフォーカス画像Ｎは、画像ファイルＮに含まれる複数の視差画像に対してリフォーカス処理を行うことにより取得される画像である。リフォーカス画像Ｎ＋１は、画像ファイルＮ＋１に含まれる複数の視差画像に対してリフォーカス処理を行うことにより取得される画像である。リフォーカス画像Ｍは、画像ファイルＭに含まれる複数の視差画像に対してリフォーカス処理を行うことにより取得される画像である。

動画２は、動画１に対して所望のリフォーカス処理を行うことより生成される動画であり、動画２も動画１と同様のタイムラプス動画である。動画２も、動画１と同様に複数のフレームを含んでいる。動画２の第１番目のフレーム、即ち、動画２のフレーム１は、動画１のフレーム１と同様の画像となる。動画２の第２番目のフレーム、即ち、動画２のフレーム２は、動画１のフレーム２と同様の画像となる。動画２の第３番目のフレーム、即ち、動画２のフレーム３には、動画１のフレーム３と同様の画像となる。動画２の第Ｎ−１番フレーム、即ち、動画２のフレームＮ−１には、リフォーカス画像Ｎ−１が用いられている。動画２の第Ｎ番目のフレーム、即ち、動画２のフレームＮには、リフォーカス画像Ｎが用いられている。動画２の第Ｎ＋１番目のフレーム、即ち、動画２のフレームＮ＋１には、リフォーカス画像Ｎ＋１が用いられている。動画２の第Ｍ番目のフレーム、即ち、動画２のフレームＭには、リフォーカス画像Ｍが用いられている。このように、本実施形態では、動画１のフレーム１、２、３、・・・に対応する動画２のフレーム１、２、３、・・・は、リフォーカス画像によって置き換えられない。一方、動画１のフレームＮ−１、Ｎ、Ｎ＋１、・・・、Ｍに対応する動画２のフレームＮ−１、Ｎ、Ｎ＋１、・・・、Ｍは、リフォーカス画像Ｎ−１、Ｎ、Ｎ＋１、・・・、Ｍによってそれぞれ置き換えられる。

こうして、複数のフレーム１、２、３、・・・、Ｎ−１、Ｎ、Ｎ＋１、・・・、Ｍを含む動画２が再生成される。

図６Ａ及び図６Ｂは、タイムラプス動画の編集を示すフローチャートである。図６Ａ及び図６Ｂにおける各ステップの実行は、本実施形態による撮像装置１００の制御部１２１によって行われる。

まず、ステップＳ６０１では、着脱可能な記録媒体１３３に記録されているタイムラプス動画ファイルを読み出す。

ステップＳ６０２では、タイムラプス動画を構成するフレームを制御するための制御番号Ｎを１に初期化する。

ステップＳ６０３では、動画１を構成する複数のフレームのうちの、制御番号Ｎに相当するフレームＮを取得する。
ステップＳ６０４では、フレームＮの画像を表示装置１３１に表示する。

ステップＳ６０５では、フレーム送りの操作が行われたか否かを判定する。フレーム送りの操作が行われた場合には（ステップＳ６０５においてＹＥＳ）、制御番号Ｎをインクリメントし（ステップＳ６０６）、ステップＳ６０３に戻る。フレーム送りの操作が行われない場合には（ステップＳ６０５においてＮＯ）、ステップＳ６０７に移行する。なお、フレーム送りの操作は、操作スイッチ群１３２をユーザが操作することによって行われる。

ステップＳ６０７では、表示装置１３１に表示されているタイムラプス動画のフレームＮに対して、合焦位置の移動（シフト）の操作、即ち、合焦位置の指定の操作が行われたか否かを判定する。なお、合焦位置の移動の操作は、ユーザが操作スイッチ群１３２を操作することによって行われる。このように、操作スイッチ群１３２は、タイムラプス動画を構成する複数のフレームのうちの任意のフレームの合焦位置を指定する合焦位置指定手段として機能する。合焦位置の移動の操作が行われた場合には（ステップＳ６０７においてＹＥＳ）、ステップＳ６０８に移行する。一方、合焦位置の移動の操作が行われていない場合には（ステップＳ６０７においてＮＯ）、ステップＳ６１４に移行する。

ステップＳ６０８では、フレームＮに対応する画像ファイルＮを、着脱可能な記録媒体１３３に記録されている画像ファイル群（画像ファイル１〜Ｍ）のうちから検索する。この際、タイムラプス動画を作成する際に記録しておいたフレームＮのヘッダ情報から関連付け情報を取得することによって、画像ファイル群（画像ファイル１〜Ｍ）のうちのどの画像ファイルがフレームＮに対応しているかを認識することができる。なお、タイムラプス撮影時に画像ファイルのファイルヘッダに追記したリフォーカスフラグをチェックすることによって、当該画像ファイルがリフォーカス可能であるか否かを確認するようにしてもよい。

ステップＳ６０９では、フレームＮに対応する画像ファイルである画像ファイルＮを、着脱可能な記録媒体１３３から読み出すことによって、複数の視差画像を取得する。このように、制御部１２１は、タイムラプス画像を構成する複数のフレームのうちの任意のフレームに対応する画像ファイルに含まれている複数の視差画像を記録媒体１３３から取得する視差画像取得手段として機能する。

ステップＳ６１０では、ステップＳ６０７で指定された位置に合焦位置を変更するためのシフト量ｐＮを、ステップＳ６０９で取得した複数の視差画像に基づいて算出する。このように、制御部１２１は、指定された合焦位置で合焦させるために行われる合焦位置シフトのためのシフト量を算出するシフト量算出手段として機能する。

ステップＳ６１１では、リフォーカス処理を行う。具体的には、複数の視差画像をステップＳ６１０で算出したシフト量ｐＮだけシフトさせ、シフトさせた複数の視差画像を合成することによって、リフォーカス画像Ｎを生成する。生成されたリフォーカス画像Ｎに新たなファイル名を付与して着脱可能な記録媒体１３３に記録するようにしてもよい。このように、制御部１２１は、複数の視差画像に対して所望のシフト量での合焦位置シフトを行い、合焦位置シフトが行われた後の複数の視差画像を合成することによってリフォーカス画像を生成するリフォーカス画像生成手段として機能する。

ステップＳ６１２では、ステップＳ６１１でのリフォーカス処理によって得られたリフォーカス画像Ｎを、表示装置１３１に表示する。これにより、ユーザにリフォーカス処理の効果を示すことができる。

ステップＳ６１３では、リフォーカス処理が行われたフレームＮの情報を、編集履歴としてＲＡＭに記録する。具体的には、例えばフレーム制御番号（フレーム番号）Ｎと合焦位置シフト量ｐＮとを、編集履歴としてＲＡＭに記録する。

ステップＳ６１４では、タイムラプス動画の編集を終了させるか否かを判定する。タイムラプス動画の編集の終了の指示は、ユーザが操作スイッチ群１３２を操作することによって行われる。タイムラプス動画の編集を終了させる場合には（ステップＳ６１４においてＹＥＳ）、ステップＳ６１５に移行する。一方、タイムラプス動画の編集を終了させない場合には（ステップＳ６１４においてＮＯ）、ステップＳ６０５に戻る。

ステップＳ６１５では、ＲＡＭ上に記録されている編集履歴を参照することによって、タイムラプス動画の編集履歴の有無を判定する。編集履歴がある場合には（ステップＳ６１６においてＹＥＳ）、ステップＳ６１７に移行する。一方、編集の履歴がない場合には（ステップＳ６１６においてＮＯ）、タイムラプス動画の編集を終了する。

ステップＳ６１７では、合焦位置の移動（シフト）がいずれのフレームに対して行われたかを示す情報を、ＲＡＭ上に記録しておいた編集履歴から取得する。即ち、リフォーカスが行われたフレームの番号であるフレーム制御番号Ｎを、ＲＡＭ上に記録しておいた編集履歴から取得する。ステップＳ６１８では、合焦位置の移動量（シフト量）ｐＮを、ＲＡＭ上に記録しておいた編集履歴から取得する。

ステップＳ６１９では、タイムラプス動画を構成するフレームを制御するための制御番号ＬをＮ＋１に設定する。

ステップＳ６２０では、ステップＳ６０８と同様にして、フレームＬ＝Ｎ＋１に対応する画像ファイルＮ＋１を、着脱可能な記録媒体１３３に記録されている画像ファイル群（画像ファイル１〜Ｍ）のうちから検索する。

ステップＳ６２１では、ステップＳ６０９と同様に、フレームＮ＋１に対応する画像ファイルＮ＋１を、着脱可能な記録媒体１３３から読み出すことによって、複数の視差画像を取得する。ステップＳ６２２では、ステップ６１１と同様に、リフォーカス処理を行う。具体的には、複数の視差画像をステップＳ６１８で算出したシフト量ｐＮだけシフトさせ、合成処理を行うことによって、リフォーカス画像Ｎ＋１を作成する。

ステップＳ６２３では、フレームＬがタイムラプス動画の最終フレームか否かを判定する。フレームＬが最終フレームである場合には（ステップＳ６２３においてＹＥＳ）、ステップＳ６２５に移行する。一方、フレームＬが最終フレームではない場合には（ステップＳ６２３においてＮＯ）、制御番号Ｌをインクリメントして（ステップＳ６２４）、ステップＳ６２０に戻る。このような処理を繰り返すことにより、フレームＮ以降全てのフレームに対して合焦位置のシフトが行われ、これらのフレームにそれぞれ対応するリフォーカス画像Ｎ、Ｎ＋１、・・・、Ｍが得られる。こうして、リフォーカス画像Ｎ＋１、・・・、Ｍにおける合焦位置は、リフォーカス画像Ｎの合焦位置と同様に設定される。

ステップＳ６２５では、合焦位置シフト量ｐＮが予め設定されている閾値Ｐ、即ち、所定の閾値Ｐより大きいか否かを判定する。合焦位置シフト量ｐＮが閾値Ｐより大きい場合には、ステップＳ６２６に移行する。一方、合焦位置シフト量ｐＮが閾値Ｐ以下である場合には、ステップＳ６３０に移行する。

ステップＳ６２６では、ステップＳ６０８と同様に、フレームＮ−１に対応する画像ファイルを、着脱可能な記録媒体１３３に記録されている画像ファイル群（画像ファイル１〜Ｍ）のうちから検索する。ステップＳ６２７では、ステップＳ６０９と同様に、フレームＮ−１に対応する画像ファイルＮ−１を、着脱可能な記録媒体１３３から読み出すことによって、複数の視差画像を取得する。

ステップＳ６２８では、フレームＮ−１に対応する画像ファイルＮ−１に含まれている複数の視差画像に対して適用される合焦位置シフト量ｐＮ−１を算出する。ここでは、フレームＮに対する合焦位置シフト量ｐＮに１／２を乗算することにより得られる値を、フレームＮ−１に対する合焦位置シフト量ｐＮ−１とする。

ステップＳ６２９では、ステップＳ６１１と同様に、フレームＮ−１に対応する画像ファイルＮ−１に含まれている複数の視差画像に対し、合焦位置シフト量ｐＮ−１でのリフォーカス処理を行う。

ステップＳ６３０では、タイムラプス動画の各々のフレームに対応する画像ファイル群（画像ファイル１，２，３・・・）とリフォーカス処理された画像ファイル群（リフォーカス画像Ｎ−１、Ｎ、Ｎ＋１、・・・、Ｍ）とを用いて動画２を作成する。即ち、画像ファイル１，２，３・・・とリフォーカス画像Ｎ−１、Ｎ、Ｎ＋１、・・・、Ｍとを用いて動画２の各フレーム（フレーム１〜Ｍ）を作成する。こうして、タイムラプス動画である動画２が再生成される。このように、制御部１２１は、タイムラプス動画の所望のフレームをリフォーカス画像によって置き換えることによりタイムラプス動画を再生成するタイムラプス動画生成手段として機能する。

このようにしてリフォーカス処理されたフレームのフレーム制御番号と合焦位置シフト量との関係について図８を用いて説明する。図８は、フレーム制御番号と合焦位置シフト量との関係を示すグラフである。横軸はフレーム制御番号を示しており、縦軸は合焦位置シフト量を示している。

フレーム制御番号が１からＮ−２のフレームは、撮影開始時の合焦位置のままであるため、合焦位置シフト量は０となっている。フレーム制御番号Ｎ−１における合焦位置シフト量は、フレーム制御番号Ｎにおける合焦位置シフト量ｐＮの半分であるｐＮ／２となる。フレーム制御番号がＮから最終番号までのフレームは、合焦位置シフト量はｐＮとなる。

このように、本実施形態によれば、複数の視差画像をそれぞれ含む複数の画像ファイル（画像ファイル１〜Ｍ）の各々を、タイムラプス画像を構成する複数のフレーム（フレーム１〜Ｍ）にそれぞれ関連付けて記録媒体１３３に記録する。このため、本実施形態によれば、タイムラプス動画の撮影が完了した後に、任意のフレームＮを所望の合焦位置にリフォーカスすることができる。そして、フレームＮより後に取得されたフレームＮ＋１、・・・、Ｍについて、フレームＮの合焦位置と同様の合焦位置にリフォーカスすることができる。

しかも、本実施形態によれば、フレームＮの前に取得されたフレームＮ−１に対しては、フレームＮに対する合焦位置シフト量ｐＮより小さい合焦位置シフト量ｐＮ／２での合焦位置シフトを行うため、画像が不自然に変化するのを防止することができる。

なお、ここでは、フレームＮの直前のフレームであるフレームＮ−１に対してのみ小さいシフト量ｐＮでのリフォーカス処理を行う場合を例に説明したが、これに限定されるものではない。例えば、ｐＮよりも小さいシフト量でのリフォーカス処理を複数のフレームに対して行うようにしてもよい。ｐＮよりも小さいシフト量でのリフォーカスを行うフレームの数を、ユーザが指定できるようにしてもよい。また、シフト量が徐々に変化するようにしてもよい。例えば、フレームＮ−２に対するシフト量を（１／３）×ｐＮとし、フレームＮ−１に対するシフト量を（２／３）×ｐＮとしてもよい。

［第２実施形態］
第２実施形態による画像処理装置、画像処理方法、撮像装置及びコンピュータプログラムについて図９Ａ乃至図１０を用いて説明する。図１乃至図８に示す第１実施形態による画像処理装置及び撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による画像処理装置は、複数のフレームに対してリフォーカスを行い得るものである。本実施形態による撮像装置の基本的な構成は、図１を用いて上述した第１実施形態による撮像装置と同様であるため、説明を省略する。
図９Ａ及び図９Ｂは、本実施形態による撮像装置におけるタイムラプス動画の編集を示すフローチャートである。図９Ａ及び図９Ｂに示す各ステップは、本実施形態による撮像装置１００の制御部１２１によって行われる。

まず、ステップＳ９０１からステップＳ９１２までは、第１実施形態において上述したステップＳ６０１からステップＳ６１２までと同様であるため、説明を省略する。

ステップＳ９１３では、リフォーカス処理を行ったフレームＮについての情報、例えばフレーム制御番号Ｎと合焦位置シフト量ｐＮとを編集履歴としてＲＡＭ上に記録し、ステップＳ９０７に戻る。ステップＳ９１３を実行した後にステップＳ９０７に戻るため、ユーザは合焦位置シフト操作を複数のフレームに対して行うことができる。

ステップＳ９１４からステップＳ９１６までは、第１実施形態において上述したステップＳ６１４からステップＳ６１６までと同様であるため、説明を省略する。

ステップＳ９１７では、合焦位置シフト操作がどのフレームに対して行われたのかを示す情報を、ＲＡＭ上に記録しておいた編集履歴から取得する。合焦位置シフト操作がフレームＮとフレームＭとに対して行われた場合には、リフォーカスが行われたフレームの番号であるフレーム制御番号Ｎとフレーム制御番号Ｍとが、ＲＡＭ上に記録しておいた編集履歴から取得される。

ステップＳ９１８では、合焦位置シフト量を、ＲＡＭ上に記録しておいた編集履歴から取得する。例えば、フレームＮに対して行われた合焦位置シフト量ｐＮと、フレームＭに対して行われた合焦位置シフト量ｐＭとが取得される。

ステップＳ９１９では、タイムラプス動画の動画を構成するフレームを制御するための制御番号ＬをＮ＋１に設定する。

ステップＳ９２０では、ステップＳ９０８と同様にして、フレームＬ＝Ｎ＋１に対応する画像ファイルＮ＋１を、着脱可能な記録媒体１３３に記録されている画像ファイル群（画像ファイル１〜Ｍ）のうちから検索する。

ステップＳ９２１では、ステップＳ９０９と同様に、フレームＬ＝Ｎ＋１に対応する画像ファイルＮ＋１を、着脱可能な記録媒体１３３から読み込むことによって、複数の視差画像を取得する。

ステップＳ９２２では、ステップＳ９１０と同様にして、制御番号Ｌ＝Ｎ＋１に対応するフレームＬの合焦位置シフト量ｐＬを算出する。合焦位置シフト量ｐＬは、ステップＳ９１８で取得した合焦位置シフト量ｐＮと合焦位置シフト量ｐＭに基づいて、例えば以下の式（１）によって求められる。
ｐＬ＝ｐＮ＋（ｐＭ−ｐＮ）／（Ｍ−Ｎ） Ｍ＞０、Ｎ＞０、Ｍ＞Ｎ ・・・（１）

ステップＳ９２３では、ステップＳ９２２で算出した合焦位置シフト量ｐＬでリフォーカス処理を行う。

ステップＳ９２４では、制御番号Ｌと制御番号Ｍとの大小の比較を行う。制御番号Ｌが制御番号Ｍより小さくない場合には（ステップＳ９２４においてＮＯ）、ステップＳ９２６に移行する。一方、制御番号Ｌが制御番号Ｍより小さい場合には（ステップＳ９２４においてＹＥＳ）、制御番号Ｌをインクリメントして（ステップＳ９２５）、ステップＳ９２０に戻る。このような処理を繰り返すことにより、フレームＮとフレームＭとの間のすべてのフレームに対して、合焦位置シフトがされたリフォーカス画像（図示せず）が得られる。

ステップＳ９２６からステップＳ９３０までは、第１実施形態において上述したステップＳ６２０からステップＳ６２４までの処理と同様である。但し、第１実施形態において上述したステップＳ６２０からステップＳ６２４における制御番号Ｌは、ステップＳ９２６からステップＳ９３０においては、制御番号Ｍに置き換えられる。即ち、ステップＳ９２６では、ステップＳ６２０と同様にして、フレームＭに対応する画像ファイルＭを、着脱可能な記録媒体１３３に記録されている画像ファイル群（画像ファイル１〜Ｍ）のうちから検索する。ステップＳ９２７では、ステップＳ６２１と同様に、フレームＭに対応する画像ファイルＭを、着脱可能な記録媒体１３３から読み出すことによって、複数の視差画像を取得する。ステップＳ９２８では、ステップ６２２と同様に、リフォーカス処理を行う。具体的には、複数の視差画像をステップＳ９１８で算出したシフト量ｐＭだけシフトさせ、合成処理を行うことによって、リフォーカス画像Ｍを作成する。ステップＳ９２９では、ステップＳ６２３と同様に、フレームＭが最終フレームであるか否かを判定する。ステップＳ９３０では、ステップＳ６２４と同様に、制御番号Ｍをインクリメントする。

ステップＳ９３１からステップＳ９３６までは、第１実施形態において上述したステップＳ６２５からステップＳ６３０までと同様であるため、説明を省略する。

このようにしてリフォーカス処理を行うことによって得られるタイムラプス動画のフレーム制御番号と合焦位置シフト量との関係について図１０を用いて説明する。図１０は、フレーム制御番号と合焦位置シフト量との関係を示すグラフである。横軸はフレーム制御番号を示しており、縦軸は合焦位置シフト量を示している。

フレーム制御番号１からＮ−２までは、撮影開始時の合焦位置のままであるため、合焦位置シフト量は０となっている。フレーム制御番号Ｎ−１における合焦位置シフト量は、フレーム制御番号Ｎにおける合焦位置シフト量ｐＮの半分であるｐＮ／２である。フレーム制御番号がＮからＭまでのフレームは、それぞれの合焦位置シフト量ｐＮ、ｐＭに基づいて式（１）等によって算出される合焦位置シフト量である。即ち、フレーム制御番号がＮとＭとの間のフレームの合焦位置シフト量は、ｐＮとｐＭとの間の値となる。フレーム制御番号がＭから最終番号までのフレームは、合焦位置シフト量はｐＭとなる。

このように、本実施形態によれば、複数のフレームに対して、タイムラプス撮影の終了後にリフォーカスを行うことができる。

しかも、本実施形態によれば、フレームＮとフレームＭとの間のフレームに対する合焦位置シフト量は、フレームＮに対する合焦位置シフト量とフレームＭに対する合焦位置シフト量との間の値に設定される。このため、本実施形態においても、画像が不自然に変化するのを防止することができる。

なお、本実施形態では、２つのフレームに対して合焦位置のシフトの操作が行われた場合を例に説明したが、合焦位置のシフトの操作が行われるフレームの数は２つに限定されるものではない。例えば、３つ以上のフレームに対して合焦位置のシフトの操作が行われてもよい。３つ以上のフレームに対して合焦位置のシフトの操作が行われた場合にも、上記と同様の処理を適宜繰り返することによって、リフォーカスされたタイムラプス画像を得ることが可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。かかる記憶媒体は、コンピュータ読み取り可能な記録媒体である。

１０１…第１レンズ群
１０２…絞り兼用シャッタ
１０３…第２レンズ群
１０５…第３レンズ群
１０６…光学的ローパスフィルタ
１０７…撮像素子
１１１…ズームアクチュエータ
１１２…絞りシャッタアクチュエータ
１１４…フォーカスアクチュエータ
１１５…電子フラッシュ
１１６…ＡＦ補助光手段
１２１…制御部
１２２…電子フラッシュ制御回路
１２３…補助光駆動回路
１２４…撮像素子駆動回路
１２５…画像処理回路
１２６…フォーカス駆動回路
１２８…絞りシャッタ駆動回路
１２９…ズーム駆動回路
１３１…表示装置
１３２…操作スイッチ群
１３３…記録媒体

Claims (14)

1. タイムラプス動画を構成する複数のフレームのうちの第１のフレームに対して第１の合焦位置を指定する合焦位置指定手段と、
   前記第１のフレームに対応する第１の画像ファイルに含まれている第１の視差画像と第２の視差画像とを記録媒体から取得する視差画像取得手段と、
   前記第１の合焦位置で合焦させるために前記第１の視差画像と前記第２の視差画像とに対して行われる第１の合焦位置シフトのための第１のシフト量を算出するシフト量算出手段と、
   前記第１の視差画像と前記第２の視差画像とに対して前記第１のシフト量での前記第１の合焦位置シフトを行い、前記第１の合焦位置シフトが行われた後の前記第１の視差画像と前記第２の視差画像とを合成することにより第１のリフォーカス画像を生成するリフォーカス画像生成手段と、
   前記第１のフレームを前記第１のリフォーカス画像によって置き換えることにより前記タイムラプス動画を再生成するタイムラプス動画生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記視差画像取得手段は、前記複数のフレームのうちの前記第１のフレームよりも前に取得された第２のフレームに対応する第２の画像ファイルに含まれている第３の視差画像と第４の視差画像とを前記記録媒体から更に取得し、
   前記シフト量算出手段は、前記第１のシフト量とは異なる第２のシフト量を更に算出し、
   前記リフォーカス画像生成手段は、前記第３の視差画像と前記第４の視差画像とに対して前記第２のシフト量での第２の合焦位置シフトを行い、前記第２の合焦位置シフトが行われた後の前記第３の視差画像と前記第４の視差画像とを合成することにより第２のリフォーカス画像を生成し、
   前記タイムラプス動画生成手段は、前記第２のフレームを前記第２のリフォーカス画像によって更に置き換える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記視差画像取得手段は、前記複数のフレームのうちの前記第１のフレームよりも後に取得された第３のフレームに対応する第３の画像ファイルに含まれている第５の視差画像と第６の視差画像とを前記記録媒体から更に取得し、
   前記リフォーカス画像生成手段は、前記第５の視差画像と前記第６の視差画像とに対して前記第１のシフト量での第３の合焦位置シフトをそれぞれ行い、前記第３の合焦位置シフトが行われた後の前記第５の視差画像と前記第６の視差画像とを合成することにより第３のリフォーカス画像を生成し、
   前記タイムラプス動画生成手段は、前記第３のフレームを前記第３のリフォーカス画像によって更に置き換える
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記合焦位置指定手段は、前記複数のフレームのうちの前記第１のフレームよりも後に取得された第３のフレームにおける第２の合焦位置を更に指定し、
   前記視差画像取得手段は、前記第３のフレームに対応する第３の画像ファイルに含まれている第５の視差画像と第６の視差画像とを前記記録媒体から更に取得し、
   前記シフト量算出手段は、前記第２の合焦位置で合焦させるために前記第５の視差画像と前記第６の視差画像とに対して行われる第３の合焦位置シフトのための第３のシフト量を算出し、
   前記リフォーカス画像生成手段は、前記第５の視差画像と前記第６の視差画像とに対して前記第３のシフト量での前記第３の合焦位置シフトを行い、前記第３の合焦位置シフトが行われた後の前記第５の視差画像と前記第６の視差画像とを合成することにより第３のリフォーカス画像を生成し、
   前記タイムラプス動画生成手段は、前記第３のフレームを前記第３のリフォーカス画像によって更に置き換える
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記合焦位置指定手段は、前記複数のフレームのうちの、前記第１のフレームより後であって前記第３のフレームより前に取得された第４のフレームに対応する第４の画像ファイルに含まれている第７の視差画像と第８の視差画像とを前記記録媒体から更に取得し、
   前記シフト量算出手段は、前記第１のシフト量と前記第３のシフト量との間の第４のシフト量を算出し、
   前記リフォーカス画像生成手段は、前記第７の視差画像と前記第８の視差画像とに対して前記第４のシフト量での第４の合焦位置シフトを行い、前記第４の合焦位置シフトが行われた後の前記第７の視差画像と前記第８の視差画像とを合成することにより第４のリフォーカス画像を生成し、
   前記タイムラプス動画生成手段は、前記第４のフレームを前記第４のリフォーカス画像によって更に置き換える
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２のシフト量は、前記第１のシフト量よりも小さい
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記視差画像取得手段は、前記第１のシフト量が所定の閾値より大きい場合にのみ、前記第３の視差画像と前記第４の視差画像とを前記記録媒体から取得し、
   前記シフト量算出手段は、前記第１のシフト量が前記所定の閾値より大きい場合にのみ、前記第２のシフト量を算出し、
   前記リフォーカス画像生成手段は、前記第１のシフト量が前記所定の閾値より大きい場合にのみ、前記第２のリフォーカス画像を生成し、
   前記タイムラプス動画生成手段は、前記第１のシフト量が前記所定の閾値より大きい場合にのみ、前記第２のフレームを前記第２のリフォーカス画像によって置き換える
   ことを特徴とする請求項２に記載の画像処理装置。
8. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素からなる画素を複数配列した撮像素子と、
   請求項１から７のいずれか１項に記載の画像処理装置と、
   前記撮像素子から得られる複数の視差画像を合成することにより形成される合成画像ファイルを前記記録媒体に記録する合成画像ファイル生成手段と、
   前記撮像素子から得られる前記複数の視差画像を含む非合成画像ファイルを前記記録媒体に記録する非合成画像ファイル生成手段とを備え、
   所定のタイミングで前記合成画像ファイル生成手段と前記非合成画像ファイル生成手段とを切り替えることを特徴とする撮像装置。
9. 前記所定のタイミングは、撮影モードがタイムラプス撮影モードに設定されたときであることを特徴とする請求項８に記載の撮像装置。
10. 前記所定のタイミングは、撮影設定がマクロ撮影設定に設定されたときであることを特徴とする請求項８に記載の撮像装置。
11. 前記所定のタイミングは、所定の被写界深度より浅い被写界深度となるような条件に撮影設定が設定されたときであることを特徴とする請求項８に記載の撮像装置。
12. タイムラプス動画を構成する複数のフレームのうちの第１のフレームに対して第１の合焦位置を指定するステップと、
    前記第１のフレームに対応する第１の画像ファイルに含まれている第１の視差画像と第２の視差画像とを記録媒体から取得するステップと、
    前記第１の合焦位置で合焦させるために前記第１の視差画像と前記第２の視差画像とに対して行われる第１の合焦位置シフトのための第１のシフト量を算出するステップと、
    前記第１の視差画像と前記第２の視差画像とに対して前記第１のシフト量での前記第１の合焦位置シフトを行い、前記第１の合焦位置シフトが行われた後の前記第１の視差画像と前記第２の視差画像とを合成することにより第１のリフォーカス画像を生成するステップと、
    前記第１のフレームを前記第１のリフォーカス画像によって置き換えることにより前記タイムラプス動画を再生成するステップと
    を備えることを特徴とする画像処理方法。
13. コンピュータに、
    タイムラプス動画を構成する複数のフレームのうちの第１のフレームに対して第１の合焦位置を指定するステップ、
    前記第１のフレームに対応する第１の画像ファイルに含まれている第１の視差画像と第２の視差画像とを記録媒体から取得するステップ、
    前記第１の合焦位置で合焦させるために前記第１の視差画像と前記第２の視差画像とに対して行われる第１の合焦位置シフトのための第１のシフト量を算出するステップ、
    前記第１の視差画像と前記第２の視差画像とに対して前記第１のシフト量での前記第１の合焦位置シフトを行い、前記第１の合焦位置シフトが行われた後の前記第１の視差画像と前記第２の視差画像とを合成することにより第１のリフォーカス画像を生成するステップ、
    前記第１のフレームを前記第１のリフォーカス画像によって置き換えることにより前記タイムラプス動画を再生成するステップ、
    を実行させるためのコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを記録したコンピュータ読み取りが可能な記録媒体。

Images