JP6618271B2 - 画像処理装置およびその制御方法、撮像装置 - Google Patents

Description

本発明は画像処理装置およびその制御方法、ならびに撮像装置に関し、特には画像データの記録技術に関する。

撮影レンズ（結像光学系）の射出瞳を複数の瞳領域に分割し、それぞれが１つの瞳領域に対応する複数の画像を１回の撮影動作で生成可能な撮像装置が知られている（特許文献１）。これら複数の画像は互いに視差を有する画像（視差画像）であるため、光強度の空間分布だけでなく角度分布も表す情報であり、ライトフィールド（ＬＦ）データや光線空間データと呼ばれるデータと同様の性質を有する。

非特許文献１には、ＬＦデータを用い、撮像時とは異なる結像面（仮想結像面）における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号明細書

Ren.Ng、他、"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02、2005.4.20

１画素の光電変換領域を複数（ｎ）に分割した撮像素子を用いて瞳領域を分割する構成の場合、１回の撮影動作で最大ｎの視差画像が生成される。そのため、画像のデータ量は瞳領域を分割しない場合に生成される画像（通常画像）のｎ倍になる。さらに、視差画像を取り扱いできない機器との互換性を考慮し、視差画像を加算して通常画像に相当する画像を生成すると、データ量はｎ＋１倍となる。

全ての視差画像と通常画像とを１つの画像ファイルに含めて記録すると、ファイルサイズが非常に大きくなり、記録媒体の消費量が大きくなったり、読み書きに要する時間が増加したり、バッテリーの消費を増加させたりする。また、例えば視差画像だけを記録した場合、視差画像を取り扱わない装置とのファイル互換性にも問題が生じうる。このような問題は、複数の視差画像（第１画像）と通常画像（第２画像）のような、一部と全体（あるいは一方が他方から生成される）という関係を有する画像のデータを格納した画像ファイルを生成する際に共通して生じる。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、複数の第１画像の一部と、複数の第１画像から生成可能な第２画像から、汎用性があり、かつファイルサイズが抑制された画像ファイルを生成することが可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、複数の光電変換部ごとに１つの画素をなす撮像素子における、複数の光電変換部のうちのいずれかより出力される信号で構成される第１画像のデータを取得する第１取得手段と、複数の光電変換部より出力される信号を加算または合成して得られる第２画像のデータを取得する第２取得手段と、第２画像のサムネイル画像のデータを生成するサムネイル生成手段と、画像データを、サムネイル画像のデータ、第２画像のデータ、および第１画像のデータの順に格納した画像ファイルを生成するファイル生成手段と、を有し、ファイル生成手段は、サムネイル画像のデータと、第２画像のデータとを画像ファイル内で隣接する領域に格納し、第１取得手段が取得可能な第１画像のデータのうち、画像ファイルに格納する第１画像のデータと第２画像のデータとから生成可能な第１画像のデータを格納しないように画像ファイルを生成することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、複数の第１画像の一部と、複数の第１画像から生成可能な第２画像から、汎用性があり、かつファイルサイズが抑制された画像ファイルを生成することが可能な画像処理装置およびその制御方法を提供することができる。

本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図 図１の撮像素子の回路構成を模式的に示す図 図１の撮像素子の画素アレイに配置される画素の構成例を模式的に示す図 図３（ｂ）に示した構成の画素が配置された画素アレイを模式的に示す図 図４の画素アレイを有する撮像素子における、各ＰＤが受光する光束と射出瞳の領域との関係を模式的に示す図 実施形態に係る映像信号処理回路の機能構成例を示すブロック図 第１実施形態における撮像装置の撮影時における動作の例を示すフローチャート 第１実施形態に係る画像ファイルの構造を説明するための模式図 実施形態に係る撮像装置が生成する画像ファイルを利用可能な電子機器の一例としてのコンピュータ機器の機能構成例を示すブロック図 図９の電子機器の動作の例を示すフローチャート 図９の電子機器の動作の別の例を示すフローチャート 第２実施形態に係る画像ファイルの構造を説明するための模式図 第２実施形態における撮像装置の撮影時における動作の例を示すフローチャート 第２実施形態の変形例に係る画像ファイルの構造を説明するための模式図 第２実施形態の別の変形例に係る画像ファイルの構造を説明するための模式図

以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下に説明する実施形態では、本発明を画像処理装置の一例としての撮像装置に適用した構成について説明するが、本発明において通常画像（第２画像）や視差画像（第１画像）を生成するための構成は必須でない。例えば、何らかの形式の画像ファイルとして既に記録された視差画像（および必要に応じてさらに通常画像）のデータを、記憶装置や外部装置から取得する構成であってもよい。

●（第１実施形態）
図１は本発明の実施形態に係る画像処理装置の一例としての撮像装置１００、より具体的にはデジタル一眼レフカメラの機能構成例を示すブロック図である。
制御部として機能するマイクロコンピュータ１２３は、ＲＯＭやＲＡＭを有し、ＲＯＭや不揮発性メモリ１３０に記憶されたプログラムをＲＡＭに読み込んで実行し、撮像装置１００の各部を制御することで、撮像装置１００の各種の機能を実現する。

ＡＦ駆動部１０２は、例えばＤＣモータやステッピングモータを有し、マイクロコンピュータ１２３の制御によって撮影レンズ１０１のフォーカスレンズ位置を変化させ、撮影レンズ１０１の合焦距離を変化させる。
ズーム駆動部１０３は、例えばＤＣモータやステッピングモータを有し、マイクロコンピュータ１２３の制御によって撮影レンズ１０１の変倍レンズ位置を変化させることにより撮影レンズ１０１の焦点距離を変化させる。

絞り駆動部１０５はマイクロコンピュータ１２３の制御によって絞り１０４を駆動し、開口量（絞り値）を変化させる。主ミラー１０６は撮影レンズ１０１から入射した光束の進行方向を光学ファインダー１０８側と撮像素子１１２側とで切替える。光学ファインダー１０８はペンタプリズム、ピント板、アイピースレンズなどから構成される。主ミラー１０６は撮影時以外は光学ファインダー１０８側へ入射光束を反射させる位置（図示）にあり、撮影時には入射光束を反射しない位置に退避（ミラーアップ）し、撮像素子１１２の露光を可能にする。また主ミラー１０６は中央部がハーフミラーであり、図示した位置において入射光束の一部が透過する。透過した光束は主ミラー１０６の裏面に配置された副ミラー１０７で反射され、焦点検出回路１０９が有する焦点検出センサに入射する。

焦点検出回路１０９は位相差ＡＦ用の回路であり、焦点検出光学系や焦点検出センサを有する。焦点検出回路１０９の出力によって撮影レンズ１０１のピントずれ量（デフォーカス量）とずれ方向を検出することができる。マイクロコンピュータ１２３は検出結果をフォーカスレンズの駆動量および駆動方向に変換してＡＦ駆動部１０２を制御し、撮影レンズのフォーカスレンズを駆動させる。

シャッタ駆動回路１１１はマイクロコンピュータ１２３の制御によってフォーカルプレーンシャッタ１１０の開閉を行う。撮像素子１１２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどであり、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。

クランプ回路１１３やＡＧＣ回路１１４は、Ａ／Ｄ変換前のアナログ信号処理を撮像素子１１２の出力に対して適用する。クランプレベルやＡＧＣ基準レベルはマイクロコンピュータ１２３により制御される。Ａ／Ｄ変換部１１５はＡＧＣ回路１１４の出力をデジタル信号に変換して映像信号処理回路１１６に出力する。ＥＶＦ駆動回路１１７は、ＥＶＦ（電子ビューファインダ）モニタ１１８の表示制御を行う。

メモリコントローラ１１９は、メモリ１２０、インターフェイス１２１、バッファメモリ１２２、映像信号処理回路１１６間のデータ通信を制御する。インターフェイス１２１はコンピュータ等の外部機器との通信を実現する。
メモリコントローラ１１９は、映像信号処理回路１１６から入力された未処理のデジタル画像・音声データをバッファメモリ１２２に格納したり、処理済みのデジタル画像・音声データをメモリ１２０に格納したりする。メモリコントローラ１１９はまた、バッファメモリ１２２やメモリ１２０に格納された画像・音声データを映像信号処理回路１１６に出力する。メモリ１２０は撮像装置１００から取り外し可能である場合もある。メモリコントローラ１１９は、メモリ１２０に格納されているデジタル画像・音声データをインターフェイス１２１を介して外部装置に出力可能である。

映像信号処理回路１１６は例えばゲートアレイなどのロジックデバイスにより実現される。映像信号処理回路１１６は、画像データにフィルター処理、色変換処理、ガンマ処理、符号化処理などを必要や設定に応じて適用し、メモリコントローラ１１９に出力する。また、映像信号処理回路１１６は、マイク１３２、または、音声ライン入力１３３からの音声信号の圧縮処理を行い、メモリコントローラ１１９に出力する。さらに映像信号処理回路１１６は、Ａ／Ｄ変換部１１５からの画像データや、メモリコントローラ１１９から入力される画像データを、ＥＶＦ駆動回路１１７を通してＥＶＦ（電子ビューファインダ）モニタ１１８に出力することが可能である。これらの機能切り替えはマイクロコンピュータ１２３の指示により行われる。

映像信号処理回路１１６は、必要に応じてＡ／Ｄ変換部１１５からの画像データ（撮像画像データ）信号の輝度情報やホワイトバランス情報などをマイクロコンピュータ１２３に出力可能である。それらの情報を基にマイクロコンピュータ１２３はホワイトバランスやゲイン調整の指示を行う。連続撮影時、映像信号処理回路１１６は、撮像画像データを未処理のままバッファメモリ１２２に格納する。そして、映像信号処理回路１１６は撮影動作終了後にメモリコントローラ１１９を通してバッファメモリ１２２から未処理の撮像画像データを読み出し、画像処理や符号化処理を適用する。従って、連像撮影可能枚数はバッファメモリ１２２の容量に依存する。映像信号処理回路１１６は、マイク１３２または音声ライン入力１３３から、Ａ／Ｄ変換部１３４を通じて入力される音声データを、Ｄ／Ａ変換部１３５を通してスピーカー１３６に出力することも可能である。

操作部材１２４は、ユーザが撮像装置１００に指示を与えるための入力デバイス群であり、ボタン、スイッチ、ダイヤル、タッチパネル、キーなどを含む。操作部材１２４の操作はマイクロコンピュータ１２３が検出し、マイクロコンピュータ１２３は操作に応じた処理を実行する。操作部材１２４に含まれる代表的なものにはレリーズスイッチ、ＩＳＯ設定ボタン、画像サイズ設定ボタン、画質設定ボタン、情報表示ボタン、メニューボタン、方向キー、実行キーなどがある。

第１スイッチ１２５と第２スイッチ１２６は、操作部材１２４に含まれるレリーズボタンの半押し操作と全押し操作でオンするスイッチである。第１スイッチ１２５のオンは撮影準備動作の開始指示であり、マイクロコンピュータ１２３はオートフォーカスや自動露出制御を開始する。第１スイッチ１２５と第２スイッチ１２６のオンは本撮影（記録用の撮影処理）の開始指示であり、マイクロコンピュータ１２３は撮像素子１１２の露光や撮像画像データに対する一連の動作を実行する。また、第１スイッチ１２５と第２スイッチ１２６の両方がオンし続けている間、マイクロコンピュータ１２３は連続撮影動作を実行する。

表示駆動回路１２７は、マイクロコンピュータ１２３の制御に従い、主表示装置１２８や副表示装置１２９を駆動する。主表示装置１２８および副表示装置１２９は例えば液晶ディスプレイであり、一般に主表示装置１２８は筐体背面に配置され、副表示装置１２９は光学ファインダー内に配置される。また、副表示装置１２９には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも表示駆動回路１２７で駆動される。マイクロコンピュータ１２３は撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ１１９を通して、メモリの容量を確認した上で撮影可能残数を演算することができる。撮影可能残数は必要に応じて主表示装置１２８、副表示装置１２９にも表示することができる。
不揮発性メモリ（ＥＥＰＲＯＭ）１３０はプログラムや設定情報などを記憶する。電源部１３１は、撮像装置１００の各部に必要な電源を供給する

図２は撮像素子１１２の回路構成を模式的に示す図である。撮像素子１１２は、画素アレイ２０１と、画素アレイ２０１における行を選択する垂直選択回路２０２、画素アレイ２０１における列を選択する水平選択回路２０４を含む。また、読み出し回路２０３は、画素アレイ２０１中の画素のうち垂直選択回路２０２によって選択される画素の信号を読み出す。シリアルインターフェイス（ＳＩ）２０５は、撮像素子１１２内の各回路の動作モードなどを撮像素子１１２の外部（ここでは映像信号処理回路１１６）から設定可能とするために設けられている。

読み出し回路２０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列ごとに有する。典型的には、垂直選択回路２０２は、画素アレイ２０１の複数行を順に選択し読み出し回路２０３に読み出す。さらに撮像素子１１２は、水平選択回路２０４を含み、読み出し回路２０３に読みだされた複数の画素信号を列ごとに順に選択する。

図３は本発明の撮像素子１１２の画素アレイ２０１に配置される画素の構成例を模式的に示す図である。本実施形態において画素３００、３１０は１つのマイクロレンズ３０１、３１１と、複数のフォトダイオード（以下ＰＤ）もしくは光電変換領域を有する。図３（ａ）に示す画素３００は２つのＰＤ３０２ａ、３０２ｂを、図３（ｂ）に示す画素３１０は４つのＰＤ３１２ａ、３１２ｂ、３１２ｃ、３１２ｄを有している。なお、画素当たりのＰＤの数は２以上であれば任意であり、水平方向と垂直方向における数が異なっていてもよい。なお、撮像素子１１２は、各画素における複数のＰＤの出力を任意の組み合わせで加算して読み出せるように構成される。例えば図３（ｂ）の画素３１０からは、ＰＤ３１２ａと３１２ｃの加算出力と、ＰＤ３１２ｂと３１２ｄの加算出力を読み出してもよい。また、ＰＤ３１２ａと３１２ｂの加算出力と、ＰＤ３１２ｃと３１２ｄの加算出力を読み出してもよい。もちろん、ＰＤ３１２ａ、３１２ｂ、３１２ｃ、３１２ｄの加算出力を読み出してもよい。なお、ＰＤの出力は、読み出した後に加算してもよい。なお、画素３００、３１０は、図示された構成要素以外にも、例えば、ＰＤの信号を読み出し回路２０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。

図４は、図３（ｂ）に示した構成の画素４００が配置された画素アレイ２０１を模式的に示す図である。画素アレイ２０１は、２次元の画像を提供するために、水平方向にＮ個、垂直方向にＭ個の画素が行列状に配列された構成を有する。画素アレイ２０１の画素４００の各々には赤、緑、青のいずれかのカラーフィルタが設けられており、ここでは奇数行の画素については赤と緑のカラーフィルタが交互に設けられ、偶数行の画素には緑と青のカラーフィルタが交互に設けられている。

画素アレイ２０１が図４のような構成を有する撮像素子１１２において、各ＰＤが受光する光束と射出瞳の領域との関係について、図５を用いて説明する。撮影レンズ１０１の射出瞳５０６からの出射光は、光軸５０９を中心として撮像素子１１２に入射する。射出瞳の部分領域５０７から出射する光束の外縁を５１０、５１１で、部分領域５０８から出射する光束の外縁を５１２、５１３で示す。図示するように、射出瞳５０６のうち、光軸５０９より図面上側の領域から出射する光束はＰＤ３１２ｂに入射し、下側の領域から出射する光束はＰＤ３１２ａに入射する。つまり、ＰＤ３１２ａと３１２ｂには、撮影レンズ１０１の射出瞳５０６において異なる部分領域５０８、５０７の出射光が入射する。従って、各画素のＰＤ３１２ａの出力で構成される画像と、ＰＤ３１２ｂの出力で構成される画像とは視差画像になる。このように、本実施形態の撮像装置１００は、１回の撮影動作で複数の視差画像（第１画像）を生成可能な撮像素子１１２を有する。

本明細書では便宜上、図３において画素の右側に示されたＰＤ群（図３（ｂ）ではＰＤ３１２ｂと３１２ｄ）から得られる画像データを右画像、左側のＰＤ群（図３（ｂ）ではＰＤ３１２ａと３１２ｃ）から得られる画像データを左画像と呼ぶ。また、右画像と左画像とを加算して得られる画像を通常画像（非視差画像）と呼ぶ。通常画像（第２画像）は右画像と左画像を別個に読み出してから加算して生成する方法のほか、個々の画素からＰＤの加算出力を読み出す方法でも生成可能である。ここでは、撮像素子１１２から通常画像と、右画像が読み出されるものとする。なお、撮像素子１１２が図３（ａ）に示す画素の構成を有する場合には、ＰＤ３０２ｂ群から得られる画像データを右画像、ＰＤ３０２ａ群から得られる画像データを左画像とすればよい。

図６（ａ）は映像信号処理回路１１６の一部の機能構成例を表すブロック図である。
通常画像抽出部６０１（第２取得手段）は、撮像素子１１２から読み出される通常画像と右画像から、通常画像を抽出して現像処理部６０２および可逆圧縮処理部６０６に出力する。
右画像抽出部６０５（第１取得手段）は、撮像素子１１２から出力される通常画像と右画像から、右画像のみを抽出して可逆圧縮処理部６０６に出力する。

現像処理部６０２は、通常画像に対してホワイトバランス調整、色補間、色補正、γ変換、エッジ強調、解像度変換等の現像処理を行い、非可逆圧縮処理部６０３へ出力する。
非可逆圧縮処理部６０３は、現像処理後の通常画像に対して例えばＪＰＥＧ形式などの規格に従った非可逆圧縮処理を行って非可逆圧縮画像を生成する。非可逆圧縮処理部６０３は、非可逆圧縮画像をメモリインターフェイス６０４およびメモリコントローラ１１９を経由して、バッファメモリ１２２に出力する。

可逆圧縮処理部６０６は、通常画像と右画像のそれぞれに対し、可逆圧縮処理を行って可逆圧縮画像を生成し、メモリインターフェイス６０４およびメモリコントローラ１１９を経由して、バッファメモリ１２２に可逆圧縮画像を出力する。

次に図７（ａ）に示すフローチャートを参照して、本実施形態の撮像装置１００の撮影時における動作を、映像信号処理回路１１６（ファイル生成手段）の動作を中心に説明する。図７（ａ）の処理は、マイクロコンピュータ１２３が撮影開始指示（例えば第２スイッチ１２６のオン）を検知したことによって開始される。マイクロコンピュータ１２３は、撮影準備処理において決定した露出条件に従って絞り１０４およびフォーカルプレーンシャッタ１１０の動作を制御し、撮像素子１１２を露光する。

Ｓ１０１で映像信号処理回路１１６はＳＩ２０５を通じて撮像素子１１２に、通常画像と右画像を読みだすよう設定し、通常画像と右画像を取得する。
Ｓ１０２で通常画像抽出部６０１が通常画像を、右画像抽出部６０５が右画像を抽出する。抽出した画像のデータは、メモリインターフェイス６０４およびメモリコントローラ１１９を介してバッファメモリ１２２に保存する。
次のＳ１１０と、Ｓ１２０およびＳ１２１と、Ｓ１３０とは並列処理が可能であるが、メモリ１２０の空き状況や、映像信号処理回路１１６の処理スピード等に応じて、少なくとも一部を順序処理してもよい。

Ｓ１１０で可逆圧縮処理部６０６は、通常画像に対して可逆圧縮処理を適用して可逆圧縮画像を生成し、メモリインターフェイス６０４およびメモリコントローラ１１９を介してバッファメモリ１２２に保存する。
Ｓ１２０で現像処理部６０２は、通常画像に対して上述した現像処理を適用し、非可逆圧縮処理部６０３に出力する。

Ｓ１２１で非可逆圧縮処理部６０３は、現像処理後の通常画像に対して非可逆圧縮処理を適用して非可逆圧縮画像を生成するとともに、非可逆圧縮画像を縮小してサムネイル画像を生成する。ここでは、非可逆圧縮画像を表示用画像とする。非可逆圧縮処理部６０３は非可逆圧縮画像（表示用画像）とサムネイル画像をメモリインターフェイス６０４およびメモリコントローラ１１９を介してバッファメモリ１２２に保存する。

Ｓ１３０で可逆圧縮処理部６０６は、右画像に対して可逆圧縮処理を適用して可逆圧縮画像（右）を生成し、メモリインターフェイス６０４およびメモリコントローラ１１９を介してバッファメモリ１２２に保存する。

Ｓ１１０、Ｓ１２１、Ｓ１３０の処理が完了すると、映像信号処理回路１１６は処理をＳ１４０へ進め、画像ファイルの生成を行う。映像信号処理回路１１６は、可逆圧縮画像、可逆圧縮画像（右）、表示用画像、サムネイル画像をバッファメモリ１２２から読み出して画像ファイルを生成する。Ｓ１４０で行う画像ファイルの生成処理および画像ファイル構成の詳細については後述する。

Ｓ１４１で映像信号処理回路１１６は、生成した画像ファイルを、メモリインターフェイス６０４およびメモリコントローラ１１９を介してメモリ１２０へ保存し、撮影処理を終了する。

図８（ａ）は、１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマットの一例としてのＴＩＦＦ(Tagged Image File Format)形式、に準拠した画像ファイルの構造を示す図である。図８（ａ）に示す画像ファイル８００は、ＴＩＦＦヘッダ部８０１、複数のＩＦＤ(Image File Directory)部８０２〜８０５、複数の画像データ部８０６〜８０９で構成されている。

ＴＩＦＦヘッダ部８０１はＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセットなどを格納する領域である。
ＩＦＤ部８０２〜８０５は画像データ部８０６〜８０９に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ〜Ｄと、画像データ部８０６〜８０９までのオフセット値Ｅ〜Ｈ、次のＩＦＤ部へのオフセット値を格納する領域である。最後のＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。また、ＩＦＤ部８０２〜８０５のそれぞれは、対応する画像データ部に格納されている画像データのサイズ（縦横の画素数）や、縮小画像であるかどうかの情報や、右／左画像の種別といった情報をメタデータＡ〜Ｄに含んでいる。従って、画像ファイル８１０を用いた処理を行う装置は、ＩＦＤ部８０２〜８０５を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。

０ｔｈＩＦＤ部８０２は０ｔｈ画像データ部８０６に対応した領域である。１つのＩＦＤ部はひとつの画像データ部に対応しており、ＩＦＤ部８０２〜８０５のオフセット値Ｅ〜Ｈにより画像ファイル８００内の各画像データの開始位置が特定される。

図８（ｂ）は、本実施形態の撮像装置１００（映像信号処理回路１１６）が生成する画像ファイルの構造例を示す図である。ここでは、撮影時に生成した非可逆圧縮画像（表示用画像）、サムネイル画像、可逆圧縮画像、可逆圧縮画像（右）を格納する画像ファイルをＴＩＦＦ形式で生成した場合の構造例を示している。
画像ファイル８１０はＴＩＦＦヘッダ部８１１、０ｔｈＩＦＤ部８１２〜３ｒｄＩＦＤ部８１５、サムネイル画像部８１７、表示用画像部８１６、通常画像部８１８、右画像部８１９で構成されている。
ＴＩＦＦヘッダ部８１１はＴＩＦＦファイル構造であることを識別するためのデータを格納する。

０ｔｈＩＦＤ部８１３は、表示用画像部８１６に関連する撮影情報やパラメータなどのメタデータＢと表示用画像部８１６までのオフセット値Ｆを格納する。
１ｓｔＩＦＤ部８１２は、サムネイル画像部８１７に関連する撮影情報やパラメータなどのメタデータＡとサムネイル画像部８１７までのオフセット値Ｅを格納する。
２ｎｄＩＦＤ部８１４は、通常画像部８１８に関連する撮影情報やパラメータなどのメタデータＣと通常画像部８１８までのオフセット値Ｇを格納する。
３ｒｄＩＦＤ部８１５は、右画像部８１９に関連する撮影情報やパラメータなどのメタデータＤと右画像部８１９までのオフセット値Ｈを格納する。
これらオフセット値Ｅ〜Ｈにより、画像ファイル内の各画像データの開始位置を特定できる。

表示用画像部８１６は主表示装置１２８などに表示するために、非可逆圧縮処理部６０３で生成された表示用画像を格納する領域である。本実施形態では表示用画像をＪＰＥＧ形式としている。
サムネイル画像部８１７は主表示装置１２８などにメモリ１２０の画像一覧画面などのインデックス表示を行う際などに利用するためのサムネイル画像を格納する領域であり、表示用画像を間引くなどして縮小した画像である。

通常画像部８１８は、右画像と左画像を加算もしくは合成した通常画像であって、現像処理前のいわゆるＲＡＷ形式の通常画像を可逆圧縮処理部６０６で可逆圧縮した通常画像を格納する領域である。
右画像部８１９は、ＲＡＷ形式の右画像を可逆圧縮処理部６０６で可逆圧縮した右画像を格納する領域である。通常画像から右画像を減算することで左画像に相当する画像を生成することができる。右画像と左画像とから、リフォーカス処理や視点変更処理、立体画像生成処理などを行うことができる。

サムネイル画像や表示用画像といった汎用的な表示処理に用いられる現像処理後の画像のデータを、現像処理が必要な通常画像や、視差画像を取り扱わないアプリケーションでは使用しない右画像よりも前に配置している。そのため、使用される可能性の高い画像データの読み出し開始までに要する時間を短縮することができる。

図９は、本実施形態の撮像装置１００が生成する画像ファイルに記録された画像データを利用可能な電子機器の一例としてのコンピュータ機器２００の機能構成例を示すブロック図である。制御部として機能するＣＰＵ１は、例えば記憶装置１０に格納されているプログラム、ここでは現像処理アプリケーション、リフォーカス処理アプリケーション、視点変更処理アプリケーションなどをＲＡＭ３に読み出して実行し、後述する画像処理を実現する。なお、記憶装置１０はハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などであり、基本ソフト（ＯＳ）、デバイスドライバ、アプリケーションプログラムなどが記憶されている。メニュー画面などを表示するためのＧＵＩデータ、ユーザ設定データ、アプリケーションの初期設定データなども記憶装置１０に記憶される。

ＲＯＭ２はブートストラップローダなど、コンピュータ機器２００が起動するために必要なプログラムやファームウェアなどが記憶されている。ＲＯＭ２は少なくとも一部が書き換え可能であってよい。

ＲＡＭ３はＣＰＵ１が実行するプログラムを展開する領域や、変数やデータ等の一時記憶領域として用いられる。メモリカード４は着脱可能なメモリ１２０であってよい。コンピュータ機器２００は画像ファイルをメモリカードスロット５に装着されたメモリカード４、通信インターフェイス２０に接続された外部機器４０、または記憶装置１０から取得することができる。

表示部６はドットマトリックス方式の表示装置であり、代表的には液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイである。なお、図９では表示部６がコンピュータ機器２００に内蔵されている構成を示しているが、外部装置として接続されてもよい。また、表示部６が内蔵ディスプレイと外付けディスプレイの両方から構成されてもよい。

操作部８はユーザがコンピュータ機器２００に指示を入力する機器であり、代表的にはキーボード、ポインティングデバイス（マウスなど）、接触感知デバイス（タッチパネルなど）などの入力デバイスの１つ以上である。なお、キーボードはハードウェアキーボードであっても、ソフトウェアキーボードであってもよい。なお、タッチパネルは表示部６に設けられてもよいし、ノート型パソコンに多く見られるようなタッチパッドの形態であってもよい。さらに、コンピュータ機器２００が装置の動きや傾きを検出するために設けられているセンサ類を有する場合、これらセンサ類も操作部８を構成する。また、音声入力デバイスや視線入力デバイスなどの非接触入力デバイスも操作部８に含まれてよい。

通信インターフェイス２０は例えば撮像装置１００等の外部機器４０とデータ通信を行うための１つ以上の通信インターフェイスである。通信インターフェイス２０は、例えば、ＵＳＢ、イーサネット（登録商標）、IEEE802.11xなどの有線および／または無線通信規格に準拠した構成を有する。撮像装置１００とコンピュータ機器２００とを通信インターフェイス２０を介して通信可能に接続することで、画像処理システムを構成することができる。

次に、図１０および図１１に示すフローチャートを参照して、本実施形態で生成した画像ファイル８１０をコンピュータ機器２００で利用する際の動作について説明する。なお、以下に説明する動作は、コンピュータ機器２００で稼働する任意のアプリケーションプログラムにおける機能の１つとして実施されうる。

図１０（ａ）は、画像ファイル８１０のサムネイル画像部８１７に格納されたサムネイル画像を表示する際の動作を示すフローチャートである。サムネイル画像は縮小画像であるため、例えば、メモリカード４や記憶装置１０の特定の場所に格納された画像ファイルの内容一覧を表示する場合など、画像ファイルに格納されている画像の内容を大まかに表示する用途に用いられる。ここでは、１つの画像ファイル８１０についてのサムネイル画像を表示する場合について説明するが、複数の画像ファイルについてサムネイル画像を表示する場合には、図１０（ａ）の処理を個々の画像ファイルに対して実行する。

Ｓ１６０１でＣＰＵ１は、対象の画像ファイル８１０のＴＩＦＦヘッダ部８１１を読み出し、ＲＡＭ３に保存する。
Ｓ１６０２でＣＰＵ１は、ＴＩＦＦヘッダ部８１１から最初（Ｎ＝０）のＩＦＤ部（０ｔｈＩＦＤ部８１２）の開始位置を特定し、０ｔｈＩＦＤ部８１２を読み出し、ＲＡＭ３に保存する。
Ｓ１６０３でＣＰＵ１は、０ｔｈＩＦＤ部８１２に対応する０ｔｈ画像部（表示用画像部８１６）が、サムネイル画像（縮小画像）を格納しているかどうか、０ｔｈＩＦＤ部８１２の情報から判別する。本実施形態では、０ｔｈ画像部は表示用画像部８１６であるため、ＣＰＵ１は処理をＳ１６０４に進め、Ｎを１増加させて処理をＳ１６０２に戻す。

Ｓ１６０２で１ｓｔＩＦＤ部８１３が読み出されると、Ｓ１６０３で、ＣＰＵ１は対応する１ｓｔ画像部が縮小画像を格納していると判別し、処理をＳ１６０５に進める。
Ｓ１６０５でＣＰＵ１は、１ｓｔ画像部（サムネイル画像部８１７）からサムネイル画像データを読み出し、ＲＡＭ３の表示画像用領域に保存する。
Ｓ１６０６でＣＰＵ１は、サムネイル画像を予め定められたレイアウトで表示部６に表示させる。

図１０（ｂ）は、画像ファイル８１０の表示用画像部８１６に格納された表示用画像（非可逆圧縮画像）を表示する際の動作を示すフローチャートである。図１０（ａ）と同じ処理を行うステップには同じ参照数字を付してある。表示用画像の画素数（解像度）は通常画像と変わらないが、非可逆圧縮されているため画質の低下がある。また、通常画像は現像処理されていないのに対し、表示用画像は現像処理されているため、汎用的な装置で表示することができる。ここでは、１つの画像ファイル８１０についての表示用画像を表示する場合について説明する。

Ｓ１６０１、Ｓ１６０２の処理は図１０（ａ）と同じであるため説明を省略する。
Ｓ１６０７でＣＰＵ１は、０ｔｈＩＦＤ部８１２に対応する０ｔｈ画像部（表示用画像部８１６）が、表示用画像を格納しているかどうか、０ｔｈＩＦＤ部８１２の情報から判別する。本実施形態では、０ｔｈ画像部は表示用画像部８１６であるため、ＣＰＵ１は処理をＳ１６０８に進める。

Ｓ１６０８でＣＰＵ１は、０ｔｈ画像部（表示用画像部８１６）から表示用画像データを読み出し、ＲＡＭ３の表示画像用領域に保存する。
Ｓ１６０９でＣＰＵ１は、表示用画像を予め定められたレイアウトで表示部６に表示させる。

図１１は、画像ファイル８１０の通常画像部８１８および右画像部８１９に格納された画像を用いて視差画像の生成ならびに視差画像を用いた処理を行う際の動作を示すフローチャートである。図１０（ａ）と同じ処理を行うステップには同じ参照数字を付してある。ここでは、１つの画像ファイル８１０に含まれる通常画像および右画像を用いた処理について説明する。

Ｓ１６０１、Ｓ１６０２の処理は図１０（ａ）と同じであるため説明を省略する。
Ｓ１６１０でＣＰＵ１は、０ｔｈＩＦＤ部８１２に対応する０ｔｈ画像部（表示用画像部８１６）が、通常画像を格納しているかどうか、０ｔｈＩＦＤ部８１２の情報から判別する。本実施形態では、０ｔｈ画像部は表示用画像部８１６であるため、ＣＰＵ１は処理をＳ１６１２に進め、０ｔｈＩＦＤ部８１２に対応する０ｔｈ画像部（表示用画像部８１６）が、右画像を格納しているかどうか、０ｔｈＩＦＤ部８１２の情報から判別する。本実施形態では０ｔｈ画像部は表示用画像部８１６であるため、ＣＰＵ１は処理をＳ１６０４に進め、Ｎを１増加させて処理をＳ１６０２に戻す。

Ｎ＝２の状態でＳ１６１０が実行されると、ＣＰＵ１は２ｎｄ画像部（通常画像部８１８）が、通常画像を格納していると判別し、処理をＳ１６１１へ進める。
Ｓ１６１１でＣＰＵ１は、２ｎｄ画像部（通常画像部８１８）から通常画像データを読み出し、ＲＡＭ３に保存する。そしてＣＰＵ１は処理をＳ１６０４に進め、Ｎを１増加させて処理をＳ１６０２に戻す。

Ｎ＝３の状態でＳ１６１２が実行されると、ＣＰＵ１は３ｒｄ画像部（右画像部８１９）が、右画像を格納していると判別し、処理をＳ１６１３へ進める。
Ｓ１６１３でＣＰＵ１は、３ｒｄ画像部（右画像部８１９）から右画像データを読み出し、ＲＡＭ３に保存する。

Ｓ１６１４でＣＰＵ１は、Ｓ１６１１で読み出した通常画像とＳ１６１３で読み出した右画像とから左画像を生成する。上述したように、通常画像は右画像と左画像との加算画像あるいは合成画像に相当するため、通常画像から右画像を減じることによって左画像を生成することができる。

Ｓ１６１５でＣＰＵ１は、右画像と左画像に対して現像処理部６０２と同様の処理を適用する。なお、Ｓ１６１６で実行する視差画像処理の内容によっては、Ｓ１６１５で現像処理は適用せずに、視差画像処理後に適用してもよい。
Ｓ１６１６でＣＰＵ１は、現像処理後の右画像および左画像に対し、リフォーカス処理、視点変更処理、デフォーカスマップ生成処理、立体画像生成処理など、視差画像を用いる画像処理を行う。

以上説明したように本実施形態によれば、複数の視差画像の合成画像に相当する通常画像のデータと、複数の視差画像のうち、通常画像と他の視差画像とから生成可能な視差画像を除いた視差画像のデータとを格納した画像ファイルを生成する。通常画像を含めることで、視差画像を取り扱えない機器との互換性を持たせつつ、通常画像と他の視差画像とから生成可能な視差画像については記録しないことで、画像ファイルのサイズを抑制することができる。さらに、通常画像として、現像処理後の通常画像を含めることで、画像ファイルの汎用性もしくは互換性をより高めることができる。この場合、現像処理後の通常画像に縮小処理や非可逆圧縮処理を適用したりすることで、ファイルサイズを抑制することができる。また、視差画像をファイルの末尾に配置することにより、視差画像を用いない装置やアプリケーションにおいて、所望の画像データを得るまでに要する時間を短縮することができる。

従って、上述の構成では通常画像と右画像を記録する構成について説明したが、右画像の代わりに左画像を記録する構成としてもよい。この場合、映像信号処理回路１１６における右画像抽出部６０５を左画像抽出部とし、左画像を可逆圧縮処理部６０６に供給する構成とすれば良い。

あるいは、図６（ｂ）に示すように、映像信号処理回路１１６における右画像抽出部６０５を左画像抽出部９０１とし、通常画像と抽出した左画像とから右画像を生成する右画像生成部９０２を追加し、通常画像と右画像を記録する構成を維持してもよい。この場合、図７（ａ）のＳ１０１、Ｓ１０２の代わりに、図７（ｂ）のＳ１００１〜Ｓ１００３を実行すればよい。つまり、Ｓ１００１で通常画像と左画像を読み出したのち、Ｓ１００２で通常画像抽出部６０１で通常画像を、左画像抽出部９０１で左画像を抽出する。そして、Ｓ１００２で、右画像生成部９０２が通常画像と抽出した左画像とから右画像を生成する。以降は、図７（ａ）と同様の処理でよい。
また、通常画像が存在せず、右画像と左画像を取得する（読み出す）構成であれば、右画像と左画像から生成した通常画像と、右画像と左画像の一方を格納した画像ファイルを生成すればよい。

さらに、本実施形態では図３（ｂ）に示す画素あたり４つのＰＤまたは光電変換領域を有する撮像素子の右側２つの出力と左側２つの出力とをまとめて取り扱い、実質的には図３（ａ）の画素構成で得られる視差画像と同じ取り扱いであった。しかし、４つのＰＤの各々を個別に読み出して４つの視差画像を生成した場合であっても、本実施形態の考え方を適用することができる。この場合、少なくとも（１）通常画像、（２）右画像または左画像、（３）右上または右下画像、（４）左上または左下画像を格納すればよい。ここで、右上画像はＰＤ３１２ｂ群から生成される画像、右下画像はＰＤ３１２ｄ群から生成される画像、左上画像はＰＤ３１２ａ群から生成される画像、左下画像はＰＤ３１２ｃ群から生成される画像である。また、右画像は右上画像と右下画像の加算または合成に相当し、左画像は左上画像と左下画像の加算または合成に相当する。

例えば、通常画像、右画像、右上画像、左上画像を格納した画像ファイルを生成したとする。この場合、左画像は通常画像と右画像の差分として、右下画像は右画像と右上画像の差分として、左下画像は左画像と左上画像の差分としてそれぞれ生成することができる。なお、本実施形態で述べたＰＤの組み合わせは単なる例示であって、上画像（ＰＤ３１２ａと３１２ｂの加算）と下画像（ＰＤ３１２ｃと３１２ｄの加算）を用いたり、対角線方向の加算（例えばＰＤ３１２ａと３１２ｄの加算）を用いたりすることもできる。また、画素当たりのＰＤの数が４より多い構成の撮像素子で得られた視差画像に対しても本発明は適用可能である。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、映像信号処理回路の構成および画像ファイル生成動作以外は第１実施形態と同様であるため、相異点についてのみ説明する。
図６（ｃ）は、本実施形態の映像信号処理回路１１６の機能構成例を示すブロック図であり、第１の実施形態と同じ構成要素には図６（ａ）または（ｂ）と同じ参照数字を付し、重複する説明は省略する。本実施形態の映像信号処理回路１１６は、図６（ｂ）における左画像抽出部９０１の代わりに図６（ａ）の右画像抽出部６０５を有し、右画像生成部９０２の代わりに左画像生成部９０２’を有する。ただし、左画像生成部９０２’は、通常画像と視差画像との差分を求めるという点において右画像生成部９０２と実質的には同じ構成要素である。

図１２は、本実施形態の映像信号処理回路１１６が生成する画像ファイル１１００の構造例を示す図であり、第１実施形態と共通する構成には図８（ｂ）と同じ参照数字を付し、重複する説明を省略する。本実施形態の画像ファイル１１００は、第１実施形態の画像ファイル８１０に対し、右サムネイル画像部１１０４、左サムネイル画像部１１０５と、対応する３ｒｄＩＦＤ部１１０１、４ｔｈＩＦＤ部１１０２が追加された構造を有する。そして、画像ファイル８１０における３ｒｄＩＦＤ部８１５は、５ｔｈＩＦＤ部１１０３に繰り下げられている。

次に、図６（ｃ）および図１２に加え、図１３に示すフローチャートを参照して、本実施形態の撮像装置１００の撮影時における動作を、映像信号処理回路１１６の動作を中心に説明する。第１実施形態と共通する構成には図７（ａ）と同じ参照数字を付し、重複する説明を省略する。

Ｓ１２００で左画像生成部９０２’は、通常画像から右画像を減算して左画像を生成する。
次のＳ１１０と、Ｓ１２０およびＳ１２１と、Ｓ１３０と、Ｓ１２１０およびＳ１２１１と、Ｓ１２２０およびＳ１２２１とは並列処理が可能である。ただし、メモリ１２０の空き状況や、映像信号処理回路１１６の処理スピード等に応じて、少なくとも一部を順序処理してもよい。

Ｓ１２１０で現像処理部６０２は、右画像に対して上述した現像処理を適用し、非可逆圧縮処理部６０３に出力する。
Ｓ１２１１で非可逆圧縮処理部６０３は、現像処理後の右画像に対して非可逆圧縮処理を適用して非可逆圧縮画像（右）を生成するとともに、非可逆圧縮画像（右）を縮小して右サムネイル画像を生成する。非可逆圧縮処理部６０３は右サムネイル画像をメモリインターフェイス６０４およびメモリコントローラ１１９を介してバッファメモリ１２２に保存する。

Ｓ１２２０およびＳ１２２１では、現像処理部６０２および非可逆圧縮処理部６０３により、左画像についてＳ１２１０およびＳ１２１１と同様の処理を実行し、左サムネイル画像を生成する。非可逆圧縮処理部６０３は、左サムネイル画像をメモリインターフェイス６０４およびメモリコントローラ１１９を介してバッファメモリ１２２に保存する。

Ｓ１１０、Ｓ１２１、Ｓ１３０、Ｓ１２１１、Ｓ１２２１の処理が完了すると、映像信号処理回路１１６は処理をＳ１４０へ進め、画像ファイルの生成を行う。映像信号処理回路１１６は、可逆圧縮画像、可逆圧縮画像（右）、表示用画像、サムネイル画像、右サムネイル画像、左サムネイル画像をバッファメモリ１２２から読み出して画像ファイルを生成する。

上述の通り、本実施形態で生成する画像ファイル１１００は、第１の実施形態で生成した画像ファイル８１０に加えて、以下の構成が追加されている。右サムネイル画像のＩＦＤである３ｒｄＩＦＤ部１１０１、左サムネイル画像のＩＦＤである４ｔｈＩＦＤ部１１０２、右画像のＩＦＤである５ｔｈＩＦＤ部１１０３、右サムネイル画像部１１０４、および左サムネイル画像部１１０５。

３ｒｄＩＦＤ部１１０１は、右サムネイル画像部１１０４に関連する撮影情報やパラメータなどのメタデータＩと右サムネイル画像部１１０４までのオフセット値Ｌを格納する。
４ｔｈＩＦＤ部１１０２は、左サムネイル画像部１１０５に関連する撮影情報やパラメータなどのメタデータＪと左サムネイル画像部１１０５までのオフセット値Ｍを格納する。
５ｔｈＩＦＤ部１１０３は、右画像部８１９に関連する撮影情報やパラメータなどのメタデータＤと右画像部８１９までのオフセット値Ｈを格納する。
これらオフセット値Ｈ、Ｌ、Ｍにより、画像ファイル内の各画像データの開始位置が特定できる。

右サムネイル画像部１１０４、左サムネイル画像部１１０５は、例えば主表示装置１２８に画像一覧画面などのインデックス表示において視差画像を表示する場合や、視差画像を用いて生成した画像を表示する際などに利用するための画像を格納する領域である。

本実施形態では、視差画像のサムネイル画像である右サムネイル画像および左サムネイル画像をさらに画像ファイルに含める。そのため、第１実施形態の効果に加え、視差画像を利用可能な装置において、視差画像を用いた表示や視差画像を用いて生成した画像の表示を容易に行うことを可能にする。つまり、ＩＦＤ部から右サムネイル画像部および左サムネイル画像部を特定し、右サムネイル画像および左サムネイル画像を読み出すだけで、直ちに視差画像処理を実行することができる。また、第１実施形態の画像ファイルに左画像を追加記録する場合よりもファイルサイズの増加量が大幅に少なく、現像処理を行う必要もないため、視差画像を用いる装置の負荷も小さくすることができる。

（変形例１）
なお、第２実施形態において、右サムネイル画像と左サムネイル画像の代わりに右表示用画像と左表示用画像を含めた画像ファイルを生成するように構成してもよい。この場合、画像ファイルの構造は図１４の様になる。図１２との比較から分かるように、右サムネイル画像部１１０４および左サムネイル画像部１１０５が右表示用画像部１３０４および左表示用画像部１３０５となる。また、３ｒｄＩＦＤ部１３０１、４ｔｈＩＦＤ部１３０２が右表示用画像部１３０４、左表示用画像部１３０５に対応した情報を有するようになる。

撮影時の処理は基本的に図１３に示したものと同じであってよく、Ｓ１２１１およびＳ１２２１で右サムネイル画像と左サムネイル画像を生成する前に生成する右表示用画像と左表示用画像を、Ｓ１４０で画像ファイルに格納するようにすればよい。

（変形例２）
なお、第２実施形態において、右サムネイル画像と左サムネイル画像の代わりではなく、右表示用画像と左表示用画像をさらに含めた画像ファイルを生成するように構成してもよい。この場合、画像ファイルの構造は図１５の様になる。図１２との比較から分かるように、右表示用画像部１３０４および左表示用画像部１３０５がサムネイル画像の後で、右画像の前に追加（挿入）されている。また、５ｔｈＩＦＤ部１４０１、６ｔｈＩＦＤ部１４０２が右表示用画像部１３０４、左表示用画像部１３０５に対応した情報を有するようになる。また、右画像部８１９に対応するＩＦＤ部は７ｔｈＩＦＤ部１４０３に位置が変更されている。

撮影時の処理は基本的に図１３に示したものと同じであってよく、Ｓ１２１１およびＳ１２２１で生成する右表示用画像、左表示用画像、右サムネイル画像、左サムネイル画像を、いずれもＳ１４０で画像ファイルに格納するようにすればよい。

変形例１，２は第２実施形態の基本形よりもファイルサイズが大きくなるが、より解像度が高い視差画像を用いた表示処理を容易に行うことを可能としたり、用途に応じた解像度の視差画像を用いることを可能にしたりできる。従って、画像ファイルを利用する装置の処理能力が低い場合に特に有用である。

（その他の実施形態）
上述の実施形態では視差画像を格納する画像ファイルの生成に本発明を適用した場合について説明した。しかしながら、本発明は、視差画像と通常画像のような、一部と全体、あるいは一方が他方から生成されるという関係を有する他の画像を格納する画像ファイルの生成にも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…撮影レンズ、１１２…撮像素子、１１６…映像信号処理回路、１２３…マイクロコンピュータ、２００…コンピュータ機器

Claims (9)

1. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、該複数の光電変換部ごとに１つの画素をなす撮像素子における、前記複数の光電変換部のうちのいずれかより出力される信号で構成される第１画像のデータを取得する第１取得手段と、
   前記複数の光電変換部より出力される信号を加算または合成して得られる第２画像のデータを取得する第２取得手段と、
   前記第２画像のサムネイル画像のデータを生成するサムネイル生成手段と、
   画像データを、前記サムネイル画像のデータ、前記第２画像のデータ、および前記第１画像のデータの順に格納した画像ファイルを生成するファイル生成手段と、を有し、
   前記ファイル生成手段は、前記サムネイル画像のデータと、前記第２画像のデータとを前記画像ファイル内で隣接する領域に格納し、前記第１取得手段が取得可能な第１画像のデータのうち、前記画像ファイルに格納する前記第１画像のデータと前記第２画像のデータとから生成可能な第１画像のデータを格納しないように前記画像ファイルを生成することを特徴とする画像処理装置。
2. 前記ファイル生成手段は、前記第２画像のデータを複数、前記画像ファイルに格納することを特徴とする請求項１に記載の画像処理装置。
3. 前記ファイル生成手段は、前記第１画像の現像処理前のデータを前記画像ファイルに格納することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記ファイル生成手段は、前記第２画像の現像処理前のデータと、現像処理後のデータとを前記画像ファイルに格納することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記ファイル生成手段は、前記第１画像の現像処理前のデータと、現像処理後のデータとを前記画像ファイルに格納することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記現像処理後のデータが、解像度の異なる複数のデータを含むことを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記第１画像のデータと、前記第２画像のデータとを生成可能な撮像素子と、
   請求項１から請求項６のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
8. 第１取得手段が、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、該複数の光電変換部ごとに１つの画素をなす撮像素子における、前記複数の光電変換部のうちのいずれかより出力される信号で構成される第１画像のデータを取得する第１取得工程と、
   第２取得手段が、前記複数の光電変換部より出力される信号を加算または合成して得られる第２画像のデータを取得する第２取得工程と、
   サムネイル生成手段が、前記第２画像のサムネイル画像のデータを生成するサムネイル生成工程と、
   ファイル生成手段が、画像データを、前記サムネイル画像のデータ、前記第２画像のデータ、および前記第１画像のデータの順に格納した画像ファイルを生成するファイル生成工程と、を有し、
   前記ファイル生成工程において前記ファイル生成手段は、前記サムネイル画像のデータと、前記第２画像のデータとを前記画像ファイル内で隣接する領域に格納し、前記第１取得手段が取得可能な第１画像のデータのうち、前記画像ファイルに格納する前記第１画像のデータと前記第２画像のデータとから生成可能な第１画像のデータを格納しないように前記画像ファイルを生成することを特徴とする画像処理装置の制御方法。
9. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images