JP6611588B2 - データ記録装置、撮像装置、データ記録方法およびプログラム - Google Patents

Description

本発明は、複数の合焦位置の画像データ、複数の視点の画像データを格納する技術に関する。特に多眼カメラやプレノプティックカメラなどの多視点撮像装置で撮像された画像データを格納する技術に関する。

近年、映画業界を中心に３Ｄコンテンツの利用が活発である。より高い臨場感を求めて多視点撮像技術、多視点表示技術の開発が進んでいる。

多視点撮像に関しては、多眼カメラ、プレノプティック（Ｐｌｅｎｏｐｔｉｃ）カメラ、カメラアレイシステムといった撮像装置が開発されている。多眼カメラやプレノプティックカメラといった多視点撮像装置では、光線の位置と角度情報を表すライトフィールドと呼ばれる情報を取得できる。ライトフィールドを用いることで、撮像後に合焦位置を調整したり、撮像後に視点位置を変更したり、被写体までの距離を取得したりすることができる。このような技術はコンピュテーショナル・フォトグラフィ（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ）と呼ばれる分野で盛んに研究されている。

多眼カメラやプレノプティックカメラで撮像して得られた、画像データや付加データ（例えば、距離データ）は、符号化され、適切な情報量に圧縮される。また、符号化された画像データや付加データは、所定のファイルフォーマット（以下、単にフォーマットと呼ぶ。）に従って保存される。

複数画像を記録するフォーマットとして、例えば、マルチピクチャフォーマット（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）がある。マルチピクチャフォーマットは、複数の静止画像を同一ファイルに記録するフォーマットであり、２００９年にＣＩＰＡにより制定されている。マルチピクチャフォーマットは、３Ｄデジタルカメラ（ステレオ）の撮像形式としても利用される。マルチピクチャフォーマットを利用した場合、複数の画像データを一つのファイルに格納できる。マルチピクチャフォーマットでは、各画像データはＪＰＥＧで符号化される。マルチピクチャフォーマットが対応する画像の種別には、パノラマ、立体視、マルチアングルなどがある。

その他にも、異なる視点で撮像した複数の画像データを格納する拡張画像ファイルと、当該複数の画像データから選択した代表画像データを加工した画像データを格納する基本ファイルとを関連付けて記録するフォーマットなどが提案されている（特許文献１参照）。

特許第４７５９７７５号

多眼カメラやプレノプティックカメラで撮像して得られた複数の画像データを、より多くの用途で利用できるようにするためには、それらの画像データを適切なフォーマットで記録することが重要である。それにより、それらの画像データを、視点位置の変更、リフォーカス、被写界深度の調整など様々な用途に利用することが可能となる。そこで、本発明は、撮像により得られた合焦位置や視点が異なる複数の画像データをより多くの用途で利用できるようにすることを目的とする。

本発明によるデータ記録装置は、第１の視点から第１の合焦位置で撮像して得られた画像データと、第１の視点から第１の合焦位置とは異なる第２の合焦位置で撮像して得られた画像データと、第１の視点とは異なる第２の視点から第１の合焦位置で撮像して得られた画像データと、を少なくとも含む画像データ群を入力する入力手段と、入力手段が入力した画像データ群の各画像データを関連付ける管理情報を生成し、生成した当該管理情報と画像データ群とを所定のフォーマットに従って記憶媒体に記録する記録手段とを備えたことを特徴とする。

本発明によれば、撮像により得られた合焦位置や視点が異なる複数の画像データをより多くの用途で利用することができる。

第１の実施例に係る撮像装置の概観を示す説明図である。 多視点画像データの例を示す説明図である。 複数の合焦位置及び複数の視点で撮像された画像データの関連を模式的に示す説明図である。 プレノプティック方式で多視点画像データが取得される様子を示す説明図である。 撮像装置の内部構成の一例を示すブロック図である。 距離データ及び領域分割データによって表される画像の一例を示す説明図である。 第１の実施例に係るフォーマットを説明するための説明図である。 第１の実施例に係る付加情報生成部、自由視点画像生成部、自由焦点画像生成部の各部が入出力するデータを模式的に示す説明図である。 付加情報生成部の内部構成の一例を示すブロック図である。 距離データ生成部の処理を示すフローチャートである。 視差の算出方法を説明するための説明図である。 領域分割データ生成部の処理を示すフローチャートである。 オブジェクトを囲む矩形領域が選択される様子を示す説明図である。 自由視点画像生成部の内部構成の一例を示すブロック図である。 分離情報生成部の処理を示すフローチャートである。 視点画像内の各画素が、境界画素、通常画素の２つに分類される様子を示す説明図である。 分離情報生成部の処理を説明するための説明図である。 自由視点画像生成合成部の処理を示すフローチャートである。 ３次元モデル生成およびレンダリングを説明するための説明図である。 第１の実施例に係る自由焦点画像生成部の処理を示すフローチャートである。 自由焦点画像データの生成処理を説明するための説明図である。 自由視点画像合成部の処理を説明する図である。 第２の実施例に係る自由焦点画像生成部が入出力するデータを模式的に示す説明図である。 第２の実施例に係る自由焦点画像生成部の処理を示すフローチャートである。 第２の実施例に係るシフト加算を説明するための説明図である。

以下、図面を参照して、本発明を実施する形態について説明する。なお、以下に示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
図１は、第１の実施例に係る撮像装置の概観を示す説明図である。図１には、複数の撮像部を備える多眼方式による撮像装置と、プレノプティック方式による撮像装置とを正面から見た場合の概観の一例が示されている。

まず、図１（ａ）に示す、複数の撮像部を備える多眼方式による撮像装置について説明する。

図１（ａ）に示すように、撮像装置１０１は、筐体上側（図１（ａ）における上側）に撮影ボタン１０２を備える。また、撮像装置１０１は、筐体正面（図１（ａ）における手前側）に、画像データを取得する４個の撮像部１０３〜１０６を備える。４個の撮像部は、すべて同一の焦点距離を有し、正方格子状に配置されている。ユーザが撮影ボタン１０２を押下すると撮像処理が開始される。

まず、第１の合焦位置が設定され、撮像部１０３〜１０６が被写体の光情報をセンサ（撮像素子）で受光する。受光した信号がＡ／Ｄ変換されて、複数の画像データが同時に取得される。このような多眼方式により、同一の被写体を複数の視点位置から撮像した画像データ群（多視点画像データ）を得ることができる。

図２は、多視点画像データの例を示す説明図である。図２（ａ）には、撮像部１０４から撮像した左上視点（視点１）の画像が示されている。図２（ｂ）には、撮像部１０３から撮像した右上視点（視点２）の画像が示されている。図２（ｃ）には、撮像部１０６から撮像した左下視点（視点３）の画像が示されている。図２（ｄ）には、撮像部１０５から撮像した

右下視点（視点４）の画像が示されている。図２（ａ）〜（ｄ）を比べると、撮像部の配置により、各画像に写っているオブジェクトの位置が異なっていることが分かる。ここでは、オブジェクト６０１に焦点が合っているとする。

次いで、第１の合焦位置とは異なる第２の合焦位置が設定され、再度、多視点画像データが取得される。このときも同様に、撮像部１０３〜１０６が、被写体の光情報をセンサで受光する。受光した信号がＡ／Ｄ変換されて、複数の画像データが同時に取得される。ここでは、オブジェクト６０２に焦点が合っているとする。

このように、１回の撮像指示で、合焦位置が異なる多視点画像データが取得される。

図３を用いて複数の焦点位置、視点で撮像された画像データについて説明する。図３は、複数の合焦位置及び複数の視点で撮像された画像データの関連を模式的に示す説明図である。横軸は視点を表す。したがって、図３に示す例は、多視点画像データ７０９の各撮像画像データ（撮像画像データ７０１，７０２，７０３，７０４）の視点が互いに異なることを示す。また、多視点画像データ７１０の各撮像画像データ（撮像画像データ７０５，７０６，７０７，７０８）の視点が互いに異なることを示す。また、撮像画像データ７０１，７０５が同一の視点で撮像された画像データであることを示す。また、撮像画像データ７０２，７０６が同一の視点で撮像された画像データであることを示す。また、撮像画像データ７０３，７０７が同一の視点で撮像された画像データあることを示す。また、撮像画像データ７０４，７０８が同一の視点で撮像された画像データであることを示す。また、上下方向（図３における上下方向）に並べて示される多視点画像データ７０９，７１０は、互いの合焦位置が異なることを表している。図２に示す例に対応させると、多視点画像データ７０９は、オブジェクト６０１に焦点が合った多視点画像データ（視点１，２，３，４の撮像画像データ）に相当する。また、多視点画像データ７１０は、オブジェクト６０２に焦点が合った多視点画像データ（視点１，２，３，４の撮像画像データ）に相当する。

なお、ここでは撮像部の数を４個としたが撮像部の数は４個に限定されない。撮像装置が複数の撮像部を備える限りにおいて本発明は適用可能である。また、ここでは４個の撮像部が正方格子状に配置される例について説明したが、撮像部の配置は任意である。例えば、各撮像部が直線状に配置されていてもよいし、まったくランダムに配置されていてもよい。以下、撮像画像データ７０１〜７０８を単に画像データ７０１〜７０８と表現する場合がある。

次に、図１（ｂ）に示す、プレノプティック方式による撮像装置について説明する。

図１（ｂ）に示すように、撮像装置１０１は、筺体上側（図１（ｂ）における上側）に撮影ボタン１０２を備える。また、撮像装置１０１は、筐体正面（図１（ｂ）における手前側）に、画像データを取得する撮像部２０１を備える。ユーザが撮影ボタン１０２を押下すると撮像処理が開始される。

まず、第１の合焦位置が設定され、撮像部２０１が被写体の光情報をセンサで受光する。

図４（ａ）には、プレノプティック方式の撮像部２０１の内部構成が示されている。プレノプティック方式では、メインレンズ４０３とセンサ面４０５との間にマイクロレンズアレイ４０４が配置される。メインレンズの焦点面４０１上に配置されたオブジェクト４０２から発せられる光は、メインレンズ４０３によって集光され、マイクロレンズアレイ４０４において分離され、センサ面４０５で受光される。センサ面４０５によって受光された信号がＡ／Ｄ変換されることにより、プレノプティック方式の画像データが取得される。図４（ａ）の右下には、センサ面４０５の一部であるセンサ４０６を拡大した図が示されている。センサ４０６は、２×２（縦×横）画素のセンサであって、光を円状に受光する。

図４（ｂ）には、プレノプティック方式の撮像部２０１で取得される画像データの一例が示されている。図４（ｂ）において、格子状に区分されている領域が画素である。例えば、画素５０１，５０２，５０３，５０４，５０６，５０７，５０８がある。画素５０１，５０２，５０３，５０４は、センサ４０６によって円状に受光された光を角度分解した画素である。図４（ｂ）に示す円５０５は、センサ４０６によって円状に受光された光を表す。図４（ｂ）に示す例では、円状に受光された光が２×２（縦×横）画素で分離されている。

プレノプティック方式の画像データから多視点画像データを生成する方法を説明する。図４（ｂ）に示す各円に対して、画素５０１、５０６、５０７、５０８と順に、左上の画素（図４（ｂ）において斜線で示される画素）を選択して並べることにより、図４（ｃ）に示すような左上視点の画像データが生成される。同様の処理を右上の画素、左下の画素、右下の画素について行うことにより、右上視点、左下視点、右下視点の画像データが生成される。このようにして、プレノプティック方式の画像データから、図２に示されるような多視点画像データが生成される。ここでは、オブジェクト６０１に焦点が合っているとする。なお、画像のデモザイク処理については本発明の主眼ではないため説明を省略する。

次に、第１の合焦位置とは異なる第２の合焦位置が設定され、多視点画像データが取得される。このときも同様に、メインレンズの焦点面（焦点面４０１とは別の焦点面）上に配置されたオブジェクトから発せられる光が、メインレンズ４０３によって集光され、マイクロレンズアレイ４０４において光が分離され、センサ面４０５で受光される。センサ面４０５で受光された信号がＡ／Ｄ変換されることにより、プレノプティック方式の画像データが取得される。その後、プレノプティック方式の画像データから多視点画像データが生成される。ここでは、オブジェクト６０２に焦点が合っているとする。このように、１回の撮像指示で、合焦位置が異なる多視点画像データが取得される。

なお、ここではセンサ４０６の分割数を２×２画素としたが、センサ４０６は２×２画素に限定されない。すなわち、マイクロレンズを介してセンサ面で光を分割する限りにおいて本発明は適用可能である。

上記のとおり、本実施例の撮像装置１０１は、１回の撮像指示で、多眼方式、プレノプティック方式共に図３で示されるような合焦位置が異なる多視点画像データを取得することができる。なお、上記の説明では、１回の撮像指示で２つの多視点画像データを取得する撮像方式を示したが、本発明は、１回の撮像指示で３つ以上の多視点画像データを取得する撮像方式にも適用可能である。また、以下では、異なる視点位置、異なる合焦位置の画像データの扱いについて説明するが、画像データの扱い方は多眼方式、プレノプティック方式共に同様であり、本発明は、どちらの撮像方式にも適用可能である。

図５は、撮像装置１０１の内部構成の一例を示すブロック図である。

撮像装置１０１は、ライトフィールド撮像部３０１と、距離データ取得部３０２と、バス３０３と、中央処理装置（ＣＰＵ）３０４と、ＲＡＭ３０５と、ＲＯＭ３０６と、操作部３０７と、表示制御部３０８と、表示部３０９と、ライトフィールド撮像制御部３１０と、距離データ取得制御部３１１と、外部メモリ制御部３１２と、符号化部３１３と、自由焦点画像生成部３１４と、自由視点画像生成部３１５と、付加情報生成部３１６とを含む。

ライトフィールド撮像部３０１は、合焦位置が互いに異なる複数の多視点画像データを撮像する。撮像装置１０１が多眼方式である場合は、ライトフィールド撮像部３０１は、図１（ａ）に示す撮像部１０３〜１０６に相当する。撮像装置１０１がプレノプティック方式である場合は、ライトフィールド撮像部３０１は、図１（ｂ）に示す撮像部２０１に相当する。撮像装置１０１がプレノプティック方式である場合、ライトフィールド撮像部３０１は、図４（ｂ）に示されるプレノプティック方式の画像データから、図４（ｃ）に示される多視点画像データを生成する。なお、ライトフィールド撮像部３０１において、視点が同一で合焦位置が異なる画像データ群を用いてノイズ除去を行うなど、画像処理による高画質化を行っても構わない。

距離データ取得部３０２は、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式の距離センサなど、画像センサ以外のセンサを用いて距離データを取得する。なお、距離データの取得方法は、距離データが取得できるのであれば、ＴＯＦ方式である必要はなく、レーザパターンを照射する方式など他の方式であっても構わない。また、付加情報生成部３１６が、画像センサで取得した画像データから距離データを生成しても構わない。そのような形態によれば、距離データ取得部３０２を備える必要がなくなる。

バス３０３は、各種データの転送経路である。例えば、バス３０３を介して、ライトフィールド撮像部３０１で撮像された画像データ、距離データ取得部３０２で取得された距離データが、所定の処理部に送られる。

ＣＰＵ３０４は、各部を統括する。

ＲＡＭ３０５は、ＣＰＵ３０４の主メモリ、ワークエリア等として機能する。

ＲＯＭ３０６は、ＣＰＵ３０４で実行される制御プログラム等を格納する。

操作部３０７は、ボタンやモードダイヤルなどである。操作部３０７を介して、ユーザ指示が入力される。

表示部３０９は、撮影画像や文字の表示を行う。表示部３０９は、例えば液晶ディスプレイである。なお、表示部３０９は、タッチスクリーン機能を有していてもよい。その場合、操作部３０７の代わりに、タッチスクリーンを介して、ユーザ指示を入力するようにしてもよい。

表示制御部３０８は、表示部３０９に表示される画像や文字の表示制御を行う。

ライトフィールド撮像制御部３１０は、ＣＰＵ３０４からの指示に基づいた撮像系の制御を行う。例えば、ライトフィールド撮像制御部３１０は、ＣＰＵ３０４からの指示に基づいて、フォーカスを合わせたり、シャッターを開閉したり、絞りを調節したり、連続撮像したりする。これにより、ライトフィールド撮像部３０１において、合焦位置が互いに異なる複数の多視点画像データが取得される。

距離データ取得制御部３１１は、ＣＰＵ３０４からの指示に基づいて、距離データ取得部３０２を制御する。本実施例では、距離データ取得制御部３１１は、距離データ取得部３０２における距離データの取得の開始及び終了を制御する。

外部メモリ制御部３１２は、パーソナルコンピュータ（ＰＣ）やその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）と、バス３０３とを接続するためのインターフェースである。

符号化部３１３は、デジタルデータを符号化する。また、符号化部３１３は、符号化されたデジタルデータ（以下、符号化データと呼ぶ。）を所定のフォーマットに格納する。さらに、符号化部３１３は、後述する管理情報を生成し、符号化データとともに上記所定のフォーマットに格納する。

自由焦点画像生成部３１４は、ライトフィールド撮像部３０１で撮像された画像データとは異なる合焦位置の画像データを生成する。

自由視点画像生成部３１５は、ライトフィールド撮像部３０１で撮像された画像データとは異なる視点位置の画像データを生成する。

付加情報生成部３１６は、画像の構造情報を抽出する。例えば、付加情報生成部３１６は、多視点画像データから距離データを生成する。また例えば、付加情報生成部３１６は、多視点画像データと距離データとに基づいてオブジェクト単位に領域分割を行って領域分割データを生成する。

符号化部３１３、自由焦点画像生成部３１４、自由視点画像生成部３１５及び付加情報生成部３１６の詳細については後述する。なお、撮像装置１０１は、上記以外の構成要素を備えていてもよい。

（符号化部）
符号化部３１３について説明する。符号化部３１３は、以下のデジタルデータを入力可能である。
・ライトフィールド撮像部３０１で撮像される合焦位置が異なる多視点画像データ
・距離データ取得部３０２で取得される距離データ
・自由焦点画像生成部３１４で生成される、撮像画像とは異なる合焦位置の画像データ
・自由視点画像生成部３１５で生成される、撮像画像とは異なる視点位置の画像データ
・付加情報生成部３１６で生成される距離データ、領域分割データ
・後述する、カメラ外部パラメータやカメラ内部パラメータ

符号化部３１３に入力されたデジタルデータは符号化され、所定のフォーマットに格納される。なお、「所定のフォーマットに格納する」などの表現を用いるが、具体的には、所定のフォーマットに従って記憶媒体などに格納することである。フォーマットに格納されるデジタルデータは、追加及び削除可能である。ライトフィールド撮像部３０１で撮像される合焦位置が異なる多視点画像データ、及び、距離データ取得部３０２で取得される距離データは、バス３０３を介して、符号化部３１３に入力される。また、自由焦点画像生成部３１４で生成される画像データ、自由視点画像生成部３１５で生成される画像データ、並びに、付加情報生成部３１６で生成される距離データ及び領域分割データは、バス３０３を介して、符号化部３１３に入力される。カメラ外部パラメータやカメラ内部パラメータは、ライトフィールド撮像制御部３１０からバス３０３を介して、符号化部３１３に入力される。

次に、多視点画像データ、画像データ、距離データ及び領域分割データの符号化方法について説明する。なお、多視点画像データは、合焦位置が同一であり、視点位置が異なる画像データの集まりである。

画像データについては、符号化部３１３は、ＪＰＥＧやＰＮＧなど単視点画像の符号化方式で符号化する。

多視点画像データについては、符号化部３１３は、各画像データをＪＰＥＧやＰＮＧなど単視点画像の符号化方式で符号化してもよいし、または、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）など多視点画像の符号化方式で符号化してもよい。

距離データについては、符号化部３１３は、距離データを画像データとして表現して、ＪＰＥＧやＰＮＧなど単視点画像の符号化方式で符号化する。例えば、距離データは８ビットのグレイ画像として表現される。グレイ画像における各画素の画素値は、距離値と一対一で対応する。距離値から８ビットの画素値への変換は、距離の最小値と最大値を８ビットで均等に分割してもよいし、手前の距離の分解能が上がるように非線形に分割してもよい。または、画素値と距離値とをルックアップテーブルで対応させる方法など、他の方法を用いてもよい。なお、距離データの表現は８ビットのグレイ画像に限定されず、各画素の距離値をバイナリデータとして保持する方法など、他の表現方法を用いても構わない。図６は、距離データ及び領域分割データによって表される画像の一例を示す説明図である。図６（ａ）には、距離データによって表される画像の一例が示されている。オブジェクト６０１とオブジェクト６０２には異なる画素値が割り当てられる。またオブジェクト６０１内でも、撮像部との距離が異なる部分には異なる画素値が割り当てられる。

領域分割データについては、符号化部３１３は、領域分割データを画像データとして表現して、ＪＰＥＧやＰＮＧなど単視点画像の符号化方式で符号化する。領域分割データも距離データと同様に８ビットのグレイ画像として表現される。グレイ画像における各画素の画素値は、領域番号に対応する。例えば、黒色（画素値：０）の場合に領域番号が０であり、白色（画素値：２５５）の場合に領域番号が２５５となる。もちろん領域番号と画素値が対応するのであれば、領域分割データをＲＧＢのカラー画像で表現する方法や、領域番号をバイナリデータとして保持する方法など、他の表現方法を用いても構わない。図６（ｂ）には、領域分割データによって表される画像の一例が示されている。図６（ｂ）では、オブジェクト６０１とオブジェクト６０２には異なる画素値が割り当てられる。またオブジェクト６０１内の画素値は、同一オブジェクトとなるので同じ画素値となる。

次に、符号化データを格納するフォーマットについて説明する。

フォーマットには、前述した符号化データと、各データを関連付ける管理情報とが格納される。図７（ａ）には、管理情報の一例が示されている。管理情報は、符号化データの関連とポインタとが記述された情報である。本実施例では、図７（ａ）に示すように、管理情報は、階層構造で記述される。また図７（ａ）に示すように、管理情報は、全視点のデータを統括する多視点データ１００１と、各視点のデータを統括する視点データ１００２（１００２−１〜１００２−Ｎ）と、各焦点のデータを統括する焦点データ１００３（１００３−１〜１００３−Ｍ）とを含む。図７（ａ）には、視点数がＮ、焦点数がＭであるときの、管理情報が示されている。

ここで、多視点データ１００１、視点データ１００２及び焦点データ１００３に格納される情報について説明する。

多視点データ１００１には、視点数、代表視点の番号など、全視点のデータを統括する情報が記述される。視点数は、図１（ａ）に示すような多眼方式による撮像装置の場合、撮像部の個数に相当する。代表視点とは、画像のサムネイルなどを表示するときに優先する視点である。代表視点の番号とは、代表視点を識別可能な番号である。他にも、距離データの表現をルックアップテーブルで行う場合には、ルックアップテーブルの情報が記述される。また、画像サイズが全視点で同一の場合には、画像サイズの情報が記述される。なお、全視点のデータを統括する情報であれば、記述する内容はこれに限定されるものではない。

視点データ１００２には、カメラ外部パラメータ、焦点画像の枚数、代表焦点画像の番号、距離データ参照情報、距離データの表現方法、距離の最小値と最大値、領域分割データ参照情報などが記述される。カメラ外部パラメータは、視点（具体的には、視点位置や視点方向）などを示す情報である。本実施例では、視点位置の座標がカメラ外部パラメータとして視点データ１００２に記述される。代表焦点画像とは、画像のサムネイルなどを表示するときに優先する焦点に対応する画像である。代表焦点画像の番号とは、代表焦点画像を識別可能な番号である。距離データ参照情報は、距離データにアクセスするための情報（例えば、距離データへのポインタ）である。領域分割データ参照情報は、領域分割データにアクセスするための情報（例えば、領域分割データへのポインタ）である。なお、視点単位に利用される情報であれば、記述する内容はこれに限定されるものではない。

焦点データ１００３には、カメラ内部パラメータなどが記述される。カメラ内部パラメータとは、焦点距離、絞り値、合焦した時のＡＦ（オートフォーカス）情報、レンズの歪みなどを示すものである。なお、画像単位に利用される情報であれば、記述する内容はこれに限定されるものではない。さらに、焦点データ１００３には、画像データ参照情報が記述される。画像データ参照情報は、画像データにアクセスするための情報（例えば、画像データへのポインタ）である。これにより、画像データ参照情報が、当該画像データの視点を示す視点情報（例えば、視点データ１００２に記述された視点位置の座標）と、当該画像データの合焦位置を示す焦点情報（例えば、焦点データ１００３に記述されたＡＦ情報）とに対応付けされる。

上記の多視点データ１００１、視点データ１００２、焦点データ１００３を管理情報として記述することで、多視点画像データ、距離データ、領域分割データを関連付けることができる。また管理情報をＸＭＬ形式で記述することで、標準のＸＭＬパーサで読み込むことも可能となる。なお、管理情報の構造は、図７（ａ）に示される構造に限定されない。画像データにアクセスするための画像データ参照情報が、当該画像データの視点を示す視点情報と、当該画像データの合焦位置を示す焦点情報とに対応付けされていれば、管理情報は他の構造を有していてもよい。

管理情報、多視点画像データ、距離データ、及び、領域分割データを格納するファイルフォーマットについて、２つの形式を以下に示す。図７（ｂ）（ｃ）には、フォーマットの一例が示されている。

一つ目は、図７（ｂ）に示すように、フォルダ１１０１の中に管理情報を記述した管理ファイル１１０２と、各データを保存するフォーマットである。各データとは、画像データ７０１〜７０８、距離データ８０１、領域分割データ８０２、自由視点画像生成部３１５によって生成される画像データ（以下、自由視点画像データと呼ぶ。）８０６、自由焦点画像生成部３１４によって生成される画像データ（以下、自由焦点画像データと呼ぶ。）８０７である。

二つ目の形式は、図７（ｃ）に示すように、ファイル１１０３のヘッダ１１０４に管理情報を記述し、ファイル１１０３に各データを保存するフォーマットである。各データとは、画像データ７０１〜７０８、距離データ８０１、領域分割データ８０２、自由視点画像データ８０６、自由焦点画像データ８０７である。

このようにして、多視点画像データ、画像データ、距離データ及び領域分割データが符号化され、各データの関連を示す管理情報と共に、上記フォーマットに格納される。以下、上記フォーマットを「多次元情報フォーマット」と呼ぶ。

符号化部３１３は、自身が備える不図示の記憶部（記憶媒体）に多次元情報フォーマットを保持する。なお、符号化部３１３は、外部メモリ制御部３１２を介して外部メモリ（ＳＤカード等の記憶媒体）に、多次元情報フォーマットを格納してもよい。

（付加情報生成部）
付加情報生成部３１６について説明する。付加情報生成部３１６は、符号化部３１３からバス３０３を介して、多次元情報フォーマットを入力する。ここで、多次元情報フォーマットが外部メモリに格納されている場合には、付加情報生成部３１６は、外部メモリ制御部３１２を介して当該外部メモリから多次元情報フォーマットを読み出せばよい。

図８（ａ）には、付加情報生成部３１６に入力されるデータと、付加情報生成部３１６から出力されるデータとが模式的に示されている。付加情報生成部３１６は、入力された多次元情報フォーマットから、多視点画像データ及び距離データを取得する。ここでは、付加情報生成部３１６は、図８（ａ）に示す、多視点画像データ７０９（画像データ７０１，７０２，７０３，７０４）、及び、付加情報生成を行う視点の距離データ８０１を取得する。なお、距離データが上記フォーマットに格納されていない場合には、多視点画像データ７０９（画像データ７０１，７０２，７０３，７０４）のみが取得される。付加情報生成を行う視点は、操作部３０７や表示部３０９を介して、ユーザ等により指定される。ここでは、視点１が指定されたものとする。

多次元情報フォーマットに距離データが格納されている場合には、付加情報生成部３１６は、領域分割データ８０２を生成して出力する。多次元情報フォーマットに距離データが格納されていない場合には、付加情報生成部３１６は、距離データ８０１及び領域分割データ８０２を生成して出力する。なお、領域分割データは、後述する第２の実施例のリフォーカス処理において利用されるデータである。したがって、本実施例においては、付加情報生成部３１６は、距離データ８０１のみを生成して出力するようにしても構わない。出力されたデジタルデータは、バス３０３を介して符号化部３１３において多次元情報フォーマットに格納される。このとき、符号化部３１３は、多次元情報フォーマット内の管理情報の、視点１に対応する視点データに、距離データ８０１に関する情報（距離データ８０１のポインタなど）を追記する。なお、多次元情報フォーマットが外部メモリに格納されている場合には、付加情報生成部３１６が、生成した付加情報で、外部メモリに格納された多次元情報フォーマットを更新すればよい。

図９は、付加情報生成部３１６の内部構成の一例を示すブロック図である。付加情報生成部３１６は、距離データ生成部１２０１、領域分割データ生成部１２０２を含む。本実施例では、付加情報生成部３１６を撮像装置１０１内の一構成要素として説明しているが、付加情報生成部３１６の機能はＰＣ等の外部装置で実現されてもよい。すなわち、本実施例における付加情報生成部３１６は、撮像装置の一機能としても、または独立した画像処理装置としても実現し得るものである。

以下、付加情報生成部３１６の各構成要素について説明する。

付加情報生成部３１６に多視点画像データのみが入力された場合には、距離データ生成部１２０１は、多視点画像データから距離データを生成し、生成した距離データを領域分割データ生成部１２０２とバス３０３とに出力する。領域分割データ生成部１２０２は、多視点画像データと、距離データ生成部１２０１から入力した距離データとから、領域分割データを生成し、バス３０３に出力する。なお、付加情報生成部３１６が距離データのみを出力データとして出力する場合は、領域分割データ生成部１２０２の処理は行われない。

付加情報生成部３１６に多視点画像データと、距離データ取得部３０２で取得された距離データとが入力された場合には、領域分割データ生成部１２０２は、入力された両データから領域分割データを生成し、バス３０３に出力する。このとき、距離データ生成部１２０１の処理は行われない。

距離データ生成部１２０１について説明する。図１０は、距離データ生成部１２０１の処理を示すフローチャートである。

ステップＳ１３０１において、距離データ生成部１２０１は、多視点画像データを入力する。ここでは、多視点画像データが、図２に示す４視点の画像に対応する画像データである場合を例にする。

ステップＳ１３０２において、距離データ生成部１２０１は、距離データを生成する視点となる基準画像と、距離データを生成するために参照する参照画像とを選択する。ここでは図２（ａ）に示される視点１の画像を基準画像とし、図２（ｂ）に示される視点２の画像を参照画像とする。参照画像は複数視点の画像でも構わないが、本実施例では説明を分かり易くするために参照画像を１視点の画像とする。

ステップＳ１３０３において、距離データ生成部１２０１は、基準画像を基準として参照画像との視差を計算する。これを基準視差と呼ぶ。図１１は、視差の算出方法を説明するための説明図である。

まず、図１１（ａ）、（ｂ）を用いて基準視差の算出方法を説明する。

図１１（ａ）は基準画像（視点１の画像）であり、図１１（ｂ）は参照画像（視点２の画像）である。基準画像と参照画像は視点位置が異なるため、撮像されるオブジェクトの位置が異なる。撮像されたオブジェクトのずれ量（視差）は、撮像装置１０１からオブジェクトまでの距離に依存するため、視差から距離データを算出することができる。

基準画像におけるオブジェクト６０１の右目のＸ座標（図１１における水平方向の座標）１４０１を、参照画像において同一座標で表すとＸ座標１４０２となる。Ｘ座標１４０２から参照画像におけるオブジェクト６０１の右目のＸ座標を探索して対応点を求める。Ｘ座標１４０２と対応点のＸ座標との差が視差１４０３となる。基準画像における全ての画素について対応点探索を行い、基準視差を算出する。

対応点探索には様々な方法があるが、いずれの方法を用いても構わない。例えば、領域単位に探索してコスト値（色差）が最小となる視差を対応点とする方法がある。また例えば、画素単位に探索してコスト値（色差）を算出し、算出したコスト値に対してエッジ保持型のフィルタで平滑化を行い、コスト値が最小となる視差を対応点とする方法がある。

ステップＳ１３０４において、距離データ生成部１２０１は、参照画像を基準として基準画像との視差を計算する。これを参照視差と呼ぶ。

次に、図１１（ｃ）、（ｄ）を用いて参照視差の算出方法を説明する。

図１１（ｃ）は基準画像（視点１の画像）であり、図１１（ｄ）は参照画像（視点２の画像）である。参照画像におけるオブジェクト６０１の右目のＸ座標１４０５を、基準画像において同一座標で表すとＸ座標１４０４となる。Ｘ座標１４０４から基準画像におけるオブジェクト６０１の右目のＸ座標を探索して対応点を求める。Ｘ座標１４０４と対応点のＸ座標との差が視差１４０６となる。参照画像における全ての画素について対応点探索を行い、参照視差を算出する。

ステップＳ１３０５において、距離データ生成部１２０１は、ステップＳ１３０３で算出した基準視差と、ステップＳ１３０４で算出した参照視差との対応領域の算出を行う。基準視差と参照視差を画素単位に比較し、基準視差と参照視差との差が閾値以下のとき、比較対象の画素を対応領域とし、閾値より大きいとき、比較対象の画素を非対応領域として分類する。つまり対応領域は基準視差と参照視差の一致度が高い領域であり、視差の信頼性が高い。また非対応領域は基準視差と参照視差の一致度が低い領域であり、視差の信頼性が低いと言える。

ステップＳ１３０６において、距離データ生成部１２０１は、ステップＳ１３０４で分類した非対応領域の視差を補正する。前述した通り、非対応領域は視差の信頼性が低いため、信頼性の高い周囲の対応領域の基準視差から補完して、非対応領域の基準視差を決定する。

ステップＳ１３０７において、距離データ生成部１２０１は、基準視差を距離データに変換して出力する。

なお、距離データ生成部１２０１における距離データの生成方法は、上述した手法に限定されない。距離データの生成処理には、多視点画像データから距離データを生成する手法であれば、複数視点の参照画像を用いる手法など、他の手法を用いても構わない。また、ステップＳ１３０１において、距離データ生成部１２０１が、合焦位置が異なる複数の多視点画像データを入力した場合には、各多視点画像データのそれぞれについて生成した距離データを出力すればよい。そして、符号化部３１３が、各距離データを重み付き平均等により統合してから、多次元情報フォーマットに格納すればよい。そのような形態によれば、より正確な距離データを取得することが可能となる。なお、距離データ生成部２０１が各距離データを統合してから出力するようにしてもよい。

次に、領域分割データ生成部１２０２について説明する。図１２は、領域分割データ生成部１２０２の処理を示すフローチャートである。

ステップＳ１５０１において、領域分割データ生成部１２０２は、領域分割を行う視点の画像データと距離データとを入力する。ここでは、図２（ａ）に示す視点１の画像に対応する画像データと、図６（ａ）に示す視点１の距離データを入力する。

ステップＳ１５０２において、領域分割データ生成部１２０２は、操作部３０７を介して入力されるユーザ操作に基づいて、切り出すオブジェクトを囲む矩形領域を選択する。図１３は、オブジェクトを囲む矩形領域が選択される様子を示す説明図である。なお、ユーザ操作を伴わず、人体検出などの認識処理を用いて切り出すオブジェクトを囲む矩形領域を指定しても構わない。図１３（ａ）に示す例では、オブジェクト６０１を囲む矩形領域１６０１が選択されている。

ステップＳ１５０３において、領域分割データ生成部１２０２は、選択した矩形領域からオブジェクトを切り出す処理を行う。オブジェクトを囲む矩形領域内の距離データをクラスタリング処理することで、画像データにおける矩形領域内の主オブジェクトを抽出する。なお、距離データをコスト関数のパラメータとして追加し、グラフカットに代表される大域最適化処理により、画像データにおける矩形領域内の主オブジェクトを抽出しても構わない。

ステップＳ１５０４において、領域分割データ生成部１２０２は、切り出されたオブジェクトに対して領域番号を設定する。本実施例では、領域番号を８ビット（０〜２５５）の数値で表す。領域番号には、８ビット（０〜２５５）で表現可能な番号であれば、任意の番号を設定しても構わない。これにより、例えば、図６（ｂ）に示す例では、オブジェクト６０１に領域番号１が割り当てられる。

ステップＳ１５０５において、領域分割データ生成部１２０２は、領域分割処理を終了するか確認する。

切り出すオブジェクトが残っていれば（ステップＳ１５０５のＮＯ）、領域分割データ生成部１２０２は、ステップＳ１５０２の処理に戻る。領域分割データ生成部１２０２は、ステップＳ１５０２の処理に戻ると、図１３（ｂ）に示すように、オブジェクト６０２を囲む矩形領域１６０２を選択し、ステップＳ１５０３、Ｓ１５０４の処理を行う。これにより、例えば図６（ｂ）に示す例では、オブジェクト６０２に領域番号２が割り当てられる。

切り出すオブジェクトが残っていなければ（ステップＳ１５０５のＹＥＳ）、領域分割データ生成部１２０２は、領域分割を終了する。

ステップＳ１５０６において、領域分割データ生成部１２０２は、領域分割データを出力する。

なお、領域分割データ生成部１２０２における領域分割データの生成処理は、上述した手法に限定されない。領域分割データの生成処理には、画像データと距離データとから領域分割データを生成する手法であれば、矩形領域ではなくオブジェクトの一部を選択する手法など、他の手法を用いても構わない。

（自由視点画像生成部）
自由視点画像生成部３１５について説明する。自由視点画像生成部３１５は、符号化部３１３からバス３０３を介して、多次元情報フォーマットを入力する。ここで、多次元情報フォーマットが外部メモリに格納されている場合には、自由視点画像生成部３１５は、外部メモリ制御部３１２を介して当該外部メモリから多次元情報フォーマットを読み出せばよい。自由視点画像生成部３１５に入力されるデータ、及び、自由視点画像生成部３１５から出力されるデータについて図８（ｂ）を用いて説明する。

自由視点画像生成部３１５は、入力された多次元情報フォーマットから、多視点画像データ及び各視点に対応する距離データを取得する。ここでは、自由視点画像生成部３１５は、図８（ｂ）に示す、多視点画像データ７０９（画像データ７０１，７０２，７０３，７０４）、及び、各視点に対応する距離データ８０１，８０３，８０４，８０５を取得する。

自由視点画像生成部３１５は、入力された多視点画像データとは異なる視点の画像データ（自由視点画像データ）８０６を生成して出力する。出力されたデジタルデータは、バス３０３を介して符号化部３１３において多次元情報フォーマットに格納される。このとき、符号化部３１３は、多次元情報フォーマット内の管理情報に、自由視点画像データ８０６に対応する視点データを追加し、さらに当該視点データの配下に自由視点画像データ８０６に対応する焦点データを追加する。なお、多次元情報フォーマットが外部メモリに格納されている場合には、自由視点画像生成部３１５が、生成した自由視点画像データ８０６で、外部メモリに格納された多次元情報フォーマットを更新すればよい。

図１４は、自由視点画像生成部３１５の内部構成の一例を示すブロック図である。自由視点画像生成部３１５は、分離情報生成部１７０１、自由視点画像合成部１７０２を含む。本実施例では、自由視点画像生成部３１５を、撮像装置１０１内の一構成要素として説明しているが、自由視点画像生成部３１５の機能はＰＣ等の外部装置で実現されてもよい。すなわち、本実施例における自由視点画像生成部３１５は、撮像装置の一機能としても、または独立した画像処理装置としても実現し得るものである。

以下、自由視点画像生成部３１５の各構成要素について説明する。

多視点画像データ、及び、各視点に対応する距離データが自由視点画像生成部３１５に入力されると、まず、両データが分離情報生成部１７０１に送られる。以下、各視点の画像データによって表される画像を視点画像と呼ぶ。

分離情報生成部１７０１は、入力された多視点画像データに対応する各視点画像を、２つの層（被写体の境界である境界層、被写体の境界でない主層）に分離するための基礎となる情報（分離情報）を生成する。具体的には、分離情報生成部１７０１は、各視点画像内の各画素を、被写体の境界（以下、「オブジェクト境界」と呼ぶ。）に隣接する境界画素、及び、境界画素以外の通常画素の２種類に分類する。そして、分離情報生成部１７０１は、各画素がいずれの種類に該当するかを特定可能な情報を生成する。

図１５は、分離情報生成部１７０１の処理を示すフローチャートである。

ステップＳ１９０１において、分離情報生成部１７０１は、多視点画像データ、及び、各視点に対応する距離データを入力する。

ステップＳ１９０２において、分離情報生成部１７０１は、視点画像のオブジェクト境界を抽出する。本実施例では、対象画素の距離データと近隣画素の距離データとの差分（以下、「距離データの差分」と呼ぶ。）が閾値以上の箇所をオブジェクトの境界として特定する。具体的には、以下のとおりである。

まず、分離情報生成部１７０１は、視点画像を縦方向に走査し、距離データの差分を閾値と比較して、閾値以上となる画素を特定する。次に、視点画像を横方向に走査し、同様に距離データの差分を閾値と比較して、閾値以上となる画素を特定する。そして、分離情報生成部１７０１は、縦方向と横方向とでそれぞれ特定された画素の和集合を、オブジェクト境界として特定する。なお、閾値としては、距離データが８ビット（０〜２５５）で量子化されている場合においては、例えば「１０」のような値に設定される。

ステップＳ１９０３において、分離情報生成部１７０１は、各視点画像内の各画素を、境界画素、通常画素の２種類に分類する。具体的には、分離情報生成部１７０１は、ステップＳ１９０１で取得した距離データを参照して、ステップＳ１９０２で特定されたオブジェクト境界に隣接する画素を境界画素と決定する。

図１６は、視点画像内の各画素が、境界画素、通常画素の２つに分類される様子を示す説明図である。オブジェクト境界２００１を跨ぐ隣接画素が境界画素２００２，２００３、残りの画素が通常画素２００４にそれぞれ分類されている。図１６では、境界画素が黒塗りの丸で表されている。また、通常画素が白塗りの丸で表されている。なお、以降に示す図においても、境界画素を黒塗りの丸、通常画素を白塗りの丸で表す。ここでは、オブジェクト境界に隣接する画素のみを境界画素としているが、オブジェクト境界から２画素の幅で境界画素とする方法など、他の分離方法を用いても構わない。

ステップＳ１９０４において、分離情報生成部１７０１は、入力された多視点画像データに対応するすべての視点画像について画素の分類が完了したかどうかを判定する。

未処理の視点画像がある場合には（ステップＳ１９０４のＹＥＳ）、分離情報生成部１７０１は、ステップＳ１９０２の処理に戻り、次の視点画像に対してステップＳ１９０２及びステップＳ１９０３の処理を行う。一方、すべての視点画像について画素の分類が完了している場合には（ステップＳ１９０４のＮＯ）、分離情報生成部１７０１は、ステップＳ１９０５の処理に進む。

ステップＳ１９０５において、分離情報生成部１７０１は、境界画素と通常画素とを特定可能な分離情報を、自由視点画像合成部１７０２に送る。境界画素が分かれば、その他の画素は通常画素であると判明するので、分離情報としては、境界画素が特定可能な情報であればよい。したがって、分離情報として、例えば境界画素と判定された画素について“１”、通常画素と判定された画素について“０”といったフラグを付加する方法等が考えられる。自由視点画像合成部１７０２は、このような分離情報を用いて、所定の視点画像を２つの層（すなわち、境界画素で構成される境界層、通常画素で構成される主層）に分離する。

図１７は、分離情報生成部１７０１の処理を説明するための説明図である。図１７に示す例では、視点１の画像におけるオブジェクト内部１８０１，１８０２、視点２の画像におけるオブジェクト内部１８０３，１８０４が主層として表される。また、視点１の画像におけるオブジェクト境界部１８０５，１８０６、視点２の画像におけるオブジェクト境界部１８０７，１８０８が境界層として表される。なお、図２０（ａ），（ｂ）では、説明を簡単にするため、オブジェクト境界部の内側の通常画素で構成される層のみを主層として表している。

自由視点画像合成部１７０２は、自由視点画像合成に利用する参照画像群を設定し、まず参照画像群の主層をレンダリングし、次に参照画像群の境界層をレンダリングする。そして、自由視点画像合成部１７０２は、各レンダリング画像を合成することで任意の視点位置における画像データ（自由視点画像データ）を生成する。図１８は、自由視点画像合成部１７０２の処理を示すフローチャートである。

ステップＳ２１０１において、自由視点画像合成部１７０２は、ユーザによって指定される任意の視点（以下、「自由視点」と呼ぶ。）の、位置情報を取得する。自由視点の位置情報は、本実施例では、図２（ａ）に示される視点１の位置を基準とする場合における、自由視点の位置を示す座標情報である。基準とする視点１の座標を（０．０，０．０）とした場合、図２（ｂ）に示される視点２は（１．０，０．０）、図２（ｃ）に示される視点３は（０．０，１．０）、図２（ｄ）に示される視点４は（１．０，１．０）の座標でそれぞれ表される。ここで、例えば、ユーザが、視点１〜４の中間位置を自由視点とした画像を合成したいと考えたとき、ユーザは、座標（０．５，０．５）を入力する。なお、座標定義の方法は上記に限るものではなく、視点１以外の位置を基準としてもよい。また、自由視点の位置情報の入力方法は、上述した座標を直接入力する方法に限られず、例えば、撮像部が図１（ａ）に示すように配置されている場合には、撮像部１０３〜１０６の配置を示すＵＩ画面（不図示）を表示部３０９に表示し、ユーザがタッチ操作等によって所望の自由視点を指定するようにしてもよい。

ステップＳ２１０２において、自由視点画像合成部１７０２は、自由視点画像データの生成において参照する、複数の視点画像（以下、「参照画像群」と呼ぶ。）を設定する。本実施例では、自由視点画像合成部１７０２は、指定された自由視点の位置に近い４つの視点画像を参照画像群として設定する。上記のように、自由視点の位置として座標（０．５，０．５）が指定されたときの参照画像群は、図２に示される視点１〜４の視点画像によって構成されることになる。なお、参照画像群を構成する視点画像の数は４つに限定されるものではなく、指定された自由視点の周囲の３つの視点画像でも構わない。また、参照画像群は、指定された自由視点の位置を内包する視点に対応する画像群であればよいので、例えば指定された自由始点位置の直近ではない４つの視点位置で撮像された視点画像を参照画像群に設定してもよい。

ステップＳ２１０３において、自由視点画像合成部１７０２は、参照画像の主層の３次元モデルを生成する処理を行う。主層の３次元モデルは、オブジェクト境界に掛かっていない通常画素を含む４つの画素を相互に接続して四辺形メッシュを構築することにより生成する。図１９（ａ）には、主層の３次元モデル生成の様子が示されている。図１９（ａ）に示すように、例えば、通常画素を含む４つの画素であって、いずれもオブジェクト境界２００１に掛かってない画素（２つの通常画素２００４，２２０１及び２つの境界画素２２０２，２２０３）を接続して四辺形メッシュ２２０４が構築される。このような処理を繰り返し行い、主層の３次元モデルとなるすべての四辺形メッシュが構築される。このときの四辺形メッシュの大きさは最小で１画素×１画素である。本実施例では、主層を全て１画素×１画素の大きさの四辺形メッシュで構築しているが、より大きな四辺形メッシュで主層を構築してもよい。また、四辺形以外の形状、例えば三角形のメッシュで主層を構築してもよい。

上記のようにして構築される、１画素単位の四辺形メッシュのＸ座標とＹ座標は視点画像のカメラパラメータから算出されたグローバル座標に相当し、Ｚ座標は距離情報から得られる各画素における被写体までの距離に相当する。そして、自由視点画像合成部１７０２は、各画素の色情報を四辺形メッシュにテクスチャマッピングして、主層の３次元モデルを生成する。

図１８のフローチャートの説明に戻る。

ステップＳ２１０４において、自由視点画像合成部１７０２は、参照画像の主層を自由視点位置でレンダリングする。具体的には、自由視点画像合成部１７０２は、ステップＳ２１０３で生成した参照画像の主層の３次元モデルを、ステップＳ２１０１で取得した自由視点位置でレンダリングする。

なお、ステップＳ２１０３，Ｓ２１０４の処理は、参照画像群の各参照画像について実行される。

図１９（ｂ）には、主層のレンダリングの様子が示されている。図１９（ｂ）において、横軸はＸ座標を表し、縦軸はＺ座標を表す。また、図１９（ｂ）において、境界画素２４０４，２４０５との間にオブジェクト境界（不図示）が存在するものとする。また、図１９（ｂ）において、線分２４０１，２４０２（以下、境界層２４０１，２４０２または四辺形メッシュ２４０１，２４０２と表現する場合がある）は、白塗りの逆三角で示す参照画像の視点（以下、「参照視点」と呼ぶ。）２４０８から３次元モデル生成した場合における主層の四辺形メッシュをそれぞれ示す。すなわち、図１９（ｂ）に示す例では、通常画素２４０６と境界画素２４０４とを接続した四辺形メッシュ２４０１、及び、通常画素２４０７と境界画素２４０５とを接続した四辺形メッシュ２４０２が、主層として３次元モデル生成されている。このような四辺形メッシュ２４０１，２４０２を、黒塗りの逆三角形で示す自由視点２４０８でレンダリングした画像がレンダリング画像となる。レンダリング処理において、色が存在しない画素部分は、穴として残ることになる。図１９（ｂ）において、矢印２４０９，２４１０は、四辺形メッシュ２４０２が、参照視点２４０３、自由視点２４０８において、どの位置に見えるかを示す。参照視点２４０３より左側にある自由視点２４０８では、四辺形メッシュ２４０２は、参照視点２４０３より右側に位置する。矢印２４１１，２４１２も同様に、四辺形メッシュ２４０１が、参照視点２４０３、自由視点２４０８において、どの位置に見えるかを示す。

図１８のフローチャートの説明に戻る。

ステップＳ２１０５において、自由視点画像合成部１７０２は、指定した自由視点位置における主層のレンダリング結果を統合して、主層の統合画像データを得る。本実施例では、参照画像の主層から生成されたレンダリング画像（４つ）が統合される。統合処理は、画素毎に行われ、統合後の色は各レンダリング画像の重み付き平均、具体的には、指定された自由視点の位置と参照画像との距離に基づく重み付き平均を用いる。例えば、指定された自由視点位置が各参照画像に対応する４つの視点位置から等距離だけ離れた位置であった場合には、各レンダリング画像に対応する重みは、いずれも０．２５となる。一方、指定された自由視点位置が、いずれかの参照画像の視点位置に近寄った位置である場合には、その距離が近いほど大きい重みとなる。なお、平均色の求め方は、これに限定されるものではない。また、各レンダリング画像のうち、穴が空いている箇所（四辺形メッシュが構築されていない画素）は、統合する際の色計算の対象とされない。つまり、いずれかのレンダリング画像で穴が空いている箇所については、当該箇所に穴が空いていないレンダリング画像を対象とする重み付き平均によって、統合後の色が算出される。全てのレンダリング画像で穴が空いている箇所は、穴として残る。

図１８のフローチャートの説明に戻る。

ステップＳ２１０６において、自由視点画像合成部１７０２は、参照画像の境界層の３次元モデルを生成する。オブジェクト境界に接する境界層では、メッシュ生成時に隣接画素との接続を行わない。具体的には、自由視点画像合成部１７０２は、１つの画素に対して１つの四辺形メッシュを構築して、境界層の３次元モデルを生成する。図１９（ｃ）には、境界層の３次元モデル生成の様子が示されている。自由視点画像合成部１７０２は、境界画素２３０１に対して、１画素×１画素の大きさの四辺形メッシュ２３０２を構築する。自由視点画像合成部１７０２は、このような処理を境界画素に対して繰り返し行い、境界層の３次元モデルとなるすべての四辺形メッシュを構築する。上記のようにして構築される、１画素単位の四辺形メッシュのＸ座標とＹ座標は視点画像のカメラパラメータから算出されたグローバル座標に相当し、Ｚ座標は距離情報から得られる各境界画素における被写体までの距離に相当する。そして、自由視点画像合成部１７０２は、各境界画素の色情報を四辺形メッシュの色として境界層の３次元モデルを生成する。なお、ステップＳ２１０６の処理は、参照画像群の各参照画像について実行される。

図１８のフローチャートの説明に戻る。

ステップＳ２１０７において、自由視点画像合成部１７０２は、参照画像の境界層のレンダリングを行う。図１９（ｄ）は、境界層のレンダリングの様子を説明する図である。図１９（ｂ）と同様、図１９（ｄ）において、横軸はＸ座標を表し、縦軸はＺ座標を表す。また、図１９（ｄ）において、境界画素２４０４と境界画素２４０５との間にオブジェクト境界（不図示）が存在するものとする。また、図１９（ｄ）において、線分２５０１，２５０２（以下、境界層２５０１，２５０２または四辺形メッシュ２５０１，２５０２と表現する場合がある）は、白塗りの逆三角で示される参照視点２４０３から３次元モデル生成した場合における境界層の四辺形メッシュを示す。境界層２５０１，２５０２は、境界画素２４０５，２４０４の距離情報と色情報とを有する１画素単位の四辺形メッシュである。このような１画素単位の四辺形メッシュ２５０１，２５０２を、ステップＳ２１０１で指定された自由視点の位置（図１９（ｄ）において黒塗りの逆三角で示す自由視点２４０８）でレンダリングした画像が境界層のレンダリング画像となる。なお、境界層のレンダリング処理においても、色が存在しない箇所（四辺形メッシュが構築されていない画素）は、穴として残る。そして、自由視点画像合成部１７０２は、上記のようなレンダリング処理を、参照画像群の参照画像の全てについて行い、境界層のレンダリング画像群を得る。図１９（ｄ）において、矢印２５０３，２５０４は、四辺形メッシュ２５０２が、参照視点２４０３，自由視点２４０８においてどの位置に見えるかを示す。参照視点２４０３より左側にある自由視点２４０８では、四辺形メッシュ２５０２は、参照視点２４０３より右側に位置する。

図１８のフローチャートの説明に戻る。

ステップＳ２１０８において、自由視点画像合成部１７０２は、境界層のレンダリング画像群を統合して、境界層の統合画像データを得る。このとき、ステップＳ２１０５と同様の統合処理によって、４つの視点画像から生成された境界層のレンダリング画像（４つ）が統合される。

図１８のフローチャートの説明に戻る。

ステップＳ２１０９において、自由視点画像合成部１７０２は、ステップＳ２１０５で得た主層の統合画像データと、ステップＳ２１０８で得た境界層の統合画像データとを統合して２層統合画像データを得る。ここでの統合処理も画素毎に行われる。この際、主層の統合画像と境界層の統合画像とでは主層の統合画像の方が、安定的に精度が高い画像が得られるため、主層の統合画像を優先して利用する。よって、主層の統合画像に穴が空いていて、境界層の統合画像に穴が空いていないという場合にのみ、境界層の色で補完がなされる。主層の統合画像と境界層の統合画像との双方に穴が空いているときは、穴として残ることになる。以上の処理により、自由視点画像合成部１７０２は、２層統合画像データを得る。

なお、本実施例において、主層のレンダリング、境界層のレンダリングの順に処理を行うのは、オブジェクト境界付近の画質劣化を抑えるためである。

ステップＳ２１１０において、自由視点画像合成部１７０２は、穴埋め処理を行う。具体的には、自由視点画像合成部１７０２は、ステップＳ２１０９で得た２層統合画像データにおいて穴として残っている部分を周囲の色を用いて補完する。本実施例では、穴埋め対象画素の周囲画素から距離データがより大きい値を示す画素を選択して穴埋め処理を行う。なお、穴埋め処理には他の方法を用いても構わない。

ステップＳ２１１１において、自由視点画像合成部１７０２は、穴埋め処理が終わった自由視点画像データを出力する。

（自由焦点画像生成部）
自由焦点画像生成部３１４について説明する。自由焦点画像生成部３１４は、符号化部３１３からバス３０３を介して、多次元情報フォーマットを入力する。ここで、多次元情報フォーマットが外部メモリに格納されている場合には、自由焦点画像生成部３１４は、外部メモリ制御部３１２を介して当該外部メモリから多次元情報フォーマットを読み出せばよい。自由焦点画像生成部３１４に入力されるデータ、及び、自由焦点画像生成部３１４から出力されるデータについて、図８（ｃ）（ｄ）（ｅ）を用いて説明する。

本実施例の自由焦点画像生成部３１４は、入力された多次元情報フォーマットから、合焦位置が異なる多視点画像データ及び自由焦点画像生成を行う視点の距離データを取得する。なお、自由焦点画像生成を行う視点は、操作部３０７に入力されるユーザ操作によって指定される。

自由焦点画像生成部３１４は、入力された多視点画像データとは異なる合焦位置の画像データ（自由焦点画像データ）８０７を生成して出力する。出力されたデジタルデータは、バス３０３を介して符号化部３１３において多次元情報フォーマットに格納される。このとき、符号化部３１３は、多次元情報フォーマット内の管理情報に、自由焦点画像データ８０７に対応する視点データを追加し、さらに当該視点データの配下に自由焦点画像データ８０７に対応する焦点データを追加する。なお、多次元情報フォーマットが外部メモリに格納されている場合には、自由焦点画像生成部３１４が、生成した自由焦点画像データ８０７で、外部メモリに格納された多次元情報フォーマットを更新すればよい。

図２０は、第１の実施例に係る自由焦点画像生成部３１４の処理を示すフローチャートである。なお、本実施例では、自由焦点画像生成部３１４を、撮像装置１０１内の一構成要素として説明しているが、自由焦点画像生成部３１４の機能はＰＣ等の外部装置で実現されてもよい。すなわち、本実施例における自由焦点画像生成部３１４は、撮像装置の一機能としても、または独立した画像処理装置としても実現し得るものである。

ステップＳ２６０１において、自由焦点画像生成部３１４は、異なる合焦位置の多視点画像データ、及び、距離データを取得する。ここでは、図８（ｃ）に示す、多視点画像データ７０９（画像データ７０１，７０２，７０３，７０４）、多視点画像データ７０９とは異なる合焦位置の多視点画像データ７１０（画像データ７０５，７０６，７０７，７０８）、自由焦点画像生成を行う視点の距離データ８０１が取得される。以下、多視点画像データ７０９の合焦位置を「焦点１」、多視点画像データ７１０の合焦位置を「焦点２」と呼ぶ。また、多視点画像データ７０９の画像データ７０１，７０２，７０３，７０４の視点位置を、それぞれ「視点１」、「視点２」、「視点３」、「視点４」と呼ぶ。同様に多視点画像データ７１０の画像データ７０５，７０６，７０７，７０８の視点位置を、それぞれ「視点１」、「視点２」、「視点３」、「視点４」と呼ぶ。また、視点ｎ、焦点ｍに対応する画像を、「画像（視点ｎ、焦点ｍ）」と表す。

図２１は、自由焦点画像データの生成処理を説明するための説明図である。ここでは、自由焦点画像生成を行う視点として、ユーザが「視点１」を選択した場合を例にする。図２１（ａ）は、画像データ７０１によって表される画像、すなわち、画像（視点１、焦点１）を示す。図２１（ｂ）は、画像データ７０５によって表される画像、すなわち、画像（視点１、焦点２）を示す。図２１（ａ）では、オブジェクト２７０１，２７０２に焦点が合っていて、オブジェクト２７０３，２７０４には焦点が合っていない。対して図２１（ｂ）では、オブジェクト２７０３，２７０４に焦点が合っていて、オブジェクト２７０１，２７０２には焦点が合っていない。図２１（ｄ）（ｅ）は、生成された自由焦点画像を示す。

図８（ｄ）（ｅ）には、多視点画像データと、生成された自由焦点画像との被写界深度が示されている。縦軸はＺ方向（距離）を示す。被写界深度２８０１は、画像データ７０１を含む多視点画像データ７０９の被写界深度である。両矢印の縦方向の位置及び長さは、被写界深度の位置及び範囲を示す。被写界深度２８０２は、画像データ７０５を含む多視点画像データ７１０の被写界深度である。被写界深度２８０３は、図２１（ｃ）に示される、オブジェクト２７０１に焦点が合った自由焦点画像の、被写界深度である。被写界深度２８０４は、図２１（ｄ）に示される、オブジェクト２７０４に焦点が合った自由焦点画像の、被写界深度である。

図２０のフローチャートの説明に戻る。

ステップＳ２６０２において、自由焦点画像生成部３１４は、焦点を合わせる被写体を選択し、被写体までの距離を取得する。本実施例では、焦点を合わせる被写体の選択は、操作部３０７に入力されるユーザ操作によって行われる。例えば、図２１（ａ）または図２１（ｂ）に示す画像のサムネイルを表示部３０９に表示し、ユーザが、タッチ操作等によって、サムネイルから焦点を合わせる被写体を選択するようにしてもよい。なお、ユーザ操作によらずに、顔検出などにより認識された被写体を、焦点を合わせる被写体として指定するようにしても構わない。例えば、オブジェクト２７０１内のピクセルが指定されたとき、自由焦点画像生成部３１４は、対応する視点の距離データ８０１からオブジェクト２７０１の代表的な距離値を取得する。代表的な距離値とは、指定したピクセル位置の周辺ブロック（例えば、３×３ブロック）の中央値を用いる。なお、代表的な距離値の求め方は、これに限定されず、周辺ブロックの平均値を用いる方法や、指定されたピクセル位置の距離値を用いる方法など、他の方法を用いても構わない。

図２０のフローチャートの説明に戻る。

ステップＳ２６０３において、自由焦点画像生成部３１４は、ステップＳ２６０２で取得した被写体までの距離に基づいて、多視点画像データを選択する。

ここで、ステップＳ２６０３の処理の詳細を説明する。なお、ここでは、多視点画像データが図７（ｂ）に示す多次元情報フォーマット（フォルダ１１０１）に従って、記憶媒体に格納されている場合を例にする。

まず、自由焦点画像生成部３１４は、フォルダ１１０１内の管理ファイル１１０２に記述された管理情報（具体的には、多視点データ１００１）を参照し、視点数を取得する。

さらに、自由焦点画像生成部３１４は、取得した視点数に対応する視点データを取得する。例えば、視点数が４であった場合には、視点データ１００２−１〜１００２−４が取得される。

さらに、自由焦点画像生成部３１４は、各視点データの配下の焦点データの中から、被写体までの距離に対応する焦点データを取得する。本実施例では、自由焦点画像生成部３１４は、焦点データに記述されたカメラ内部パラメータ（例えば、絞り値や、合焦した時のＡＦ情報）を参照し、当該カメラ内部パラメータによって示される被写界深度内に、被写体が含まれるか否かを判断する。そして、被写体が含まれると判断した場合に、自由焦点画像生成部３１４は、当該焦点データを、当該被写体までの距離に対応する焦点データとして取得する。

最後に、自由焦点画像生成部３１４は、取得した焦点データに記述された画像データへのポインタを参照して、当該画像データをフォルダ１１０１から読み出す。

このような処理により、例えば、ステップＳ２６０２でオブジェクト２７０１が指定された場合には、オブジェクト２７０１を含む被写界深度を有する多視点画像データが選択される。具体的には、被写界深度２８０３を含む被写界深度２８０１を有する、多視点画像データ７０９が選択される。また例えば、ステップＳ２６０２でオブジェクト２７０４が指定された場合には、オブジェクト２７０４を含む被写界深度を有する多視点画像データが選択される。具体的には、被写界深度２８０４を含む被写界深度２８０２を有する、多視点画像データ７１０が選択される。選択された多視点画像データは、ステップＳ２６０４のリフォーカス処理（合焦位置の変更処理）において利用される。

図２０のフローチャートの説明に戻る。

ステップＳ２６０４において、自由焦点画像生成部３１４は、ステップＳ２６０３で選択した多視点画像データを用いて、リフォーカス処理を行う。本実施例のリフォーカス処理では、多視点画像をシフトさせて、ユーザが選択した被写体に焦点が合った自由焦点画像を取得する。具体的には、多視点画像データをシフト加算することにより、リフォーカス処理を行う。シフト量は、ステップＳ２６０２で取得した距離値に基づいて決定される。

シフト加算について図２２を用いて説明する。図２２は、シフト加算を説明するための説明図である。図２２（ａ）に示す画像は、画像データ７０１によって表される画像（視点１（左視点）の画像）であり、シフト加算において基準とする画像であるとする。図２２（ｂ）に示す画像は、画像データ７０２によって表される画像（視点２（右視点）の画像）であり、シフト加算においてシフトする画像であるとする。ステップＳ２６０２で取得した距離値は、オブジェクト２７０１の視差２９０１に対応する。オブジェクト２７０１に焦点を合わせたいときには、自由焦点画像生成部３１４は、視点２（右視点）の画像を右方向（図２２における右方向）に視差２９０１だけシフトさせ、シフトした視点２（右視点）の画像を基準となる視点１の画像に加算する。なお、「画像を加算する」等の表現を用いるが、具体的には、画像を表す画像データ（画素値）を加算することである。視差２９０１が逆方向である場合には、視点２（右視点）の画像を左方向（図２２における左方向）に視差２９０１だけシフトさせればよい。自由焦点画像生成部３１４は、視点１の画像を基準とし、他の視点（視点３、視点４）の画像をシフトする画像として、同様の処理を行う。このように、基準となる画像データ７０１と、シフトした３つの画像データ７０２，７０３，７０４とを統合することで、オブジェクト２７０１に焦点が合った自由焦点画像データ８０７が生成される。

ステップＳ２６０２でオブジェクト２７０１が指定された場合には、ステップＳ２６０４で生成される自由焦点画像データ８０７によって表される画像（図２１（ｃ）に示す画像）は、オブジェクト２７０１にのみ焦点が合っていて、オブジェクト２７０２，２７０３，２７０４には焦点が合っていない画像となる。また、当該画像の被写界深度（図８（ｄ）に示す被写界深度２８０３）の範囲は、図８（ｄ）に示されるように、多視点画像データ７０９の被写界深度２８０１の範囲よりも狭い。つまり、当該画像は、多視点画像データ７０９によって表される画像よりも浅い被写界深度の画像となる。

また、ステップＳ２６０２でオブジェクト２７０４が指定された場合には、ステップＳ２６０４で生成される自由焦点画像データ８０７によって表される画像（図２１（ｄ）に示す画像）は、オブジェクト２７０４にのみ焦点が合っていて、オブジェクト２７０１，２７０２，２７０３には焦点が合っていない画像となる。当該画像の被写界深度（図８（ｅ）に示す被写界深度２８０４）の範囲は、図８（ｅ）に示されるように、多視点画像データ７１０の被写界深度２８０２の範囲よりも狭い。つまり、当該画像は、多視点画像データ７１０によって表される画像よりも浅い被写界深度の画像となる。

ステップＳ２６０５において、自由焦点画像生成部３１４は、生成した自由焦点画像データ８０７を出力する。

以上に説明したように、本実施例では、データ記録装置（図５に示す符号化部３１３や付加情報生成部３１６や自由視点画像生成部３１５や自由焦点画像生成部３１４に相当）が、複数の合焦位置の画像データ、複数の視点位置の画像データ、距離データ、領域分割データを関連付けて、所定のフォーマットに従って記憶媒体に記録する。それにより、多眼カメラやプレノプティックカメラで撮像した画像データをより多くの用途に利用することが可能となる。例えば、それらの画像データを、撮像後に視点位置を変更するような画像処理に利用することができる。また例えば、撮像後に合焦位置を調整したり、被写界深度を制御したりするようなリフォーカス処理に利用することができる。

さらに、本実施例では、自由焦点画像生成部３１４および自由視点画像生成部３１５が生成した画像データを、多次元情報フォーマットに格納する。よって、本発明による多次元情報フォーマットを利用することにより、画像処理において、撮像画像データだけでなく、撮像画像データから生成した画像データを用いることが可能となる。

さらに、本実施例におけるフォーマットを用いることにより、画像データ、距離データ、領域分割データが関連付けて記録されるので、それらのデータに対するアクセスがしやすくなる。すなわち、それらのデータを利用した画像処理をより迅速に行うことが可能となる。

［実施例２］
第１の実施例では、自由焦点画像生成に、基準視点の距離データを利用する。つまり第１の実施例では、リフォーカス処理のシフト量に距離データを利用する。本実施例では、自由焦点画像生成に、基準視点の距離データ、及び、領域分割データを利用する。それにより、オブジェクト単位に焦点を合わせるリフォーカス処理を実現する。以下、第１の実施例と共通する部分については説明を省略し、差異点である自由焦点画像生成部３１４における処理を中心に説明する。

本実施例の自由焦点画像生成部３１４は、合焦位置が異なる多視点画像データ、自由焦点画像生成を行う視点の距離データに加えて、さらに領域分割データを入力する。

本実施例の自由焦点画像生成部３１４は、第１の実施例と同様であって、入力された多視点画像データとは異なる合焦位置の自由焦点画像データ８０７を生成して出力する。出力されたデジタルデータは、バス３０３を介して符号化部３１３において多次元情報フォーマットに格納される。図２３は、第２の実施例に係る自由焦点画像生成部３１４が入出力するデータを模式的に示す説明図である。

図２４は、第２の実施例に係る自由焦点画像生成部３１４の処理を示すフローチャートである。ここでは、自由焦点画像生成を行う視点として、ユーザが「視点１」を選択した場合を例にする。

ステップＳ３１０１において、自由焦点画像生成部３１４は、異なる合焦位置の多視点画像データ、距離データ、及び領域分割データを取得する。図２３に示すように、ここでは、図８（ｃ）に示す、多視点画像データ７０９、多視点画像データ７０９とは異なる合焦位置の多視点画像データ７１０、及び、自由焦点画像生成を行う視点の距離データ８０１に加えて、領域分割データ８０２が入力される。

ステップＳ３１０２において、自由焦点画像生成部３１４は、焦点を合わせる領域（対象領域）と、対象領域における被写体までの距離を取得する。本実施例では、焦点を合わせる対象領域の選択は、操作部３０７に入力されるユーザ操作によって行われるものとする。例えば、図２１（ａ）または図２１（ｂ）に示す画像のサムネイルを表示部３０９に表示し、ユーザがタッチ操作等によって、サムネイルから焦点を合わせる対象領域を選択するようにしてもよい。なお、ユーザ操作によらずに、顔検出などにより認識された対象領域を、焦点を合わせる領域として指定しても構わない。例えば、対象領域として図２１に示すオブジェクト２７０１が選択されたとき、自由焦点画像生成部３１４は、距離データ８０１から対象領域の各画素の距離値を取得する。また対象領域としてオブジェクト２７０４が選択されたとき、自由焦点画像生成部３１４は、距離データ８０１から対象領域の各画素の距離値を取得する。

図２４のフローチャートの説明に戻る。

ステップＳ３１０３において、自由焦点画像生成部３１４は、ステップＳ３１０２で選択した対象領域における被写体までの距離に基づいて、多視点画像データを選択する。なお、ステップＳ３１０３における多視点画像データの選択処理は、ステップＳ２６０３の処理と同様であるため、詳細な説明は省略する。選択された多視点画像データは、ステップＳ３１０４のリフォーカス処理（合焦位置の変更処理）において利用される。ステップＳ３１０２でオブジェクト２７０１が指定された場合には、オブジェクト２７０１を含む被写界深度（図８（ｄ）に示す例では、被写界深度２８０１）を有する多視点画像データ７０９が選択される。また、ステップＳ３１０２でオブジェクト２７０４が指定された場合には、オブジェクト２７０４を含む被写界深度（図８（ｅ）に示す例では、被写界深度２８０２）を有する多視点画像データ７１０が選択される。

図２４のフローチャートの説明に戻る。

ステップＳ３１０４において、自由焦点画像生成部３１４は、ステップＳ３１０３で選択した多視点画像データを用いて、リフォーカス処理を行う。本実施例のリフォーカス処理では、多視点画像データをシフトさせて、ユーザが選択した対象領域（オブジェクト）に焦点が合った自由焦点画像を取得する。具体的には、多視点画像データをシフト加算することにより、リフォーカス処理を行う。このときシフト量は、ステップＳ３１０２で取得した対象領域の距離値に基づいて決定される。

シフト加算について図２２、及び、図２５を用いて説明する。図２５は、第２の実施例に係るシフト加算を説明するための説明図である。図２５（ａ）に示す画像は、図２２（ａ）に示す画像と同様に、画像データ７０１によって表される画像（視点１（左視点）の画像）であり、シフト加算において基準とする画像であるとする。図２５（ｂ）に示す画像は、図２２（ｂ）に示す画像と同様に、画像データ７０２によって表される画像（視点２（右視点）の画像）であり、シフト加算においてシフトする画像とする。ステップＳ３１０２で取得した距離値のうち、オブジェクト２７０１の鼻の領域における距離値は、視差３２０１に対応する。

ここで視差２９０１と視差３２０１とが異なる視差量を有しているとき、第１の実施例におけるリフォーカス処理方法では、視差２９０１に基づいてシフト加算したときには、オブジェクト２７０１の目に焦点が合い、オブジェクト２７０１の鼻には焦点が合わなくなる。また視差３２０１に基づいてシフト加算したときには、オブジェクト２７０１の鼻に焦点が合い、オブジェクト２７０１の目には焦点が合わない。

つまり、オブジェクト２７０１全体に焦点を合わせたいとき、シフト量を変化させて加算する必要がある。オブジェクト２７０１に焦点を合わせたいとき、視点２（右視点）の画像を右方向（図２５における右方向）に、目の領域では視差２９０１だけ、鼻の領域では視差３２０１だけシフトさせ、基準となる視点１の画像に加算する。視差が逆方向である場合には、視点２（右視点）の画像を左方向（図２５における左方向）に、目の領域では視差２９０１だけ、鼻の領域では視差３２０１だけシフトさせればよい。オブジェクト２７０１以外の領域に関しては、代表する視差だけシフトする。例えば、目の領域の視差２９０１だけシフトする。

自由焦点画像生成部３１４は、視点１の画像を基準とし、他の視点（視点３、視点４）の画像をシフトする画像として、同様の処理を行う。このように、基準となる画像データ７０１と、シフトした３つの画像データ７０２，７０３，７０４）と統合することで、オブジェクト２７０１に焦点が合った自由焦点画像データ８０７が生成される。

以降の処理は、第１の実施例と同様である。

なお、本実施例では、説明を簡単にするため、リフォーカス処理において、オブジェクト２７０１内の目と鼻の領域のシフト量を変化させているが、実際には、オブジェクト２７０１内の目と鼻以外の領域についても同様に、シフト量を変化させたリフォーカス処理が行われる。

以上のように、本実施例では、撮像後の自由焦点画像生成において、基準視点の距離データだけでなく、基準視点の領域分割データを用いた、リフォーカス処理を行う。それにより、第１の実施例と同様の効果を得られるだけでなく、多眼カメラやプレノプティックカメラで撮像した画像データに対して、ユーザが指定したオブジェクトに適切に焦点を合わせることが可能となる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３１３ 符号化部

Claims (10)

1. 第１の視点から第１の合焦位置で撮像して得られた画像データと、前記第１の視点から前記第１の合焦位置とは異なる第２の合焦位置で撮像して得られた画像データと、前記第１の視点とは異なる第２の視点から前記第１の合焦位置で撮像して得られた画像データと、を少なくとも含む画像データ群を入力する入力手段と、
   前記入力手段が入力した画像データ群の各画像データを関連付ける管理情報を生成し、生成した当該管理情報と前記画像データ群とを所定のフォーマットに従って記憶媒体に記録する記録手段とを備えた
   ことを特徴とするデータ記録装置。
2. 前記管理情報は、
   各画像データについて、画像データにアクセスするための画像データ参照情報と、当該画像データの視点を示す視点情報と、当該画像データの合焦位置を示す焦点情報とを対応付けて格納した情報である
   請求項１に記載のデータ記録装置。
3. 前記入力手段は、
   前記第１の視点に対応する、被写体までの距離を示す距離データを入力し、
   前記記録手段は、
   前記入力手段が入力した前記距離データにアクセスするための距離データ参照情報を、前記第１の視点に対応する前記視点情報に対応付けて前記管理情報に格納する
   請求項２に記載のデータ記録装置。
4. 前記入力手段は、
   前記第１の視点の画像データをオブジェクト単位に分割して生成された、当該第１の視点に対応する領域分割データを入力し、
   前記記録手段は、
   前記入力手段が入力した前記領域分割データにアクセスするための領域分割データ参照情報を、前記第１の視点に対応する前記視点情報に対応付けて、前記管理情報に格納する
   請求項２または請求項３に記載のデータ記録装置。
5. 前記入力手段は、
   前記第１の視点から、前記第１の合焦位置で撮像して得られた画像データと、前記第２の視点から、前記第１の合焦位置で撮像して得られた画像データとを少なくとも用いて生成された、合焦位置を前記第１の合焦位置とする、第３の視点の自由視点画像データを入力し、
   前記第３の視点は、前記第１の視点および前記第２の視点と異なる視点であり、
   前記記録手段は、
   前記第３の視点に対応する前記視点情報を生成して前記管理情報に格納し、
   前記自由視点画像データにアクセスするための画像データ参照情報を、前記第３の視点に対応する前記視点情報と、前記第１の合焦位置に対応する前記焦点情報とに対応付けて、前記管理情報に格納する
   請求項２から請求項４のうちのいずれか１項に記載のデータ記録装置。
6. 前記入力手段は、
   前記第１の視点から、前記第１の合焦位置で撮像して得られた画像データと、前記第１の視点から、前記第２の合焦位置で撮像して得られた画像データとを少なくとも用いて生成された、合焦位置を第３の合焦位置とする、前記第１の視点の自由焦点画像データを入力し、
   前記第３の合焦位置は、前記第１の合焦位置および前記第２の合焦位置と異なる合焦位置であり、
   前記記録手段は、
   前記第３の合焦位置に対応する前記焦点情報を生成して前記管理情報に格納し、
   前記自由焦点画像データにアクセスするための画像データ参照情報を、前記第１の視点に対応する前記視点情報と、前記第３の合焦位置に対応する前記焦点情報とに対応付けて、前記管理情報に格納する
   請求項２から請求項５のうちのいずれか１項に記載のデータ記録装置。
7. 前記入力手段は、
   前記第１の合焦位置で撮像して得られた画像データから生成された、前記第１の視点に対応する前記距離データと、前記第２の合焦位置で撮像して得られた画像データから生成された、当該第１の視点に対応する前記距離データとを入力し、
   前記記録手段は、
   前記入力手段が入力した、前記第１の視点に対応する複数の前記距離データを統合し、
   統合した前記距離データにアクセスするための距離データ参照情報を、前記第１の視点に対応する前記視点情報に対応付けて前記管理情報に格納する
   請求項３に記載のデータ記録装置。
8. 合焦位置および視点が異なる複数の画像を撮像可能な撮像手段と、
   第１の視点から第１の合焦位置で撮像して得られた画像データと、前記第１の視点から前記第１の合焦位置とは異なる第２の合焦位置で撮像して得られた画像データと、前記第１の視点とは異なる第２の視点から前記第１の合焦位置で撮像して得られた画像データと、を少なくとも含む画像データ群を前記撮像手段から入力する入力手段と、
   前記入力手段が入力した画像データ群の各画像データを関連付ける管理情報を生成し、生成した当該管理情報と前記画像データ群とを所定のフォーマットに従って記憶媒体に記録する記録手段とを備えた
   ことを特徴とする撮像装置。
9. 第１の視点から第１の合焦位置で撮像して得られた画像データと、前記第１の視点から前記第１の合焦位置とは異なる第２の合焦位置で撮像して得られた画像データと、前記第１の視点とは異なる第２の視点から前記第１の合焦位置で撮像して得られた画像データと、を少なくとも含む画像データ群を入力する入力ステップと、
   前記入力した画像データ群の各画像データを関連付ける管理情報を生成し、生成した当該管理情報と前記画像データ群とを所定のフォーマットに従って記憶媒体に記録する記録ステップとを含む
   ことを特徴とするデータ記録方法。
10. コンピュータを、請求項１から請求項７のうちのいずれか１項に記載のデータ記録装置の一部として機能させるためのプログラム。