JP2013254432A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】再生モード移行時にリフォーカスする場合、ディスプレイ表示画面をタップ操作しピントを調整する必要があり、ユーザーにとって手間が生じている。
【解決手段】画像処理装置は、複数の視点位置から撮像して得られた多視点画像データを取得する。また、合焦する対象に関連する情報を示すモードを設定する。この設定されたモードに基づいて、取得した多視点画像データに対して画像処理を実行することにより対象に合焦している合成画像データを生成する。
【選択図】図２

Description

本発明は、複数の視点位置から取得された情報に基づき画像データを処理する画像処理装置及び画像処理方法に関するものである。

現在、撮像装置において撮像後に撮像画像を確認する方法として、いわゆる再生モード移行ボタンなどのインターフェースを用いて撮像画像を表示させ、確認する方法が知られている。

さらに、撮像時に対象の被写体に応じて撮像モードを切り替えて撮像する方法が知られている。例えば対象被写体が人であればポートレートモードで撮像し、対象被写体が風景であれば風景モードで撮像することで最適な撮像条件を自動設定し撮像するというものである。

近年、グラフカットによる領域セグメンテーションに関する技術が開発されている（非特許文献１）。この領域セグメンテーション技術を使用することで画像を色毎に領域分割し、分割された領域の特徴量を抽出し、領域毎の物体認識をおこなうことが可能となっている。

また、近年、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている（非特許文献２）。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データが、受光面における光の強度分布に加えてその光の進行方向の情報も含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。

その再構築の一つに撮像後のピント調整処理（以降、リフォーカスと呼ぶ）があり（たとえば特許文献１）、撮像後にリフォーカスが可能な撮像装置（以降、ライトフィールドカメラと呼ぶ）が開発されている。また、複数視点の画像からパンフォーカス画像を生成する技術が開発されている。

現行のライトフィールドカメラは再生モード時にタッチパネル式のディスプレイ表示画面においてピントを合わせたい場所をタップすることでリフォーカスを行い、ピントを変更した合成画像をディスプレイ表示するものである。

特開２０１１−２２７９６号公報

Y. Boykov, M.P.Jolly, "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images", In IEEE International Conference on Computer Vision and Pattern Recognition, volume 2, pages 731-738, 2004. R. Ng, M. Levoy, M.Bredif, G. Duval, M. Horowitz, P. Hanrahan: "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02（2005）

現行のライトフィールドカメラは再生モード移行時にリフォーカスする場合、ディスプレイ表示画面をタップ操作しピントを調整する必要がある。このため、ライトフィールドカメラで例えば人物の撮像を複数回行い、再生モードで閲覧する時、デフォルトのピント位置が人物にあっていない場合、撮像した画像を切り替える度にタップ操作をしてピントを合わせる必要があるため手間が生じた。

本発明に係る画像処理装置は、複数の視点位置から撮像して得られた多視点画像データを取得する取得手段と、合焦する対象を示すモードを設定する設定手段と、前記設定手段で設定されたモードに基づいて前記多視点画像データに対して画像処理を実行することにより、前記対象に合焦している合成画像データを生成する生成手段とを備えることを特徴とする。

本発明によれば、再生リフォーカスモードを設定することで再生時に指定された対象にピントを合わせた画像を自動で表示することが可能となり、ユーザーのタップ操作の手間を軽減することができる。

本発明の実施例１に係る多眼カメラ全体のハードウェア構成の一例を示すブロック図である。マットの一例を示す図である。 本発明の実施例１に係る再生リフォーカスモードの動作の一例を示すフローチャートである。 本発明の実施例１に係る再生リフォーカスモード変更するユーザーＩ／Ｆの一例を示す図である。 本発明の実施例１に係る再生リフォーカスモード変更時の動作の一例を示す図である。 本発明の実施例１に係る画像切り替え時の再生リフォーカスモードの動作の一例を示す図である。 本発明の実施例２に係る再生リフォーカスモードにおける再生モード分割表示機能の一例を示す図である。 本発明の実施例２に係る推奨表示機能における再生モード分割表示機能の一例を示す図である。 本発明の実施例１に係る他のシステム構成の一例を示す図である。 本発明の実施例１に係るクラウドサーバーの構成の一例を示す図である。 本発明の実施例３に係るハードウェア構成の一例を示すブロック図である。 本発明の実施例３に係る再生リフォーカスモードの動作の一例を示すフローチャートである。 本発明の実施例１に係る表示装置の構成例を示す図である。

以下、図面を用いて本発明の実施例について詳細に説明する。

図１は、本発明による実施例１の画像処理装置のハードウェア構成の一例を示すブロック図である。以下、図１について詳細に説明する。多眼カメラ撮像部１０１は、相互に独立した光学系と撮像素子とを持つ相互に独立した複数のカメラの集合体である。多眼カメラ撮像部１０１は、撮像素子の制御部等を含み、複数の撮像素子からの出力データの集合を多視点画像データとして出力する。

ＲＡＭ１０２は、多眼カメラ撮像部１０１で撮像した多視点画像データの一時記憶や生成したリフォーカス画像データの一時記憶、およびその他演算途中のデータなどの一時記憶に使用する為のメモリである。ＦｌａｓｈＲＯＭ１０７は、不揮発メモリであり、過去にユーザーが選択した画像（種別と位置）や操作に関する履歴を累積、記憶する。外部メモリ１０９は、ＳＤカードなどの外部メモリである。また、外部メモリ１０９は不揮発メモリであり、電源を切っても画像データは保存される。外部メモリ１０９には、多眼カメラ撮像部１０１で撮像した多視点画像データが、所定の画像データフォーマットに従って画像ファイルとして保存される。また外部メモリ１０９は、処理中の画像データを一時画像ファイルとして一時的に保存する領域としても利用される。

メモリ制御部１１０は、いわゆるバスシステムと、バスシステムに接続されるメモリやデバイスの制御部から構成され、例えば、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９の各メモリに対するデータの読み書きを制御する。

ユーザーＩ／Ｆ（インターフェース）１０６は、機器の操作や、ユーザーがリフォーカス表示を希望する画像又は領域を選択したり、又は撮像済み画像の表示に係わるモード選択を行う為のＩ／Ｆ（インターフェース）である。具体的には、ディスプレイ１０５上に設置されるタッチパネルや、シャッターボタン、操作ダイアルなどユーザーＩ／Ｆに対応する。

全体制御部（ＣＰＵ）１０８は、機器全体の制御や、ＦｌａｓｈＲＯＭ１０７に記憶されている履歴情報から最も頻度の高い領域を選択し、リフォーカス演算部１０３へ指示するなどの演算制御を行う。

リフォーカス演算部１０３は、全体制御部１０８の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス処理された合成画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の合焦される画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、リフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。生成されたリフォーカス画像データは、ＲＡＭ１０２や、外部メモリ１０９などへ格納される。

グラフィックプロセッサ１０４は、リフォーカス演算部１０３で生成されたリフォーカス画像データをディスプレイ１０５に表示する機能を具備している。ネットワークＩ／Ｆ１１１０は、機器外とネットワーク接続を行い、ネットワーク上の外部機器との間でデータ転送を行う。

画像解析部１１２は、画像データ中の被写体の領域を検出し、領域毎に識別コードを割り当てる。画像解析部１１２は、検出した被写体の領域情報と識別コードとをＲＡＭ１０２に記憶する。本実施例の被写体とは、前景にあたる人や動物だけでなく、背景に含まれる風景部分も含むものとする。被写体の検出は、例えば、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用することで実施できる。あるいは、被写体の検出は、顔の対称的特徴、顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによっても実施できる。背景の検出は、例えば前述の方法で画像内の人物や動物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分することができる。例えば、被写体領域を矩形と仮定すると、領域情報の形式は、左上と右下の座標で示される。また、被写体の識別対象は、人（又は顔）、動物、風景の三種類としているが、これに限定されず、さらに細かい分類をすることも可能である。なお、被写体の検出および識別方法は、本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。画像解析部１１２での被写体検出および識別機能は、画像撮像後、直ちに実施され、その結果は例えば、ＲＡＭ１０２や外部メモリ１０９のような不揮発メモリに記憶される。
なお、多視点画像データは、撮像素子から得られたＲＡＷ画像データであってもよいし、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などの現像処理が施された現像後画像データであってもよい。また、本実施例では多眼カメラ撮像部１０１を用いる例を説明したが、多視点画像データは複数の視点位置からのデータであればよく、例えばマイクロレンズアレイを用いて得られる撮像データを用いてもよい。

次に、本実施例における再生リフォーカスモードを変更する処理について説明する。再生リフォーカスモードとは、例えば風景モード、人モードなどのようにリフォーカス対象となる被写体、すなわち、合焦する対象が設定された再生モードのことである。

図１のハードブロック構成図を用いて再生リフォーカスモード変更の機能を実現する構成を説明する。再生リフォーカスモードの変更はユーザＩ／Ｆ部１０６を介して指示される。

全体制御部１０８は再生モード移行時、再生すべき画像に対するモードをリフォーカス演算部１０３に通知する。また、ユーザＩ／Ｆ部１０６で画像が切り替えられた場合も同様に、全体制御部１０８は再生すべき画像に対するモードをリフォーカス演算部１０３に通知する。さらに再生リフォーカスモードに応じて被写体として認識する対象が変わるので、再生リフォーカスモードが変更された場合、その対象となる被写体認識情報を画像解析部１１２に通知する。

リフォーカス演算部１０３は全体制御部１０８からの通知を受けて外部メモリ１０９から多視点画像データを読み出してパンフォーカス画像データを生成する。また、画像解析部１１２の解析結果に基づいて再生リフォーカスモードに応じたリフォーカス演算を行い、再生リフォーカスモードに応じたリフォーカス画像データを生成する。

画像解析部１１２はリフォーカス演算部１０３が生成したパンフォーカス画像データから、ユーザーが指定した再生リフォーカスモードの認識対象の有無を解析する。再生リフォーカスモードの認識対象が存在する場合はその領域情報を全体制御部１０８に通知する。

グラフィックプロセッサ１０４は解析結果に応じてディスプレイ１０５にリフォーカス演算部１０３で生成されたパンフォーカス画像もしくはリフォーカス画像を表示する。

以下、本実施例の動作フローについて詳細に説明する。
図２に再生リフォーカスモード変更における動作フローチャートを示す。ステップＳ２０１にて、ユーザＩ／Ｆ１０６操作において再生モードへ移行するユーザ指示があった場合に再生モードに移行しステップＳ２０２へすすむ。ステップＳ２０１の処理に移る場合として、以下の３パターンが考えられる。
１．再生モード以外で起動中であり、その後再生モードに切り換え
２．起動時に既に再生モード
３．再生モードで別の画像を指定された時
ステップＳ２０２では、再生用の画像ファイルを読み込みステップＳ２０３へすすむ。ステップＳ２０３では、ステップＳ２０２で取得した画像ファイルからリフォーカス演算部１０３がパンフォーカス画像データを生成しステップＳ２０４へすすむ。

ステップＳ２０４では、現在のユーザー指定の再生リフォーカスモードを取得・保存しステップＳ２０５へすすむ。再生リフォーカスモードは一度設定されるとその内容が保存される。別の撮像シーンの画像に表示が切り換えられた場合、その保存された再生リフォーカスモードのまま別の画像が表示される。ステップＳ２０５では、ユーザＩ／Ｆ１０６から指定された再生リフォーカスモードの認識対象の認識処理を画像解析部１１２で行いステップＳ２０６へすすむ。

ステップＳ２０６では、認識処理の結果、指定された認識対象が存在する場合はステップＳ２０７にすすむ。指定された認識対象が存在しない場合はステップＳ２０９へすすむ。

ステップＳ２０７では、解析結果をもとに再生リフォーカスモードに適したリフォーカス画像データを生成してステップＳ２０８にすすむ。ステップＳ２０８では、生成したリフォーカス画像データが示すリフォーカス画像をディスプレイに表示しステップＳ２１０へすすむ。

ステップＳ２０６で認識対象が画像内に存在しないと判定された場合、ステップＳ２０９では、パンフォーカス画像をディスプレイに表示しステップＳ２１０へすすむ。

ステップＳ２１０にて、ユーザー操作により再生リフォーカスモードが変更された場合、ステップＳ２０４へすすみ、再生リフォーカスモード設定の変更を行い、新しい再生リフォーカスモードに応じたリフォーカス画像データを生成して表示する。すなわち、リフォーカス画像を表示している際に、第１のモードから第２のモードに再生リフォーカスモードが変更された場合、第２のモードに応じたリフォーカス画像データを生成して表示する。再生リフォーカスモードが変更されない場合はディスプレイ１０５の表示の変更を行う必要はないので画像はそのままでステップＳ２１１へすすむ。

ステップＳ２１１にて、ユーザー操作に依り別の画像への表示変更の指示があった場合、ステップＳ２０２へすすみ、当該別の画像の画像ファイルを読み込む。その後は、ステップＳ２０４で保存した再生リフォーカスモードに応じたリフォーカス画像データを生成してディスプレイ１０５に表示する。別の画像への変更指示がなければディスプレイ１０５表示の変更を行う必要はないので終了する。

図３は再生リフォーカスモード変更するためのユーザーＩ／Ｆの一例を示したものである。グラフィックプロセッサ１０４はディスプレイ１０５上で図３（ａ）に示したポップアップメニューを表示し、ユーザーによって「人モード」「風景モード」等の各モードを選択される。これにより全体制御部１０８は、再生リフォーカスモードを切り替えることができる。また図３（ｂ）はカメラに設置されるダイヤルを示しており、ユーザーがこの再生ダイヤルを回すことによって全体制御部１０８は再生リフォーカスモードを切り替えることができる。たとえば「パンフォーカスモード」にダイヤルを合わせればパンフォーカス画像が表示され、「人モード」にダイヤルを合わせれば人にリフォーカスされた画像が表示される。本実施例では図３（ａ）のコンボボックスのポップアップ表示と図３（ｂ）のカメラのダイヤルを例に示した。しかし、再生リフォーカスモード変更するためのユーザーＩ／Ｆはこれらに限定するものではなく、仮想ダイヤルをディスプレイ上に表示して再生リフォーカスモードを選択させるＩ／Ｆを用いても良い。また、スライダーを設けて再生リフォーカスモードを選択するなどのＩ／Ｆを用いても良い。また、ユーザーからの音声を認識することでモードを選択してもよい。

図４はステップＳ２１０の再生リフォーカスモード変更によるリフォーカス動作の一例を示した図である。まず図４（ａ）は、例えばステップＳ２０９でパンフォーカス画像を表示した例を示しており、全ての物体にピントが合っている。

図４（ｂ）は図４（ａ）のパンフォーカス画像がディスプレイ表示されているときに再生リフォーカスモードを変更する場合の図を示しており、コンボボックスを表示している。また、ユーザーが再生リフォーカスモードとして「人モード」を選択している。

図４（ｃ）は図４（ｂ）で再生リフォーカスモードを「人モード」に設定した際のリフォーカス処理後の画像を示しており、人にだけリフォーカスした画像が表示される。

図４（ｄ）は「風景モード」が選択された場合の例を示すものであり、山などの風景のみにリフォーカスした画像が表示される。例えば図３（ｂ）に示したダイヤル設定が「風景モード」に設定されている場合に再生モードに移行した場合にはこの画像がデフォルト表示される。

図４（ｅ）は「動物モード」が選択された場合の例を示すものであり、右下の動物にリフォーカスした画像が表示される。

図４（ｆ）は「人＋風景モード」が選択された場合の例を示すものであり、人と風景の両方にリフォーカスした画像が表示される。

図５はステップＳ２１１の、再生モード中にユーザー操作によって別画像へ切りかえられた場合の表示例を示したものである。すなわち、表示しているシーンとは別の撮像シーンの多視点画像データを含む画像ファイルを表示するようにユーザーから指示された場合の例である。まず図５（ａ）は再生リフォーカスモードが「人モード」に設定されており、人にリフォーカスされた画像が表示されている。この画像を再生中にディスプレイ表示する画像データを切り替えた場合、ステップＳ２０４で再生リフォーカスモードは保存されているため、切り替えた後に表示される画像も「人モード」でリフォーカスされた画像データが表示される。図５（ｂ）は切り替えた後のリフォーカス画像を示しており切り替え後も人にリフォーカスされて画像が表示されている。ユーザーが再生リフォーカスモードを意図的に変更しない限りは画像を切り替えても再生リフォーカスモードは継承される。

実施例１の説明は、図１に示したハード構成に基づき行ったが、本実施例は、図８のように、図１で示したハード構成を図８に示すネットワークを含むシステム構成において適用することもできる。すなわち、多眼カメラ８０１で撮像された多視点画像データの画像処理を、例えば、クラウドサーバー８０４や、表示端末８０５〜８０７といった構成要素において実現することが可能である。図１２は表示端末８０５〜８０７のブロック図を示す。図１２に示すブロック図においては、多視点画像データがネットワークＩ／Ｆを介して取得されることを除いては図１で説明した処理と同等の処理を行うことができる。図９には、クラウドサーバー８０４の詳細なハード構成ブロック図の例を示す。クラウドサーバー８０４においては、図１の画像解析部１１２に相当する機能は、全体制御部９０７で行われても良いし、あるいはネットワーク通信部９０１を介して多眼カメラ８０１や表示端末８０５〜８０７から解析結果を受信してもよい。

本実施例では、再生リフォーカスモードを設定することで再生時に指定された対象にピントを合わせた画像を自動で表示することが可能となり、ユーザーのタップ操作の手間を軽減することができる。たとえば、複数の異なるシーンを撮像した画像データを再生リフォーカスモードで確認する際、ポートレートなど人の画像が多い場合は、人モードに設定しておくことができる。これにより、再生時に人にリフォーカスされた画像が最初に表示されるのでタップ操作でのリフォーカス回数が減る。また、別の撮像シーンの画像に切り替えた場合でも、保存したモードに応じたリフォーカス画像をユーザーのタップ操作なしで表示することができる。

従来の撮像時に撮像モードを設定して撮像する場合は、モード毎に撮像しなければならない。しかし、ライトフィールドカメラでの再生リフォーカスモードは１回の撮像画像群から人にピントを合わせた画像や、風景にピントを合わせた画像を生成できるので撮像回数を増やすことなくモード毎のリフォーカス画像を確認することができる。

実施例２では再生モード分割表示機能の一実施例について詳細に説明する。図６はディスプレイ１０５においてリフォーカス画像を分割表示した一例を示したものである。分割した各ビューの動作フローは図２で示したフローチャートに従う。したがって分割したビュー毎にユーザーは再生リフォーカスモードの設定が可能となる。すなわち、ディスプレイ１０５の表示領域を複数の領域に分割した各表示領域について再生リフォーカスモードをそれぞれ設定することができる。各分割ビューはグラフィックプロセッサ１０４によって表示制御される。

図６（ａ）は４つの分割ビュー表示の例を示している。左上は「人モード」のリフォーカス画像を表示し、右上は「動物モード」のリフォーカス画像を表示し、左下は「風景モード」のリフォーカス画像を表示し、右下は「人＋風景モード」のリフォーカス画像を表示している。

図６（ｂ）は図６（ａ）の右下のビューを「人＋風景モード」から「建物モード」に変更した処理結果の画像を示しており、建物のリフォーカス画像を表示している。ビュー毎に再生リフォーカスモードを切り替えることで、再生リフォーカスモードの異なるリフォーカス画像が同時に表示される。

図７はディスプレイ１０５において履歴情報に基づくリフォーカス予測機能及び推奨領域表示機能を使った再生モード分割表示機能の一例を示したものである。履歴情報に基づくリフォーカス予測機能は、過去にユーザーがリフォーカス処理を行った履歴を参照して、頻度が高い対象から順次リフォーカス画像データを生成する処理である。推奨領域表示機能は、推奨するリフォーカスする位置をユーザーに知らせるために、リフォーカスされる物体を所定の図形で指し示すように表示する処理である。本実施例では、履歴情報を参照してフォーカスを合わせる対象の順位を決定し、リフォーカス画像データを順次生成する。そして、生成が完了したリフォーカス画像データのフォーカスを合わせた対象に推奨領域枠を順次表示する例を説明する。

再生モード分割表示機能は推奨領域が表示されたリフォーカス画像データが生成された場合、そのリフォーカス画像を順次他のビューに表示する機能を有している。本実施例では４分割の例で説明する。

図７（ａ）において左側のビューは人モードで再生された画像を示しており、推奨領域に対応するリフォーカス画像が生成されると、推奨領域枠が表示されると同時に右側のビューにその推奨領域に焦点が合ったリフォーカス画像が示される。

図７（ｂ）において左上は人モードで再生された画像を示しており、図７（ａ）の状態から新たに推奨領域が１つ追加されている。右上は図７（ａ）に示したように最初に生成された推奨領域１に対応するリフォーカス画像を表示している。左下は２番目の推奨領域２に対応するリフォーカス画像を示しており、２番目の推奨領域に対応するリフォーカス画像が生成されると推奨領域枠が表示されると同時にリフォーカス画像が表示される。

図７（ｃ）において左上は人モードで再生された画像を示しており、図７（ｂ）の状態から新たに推奨領域が１つ追加されている。右上は図７（ｂ）に示したように最初に生成された推奨領域１に対応するリフォーカス画像を表示している。左下は図７（ｃ）に示したように２番目に生成された推奨領域２に対応するリフォーカス画像を表示している。右下は３番目の推奨領域に対応するリフォーカス画像を示しており、３番目の推奨領域３に対応するリフォーカス画像が生成されると推奨領域枠が表示されると同時にリフォーカス画像が表示される。

本実施例によれば、ディスプレイの再生モード分割表示機能においてビュー毎に再生リフォーカスモードを切り替えることで、ユーザーは再生リフォーカスモードの異なるリフォーカス画像を同時に比較することが可能となり視認性が向上する。

実施例３では、再生リフォーカスモード変更の別の実施形態について説明する。図１０は図１のハードブロック構成図に外部センサ１０２０を付加したものである。外部センサ１０２０は人感センサ等の物体検知が可能なセンサである。センサ情報を撮像時に撮像画像と一緒に記憶することで、再生時にそのセンサ情報から、たとえば人の有無を判断することが可能である。したがって、このような外部センサ１０２０を備えた構成のカメラを使用し自動でセンサ情報を多視点画像データに付加する場合は、実施例１で記載したパンフォーカス画像データ生成の工程を省いてリフォーカス画像データを生成することも可能である。その他の構成は図１と同様とすることができる。以下、本実施例の動作フローについて詳細に説明する。

図１１に本実施例の動作フローチャートを示す。図１１の動作フローは、図２の動作フローのうち、ステップＳ２０３が削除され、ステップＳ２０５とステップＳ２０９がステップＳ１１０１とステップＳ１１０２に変更されている。それ以外の処理は図２と同様の処理を行うことが可能であり、ここでの説明は省略する。

ステップＳ１１０１では、外部センサ１０２０から取得されたセンサ情報を利用して、ユーザＩ／Ｆ１０６から指定された再生リフォーカスモードの認識対象の認識処理を画像解析部１１２で行いステップＳ２０６へすすむ。ステップＳ２０６では、認識処理の結果、指定された対象が存在する場合はステップＳ２０７にすすむ。指定された対象が存在しない場合はステップＳ１１０２へすすむ。

ステップＳ１１０２では、デフォルト画像として、例えば多眼カメラ撮像部１０１の中心レンズで撮像された画像をディスプレイに表示する。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 複数の視点位置から撮像して得られた多視点画像データを取得する取得手段と、
   合焦する対象を示すモードを設定する設定手段と、
   前記設定手段で設定されたモードに基づいて前記多視点画像データに対して画像処理を実行することにより、前記対象に合焦している合成画像データを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記多視点画像データが示す画像に含まれる物体を認識する認識手段と、
   前記認識手段によって認識された物体が、前記設定手段によって設定されたモードに対応するかを判定する判定手段と、をさらに備え、
   前記生成手段は、前記判定手段によって対応すると判定された場合に、前記認識手段で認識した前記物体を前記対象とする合成画像データを生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記判定手段によって対応すると判定されない場合、前記対象に合焦している合成画像データの代わりに、パンフォーカス画像データを生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、表示手段の表示領域を複数の領域に分割した各表示領域について前記モードをそれぞれ設定することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記生成手段は、前記合焦する対象が複数ある場合、推奨される対象の合成画像データを順次生成し、
   生成された合成画像データを、表示手段の表示領域を複数の領域に分割した各領域に順次表示させる表示制御手段をさらに有する、
   ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
6. 合焦する対象を示す第１のモードを設定する設定手段と、
   前記設定手段で設定された第１のモードに基づいて、複数の視点位置から撮像して得られた多視点画像データを用いて前記対象に合焦している合成画像データを表示する表示手段と
   を備えることを特徴とする画像処理装置。
7. 前記設定手段で設定した第１のモードを、前記対象とは異なる合焦する対象を示す第２のモードに変更する変更手段をさらに備え、
   前記表示手段は、前記変更手段で前記第２のモードに変更された場合、表示している合成画像データを前記第２のモードに基づく合成画像データに変更する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 複数の視点位置から撮像して得られた多視点画像データを取得する取得ステップと、
   合焦する対象を示すモードを設定する設定ステップと、
   前記設定ステップで設定されたモードに基づいて前記多視点画像データに対して画像処理を実行することにより、前記対象に合焦している合成画像データを生成する生成ステップと、
   を備えることを特徴とする画像処理方法。
9. 合焦する対象を示す第１のモードを設定する設定ステップと、
   前記設定ステップで設定された第１のモードに基づいて、複数の視点位置から撮像して得られた多視点画像データを用いて前記対象に合焦している合成画像データを表示する表示ステップと
   を備えることを特徴とする画像処理方法。
10. コンピュータを請求項１から７のいずれかに記載の画像処理装置として機能させるためのプログラム。

Images