JP2017204787A - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents

Abstract

【課題】視点の異なる複数の画像に対する検出処理を実行可能な画像処理装置を提供すること。【解決手段】画像処理装置は、視点の異なる複数の第１の画像を取得可能な第１の画像入力部１０１と、単一の視点をもつ第２の画像を取得可能な第２の画像入力部１０４を備える。第１の画像検出部１０２は、入力された第１の画像に対して検出処理を行う。取得された画像に対する検出処理は、検出項目に応じて個別に設定可能である。第１の画像検出部１０２は、合成前の画像に対して行う検出処理であるか、または合成後の画像に対して行う検出処理であるかを判断する。合成部１０３は、入力された第１の画像から合成画像を生成する。第２の画像検出部１０５は、合成された画像または第２の画像を取得して検出処理を行う。画像処理部１０６は検出結果に応じて、合成部１０３が合成した画像または第２の画像から出力画像を生成する。【選択図】 図１

Description

本発明は、視差画像を用いた画像処理技術に関する。

視差画像を用いた画像処理の応用例にリフォーカス処理がある。視差画像とは、複数の視点から同一の被写体を撮影した、複数の画像である。例えば、レンズやマイクロレンズアレイ、撮像素子等の配置を工夫することで、単一の機材として複数の光学系を含む構成の撮像装置が使用される。特許文献１に開示の撮像装置は、撮影レンズの射出瞳を複数の領域に分割して視差画像を同時に取得可能である。１つのマイクロレンズと複数に分割された光電変換部が形成され、各マイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を通過する光が受光される。それぞれの受光信号から、分割された瞳部分領域に応じた視差画像が生成される。特許文献２では、分割された光電変換部が受光した信号を全て加算して撮像画像を生成することが開示されている。

撮影された視差画像は、光強度の空間分布および角度分布情報であるライトフィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。またリフォーカス処理は、撮影された視差画像の読み込み直後に行われる場合が多い。リフォーカス画像が生成された後の画像処理では通常の画像と同等の処理を行うことが一般的である。

一方、リフォーカス技術や視差画像に関する利用方法の１つとして、前ボケ補正と呼ばれる補正がある。同一の被写体を複数の視点で撮影した場合に、合焦していない手前の被写体の位置が視差画像ごとに異なる場合がある。この場合、主被写体との位置関係によって、どの視差画像を使うかをユーザ操作により選択できる機能が提案されている。手前の被写体が前ボケと呼ばれる状態であるために、前ボケ補正と呼ばれる。ユーザは視差画像を入力として最適な補正量を設定する。補正量は、入力された視差画像に対してウェイトを設定する量（重み付け量）のことである。設定されたウェイトを用いて、最終的な画像を合成することで、連続的に前ボケの位置を調整することができる。

ところで視差画像を扱うシステムでは、既存の単一の画像を扱うシステムとの互換性を重視することが多い。単一の画像とは、単一の視点で撮影された画像（以下、単一画像ともいう）のことである。視差画像の形式が、単一画像と同様のフォーマットで提供される場合、視差画像の合成結果も同じフォーマットの画像である。よって、その後の画像処理を共通の処理として行える。つまり、同じ画像処理を利用し、視差画像の場合に画像合成が行われ、合成結果を単一画像と同等に扱うことで、視差画像でも単一画像でも同様の画像出力が得られるようにシステムを設計できる。単一画像のみを扱うシステムを拡張しつつ、視差画像やリフォーカス技術を利用できるという点で、実用上のメリットが大きい。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

視差画像を扱う前ボケ補正における課題は、顔検出等の検出に関する処理にある。通常の画像処理では被写体の顔等を検出し、その検出結果に応じてゲイン等を変化させる処理が実行される。例えば検出された被写体の顔の画像領域が適正な明るさとなるように全体の明るさを含めて調整処理が行われる。この場合、顔が検出されたかどうかによって、出力結果は大きく異なる。視差画像に対して、既存の画像処理と共通する処理を行う場合には、視差画像を合成した結果（合成画像）に対して顔検出が行われ、検出結果を用いて画像処理が実行される。調整結果によって合成結果が異なるので、顔検出結果が異なる可能性がある。つまり同じ視差画像が入力されたとしても、ユーザが連続的に合成比率を調整する過程で、出力結果が大きく異なる可能性がある。具体的には、同じ画像に対してユーザが操作により前ボケの位置を意識しながら調整している際に、ある調整値を境にして全体の明るさが大きく変わることが起こり得る。これでは、自然でかつユーザが意図した調整結果からかけ離れた画像になってしまう。

本発明の目的は、視点の異なる複数の画像に対する検出処理を実行可能な画像処理装置を提供することである。

本発明の一実施形態に係る画像処理装置は、異なる視点で撮影された複数の第１の画像データと第２の画像データを取得する取得手段と、取得された前記複数の第１の画像データを合成する合成手段と、前記第１および第２の画像データに対する検出処理を行う検出手段と、前記検出手段から検出結果を取得し、前記合成手段により合成された画像データ、および前記第２の画像データに画像処理を行う画像処理手段と、を備える。前記検出手段は、前記第１の画像データが取得された場合、前記合成手段が合成する前の前記第１の画像データに対して第１の検出処理を行い、当該第１の検出処理の検出結果を前記画像処理手段に出力し、前記第２の画像データが取得された場合、前記画像処理手段が画像処理を行う前の前記第２の画像データに対して第２の検出処理を行い、当該第２の検出処理の検出結果を前記画像処理手段に出力する。

本発明によれば、視点の異なる複数の画像に対する検出処理を実行可能な画像処理装置を提供することができる。

本発明の実施形態における画像処理装置の代表的な構成図である。 本発明の実施形態における第１の画像入力部の動作を示すフローチャートである。 本発明の実施形態における第１の画像検出部の動作を示すフローチャートである。 本発明の実施形態における合成部の動作を示すフローチャートである。 本発明の実施形態における第２の画像入力部の動作を示すフローチャートである。 本発明の実施形態における第２の画像検出部の動作を示すフローチャートである。 本発明の実施形態における画像処理部の動作を示すフローチャートである。 本発明の実施形態における視差画像に対する調整用の画面例を示す図である。

以下、本発明の実施形態について、代表的な例を説明する。図１は本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。

画像処理装置は、外部装置または撮像部等から視差画像を入力する第１の画像入力部１０１を備える。例えば、撮像装置の場合、撮像部から複数の視差画像信号を取得可能である。視差画像は、複数の画像間で視差がある画像であり、異なる視点で撮影された画像である。本明細書では、ある視点で撮影された画像を「視点画像」と呼ぶ。複数の視点画像により、視差画像が構成される。具体的には、撮像素子は複数のマイクロレンズと、各マイクロレンズに対応する複数に分割された光電変換部を備える。撮影レンズの射出瞳の異なる瞳部分領域を通過する光は、各マイクロレンズを介して複数の光電変換部がそれぞれ受光して電気信号に光電変換する。これにより、複数の瞳部分領域に応じた光電変換部の各出力から複数の視点画像が生成され、第１の画像入力部１０１に入力される。例えば第１の光電変換部の出力から第１の視点画像が取得され、第２の光電変換部の出力から第２の視点画像が取得される。第１の画像検出部１０２は、入力された複数の視点画像に対して検出処理を行う。合成部１０３は、入力された複数の視点画像をユーザ操作により設定される調整値に応じて合成する。

第２の画像入力部１０４には、単一画像が入力される。単一画像は、単一の視点で撮影された視点画像である。例えば、撮像装置の場合、撮像部を構成する撮像素子の光電変換部から出力される画像を取得可能である。瞳分割型撮像素子の場合、分割された複数の光電変換部の各出力を加算により合成した出力から画像データを取得できる。具体的には、１つのマイクロレンズに対して２つの光電変換部が対応する構成を備える撮像素子を想定する。この場合、第１の光電変換部が出力する第１の像（Ａ像）の出力信号と、第２の光電変換部が出力する第２の像（Ｂ像）の出力信号から、加算画像（Ａ＋Ｂ像）の出力信号が得られる。加算画像（Ａ＋Ｂ像）は、Ａ像の信号から取得される画像およびＢ像の信号から取得される画像に対して、異なる視点をもつ合成画像である。つまり、Ａ＋Ｂ像は、Ａ像とＢ像に対して視差を有する像であるが、単独で処理の対象とする場合には、単一画像の場合と同等とみなす。本実施形態では、撮像部にて合成された画像と、合成部１０３により合成された画像を区別して検出処理が行われる。

第２の画像検出部１０５は、入力された画像、または合成部１０３による合成結果（合成画像）に対して検出処理を行う。画像処理部１０６は、第１の画像検出部１０２と第２の画像検出部１０５の検出結果を用いて所定の画像処理を行う。なお、画像処理装置には各部の制御を行うシステム制御部（プログラムを実行するＣＰＵ等）や操作部、用途に応じた公知の回路部等が設けられるが、それらの詳細な説明は省略する。以下、各構成部の機能について順に説明する。

まず、第１の画像入力部１０１は視差画像を構成する複数の視点画像を取得する。例えば視点画像はベイヤ配列のデータ構成とし、２枚の画像からユーザが入力した調整値に対応する合成比率を加味し、合成することで前ボケ補正が実現される。なお、画像生成方法については特定の方法に限定されない。一般的な撮像光学系を持つ一眼レフカメラ等を複数組み合わせて撮影を行う方法や、複数の撮像光学系を含む単一の装置により撮影を行う方法では、複数の視点画像を同時に取得可能である。

図２を参照して、視点画像の入力処理について説明する。まず、第１の画像入力部１０１には２枚の視点画像のデータが入力される（Ｓ２０１）。第１の視点画像Ａのデータが読み込まれ、メモリ上に展開される（Ｓ２０２）。次に第２の視点画像Ｂの画像データが読み込まれ、メモリ上に展開される（Ｓ２０３）。ユーザ操作に応じた調整値が取得される（Ｓ２０４）。この調整値は合成比率を示す値であり、ユーザがＵＩ（ユーザ・インターフェース）画面等で調整操作を行った結果である。ユーザの操作指示を受け付ける操作部およびＵＩ画面については図８を用いて後述する。

次に、第１の画像検出部１０２は、入力された複数の視点画像に対して検出処理を行う。図３を参照して、複数の視点画像に対する検出処理について説明する。第１の画像検出部１０２は複数の視点画像を読み込み（Ｓ３０１）、視点画像に対して検出を行うのか、合成部１０３が合成した後の画像に対して検出を行うのかを判定する（Ｓ３０２）。この判定は設定値に基づいて行われる。判定の結果、複数の視点画像に対して検出を行うことが判定された場合、Ｓ３０３に処理を進める。合成部１０３による合成後に検出を行うことが判定された場合には処理を終了する。

Ｓ３０３で第１の画像検出部１０２は、第１の視点画像Ａに対する検出処理を行い、Ｓ３０４では、第２の視点画像Ｂに対する検出処理を行う。複数の検出処理が実行され、検出項目に応じて検出の段階が異なる。本実施形態では顔検出を例示して説明する。画像内に被写体の顔が存在する場合、顔の領域の明るさが適正な露出となるように全体の明るさを調整する機能を想定する。この場合には、視点画像に対して顔検出を行う設定が予め行われる。設定値に従って、顔検出処理が行われる。この他には、例えば、画像内のゴミ（不要な画像部分）を検出し、周辺画素を用いて補間して除去する処理がある。不要な画像部分は、当該部分の輝度または色相と、その周辺領域における輝度または色相との差が閾値以上である部分として検出することができる。この場合、第１の画像検出部１０２は、視点画像に対してではなく、合成部１０３による合成後の画像に対して行う方が適切であると判断する。合成後に検出処理を行う設定が予め行われる。

第１の画像検出部１０２は各視点画像に対して検出処理を行った後、複数の検出結果を１つの検出結果に合成する（Ｓ３０５）。本実施形態では顔検出を行うため、検出された領域のＯＲ（論理和）演算が行われ、各視点画像のどちらかで顔画像が検出された場合に、顔画像が検出されたものとする。合成された検出結果については、以降の画像処理において利用するため、メモリに一時的に保存される（Ｓ３０６）。

次に、合成部１０３は複数の視点画像を合成する。合成については、重み付きの一般的な合成アルゴリズムに従う処理を視点画像に施すこととする。図４を参照して、複数の視点画像に対する合成処理について説明する。

合成部１０３には２枚の視点画像が入力される（Ｓ４０１）。合成部１０３はユーザの操作により指定された調整値を読み込む（Ｓ４０２）。調整値は図２のＳ２０４で取得済みであり、メモリから読み出される。そして、各視点画像に対する調整値に応じた合成比率を乗算してから加算する処理により、重み付け加算処理が行われる（Ｓ４０３）。設定された領域および調整値を反映した合成画像が生成される。合成部１０３は合成画像を出力する。

前ボケ補正を例にすると、ユーザは複数の視点画像に対して、最適な調整値を設定する。この調整値に対応する前ボケ補正量は、入力された各視点画像に対する重み付け量である。合成部１０３は重み付け量から合成比率を決定し、加重加算処理を実行することにより合成画像を生成する。これにより、ユーザが入力した調整値に基づいて画像の前ボケの位置が調整され、ユーザが所望する画像を得ることができる。

次に単一画像の処理について説明する。単一画像や撮像素子にて合成されて取得される合成画像の場合、第２の画像入力部１０４は画像データを読み込む。図５のＳ５０１は、画像データの読み込み処理を示す。読み込まれた画像データは、第２の画像検出部１０５に出力されて処理される。

第２の画像検出部１０５は、合成部１０３による合成画像または第２の画像入力部１０４からの画像に対して検出処理を行う。図６を参照して検出処理について説明する。第２の画像検出部１０５は対象となる画像データを読み込み（Ｓ６０１）、合成部１０３が合成した合成画像であるかどうかを判断する（Ｓ６０２）。対象となる画像が、合成部１０３による合成画像である場合、Ｓ６０３に進み、合成部１０３による合成画像でない場合にはＳ６０４に移行する。

第２の画像検出部１０５は、検出対象の画像であるかどうかをチェックする（Ｓ６０３）。検出対象の画像であることが判定された場合、Ｓ６０４に進み、検出処理が行われる。ただし、合成部１０３による合成画像の場合には、予め設定された内容によってはすでに第１の画像検出部１０２が検出処理（顔検出等）を完了している場合もある。その場合には検出処理は行わない。これは項目ごとに異なるため、第１の画像検出部１０２の場合と同様に第２の画像検出部１０５は設定値に基づいて検出処理を行う。顔検出処理は第１の画像検出部１０２により行われるが、例えば画像のゴミ除去用検出処理については第２の画像検出部１０５が行う設定になっている場合を想定する。この場合、ゴミ除去用検出処理はＳ６０４のタイミングで実行される。第２の画像検出部１０５は検出処理を行った場合、検出結果を画像処理で利用するためにメモリに保存する（Ｓ６０５）。

画像処理部１０６は検出結果を用いた画像処理を行う。図７を参照して、画像処理について説明する。まず、画像処理部１０６は画像データを読み込む（Ｓ７０１）。次に、画像処理部１０６は第１の画像検出部１０２により検出された検出結果もしくは第２の画像検出部１０５により検出された検出結果または両方の検出結果を読み込む（Ｓ７０２）。画像処理部１０６は入力された画像データおよび検出結果に基づいて画像処理を行う（Ｓ７０３）。画像処理部１０６は処理した画像データを出力する（Ｓ７０４）。出力された画像は、例えば表示装置の画面に表示され、または記録媒体に記録される。

本実施形態では、顔検出とゴミ除去処理を例示して、それぞれについて簡単に説明を行う。顔検出の処理では、画像内に１つまたは複数の顔が検出された顔領域の情報が検出結果として画像処理部１０６に入力される。画像処理部１０６は検出された顔領域の平均輝度を算出し、平均輝度が所定範囲内でない場合にはプラスもしくはマイナスのゲインを画像全体にかける。つまり、ゲイン調整により、顔領域が適正露出とされる範囲内に収まるように明るさを変更する処理が行われる。例えば、適正露出の範囲が8bit相当で１００から１４０の設定であるとし、算出された顔領域の平均輝度が５０であった場合を例にする。画像処理部１０６はゲインを画像全体に２倍かけることで、顔領域の平均輝度を１００に調整する。これにより、顔領域の平均輝度を設定範囲内にすることができる。これは、例えば逆光で撮影された画像において顔が極端に暗い場合等に、自動で補正することが可能な処理である。

画像のゴミ除去処理において、画像処理部１０６は画像内の画素値が閾値以下の黒い点を検出する。厳密には、極端に周辺画素と色相や輝度が異なる点が検出され、例えば半径２画素以下の点が検出されるものとする。検出結果は１つまたは複数のゴミ（画像部分）の中心位置と半径の情報である。画像処理部１０６はそれぞれのゴミに対して、周辺の画素から補間してゴミの領域を置き換えることで、画像のゴミを除去する。これにより、撮像素子上に残ったゴミ等が画像に写り込んでしまった場合に、自動で検出して除去することができる。画像処理部１０６は、このような検出結果を用いた画像処理を行った上で、処理結果である画像を出力する（Ｓ７０４）。

以上のように本実施形態では、画像データに対する検出処理において２つのモードで検出が行われる。第１のモードでの検出処理にて第１の画像検出部１０２は、複数の視点画像のデータを合成部１０３が合成する場合に、合成前の画像データに対して検出処理（例えば、顔検出）を実行する。また、第２のモードでの検出処理にて第２の画像検出部１０５は、以下の処理を実行する。
・単一の視点画像データに対する検出処理（例えば、顔検出とゴミ画像部分の検出）
・合成部１０３が合成した画像データに対する検出処理（例えば、ゴミ画像部分の検出）。
検出結果は、モードに応じて画像処理部１０６に送られる。よって画像データの検出処理のタイミングを、検出項目に応じて個別に設定することができる。

図８は、ユーザが合成比率を調整する際の、前ボケ補正用ＵＩ画面を例示する。複数の視点画像の調整操作を、単一画像を扱うＵＩ画面中で行う実施形態もあるが、本実施形態では、ユーザが専用のＵＩ画面を見ながら視点画像の調整操作を行う例を示す。まず、視点画像データの読み込みが行われ、表示部にはダイアログ画面８０１が表示される。ダイアログ画面８０１には、キャンセル用のボタン８０３、拡大表示領域８０２、サムネイル表示領域８０４、調整スライダー８０５、保存ボタン８０６が配置されている。ユーザはタッチパネルによるタッチ操作、マウス等のポインティングデバイスやキーボードを用いた入力操作によって所望の調整を行う。操作部によりユーザが指示した調整値のデータはメモリに保存され、画像の前ボケ補正時に使用される。

本実施形態では、複数の視点画像データに対する検出処理と、単一の視点画像データおよび合成された画像データに対する検出処理とを、予め設定されたタイミングで実行可能である。本実施形態によれば、視差を有する複数の視点画像および単一の視点画像の画像処理が可能なシステムにおいて、複数の視点画像の合成比率を調整し、ユーザの意図した出力結果を得ることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 第１の画像入力部
１０２ 第１の画像検出部
１０３ 合成部
１０４ 第２の画像入力部
１０５ 第２の画像検出部
１０６ 画像処理部

Claims (14)

1. 異なる視点で撮影された複数の第１の画像データと第２の画像データを取得する取得手段と、
   取得された前記複数の第１の画像データを合成する合成手段と、
   前記第１および第２の画像データに対する検出処理を行う検出手段と、
   前記検出手段から検出結果を取得し、前記合成手段により合成された画像データ、および前記第２の画像データに画像処理を行う画像処理手段と、を備え、
   前記検出手段は、
   前記第１の画像データが取得された場合、前記合成手段が合成する前の前記第１の画像データに対して第１の検出処理を行い、当該第１の検出処理の検出結果を前記画像処理手段に出力し、
   前記第２の画像データが取得された場合、前記画像処理手段が画像処理を行う前の前記第２の画像データに対して第２の検出処理を行い、当該第２の検出処理の検出結果を前記画像処理手段に出力することを特徴とする画像処理装置。
2. 異なる視点で撮影された複数の第１の画像データと第２の画像データを取得する取得手段と、
   取得された前記複数の第１の画像データを合成する合成手段と、
   前記複数の第１の画像データに対して前記合成手段が合成を行う第１のモードでの検出処理、および前記第２の画像データに対して行う第２のモードでの検出処理を実行する検出手段と、
   前記検出手段から検出結果を取得して前記合成手段により合成された画像データ、および前記第２の画像データに画像処理を行う画像処理手段と、を備え、
   前記検出手段は、
   前記第１のモードにて、前記合成手段が合成する前の前記第１の画像データに対して第１の検出処理を行い、当該第１の検出処理の検出結果を前記画像処理手段に出力し、
   前記第２のモードにて、前記画像処理手段が画像処理を行う前の前記第２の画像データに対して第２の検出処理を行い、当該第２の検出処理の検出結果を前記画像処理手段に出力することを特徴とする画像処理装置。
3. 前記取得手段は、
   撮像素子から出力される前記複数の第１の画像データを取得する第１の取得手段と、
   前記撮像素子にて合成が行われた前記第２の画像データを取得する第２の取得手段と、を備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記検出手段は、前記合成手段により合成された画像データに対して前記第２の検出処理を行った場合、当該第２の検出処理の検出結果を前記画像処理手段に出力し、
   前記画像処理手段は、前記第１および第２の検出処理の検出結果を取得して前記合成手段により合成された画像データに画像処理を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記合成手段が画像を合成する際に使用する調整値の入力を受け付ける操作手段を備え、
   前記合成手段は、前記調整値から前記複数の第１の画像データに対する合成比率を決定して合成された画像データを生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記合成手段は、前記調整値を用いて画像のボケを補正する処理を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、前記第１の画像データに対して被写体の顔領域を検出する処理を行った場合、前記合成手段により合成された画像に対して被写体の顔領域を検出する処理を行わないことを特徴とする請求項請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記検出手段が被写体の顔領域を検出した場合、前記画像処理手段は、前記被写体の顔領域の輝度を算出し、ゲインを調整して画像の明るさを変更する処理を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記検出手段は、画像内にて検出の対象である領域とその周辺領域との輝度または色相の差が閾値以上である画像部分を検出し、
   前記画像処理手段は、前記検出手段により検出された前記画像部分の画素値を、その周辺領域の画素値を用いて補間して置き換える処理を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 請求項１から９のいずれか１項に記載の画像処理装置を備える撮像装置。
11. 複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子を備え、
    前記取得手段は、前記複数の光電変換部がそれぞれ出力する信号から前記複数の第１の画像データを取得し、前記複数の光電変換部がそれぞれ出力する信号を合成した信号から前記第２の画像データを取得することを特徴とする請求項１０に記載の撮像装置。
12. 異なる視点で撮影された複数の第１の画像データと第２の画像データを取得して画像処理を行う画像処理装置にて実行される制御方法であって、
    検出手段が取得された前記第１および第２の画像データに対する検出処理を行う検出工程と、
    合成手段が取得された前記複数の第１の画像データを合成する合成工程と、
    画像処理手段が前記検出手段から検出結果を取得し、前記合成手段により合成された画像データ、および前記第２の画像データに画像処理を行う画像処理工程と、を有し、
    前記検出工程にて、
    前記第１の画像データが取得された場合、前記検出手段は前記合成手段が合成する前の前記第１の画像データに対して第１の検出処理を行い、当該第１の検出処理の検出結果を前記画像処理手段に出力し、
    前記第２の画像データが取得された場合、前記検出手段は前記画像処理手段が画像処理を行う前の前記第２の画像データに対して第２の検出処理を行い、当該第２の検出処理の検出結果を前記画像処理手段に出力することを特徴とする画像処理装置の制御方法。
13. 異なる視点で撮影された複数の第１の画像データと第２の画像データを取得して画像処理を行う画像処理装置にて実行される制御方法であって、
    検出手段が、取得された前記複数の第１の画像データに対して合成手段が合成を行う第１のモードでの検出処理、および前記第２の画像データに対して行う第２のモードでの検出処理を実行する検出工程と、
    前記合成手段が、取得された前記複数の第１の画像データを合成する合成工程と、
    画像処理手段が、前記検出手段から検出結果を取得して前記合成手段により合成された画像データ、および前記第２の画像データに画像処理を行う画像処理工程と、を有し、
    前記検出工程の前記第１のモードにて、前記検出手段は前記合成手段が合成する前の前記第１の画像データに対して第１の検出処理を行い、当該第１の検出処理の検出結果を前記画像処理手段に出力し、
    前記検出工程の前記第２のモードにて、前記検出手段は前記画像処理手段が画像処理を行う前の前記第２の画像データに対して第２の検出処理を行い、当該第２の検出処理の検出結果を前記画像処理手段に出力することを特徴とする画像処理装置の制御方法。
14. 請求項１２または請求項１３に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。
    
    

Images