JP2007166442A

JP2007166442A - 撮像装置

Info

Publication number: JP2007166442A
Application number: JP2005362593A
Authority: JP
Inventors: Norihiko Nakano; 憲彦中野; Shinichiro Hirooka; 慎一郎廣岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-12-16
Filing date: 2005-12-16
Publication date: 2007-06-28

Abstract

【課題】
ステレオ撮像システムにおいて、低コストかつ超被写界深度撮影を実現すること。
【解決手段】
撮像を行う第一の撮像手段と、第一の撮像手段と異なる焦点でピントを合わせて撮像を行う第二の撮像手段と、ステレオ画像処理を行うステレオ画像処理部と、ステレオ画像処理結果を用いて、第一の撮像手段が出力する第一の画像データと第二の撮像手段が出力する第二の画像データとの画像合成処理を行う画像合成処理手段と、有する撮像装置によって構成される。
ステレオ画像処理手段でステレオ画像処理を行うための前処理を行う場合に、領域毎に動的にパラメータを変更してＬＰＦ処理を行い、対応する画像のぼやけ方を同様にすることによりステレオ画像処理精度を向上し、このステレオ画像処理結果を用いた画像合成処理を精度良く行うことを可能とし、２つの撮像部を用いて高性能な超被写界深度撮影を実現する。
【選択図】図４

Description

本発明は、複数の撮像手段を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開平６−３４３３９号公報（特許文献１）がある。該公報には、「高分解能で、距離検出範囲を広げた３次元画像入力装置を提供する」ことを目的とし、解決手段として、「第１の発明は、前記課題を解決するために、被写体の画像を入力して濃淡画像と距離画像を出力する３次元画像入力装置において、第１の物体距離に焦点合わせをし、該第１の物体距離を狭むように第１の距離精度を入れた第１の距離検出設定をした濃淡画像及び距離画像を出力する第１の複数眼２次元画像入力装置と、前記第１の物体距離より遠い第２の物体距離に焦点合わせをし、第２の距離精度を入れた第２の距離検出設定をした濃淡画像及び距離画像を出力する第２の複数眼２次元画像入力装置とを備えている。そして、前記第１の距離精度の下限値となる距離範囲と、前記第２の距離精度の上限値となる距離範囲とが、重複するように前記第２の距離検出設定を行い、前記第１の複数眼２次元画像入力装置の少なくとも１つの光軸と、前記第２の複数眼２次元画像入力装置の少なくとも１つの光軸とを整合させ、かつ同一視線となるように構成している。第２の発明では、第１の発明の各複数眼２次元画像入力装置の撮像距離範囲の役割分担を決めて、前記各距離画像を基に濃淡画像をそれぞれ選択した後に合成する構成にしている。」という技術が開示されている。

特開平６−３４３３９号公報

上記特許文献1に示す第２の発明の技術を用い、焦点の異なる複数のカメラを用いてステレオ撮像を行い、被写体距離に応じて焦点の異なるカメラの画像を選択し合成することにより、広い範囲にピントのあった映像を得ることが、すなわち超被写界深度撮影を行うことができる。

しかしながら、上記特許文献1では、複数眼２次元画像入力装置を２つ用いるため、コストが高くなるという問題が生じる。

そこで、本発明は、ステレオ撮像装置の低コスト化を目的とする。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、ステレオ撮像装置を低コスト化できる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係るステレオ撮像画像処理システムを示す模式図である。図１において、０１０１＿１は第１の撮像部、０１０１＿２は第２の撮像部、０１０２はステレオ画像処理部、０１０３は画像合成処理部である。

ステレオ撮像画像処理システムにおいて、第１の撮像部０１０１＿１は、レンズやシャッタや撮像素子やAGCやADやカメラ信号処理DSPやタイミングジェネレータ等から構成され、光電変換により撮像を行い画像データを出力する。第２の撮像部０１０１＿２は、レンズやシャッタや撮像素子やAGCやADやカメラ信号処理DSPやタイミングジェネレータ等から構成され、光電変換により撮像を行い画像データを出力する。第１の撮像部０１０１＿１や第２の撮像部０１０１＿２で、光電変換のために用いる撮像素子にはCCDやCMOSを用いればよい。また、第１の撮像部０１０１＿１や第２の撮像部０１０１＿２で用いるレンズが、フォーカス調整機構やズーム調整機構を持ちフォーカスやズームすなわち画角を変更することが可能な構成でもよい。また、第１の撮像部０１０１＿１や第２の撮像部０１０１＿２が連携して撮像を行い、同時に露光を行ってもよい。ステレオ画像処理部０１０２は、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２が出力する画像データを用いて、ステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。ステレオ画像処理部０１０２において、距離情報を用いた被写体抽出を行い結果を出力してもよい。画像合成処理部０１０３は、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２が出力する画像データや、ステレオ画像処理部０１０２の出力結果を用いて画像の合成処理を行う。画像合成に使用する画像データは、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２から直接に画像合成処理部０１０３に入力されてもよいし、ステレオ画像処理部０１０２を経由して画像合成処理部０１０３に入力されてもよい。第１の撮像部０１０１＿１と第２の撮像部０１０１＿２で撮像を行う場合に、ピントの合う領域を異ならせて、すなわち異なる焦点で撮像を行い、焦点の異なる画像データを用いて、画像合成処理部０１０３で画像の合成することにより、広い範囲にピントのあった映像を得ることが、すなわち超被写界深度撮影を行うことができる。すなわち、2つの撮像部を用いて、ステレオ撮像を行いながら、超被写界深度撮影を行うことが可能となる。

図２は、本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスの一例を示す図である。図2に示すステレオ画像処理シーケンスは、ステレオ画像処理部０１０２でソフトウエアやDSPにより実行される。

ステレオ画像処理シーケンスでは、ノイズ除去や特異点除去のために前処理を行う。この前処理には、近傍データとの重み付け加算処理すなわちＬＰＦ処理が用いられることが多いが、ＬＰＦ処理を行うことにより画像がぼやけることなり、またそのぼやけかたは処理に用いるパラメータで制御可能である。本実施例でのステレオ撮像では、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２で異なる焦点で撮影を行っているため、同一の被写体においても、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２の画像データでぼやけ方が異なることとなる。ステレオ画像処理では、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２の撮像した画像データ間で、画像データの相似や相関を演算して対応点の検索を行うために、対応する画像のぼやけ方は同様なほうが、対応点検索の精度すなわちステレオ撮像画像処理により演算する距離情報の精度が向上する。

図２のステレオ画像処理シーケンスにおいて、ＳＴ０２０１では第１の撮像部０１０１＿１が出力する画像データの前処理のパラメータを決定し、ＳＴ０２０２ではＳＴ０２０１で決定したパラメータを用いて第１の撮像部０１０１＿１が出力する画像データに対し、前処理を行う。ＳＴ０２０３では第２の撮像部０１０１＿２が出力する画像データの前処理のパラメータを決定し、ＳＴ０２０４ではＳＴ０２０２で決定したパラメータを用いて第２の撮像部０１０１＿２が出力する画像データに対し、前処理を行う。ＳＴ０２０５では、ＳＴ０２０２で前処理を行った第１の撮像部０１０１＿１の画像データと、ＳＴ０２０４で前処理を行った第２の撮像部０１０１＿２の画像データとを用いてステレオ画像処理を行う。このようなステレオ画像処理は、エッジ検出などによる特徴点抽出処理や、差分絶対値和または正規化相互相関などを用いた対応点検索処理を用いて行えばよく、第１の撮像部０１０１＿１の画像データと第２の撮像部０１０１＿２の画像データに対し、異なるパラメータを用いて前処理を行うことにより、対応する画像のぼやけ方を同様にすることが可能となり、ステレオ画像処理精度を向上することができる。

図３は、本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムの一例を示す第１の図である。

図２に示すステレオ画像処理シーケンスでは、第１の撮像部０１０１＿１の画像データと第２の撮像部０１０１＿２の画像データに対し、異なるパラメータを用いて前処理を行っていたの対し、図３に示す本シーケンスでは同一撮像部の画像データに対しても領域によって異なるパラメータを用いて前処理を行う。

図３のステレオ画像処理シーケンスに用いる前処理において、ＳＴ０３０１では前処理を行う領域を決定し、ＳＴ０３０２では領域の画像データの高周波成分を演算し評価する。ＳＴ０３０３では、ＳＴ０３０２の評価結果を用いて、高周波成分が多い場合にはピントが合っていると判断しＬＰＦ処理を強めに行うように、高周波成分が少ない場合にはピントが合っていないと判断しＬＰＦ処理を弱めに行うもしくは行わないようにするように、前処理のパラメータを決定する。ＳＴ０３０４では、ＳＴ０３０３で決定した領域毎に異なるパラメータを用いて前処理を行う。ＳＴ０３０５では、第１の撮像部０１０１＿１または第２の撮像部０１０１＿２の画像データ全体に対して処理を行ったかの判定を行い、行っていない場合には、ＳＴ０３０６で次の領域の決定を行い、一連の処理を再度行う。ＳＴ０３０６で決定する次の領域は、１画素ごとで前回の前処理を行った領域と一部が重なっても良いし、領域が重ならないように次の領域を設定し高速化を図ってもよい。また、このように画面内で動的に前処理のパラメータを変更する場合には、図２のＳＴ０２０１、ＳＴ０２０４の処理を行わなくとも良い。図３に示すステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムを用いることにより、同一撮像部の画像データに対しても領域によって異なるパラメータを用いて前処理を行うことができ、対応する画像のぼやけ方を同様にすることが可能となり、ステレオ画像処理精度を向上することができる。

図４は、本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムの一例を示す第２の図である。

本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムの一例を示す第１の図である図３と比較して、高周波成分ではなく距離情報を用いて前処理のパラメータを決定している。

図４のステレオ画像処理シーケンスに用いる前処理において、ＳＴ０４０１では、現在処理を行っている第１の撮像部０１０１＿１または第２の撮像部０１０１＿２のカメラパラメータを用いて、被写体距離とピントの合い具合の情報すなわち被写界深度情報を演算する。ＳＴ０４０２では、前回のステレオ撮像画像処理によって得られた距離情報を取得する。この距離情報は、図２のＳＴ０２０５でステレオ画像処理を行った結果をステレオ画像処理部０１０２でメモリ等に格納し保持していればよい。ＳＴ０４０３では前処理を行う領域を決定する。ＳＴ０４０４では、ＳＴ０４０１で演算した被写界深度情報と、ＳＴ０４０２で取得した距離情報のうち処理を行う画像領域の距離情報を用いて位置関係の評価を行う。ＳＴ０４０４での評価演算時に、被写体の移動を考慮して補正を行ったり、ステレオ撮像に起因する視差を補正して行っても良い。ＳＴ０４０５では、ＳＴ０４０４の評価結果を用いて、ピントが合っていると判断した場合にはＬＰＦ処理を強めに行うように、ピントが合っていないと判断した場合にはＬＰＦ処理を弱めに行うもしくは行わないようにするように、前処理のパラメータを決定する。ＳＴ０４０６では、ＳＴ０４０５で決定した領域毎に異なるパラメータを用いて前処理を行う。ＳＴ０４０７では、第１の撮像部０１０１＿１または第２の撮像部０１０１＿２の画像データ全体に対して処理を行ったかの判定を行い、行っていない場合には、ＳＴ０４０８で次の領域の決定を行い、一連の処理を再度行う。また、このように画面内で動的に前処理のパラメータを変更する場合には、図２のＳＴ２０１、ＳＴ０２０４の処理を行わなくとも良い。図４に示すステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムを用いることにより、同一撮像部の画像データに対しても領域によって異なるパラメータを用いて前処理を行うことができ、対応する画像のぼやけ方を同様にすることが可能となり、ステレオ画像処理精度を向上することができる。

かように本実施例によれば、ステレオ画像処理シーケンスに用いる前処理において、動的にパラメータを変更して処理を行うことができ、対応する画像のぼやけ方を同様にすることが可能となり、ステレオ画像処理精度を向上することができる。ゆえに、このステレオ画像処理結果を用いた画像合成処理を精度良く行うことができ、２つの撮像部を用いて高性能な超被写界深度撮影が実現できる。

図５は、本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスの一例を示す図である。図５に示す画像合成処理シーケンスは、画像合成処理部０１０３で第１の撮像部０１０１＿１と第２の撮像部０１０１＿２で撮像した画像データを用いてソフトウエアやDSPにより実行される。

図5のステレオ撮像画像処理システムの画像合成処理シーケンスにおいて、ＳＴ０５０１では、第１の撮像部０１０１＿１と第２の撮像部０１０１＿２のカメラパラメータを用いて、それぞれの撮像部の被写体距離とピントの合い具合の情報すなわち被写界深度情報を演算する。ＳＴ０５０２では、前回のステレオ撮像画像処理によって得られた距離情報を取得する。この距離情報は、図２のＳＴ０２０５でステレオ画像処理を行った結果をステレオ画像処理部０１０２でメモリ等に格納し保持していればよい。ＳＴ０５０３では画像合成処理を行う領域を決定する。ＳＴ０５０４では、ＳＴ０５０１で演算したそれぞれの撮像部の被写界深度情報と、ＳＴ０５０２で取得した距離情報のうち処理を行う画像領域の距離情報を用いて、どちらの撮像部の方がピントがあっている画像なのか、すなわち現在処理している領域の画像の距離がどちらの撮像部の被写界深度にあるのか、位置関係の評価を行う。ＳＴ０５０４での評価演算時に、被写体の移動を考慮して補正を行ったり、ステレオ撮像に起因する視差を補正して行っても良い。評価の結果、第１の撮像部の画像を選択した場合にはＳＴ０５０５＿１に進み第１の撮像部の領域画像の選択を決定し、第２の撮像部の画像を選択した場合には、ＳＴ０５０５＿２に進み第２の撮像部の領域画像の選択を決定する。ＳＴ０５０６では、ＳＴ０５０５＿１またはＳＴ０５０５＿２で決定した画像を用いて、画像合成処理を行う。ＳＴ０５０７では、画像データ全体に対して処理を行ったかの判定を行い、行っていない場合には、ＳＴ０５０８で次の領域の決定を行い、一連の処理を再度行う。図５に示すステレオ撮像画像処理システムの画像合成処理シーケンスを用いることにより、異なる焦点でピントを合わせて撮像した２つの画像から、画像の距離情報に応じてピントが合っている画像を選択し、画像合成処理を行うことができ、ステレオ撮像を用いた超被写界深度撮影が可能となる。

図６は、本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる画像合成の画像選択アルゴリズムの一例を示す図である。図６の処理内容は画像合成の画像選択処理であり、図５のＳＴ０５０４とＳＴ０５０５＿１とＳＴ０５０５＿２に相当し、図５と比較して、ＳＴ０６０２＿３が追加されており、ＳＴ０６０１の評価処理の分岐処理が異なっている。

ＳＴ０６０１では、ＳＴ０５０４と同様に、それぞれの撮像部の被写界深度情報と、処理を行う画像領域の距離情報を用いて、どちらの撮像部の方がピントがあっている画像なのか、すなわち現在処理している領域の画像の距離がどちらの撮像部の被写界深度にあるのか、位置関係の評価を行う。しかしながら、ＳＴ０６０１で評価行う際に、それぞれの撮像部の被写界深度が重なっている部分に距離が相当する場合や、それぞれの撮像部の被写界深度に含まれない部分に距離が相当する場合や、ステレオ画像処理部０１０２でステレオ撮像画像処理を行った際に特徴点が存在しないことや似たようなテクスチャが存在したことにより対応点検索を精度良く行うことができず距離情報を検出できなかった場合などには、第１の撮像部の画像または第２の撮像部の画像を選択できないケースが発生する。このようなケースにおいては、ＳＴ０６０２＿３へ進み、優先する撮像部の画像を選択するアルゴリズムとする。
以下、図を用いて優先する撮像部の決定アルゴリズムを説明する。

図７は、本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第１の図である。

図７において、ＳＴ０７０１では、ユーザにより選択された優先する撮像部のデータ取得し、ＳＴ０７０２では、ＳＴ０７０１で取得したデータを用いてユーザの選択した撮像部を優先する撮像と決定する。図７に示すアルゴリズムを用いることにより、画像合成処理時に、撮像部の被写界深度情報と処理する画像の距離情報を用いて、第１の撮像部の画像または第２の撮像部の画像を選択することができない場合においても、ユーザが優先する画像を選択することが可能となり、ユーザの意向を反映した画像合成処理行うことができる。

図８は、本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第２の図である。

図８において、ＳＴ０８０１では、注目する被写体の距離情報を取得し、撮像部の被写界深度情報を用いて、注目する被写体の距離情報がどちらの撮像部の被写界深度にあるのかの評価を行う。ＳＴ０８０２では、ＳＴ０８０１の評価結果を用いて優先する撮像部を決定、すなわち注目する被写体の距離が第１の撮像部の被写界深度にある場合は第１の撮像部を優先する撮像部に決定、注目する被写体の距離が第２の撮像部の被写界深度にある場合は第２の撮像部を優先する撮像部に決定する。このような注目する被写体の距離情報は、ステレオ画像処理部０１０２が画像処理を行う際に演算すればよい。図８に示すアルゴリズムを用いることにより、画像合成処理時に、撮像部の被写界深度情報と処理する画像の距離情報を用いて、第１の撮像部の画像または第２の撮像部の画像を選択することができない場合においても、注目する被写体がピントのあった撮像部で撮影した画像を選択することが可能となり、注目する被写体と同じ撮像部の画像を合成するため合成した画像を見る際に自然に見え好適である。

図９は、本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第３の図である。

図９において、ＳＴ０９０１では、画面全体の距離情報を取得し、ＳＴ０９０２では、ＳＴ０９０１で入手した画面全体の距離情報を用いて距離の出現頻度を表す距離のヒストグラムすなわち距離分布を作成し、どの距離に分布が集中しているかの評価を行う。ＳＴ０９０１で取得する距離情報は、現在処理を行っている画像の情報でもよいし、前回処理を行った画像の情報でもよい。ＳＴ０９０３では、ＳＴ０９０２の評価結果を用いて優先する撮像部を決定、すなわち距離分布において分布が集中している距離が第１の撮像部の被写界深度にある場合は第１の撮像部を優先する撮像部に決定、距離分布において分布が集中している距離が第２の撮像部の被写界深度にある場合は第２の撮像部を優先する撮像部に決定する。図９に示すアルゴリズムを用いることにより、画像合成処理時に、撮像部の被写界深度情報と処理する画像の距離情報を用いて、第１の撮像部の画像または第２の撮像部の画像を選択することができない場合においても、撮影画像で距離の分布が集中する距離に被写界深度のあった撮像部で撮影した画像を選択することが可能となり、画像のピントが合っている可能性が高くなり、好適である。

図１０は、本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第４の図である。図９と比較した場合、ＳＴ０９０２とＳＴ１００２の処理内容が異なっている。

図１０において、ＳＴ１００１では、画面全体の距離情報を取得し、ＳＴ１００２では、ＳＴ１００１で入手した画面全体の距離情報から、壁や床、天井に対する距離情報を除いた距離情報を用いて距離の出現頻度を表す距離のヒストグラムすなわち距離分布を作成し、どの距離に分布が集中しているかの評価を行う。壁や床、天井の判定は、ステレオ画像処理部０１０２が画像処理を行う際に演算すればよい。ＳＴ０９０１で取得する距離情報は、現在処理を行っている画像の情報でもよいし、前回処理を行った画像の情報でもよい。また、壁や床を除いて作成した距離分布でなく、動体のみで作成した距離分布を用いてもよい。ＳＴ１００３では、ＳＴ１００２の評価結果を用いて優先する撮像部を決定、すなわち距離分布において分布が集中している距離が第１の撮像部の被写界深度にある場合は第１の撮像部を優先する撮像部に決定、距離分布において分布が集中している距離が第２の撮像部の被写界深度にある場合は第２の撮像部を優先する撮像部に決定する。図１０に示すアルゴリズムを用いることにより、画像合成処理時に、撮像部の被写界深度情報と処理する画像の距離情報を用いて、第１の撮像部の画像または第２の撮像部の画像を選択することができない場合においても、撮影画像で壁や床、天井を除く距離の分布が集中する距離に被写界深度のあった撮像部で撮影した画像を選択することが可能となり、画像のピントが合っている可能性がさらに高くなり、好適である。
上記した優先する撮像部の決定アルゴリズムによる処理は、図5のＳＴ０５０１やＳＴ０５０２と一緒に行えばよい。

かように本実施例に拠れば、ステレオ画像処理の結果である距離情報を用いて精度よく画像合成処理が可能であり、超被写界深度撮影をおこなうことができる。

本発明は、例えば、監視カメラや立体視カメラ、車載カメラに利用可能である。

本発明の第１実施例に係るステレオ撮像画像処理システムを示す模式図である。本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスの一例を示す図である。本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムの一例を示す第１の図である。本発明の第１実施例に係るステレオ撮像画像処理システムのステレオ画像処理シーケンスに用いる前処理アルゴリズムの一例を示す第２の図である。本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスの一例を示す図である。本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる画像合成の画像選択アルゴリズムの一例を示す図である。本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第１の図である。本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第２の図である。本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第３の図である。本発明の第２実施例に係るステレオ撮像画像処理システムの画像合成処理シーケンスに用いる優先する撮像部の決定アルゴリズムの一例を示す第４の図である。

符号の説明

０１０１＿１第１の撮像部
０１０１＿２第２の撮像部
０１０２ステレオ画像処理部
０１０３画像合成処理部

Claims

複数の撮像手段と、
該複数の撮像手段が出力する画像データのうち異なる焦点でピントを合わせて撮像した２つ以上の画像データを用いてステレオ画像処理を行うステレオ画像処理手段と、
該ステレオ画像処理の前に、該ステレオ画像処理に用いる画像データそれぞれに対し、異なる前処理を行う前処理手段と、
を備えることを特徴とする撮像装置。
請求項１において、
該前処理手段は、該ステレオ画像処理に用いる画像データそれぞれに対し、各画像データの高周波成分が多い領域では高周波成分が少ない領域よりも強くローパスフィルター処理を行うようにして、異なる前処理を行うこと、
を特徴とする撮像装置。
撮像を行う第一の撮像手段と、
第一の撮像手段と異なる焦点でピントを合わせて撮像を行う第二の撮像手段と、
該第一の撮像手段が出力する第一の画像データと該第二の撮像手段が出力する第二の画像データとを用いてステレオ画像処理を行うステレオ画像処理手段と、
該ステレオ画像処理手段の出力するステレオ画像処理結果を用いて、該第一の撮像手段が出力する第一の画像データと該第二の撮像手段が出力する第二の画像データとの画像合成処理を行う画像合成処理手段と、
を備えることを特徴とする撮像装置。
請求項３において、
該ステレオ画像処理手段でステレオ画像処理を行うための前処理を行う場合に、該第一の撮像手段が出力する第一の画像データと該第二の撮像手段が出力する第二の画像データで異なる前処理を行うこと、
を特徴とする撮像装置。
請求項３または４において、
該ステレオ画像処理手段でステレオ画像処理を行うための前処理を行う場合に、画像データの評価を行い前処理のパラメータを演算し、演算結果に応じて異なるパラメータで前処理を行うこと、
を特徴とする撮像装置。
請求項３ないし５のいずれかにおいて、
該ステレオ画像処理手段でステレオ画像処理を行うための前処理を行う場合に、該第一の撮像手段のカメラパラメータと該第二の撮像手段のカメラパラメータと該ステレオ画像処理手段により演算された距離情報とを用いて評価を行い前処理のパラメータを演算し、演算結果に応じて異なるパラメータで前処理を行うこと、
を特徴とする撮像装置。
請求項３ないし６のいずれかにおいて、
該画像合成処理手段で画像合成処理を行う場合に、該第一の撮像手段のカメラパラメータと該第二の撮像手段のカメラパラメータと該ステレオ画像処理手段により演算された距離情報とを用いて評価を行い、評価結果に応じて該第一の撮像手段が出力する第一の画像データと該第二の撮像手段が出力する第二の画像データの選択処理を行うこと
を特徴とする撮像装置。
請求項７において、
該選択処理において、評価結果に応じて該第一の撮像手段が出力する第一の画像データと該第二の撮像手段が出力する第二の画像データとの選択が困難な場合には、優先される撮像手段の画像を選択すること、
を特徴とする撮像装置。
請求項８に記載の撮像装置において、
優先される撮像手段の画像は、ユーザによって選択された撮像手段の画像であること、
を特徴とする撮像装置。
請求項８に記載の撮像装置において、
優先される撮像手段の画像は、該ステレオ画像処理手段により得られる距離情報のうちの注目する被写体の距離情報を評価し、評価結果に応じて決定した撮像手段の画像であること、
を特徴とする撮像装置。
請求項８に記載の撮像装置において、
優先される撮像手段の画像は、該ステレオ画像処理手段により得られる距離情報の距離分布を評価し、評価結果に応じて決定した撮像手段の画像であること、
を特徴とする撮像装置。
請求項１１に記載の撮像装置において、
該距離分布の評価は、床面と壁面と天井面を除いた距離分布で評価すること、
を特徴とする撮像装置。