JP2006135823A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 複数の画像に基づいて単一画像を生成する場合の画質劣化を低減する画像処理装置を提供する。
【解決手段】 画像処理装置は、複数の入力画像の画素情報に基づいて単一画像を生成する。該画像処理装置は、該単一画像における少なくとも一部の画素を、該複数の入力画像のうち少なくとも２つの入力画像の画素情報を合成して得る合成手段１１５を有する。該合成手段は、該入力画像間の視差に関する情報に基づいて画素情報の合成比率を変更する。また、画像処理装置は、該入力画像間の視差に関する情報に基づいて、該単一画像の生成方法を変更する。
【選択図】 図１

Description

本発明は、複眼光学系等を用いて取得された複数の画像に基づいて単一画像を生成する装置およびこれを備えた撮像装置に関する。

従来、２組の撮像系を用いて共通(同一)の被写体を撮影して得られる２つの画像を合成することにより高精細な単一の画像を得る複眼撮像装置が提案されている。(例えば、特許文献１、２参照)。この複眼撮像装置では、左側撮像系と右側撮像系とを用意し、左側撮像系と右側撮像系とでサンプリング点を空間位相で１／２ピッチずらして被写体を撮影するとともに、左側撮像系で得られた画像と右側撮像系で得られた画像とを合成することにより、１つの撮像系で被写体を撮影した場合に比べて高解像度な１つの出力画像を得ることができる。

この原理を、カラー画像に応用することも可能であり、この場合、各撮影光学系に対してベイヤー配列やストライプ配列等のカラーフィルタを有するイメージセンサを備える方法と、撮影光学系ごとに色感度特性の異なるイメージセンサを用いる方法とがある。

ここで、各撮影光学系の光軸がずれて視差を有する場合、複数の画像の合成による高精細な画像を得る効果が低減される。そして、この視差の影響は、被写体までの距離により変わる。

このことについて図８を用いて説明する。図８において、６０１、６０２は複眼光学系を構成する個々の撮影光学系であり、それぞれの撮影光学系はイメージセンサ６０３、６０４上に同一被写体の像を結像させる。

各イメージセンサはモザイク状もしくはストライプ状のカラーフィルタを持ち、それぞれ単独でカラー画像を撮像する。イメージセンサ６０３、６０４からの画素信号がカメラ信号処理回路６０５、６０６により処理されて２つの画像が生成され、これら画像を画像合成処理回路６０７によって合成することにより、高解像度の単一画像(以下、合成画像という)が生成される。

この構成において、２つの撮影光学系６０１、６０２は、その光軸が互いにずれており、特定の被写***置に対して角度θ傾斜した状態に配置される。ここで、角度θを輻輳角という。
特許第３４７８７９６号公報(段落００１６〜００１９、図１〜４等) 特開平５−２６５０８１号公報(段落０００２〜０００５、図１１等)

輻輳角θを、両撮影光学系６０１、６０２の光軸が図８の被写***置ｂにて交差するように設定した場合、被写***置ａ、ｃでは最適な輻輳角が異なるために、各撮影光学系により撮影された画像上での被写***置に視差によるずれが生じてしまう。

この様子を図９を用いて説明する。図９には、複数の画像を合成して得られた合成画像を表している。図中の円は被写体である。

被写体の位置が図８におけるｂの場合、輻輳角が適切に設定されているために、画像ずれのない高精細な合成画像が出力される。被写***置が図８におけるａもしくはｃの場合、輻輳角が適切でないため、イメージセンサ６０３、６０４のそれぞれから出力される画像は互いに左右にずれた画像となり、これらを合成した後の合成画像でも画像ずれが現れてしまう。

なお、図８では、水平方向のみの一次元方向に配置された複数の撮影光学系を用いた場合について説明しているが、複数の撮影光学系が水平方向及び垂直方向の二次元方向に配置された場合には、画像ずれも水平方向及び垂直方向の二次元方向に現れる。

ここで、輻輳角と被写体撮像位置のずれとの関係について図１０を用いて説明する。撮影光学系６０１、６０２を無限遠合焦状態に設定した場合、これらの光軸は平行となり、それぞれの光軸はイメージセンサ６０３、６０４の中心を通る。イメージセンサ６０３、６０４間に空間的オフセットを持たせるときは、光軸に対するセンサ位置をずらす。この状態で、撮影光学系６０１は、被写体距離ｄの位置に対して輻輳角θを持ち、該撮影光学系６０１に対応するイメージセンサ６０３により撮像される画像は、無限遠合焦状態に設定した場合無限遠合焦状態に設定した場合の光軸位置に対してずれ量eだけオフセットした画像となる。

このときの被写体距離ｄとずれ量ｅとの関係を求める。撮影光学系６０１、６０２と被写体距離の位置とで構成される３角形と、撮影光学系６０１とイメージセンサ６０３の中心とイメージセンサ６０３のずれ位置とで構成される３角形とは相似であるので、センサ間距離をｓ、焦点距離をｆとすると、
ｓ／ｄ＝ｅ／ｆ
となる。したがって、
ｅ＝（ｓ・ｆ）／ｄ ・・・(１)
となる。

これを図に示すと図１１に実線で示すようなグラフとなる。横軸は被写体距離ｄ、縦軸はずれ量ｅである。このグラフからも分かるように、近距離領域において被写体距離が増加するとずれ量ｅが急激に増加する。

なお、図１１には、被写体距離「１」の位置にて光軸が交差するように両撮影光学系の輻輳角を合わせて光学特性を設定した場合の特性を点線で示している。この場合、被写体距離が「１」より遠くなるとずれ量は負の値となり、「１」より近い場合に比べて反対側にずれることが分かる。

このように近距離では、視差によるずれ量が急激に大きくなる。これは複数の画像を合成した場合に画像ずれとして合成画像を劣化させるものである。例えば、被写体距離が２〜５ｍでずれ量が０となる輻輳角を設定したとすると、設定被写体距離よりも近距離での撮影時、特にマクロ撮影時には画像ずれ量が大きくなってしまう。

本発明は、複数の画像に基づいて単一画像を生成する場合の画質の劣化を低減することができるようにした画像処理装置、撮像装置および画像処理プログラムを提供することを目的の１つとしている。

１つの観点としての本発明は、複数の入力画像の画素情報に基づいて単一画像を生成する画像処理装置(画像処理プログラム)であって、該単一画像における少なくとも一部の画素を、該複数の入力画像のうち少なくとも２つの入力画像の画素情報を合成して得る合成手段(合成ステップ)を有する。そして、該合成手段(合成ステップ)は、該入力画像間の視差に関する情報に基づいて画素情報の合成比率を変更する。

また、他の観点としての本発明の画像処理装置(画像処理プログラム)は、複数の入力画像の画素情報に基づいて単一画像を生成する画像生成手段(画像生成ステップ)を有し、該画像生成手段(画像生成ステップ)は、該入力画像間の視差に関する情報に基づいて、該単一画像の生成方法を変更する。

本発明によれば、視差に応じた合成比率で入力画像の画素情報を合成することで単一画像を生成したり、視差に応じて該単一画像の生成方法を変更したりすることにより、視差の影響による画質劣化の少ない高画質の単一画像を得ることができる。

図１には、本発明の実施例１である画像処理装置(画像処理部)を備えた撮像装置の構成を示している。図１において、１０１、１０２、１０３、１０４はそれぞれ視差を持つ撮影光学系であり、これら４つの撮影光学系１０１〜１０４により複眼光学系が構成される。４つの撮影光学系１０１〜１０４の光軸は、後述する設定被写体距離の位置にて互いに交差(輻輳)している。

なお、本実施例では、４つの撮影光学系により複眼光学系が構成される場合について説明するが、本発明における複眼光学系を構成する撮影光学系の数はこれに限られるものではない。

１０５、１０６、１０７、１０８はそれぞれ、各撮影光学系により形成された被写体像を光電変換する撮像素子(イメージセンサ)である。

１０９、１１０、１１１、１１２はそれぞれ、各撮像素子からの画素信号に対して信号処理を行い、ＹＵＶ信号もしくはＲＧＢ信号（以下、撮像信号と称する）を出力するカメラ信号処理回路である。そして、この撮像信号により画像(入力画像)が形成される。

１１３は４つの撮像素子１０５〜１０８と４つのカメラ信号処理回路１０９〜１１２とを同期して駆動する撮像素子駆動・同期信号発生回路である。

１２０は画像処理部である。この画像処理部１２０において、１１４は４つの撮像素子１０５〜１０８による入力画像間の視差を検出する視差検出回路である。但し、本実施例では、撮像素子間の距離は固定値であるので、視差量検知は任意の２つの映像信号（図では、カメラ信号処理回路１０９，１１０からの映像信号）のみで各入力画像間の視差を検出する。なお、各撮像素子間の距離が異なる場合は、４つのカメラ信号処理回路１０９〜１１２からの映像信号に基づいて各入力画像間の視差を検出することができる。

１１５は合成処理回路であり、４つの入力画像の画素値(画素情報)に基づいて高解像度な単一の合成画像を生成する合成処理回路である。

１３０は上記撮像素子駆動・同期信号発生回路１１３および画像処理部１２０等、本撮像装置の制御全体を司るコントローラとしてのＣＰＵである。

ここで撮影光学系と撮像素子の配列について図２を用いて説明する。図２において、２０１は絞りであり、４つの撮影光学系１０１〜１０４に入射する光量を制限すると共に該撮影光学系１０１〜１０４の光学特性を向上させる。

１０１〜１０４は図１に示した４つの撮影光学系、１０５〜１０８は同４つの撮像素子である。４つの撮影光学系１０１〜１０４同士および４つの撮像素子１０５〜１０８同士はそれぞれ同一平面上に配列されており、それぞれ撮影光学系とそれに対応する撮像素子からなる４つの撮像系は、同一被写体を撮像する。これら、絞り２０１、４つの撮影光学系１０１〜１０４からなる複眼光学系および４つの撮像素子１０５〜１０８により撮像系が構成される。

図３には、撮像素子１０５〜１０８の配列を、受光面側から見て示している。これら４つの撮像素子１０５は、同一半導体基板(図示せず)上に互いに独立に駆動可能に構成されている。但し、１つの撮像素子を４つの撮像エリアに区切り、各撮像エリアから出力された画素信号から各視差画像を生成するようにしてもよいし、共通の基板を有さず互いに独立した部品としての撮像素子を４つ用いてもよい。

図３においては、撮像素子１０５の水平方向に隣接して撮像素子１０６が配置され、これら撮像素子１０５、１０６の垂直方向にそれぞれ隣接して撮像素子１０７、１０８が配置されている。

そして、これらの撮像素子１０５〜１０８の光学中心が、互いに水平方向に０．５画素分、垂直方向に０．５画素分ずつずれるように各撮像素子に対応する撮影光学系が配置されている。これにより、同一光学平面上に各撮像素子による撮像領域を展開すると、４つの撮像素子１０５〜１０８の画素が水平および垂直方向にいわゆる入れ子状態となり、結果的に１つの撮像素子の画素数に対して水平方向に２倍、垂直方向に２倍の全体で４倍の解像度を持つ単一画像が生成されることになる。

この入れ子状態の画素配列を図４に示す。図４において、Ｐ１０５は撮像素子１０５の画素であり、Ｐ１０６は撮像素子１０６の画素である。また、Ｐ１０７は撮像素子１０７の画素であり、Ｐ１０８は撮像素子１０８の画素である。(０，０)、(１，０)等の座標は各撮像素子における画素の位置を示している。また、実際には、各撮像素子の光学中心は、上述した０．５画素分だけではなく、任意の設定被写体距離における視差補正分も合わせて互いにオフセットして配置される。

撮像素子駆動・同期信号発生回路１１３は、４つの撮像素子１０５〜１０８と４つのカメラ信号処理回路１０９〜１１２を同期して駆動し、ある水平期間では撮像素子１０５、１０６を駆動するとともにカメラ信号処理回路１０９、１１０から撮像信号を合成処理回路１１５に出力させ、次の水平期間では撮像素子１０７、１０８を駆動するとともにカメラ信号処理回路１１１、１１２から撮像信号を合成処理回路１１５に出力させる。

視差量検出回路１１４は、入力画像間で公知のパターンマッチング処理を行い、該入力画像間の視差量を検出する。視差による入力画像間で被写体撮像位置のずれ、つまりは画像ずれが０になる被写体距離である設定被写体距離に被写体がある場合には、各撮像素子によって撮像される被写体は、各撮像素子の撮像面における同じ位置にて撮像される。

しかし、被写体が設定被写体距離よりも近いかもしくは遠いときには、各撮像素子の撮像面における被写体撮像位置がずれる。このずれ量は視差に対応した大きさとなり、上記パターンマッチングによって該画像ずれ量、すなわち画像上に現れた視差量を検出することができる。なお、この画像ずれ量ないし視差量が請求項にいう「視差に関する情報」に相当するが、これらに限らず、視差によって変化する情報や視差量に結びつく情報であればいずれでもよい。

例えば、撮像装置から被写体までの距離を測定する測距ユニットを設けることにより、各撮影光学系間の間隔(基線長)は分かっているので一義的に視差量を算出することもできる。さらに、撮影者が被写体までの距離に関する撮影モードに基づいて視差量を推定的に取得してもよい。撮影モードには、設定被写体距離よりも近距離の被写体を撮影するための近距離(マクロ)撮影モードや、設定被写体距離近傍の被写体を撮影するための標準撮影モードや、設定被写体距離よりも遠距離の被写体を撮影するための遠距離撮影モードなどが考えられる。

合成処理回路１１５には、前述したように、４つのカメラ信号処理回路１０９〜１１２から、ある水平期間では撮像素子１０５と撮像素子１０６からの画素信号に基づいて生成された撮像信号が入力され、次の水平期間では撮像素子１０７と撮像素子１０８からの画素信号に基づいて生成された撮像信号が入力される。なお、以下において、各撮像素子からの画素信号に基づいて生成された撮像信号を、該撮像素子に対応した撮像信号という。また、撮像信号は、各画像の１画素ごとの画素値(画素情報)を表す。

合成処理回路１１５は、視差検出回路１１４が検出した視差が０の場合、すなわち被写体が設定被写体距離にある場合には、カメラ信号処理回路から入力される撮像信号を、ある水平期間では撮像素子１０５に対応する撮像信号と撮像素子１０６に対応する撮像信号とを１画素ごとにそのままの値(画素値)で交互に出力し、次の水平期間では撮像素子１０７に対応する撮像信号と撮像素子１０８に対応する撮像信号とを１画素ごとにそのままの値で交互に出力する。これにより、４つの撮像素子１０５〜１０８からの撮像信号(つまりは画素)が入れ子状態になった、図４に示した画素配列を有する高解像度の合成画像が生成されることになる。

一方、被写体距離が設定被写体距離とは異なる場合、すなわち視差による画像ずれが発生する場合には、合成処理回路１１５は、４つの撮像素子１０５〜１０８のうち特定の撮像素子に対応する撮像信号を基準撮像信号として、該基準撮像信号および他の撮像素子に対応する撮像信号を合成して生成した合成撮像信号と該基準撮像信号とを１画素ごとに出力する。本実施例では、撮像素子１０５に対応する撮像信号を基準撮像信号とする。

図４に示す合成画像において、画素間隔が水平方向と垂直方向とで等しく、この距離を１とすると、画素Ｐ１０５（０，０）を基準として画素Ｐ１０６（０，０）は水平方向に１離れ、垂直方向には離れていない(すなわち、０離れている)。また、画素Ｐ１０７（０，０）は水平方向に０、垂直方向に１離れている。また、画素Ｐ１０８は水平方向に１、垂直方向に１離れており、画素中心距離で見れば約１．４離れている。すなわち、画素Ｐ１０５を基準とすると、画素Ｐ１０６と画素Ｐ１０７は水平方向・垂直方向の違いはあるが同じ距離だけ離れており、画素Ｐ１０８が最も遠くに位置する。

被写体距離が設定被写体距離と異なる場合には、視差の影響により合成画像の画像ずれが発生する。そして前述の通り、撮像素子１０５に対応する撮像信号、つまりは撮像素子１０５により撮影された画像を基準とすると、撮像素子１０６により撮影される画像は水平方向に影響し、撮像素子１０７により撮影される画像は垂直方向に影響し、撮像素子１０８により撮影される画像は水平方向および垂直方向に影響する。

そこで、本実施例では、被写体距離が視差による影響が０である設定被写体距離の場合、つまりは視差検出回路１１４により視差が検出されない場合には、合成処理回路１１５で各撮像素子により撮影された画像をそのまま入れ子状態にすることで合成画像を生成する。言い換えれば、合成画像の各画素を、各入力画像の画素値を持った画素とする。

一方、視差検出回路１１４により視差が検出された場合には、撮像素子１０５により撮影された画像(第１の画像、以下、基準画像という)の各画素値を、合成画像において該基準画像の画素に対応する画素の画素値として用いるとともに、検出された視差量に応じた比率で基準画像の画素値と撮像素子１０６、撮像素子１０７又は撮像素子１０８により撮影された画像の画素値とを合成して得られた画素値を、該基準画像に対応する画素の間を補間する画素の画素値として用いる。以下、このように複数の入力画像の画素値を合成して合成画像の１つの画素を生成することを画素値合成処理という。

この画素値合成処理では、合成画像において撮像素子１０５により撮影された基準画像に対応する画素に水平方向にて隣接する画素(以下、水平隣接画素という)の画素値は、該基準画像の画素値と図３において撮像素子１０５に隣接する撮像素子１０６による撮影画像(第２の画像)の画素値とを合成して得る。また、合成画像において基準画像に対応する画素に垂直方向にて隣接する画素(以下、垂直隣接画素という)の画素値は、該基準画像の画素値と撮像素子１０５に垂直方向にて隣接する撮像素子１０７による撮影画像(第２の画像)の画素値とを合成して得る。さらに、合成画像において基準画像に対応する画素に水平方向および垂直方向に距離１ずつ離れた画素(以下、斜め隣接画素という)の画素値は、該基準画像の画素値と撮像素子１０５に対して水平・垂直方向にて離れた撮像素子１０８による撮影画像(第２の画像)の画素値とを合成して得る。

さらに詳しく説明すると、水平隣接画素の画素値の合成には、該水平隣接画素に対して水平方向両側にて隣接する、基準画像の２つの画素の画素値を用い、また垂直隣接画素の画素値の合成には、該垂直隣接画素に対して垂直方向両側にて隣接する、基準画像の２つの画素の画素値を用いる。さらに、斜め隣接画素の画素値の合成には、該斜め隣接画素に対して水平方向および垂直方向に１ずつ離れた、基準画像の４つの画素の画素値を用いる。

そして、本実施例の画素値合成処理では、視差量に応じて合成比率を連続的に変化させる。この関係を数式で表すと以下の通りである。

ここで、Ｊは撮像素子１０６による撮影画像の画素値に対する合成係数(補間係数ともいう)であり、Ｋは撮像素子１０７による撮影画像の画素値に対する合成係数である。Ｌは撮像素子１０８により撮影画像の画素値に対する合成係数である。これらの合成係数は、視差検出回路１１４により検出された視差量に応じて１から０まで連続的に変化する。具体的には、視差量が大きいほど合成係数を小さく設定する。

視差検出回路１１４により検出された視差量が０のとき、すなわち被写体距離が設定被写体距離と等しい場合は、合成係数Ｊ、Ｋ、Ｌをいずれも１とし、上記数式による計算結果を基準画像に対する水平隣接画素、垂直隣接画素および斜め隣接画素の画素値として出力する。

また、検出された視差量が０ではないとき、すなわち被写体距離が設定被写体距離と異なる場合は、視差量が大きいほど合成係数Ｊ、Ｋ、Ｌを０に近づける。これにより、基準画像に対する被写体撮像位置ずれの大きな撮像素子１０６、１０７、１０８による撮影画像の画素値の合成量を少なくして、合成画像における被写体撮像位置ずれの大きな画像の影響を小さくする。

図５には、横軸を被写体距離とし、縦軸を被写体撮像位置ずれ量、すなわち視差量としたグラフを示している。また、その下に、横軸を同じ被写体距離とし、縦軸を合成係数Ｊ、Ｋ、Ｌとしたグラフを示している。

ここでは設定被写体距離を１としており、設定被写体距離で視差量は０となる。このときは、合成処理回路１１５では全ての撮像素子による撮影画像の画素値をそのまま用いて高解像度合成画像を出力する。すなわち、図に示すように合成係数Ｊ、Ｋ、Ｌを１とする。

被写体距離が１よりも短い近接撮影時などには、視差量が急激に増加するので、増加する視差量に応じて合成係数Ｊ、Ｋ、Ｌを１から０側に変化させる。上述したように、合成画像における撮像素子１０５により撮影された基準画像に対応する画素からは撮像素子１０８の画素に対応する画素が一番遠いため、視差の影響が一番大きい撮像素子１０８による撮影画像の画素値に対する合成係数Ｌの視差量の増加に対する減少率を、撮像素子１０６、１０７による撮影画像の画素値に対する合成係数Ｊ、Ｋの減少率より大きくしている。

このように、合成処理回路１１５は、被写体距離が短くなるにつれて急激に増大する視差量に応じて、視差の影響によって画像ずれを発生させる撮像素子１０６、１０７、１０８による撮影画像の画素値の基準画像の画素値に対する合成比率（割合）減少させることにより、視差の影響を少なくする。

また、被写体距離が１よりも長い遠距離撮影時には、視差量は近接撮影と比較すると、被写体距離の増加に対して緩やかに増加する。そして、これに応じて合成係数Ｊ、Ｋ、Ｌも減少させる。このときも、近接撮影時と同様に、合成画像の画像ずれに影響の大きい撮像素子１０８による撮影画像の画素値に対する合成係数Ｌの減少率を、撮像素子１０６、１０７による撮影画像の画素値に対する合成係数であるＪ、Ｋの減少率よりも大きくする。

図６には、本実施例における処理を、コンピュータプログラムである画像処理プログラムにより行う場合のフローチャートを示している。この画像処理プログラムは、図１に示したコントローラとしてのＣＰＵ１３０により実行される。

該処理をスタートすると、まずステップ(図ではＳと略す)１０１において、ＣＰＵ１３０からの命令により、撮像素子１０５〜１０８およびカメラ信号処理回路１０９〜１１２による撮像が行われ、カメラ信号処理回路１０９〜１１２はそれぞれ入力画像を生成する。

次に、ステップ１０２では、視差検出回路１１４が視差量の検出を行う。検出方法としては、前述したように、入力画像間でのパターンマッチング、被写体までの測距、撮影モード検出によるもの等が用いられる。

そして、ステップ１０３では、ＣＰＵ１３０からの命令により、合成処理回路１１５は、検出した視差量と式(２)〜(５)とを用いて複数の入力画像から１つの合成画像を生成し、出力する。

以上説明したように、本実施例によれば、視差を持つ複数の光学系を用いて撮影した入力画像の画素値を用いて単一の合成画像を出力する撮像装置において、視差がない場合には複数の入力画像の画素値をそのまま用いることにより高解像度な合成画像を得ることができる。一方、視差がある場合には、その視差の量に応じて基準となる入力画像の画素値と他の入力画像の画素値との合成比率を、視差量の増加に対して減少させるよう連続的に変えることにより、視差による画像ずれの少ない、高画質で自然な合成画像を得ることができる。このように、視差量の有無に応じて合成画像の生成方法を変更することで、視差の影響による画質劣化を最小限に抑えることができる。

なお、本実施例では、(２) 〜(５)の計算式により表される、２点を通る直線上にある画素を参照して補間計算を行う１次補間法を用いて水平、垂直および斜め隣接画素の画素値を算出する場合について説明したが、その他、隣の画素の画素値をそのまま用いる最近傍法(ニヤレストネイバー)や、周辺の画素を参照して３次多項式で表した曲線式で補間するバイキュービック(３次補間)法等を用いてもよい。

また、上記実施例では、視差がない場合とある場合とで合成画像の生成方法を変更する場合について説明したが、視差量が所定値（例えば、実質的に合成画像における視差の影響が無視できる程度の視差量）より小さい場合と大きい場合とで合成画像の生成方法を変更するようにしてもよい。すなわち、視差が所定値より小さい場合には複数の入力画像の画素値をそのまま用い、視差が所定値より大きい場合には、その視差の量に応じて基準となる入力画像の画素値と他の入力画像の画素値との合成比率を、視差量の増加に対して減少させる。

また、本実施例において説明した単一の合成画像は、静止画像であってもよいし、動画の１フレーム画像であってもよい。すなわち、本実施例の撮像装置は、静止画カメラとしてもビデオカメラとしても使用することができる。

さらに、上記実施例１では、画像処理装置に相当する画像処理部が撮像装置に一体的に組み込まれている場合について説明したが、本発明の画像処理装置はパーソナルコンピュータ等、撮像装置とは別の装置であってもよい。この場合、複眼光学系と撮像素子を有する撮像装置によって撮影された複数の画像を、ケーブルを介して、または半導体メモリ、光ディスク、磁気ディスク等の記録媒体やインターネット、ＬＡＮ等のネットワークを介して画像処理装置に取り込み、該画像処理装置において上述した方法により合成画像を生成する。

図７には、上記実施例１にて説明した撮像装置およびこれを搭載した電子機器の例を示している。

図７(Ａ)には、撮像装置としてのカード型カメラを示している。７０１はカメラ本体、７０２は図２に示した複眼光学系を有する撮像系である。また、７０３は撮影動作を開始させるための撮影ボタン、７０４はファインダー窓、７０５はフラッシュ発光部である。

図７(Ｂ)には、撮像装置を搭載した電子機器であるパーソナルコンピュータを示している。７１０はコンピュータ本体、７１１は本体７１０に対して開閉可能なディスプレイ部である。ディスプレイ部７１１の上部には、撮像装置７１２が上下に回転可能に取り付けられている。７１３は図２に示した撮像系である。

なお、図７(Ｂ)に示したコンピュータ以外に、携帯電話、ＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ)その他の各種電子機器に実施例１の撮像装置を搭載することができる。

本発明の実施例１である画像処理部を備えた撮像装置の構成を示すブロック図。 実施例１の撮像装置における撮像系の構成を示す模式図。 実施例１の撮像系を構成する撮像素子の配列を示す図。 実施例１の画像処理部で生成される合成画像の画素配列を示す図。 視差量と合成係数との関係を示すグラフ。 実施例１の撮像装置の動作を示すフローチャート。 本発明の実施例２である撮像装置およびこれを搭載した電子機器を示す概略図。 従来の複眼撮像装置の構成を示すブロック図。 被写***置と合成画像上での画像ずれとの関係を示す模式図。 輻輳角と被写体撮像位置のずれとの関係を示す模式図。 被写体距離と被写体撮像位置のずれ量との関係を示すグラフ。

符号の説明

１０１〜１０４ 撮影光学系(複眼光学系)
１０５〜１０８ 撮像素子
２０１ 絞り
７０１ カード型カメラ
７１０ パーソナルコンピュータ

Claims (10)

1. 複数の入力画像の画素情報に基づいて単一画像を生成する画像処理装置であって、
   前記単一画像における少なくとも一部の画素を、前記複数の入力画像のうち少なくとも２つの入力画像の画素情報を合成して得る合成手段を有し、
   該合成手段は、前記入力画像間の視差に関する情報に基づいて前記画素情報の合成比率を変更することを特徴とする画像処理装置。
2. 前記単一画像は、第１の入力画像の画素情報に対応する画素と、該第１の入力画像および第２の入力画像の画素情報を合成して得られた画素とを含み、
   前記合成手段は、前記第１および第２の入力画像の画素情報間の合成比率を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記視差が大きいほど前記第１の入力画像の画素情報に対する前記第２の入力画像の画素情報の合成比率を小さくすることを特徴とする請求項２に記載の画像処理装置。
4. 複数の入力画像の画素情報に基づいて単一画像を生成する画像生成手段を有し、
   該画像生成手段は、前記入力画像間の視差に関する情報に基づいて、前記単一画像の生成方法を変更することを特徴とする画像処理装置。
5. 前記画像生成手段は、前記視差がない又は所定値より小さい場合は、前記単一画像の各画素を前記各入力画像の画素情報に対応した画素とし、前記視差がある又は前記所定値より大きい場合は、前記単一画像における少なくとも一部の画素を、前記複数の入力画像のうち少なくとも２つの入力画像の画素情報を合成して得ることを特徴とする請求項４に記載の画像処理装置。
6. 前記視差に関する情報を取得する視差取得手段を有することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 複眼光学系と、
   該複眼光学系により形成された複数の被写体像を光電変換する撮像素子と、
   該撮像素子からの出力に基づいて生成された複数の入力画像の画素情報に基づいて単一画像を生成する請求項１から６のいずれか１つに記載の画像生成装置とを有することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置を有することを特徴とする電子機器。
9. 複数の画像の画素情報に基づいて単一画像を生成する、コンピュータ上で動作する画像処理プログラムであって、
   前記複数の画像を入力するステップと、
   前記単一画像における少なくとも一部の画素を、前記複数の入力画像のうち少なくとも２つの画像の画素情報を合成して得る合成ステップと、
   前記入力画像間の視差に関する情報を取得するステップとを有し、
   前記合成ステップにおいて、前記視差に関する情報に基づいて前記画素情報の合成比率を変更することを特徴とする画像処理プログラム。
10. 複数の画像を入力するステップと、
    該複数の入力画像の画素情報に基づいて単一画像を生成する画像生成ステップと、
    前記入力画像間の視差に関する情報を取得するステップとを有し、
    前記画像生成ステップにおいて、前記視差に関する情報に基づいて、前記単一画像の生成方法を変更することを特徴とする、コンピュータ上で動作する画像処理プログラム。