JP2008053787A - 多眼電子カメラ及び多眼電子カメラの視差補正方法 - Google Patents

Abstract

【課題】撮影条件の異なる複数のカメラを有する多眼電子カメラにおいて、被写体を撮像する電子カメラを切り替えたときにも注目している被写体に対して視差の影響を減らした画像を得ることができる多眼電子カメラを提供する。
【解決手段】撮影条件が異なる複数のカメラによって撮像された同一の被写体の像の間に生じる視差を算出する視差算出手段５０と、視差算出手段５０に基づき複数のカメラの少なくとも１つに補正を行い他のカメラとの視差を低減させる補正を行う視差補正手段６０とを備える多眼電子カメラ。
【選択図】図１

Description

本発明は、多眼電子カメラ及び多眼電子カメラの視差補正方法に関し、特に多眼電子カメラの視差の算出及び視差の補正方式に関する。

カメラを用いて被写体を撮影する際に焦点距離、ズーム、フォーカス、及びフィルタ等の撮影条件を変更し同じ場所で撮影条件の異なる数種類の画像を撮影する場合がある。撮影条件は異なるが同じ場所の画像を得る際の撮影方法は、１台のカメラを用いて、撮影ごとに撮影条件を変更し撮影を繰り返し行う方法と、撮影条件の異なる複数のカメラを用いて撮影ごとにカメラを変えて撮影を行う方法がある。

１台のカメラで撮影条件を変更する方法は、焦点距離が可変であるズームレンズを用いることにより焦点距離を変更する方法が広く使われている。１台のカメラで撮影条件を変更する方法は、１枚目を撮影の後、撮影条件を変更し再度撮影を行う場合、例えば移動体を撮影する場合には、同じ位置の画像を得られないという問題点があった。

もう一方の撮像条件の異なる複数のカメラを使う方法には、例えば焦点距離が異なる複数のカメラを使い、カメラを切り替えることによって焦点距離を変更する方法がある。この複数の撮影条件の異なる光学系を一つのカメラに搭載したハイブリッドカメラの技術が特許文献１に記載されている。特許文献１に記載の技術は、ビューファインダと電子画像用の光学系を有し、ハイブリッドカメラで画像を取得し、液晶表示の所定のセグメントをマスクすることによって、水平方向及び垂直方向の視差を補正するものである。
特開平１０−２３９７６５号公報

しかしながら、カメラから被写体までの距離が近距離と遠距離の２種類に分けられていた。すなわち、視差を補正するマスクパターンが近距離の場合と遠距離の場合の２種類しかなく、距離に応じた細かな補正ができないという問題点があった。視差はカメラの撮像素子と被写体までの距離によって生じる。すなわち、被写体が遠距離にある場合は、視差は小さく、画像上のずれは小さい。一方、被写体が近距離にある場合は、視差は大きく画像上のずれが大きくなってしまう。

カメラの撮像素子と被写体までの距離によって視差ができてしまう場合を図８及び図９で説明する。図８及び図９は第１カメラと第２カメラを搭載したハイブリッドカメラで撮影された画像の模式図で、山などの背景を想定した遠景と、注目している被写体として人物を想定した近影を同時に撮影したものである。図８は、第１カメラのイメージセンサの出力である。近景９００と遠景９０１とが撮影されている。

図９は第２カメラのイメージセンサの出力画像であって近景９００と遠景９０１とが撮影されている。第２カメラは第１カメラと略同一方向を向いているため、遠景９０１の視差は小さく第１カメラの画像の遠景９０１と略同一位置にある。それに対して近景９００は視差の影響を受けているため、第１カメラの画像の近景９００とずれた位置にある。

このような状態で第１カメラと第２カメラとを切り替えると、遠景は視差の影響が小さくずれが略ないのに対して、近景は視差の影響が大きいため、注目している第１カメラの近景９００と第２カメラの近景９００とののずれが大きくなるという問題点があった。本発明は、上記問題点を解決するものであり、撮影条件の異なるカメラで撮影を行う際に生じる視差を感じにくくしたカメラを提供することを目的とする。

本発明の第１の態様に係る多眼電子カメラにおいては、撮影条件が異なる複数のカメラによって撮像された同一の被写体の像の間に生じる視差を算出する視差算出手段と、前記視差算出手段に基づき前記複数のカメラの少なくとも１つに補正を行い他のカメラとの視差を低減させる補正を行う視差補正手段とを備える。視差算出手段で同一被写体の像の間に生じる視差を算出し、この算出された視差に基づき視差補正手段によって視差を補正することにより、同一の被写体の像の間に生じる視差を抑制した画像を得ることができる。

本発明の第２の態様に係る多眼電子カメラにおいては、上述の多眼電子カメラであって、前記撮影条件が異なる複数のカメラは、焦点距離、フォーカス距離、絞り、シャッター速度、撮影タイミング、フィルタのうち１つ又は複数が異なることを特徴とするものである。

本発明の第３の態様に係る多眼電子カメラにおいては、上述の多眼電子カメラであって、前記複数のカメラは前記被写体と前記カメラとの距離を測定する距離測定手段を有することを特徴とするものである。この距離測定手段により被写体とカメラ間との距離を測定し、この距離に基づき視差を算出するものである。

本発明の第４の態様に係る多眼電子カメラにおいては、第３の態様に係る多眼電子カメラであって、前記多眼電子カメラは、第１のレンズ及び第１の撮像面とを備える第１のカメラと、第２のレンズ及び第２の撮像面とを備える第２のカメラとを有し、前記視差算出手段は、前記被写体、前記第１のレンズ及び前記第２のレンズによって形成される第１の三角形と相似である前記第２のレンズと前記第２の撮像面上の２点から形成される第２の三角形を利用して前記視差を算出することを特徴とするものである。第１の三角形と第２の三角形の相似を利用することができるため、第１のカメラの撮影のみで、第１カメラ及び第２カメラの視差を算出することができる。

本発明の第５の態様に係る多眼電子カメラにおいては、第４の態様に係る多眼電子カメラであって、前記第２の三角形は、前記第１の三角形の前記被写体と前記第１のレンズとを結ぶ辺と平行な辺と、前記第１の三角形の前記被写体と前記第２のレンズとを結ぶ辺と平行な辺とを有することを特徴とするものである。

本発明の第６の態様に係る多眼電子カメラにおいては、第２の態様に係る多眼電子カメラであって、前記視差算出手段は、前記複数のカメラで撮像された複数の画像のうちの１つを第１の画像とし、前記第１の画像に第１の所定領域を設定し、前記複数の画像のうち、前記第１の画像とは異なる第２の画像に前記第１の所定領域に対応する第２の所定領域を設定し、前記第１の所定領域から算出されるパラメータと前記第２の所定領域から算出されるパラメータから前記視差を算出することを特徴とするものである。

本発明の第７の態様に係る多眼電子カメラにおいては、第６の態様に係る多眼電子カメラであって、前記第２の所定領域は、前記第２の画像上で水平に移動させ、移動先の前記第２の所定領域のパラメータを算出し、前記第１の所定領域のパラメータと前記第２の所定領域のパラメータとの差が最小になる前記第２の所定領域を検出し、前記第２の所定領域の移動距離を前記視差とすることを特徴とするものである。

本発明の第８の態様に係る多眼電子カメラにおいては、第６の態様又は第７の態様に係る多眼電子カメラであって、前記第２の所定領域は、前記第２の画像上で垂直方向に移動させ、移動先の前記第２の所定領域のパラメータを算出し、前記第１の所定領域のパラメータと前記第２の所定領域のパラメータとの差が最小になる前記第２の所定領域を検出し、前記第２の所定領域の移動距離を前記視差とすることを特徴とするものである。

本発明の第９の態様に係る多眼電子カメラにおいては、第４乃至第８の態様に係る多眼電子カメラであって、前記視差補正手段は、前記視差算出手段で算出された前記視差に応じてレンズ又は像を撮像するイメージセンサを移動させることを特徴とするものである。

本発明の第１０の態様に係る多眼電子カメラの視差補正方法においては、撮影条件が異なる複数のカメラのうち第１のカメラ及び第２のカメラによって同一の被写体を撮像し、前記第１のカメラによって撮像された第１の画像及び前記第２のカメラによって撮像された第２の画像から前記同一の被写体の像の間に生じる視差を算出し、前記算出された視差に基づき、前記第１のカメラで撮像された第３の画像と前記第２のカメラで撮像された第４の画像の視差を補正する。第１の画像及び第２の画像の被写体の像の間に生じる視差を視差算出手段により算出し、この算出された視差に基づき視差補正手段により補正を行うことにより、撮影条件の異なるカメラで撮影した画像に生じる視差を抑制した画像をえることができる。

本発明の第１１の態様に係る多眼電子カメラの視差補正方法においては、上述の多眼電子カメラの視差補正方法であって、前記第１のカメラは第１のレンズ及び第１の撮像面を有し、前記第２のカメラは第２のレンズ及び第２の撮像面を有し、前記被写体、前記第１のレンズ及び前記第２のレンズによって形成される第１の三角形と相似である前記第２のレンズと前記第２の撮像面上の２点から形成される第２の三角形を利用して前記視差を補正することを特徴とするものである。

本発明の第１２の態様に係る多眼電子カメラの視差補正方法においては、第１０の態様に係る多眼電子カメラの視差補正方法であって、前記第１の画像に第１の所定領域を設定し、前記第２の画像に前記第１の所定領域に対応する第２の所定領域を設定し、前記第１の所定領域から算出されるパラメータと前記第２の所定領域から算出されるパラメータから前記視差を算出し、算出された前記視差に基づき前記第３の画像と前記第４の画像の前記視差を補正することを特徴とするものである。

本発明の第１３の態様に係る多眼電子カメラの視差補正方法においては、上述の多眼電子カメラの視差補正方法であって、前記第３の画像に第３の所定領域を設定し、前記第４の画像に第３の所定領域に対応する第４の所定領域を設定し、算出された前記視差に基づき、前記第４の所定領域を移動させることを特徴とするものである。

本発明に係る撮像装置によれば、複数の電子カメラを切り替えたときにも注目している対象に関して視差の影響を減らした画像を得ることができる。

実施の形態１．
この実施の形態は、本発明を複数の対物レンズを有する多眼電子カメラに適用したものである。以下では、それぞれに対物レンズを有する第１カメラ及び第２カメラの２つのカメラから構成された多眼電子カメラを例として説明する。なお、本実施の形態においては、２つのカメラを有する多眼電子カメラに限定されるわけではなく、複数のカメラを有する多眼電子カメラであればよい。

本実施の形態に係る多眼電子カメラの第１カメラと第２カメラとは、焦点距離、フォーカス距離、絞り値、シャッター速度、撮影タイミング、及び使用フィルタ等の撮影条件が異なるカメラである。第１カメラと第２カメラにより同じ被写体を撮像することによって、略同時に違う撮影条件での撮像を可能としている。しかしながら、略同時に違う撮影条件で被写体を撮像する場合、第１カメラで被写体を撮像したときに得られる画像と第２カメラで被写体を撮像したときに得られる画像とでは視差が生じてしまう。

そのため、本実施の形態では、同時に違う撮影条件での撮像をした場合に、第１カメラで撮影された画像と第２カメラで撮影された画像の視差を抑制するために、第1カメラで撮影した画像と第２カメラで撮影した画像との視差を算出する視差算出手段及び視差算出手段によって算出された視差に基づいて補正を行う視差補正手段を設けた。このことにより、第1カメラで撮影された画像と第２カメラで撮影された画像とにおいて視差が抑制された画像を得ることができる。以下、本実施の形態について、図面を参照しながら詳細に説明する。

図１に本実施の形態にかかる多眼電子カメラ１の概略構成のブロック図を示す。図１に示すように、多眼電子カメラ１は第１カメラ１０、第２カメラ２０、制御部３０、記憶部４０、視差算出手段５０、視差補正手段６０、出力部７０、及び画像切替手段８０とを備える。第１カメラ１０は第１レンズ１１及び第１イメージセンサ１２を有している。また、第２カメラ２０は第２レンズ２１及び第２イメージセンサ２２を有している。ここで、第1カメラ１０と第２カメラ２０とは、第１レンズ１１及び第２レンズ２１と第１イメージセンサ１２及び第２イメージセンサ２２とを示したが、絞りや他の構成を含むものであってもよい。

第１カメラ１０と第２カメラ２０とは、焦点距離、フォーカス距離、絞り、シャッター速度、撮影タイミング、及び使用フィルタ等の撮影条件が異なるカメラ装置である。第１カメラ１０と第２カメラ２０とにより同じ被写体を撮像することによって、同時に同じ被写体の違う撮影条件での撮像を可能としている。第１カメラ１０の第１レンズ１１は第１イメージセンサ１２上に被写体画像を結像させ、第１イメージセンサ１２は画像を記憶部４０に出力する。同様に、第２カメラ２０の第２レンズ２１は第２イメージセンサ２２上に被写体画像を結像させ、第２イメージセンサ２２は画像を記憶部４０に出力する。

本実施の形態に係る多眼電子カメラ１では、第１カメラ１０と第２カメラ２０は同じ筐体内に形成するものとしているが、第１カメラ１０と第２カメラ２０とを別々の筐体に形成された多眼電子カメラとしてもよい。別々の筐体に形成する場合は、第１カメラ１０及び第２カメラ２０とにおいて、第１レンズ１１及び第２レンズ２１を被写体方向に向ける必要がある。

制御部３０は、第１カメラ１０、第２カメラ２０、記憶部４０、視差算出手段５０、視差補正手段６０、出力部７０、及び画像切替手段８０とに信号を与えることによって制御を行う。例えばまず第１カメラ１０で撮影を行う場合は制御部３０は第１カメラ１０に撮影信号を送る。同様に第２カメラ２０で撮影を行う場合は第２カメラ２０に撮影信号を送る。

記憶部４０は、第１カメラ１０で撮影された画像を記憶しておく。この記憶部４０には例えばフラッシュメモリなどが用いられている。視差算出手段５０は、第1カメラ１０で撮影された画像と第２カメラ２０で撮影された画像との視差を算出する。視差補正手段６０は、視差算出手段５０によって算出された視差に基づき画像の補正を行う。視差算出手段５０と視差補正手段６０とについての詳細については後述する。

出力部７０は入力された画像信号を出力する。出力部７０の例としては、カメラに内蔵された液晶表示装置などが挙げられ、出力部７０に入力された画像を液晶表示装置などで出力することによってユーザに取得した画像を認識させることができる。また、出力部７０における画像信号の出力においては、ビデオ信号又はフラッシュメモリ等の記録メディアに出力する等してもよい。

画像切替手段８０は、第1カメラ１０と第２カメラ２０とにおいて撮像を行うカメラを切り替えるためのものである。例えば画像切替手段８０は、切替信号を用いて被写体を撮像するカメラを第1カメラ１０から第２カメラ２０に切り替えたり、第２カメラ２０から第1カメラ１０に切り替えたりする。

本実施の形態に係る多眼電子カメラ１においては、視差算出手段５０と視差補正手段６０とを有している。この視差算出手段５０によって算出された視差に基づいて視差補正手段６０が例えば第1カメラ１０で撮影された画像を基準として、第２カメラ２０で撮影された画像における視差を補正することによって、第２カメラ２０で撮影された画像を視差が抑制された画像とすることができる。このことによって、略同時に違う撮影条件における画像を、視差が抑制された状態で撮影することができる。

次に、この多眼電子カメラ１の動作を説明する。ここでは、第１カメラ１０で撮像された画像である第１の画像を基準画像として、第２カメラ２０で撮像された画像である第２の画像を視差補正手段６０によって補正を行う場合を例として示す。もちろん、第２の画像を基準画像として第１の画像を視差補正手段６０によって補正を行っても良い。

まず、第１カメラ１０の第１イメージセンサ１２で被写体の撮影を行う。このときの撮影は複数回でもよいし１回でもよい。このとき撮影された第１の画像は、そのまま記憶部４０に出力され、記憶部４０に記憶される。そして、記憶部４０に記憶された第１の画像は、出力部７０に出力される。第１カメラ１０によって複数回撮影される場合においては、出力部７０に出力された順番に従って消去していき、最後に入力された画像のみを残すようにするとよい。

次に第２カメラ２０によって被写体の撮影が行われるときには、画像切替手段８０によって、被写体撮影を行うカメラの切替信号が第１カメラ１０と第２カメラ２０に出力される。これにより、被写体を撮影するカメラは第１カメラ１０から第２カメラ２０に切り替えられる。このとき、記憶部４０には、第１カメラ１０によって最後に撮影された画像と、第２カメラ２０によって撮影された第２の画像とが記憶されることになる。なお、被写体の撮影は第１カメラ１０と第２カメラ２０とにおいて常時行っていて、画像切替手段８０によって、記憶部４０に出力される画像のみを変更してもよい。

その後、制御部３０は視差算出手段５０に、記憶部４０から第１の画像又は／及び第２の画像を取り出させる。そして、視差算出手段５０は、第１の画像信号に対する第２の画像信号の視差を算出する。このときの算出においては、第１の画像信号のみを用いて第２の画像信号の視差を算出してもよいし、第１の画像信号と第２の画像信号両方を用いて第２の画像信号の視差を算出してもよい。この算出方法の詳細例については後述する。

この視差算出手段５０によって算出された視差に基づき、視差補正手段６０は第２カメラ２０に補正信号を出力することによって、第２の画像信号の補正を行う。このときの補正方法としては、第２カメラ２０におけるイメージセンサ２２を移動させて行ってもよいし、第１カメラ１０と第２カメラ２０とにおいてイメージセンサ内での出力される範囲を変更することによって行ってもよい。この補正方法の詳細例については後述する。

視差補正手段６０によって視差補正が行われた第２カメラ２０からの画像が記憶部４０に出力される。このとき、記憶部４０に記憶されていた第２の画像は消去されるとよい。そして、制御部３０は記憶部４０から視差補正が行われた第２の画像を出力部７０に出力する。

このとき、画像の出力は、第１カメラ１０で得られた第１の画像と視差補正後の第２カメラ２０の第２の画像とを同時に出力するとよい。また、第１カメラ１０及び第２カメラ２０で略同時に画像を撮影した直後に第１カメラ１０で撮影した画像又は第２カメラ２０で視差補正した画像のみを先に出力させるようにしてもよい。

以上のように、本実施の形態に係る多眼電子カメラにおいては、第１カメラ１０によって撮影された第１の画像と第２カメラ２０によって撮影された第２の画像とを用いることによって、視差算出手段５０によって第１の画像と第２の画像とにおける視差を算出し、この視差に基づいて視差補正手段６０が第２カメラ２０から取得される第２の画像を視差補正された画像とすることによって、略同時に同じ被写体を違う撮影条件で撮影した画像を取得することができる多眼電子カメラを提供することができる。

次に、上述の視差算出方法の例を示す。視差算出方法の第１例としては、カメラと被写体までの距離を利用することによって視差を算出する方法である。すなわち、第１カメラ１０又は第２カメラ２０のどちらか一方のカメラで被写体の撮影を行うことによって、カメラと被写体までの距離を算出する距離算出手段を第１カメラ１０又は第２カメラ２０に有している場合である。この距離算出手段は、例えばオートフォーカス機能などが用いられ、所望の被写体にフォーカスがあうときのフォーカスレンズの位置からカメラから被写体までの距離を算出する。本例では、第１カメラ１０に距離算出手段を有している場合で、第１カメラ１０で先に撮影を行うものとする。

視差算出方法の第１例を説明するために、図２に第１カメラ１０、第２カメラ２０、及び被写体１００の位置の一例を示す。図２に示すように、被写体１００と、第１レンズ１１及び第２レンズ２１を配置する。このとき、第１レンズ１１と被写体１００との距離と、第２レンズ２１と被写体１００との距離とは略同じ距離Ｄになるように配置されている。この距離Ｄは、上述の距離算出手段によって計測されている。また、このときに、第１カメラ１０と第２カメラ２０とは被写体１００の方向に向けられている。

また、第２レンズ２１の焦点距離をｆとする。すなわち、第２カメラ２０において、第２レンズ２１と焦点距離ｆ離れた位置に第２イメージセンサ２２が配置される。そして、第１レンズ１１と第２レンズ２１との距離はＢとする。

このとき第１カメラに対する第２カメラの視差をｄとすると以下の式で表される。

この理由を以下に説明する。まず、被写体１００のある点Ｓが第１レンズ１１によって第１イメージセンサ１２に撮像される点を点Ｘとすると、点Ｘに対応する第２イメージセンサ２２上の点を点Ｖとする。そして、被写体１００のある点Ｓが第２レンズ２１によって第２イメージセンサ２２に撮像される点を点Ｗとする。このとき、視差ｄは、点Ｖと点Ｗの距離になる。

また、点Ｓからの光が第１レンズ１１を通過する点を点Ｔ、点Ｓからの光が第２レンズ２１を通過する点を点Ｕとすると、点Ｕと点Ｖを結ぶ線は、点Ｓと点Ｔ及び点Ｘを結ぶ線と平行になるために、三角形ＳＴＵと三角形ＵＶＷは相似形となる。そのため、Ｂ：ｄ＝Ｄ：ｆとなるために、上述のような式（１）が得られる。

第１レンズ１１と第２レンズ２１との距離Ｂは一定値であり、また、第２レンズ２１の焦点距離ｆも一定値である。すなわち、式（１）により、視差ｄは、第１カメラ１０と第２カメラ２０との視差は被写体８０と、第１カメラ１０及び第２カメラ２０の距離Ｄによって算出される。

すなわち、第１カメラ１０又は第２カメラ２０のどちらか一方で被写体を撮影し、そのときに被写体から第１カメラ１０及び第２カメラ２０までの距離を計測し、式（１）を用いて、第１カメラ１０と第２カメラ２０の視差を算出することができる。この視差を用いることによって、第２カメラ２０によって撮影される画像を視差のないものとすることができる。

次に視差算出方法の第２例としては、指定領域の画像マッチングから視差を求める方法がある。この視差算出方法の例を説明するために、一例として、図３（ａ）に第１カメラ１０によって撮影された第１の画像を示し、そのときに第２カメラ２０によって撮影された第２の画像が図３（ｂ）に示す。本例は、まず、第１カメラ１０で撮影された第１の画像上の注目する被写体の像近傍に指定領域２００を定める。

そして、第２カメラ２０で撮影された第２の画像上の指定領域２００と同じ位置で同じ形状で同じ面積の領域３００を設定する。その後、この領域３００から、指定領域２００と同じ形状で同じ面積の領域４００を第２カメラ２０で撮影された第２の画像上でスキャンする。そして、第１の画像上の指定領域２００内の輝度と第２の画像上の領域４００内の輝度とを比較し、その輝度差が最小になる領域を検索する。輝度はＣＣＤなどの撮像素子によって画素ごとに測定する。

この輝度差が最小となる領域４００が、第１の画像上の指定領域２００に対応する領域と考え、領域３００からの移動距離を視差とするものである。なお、このときには輝度を用いて比較を行ったが、他のパラメータを用いても良い。図３（ａ）及び図３（ｂ）における横方向がｘ方向であり、縦方向がｙ方向である。

次に図３（ａ）及び図３（ｂ）を用いて視差算出方法の第２例について詳細に説明する。図３（ａ）及び図３（ｂ）は、近景５００と遠景６００とを第１カメラ１０と第２カメラ２０とで撮影している。この場合は、被写体として近景５００を注目している。すなわち、視差を計算する際、近景５００の位置補正のための視差を算出する必要がある。

まず、第１カメラ１０によって撮影された第１の画像において、指定領域２００を設定する。図３に示された例においては、指定領域２００を、ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅである、長方形の領域とする。この座標は画素の座標で表されている。また、第１の画像の位置（ｘ、ｙ）における輝度をＬ[ｘ][ｙ]とする。第１の画像の指定領域の輝度は、ΣＬ[ｘ][ｙ]（ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）となる。

次に、第２カメラ２０で撮影した第２の画像上に指定領域２００と同じ位置で同じ形状の領域３００を設定する。この領域３００から、指定領域２００と同じ形状の指定領域をスキャンし、このスキャンされた指定領域における輝度を、ΣＬ[ｘ][ｙ]（ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）と比較する。そして、この輝度の差が最小の領域が指定領域２００に対応する第２の画像上の領域４００とする。そして、この領域４００と領域３００との距離が視差となる。

この視差の算出方法においては、まず、第２の画像の位置（ｘ、ｙ）における輝度をＲ[ｘ][ｙ]とすると、指定領域２００と同じ位置における領域３００の輝度ΣＲ[ｘ][ｙ] （ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）を算出する。そして、このΣＲ[ｘ][ｙ] （ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）とΣＬ[ｘ][ｙ]（ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）との差を算出する。

次に、第２の画像の指定領域をｘ方向にｄ１移動させる。移動先の第２の画像上の所定領域の輝度は、ΣＲ[ｘ−ｄ１][ｙ] （ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）と表される。そして、第１の画像の輝度ΣＬ[ｘ][ｙ]（ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）と移動先の第２の画像の所定領域の輝度ΣＲ[ｘ−ｄ１][ｙ] （ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）の差を算出する。このように、第２の画像の所定領域をｘ方向にｄ１移動させて、指定領域の輝度差を算出する。そして、第１の画像の輝度値と第２の画像の輝度値が最も小さくなる領域を検索する。以下に、各指定領域の輝度差Δを算出するための式を示す。

この式を用いることによって、ｄ１を変化させていき、この輝度差Δが最小となるときのｄ１を算出する。このｄ１が第１の画像と第２の画像における視差となる。

本例ではｘ方向のみに指定領域を移動させて輝度差を算出したが、ｙ方向もｘ方向と同様にして輝度差を算出することによって視差を算出してもよい。算出された各指定領域の輝度差が最小となるときが最もマッチングがとれているときであり、このときのｘ方向の移動距離ｄ１が第１カメラ１０と第２カメラ２０の視差である。

すなわち、第２カメラ２０の画像の指定領域内の輝度の和ΣＲ[ｘ−ｄ1][ｙ] （ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）と、第１カメラ１０の画像の指定領域内の輝度の和ΣＬ[ｘ][ｙ] （ｘｓ≦ｘ≦ｘｅ、ｙｓ≦ｙ≦ｙｅ）との差が最小である領域は輝度差が少なく、第１カメラ１０の画像と第２カメラ２０の画像とがマッチングしており、そのときのｘ方向の移動距離であるｄ１が、第１カメラ１０と第２カメラ２０との視差である。

一般に注目している被写体は中央付近の一番手前にあることが多いので、中央付近の指定領域の画像マッチングをとることが好ましいことが多いが、被写体によって適切な位置を選んでもよい。また、画像の倍率や露出等はマッチングが行いやすいように適切に補正を行うことが好ましい。

以上のような方法を用いることによって、視差算出手段５０は、第１の画像と第２の画像とにおける視差を算出する。このようにして視差算出手段５０によって算出された視差に基づいて視差補正手段６０は、第２カメラ２０から出力される第２の画像を補正する。この視差補正手段６０の例として、以下に二つの例を示す。

まず、視差補正手段６０の第１例としては、視差算出手段５０によって算出された視差に基づき、第２カメラ２０の第２イメージセンサ２２を第２カメラ２０内で移動させることによって第２カメラ２０によって撮影される第２の画像を補正する方法がある。本例で使用する多眼電子.カメラ１は、視差補正手段６０が、第２レンズ２１に対して第２イメージセンサ２２を平行移動させる機構となる。

このイメージセンサの平行移動の手段としては、ボイスコイル又はステッピングモータ等が利用できる。すなわち、視差補正手段６０として、ボイスコイル又はステッピングモータ等を用いて、視差算出手段５０によって算出された視差を表す信号が入力されたときにイメージセンサを移動させている。

本例においては、第２カメラ２０の第２イメージセンサ２２を移動させるものとする。なお、補正を行う画像を第１の画像とした場合には、第１カメラ１０のイメージセンサ１２を移動させる。

図４に本例における第２イメージセンサ２２が平行移動する場合の概略図を示す。本例は、図４に示すように、視差算出手段５０によって算出された視差に基づき、第２イメージセンサ２２を移動させている。この第２イメージセンサ２２を移動させた状態で、第２レンズ２１を透過した被写体の像が撮像される。上下方向の矢印は第２イメージセンサ２２の移動方向を示している。このようにすることによって、第２カメラ２０から出力される第２の画像は、視差が補正された画像とすることができる。

上述した視差算出方法の第１例を用いて視差を算出し補正を行う場合について説明する。図５（ａ）に第１カメラ１０によって撮影された第１の画像を示し、図５（ｂ）に第２カメラ１０によって撮影された第２の画像を示す。

まず、第１カメラ１０で被写体である近景５００及び遠景６００を撮影する。このとき、視差算出方法の第１例を用いて、視差算出手段５０は、被写体の近景５００と第１カメラ１０との距離を求めることによって、第１カメラ１０によって撮影された第１の画像と第２カメラ２０によって撮影された第２の画像との視差を算出する。この視差算出手段５０によって算出された視差に基づいて、視差補正手段６０は、第２カメラ２０内の第２イメージセンサ２２を移動させる。

その後、第２カメラ２０によって、被写体を撮影する。このときの第２カメラ２０によって撮影された第２の画像が図５（ｂ）の実線で囲まれた画像となる。第２カメラ２０の第２イメージセンサ２２は既に補正済みであるため、第２カメラ２０で撮影された画像における注目すべき被写体である近景５００の位置は、第１カメラ１０で撮影された画像における近景５００の位置と略同一とすることができる。

次に、視差算出方法の第２例を用いて視差を算出し補正を行う場合について説明する。図５（ａ）に第１カメラ１０で撮影された画像、及び図５（ｂ）に第２カメラ２０で撮影された画像を示す。まず第１カメラ１０と第２カメラ２０とで被写体である近景５００と遠景６００とを撮影する。このとき第１カメラ１０で撮影された画像が図５（ａ）に示された画像であり、第２カメラ２０で撮影された画像が図５（ｂ）に点線で囲まれた領域の画像となる。

この二つの画像に基づいて視差算出方法の第２例を用いて視差算出手段５０は、視差を算出する。そして、視差算出手段５０によって算出された視差に基づき、視差補正手段６０は、第２カメラ２０の第２イメージセンサ２２を移動させる。

視差補正手段６０によって、第２カメラ２０の第２イメージセンサ２２を移動させた状態で、被写体を撮影した画像が、図５（ｂ）に実線で囲まれた領域の画像となる。このようにすることによって、第２カメラ２０で撮影された画像における注目すべき被写体である近景５００の位置は、第１カメラ１０で撮影された画像における近景５００の位置と略同一とすることができる。

すなわち、本例は第１カメラ１０で撮影される第１の画像と第２カメラ２０で撮影される第２の画像との視差を抑制するために、第２カメラ２０で一度試し撮りを行うことになる。本例ではイメージセンサを移動させるものとしたが、第１カメラ１０の第１レンズ１１、又は第２カメラ２０の第２レンズ２１を移動させ、補正を行ってもよい。本例で使用するイメージセンサを移動させる方法は、手ぶれ防止の方法として広く使用されている。

次に、視差の補正方法の第２例を示す。この視差補正方法の第２例は、撮影された領域のうち指定領域のみを出力する方法である。図６（ａ）及び図６（ｂ）に本例における撮影可能領域の一部分のみを出力する場合の概略図を示す。図６（ａ）に示すように、まず第１のカメラで被写体をカバーする大きな領域を撮影する。この大きな領域は図６（ａ）の実線で囲んだ領域である。この大きな領域内で被写体を含むように所定領域を定める。所定領域は図６（ａ）の点線で囲まれた領域である。そして、図６（ｂ）に示すように、この所定領域のみを出力画像として出力する。

次に、第２のカメラでも同様の被写体を撮影して、第１のカメラの所定領域と同じ位置、同じ面積、及び同じ形状の所定領域を定め、この第２の画像の所定領域を算出された視差に基づき移動させて出力する。本例においては、まず第１カメラ１０で被写体を撮影して第２カメラの画像を視差に基づき移動させるものとするが、最初に第２カメラで被写体を撮影して、第１カメラ１０の画像を視差に基づき移動させてもよい。

まず、上述した視差算出方法の第１例を用いて視差を算出し補正を行う場合について説明する。図７（ａ）及び図７（ｂ）に第１カメラ１０及び第２カメラ２０で撮影した画像を示す。まず、図７（ａ）に示すように、第１カメラ１０で近景５００及び遠景６００を撮影する。そして、近景５００及び遠景６００を含むように所定領域７００を設定する。このとき、視差算出方法の第１例を用いて、視差算出手段５０は、被写体の近景５００と第１カメラ１０との距離を求めることによって、第１カメラ１０によって撮影された第１の画像と、第２カメラ２０によって撮影された第２の画像との視差を算出する。

次に、図７（ａ）及び図７（ｂ）に示すように、第２カメラ２０で第１カメラ１０と同一の被写体を撮影する。このとき、第１の画像の所定領域７００と同じ位置、同じ形状、及び同じ面積の第２の画像の所定領域８００を設定する。そして、視差算出手段５０によって算出された視差に基づいて、視差補正手段６０は、第２の画像の所定領域８００を移動させて、出力する。このとき出力する画像は、図８（ｂ）に示す小枠の実線で囲まれた領域である。これにより、第２カメラ２０で撮影された画像における注目すべき被写体である近景５００の位置は、第１カメラ１０で撮影された画像における近景５００の位置と略同一とすることができる。

次に視差算出方法の第２例を用いて視差を算出し補正を行う場合について説明する。図７（ａ）に第１カメラ１０で撮影した画像、及び図７（ｂ）に第２カメラで撮影した画像を示す。まず、第１カメラ１０と第２カメラ２０とで被写体である近景５００と遠景６００とを撮影する。このとき第１カメラ１０で撮影された画像が図７（ａ）に示された画像であり、第２カメラ２０で撮影された画像が図７（ｂ）の大枠の実線で囲まれた領域である。

そして、第１の画像の所定領域７００及び第２の画像の所定領域８００を設定する。このとき、第１の画像の所定領域７００は図７（ａ）の点線で囲まれた領域である。そして、第２の画像の所定領域８００は図７（ｂ）の点線で囲まれた領域である。そして、この２つの画像に基づいて視差算出方法の第２例を用いて視差算出手段５０は、視差を算出する。そして、視差算出手段５０によって算出された視差に基づき、視差補手段６０は第２の画像の所定領域８００を移動させる。

ここで、移動させた第２の画像は図７（ｂ）の小枠の実線で囲まれた領域である。これにより、第２カメラ２０で撮影された画像における注目すべき被写体である近景５００の位置は、第１カメラ１０で撮影された画像における近景５００の位置と略同一とすることができる。

以上に示したように、本例にかかる多眼電子カメラは、それぞれに対物レンズを有する複数のカメラを有し、それぞれのレンズにおいて取り込まれた画像の視差を算出し、算出された視差に基づき、視差を補正するものである。距離情報又は画像マッチングによって算出している。この視差に応じて撮像素子又はレンズを移動させる、又は撮像素子の撮影位置を変更することによって、カメラを切替たときに生じる被写体における視差を修正している。

また、これまでの説明においては、第１カメラの焦点距離と第２カメラの焦点距離は同じものとして説明したが、本発明は第１カメラと第２カメラの焦点距離が異なるものであってもよい。第１カメラの焦点距離と第２カメラの焦点距離が異なる場合は、第１カメラの画像及び／又は第２カメラの画像を焦点距離に応じて拡大縮小を行い、第１カメラの画像と第２カメラの画像の大きさを一致させる。これにより、第１カメラの焦点距離と第２カメラの焦点距離が同じ場合と同様に扱うことができる。

このようにすることによって、被写体を撮影するレンズを切り替えて撮影したときに、それぞれのレンズによって撮影される画像における視差の影響を減らした画像を得ることができる。すなわち、注目している被写体のずれを低減することにより、画像のずれの影響を感じにくくなる。また、撮影条件の異なるカメラで撮影した場合に視差のない画像を得られれば、今後小型カメラモジュールを複数組み合わせた製品を開発する際に有用に利用することができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本実施の形態のカメラのブロック図である。 本実施の形態の視差を算出する方法を示す概略図である。 本実施の形態の視差を算出する方法を示す概略図である。 本実施の形態の視差を補正する方法を示す概略図である。 本実施の形態の視差の補正を示す概略図である。 本実施の形態の視差の補正を示す概略図である。 本実施の形態の視差を補正する方法を示す概略図である。 ハイブリッドカメラの第１カメラで撮影された画像の模式図である。 ハイブリッドカメラの第２カメラで撮影された画像の模式図である。

符号の説明

１０ 第１カメラ １１ 第１レンズ １２ 第１イメージセンサ
２０ 第２カメラ ２１ 第２レンズ ２２ 第２イメージセンサ
３０ 制御部 ４０ 記憶部 ５０ 視差算出手段 ６０ 視差補正手段 ７０ 出力部
８０ 画像切替手段 ２００、７００、８００ 所定領域
３００、４００ 領域 ５００、９００ 近景 ６００、９０１ 遠景

Claims (13)

1. 撮影条件が異なる複数のカメラによって撮像された同一の被写体の像の間に生じる視差を算出する視差算出手段と、
   前記視差算出手段に基づき前記複数のカメラの少なくとも１つに補正を行い他のカメラとの視差を低減させる補正を行う視差補正手段とを備えた多眼電子カメラ。
2. 前記撮影条件が異なる複数のカメラは、焦点距離、フォーカス距離、絞り、シャッター速度、撮影タイミング、フィルタのうち１つ又は複数が異なる
   ことを特徴とする請求項１に記載の多眼電子カメラ。
3. 前記複数のカメラは前記被写体と前記カメラとの距離を測定する距離測定手段を有する
   ことを特徴とする請求項１又は２記載の多眼電子カメラ。
4. 前記多眼電子カメラは、
   第１のレンズ及び第１の撮像面とを備える第１のカメラと、
   第２のレンズ及び第２の撮像面とを備える第２のカメラとを有し、
   前記視差算出手段は、前記被写体、前記第１のレンズ及び前記第２のレンズによって形成される第１の三角形と相似である前記第２のレンズと前記第２の撮像面上の２点から形成される第２の三角形を利用して前記視差を算出する
   ことを特徴とする請求項３記載の多眼電子カメラ。
5. 前記第２の三角形は、
   前記第１の三角形の前記被写体と前記第１のレンズとを結ぶ辺と平行な辺と、
   前記第１の三角形の前記被写体と前記第２のレンズとを結ぶ辺と平行な辺とを有する
   ことを特徴とする請求項４記載の多眼電子カメラ。
6. 前記視差算出手段は、
   前記複数のカメラで撮像された画像を第１の画像とし、
   前記第１の画像に第１の所定領域を設定し、
   前記複数の画像のうち、前記第１の画像とは異なる第２の画像に前記第１の所定領域に対応する第２の所定領域を設定し、
   前記第１の所定領域から算出されるパラメータと前記第２の所定領域から算出されるパラメータから前記視差を算出する
   ことを特徴とする請求項２記載の多眼電子カメラ。
7. 前記第２の所定領域は、
   前記第２の画像上で水平に移動させ、移動先の前記第２の所定領域のパラメータを算出し、
   前記第１の所定領域のパラメータと前記第２の所定領域のパラメータとの差が最小になる前記第２の所定領域を検出し、前記第２の所定領域の移動距離を前記視差とする
   ことを特徴とする請求項６記載の多眼電子カメラ。
8. 前記第２の所定領域は、
   前記第２の画像上で垂直方向に移動させ、移動先の前記第２の所定領域のパラメータを算出し、
   前記第１の所定領域のパラメータと前記第２の所定領域のパラメータとの差が最小になる前記第２の所定領域を検出し、前記第２の所定領域の移動距離を前記視差とする
   ことを特徴とする請求項６又は７記載の多眼電子カメラ。
9. 前記視差補正手段は、
   前記視差算出手段で算出された前記視差に応じてレンズ又は像を撮像するイメージセンサを移動させる
   ことを特徴とする請求項４乃至８のいずれか１項記載の多眼電子カメラ。
10. 撮影条件が異なる複数のカメラのうち第１のカメラ及び第２のカメラによって同一の被写体を撮像し、
    前記第１のカメラによって撮像された第１の画像及び前記第２のカメラによって撮像された第２の画像から前記同一の被写体の像の間に生じる視差を算出し、
    前記算出された視差に基づき、前記第１のカメラで撮像された第３の画像と前記第２のカメラで撮像された第４の画像の視差を補正する多眼電子カメラの視差補正方法。
11. 前記第１のカメラは第１のレンズ及び第１の撮像面を有し、
    前記第２のカメラは第２のレンズ及び第２の撮像面を有し、
    前記被写体、前記第１のレンズ及び前記第２のレンズによって形成される第１の三角形と相似である前記第２のレンズと前記第２の撮像面上の２点から形成される第２の三角形を利用して前記視差を補正する
    ことを特徴とする請求項１０記載の多眼電子カメラの視差補正方法。
12. 前記第１の画像に第１の所定領域を設定し、
    前記第２の画像に前記第１の所定領域に対応する第２の所定領域を設定し、
    前記第１の所定領域から算出されるパラメータと前記第２の所定領域から算出されるパラメータから前記視差を算出し、
    算出された前記視差に基づき前記第３の画像と前記第４の画像の前記視差を補正する
    ことを特徴とする請求項１０記載の多眼電子カメラの視差補正方法。
13. 前記第３の画像に第３の所定領域を設定し、
    前記第４の画像に第３の所定領域に対応する第４の所定領域を設定し、
    算出された前記視差に基づき、前記第４の所定領域を移動させる
    ことを特徴とする請求項１０乃至１２のいずれか１項記載の多眼電子カメラの視差補正方法。
    

Images