JP6421992B2 - 高解像度立体撮像装置 - Google Patents

Description

本発明は、装置の小型化と高解像度の立体映像の取得を可能にする撮像装置に関する。

近年、映像制作や医療応用等の分野では高画質が求められている。例えば、映像制作用カメラや硬性内視鏡用カメラ（ロッドレンズを含む軸部の後方に内視鏡用カメラがあるもの。）は、従来のハイディフィニション（１９２０画素×１０８０画素）を大きく超え、水平解像度４０００画素クラスや８０００画素クラスへと高解像度化が進んでいる。

一方で、カメラの操作性や機動性を向上させる目的でカメラの小型化が求められている。

なお、従来の技術では、実用的なＦ値で水平解像度８０００画素クラスのものだと、水平寸法１２ｍｍ程度が小型化の限界であった。

特開２０１０−２５３１５５号公報

特開２０１０−２５３１５６号公報

特開２０１０−２８４３６９号公報

特開２０１４−０７６１９２号公報

Ｙ．Ｋｕｒｏｋｉ，"Ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｍｏｔｉｏｎ ｉｍａｇｅ ｑｕａｌｉｔｙ Ｂｙ ｕｓｉｎｇ ｈｉｇｈ ｆｒａｍｅ Ｒａｔｅ ｆｒｏｍ ｓｈｏｏｔｉｎｇ ｔｏ ｄｉｓｐｌａｙｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄｉｓｐｌａｙ Ｗｏｒｋｓｈｏｐ（２００９），ｐｐ．５７７−５８０．

図１は、ＭＴＦの周波数特性を示す式であり（テレビジョンカメラの設計技術、映像情報メディア学会、コロナ社、ｐ．１１５、１９９９）、図２は、この式で表されるＭＴＦの周波数特性を示すグラフである。

ここで、図２に示す曲線は、回折現象による解像の限界を表しており、それより下側であれば解像可能であることを表している。例えば、Ｆ値４の場合には、画素１．５μｍ程度が解像の限界ということになる。

しかしながら、Ｆ値４での撮像において、画素サイズ１．５μｍの画素を水平に８０００個配置して水平解像度を８０００画素とした場合、その水平寸法は１２ｍｍとなってしまうため、一般に直径１０ｍｍが許容サイズとされる軟性内視鏡用カメラ（フレキシブルな軸部の先端に内視鏡用カメラがあるもの。）や、さらなる小型化が要求される携帯電話機の小型カメラ等に応えられるほどの小型化はできなかった。

また、特に医療用映像等の分野では、高解像度の立体映像の必要性は切実であるにもかかわらず、水平８０００画素オーダーの高解像度の立体映像を取得することができるカメラとなると、十分に小型化することはできなかった。

このように、水平８０００画素オーダーの高精細化や立体映像化は、軟性内視鏡用カメラや携帯電話機の小型カメラ等でその必要性は認められつつも、カメラを小型化するには限界があるため、それらを実現することができないという問題があった。

本発明は、このような問題に鑑みてなされたものであり、装置の小型化を可能にするとともに、イメージセンサは小型のままで高解像度の立体映像の取得を可能にする撮像装置を提供することを目的とするものである。

本発明は、上記目的を達成するために、
カメラシャーシの内側部において対向する位置に配置された圧電素子と弾性体とに支持され、当該圧電素子の動作に連動して振動するマイクロレンズアレイと、
前記マイクロレンズアレイの後方に配置され、前記マイクロレンズアレイを通過した光の像を連続撮像するイメージセンサを有するイメージセンサ撮像部と、
前記圧電素子の圧縮時及び伸長時のタイミングを前記イメージセンサの撮像のタイミングに同期させる制御信号を発生するタイミング発生回路と、
前記イメージセンサで撮像された画像のうち、偶数番目の第１の画像及びそれに続く奇数番目の第２の画像の２つの画像に基づいて第３の画像を合成する第１の信号処理部と、
前記第３の画像を左右半分又は上下半分のいずれかに分割して２つの画像を得たのち、一方の画像に基づいて左目用の視差画像を生成し、他方の画像に基づいて右目用の視差画像を生成する第２の信号処理部と、
前記視差画像の立体知覚が可能なフレーム周波数に対応した出力制御処理を行う画像出力部と、
を備えることを特徴とする。

本発明によれば、装置の小型化を可能にするとともに、高解像度の立体映像を取得することができる。

ＭＴＦの周波数特性を示す式である。 ＭＴＦの周波数特性を示すグラフである。 本発明の機能的な構成を示すブロック図である。 マイクロレンズアレイの構成図である。 圧電素子の動作を示すタイミングチャートである。 マイクロレンズアレイを通過した光が結像する位置を説明するための説明図である。 第１の画像と第２の画像のそれぞれの画素の配列について説明するための説明図である。 第１の画像と第２の画像をもとに第３の画像を合成した第１の例を示す説明図である。 第１の画像と第２の画像をもとに第３の画像を合成した第２の例を示す説明図である。 第３の画像２２から視差画像２５、２６を生成する方法の説明図である。 １つのレンズで立体画像を取得する原理を説明するための説明図である。 Ｂｌｏｃｈの法則と呼ばれるヒトの視覚特性を示す式である。 本発明の撮像処理の手順を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。なお、本発明は以下の記述のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

図３は、本発明に係る撮像装置１００の機能的な構成を示すブロック図である。図３に示すように、撮像装置１００は、イメージセンサ撮像部２７、マイクロレンズアレイ駆動部３１、信号処理部３５及び画像出力部３８を備える。

イメージセンサ撮像部２７は、イメージセンサ９、イメージセンサ用駆動回路２８、タイミング判定回路１４、第１の記憶回路２９及び第２の記憶回路３０を備える。

イメージセンサ９は、受光した光の像を撮像する撮像素子であり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。イメージセンサ９で撮像される画素は正方画素となる。イメージセンサ９はイメージセンサ用駆動回路２８からの制御信号に基づいて動作する。

タイミング判定回路１４は、イメージセンサ９で撮像された画像が、時系列画像のうちの偶数番目の画像１８であるか又は奇数番目の画像１９であるかを判定するための回路である。

第１の記憶回路２９は、イメージセンサ９で撮像された時系列画像のうち、偶数番目の画像１８を記憶するための回路である。第１の記憶回路２９に画像が記憶される際には、水平方向及び垂直方向のそれぞれの画素は、偶数番目の画素として記憶される。

第２の記憶回路３０は、イメージセンサ９で撮像された時系列画像のうち、奇数番目の画像１９を記憶するための回路である。第２の記憶回路３０に画像が記憶される際には、水平方向及び垂直方向のそれぞれの画素は、奇数番目の画素として記憶される。

したがって、上述したイメージセンサ撮像部２７の構成によれば、イメージセンサ９で撮像された画像を、タイミング判定回路１４において偶数番目の画像１８であるか又は奇数番目の画像１９であるか判定し、偶数番目の画像１８については、その水平方向及び垂直方向のそれぞれの画素は偶数番目の画素として第１の記憶回路２９に記憶し、奇数番目の画像１９については、水平方向及び垂直方向のそれぞれの画素は奇数番目の画素として第２の記憶回路３０に記憶することができる。

次に、マイクロレンズアレイ駆動部３１は、カメラシャーシ８、マイクロレンズアレイ１０、ガイド１１、弾性体１３、圧電素子１２、圧電素子駆動回路３４及びタイミング発生回路３３を備える。

マイクロレンズアレイ１０は、入射光の経路をシフトさせるための光路変調素子であり、複数のマイクロレンズを配列した個体の板状部材である。マイクロレンズアレイ１０は、ガラスや樹脂性のように光学的な性質が固定のものであっても、液晶レンズのように光学的な性質が可変で制御可能なものであってもよい。

図４は、マイクロレンズアレイ１０の構成図である。左図は光軸の光入射側から見た正面図、右図はそのＡＡ断面図である。

マイクロレンズアレイ１０は、図４の正面図に示すように、カメラシャーシ８の内側に配置され、カメラシャーシ８の内側の対向する位置に設けられた圧電素子１２と弾性体１３により支持されている。マイクロレンズアレイ１０は圧電素子１２に接合固定されているため、圧電素子１２が動作するとマイクロレンズアレイ１０もそれに連動して振動する。

また、図４の側面図に示すように、マイクロレンズアレイ１０の後方にはイメージセンサ９が配置され、マイクロレンズアレイ１０を通過した光がイメージセンサ９の撮像面上で結像する。

図４に示すマイクロレンズアレイ１０は、イメージセンサ９に対して斜め４５°の角度で微動する。ここで、例えば、圧電素子１２の変位を１．５μｍ×√２／２とする電圧信号を加えた場合には、１．５μｍの正方画素の縦横方向に１／２画素に相当するマイクロレンズアレイ１０の移動を行うことができる。

ガイド１１は、図４に示すように、カメラシャーシ８の内側にイメージセンサ９に対し斜め方向に配置されており、マイクロレンズアレイ１０のスライド移動をスムースに行うためのガイドである。

弾性体１３は、図４に示すように、カメラシャーシ８の内側の圧電素子１２に対向する位置に設けられており、圧電素子１２とともにマイクロレンズアレイ１０を支持している。弾性体１３は、マイクロレンズアレイ１０の微動に対応した可動範囲を有する弾力性を提供するものでよく、例えば、ゴム材やバネ材等でよい。

圧電素子１２は、電圧の制御により伸縮動作する素子であり、アクチュエータとして制御することができる。圧電素子１２としてはピエゾ素子等が用いられる。

圧電素子１２は、図４に示すように、カメラシャーシ８の内側の弾性体１３に対向する位置に設けられており、弾性体１３とともにマイクロレンズアレイ１０を支持している。

また、圧電素子１２は、マイクロレンズアレイ１０に接合固定されているため、圧電素子１２が動作するとマイクロレンズアレイ１０が連動して振動する。したがって、圧電素子１２が動作するタイミングで、マイクロレンズアレイ１０がシフトする。

圧電素子駆動回路３４は、イメージセンサ９の垂直同期信号に同期したタイミング発生回路３３からの制御信号に基づいて、イメージセンサ９の撮像のタイミングで圧縮、伸長を交互するように圧電素子１２を制御する。

図５は、圧電素子１２の動作を示すタイミングチャートである。

圧電素子１２は、図５に示すように、イメージセンサ９の垂直同期信号に同期した２値のタイミングで圧縮、伸長を交互するよう動作する。

なお、図５では、圧電素子１２の動作の２分の１周期ごとの時刻ｔをそれぞれｔ０，ｔ１，ｔ２，・・・、そのうち偶数番目の時刻ｔ＝ｔ０，ｔ２，ｔ４，・・・をｔｅｖｅｎ、奇数番目の時刻ｔ＝ｔ１，ｔ３，ｔ５，・・・をｔｏｄｄと表記する。以下、同様である。

図６は、マイクロレンズアレイ１０を通過した光が結像する位置を説明するための説明図であり、図６（Ａ）及び（Ｂ）はそれぞれ時刻ｔ＝ｔｅｖｅｎ及び時刻ｔ＝ｔｏｄｄにおける光路を示している。

ここで、イメージセンサ９がベイヤー配列と呼ばれるカラーフィルタが装着された単板カラーセンサで水平方向断面の場合、イメージセンサ撮像面１７は、ラインごとに赤（Ｒ）緑（Ｇ）赤（Ｒ）緑（Ｇ）・・・の配列や緑（Ｇ）青（Ｂ）緑（Ｇ）青（Ｂ）・・・の配列であるので、図６では、その両方を示す意味でＲ／Ｇ，Ｂ／Ｇ，Ｒ／Ｇ，Ｂ／Ｇのように表記する。以下、同様である。

図６（Ａ）では、時刻ｔ＝ｔｅｖｅｎにおける上方からの入射光１５は、マイクロレンズ１６で屈折し、イメージセンサ撮像面１７の画素Ｂ／Ｇの位置で結像する。なお、図では、１つのマイクロレンズ１６の幅はイメージセンサ撮像面の画素１７の４つ分に相当する。

また、時刻ｔ＝ｔｏｄｄにおいてマイクロレンズアレイ１０が距離ｄ’シフトした場合には、図６（Ｂ）に示すように、それに連動して光の結像位置がシフトし、イメージセンサ撮像面１７の画素Ｒ／Ｇの位で結像する。

よって、圧電素子１２を、図５に示すように動作させることにより、マイクロレンズアレイ１０が連動するので、マイクロレンズアレイ１０を通過してイメージセンサ上で結像する光の像を反復シフトさせることができる。

したがって、上述したマイクロレンズアレイ駆動部３１の構成によれば、マイクロレンズアレイ１０を圧電素子１２の動作に連動する微小な振幅で振動させ、マイクロレンズアレイ１０を通過してイメージセンサ上で結像する光の像を反復シフトさせることができる。

また、圧電素子１２をイメージセンサ９の垂直同期信号に同期した２値のタイミングで圧縮、伸長を交互するよう動作させることにより、マイクロレンズアレイ１０を通過して反復シフトする光の像を、圧電素子１２が圧縮、伸長するそれぞれのタイミングで、撮像することができる。なお、この撮像のタイミングの数は適宜増やすこともできる。

なお、上記の構成では、弾性体１３を用いているが、弾性体１３に代えて圧電素子１２を用いることもできる。例えば、カメラシャーシ８の内側に２つの圧電素子１２を対向するように配置し、逆位相の動作を行うように構成することもできる。

また、その動作方向もイメージセンサ９に対して斜め４５°に限るものではなく、重視するサンプリングの方向に応じて任意である。

次に、信号処理部３５は、第１の信号処理部３６、第２の信号処理部３７等を備える。第１の信号処理部３６は、第１の記憶回路３０に記憶された第１の画像１８と第２の記憶回路３１に記憶された第２の画像１９の２つの画像を１つの画像に合成し、元の画像よりも高解像度の第３の画像２２を生成する。その際、第３の画像２２は、イメージセンサ１７のカラーフィルタを通して得られた赤、緑及び青の画素値の情報をもとに、前述したカラーデモザイク及び画素補間処理が行われ、色情報を全画面にわたり決定することができる。第２の信号処理部３７は、第３の画像２２を左右半分又は上下半分に分割し、必要に応じて画素補間等の各種ディジタル画像処理を行ったうえで、左目用及び右目用の視差画像２５、２６を生成する。

画像出力部３８は、信号処理部３５で生成された視差画像２５、２６に対して各種出力制御処理を行う画像出力回路３９を備える。画像出力部３８は、画像情報を所定の信号方式により伝送装置やディスプレイ装置等の表示装置に出力し、視差画像の立体視を可能にする。

図７は、第１の画像１８と第２の画像１９のそれぞれの画素の配列について説明する説明図である。

図７では、第１の画像の画素の配列１８は、時刻ｔ＝ｔｅｖｅｎにマイクロレンズ１６ａから見たイメージセンサ撮像面の画素（ｉ，ｊ）、第２の画像の画素の配列１９は、時刻ｔ＝ｔｏｄｄにマイクロレンズ１６ｂから見たイメージセンサ撮像面の画素（ｉ，ｊ）’である。また、子午線２０は、マイクロレンズ１５，１６の光軸中心を通る子午線であり、子午線２１は、立体撮像の視差画像の境界を意味する。ここで、画素のｉ及びｉ’はそれぞれ横方向の座標、ｊ及びｊ’はそれぞれ縦方向の座標である。横方向の座標がｉ’で縦方向の座標がｊ’の画素は（ｉ，ｊ）’と表記する。また、赤、緑又は青のカラーフィルタに対応させ、（ｉ，ｊ）の後にＲ、Ｇ又はＢと表記する。以下、同様である。

図８及び９は、それぞれ第１の画像１８と第２の画像１９をもとに第３の画像２２を合成した例を示す説明図である。ここで、図８及び９では、第３の画像２２を左右半分に分割した場合に、左目用視差画像２５に対応する画素をＬｅｆｔ、右目用視差画像２６に対応する画素はＲｉｇｈｔと表記する。以下、同様である。

なお、これらの第３の画像２２の合成手法はあくまで例示であり、第１の画像１８と第２の画像１９よりも高解像度化することができるのであれば、他の手法を用いてもよい。

図８に示す第１の例では、第３の画像２２は、第１の画像１８、第２の画像１９のそれぞれを、例えば、画素（１，１）Ｒを画素（２，１）Ｒ、画素（１，１）’Ｒを画素（１，２）Ｒのように画素を配列し直すことにより合成したものである。これは、元々の画素数に対し、縦横２倍の解像度の画素番号を付与することで光のサンプリング位置に正しく対応させ、大量の画素情報の取得が可能である。なお、この解像度は縦横２倍に限られるものではなく、感度が許す限り、縦横任意の倍数の画像取得とすることも可能である。

図９に示す第２の例では、第３の画像２２は、第１の画像１８と第２の画像１９をもとに、図８に示す合成画像を生成したのち、その画素情報からカラーデモザイクを含む画素補間手法により全画素充填されたＲＧＢ画素を生成することにより合成したものである。

ここで、カラーデモザイクを含む画素補間処理は、例えば、図８の（５，５）画素であれば、次式に示すような、注目画素のＲＧＢ値を近傍の画素のＲＧＢ値から色ごとに画素間の距離の逆数を乗じて平均を求める手法を用いることができる。

（数１）
（５，５）Ｒ＝（１／３×（５，２）Ｒ＋１／３×（２,５）Ｒ＋（５，６）Ｒ＋（６，５）Ｒ ）／（１／３＋１／３＋１＋１）
（数２）
（５，５）Ｇ＝（４,５）Ｇ＋（５，４）Ｇ＋１／√５×（６，７）Ｇ＋１／√５×（７，６）Ｇ ）／（１＋１＋１／√５＋１／√５）
（数３）
（５，５）Ｂ ＝ （１／√５×（４，３）Ｂ ＋ １／√５×（３，４）Ｂ＋１／√５×（４,７）Ｂ＋１／√５×（７，４）Ｂ）／（１／√５ ＋１／√５＋１／√５＋１／√５）

以下、（４，５）画素のように１つの画素値が存在している画素の残りの色の値を求めることをカラーデモザイク手法、（５，５）画素のようにＲＧＢ値を全て求めることを画素補間手法と呼ぶ。

これらの手法は、上記の例では近傍４画素の線形和として示したが、画質向上を目的としてさらに多くの画素に対してＳＩＮＣ関数のような特殊な重み付けをして平均を計算することも可能である。

また、画面最外周境界の画素値は、上記と同様に存在する近傍の画素値から外挿法により求めることを基本とするが、目立ちにくい部分であるので、最も近傍の色情報をそのまま用いることも可能である。この画面最外周境界の処理は、カラーデモザイクを含む画素補間手法に含むものとする。

図１０は、第３の画像２２から視差画像２５、２６を生成する方法の説明図である。

図１０では、第３の画像２２は、まず半分の画素数となる左目用画素２３と右目用画素２４に分割される。そして、それぞれに画素補間処理を行うことにより、立体映像に利用される全画面の左目用及び右目用の視差画像２５、２６が生成される。

図１１は、非特許文献１に示されている１つのレンズで立体画像を取得する原理を説明するための説明図である。以下その原理を説明する。

Ｌｅｎｓ１の左手対物側の焦点距離におかれた四角いオブジェクトから拡散反射される光はＬｅｎｓ１を通過後平行光となり、Ｌｅｎｓ２を通過後Ｌｅｎｓ２の焦点距離に置かれたイメージセンサ９上かつ光軸上に結像する。
一方、Ｌｅｎｓ１の焦点距離よりも内側に置かれた丸いオブジェクトから拡散反射される光はＬｅｎｓ１を通過後広がる光となり、Ｌｅｎｓ２を通過後イメージセンサ９より遠くに結像しようとするところをイメージセンサ９で遮られるため、イメージセンサ９上にはぼやけた像が形成される。
ここで、図１１上図を上面図と見てその下半分すなわち、被写体に向かって左半分の光を遮るとその半分の光がイメージセンサ９に到達しないため、丸いオブジェクトに対応するぼやけた像はイメージセンサ９上、上方すなわち被写体に向かって右方向に画像の分布中心が位置する。図１１下図のように逆の半分が遮光された場合には、画像の分布中心は逆の方向に位置する。
これら２つの画像は視差を生じさせるため、これらを両眼視すると立体的に知覚されることとなる。なお、光学系によって正立像、倒立像が結像するものがあり、左右の扱いが異なることがあるが、視差画像の左右は実際に対応して読み替えることができる。

したがって、この原理を適用すれば、第２の信号処理部３７で生成される左目用及び右目用の視差画像２５，２６を用いて立体映像を実現することができる。

図１２は、Ｂｌｏｃｈの法則と呼ばれる、輝度と表示時間の積として明るさを知覚するヒトの視覚特性を示す式である（Ｊ．Ａ．Ｊ．Ｒｏｕｆｓ：Ｄｙｎａｍｉｃ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｖｉｓｉｏｎ．Ｉ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｒｅｌａｔｉｏｎｓｈｉｐｓ Ｂｅｔｗｅｅｎ ｆｌｉｃｋｅｒ ａｎｄ ｆｌａｓｈ ｔｈｒｅｓｈｏｌｄｓ，Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ，１２，ｐ．２６１−２７８，１９７２）。

この法則が成立する時間は２０ｍｓ程度である。これは視覚の積分時間を意味する。
よって、この時間内に２つ以上の画像を適切に提示すること、すなわち１００Ｈｚ以上で正しいサンプリング位置に表示することで、高解像度の表示が可能となる。動画に適用する場合には、１００Ｈｚ以上で撮像することが効果的である。

図１３は、本発明の撮像処理の手順を示すフローチャートである。

Ｓ１は、初期設定処理のフロー部分である。ここでは、イメージセンサ及び周辺回路２７等の初期状態が設定される。

次にＳ２は、初期位置設定処理のフロー部分である。ここでは、マイクロレンズアレイ１０の初期位置が設定される。

次にＳ３は、タイミング信号発生処理のフロー部分である。ここでは、タイミング発生回路３３からイメージセンサ９の垂直同期信号に同期したタイミング信号が発生する。

次にＳ４は、タイミング判定処理のフロー部分である。ここでは、タイミング判定回路１４において、初期値を偶数として垂直同期信号の１サイクルごとに奇数、偶数を繰り返すカウンタを用いて、イメージセンサ９で撮像された画像が偶数番目の画像であるか又は奇数番目の画像であるかを判定する。ここで、偶数カウントの場合にはＳ５に進み、奇数カウントの場合にはＳ７に進む。

Ｓ５は、圧電素子１２の圧縮動作のフロー部分である。ここでは、圧電素子１２の圧縮動作に対応して、マイクロレンズアレイ１０は時刻ｔ＝ｔｅｖｅｎの位置、すなわち予め垂直同期信号のカウントが偶数カウントの場合として設定された位置に移動する。

次にＳ６は、第１の記憶回路２９の記憶処理のフロー部分である。ここでは、時刻ｔ＝ｔｅｖｅｎにイメージセンサ９で撮像された第１の画像１８は、水平方向及び垂直方向のそれぞれの画素が偶数番目の画素として、その画素値が第１の記憶回路２９に記憶される。続いてＳ９に進む。

Ｓ７は、圧電素子１２の伸長動作のフロー部分である。ここでは、圧電素子１２の伸長動作に対応して、マイクロレンズアレイ１０は時刻ｔ＝ｔｏｄｄの位置、すなわち予め垂直同期信号のカウントが奇数カウントの場合として設定された位置に移動する。

次にＳ８は、第２の記憶回路３０の記憶処理のフロー部分である。ここでは、時刻ｔ＝ｔｏｄｄにイメージセンサ９で撮像された第２の画像１９は、水平方向及び垂直方向のそれぞれの画素が奇数番目の画素として、その画素値が第２の記憶回路３０に記憶される。続いてＳ９に進む。

Ｓ９は、第１の信号処理部３６のフロー部分である。ここでは、第１の画像１８と第２の画像１９をもとに第３の画像２２が合成される。その際、第３の画像２２は、イメージセンサ９のカラーフィルタを通して得られた赤、緑及び青の画素値の情報をもとに、前述したカラーデモザイク及び画素補間処理が行われ、色情報を全画面にわたり決定することができる。

次にＳ１０は、第２の信号処理部３７のフロー部分である。ここでは、まず、前述したようにマイクロレンズが光の入射角度の違いにより左目用と右目用に画像を分離する機能があることを用いて、第１の信号処理部３６で生成された第３の画像２２を半分に分割し、左目用及び右目用の視差画像２３、２４が生成される。続いてそれらの視差画像２３、２４に係る画素群に対して画素補間処理が行われ、それぞれ全画面の左目用及び右目用の視差画像２５、２６が生成される。

次にＳ１１は、画像出力部３８のフロー部分である。ここでは、Ｓ１０で生成された画像情報が任意の伝送装置や表示装置に合わせた信号方式で出力される。

以上のように、本発明の実施形態によれば、微小な振幅で振動するマイクロレンズアレイ１０を通過した光の像をイメージセンサ７で撮像し、撮像された時系列画像のうち、偶数番目の第１の画像１８とそれに続く奇数番目の第２の画像１９の２つの画像をもとに第３の画像２２を合成したのち、その第３の画像２２を半分に分割し、それぞれの画像に基づいて左目用及び右目用の視差画像２５、２６を生成することができるので、イメージセンサ９は小型のままでもその画素数以上の高解像度の立体映像化を実現することができる。

具体的には、軟性内視鏡用カメラの場合、体内に挿入されることから一般に外径およそ１０ｍｍが撮像部の大きさの制約であることや、イメージセンサの画素サイズに光学的な回折現象による制約があることから、例えば、Ｆ値４での十分な解像度性能を得ようとすると実現していなかった現時点で実用上最高水準となる水平８０００画素クラス相当の性能を、水平４０００画素クラスのイメージセンサを用いて実現することができる。また、代表的な画素フォーマット（３８４０画素×２１６０画素、画素サイズ１．５μｍ）を用いた場合、イメージセンサの撮像エリアの対角線寸法はおよそ６．６ｍｍ、パッケージとシャーシを含めて最大外径を１０ｍｍ以下とすることが可能となる。

また、本発明の実施形態には、左右画像の視差により立体画像を取得するもののほか、上下画像の視差により立体画像を取得するものもある。この実施形態によれば、マイクロレンズ１６として球面レンズを使用した場合にも、垂直方向の視差により立体画像を得ることができる。
水平方向及び垂直方向の視差画像を取得し、立体画像の表示を行うと、表示を見る姿勢として、例えば横になって見ても立体知覚が可能となるなど、見方の自由度が増す効果が得られる。

本発明は、内視鏡カメラや携帯電話機や携帯情報端末等の小型カメラに適用することができるものである。

本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施例、変形例を含むことは、本明細書に記載の実施形態や思想から本発明の属する分野における当業者にとって明らかである。

１ ＭＴＦの周波数特性を示す式
２ ヒトの視覚特性を示すＢｌｏｃｈの式
３ ＭＴＦの周波数特性の応答曲線
４ 画素ピッチ４μｍ、水平画素数２ｋ画素、水平サイズ８ｍｍでの空間周波数の例
５ 画素ピッチ２μｍ、水平画素数４ｋ画素、水平サイズ８ｍｍでの空間周波数の例
６ 画素ピッチ１．５μｍ、水平画素数５．３ｋ画素、水平サイズ８ｍｍでの空間周波数の例
７ 画素ピッチ１μｍ、水平画素数８ｋ画素、水平サイズ８ｍｍでの空間周波数の例
８ カメラシャーシ
９ イメージセンサ
１０ マイクロレンズアレイ
１１ マイクロレンズアレイのスライド移動ガイド
１２ 圧電素子
１３ 弾性体
１４ タイミング判定回路
１５ マイクロレンズに入射し屈折、通過する光線
１６ａ 時刻ｔ＝ｔｅｖｅｎにおける位置のマイクロレンズ
１６ｂ 時刻ｔ＝ｔｏｄｄにおける位置のマイクロレンズ
１７ イメージセンサ画素
１８ 第１の画像の画素
１９ 第２の画像の画素
２０ マイクロレンズの光軸中心を通る子午線
２１ 第３の画像の画素
２２ 第３の画像の画素
２３ 左目用の視差を有する画素
２４ 右目用の視差を有する画素
２５ 全画面の左目用視差画像
２６ 全画面の右目用視差画像
２７ イメージセンサ撮像部
２８ イメージセンサ及びその駆動回路
２９ 第１の記憶回路
３０ 第２の記憶回路
３１ マイクロレンズアレイ駆動部
３２ マイクロレンズアレイ及びその移動ユニット
３３ タイミング発生回路
３４ 圧電素子駆動回路
３５ 信号処理部
３６ 第１の信号処理部
３７ 第２の信号処理部
３８ 画像出力部
３９ 画像出力回路
１００ 撮像装置

Claims (5)

1. カメラシャーシの内側部において対向する位置に配置された圧電素子と弾性体とに支持され、当該圧電素子の動作に連動して振動するマイクロレンズアレイと、
   前記マイクロレンズアレイの後方に配置され、前記マイクロレンズアレイを通過した光の像を連続撮像するイメージセンサを有するイメージセンサ撮像部と、
   前記圧電素子の圧縮時及び伸長時のタイミングを前記イメージセンサの撮像のタイミングに同期させる制御信号を発生するタイミング発生回路と、
   前記イメージセンサで撮像された画像のうち、偶数番目の第１の画像及びそれに続く奇数番目の第２の画像の２つの画像に基づいて第３の画像を合成する第１の信号処理部と、
   前記第３の画像を左右半分又は上下半分のいずれかに分割して２つの画像を得たのち、一方の画像に基づいて左目用の視差画像を生成し、他方の画像に基づいて右目用の視差画像を生成する第２の信号処理部と、
   前記視差画像の立体知覚が可能なフレーム周波数に対応した出力制御処理を行う画像出力部と、
   を備えることを特徴とする撮像装置。
2. 前記マイクロレンズアレイは液晶レンズアレイであること、
   を特徴とする請求項１に記載の撮像装置。
3. 前記イメージセンサのフレーム周波数が１００Ｈｚ以上であること、
   を特徴とする請求項１又は２のいずれか１項に記載の撮像装置。
4. 前記画像出力部において、出力処理のフレーム周波数が１００Ｈｚ以上であること、
   を特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記カメラシャーシの外径が１０ｍｍ以下であること、
   を特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。