JP4472166B2

JP4472166B2 - ３次元撮像装量

Info

Publication number: JP4472166B2
Application number: JP2000390576A
Authority: JP
Inventors: 正彦加藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-12-22
Filing date: 2000-12-22
Publication date: 2010-06-02
Anticipated expiration: 2020-12-22
Also published as: JP2002191060A

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物である被写体の濃淡画像（輝度画像）の他に距離情報（距離画像）をリアルタイムに取得し、取得された距離画像を用いて、目的とする被写体の３次元情報を求める３次元撮像装置に関するものである。
【０００２】
【従来の技術】
パッシブに距離情報を得る方法としては、大別して相関法とコントラスト検出法がある。ここでは前者に注目する。
【０００３】
前者の例として、二眼、或いは多眼ステレオ方式、またはオートフォーカス（ＡＦ）に使用されるＴＴＬ−ＳＩＲ（ＴｈｒｏｕｇｈＴｈｅＬｅｎｓＳｅｃｏｎｄａｒｙｌｍａｇｅｄＲｅｇｉｓｔｒａｔｉｏｎ；２次結像位相差検出）、或いはＵＳＰ４，１８５，１９１に代表されるＴＣＬ（ＴｈｒｏｕｇｈＣａｍｅｒａＬｅｎｓ）システム等が知られている。
【０００４】
ステレオ方式は、二眼或いは多眼で撮像された視差を有した複数の画像間の対応をとって視差を求め、これから被写体の距離情報を得ようとするものである。
【０００５】
ここで、図７乃至図９を参照して、ＡＦに用いられるＴＴＬ−ＳＩＲ、或いはＴＣＬシステムの原理について説明する。
【０００６】
図７（ａ）〜（ｃ）に於いて、撮影レンズ１を介してピント面２に集光する光束につき、撮影レンズ１の瞳の上半分を通過する光束と下半分を逓過する光束とに分解して考える。
【０００７】
図７（ａ）は、被写体Ｐ₀に対して合焦の状態、図７（ｂ）は被写体Ｐ₁に対して前ピンの状態、そして図７（ｃ）は被写体Ｐ₂に対して後ピンの状態を、それぞれ表している。
【０００８】
撮影レンズ１の瞳の上半分を通過する光束を実線で表し、下半分を通過する光束を破線で表すと、両者がピント面２を通過する位置が、前ピンと後ピンで反転する性質を有している。これを利用して、合焦状態を判定する。
【０００９】
具体的には、ピント面２に、図８（ａ）に示される構成の素子を複数個アレイ状に配置する。図８（ａ）に於いて、マイクロレンズ（或いは蝿の目レンズ）３に対応して、２つの受光素子４及び５が配置されている。該受光素子４は、マイクロレンズ３に対して、破線で示されるように入射される光線７を受光する。また、受光素子５は、マイクロレンズ３に対して、実線で示されるように入射される光線を受光する。言い換えると、それぞれの受光素子４及び５は、受光する光線に方向性を有している。
【００１０】
このようなマイクロレンズと受光素子の組を、複数個（例えば２４個等）ピント面２の近傍に配列する。方向性を区別するために、受光素子４の位置に配列された受光素子群をＡ系列と称し、受光素子５の位置に配列された受光素子群をＢ系列と称するものとする。すると、Ａ系列で受光される光強度分布とＢ系列で受光される光強皮分布は、図８（ｂ）に、それぞれ光強度分布８及び９で示されるように、合焦状態からずれた前ピン或いは後ピン状態では、合焦状態からのずれ量に応じて左右にずれる。これを測定して、合焦状態からのずれ量（デフォーカス量）を知ることができる。
【００１１】
尚、図８（ｂ）に於いて、縦軸方向は（ＣＣＤで撮像される）光強度分布、横軸方向は（撮像素子の走査方向、例えば行の）空間座標或いは番号である。
【００１２】
カメラのピント合わせに用いられるスプリットイメージ方式は、図９に示されるように、２つの薄い楔（Ｗｅｄｇｅ）状のプリズム１１及び１２を逆勾配に組合わせもの（スプリットプリズムペアと称する）により、各プリズム１１及び１２の斜辺の交点がピント面１３を定める。このピント面１３からｄｚだけずれた面１４上の点Ｐ′に収束する光束１５は、２δｄｚだけ離間した２点Ａ、Ｂから発散する光束に変換される．
ここで、δは各プリズムによる偏角であり、各プリズムの頂角をα、屈折率をｎとしたとき、（ｎ−１）αで表される。これを、接眼レンズ１６を介して肉眼１７で観察する。実際には、点の代わりに上下の窓に表示された像の横ずれが一致するようにピントを合わせる。これは、上述した２つの方式のうち、相関法に分類することができる。
【００１３】
【発明が解決しようとする課題】
ところで、二眼または多眼ステレオ法は、焦点距離を初めとする内部パラメータ、カメラ間の位置、姿勢等の外部パラメータといったカメラパラメータのキャリブレーションや、画像間の対応を求める、いわゆる対応問題を解決する必要がある。しかしながら、両者共に困難な課題であり、いまだに満足のいく解決策を日々求めている段階にある。
【００１４】
また、ＴＴＬ−ＳＩＲ、或いはＴＣＬシステムは、カメラの視野の中心或いは被写体に於ける一部のエリアにつき距離情報をとっており、シーン全体の距離情報をとることができない。
【００１５】
また、二眼または多眼ステレオ法では、ズーム操作やフォーカシング操作との協調がうまくいかないといった課題を有している。例えば、ズーム操作を行う場合、二眼または多眼ステレオ法では、使用するレンズを全て同じようにズーム操作を行わせる必要が生ずる。また、フォーカシング操作を行うと、カメラパラメータが変化し、キャリブレーションの修正が、場合によっては必要となるという困難がある。
【００１６】
したがって本発明は、被写体或いはシーン全体の距離情報を一眼のカメラで撮像したピント面の画像を、合焦状態に応じて２つに分離することによって相関法を用いて距離情報を求めることのできる３次元撮像装置を提供することを目的とする。
【００１７】
また、本発明は、カメラパラメータのキャリブレーションをすることなしに、対応問題を軽減することのできる３次元撮像装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
すなわち第１の発明による３次元撮像装置は、光が入射する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた１の方向に偏向されるように構成された、撮像光学系のピント面近傍に配設された光学素子と、上記各領域に各レンズが同軸に配設されたレンズアレイと、上記レンズアレイに関して上記光学素子と略共役の位置に受光面を有し、上記光束の各偏向方向毎に像を区別して撮像可能な撮像素子と、を具備することを特徴とする。
【００１９】
また、第２の発明による３次元撮像装置は、撮像レンズのピント位置近傍に設けられた、逆交差したマイクロスプリットプリズムペアのアレイを含むスプリットプリズム板と、該マイクロスプリットプリズムペアと同軸に配列されたマイクロレンズのアレイと、該マイクロレンズのアレイに関して上記マイクロスプリットプリズムペアのピント面と共役に配置され、該マイクロスプリットプリズムペアの長手方向に平行な走査方向を有し、それぞれのマイクロスプリットプリズムからの信号光を別々の走査ラインで撮像する固体撮像素子アレイと、を具備することを特徴とする。
【００２０】
第３の発明による３次元撮像装置は、画素毎に光を感光可能な感光領域と光を感光しない非感光領域とを有する、複数画素を有する受光素子と、上記受光素子の各画素に対応して各レンズが配設されたレンズアレイと、を有し、上記各画素の感光領域と対応するレンズの光軸との相対的位置関係が、予め定められた複数の相対的位置関係のうちの１つに該当するように構成されており、上記受光素子は上記各相対的位置関係毎に区別して撮像可能であることを特徴とする。
【００２１】
更に、第４の発明による３次元撮像装置は、撮像レンズのピント位置近傍に設けられたマイクロレンズ付固体撮像素子アレイであって、マイクロレンズアレイの光軸と該固体撮像素子アレイの各画素に設けられたフォトダイオード開口部との相対的位置関係が、偶数番目の走査ラインと奇数番目の走査ラインとで走査方向に半画素分ずれて配置されたことを特徴とする。
【００２２】
第１の発明による３次元撮像装置にあっては、撮像光学系のピント面近傍に配設された光学素子は、光が入射する面の少なくとも一部が複数の領域に区分されている。そして、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた１の方向に偏向されるように構成されている。また、レンズアレイは、上記各領域に各レンズが同軸に配設されている。そして、撮像素子は、上記レンズアレイに関して、上記光学素子と略共役の位置に受光面を有し、上記光束の各偏向方向毎に像を区別して撮像可能となっている。
【００２３】
また、第２の発明による３次元撮像装置にあっては、撮像レンズのピント位置近傍に設けられたスプリットプリズム板が、逆交差したマイクロスプリットプリズムペアのアレイを含んでおり、該マイクロスプリットプリズムペアと同軸にマイクロレンズのアレイが配列されている。そして、固体撮像素子アレイは、該マイクロレンズのアレイに関して上記マイクロスプリットプリズムペアのピント面と共役に配置され、該マイクロスプリットプリズムペアの長手方向に平行な走査方向を有し、それぞれのマイクロスプリットプリズムからの信号光を別々の走査ラインで撮像するものである。
【００２４】
第３の発明による３次元撮像装置にあっては、画素毎に光を感光可能な感光領域と光を感光しない非感光領域とを有する複数画素を、受光素子が有している。また、上記受光素子の各画素に対応して各レンズが、レンズアレイに配設されている。そして、上記各画素の感光領域と対応するレンズの光軸との相対的位置関係は、予め定められた複数の相対的位置関係のうちの１つに該当するように構成されている。上記受光素子は、上記各相対的位置関係毎に区別して撮像可能となっている。
【００２５】
更に、第４の発明による３次元撮像装置にあっては、撮像レンズのピント位置近傍にマイクロレンズ付固体撮像素子アレイが設けられている。そして、マイクロレンズアレイの光軸と該固体撮像素子アレイの各画素に設けられたフォトダイオード開口部との相対的位置関係が、偶数番目の走査ラインと奇数番目の走査ラインとで走査方向に半画素分ずれて配置されている。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【００２７】
図１は、本発明の第１の実施の形態を示すもので、図１（ａ）は３次元撮像装置に適用されるマイクロ化したスプリットプリズムペア（以下、マイクロスプリットプリズムペアと称する）を説明する断面図、（ｂ）は同図（ａ）の一部を立体的に示した図、（ｃ）はマイクロレンズを示した図である。
【００２８】
図１（ａ）に於いて、マイクロスプリットプリズムペア２１は、２次元のアレイ状に配列されてスプリットプリズム板２２を構成する。このスプリットプリズム板２２は、光が入対する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた１の方向に偏向されるように構成された光学素子である。
【００２９】
尚、図中２３はピント面を表している。このピント面２３は、マイクロスプリットプリズムペア２１の斜辺の交点を通る。
【００３０】
上記マイクロスプリットプリズムペア２１の入射光線２８より後方側には、マイクロレンズ２５、２次元の固体撮像素子２６が配置されている。一方、ピント面２３から所定距離ｄｚだけデフォーカスしてデフォーカス面２４が形成される。このデフォーカス面２４に対して、光軸２７が直交し、収束する光線２８が入射される。そして、図中、Ｏ₀はその収束点、二点Ｏ₁、Ｏ₂はデフォーカス量ｄｚに対応して２δｄｚだけ離れた２点を表している。
【００３１】
図１（ｂ）は、同図（ａ）の一部を立体的に示しているが、煩雑を避けるために、マイクロスプリットプリズムペア２１のマイクロレンズ２５を取り除いて示している。
【００３２】
図１（ｂ）に於いて、マイクロスブリットプリズムペア２１は、各要素であるマイクロスプリットプリズム３１及び３２を有しており、これらマイクロスプリットプリズム３１及び３２は逆交差の状態に配置されている。該マイクロスプリットプリズム３１及び３２の後方には、２次元固体撮像素子の、例えば偶数番目、奇数番目のそれぞれの行に属する画素３３及び３４が配列されている。そして、図示矢印Ｃ方向は、走査の方向を表している。
【００３３】
ここで、逆交差の状態に配置されたマイクロスプリットプリズムとは、２つの薄い楔状のプリズムを逆勾配に組合わせたものをいう。通常、その最急勾配線を横方向から見て交差した点（実際には線）が、ピント位置を決定する。
【００３４】
スプリットプリズムペアに於いて、逆交差している１つの定義として、スプリットプリズムペアに於いて、ピント平面とプリズムベアの境界平面の両方に垂直な平面を想定した場合、一方のプリズムの光の入対面または射出面の法線方向と、他方のプリズムの対応面の法線ベクトルが、上記想定平面に対して異なる側にある状態になる。（両者のベクトルが平面に対して異なる側にある状態とは、平面上に両者のベクトルの始点をおいた場合、平面によって２分割された空間のそれそれ異なった空間に各終点があるとの意味である。
【００３５】
上記マイクロスプリットプリズム３１及び３２で定められる光軸２７に平行に入射された光線３５及び３６は、それぞれ該マイクロスプリットプリズム３１及び３２で偏向されて、画素３７及び３８のように、走査方向Ｃに対して前後方向にずれた画素に入射される。
【００３６】
スプリットプリズム板の入射面に於いては、少なくとも一部にはスプリットプリズム群の形成された部分を有している。この際、入射面全面にスプリットプリズム群が形成されいてもよい。そして、このスプリットプリズム群の個々のプリズムの入射面を１つの領域と捉えられる。この各領域（個々のプリズムの入射面）に入射してた光は、予め定められた複数の方向（本実施の形態では２方向）のうちから各領域毎に定められた１の方向に偏向される。上記各プリズムは、２方向のうち何れかの方向に光を偏向する。
【００３７】
このように、スプリットプリズム板は好適なものであるが、これに限定されず、光が入射する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は予め定められた複数の方向のうちから各領域毎に定められた１の方向に偏向されるように構成された光学素子ならばよい。
【００３８】
上記マイクロレンズ２５は、図１（ｃ）に示されるように、光透過部３９、４０と、図中斜線で示される光遮蔽部４１、４２とが、交互に配置されて構成されている。
【００３９】
図２（ａ）は、本３次元撮像装置の全体構成の概要を示した図である。
【００４０】
図２（ａ）に於いて、光軸４４に沿って入射される光線は、撮像レンズ４５を介し、クイックリターンミラー（または半透鏡）４６で反射されて、レンズ４７を介してデフォーカス量ｄｚの検出装置４８に至る。また、クイックリターンミラー４６が光路より退避されている場合は、撮像レンズ４５を通過した光線は、メインの２次元固体撮像素子４９に至る。
【００４１】
図２（ｂ）は、本撮像装置に入射される主光線の光路を示すもので、図中Ｈ₁、Ｈ₂は、撮像レンズ４５の主点を表している。
【００４２】
上記検出装置４８の構造に厚みがある関係上、入射される光線は検出装置４８に略垂直に入射することが望ましい。このため、検出装置４８の前方にレンズ４７が載置されて、撮像光学系（４５及び４７）をテレセントリックにしている（主光線が検出装置４８に略垂直に入射するようにしている）。
【００４３】
但し、撮像素子にＣＣＤやＣＭＯＳを使用したカメラでは、撮像素子に垂直に主光線が入射するように撮像光学系を設計をする場合が多い（撮像レンズ４５だけでテレセントリックになっている）が、このような撮像光学系では、レンズ４７は不要となる。
【００４４】
次に、このように構成された３次元撮像装置の動作について説明する。
【００４５】
図１（ａ）、１（ｂ）に於いて、ピント面２３からｄｚだけずれたデフォーカス面２４の点Ｏ₀に収束する光束は、マイクロスプリットプリズムペア２１を透過した後、２δｄｚだけ離れた２点０₁、０₂から発散するように進む。これら２点０₁、０₂の像は、マイクロレンズ２５を介して２次元固体撮像素子２６上に形成される。その倍率Ｍは、例えば「１」に設定される。
【００４６】
この場合には、２δｄｚだけ離間した２点０₁、０₂の、該マイクロレンズ２５による同サイズの像が、２次元固体撮像素子２６上に形成される。マイクロスプリットプリズムペア２１の長手方向の長さは、２次元固体撮像素子２６の、例えば数画素分の長さを有しており、その幅はそれぞれ１画素分とする。
【００４７】
また、マイクロスプリットプリズムペア２１の長手方向は、２次元固体撮像素子２６の走査方向と平行に配置される。言い換えると、奇数番目に走査された画像は、例えばマイクロスプリットプリズムペア２１の一方を通過した画像を撮像し、偶数番目に走査された画像はマイクロスプリットプリズムペア２１の他方を通過した画像を撮像する。両者は、マイクロスプリットブリズムペア２１の働きにより、対となる２Ｍδｄｚだけ横方向にずれた２つの画像を提供している。
【００４８】
通常のカメラのピント合わせの場合は、肉眼により、このずれ量が０になるように調節する。ここでは、肉眼の代わりに、図１（ｃ）に示されるマイクロレンズ２５が用いられている。これは、マイクロレンズ２５が光遮蔽部４１を有しており、該マイクロレンズ２５の右半分は、図示されない撮影レンズの２分割された瞳の一方（例えば下半分）からの光束を優先的に透過させ、マイクロレンズ２５の左半分は図示されない撮影レンズの２分割された瞳の他方（例えば上半分）からの光束を優先的に透過させる、という役割を有しているからである。
【００４９】
このように配慮すると、マイクロスプリットブリズムペア２１で対とされた、奇数番目に走査された画像と、偶数番目に走査された画像とが、それぞれ図示されないメモリに記憶され、両画像間の相関がペアとなる各行毎にとられて、横ずれ量２Ｍδｄｚのマップ（撮像素子上の位置の関数）が求められ、上記Ｍ、δを既知としてデフォーカス量ｄｚの２次元データ、言い換えると、被写体全体或いはシーンの距離情報が得られる。
【００５０】
このとき、相関をとる２つの画像は、同一の撮像レンズ、撮像素子で撮標された画像であるため、異なる撮像レンズの異なる配置、姿勢で撮られた２つの画像間の相関をとる場合と比較して極めて単純化されており、いわゆる対応問題を軽減している。
【００５１】
デフォーカス量ｄｚと被写体までの距離ａとの間には、撮像レンズの焦点距離ｆを介して、次式が成立する。
（１／ａ）＋（１／ｂ）＝１／ｆ …（１）
△ｂ＝−（ｂ²／ａ²）△ａ≡ｄｚ …（２）
ここで、ｂは撮像レンズから像面（ピント面）までの距離を表している。撮像装置のＡＦ機能から被写体までの距離ａが求められ、デフォーカス量ｄｚと、上記（１）式及び（２）式から、被写体の立体情報Δａを求めることができる。
【００５２】
撮像装置のＡＦ機能は、専用のＡＦセンサからの信号を用いるか、上述したマイクロスプリットプリズムペア２１の機能を利用して、例えば、視野の中心付近のエリアでの平均的デフォーカス量ｄｚを求めて、これが０となるように撮像レンズに帰還をかけることにより達成することもできる。
【００５３】
このように、上記光束の各偏向方向毎に像を区別して撮像可能な撮像素子は、光の偏向方向（２方向）毎に、走査線の奇数と偶数を対応させて、区別して受光している。上記撮像素子は光の仰向方向毎に像を区別して撮像するが、走査線により像を区別するのは好適な方法である。
【００５４】
次に、図２（ａ）及び（ｂ）を参照すると、撮像レンズ４５により撮像された図示されない被写体の画像は、クイックリターンミラー（または半透鏡）４６を介して、その濃淡画像（輝度画像）はメインの２次元固体撮像素子４９により撮像される。被写体の距離情報は、デフォーカス量ｄｚの検出装置４８により、上述したようにして得られる。レンズ４７の動作は、撮像レンズ４５の画角を構成する主光線（主点Ｈ₁に収束し、主点Ｈ₂から発散する光線束）を光軸に平行な主光線（テレセントリック光学系）に変換することにある。
【００５５】
次に、図１（ａ）に示されるマイクロスプリットプリズムペア２１の機能について説明する。
【００５６】
図３（ａ）に於いて、マクロ的なスプリットプリズム５１（図９の例えばプリズム１１）を模式的に表すとすれば、マイクロスプリットプリズム５２に相当する。これは、マクロ的なプリズムとリニアフレネルレンズが等価であるのと似ている。マイクロスプリットプリズム５２の高さは、撮影に使用するスペクトル領域の中心波長の整数倍に選択される。
【００５７】
また、図４は、マイクロスプリットプリズムペア２１の感度の向上について説明するものである。
【００５８】
通常のマイクロスプリットプリズム５３を、図４（ａ）に示されるような形状であるとすると、図４（ｂ）に示されるマイクロスプリットプリズム５４は、同図（ａ）に示されるマイクロスプリットプリズム５３のピッチを１／４に短縮したものである。こうすると、マイクロスプリットプリズム５４の頂角（図の左側の底角）は、マイクロスプリットプリズム５３の頂角の約４倍となり、感度が４倍となる。この役割は、例えば、視野の中心部の距離分解能を、周辺に比較して高く選びたいときに有効となる。
【００５９】
このように、第１の実施の形態によれば、図１（ａ）に示されるスプリットプリズム板２２は、基本的にリニアフレネルレンズを一行おきに形成したものであり、視野の中心の感度と周辺の感度を任意に変更できる可能性を有している。また、基板としてマイクロレンズ２５を要素とする２次元アレイを用いることにより、この上にマイクロスプリットプリズムペア２１の２次元アレイを一体化して密着形成することができる、という利点も有している。
【００６０】
この第１の実施の形態には、多くの変更が可能である。
【００６１】
次に、その１つについて、図５を参照して説明する。
【００６２】
図５（ａ）に示される曲線５５は、非球面を表している。また、図５（ｂ）に示される曲線５６は、上記非球面５５をこれと等価なフレネル面で近似したものを表している。マイクロスプリットプリズムの代わりに非球面５５と等価なフレネル面で置き換えると、該マイクロスプリットプリズムの感度は頂角に比例することから、図５（ｂ）に於いて、右側から左側に移行するにつれ感度が増大することがわかる。
【００６３】
したがって、例えば左端を視野の中心とすれば、視野の中心で感度が非線型的に高くなり、周辺に移行するにつれて感度が低下する機能が得られる。これは、丁度人間の眼が視野の中心で高感度を有するという機能をシミュレートすることになる。
【００６４】
また、図１（ｂ）に於いて、マイクロスプリットプリズム３１、３２の横幅をそれぞれ１画素分の幅としたが、メモリヘの書き込みがやや複雑となるが、複数行の幅にわたるとしても可能であることは勿論である。
【００６５】
本発明によれば、図２（ａ）に示される検出装置４８で扱われる画像は、一眼の撮像レンズ４５により得られ、メインの２次元固体撮像素子４８により撮像される輝度画像と同じものであるから、撮像レンズ４５のズーム操作や合焦動作に協調して動作可能な特徴を有している。これは、上述したように、多眼ステレオでは困難な課題である。
【００６６】
また、従来の合焦装置にみられる視野の中心部のみ距離情報をとるのでなく、視野全体の距離情報を相関をとることにより求めることができるという特徴を有している。
【００６７】
更に、一眼の撮像レンズ４５で得られた画像の偶数番目の走査から得られた画像と、該画像とペアとなる奇数番目の走査から得られた画像との相関をとることから、いわゆる対応問題を軽減することができる。
【００６８】
次に、本発明の第２の実施の形態を説明する。
【００６９】
図６は、本発明の第２の実施の形態による３次元固体撮像装置の構成例を示した図である。
【００７０】
図６に於いて、２次元固体撮像素子は、各行６０、６１、６２を有して構成される。上記各行６０、６１、６２には、画素６５、６６、…を有している。そして、例えば、上記画素６５内には、感光領域であるフォトダイオード（ＰＤ）開口部６４を有している。また、画素６５内で、上記ＰＤ開口部６４以外の部分が非感光領域である。尚、６３はマイクロレンズである。
【００７１】
ＰＤ開口部６４の画素６５内での配置は各行で同じであるが、マイクロレンズの位置が行６１では隣接する行６０、６２と比べて半画素分ずれている。言い換えると、偶数番目の行と奇数番目の行でのＰＤ開口部６４の画素内での位置はそれぞれ同じであるが、マイクロレンズは半画素分ずれている。
【００７２】
次に、本第２の実施の形態の動作を説明する。
【００７３】
マイクロレンズ６３の形状は、稠密構造をとることが望ましく、例えば、図６に示される例では、六角形状をしている。この中心とＰＤ開口部６４の中心とはずれているから、受光する光束には方向性、或いは指向性が生ずる。この指向性は、ＰＤ開口部６４の幅（行６０の走査方向に平行な幅）が狭いほど高くなる。
【００７４】
隣り合う行の受光の指向性は、それぞれの行のマイクロレンズの光軸に対して反対の方向をとる。これは、上述した図８（ａ）で説明した機能を、隣り合う２つの行で分担した形をとっている。
【００７５】
言い換えると、２次元固体撮像素子の偶数番目の行と奇数番目の行とで撮像された画像（それぞれ偶数画像、奇数画像と称する）では、分割された瞳で被写体を見たときに生ずる視差に対応した横ずれを生じており、偶数画像、奇数画像間の行毎の相関をとることにより、図７に示される瞳分割の原理による視差に対応した距離情報を得ることができる。
【００７６】
このように、第２の実施の形態は、上述した第１の実施の形態にみられるマイクロスプリットプリズムのような異方性を有する光学素子を必要とせず、マイクロレンズと、これに対応した画素内でのＰＤ開口部の位量とにより、受光する方向に異方性をもたしている。したがって、第１の実施の形態よりも構成が簡単であり、製作が容易であるという利点を有している。
【００７７】
また、この第２の実施の形態には、種々の変更が可能である。
【００７８】
図６では、マイクロレンズを半画素分、行毎にずらしたが、逆にマイクロレンズを四角形状として桝目状に並べて、ＰＤ開口部を行毎に半画素ずらすということも可能である。
【００７９】
【発明の効果】
以上のように本発明によれば、被写体或いはシーン全体の距離情報を一眼のカメラで撮像したピント面の画像を、合焦状態に応じて２つに分離することによって相関法を用いて距離情報を求めることのできる３次元撮像装置を提供することができる。
【００８０】
また、本発明によれば、カメラパラメータのキャリブレーションをすることなしに、対応問題を軽減することのできる３次元撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すもので、図１（ａ）は３次元撮像装置に適用されるマイクロ化したスプリットプリズムペアを説明する断面図、（ｂ）は（ａ）の一部を立体的に示した図、（ｃ）はマイクロレンズを示した図である。
【図２】（ａ）は３次元撮像装置の全体構成の概要を示した図、（ｂ）は本撮像装置に入射される主光線の光路を示した図である。
【図３】マクロ的なスプリットプリズム５１を模式的に表した図である。
【図４】マイクロスプリットプリズムペア２１の感度の向上について説明するもので、（ａ）は通常のマイクロスプリットプリズム５３を模式的に表した図、（ｂ）は（ａ）に示されるマイクロスプリットプリズム５３のピッチを１／４に短縮して表した図である。
【図５】第１の実施の形態の変形で、（ａ）は非球面５５を表した図、（ｂ）は上記非球面５５をこれと等価なフレネル面で近似した図である。
【図６】本発明の第２の実施の形態による３次元固体撮像装置の構成例を示した図である。
【図７】ＡＦに用いられるＴＴＬ−ＳＩＲ、或いはＴＣＬシステムの原理について説明するもので、（ａ）は被写体Ｐ₀に対して合焦の状態を示した図、（ｂ）は被写体Ｐ₁に対して前ピンの状態を示した図、（ｃ）は被写体Ｐ₂に対して後ピンの状態を示した図である。
【図８】ＡＦに用いられるＴＴＬ−ＳＩＲ、或いはＴＣＬシステムの原理について説明するもので、（ａ）は撮影レンズと受光素子との関係を示した図、（ｂ）は（ａ）の受光素子位置に配列された受光素子群の光強度分布図である。
【図９】カメラのピント合わせに用いられるスプリットイメージ方式を説明する図である。
【符号の説明】
２１マイクロスプリットプリズムペア、
２２スプリットプリズム板、
２３ピント面、
２４デフォーカス面、
２５マイクロレンズ、
２６固体撮像素子、
２７、４４光軸、
２８、３５、３６光線、
３１、３２マイクロスプリットプリズム、
３３、３４、３７、３８画素、
３９、４０光透過部、
４１、４２光遮蔽部、
４５撮像レンズ、
４６クイックリターンミラー（半透鏡）、
４７レンズ、
４８検出装置、
４９２次元固体撮像素子。

Claims

光が入射する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた１の方向に偏向されるように構成された、撮像光学系のピント面近傍に配設された光学素子と、
上記各領域に各レンズが同軸に配設されたレンズアレイと、
上記レンズアレイに関して上記光学素子と略共役の位置に受光面を有し、上記光束の各偏向方向毎に像を区別して撮像可能な撮像素子と、
を具備することを特徴とする３次元撮像装置。
撮像レンズのピント位置近傍に設けられた、逆交差したマイクロスプリットプリズムペアのアレイを含むスプリットプリズム板と、
該マイクロスプリットプリズムペアと同軸に配列されたマイクロレンズのアレイと、
該マイクロレンズのアレイに関して上記マイクロスプリットプリズムペアのピント面と共役に配置され、該マイクロスプリットプリズムペアの長手方向に平行な走査方向を有し、それぞれのマイクロスプリットプリズムからの信号光を別々の走査ラインで撮像する固体撮像素子アレイと、
を具備することを特徴とする３次元撮像装置。
上記スプリットプリズム板は、上記マイクロレンズのアレイに密着して形成されたことを特徴とする請求項２に記載の３次元撮像装置。
上記スプリットプリズム板は、視野の中心部の感度を向上させた領域を有することを特徴とする請求項２に記載の３次元撮像装置。
上記視野中心部の感度を向上させる感度向上手段を更に具備し、該感度向上手段は、非球面若しくはこれと等価なリニアフレネルレンズを設けたことを特徴とする請求項４に記載の３次元撮像装置。
画素毎に光を感光可能な感光領域と光を感光しない非感光領域とを有する、複数画素を有する受光素子と、
上記受光素子の各画素に対応して各レンズが配設されたレンズアレイと、を有し、
上記各画素の感光領域と対応するレンズの光軸との相対的位置関係が、予め定められた複数の相対的位置関係のうちの１つに該当するように構成されており、上記受光素子は上記各相対的位置関係毎に区別して撮像可能であることを特徴とする３次元撮像装置。
撮像レンズのピント位置近傍に設けられたマイクロレンズ付固体撮像素子アレイであって、
マイクロレンズアレイの光軸と該固体撮像素子アレイの各画素に設けられたフォトダイオード開口部との相対的位置関係が、偶数番目の走査ラインと奇数番目の走査ラインとで走査方向に半画素分ずれて配置されたことを特徴とする３次元撮像装置。