JP4472166B2 - 3次元撮像装量 - Google Patents
3次元撮像装量 Download PDFInfo
- Publication number
- JP4472166B2 JP4472166B2 JP2000390576A JP2000390576A JP4472166B2 JP 4472166 B2 JP4472166 B2 JP 4472166B2 JP 2000390576 A JP2000390576 A JP 2000390576A JP 2000390576 A JP2000390576 A JP 2000390576A JP 4472166 B2 JP4472166 B2 JP 4472166B2
- Authority
- JP
- Japan
- Prior art keywords
- lens
- array
- light
- imaging
- prism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Elements Other Than Lenses (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【発明の属する技術分野】
本発明は、対象物である被写体の濃淡画像(輝度画像)の他に距離情報(距離画像)をリアルタイムに取得し、取得された距離画像を用いて、目的とする被写体の3次元情報を求める3次元撮像装置に関するものである。
【0002】
【従来の技術】
パッシブに距離情報を得る方法としては、大別して相関法とコントラスト検出法がある。ここでは前者に注目する。
【0003】
前者の例として、二眼、或いは多眼ステレオ方式、またはオートフォーカス(AF)に使用されるTTL−SIR(Through The Lens Secondary lmaged Registration;2次結像位相差検出)、或いはUSP4,185,191に代表されるTCL(Through Camera Lens)システム等が知られている。
【0004】
ステレオ方式は、二眼或いは多眼で撮像された視差を有した複数の画像間の対応をとって視差を求め、これから被写体の距離情報を得ようとするものである。
【0005】
ここで、図7乃至図9を参照して、AFに用いられるTTL−SIR、或いはTCLシステムの原理について説明する。
【0006】
図7(a)〜(c)に於いて、撮影レンズ1を介してピント面2に集光する光束につき、撮影レンズ1の瞳の上半分を通過する光束と下半分を逓過する光束とに分解して考える。
【0007】
図7(a)は、被写体P0 に対して合焦の状態、図7(b)は被写体P1 に対して前ピンの状態、そして図7(c)は被写体P2 に対して後ピンの状態を、それぞれ表している。
【0008】
撮影レンズ1の瞳の上半分を通過する光束を実線で表し、下半分を通過する光束を破線で表すと、両者がピント面2を通過する位置が、前ピンと後ピンで反転する性質を有している。これを利用して、合焦状態を判定する。
【0009】
具体的には、ピント面2に、図8(a)に示される構成の素子を複数個アレイ状に配置する。図8(a)に於いて、マイクロレンズ(或いは蝿の目レンズ)3に対応して、2つの受光素子4及び5が配置されている。該受光素子4は、マイクロレンズ3に対して、破線で示されるように入射される光線7を受光する。また、受光素子5は、マイクロレンズ3に対して、実線で示されるように入射される光線を受光する。言い換えると、それぞれの受光素子4及び5は、受光する光線に方向性を有している。
【0010】
このようなマイクロレンズと受光素子の組を、複数個(例えば24個等)ピント面2の近傍に配列する。方向性を区別するために、受光素子4の位置に配列された受光素子群をA系列と称し、受光素子5の位置に配列された受光素子群をB系列と称するものとする。すると、A系列で受光される光強度分布とB系列で受光される光強皮分布は、図8(b)に、それぞれ光強度分布8及び9で示されるように、合焦状態からずれた前ピン或いは後ピン状態では、合焦状態からのずれ量に応じて左右にずれる。これを測定して、合焦状態からのずれ量(デフォーカス量)を知ることができる。
【0011】
尚、図8(b)に於いて、縦軸方向は(CCDで撮像される)光強度分布、横軸方向は(撮像素子の走査方向、例えば行の)空間座標或いは番号である。
【0012】
カメラのピント合わせに用いられるスプリットイメージ方式は、図9に示されるように、2つの薄い楔(Wedge)状のプリズム11及び12を逆勾配に組合わせもの(スプリットプリズムペアと称する)により、各プリズム11及び12の斜辺の交点がピント面13を定める。このピント面13からdzだけずれた面14上の点P′に収束する光束15は、2δdzだけ離間した2点A、Bから発散する光束に変換される.
ここで、δは各プリズムによる偏角であり、各プリズムの頂角をα、屈折率をnとしたとき、(n−1)αで表される。これを、接眼レンズ16を介して肉眼17で観察する。実際には、点の代わりに上下の窓に表示された像の横ずれが一致するようにピントを合わせる。これは、上述した2つの方式のうち、相関法に分類することができる。
【0013】
【発明が解決しようとする課題】
ところで、二眼または多眼ステレオ法は、焦点距離を初めとする内部パラメータ、カメラ間の位置、姿勢等の外部パラメータといったカメラパラメータのキャリブレーションや、画像間の対応を求める、いわゆる対応問題を解決する必要がある。しかしながら、両者共に困難な課題であり、いまだに満足のいく解決策を日々求めている段階にある。
【0014】
また、TTL−SIR、或いはTCLシステムは、カメラの視野の中心或いは被写体に於ける一部のエリアにつき距離情報をとっており、シーン全体の距離情報をとることができない。
【0015】
また、二眼または多眼ステレオ法では、ズーム操作やフォーカシング操作との協調がうまくいかないといった課題を有している。例えば、ズーム操作を行う場合、二眼または多眼ステレオ法では、使用するレンズを全て同じようにズーム操作を行わせる必要が生ずる。また、フォーカシング操作を行うと、カメラパラメータが変化し、キャリブレーションの修正が、場合によっては必要となるという困難がある。
【0016】
したがって本発明は、被写体或いはシーン全体の距離情報を一眼のカメラで撮像したピント面の画像を、合焦状態に応じて2つに分離することによって相関法を用いて距離情報を求めることのできる3次元撮像装置を提供することを目的とする。
【0017】
また、本発明は、カメラパラメータのキャリブレーションをすることなしに、対応問題を軽減することのできる3次元撮像装置を提供することを目的とする。
【0018】
【課題を解決するための手段】
すなわち第1の発明による3次元撮像装置は、光が入射する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた1の方向に偏向されるように構成された、撮像光学系のピント面近傍に配設された光学素子と、上記各領域に各レンズが同軸に配設されたレンズアレイと、上記レンズアレイに関して上記光学素子と略共役の位置に受光面を有し、上記光束の各偏向方向毎に像を区別して撮像可能な撮像素子と、を具備することを特徴とする。
【0019】
また、第2の発明による3次元撮像装置は、撮像レンズのピント位置近傍に設けられた、逆交差したマイクロスプリットプリズムペアのアレイを含むスプリットプリズム板と、該マイクロスプリットプリズムペアと同軸に配列されたマイクロレンズのアレイと、該マイクロレンズのアレイに関して上記マイクロスプリットプリズムペアのピント面と共役に配置され、該マイクロスプリットプリズムペアの長手方向に平行な走査方向を有し、それぞれのマイクロスプリットプリズムからの信号光を別々の走査ラインで撮像する固体撮像素子アレイと、を具備することを特徴とする。
【0020】
第3の発明による3次元撮像装置は、画素毎に光を感光可能な感光領域と光を感光しない非感光領域とを有する、複数画素を有する受光素子と、上記受光素子の各画素に対応して各レンズが配設されたレンズアレイと、を有し、上記各画素の感光領域と対応するレンズの光軸との相対的位置関係が、予め定められた複数の相対的位置関係のうちの1つに該当するように構成されており、上記受光素子は上記各相対的位置関係毎に区別して撮像可能であることを特徴とする。
【0021】
更に、第4の発明による3次元撮像装置は、撮像レンズのピント位置近傍に設けられたマイクロレンズ付固体撮像素子アレイであって、マイクロレンズアレイの光軸と該固体撮像素子アレイの各画素に設けられたフォトダイオード開口部との相対的位置関係が、偶数番目の走査ラインと奇数番目の走査ラインとで走査方向に半画素分ずれて配置されたことを特徴とする。
【0022】
第1の発明による3次元撮像装置にあっては、撮像光学系のピント面近傍に配設された光学素子は、光が入射する面の少なくとも一部が複数の領域に区分されている。そして、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた1の方向に偏向されるように構成されている。また、レンズアレイは、上記各領域に各レンズが同軸に配設されている。そして、撮像素子は、上記レンズアレイに関して、上記光学素子と略共役の位置に受光面を有し、上記光束の各偏向方向毎に像を区別して撮像可能となっている。
【0023】
また、第2の発明による3次元撮像装置にあっては、撮像レンズのピント位置近傍に設けられたスプリットプリズム板が、逆交差したマイクロスプリットプリズムペアのアレイを含んでおり、該マイクロスプリットプリズムペアと同軸にマイクロレンズのアレイが配列されている。そして、固体撮像素子アレイは、該マイクロレンズのアレイに関して上記マイクロスプリットプリズムペアのピント面と共役に配置され、該マイクロスプリットプリズムペアの長手方向に平行な走査方向を有し、それぞれのマイクロスプリットプリズムからの信号光を別々の走査ラインで撮像するものである。
【0024】
第3の発明による3次元撮像装置にあっては、画素毎に光を感光可能な感光領域と光を感光しない非感光領域とを有する複数画素を、受光素子が有している。また、上記受光素子の各画素に対応して各レンズが、レンズアレイに配設されている。そして、上記各画素の感光領域と対応するレンズの光軸との相対的位置関係は、予め定められた複数の相対的位置関係のうちの1つに該当するように構成されている。上記受光素子は、上記各相対的位置関係毎に区別して撮像可能となっている。
【0025】
更に、第4の発明による3次元撮像装置にあっては、撮像レンズのピント位置近傍にマイクロレンズ付固体撮像素子アレイが設けられている。そして、マイクロレンズアレイの光軸と該固体撮像素子アレイの各画素に設けられたフォトダイオード開口部との相対的位置関係が、偶数番目の走査ラインと奇数番目の走査ラインとで走査方向に半画素分ずれて配置されている。
【0026】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【0027】
図1は、本発明の第1の実施の形態を示すもので、図1(a)は3次元撮像装置に適用されるマイクロ化したスプリットプリズムペア(以下、マイクロスプリットプリズムペアと称する)を説明する断面図、(b)は同図(a)の一部を立体的に示した図、(c)はマイクロレンズを示した図である。
【0028】
図1(a)に於いて、マイクロスプリットプリズムペア21は、2次元のアレイ状に配列されてスプリットプリズム板22を構成する。このスプリットプリズム板22は、光が入対する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた1の方向に偏向されるように構成された光学素子である。
【0029】
尚、図中23はピント面を表している。このピント面23は、マイクロスプリットプリズムペア21の斜辺の交点を通る。
【0030】
上記マイクロスプリットプリズムペア21の入射光線28より後方側には、マイクロレンズ25、2次元の固体撮像素子26が配置されている。一方、ピント面23から所定距離dzだけデフォーカスしてデフォーカス面24が形成される。このデフォーカス面24に対して、光軸27が直交し、収束する光線28が入射される。そして、図中、O0 はその収束点、二点O1 、O2 はデフォーカス量dzに対応して2δdzだけ離れた2点を表している。
【0031】
図1(b)は、同図(a)の一部を立体的に示しているが、煩雑を避けるために、マイクロスプリットプリズムペア21のマイクロレンズ25を取り除いて示している。
【0032】
図1(b)に於いて、マイクロスブリットプリズムペア21は、各要素であるマイクロスプリットプリズム31及び32を有しており、これらマイクロスプリットプリズム31及び32は逆交差の状態に配置されている。該マイクロスプリットプリズム31及び32の後方には、2次元固体撮像素子の、例えば偶数番目、奇数番目のそれぞれの行に属する画素33及び34が配列されている。そして、図示矢印C方向は、走査の方向を表している。
【0033】
ここで、逆交差の状態に配置されたマイクロスプリットプリズムとは、2つの薄い楔状のプリズムを逆勾配に組合わせたものをいう。通常、その最急勾配線を横方向から見て交差した点(実際には線)が、ピント位置を決定する。
【0034】
スプリットプリズムペアに於いて、逆交差している1つの定義として、スプリットプリズムペアに於いて、ピント平面とプリズムベアの境界平面の両方に垂直な平面を想定した場合、一方のプリズムの光の入対面または射出面の法線方向と、他方のプリズムの対応面の法線ベクトルが、上記想定平面に対して異なる側にある状態になる。(両者のベクトルが平面に対して異なる側にある状態とは、平面上に両者のベクトルの始点をおいた場合、平面によって2分割された空間のそれそれ異なった空間に各終点があるとの意味である。
【0035】
上記マイクロスプリットプリズム31及び32で定められる光軸27に平行に入射された光線35及び36は、それぞれ該マイクロスプリットプリズム31及び32で偏向されて、画素37及び38のように、走査方向Cに対して前後方向にずれた画素に入射される。
【0036】
スプリットプリズム板の入射面に於いては、少なくとも一部にはスプリットプリズム群の形成された部分を有している。この際、入射面全面にスプリットプリズム群が形成されいてもよい。そして、このスプリットプリズム群の個々のプリズムの入射面を1つの領域と捉えられる。この各領域(個々のプリズムの入射面)に入射してた光は、予め定められた複数の方向(本実施の形態では2方向)のうちから各領域毎に定められた1の方向に偏向される。上記各プリズムは、2方向のうち何れかの方向に光を偏向する。
【0037】
このように、スプリットプリズム板は好適なものであるが、これに限定されず、光が入射する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は予め定められた複数の方向のうちから各領域毎に定められた1の方向に偏向されるように構成された光学素子ならばよい。
【0038】
上記マイクロレンズ25は、図1(c)に示されるように、光透過部39、40と、図中斜線で示される光遮蔽部41、42とが、交互に配置されて構成されている。
【0039】
図2(a)は、本3次元撮像装置の全体構成の概要を示した図である。
【0040】
図2(a)に於いて、光軸44に沿って入射される光線は、撮像レンズ45を介し、クイックリターンミラー(または半透鏡)46で反射されて、レンズ47を介してデフォーカス量dzの検出装置48に至る。また、クイックリターンミラー46が光路より退避されている場合は、撮像レンズ45を通過した光線は、メインの2次元固体撮像素子49に至る。
【0041】
図2(b)は、本撮像装置に入射される主光線の光路を示すもので、図中H1 、H2 は、撮像レンズ45の主点を表している。
【0042】
上記検出装置48の構造に厚みがある関係上、入射される光線は検出装置48に略垂直に入射することが望ましい。このため、検出装置48の前方にレンズ47が載置されて、撮像光学系(45及び47)をテレセントリックにしている(主光線が検出装置48に略垂直に入射するようにしている)。
【0043】
但し、撮像素子にCCDやCMOSを使用したカメラでは、撮像素子に垂直に主光線が入射するように撮像光学系を設計をする場合が多い(撮像レンズ45だけでテレセントリックになっている)が、このような撮像光学系では、レンズ47は不要となる。
【0044】
次に、このように構成された3次元撮像装置の動作について説明する。
【0045】
図1(a)、1(b)に於いて、ピント面23からdzだけずれたデフォーカス面24の点O0 に収束する光束は、マイクロスプリットプリズムペア21を透過した後、2δdzだけ離れた2点01 、02 から発散するように進む。これら2点01 、02 の像は、マイクロレンズ25を介して2次元固体撮像素子26上に形成される。その倍率Mは、例えば「1」に設定される。
【0046】
この場合には、2δdzだけ離間した2点01 、02 の、該マイクロレンズ25による同サイズの像が、2次元固体撮像素子26上に形成される。マイクロスプリットプリズムペア21の長手方向の長さは、2次元固体撮像素子26の、例えば数画素分の長さを有しており、その幅はそれぞれ1画素分とする。
【0047】
また、マイクロスプリットプリズムペア21の長手方向は、2次元固体撮像素子26の走査方向と平行に配置される。言い換えると、奇数番目に走査された画像は、例えばマイクロスプリットプリズムペア21の一方を通過した画像を撮像し、偶数番目に走査された画像はマイクロスプリットプリズムペア21の他方を通過した画像を撮像する。両者は、マイクロスプリットブリズムペア21の働きにより、対となる2Mδdzだけ横方向にずれた2つの画像を提供している。
【0048】
通常のカメラのピント合わせの場合は、肉眼により、このずれ量が0になるように調節する。ここでは、肉眼の代わりに、図1(c)に示されるマイクロレンズ25が用いられている。これは、マイクロレンズ25が光遮蔽部41を有しており、該マイクロレンズ25の右半分は、図示されない撮影レンズの2分割された瞳の一方(例えば下半分)からの光束を優先的に透過させ、マイクロレンズ25の左半分は図示されない撮影レンズの2分割された瞳の他方(例えば上半分)からの光束を優先的に透過させる、という役割を有しているからである。
【0049】
このように配慮すると、マイクロスプリットブリズムペア21で対とされた、奇数番目に走査された画像と、偶数番目に走査された画像とが、それぞれ図示されないメモリに記憶され、両画像間の相関がペアとなる各行毎にとられて、横ずれ量2Mδdzのマップ(撮像素子上の位置の関数)が求められ、上記M、δを既知としてデフォーカス量dzの2次元データ、言い換えると、被写体全体或いはシーンの距離情報が得られる。
【0050】
このとき、相関をとる2つの画像は、同一の撮像レンズ、撮像素子で撮標された画像であるため、異なる撮像レンズの異なる配置、姿勢で撮られた2つの画像間の相関をとる場合と比較して極めて単純化されており、いわゆる対応問題を軽減している。
【0051】
デフォーカス量dzと被写体までの距離aとの間には、撮像レンズの焦点距離fを介して、次式が成立する。
(1/a)+(1/b)=1/f …(1)
△b=−(b2 /a2 )△a≡dz …(2)
ここで、bは撮像レンズから像面(ピント面)までの距離を表している。撮像装置のAF機能から被写体までの距離aが求められ、デフォーカス量dzと、上記(1)式及び(2)式から、被写体の立体情報Δaを求めることができる。
【0052】
撮像装置のAF機能は、専用のAFセンサからの信号を用いるか、上述したマイクロスプリットプリズムペア21の機能を利用して、例えば、視野の中心付近のエリアでの平均的デフォーカス量dzを求めて、これが0となるように撮像レンズに帰還をかけることにより達成することもできる。
【0053】
このように、上記光束の各偏向方向毎に像を区別して撮像可能な撮像素子は、光の偏向方向(2方向)毎に、走査線の奇数と偶数を対応させて、区別して受光している。上記撮像素子は光の仰向方向毎に像を区別して撮像するが、走査線により像を区別するのは好適な方法である。
【0054】
次に、図2(a)及び(b)を参照すると、撮像レンズ45により撮像された図示されない被写体の画像は、クイックリターンミラー(または半透鏡)46を介して、その濃淡画像(輝度画像)はメインの2次元固体撮像素子49により撮像される。被写体の距離情報は、デフォーカス量dzの検出装置48により、上述したようにして得られる。レンズ47の動作は、撮像レンズ45の画角を構成する主光線(主点H1 に収束し、主点H2 から発散する光線束)を光軸に平行な主光線(テレセントリック光学系)に変換することにある。
【0055】
次に、図1(a)に示されるマイクロスプリットプリズムペア21の機能について説明する。
【0056】
図3(a)に於いて、マクロ的なスプリットプリズム51(図9の例えばプリズム11)を模式的に表すとすれば、マイクロスプリットプリズム52に相当する。これは、マクロ的なプリズムとリニアフレネルレンズが等価であるのと似ている。マイクロスプリットプリズム52の高さは、撮影に使用するスペクトル領域の中心波長の整数倍に選択される。
【0057】
また、図4は、マイクロスプリットプリズムペア21の感度の向上について説明するものである。
【0058】
通常のマイクロスプリットプリズム53を、図4(a)に示されるような形状であるとすると、図4(b)に示されるマイクロスプリットプリズム54は、同図(a)に示されるマイクロスプリットプリズム53のピッチを1/4に短縮したものである。こうすると、マイクロスプリットプリズム54の頂角(図の左側の底角)は、マイクロスプリットプリズム53の頂角の約4倍となり、感度が4倍となる。この役割は、例えば、視野の中心部の距離分解能を、周辺に比較して高く選びたいときに有効となる。
【0059】
このように、第1の実施の形態によれば、図1(a)に示されるスプリットプリズム板22は、基本的にリニアフレネルレンズを一行おきに形成したものであり、視野の中心の感度と周辺の感度を任意に変更できる可能性を有している。また、基板としてマイクロレンズ25を要素とする2次元アレイを用いることにより、この上にマイクロスプリットプリズムペア21の2次元アレイを一体化して密着形成することができる、という利点も有している。
【0060】
この第1の実施の形態には、多くの変更が可能である。
【0061】
次に、その1つについて、図5を参照して説明する。
【0062】
図5(a)に示される曲線55は、非球面を表している。また、図5(b)に示される曲線56は、上記非球面55をこれと等価なフレネル面で近似したものを表している。マイクロスプリットプリズムの代わりに非球面55と等価なフレネル面で置き換えると、該マイクロスプリットプリズムの感度は頂角に比例することから、図5(b)に於いて、右側から左側に移行するにつれ感度が増大することがわかる。
【0063】
したがって、例えば左端を視野の中心とすれば、視野の中心で感度が非線型的に高くなり、周辺に移行するにつれて感度が低下する機能が得られる。これは、丁度人間の眼が視野の中心で高感度を有するという機能をシミュレートすることになる。
【0064】
また、図1(b)に於いて、マイクロスプリットプリズム31、32の横幅をそれぞれ1画素分の幅としたが、メモリヘの書き込みがやや複雑となるが、複数行の幅にわたるとしても可能であることは勿論である。
【0065】
本発明によれば、図2(a)に示される検出装置48で扱われる画像は、一眼の撮像レンズ45により得られ、メインの2次元固体撮像素子48により撮像される輝度画像と同じものであるから、撮像レンズ45のズーム操作や合焦動作に協調して動作可能な特徴を有している。これは、上述したように、多眼ステレオでは困難な課題である。
【0066】
また、従来の合焦装置にみられる視野の中心部のみ距離情報をとるのでなく、視野全体の距離情報を相関をとることにより求めることができるという特徴を有している。
【0067】
更に、一眼の撮像レンズ45で得られた画像の偶数番目の走査から得られた画像と、該画像とペアとなる奇数番目の走査から得られた画像との相関をとることから、いわゆる対応問題を軽減することができる。
【0068】
次に、本発明の第2の実施の形態を説明する。
【0069】
図6は、本発明の第2の実施の形態による3次元固体撮像装置の構成例を示した図である。
【0070】
図6に於いて、2次元固体撮像素子は、各行60、61、62を有して構成される。上記各行60、61、62には、画素65、66、…を有している。そして、例えば、上記画素65内には、感光領域であるフォトダイオード(PD)開口部64を有している。また、画素65内で、上記PD開口部64以外の部分が非感光領域である。尚、63はマイクロレンズである。
【0071】
PD開口部64の画素65内での配置は各行で同じであるが、マイクロレンズの位置が行61では隣接する行60、62と比べて半画素分ずれている。言い換えると、偶数番目の行と奇数番目の行でのPD開口部64の画素内での位置はそれぞれ同じであるが、マイクロレンズは半画素分ずれている。
【0072】
次に、本第2の実施の形態の動作を説明する。
【0073】
マイクロレンズ63の形状は、稠密構造をとることが望ましく、例えば、図6に示される例では、六角形状をしている。この中心とPD開口部64の中心とはずれているから、受光する光束には方向性、或いは指向性が生ずる。この指向性は、PD開口部64の幅(行60の走査方向に平行な幅)が狭いほど高くなる。
【0074】
隣り合う行の受光の指向性は、それぞれの行のマイクロレンズの光軸に対して反対の方向をとる。これは、上述した図8(a)で説明した機能を、隣り合う2つの行で分担した形をとっている。
【0075】
言い換えると、2次元固体撮像素子の偶数番目の行と奇数番目の行とで撮像された画像(それぞれ偶数画像、奇数画像と称する)では、分割された瞳で被写体を見たときに生ずる視差に対応した横ずれを生じており、偶数画像、奇数画像間の行毎の相関をとることにより、図7に示される瞳分割の原理による視差に対応した距離情報を得ることができる。
【0076】
このように、第2の実施の形態は、上述した第1の実施の形態にみられるマイクロスプリットプリズムのような異方性を有する光学素子を必要とせず、マイクロレンズと、これに対応した画素内でのPD開口部の位量とにより、受光する方向に異方性をもたしている。したがって、第1の実施の形態よりも構成が簡単であり、製作が容易であるという利点を有している。
【0077】
また、この第2の実施の形態には、種々の変更が可能である。
【0078】
図6では、マイクロレンズを半画素分、行毎にずらしたが、逆にマイクロレンズを四角形状として桝目状に並べて、PD開口部を行毎に半画素ずらすということも可能である。
【0079】
【発明の効果】
以上のように本発明によれば、被写体或いはシーン全体の距離情報を一眼のカメラで撮像したピント面の画像を、合焦状態に応じて2つに分離することによって相関法を用いて距離情報を求めることのできる3次元撮像装置を提供することができる。
【0080】
また、本発明によれば、カメラパラメータのキャリブレーションをすることなしに、対応問題を軽減することのできる3次元撮像装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すもので、図1(a)は3次元撮像装置に適用されるマイクロ化したスプリットプリズムペアを説明する断面図、(b)は(a)の一部を立体的に示した図、(c)はマイクロレンズを示した図である。
【図2】(a)は3次元撮像装置の全体構成の概要を示した図、(b)は本撮像装置に入射される主光線の光路を示した図である。
【図3】マクロ的なスプリットプリズム51を模式的に表した図である。
【図4】マイクロスプリットプリズムペア21の感度の向上について説明するもので、(a)は通常のマイクロスプリットプリズム53を模式的に表した図、(b)は(a)に示されるマイクロスプリットプリズム53のピッチを1/4に短縮して表した図である。
【図5】第1の実施の形態の変形で、(a)は非球面55を表した図、(b)は上記非球面55をこれと等価なフレネル面で近似した図である。
【図6】本発明の第2の実施の形態による3次元固体撮像装置の構成例を示した図である。
【図7】AFに用いられるTTL−SIR、或いはTCLシステムの原理について説明するもので、(a)は被写体P0 に対して合焦の状態を示した図、(b)は被写体P1 に対して前ピンの状態を示した図、(c)は被写体P2 に対して後ピンの状態を示した図である。
【図8】AFに用いられるTTL−SIR、或いはTCLシステムの原理について説明するもので、(a)は撮影レンズと受光素子との関係を示した図、(b)は(a)の受光素子位置に配列された受光素子群の光強度分布図である。
【図9】カメラのピント合わせに用いられるスプリットイメージ方式を説明する図である。
【符号の説明】
21 マイクロスプリットプリズムペア、
22 スプリットプリズム板、
23 ピント面、
24 デフォーカス面、
25 マイクロレンズ、
26 固体撮像素子、
27、44 光軸、
28、35、36 光線、
31、32 マイクロスプリットプリズム、
33、34、37、38 画素、
39、40 光透過部、
41、42 光遮蔽部、
45 撮像レンズ、
46 クイックリターンミラー(半透鏡)、
47 レンズ、
48 検出装置、
49 2次元固体撮像素子。
Claims (7)
- 光が入射する面の少なくとも一部が複数の領域に区分されており、上記各領域に入射する各光束は、予め定められた複数の方向のうちから各領域毎に定められた1の方向に偏向されるように構成された、撮像光学系のピント面近傍に配設された光学素子と、
上記各領域に各レンズが同軸に配設されたレンズアレイと、
上記レンズアレイに関して上記光学素子と略共役の位置に受光面を有し、上記光束の各偏向方向毎に像を区別して撮像可能な撮像素子と、
を具備することを特徴とする3次元撮像装置。 - 撮像レンズのピント位置近傍に設けられた、逆交差したマイクロスプリットプリズムペアのアレイを含むスプリットプリズム板と、
該マイクロスプリットプリズムペアと同軸に配列されたマイクロレンズのアレイと、
該マイクロレンズのアレイに関して上記マイクロスプリットプリズムペアのピント面と共役に配置され、該マイクロスプリットプリズムペアの長手方向に平行な走査方向を有し、それぞれのマイクロスプリットプリズムからの信号光を別々の走査ラインで撮像する固体撮像素子アレイと、
を具備することを特徴とする3次元撮像装置。 - 上記スプリットプリズム板は、上記マイクロレンズのアレイに密着して形成されたことを特徴とする請求項2に記載の3次元撮像装置。
- 上記スプリットプリズム板は、視野の中心部の感度を向上させた領域を有することを特徴とする請求項2に記載の3次元撮像装置。
- 上記視野中心部の感度を向上させる感度向上手段を更に具備し、該感度向上手段は、非球面若しくはこれと等価なリニアフレネルレンズを設けたことを特徴とする請求項4に記載の3次元撮像装置。
- 画素毎に光を感光可能な感光領域と光を感光しない非感光領域とを有する、複数画素を有する受光素子と、
上記受光素子の各画素に対応して各レンズが配設されたレンズアレイと、を有し、
上記各画素の感光領域と対応するレンズの光軸との相対的位置関係が、予め定められた複数の相対的位置関係のうちの1つに該当するように構成されており、上記受光素子は上記各相対的位置関係毎に区別して撮像可能であることを特徴とする3次元撮像装置。 - 撮像レンズのピント位置近傍に設けられたマイクロレンズ付固体撮像素子アレイであって、
マイクロレンズアレイの光軸と該固体撮像素子アレイの各画素に設けられたフォトダイオード開口部との相対的位置関係が、偶数番目の走査ラインと奇数番目の走査ラインとで走査方向に半画素分ずれて配置されたことを特徴とする3次元撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000390576A JP4472166B2 (ja) | 2000-12-22 | 2000-12-22 | 3次元撮像装量 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000390576A JP4472166B2 (ja) | 2000-12-22 | 2000-12-22 | 3次元撮像装量 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002191060A JP2002191060A (ja) | 2002-07-05 |
JP4472166B2 true JP4472166B2 (ja) | 2010-06-02 |
Family
ID=18856911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000390576A Expired - Fee Related JP4472166B2 (ja) | 2000-12-22 | 2000-12-22 | 3次元撮像装量 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4472166B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103424076A (zh) * | 2013-08-20 | 2013-12-04 | 国家电网公司 | 一种数码照片的比例标记尺及其标记方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7423679B2 (en) * | 2002-12-20 | 2008-09-09 | Eastman Kodak Company | Imaging system having extended useful latitude |
KR100728204B1 (ko) | 2003-06-02 | 2007-06-13 | 삼성에스디아이 주식회사 | 2차원 영상과 3차원 영상 겸용 디스플레이 장치 |
US7090135B2 (en) * | 2003-07-07 | 2006-08-15 | Symbol Technologies, Inc. | Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes |
KR100709370B1 (ko) * | 2005-07-05 | 2007-04-20 | 삼성전자주식회사 | 입체영상을 생성하는 광학계 |
WO2009066672A1 (ja) * | 2007-11-19 | 2009-05-28 | Nikon Corporation | 干渉計 |
JP5756721B2 (ja) * | 2010-09-22 | 2015-07-29 | 富士フイルム株式会社 | 撮像装置 |
JP5640143B2 (ja) * | 2011-03-31 | 2014-12-10 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
EP3267677B1 (en) | 2011-08-24 | 2019-08-28 | Fujifilm Corporation | Imaging device |
JP5655174B2 (ja) | 2012-03-29 | 2015-01-14 | 富士フイルム株式会社 | 画像処理装置、撮像装置および画像処理方法 |
JP2015029461A (ja) * | 2013-08-02 | 2015-02-16 | 克昌 藤田 | 撮像装置 |
CN107669234B (zh) * | 2017-10-20 | 2024-06-18 | 苏敏 | 单镜头横幅立体内窥镜*** |
JP7367215B2 (ja) * | 2020-06-08 | 2023-10-23 | 株式会社日立ハイテク | 荷電粒子線装置、およびそのフォーカス調整方法 |
-
2000
- 2000-12-22 JP JP2000390576A patent/JP4472166B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103424076A (zh) * | 2013-08-20 | 2013-12-04 | 国家电网公司 | 一种数码照片的比例标记尺及其标记方法 |
CN103424076B (zh) * | 2013-08-20 | 2016-01-20 | 国家电网公司 | 一种数码照片的比例标记尺及其标记方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2002191060A (ja) | 2002-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5914055B2 (ja) | 撮像装置 | |
CN104104849B (zh) | 摄像设备及其控制方法 | |
CN105635530B (zh) | 光场成像*** | |
JP4961993B2 (ja) | 撮像素子、焦点検出装置および撮像装置 | |
JP6584149B2 (ja) | 撮像装置 | |
JP4472166B2 (ja) | 3次元撮像装量 | |
US9412777B2 (en) | Image sensor and image capturing apparatus for satisfactory pupil division by a focus detection pixel in which a light guide is formed | |
CN101960861A (zh) | 具有多视角图像捕捉的传感器 | |
KR20150015285A (ko) | 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 | |
JP6536126B2 (ja) | 撮像素子および撮像装置 | |
US8160437B2 (en) | Focus detection apparatus | |
JP5834398B2 (ja) | 撮像素子及び撮像装置 | |
JP2014035516A (ja) | 撮像装置及びその制御方法 | |
US11747714B2 (en) | Image sensor and image-capturing device that selects pixel signal for focal position | |
US7847226B2 (en) | Focus detection device and method with honeycomb lens array and imaging device | |
JP2005300992A (ja) | 焦点検出装置 | |
JP2012008370A (ja) | 撮像装置および交換レンズ | |
WO2012153504A1 (ja) | 撮像装置および撮像装置の制御プログラム | |
JP2013140380A (ja) | 撮像装置 | |
JP7522571B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US20220028914A1 (en) | Image sensor and image capturing apparatus | |
US10996426B2 (en) | 3D imaging using phase detection autofocus (PDAF) image sensor | |
JP2018026604A (ja) | 撮像装置および撮像装置システム | |
JP2012230300A (ja) | 撮像装置及び撮像素子 | |
JP2017223763A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100303 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |