JP4031306B2 - ３次元情報検出システム - Google Patents
３次元情報検出システム Download PDFInfo
- Publication number
- JP4031306B2 JP4031306B2 JP2002204189A JP2002204189A JP4031306B2 JP 4031306 B2 JP4031306 B2 JP 4031306B2 JP 2002204189 A JP2002204189 A JP 2002204189A JP 2002204189 A JP2002204189 A JP 2002204189A JP 4031306 B2 JP4031306 B2 JP 4031306B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- imaging
- distance
- intensity
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は３次元情報検出システムに関し、特に、被写体の奥行き形状を検出し３次元情報を取得する３次元情報検出システムに関する。
【０００２】
【従来の技術】
物体の３次元位置もしくは奥行き距離の検出方法として、複数台のカメラを使用して得られた多視点画像より３次元情報を取得するステレオ法がある。また、光を照射し距離を検出する方法として、照射光を正弦波駆動し反射側で位相を検出して距離を算出する方法がある。
【０００３】
また、特願平１０−２９３８１７号公報には、照射光の時間変化と撮像側のゲイン変調の組合せを２種類選ぶことで撮影された２枚の画像より高速に距離を算出することが記載されている。
【０００４】
【発明が解決しようとする課題】
ステレオ法による３次元情報の取得方法では、光を照射する必要がないため、外光の影響を受けないというメリットがある反面、複数台のカメラの配置やカメラレンズのキャリブレーションが煩雑であり、また、装置が大型であり汎用性に欠ける。更にカメラレンズのズーム操作により自由な撮影画角変更ができない。更に、標準テレビジョン画像程度以上の高精細な画像において、画素ごとに距離を算出するには、複数画像間で対応点を検索する画像マッチング処理に時間を要するため、ビデオレート（フレームレート６０Ｈｚ）程度の高速で、かつ、４０万画素以上の多画素検出は困難であるという問題があった。
【０００５】
また、正弦波状の光を被写体に照射し反射側でその位相を検出する方式では、撮影画素ごとに光の位相を算出していく必要があり、一般的に実用化レベルにあるレンジファインダで被写体全体の距離を検出する場合は、光ビームの２次元走査機構が必要であるため、高速性が損なわれてしまうとともに構成も複雑となってしまうという問題があった。
【０００６】
また、特願平１０−２９３８１７号公報では、高速に距離画像（距離の情報を画像信号の輝度で表した画像）を取得する方法を示しているが、カラー映像と同じ画角の距離映像を同時に撮影し、しかも距離検出のオクルージョンがなく、ハイビジョン映像クラスの高品質な映像の撮影を可能とし、カメラレンズのズーム機能に対応してカラー画像と距離映像を連動する具体的な方法については考慮されていないという問題があった。
【０００７】
本発明は、上記の点に鑑みなされたもので、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる３次元情報検出システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、可視領域外の１つの中心波長を持つ光を強度変調して被写体に照射する可視領域外光照射手段と、前記被写体からの反射光を集光するカメラレンズと、前記カメラレンズで集光された光を可視領域外の光と可視領域の光とに波長分離する光分離手段と、撮像ゲインを変調して前記光分離手段で波長分離された可視領域外の光学像を撮像するゲイン可変撮像手段と、前記光分離手段で分離された可視領域の光学像を撮影し映像信号を出力する撮影手段と、前記ゲイン可変撮像手段で撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力する信号処理手段を有する３次元情報検出装置と、
可視領域の光を前記被写体に照射する可視光照射装置とで構成される３次元情報検出システムであって、
前記３次元情報検出装置は、
前記可視領域外光照射手段は出力光の光強度を時間と共に増加及び減少させ、前記ゲイン可変撮像手段は撮像ゲインをパルス状に短時間一定値とし、前記信号処理手段は前記光強度を時間と共に増加させながら撮像した画像と前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段はパルス光を出力し、前記ゲイン可変撮像手段は撮像ゲインを時間と共に増加及び減少させ、前記信号処理手段は撮像ゲインを時間と共に増加させながら撮像した画像と撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段は出力光の光強度を矩形波状に変調して出力し、前記ゲイン可変撮像手段は撮像ゲインを前記光強度と同一周期で矩形波状に変調し、前記信号処理手段は前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出するとともに、
前記可視領域外光照射手段を、照射する可視領域外の光の光軸が前記カメラレンズの光軸に近接するよう、前記カメラレンズの周囲に複数配置した３次元情報検出装置である、ことにより、
可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小し、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【００１１】
前記３次元情報検出装置において、
前記可視領域外光照射手段を前記カメラレンズの周囲に複数配置する代りに、前記可視領域外光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を有する構成とすることができる。
【００１２】
【発明の実施の形態】
図１は、本発明の３次元情報検出装置の第１実施例の構成図を示す。同図中、第１光源２の出力光を光照射光学系３を通して、撮影対象の被写体１を含む撮影範囲の全体に照射する。このとき、照射光は光強度が時間軸方向に変化する強度変調光４である。第１光源２としては１個もしくは複数個のレーザダイオードや発光ダイオードが使用できる。
【００１３】
また、第１光源２の出力光の波長はカラー画像撮影に必要な可視領域の波長以外の波長が使用でき、例えば紫外領域や赤外領域の波長が使用できる。特に、７５０ｎｍ〜９００ｎｍの近赤外光は、可視領域に波長が近く光学特性が可視領域と大きく異ならないため、通常のカラー画像撮影用のカメラレンズを使用でき、また、後述の色分離結像光学系８においても、可視領域との波長分離を高い効率で行える。
光学的に高い色分離結像光学系率を確保する光学系を作製することが容易である。
【００１４】
強度変調光４の生成手段としては、半導体レーザや発光ダイオードの駆動電流を直接変調しても良く、また、光源出力光を音響光学素子などの外部変調器を通して変調してもよい。光照射光学系３としては、例えば出力端面に微小レンズを使用し、照射する被写体の範囲に応じたレンズ形状を採用する。照明の照射強度の均一性を確保するためには、光ファイバ束を用い、各光ファイバに微小レンズを配置し照射面で個々の照射パターンを重畳することで、照射光強度の均一性を高めることができる。
【００１５】
更に、光照射光学系３としては、拡散板を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影アスペクト比に応じ効率よく均一な照明が実現できる。また、拡散板を用いることで面光源と同様の条件となり、点光源に比較し人物撮影時の目への負担が少なくなり、安全性が確保できる。
【００１６】
被写体１は、可視光５を照射する第２光源６で照明されている。この第２光源６は、カメラレンズ７の近傍にある必要はない。第１光源２に近赤外光を使用した場合、第２光源６としては近赤外成分がほとんど含まれていない蛍光灯照明が使用できる。
【００１７】
上記第１光源２及び第２光源６で照明された被写体１からの反射光は、カメラレンズ７により集光される。カメラレンズの特性としては、通常のカラー画像撮影用のズーム機能付カメラレンズを使用することができる。また、第１光源の波長に応じた表面コーティングを施すことにより、第１光源２の光を効率よく取り込めるとともに、レンズ内でのゴーストの発生を抑えることができ、距離検出性能と高画質映像の取得に有利である。
【００１８】
カメラレンズ７の後段に、第１光源２からの光波長成分と第２光源からの光波長成分とを色分離し、それぞれ結像する色分離結像光学系８が配置されている。第１光源２からの光成分の結像画像は高速に撮像ゲインを可変できる高速撮像素子９に入射される。
【００１９】
高速撮像素子９は第１光源２の強度変調光の時間変化が異なる条件下で、撮像ゲインを変調して複数の画像を撮影する。信号処理部１０は、得られた複数の画像の信号をもとにカメラから被写体１までの距離を算出する信号処理を行い、被写体１の奥行き距離を画像の濃淡で表す距離映像信号１１を出力する。
【００２０】
一方、色分離結像光学系８で分離された第２光源６からの光成分の結像画像はカラーカメラ１２に入射され、カラーカメラ１２はカラー映像信号１３を出力する。
【００２１】
図２に、第１光源２及び光照射光学系３の配置の一実施例を示す。第１光源２はカメラレンズ７の近傍に設置し、カメラレンズ７の撮影光軸１４と光源２の光照射光軸１５を近づけて配置することで、照明光の影を低減する。図２に示すようにカメラレンズ７より距離ｄで、カメラレンズ７の光軸上に位置する被写体１が、奥行きΔｄの段差を持っている場合、カメラレンズ７の撮影光軸１４から距離ｌだけ離れた位置にある光照射光学系３からの光は、被写体の一部に影１６を生じ、その幅Δｌは、（１）式で表される。
【００２２】
Δｌ＝ｌ・Δｄ／ｄ …（１）
（１）式から明らかなように、カメラレンズ７の撮影光軸１４と光源２の光照射光軸１５間の距離ｌを小さくするほど影の領域を小さくすることができる。
【００２３】
図３に、カメラレンズ７の両脇に光源を配置した実施例を示す。カメラレンズ７の両脇に、第１光源２，２’及び光照射光学系３，３’を配置することで、片側の第１光源２による照明の影１６部分を、もう一方の光源２’からの光を照射することができる。このように、カメラレンズ７の光軸１４と照射光軸１５，１５’を近づけると共に、カメラレンズ７をその左右や上下から挟むように配置することで、距離検出のオクルージョンとなる照明の影１６を低減することができる。
【００２４】
また、図３では一方の光源２で照明の影１６となる部分は、他方の光源２’で照明され、両方の光源で照らされている部分に比して約半分の光量となり、光の強度ムラが生じる。
【００２５】
また、図４に示すように、被写体１のカメラレンズ７の光軸１４を挟む位置に突起１ａ，１ｂがあり、突起１ａ，１ｂが光源２，２’による照明を阻んでいる特殊な場合は照明の影１６’が生じる。これらの場合はカメラレンズ７の光軸１４と照明光の照射光軸１５，１５’を一致させることで、これらの強度ムラや距離検出のオクルージョンとなる影の発生をなくすことができる。
【００２６】
図５に、撮影光軸と照射光軸を一致させる方法を示す。同図中、カメラレンズ７の前面にハーフミラー１７をカメラレンズ７の撮影光軸１４に対し４５度傾けて配置し、撮影光軸１４に直交する方向から第１光源２及び光照射光学系３でハーフミラー１７を介して照明を行う。光照射光学系３の出力する強度変調光４は、ハーフミラー１７で９０度反射され、カメラレンズ７の撮影光軸１４と一致する光軸１５にて被写体１を照明する。
【００２７】
これにより、照明の影１６，１６’や、光の強度ムラをなくすことができる。なお、強度変調光４のうち、ハーフミラー１７で反射せずに透過した光は、この波長の光を吸収する特性を持つ遮光体１８により吸収される。
【００２８】
また、ハーフミラー１７の代わりに、図６に示すように、偏光ビームスプリッタ１９を用いることもできる。この場合、強度変調光４の偏光方向を偏光ビームスプリッタ１９により反射する方向にそろえる。無偏光の場合は、偏光方向をそろえるための偏光変換素子を光照射光学系３の直後に配置して、偏光方向をそろえてもよい。強度変調光４の大部分は、偏光ビームスプリッタ１９で９０度反射される。
【００２９】
出力光はλ／４板２０を透過して円偏光となり、被写体１に照射される。反射光成分の円偏光に近い反射成分は、再びλ／４板２０に入射して直線偏光となり、偏光ビームスプリッタ１９を透過しカメラレンズ７へ入射される。
【００３０】
一方、第１光源２からの出力光の一部は偏光ビームスプリッタ１９を透過するため、この波長成分の光に対し吸収が大きい遮光板１８を設置し、カメラレンズ方向への反射を抑える。また、遮光板１８の代わりに、偏光保存するミラーを配置し、再度光照射光学系３側へ反射させることもできる。このように、偏光ビームスプリッタ１９を使うことで光源出力光の光利用効率を高くすることができる。
【００３１】
ところで、照射光の照射角は、第１光源２の前に取り付けた光照射光学系３により制御する。図７に、光照射光学系３の一実施例を示す。同図中、第１光源２は複数の光源から構成され、個々の光源の出力端に１個もしくは複数個のレンズ２１を取り付け、使用するカメラレンズ７で撮影される最大の画角に広げ光を照射する。
【００３２】
このとき、レンズの縦方向と横方向で広がり角が異なるレンズ、例えば２焦点レンズや焦点距離が異なるシリンドリカルレンズをそれぞれ縦置きと横置きとして光照射光学系３を構成し、カメラ映像の画角に応じた形状の光照射をすることで、光の利用効率を高めることができる。
【００３３】
例えば標準テレビジョンカメラを使用する場合は、横縦比率を４：３、ハイビジョン撮影の場合は１６：９とする。また、光照射光学系３に、拡散板２２を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。
【００３４】
特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影画角に応じ効率よく均一性のよい照明が実現できる。
【００３５】
ここで、強度変調光として時間と共に光強度が増加および減少する光と、短時間シャッタ機能を持つ撮像装置による距離検出方法について説明する。距離ｄに置かれた被写体に、図８（Ａ）に示すように、時間と共に係数ｓで光強度が増加する強度変調光２３を照射し、被写体からの反射光２４を時刻ｔｓにパルス状撮像ゲイン２５で短時間撮像した場合、高速撮像素子９で検出される信号量Ｅ＋（ｄ，ｔｓ）は、（２）式で表される。
【００３６】
【数１】
ここで、ＴＬはカメラレンズ７などのレンズ光学系の透過率、ρは被写体１の表面の反射特性係数、Ｆ０は光の最大照射強度、Δｔは撮像時間幅であり、光変調周期に対して十分小さい値である。また、ｃは光速、２ｄ／ｃは高速撮像素子９から被写体１までの距離ｄを光が往復する時間、ｌはカメラレンズ７から被写体１までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００３７】
次に、図８（Ｂ）に示すように、時間と共に係数ｓで光強度が減少する強度変調光２６を照射し、被写体１からの反射光２７を時刻ｔｓにパルス状撮像ゲイン２５で短時間撮像した場合、高速撮像素子９で検出される信号量Ｅ−（ｄ，ｔｓ）は、（３）式で表される。
【００３８】
【数２】
ここで、Ｔは光強度の変調周期である。なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図８（Ｂ）の強度変調光は図８（Ａ）の強度変調光と連続して送出しても良い。
【００３９】
（２）式と（３）式より、光強度の異なる２枚の画像間での強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（４）式となる。
【００４０】
【数３】
（４）式で示されるように、光強度増加時と光強度減少時に撮像した２つの画像間の比Ｒを計算するだけで、被写体１の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００４１】
このように、時間と共に強度変化する光源は、数十ＭＨｚの低い周波数でも実現できるため、レーザ光源以外に、ＬＥＤ（発光ダイオード）などインコヒーレントな照明も使用でき、高輝度で広い範囲を照明でき、人物の距離検出なども可能となる。なお、この方法による距離の検出範囲は、撮像時刻ｔｓと変調周波数ｆで決まり、（５）式で表される。
【００４２】
【数４】
実際の運用時には、撮像時刻ｔｓを調整し、被写体の位置に検出範囲を合わせる。また、測定レンジｄｒは、変調周波数ｆで決まり（６）式で表される。
【００４３】
ｄｒ＝ｃ／４ｆ …（６）
測定レンジｄｒが７．５ｍのとき変調周波数ｆは１０ＭＨｚとなり、測定レンジｄｒが１．５ｍのとき変調周波数ｆは５０ＭＨｚとなる。一方、撮像時の撮像時間幅Δｔは光源２の変調周期１／ｆより短く、数ｎｓｅｃのシャッタ機能が必要である。
【００４４】
次に、強度変調光として短時間のパルス光を使用し、高速撮像素子９の撮像ゲインを時間と共に高速に増加させながら撮像した画像と、撮像ゲインを時間と共に高速に減少させながら撮像した画像間で演算を行い、距離を検出する方法を説明する。
【００４５】
距離ｄの位置にある被写体１に、図９（Ａ）に示すように、光強度Ｆ０のパルス光２８を時刻ｔｐに照射し、被写体１からの反射光２９を時間と共に係数ｇで増加する撮像ゲイン３０を持つ高速撮像素子９で撮像した場合のカメラで検出される信号量Ｅ＋（ｄ，ｔｐ）は、（７）式で表される。
【００４６】
【数５】
ここで、ＴＬはカメラレンズ７などのレンズ光学系の透過率、ρは被写体１の表面の反射特性係数、τはパルス幅、ｃは光速、２ｄ／ｃは高速撮像素子９から被写体１までの距離ｄを光が往復する時間、ｌはカメラレンズ７から被写体１までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００４７】
次に、図９（Ｂ）に示すように、時間と共に係数ｇで減少する撮像ゲイン３１を持つ高速撮像素子９で撮像した場合のカメラで検出される信号量Ｅ−（ｄ，ｔｐ）は、（８）式で表される。
【００４８】
【数６】
ここで、Ｔは撮像ゲインの変調周期である。なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図９（Ｂ）の撮像ゲインの変調は図９（Ａ）の撮像ゲインの変調に連続するように設定しても良い。
【００４９】
（７）式と（８）式より、撮像ゲインの異なる２枚の画像間での強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（９）式となる。
【００５０】
【数７】
上記（９）式で示されるように、撮像ゲイン増加時と撮像ゲイン減少時に撮像した２つの画像間の強度比Ｒを計算するだけで、被写体１の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００５１】
このように、パルス状の光と、時間と共に変化する撮像ゲインの組合せでは、パルスレーザが使用でき、Ｑスイッチパルスレーザ光、モード同期パルス光など、パルス幅がピコ秒からフェムト秒のパルスレーザ光が使用できるため、分解能が高い距離検出が可能となる。
【００５２】
この場合、測定できる範囲（測定レンジ）Ｄは、（１０）式で表される。
【００５３】
【数８】
次に、矩形波状に変調した強度変調光と、矩形波状に撮像ゲインが変化する高速撮像素子９による距離検出方法を説明する。距離ｄに位置する被写体１に、図１０（Ａ）に破線で示すような矩形の強度変調光３２（光強度Ｆ０、変調周期Ｔ）を照射し、その反射光３３を強度変調光３２と同一周期で同位相の矩形状の撮像ゲイン３４（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ＋（ｄ，ｔｐ）は、（１１）式で表される。
【００５４】
【数９】
ここで、ＴＬはカメラレンズ７などのレンズ光学系の透過率、ρは被写体１表面の反射特性係数、ｃは光速、２ｄ／ｃは高速撮像素子９から被写体１までのまでの距離ｄを光が往復する時間、ｌはカメラレンズ７から被写体１までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【００５５】
次に、図１０（Ｂ）に示すように、周期Ｔだけシフトした強度変調光３２と逆位相の矩形状の撮像ゲイン３５（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ−（ｄ，ｔｐ）は、（１２）式で表される。
【００５６】
【数１０】
なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。
【００５７】
（１１）式と（１２）式より、２つの画像間の強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（１３）式となる。
【００５８】
【数１１】
（１３）式で示されるように、２つの画像間の比Ｒを計算するだけで、被写体１の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【００５９】
このように強度変調照射光と、撮像ゲインを同じ周期の幅を持つ矩形波状とすることで、撮像素子で検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【００６０】
図１１に、色分離結像光学系８の一実施例を示す。同図中、カメラレンズ７のあとにカラー画像撮影に使用する第２光源６からの可視光成分を含む光３７を透過し、距離検出に使用する第１光源２からの可視領域外の光３８を反射させるダイクロイックプリズム３６を有する。このダイクロイックプリズム３６のサイズと材質は、カメラレンズ７のバックフォーカス長を考慮し、高速撮像素子９にカメラレンズ７よりダイクロイックプリズム３６を通して結像できる光路長となるように選択する。
【００６１】
距離検出用の強度変調光源である第１光源２の出力光を近赤外光とした場合、ダイクロイックプリズム３６による色分離特性は、可視光を透過し、近赤外光を反射する特性とする。第２光源６の波長を７８０ｎｍから９００ｎｍの範囲を選択すれば、可視光の透過率を高く、しかも近赤外光の反射率を高く設計することができる。
【００６２】
また、ダイクロイックプリズム３６で反射した光成分に含まれる第１光源２の波長成分より長波長の光を除去する赤外透過の光学フィルタ３９を配置することで、外光の影響を低減し、信号光である近赤外光のみを高速撮像素子９に入力できる特性が得られる。
【００６３】
ダイクロイックプリズム３６を通過した可視光はリレーレンズ４０を通してカラーカメラ１２に入力される。このリレーレンズ４０の倍率はほぼ等倍であり、レンズにはフォーカス調整機能を備える。このとき、リレーレンズ４０の構成をテレセントリック光学系とすることでフォーカス調整が容易となる。
【００６４】
リレーレンズ４０は、可視領域において、透過率や収差などの結像光学特性の最適化を行い、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下を押さえ、カメラレンズによる結像光学画像を高精細、かつ、画像の色変化や輝度の低下なくカラーカメラ１２に伝達入力する。また、リレーレンズ４０の開口数をカメラレンズ７と同等とすることで、明るさの低減を抑える。また、リレーレンズ４０には絞り調整機構をもたせることで、距離検出側への近赤外光量に影響なく、カラー画像の絞り調整が可能となる。
【００６５】
図１２に、高速撮像素子９として、イメージインテンシファイア４１とＣＣＤカメラ４２を用いた実施例を示す。同図中、ダイクロイックプリズム３６で反射した第１光源２の光成分をイメージインテンシファイア４１に結像入力する。イメージインテンシファイア４１は、光電変換面４３、マイクロチャンネルプレート（ＭＣＰ）４４、蛍光面４５から構成されるものが使用できる。
【００６６】
イメージインテンシファイア４１の光電変換面４３とＭＣＰ４４間の印加電圧の値を制御することで、時間と共に撮像感度を高速に変化できる。また、印加電圧をパルス形状とすることで、１ｎｓｅｃ以下の短時間のゲート撮像も可能となる。
【００６７】
光電変換面４３の材料は、距離検出に使用する強度変調光の波長感度特性により選択する。例えば、波長８００ｎｍの場合、マルチアルカリ材料（Ｓｂ−Ｋ−Ｎａ−Ｃｓ）が使用でき、更に長波長の８５０ｎｍを使用する場合は、ガリウム砒素（ＧａＡｓ）材料を使用することで高い量子効率が得られるため、Ｓ／Ｎのよい撮像画像が得られる。
【００６８】
撮像ゲインを高速に変化させ、または短時間のゲート動作をさせて画像を撮像するため、１回の撮像で得られる信号量は非常に微弱であるため、強度変調光４の光源２の出力タイミングと撮像ゲイン変調タイミングを同期させ、繰り返し撮像し、イメージインテンシファイア４１の出力蛍光面４５の画像を画像伝達光学系４６でＣＣＤカメラ４２に入力し、ＣＣＤカメラ４２の蓄積効果で十分な感度を確保することができる。
【００６９】
画像伝達光学系４６はファイバプレートもしくはリレーレンズ光学系で実現できる。画像伝達光学系４６をファイバプレートとし、イメージインテンシファイアの蛍光面４５とＣＣＤカメラ４２のＣＣＤ面を連結するごとで、高い効率で蛍光面出力光をＣＣＤカメラ４２に入力できる。
【００７０】
一方、リレーレンズの場合、フォーカス調整や画像位置の微調整機構を持たせることができる。リレーレンズの透過率や画像の結像収差特性は、イメージインテンシファイアの蛍光面４５の蛍光波長で最適化する。リレーレンズを用いた場合、ファイバプレートを用いた場合より光の利用効率が下がるが、ＣＣＤカメラ４２が交換でき、ＣＣＤカメラ４２の選択の幅が広がるとともに、結像倍率の制御が可能であると共に、ファイバプレート使用時に発生する固定パターンノイズの影響がなく、良好な画像が得られる特徴がある。画像の結像倍率は、カラー画像の画角とＣＣＤカメラ４２で撮像する画角が同じになる倍率とする。
【００７１】
イメージインテンシファイア４１の撮像の解像度は、イメージインテンシファイア４１を構成する光電変換面４３とＭＣＰ４４の間隔、ＭＣＰ４４と蛍光面４５間の間隔、ＭＣＰ４４を構成する導電性のガラスキャピラリの直径に大きく依存する。そのため、光電変換面４３とＭＣＰ４４の間隔、ＭＣＰ４４と蛍光面４５間の間隔を近接させると共に、ＭＣＰを構成する導電性のガラスキャピラリの直径を細かいものを使用すると高解像度に有利である。
【００７２】
また、イメーイジンテシファイア４１ヘの結像入力画像を拡大入力し、画像伝達光学系４６で縮小しＣＤＤカメラ４２に入力することで解像度を高く保つことができる。ＣＣＤカメラ４２としては、標準ＴＶ用カメラやハイビジョンカメラが使用できるとともに、その他産業用の高精細ＣＣＤカメラも使用できる。
【００７３】
図１３は、信号処理部１０の一実施例のブロック図を示す。同図中、高速撮像素子９の出力信号は画角変換部４７に供給され、所望の出力画像のアスペクト比に変換される。例えば、１３００（Ｈ）×１０３０（Ｖ）のＣＣＤを高速撮像素子９に使用した場合、ハイビジョン映像の距離画像を出力するときには、１画面の１６：９の領域（例えば１２８０（Ｈ）×８５３（Ｖ））の信号を画角変換部４７で抽出する。
【００７４】
次に、光強度及び撮像パターンの異なるタイミングで撮像した信号を、外部同期４８に同期したスイッチ４９で切り換えて、それぞれメモリ５０Ａとメモリ５０Ｂに記憶する。メモリ５０Ａ，５０Ｂの記憶タイミングは外部同期４８に同期して行われる。これにより、例えば光強度が増加する強度変調光の照射時に短時間撮像した被写体画像がメモリ５０Ａに記憶され、光強度が減少する強度変調光の照射時に短時間撮像した被写体画像がメモリ５０Ａに記憶される。
【００７５】
メモリ５０Ａ，５０Ｂから読み出された信号は信号調整回路５１Ａ，５１Ｂにて画像の輝度調整や、画像全体にある一定の輝度レベルを付加するためのセットアップ調整を行われたのち、距離算出演算部５３で（４）式、または（９）式、または（１３）式の演算を行って距離ｄを算出し、距離を明暗で表す距離映像信号を得る。その後、距離映像信号は信号変換部５４により所望のテレビジョン信号規格に変換されて出力される。
【００７６】
図１４は、本発明の３次元情報検出装置の第２実施例の構成図を示す。同図中、カメラレンズ７の周囲に配置されたＬＥＤ（発光ダイオード）アレイ５５より近赤外波長（中心波長８５０ｎｍ）の強度変調光を被写体１に照射する。また、蛍光灯５６より可視光を被写体１に照射する。
【００７７】
被写体１からの反射光の可視光成分は、カメラレンズ７の後に配置されたダイクロイックプリズム３６を透過し、リレーレンズ４０を通してカラーカメラ１２に結像される。
【００７８】
一方、ＬＥＤアレイ５５からの近赤外光は、ダイクロイックプリズム３６で反射され、高速撮像素子９側に入射される。高速撮像素子９では、高速シャッタ機能をもつイメージインテンシファイア４１により短時間シャッタ撮影を行い、イメージインテンシファイア４１出力の光画像をリレーレンズ４６でＣＣＤカメラ４２へ入力する。
【００７９】
ＬＥＤアレイ５５に供給する変調信号とイメージインテンシファイア４１のシャッタトリガ信号は信号発生器５７で同期して発生する。これにより、増加変調光照射時と減少変調光照射時の画像を交互に撮影する。ＣＣＤカメラ４２の出力信号を信号処理部１０に供給して距離算出を行い、距離を明暗で表す距離映像信号１１をハイビジョン信号出力する。上記ＬＥＤアレイ５５，イメージインテンシファイア４１，ＣＣＤカメラ４２，カラーカメラ１２，カメラレンズ７それぞれの仕様を図１５に示す。
【００８０】
また、図１６に、カラーカメラ１２側への光透過率と、距離検出側（高速撮像素子９側）への光透過率、及び蛍光灯５６出力の可視光とＬＥＤアレイ５５出力の近赤外光の出力スペクトルを示す。ダイクロイックプリズム３６により、可視光成分と距離検出用の近赤外光成分が、高効率で分割されている。距離検出側への近赤外光の透過率が高いため、距離検出に十分な感度があり、Ｓ／Ｎのよい良好な距離検出が可能となっている。
【００８１】
白紙を被写体１とし、カメラレンズ７からの距離を変化させ、距離映像信号１１のレベルを測定した。このときの強度変調光の変調周波数は１５ＭＨｚ、撮像時間幅は５ｎｓｅｃ（半値幅）、測定中心位置を６ｍに設定した。その結果、図１７に示すように、カメラレンズ７から被写体１までの距離とともに、距離映像信号レベルが変化し、距離に応じた明暗映像が得られる。また、測定中心の６ｍ付近では、比較的リニアな特性を有しているが、測定範囲の周辺部で非線型性が生じている。これはＬＥＤの光変調特性の非線型成分の影響であり、出力信号のγ補正によりリニアな特性に補正できる。
【００８２】
本実施例における距離検出範囲は１５ＭＨｚで約４ｍであった。被写体１の奥行きがより小さい場合、変調周波数を４５ＭＨｚと高くすることで奥行き検出範囲は約１．５ｍとなり、相対的に奥行き検出分解能を高めることができる。
【００８３】
また、距離映像信号のノイズ成分量より、距離検出分解能を評価した。測定は強度変調光４の周波数を４５ＭＨｚ、撮像時間幅を２ｎｓとして、カメラレンズ７から被写体１までの距離を１ｍ〜１０ｍまで変化させ、距離映像信号のノイズ成分の実効値σを測定し、３×σに相当する距離の値を距離検出分解能とした場合の距離と距離検出分解能の関係を図１８に示す。被写体１がカメラレンズ７より２ｍの位置にあるとき、距離映像信号のＳ／Ｎは４４．４ｄＢであり、距離検出分解能は１．７ｃｍであった。
【００８４】
本発明では、カラー画像とともに、高速かつ高精細な距離画像を取得できる３次元情報検出方法及び装置を示した。撮影光軸と光照射光軸を近接もしくは一致させることで、光照射の影を低減し撮影画角全体の距離を検出することが可能となる。更に、強度変調光または撮像ゲインの変調特性の組合せにより、簡易な演算処理で高速に距離を算出でき、動画像に対しても距離を算出できることが可能となった。
【００８５】
また、カメラレンズのあとに色分離結像光学系を導入し、カラー画像と距離画像を同じ画角で、標準のＴＶ画像やハイビジョンクラスの高精細な画像の距離画像をビデオレートで撮影できるとともに、カメラレンズのズーム機能にも対応した３次元情報の検出が可能となる。
【００８６】
本発明装置は、被写体のカラー画像と共に奥行き距離情報が取得できる３次元カメラとして各分野に応用できる。その一例として、テレビジョン放送用カメラとしては、距離情報を基にした画像の抽出や合成など、また、立体テレビジョン用のカメラとしても適用できる。更に、３次元モデリング、医療診断、自動車や航空、宇宙、船舶分野におけるエンジン等の機器内の観察や、ガス管、排気口、水道管、ボイラー、タービン内の検査、古墳や遺跡内の調査や動物生態の観察などの分野に適用できる。
【００８７】
なお、第１光源２，光照射光学系３が請求項記載の第１光照射手段に対応し、第２光源６が第２光照射手段に対応し、色分離結像光学系８が光分離手段に対応し、高速撮像素子９がゲイン可変撮像手段に対応し、カラーカメラ１２が撮影手段に対応し、信号処理部１０が信号処理手段に対応し、ハーフミラー１７，偏光ビームスプリッタ１９が光軸一致手段に対応する。
【００８８】
【発明の効果】
上述の如く、本発明によれば、可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小し、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【図面の簡単な説明】
【図１】本発明の３次元情報検出装置の第１実施例の構成図である。
【図２】第１光源及び光照射光学系の配置の一実施例を示す図である。
【図３】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図４】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図５】撮影光軸と照射光軸を一致させる方法を示す図である。
【図６】撮影光軸と照射光軸を一致させる方法を示す図である。
【図７】光照射光学系の一実施例を示す図である。
【図８】パルス状の撮像ゲインと光強度が増加および減少する強度変調光による距離検出方法を説明するための図である。
【図９】パルス状の強度変調光と光強度が増加および減少する撮像ゲインによる距離検出方法を説明するための図である。
【図１０】パルス状の強度変調光とパルス状の撮像ゲインによる距離検出方法を説明するための図である。
【図１１】色分離結像光学系の一実施例を示す図である。
【図１２】高速撮像素子としてイメージインテンシファイアとＣＣＤカメラを用いた実施例を示す図である。
【図１３】信号処理部の一実施例のブロック図である。
【図１４】本発明の３次元情報検出装置の第２実施例の構成図である。
【図１５】ＬＥＤアレイ，イメージインテンシファイア，ＣＣＤカメラ，カラーカメラ，カメラレンズの仕様を示す図である。
【図１６】透過率と、光源光出力スペクトルを示す図である。
【図１７】距離と距離映像信号レベルの関係を示す図である。
【図１８】距離と距離検出分解能の関係を示す図である。
【符号の説明】
１ 被写体
２ 第１光源
３ 光照射光学系
４ 強度変調光
５ 可視光
６ 第２光源
７ カメラレンズ
８ 色分離結像光学系
９ 高速撮像素子
１０ 信号処理部
１１ 距離映像信号
１２ カラーカメラ
１３ カラー映像信号
１４ 撮影光軸
１５ 光照射光軸
１６ 影
１７ ハーフミラー
１８ 遮光体
１９ 偏光ビームスプリッタ
２０ λ／４板
２１ レンズ
２２ 拡散板
２３，２６ 強度変調光
２４，２７，２９，３３ 反射光
２５ パルス状撮像ゲイン
２８ パルス光
３０，３１，３４，３５ 撮像ゲイン
３２ 強度変調光
３６ ダイクロイックプリズム
３７ 可視光成分を含む光
３８ 可視領域外の光
３９ 光学フィルタ
４０ リレーレンズ
４１ イメージインテンシファイア
４２ ＣＣＤカメラ
４３ 光電変換面
４４ マイクロチャンネルプレート
４５ 蛍光面
４６ 画像伝達光学系
４７ 画角変換部
４８ 外部同期
４９ スイッチ
５０Ａ，５０Ｂ メモリ
５１Ａ，５１Ｂ 信号調整回路
５３ 距離算出演算部
５４ 信号変換部
５５ ＬＥＤアレイ
５６ 蛍光灯
５７ 信号発生器
【発明の属する技術分野】
本発明は３次元情報検出システムに関し、特に、被写体の奥行き形状を検出し３次元情報を取得する３次元情報検出システムに関する。
【０００２】
【従来の技術】
物体の３次元位置もしくは奥行き距離の検出方法として、複数台のカメラを使用して得られた多視点画像より３次元情報を取得するステレオ法がある。また、光を照射し距離を検出する方法として、照射光を正弦波駆動し反射側で位相を検出して距離を算出する方法がある。
【０００３】
また、特願平１０−２９３８１７号公報には、照射光の時間変化と撮像側のゲイン変調の組合せを２種類選ぶことで撮影された２枚の画像より高速に距離を算出することが記載されている。
【０００４】
【発明が解決しようとする課題】
ステレオ法による３次元情報の取得方法では、光を照射する必要がないため、外光の影響を受けないというメリットがある反面、複数台のカメラの配置やカメラレンズのキャリブレーションが煩雑であり、また、装置が大型であり汎用性に欠ける。更にカメラレンズのズーム操作により自由な撮影画角変更ができない。更に、標準テレビジョン画像程度以上の高精細な画像において、画素ごとに距離を算出するには、複数画像間で対応点を検索する画像マッチング処理に時間を要するため、ビデオレート（フレームレート６０Ｈｚ）程度の高速で、かつ、４０万画素以上の多画素検出は困難であるという問題があった。
【０００５】
また、正弦波状の光を被写体に照射し反射側でその位相を検出する方式では、撮影画素ごとに光の位相を算出していく必要があり、一般的に実用化レベルにあるレンジファインダで被写体全体の距離を検出する場合は、光ビームの２次元走査機構が必要であるため、高速性が損なわれてしまうとともに構成も複雑となってしまうという問題があった。
【０００６】
また、特願平１０−２９３８１７号公報では、高速に距離画像（距離の情報を画像信号の輝度で表した画像）を取得する方法を示しているが、カラー映像と同じ画角の距離映像を同時に撮影し、しかも距離検出のオクルージョンがなく、ハイビジョン映像クラスの高品質な映像の撮影を可能とし、カメラレンズのズーム機能に対応してカラー画像と距離映像を連動する具体的な方法については考慮されていないという問題があった。
【０００７】
本発明は、上記の点に鑑みなされたもので、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる３次元情報検出システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、可視領域外の１つの中心波長を持つ光を強度変調して被写体に照射する可視領域外光照射手段と、前記被写体からの反射光を集光するカメラレンズと、前記カメラレンズで集光された光を可視領域外の光と可視領域の光とに波長分離する光分離手段と、撮像ゲインを変調して前記光分離手段で波長分離された可視領域外の光学像を撮像するゲイン可変撮像手段と、前記光分離手段で分離された可視領域の光学像を撮影し映像信号を出力する撮影手段と、前記ゲイン可変撮像手段で撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力する信号処理手段を有する３次元情報検出装置と、
可視領域の光を前記被写体に照射する可視光照射装置とで構成される３次元情報検出システムであって、
前記３次元情報検出装置は、
前記可視領域外光照射手段は出力光の光強度を時間と共に増加及び減少させ、前記ゲイン可変撮像手段は撮像ゲインをパルス状に短時間一定値とし、前記信号処理手段は前記光強度を時間と共に増加させながら撮像した画像と前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段はパルス光を出力し、前記ゲイン可変撮像手段は撮像ゲインを時間と共に増加及び減少させ、前記信号処理手段は撮像ゲインを時間と共に増加させながら撮像した画像と撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段は出力光の光強度を矩形波状に変調して出力し、前記ゲイン可変撮像手段は撮像ゲインを前記光強度と同一周期で矩形波状に変調し、前記信号処理手段は前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出するとともに、
前記可視領域外光照射手段を、照射する可視領域外の光の光軸が前記カメラレンズの光軸に近接するよう、前記カメラレンズの周囲に複数配置した３次元情報検出装置である、ことにより、
可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小し、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【００１１】
前記３次元情報検出装置において、
前記可視領域外光照射手段を前記カメラレンズの周囲に複数配置する代りに、前記可視領域外光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を有する構成とすることができる。
【００１２】
【発明の実施の形態】
図１は、本発明の３次元情報検出装置の第１実施例の構成図を示す。同図中、第１光源２の出力光を光照射光学系３を通して、撮影対象の被写体１を含む撮影範囲の全体に照射する。このとき、照射光は光強度が時間軸方向に変化する強度変調光４である。第１光源２としては１個もしくは複数個のレーザダイオードや発光ダイオードが使用できる。
【００１３】
また、第１光源２の出力光の波長はカラー画像撮影に必要な可視領域の波長以外の波長が使用でき、例えば紫外領域や赤外領域の波長が使用できる。特に、７５０ｎｍ〜９００ｎｍの近赤外光は、可視領域に波長が近く光学特性が可視領域と大きく異ならないため、通常のカラー画像撮影用のカメラレンズを使用でき、また、後述の色分離結像光学系８においても、可視領域との波長分離を高い効率で行える。
光学的に高い色分離結像光学系率を確保する光学系を作製することが容易である。
【００１４】
強度変調光４の生成手段としては、半導体レーザや発光ダイオードの駆動電流を直接変調しても良く、また、光源出力光を音響光学素子などの外部変調器を通して変調してもよい。光照射光学系３としては、例えば出力端面に微小レンズを使用し、照射する被写体の範囲に応じたレンズ形状を採用する。照明の照射強度の均一性を確保するためには、光ファイバ束を用い、各光ファイバに微小レンズを配置し照射面で個々の照射パターンを重畳することで、照射光強度の均一性を高めることができる。
【００１５】
更に、光照射光学系３としては、拡散板を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影アスペクト比に応じ効率よく均一な照明が実現できる。また、拡散板を用いることで面光源と同様の条件となり、点光源に比較し人物撮影時の目への負担が少なくなり、安全性が確保できる。
【００１６】
被写体１は、可視光５を照射する第２光源６で照明されている。この第２光源６は、カメラレンズ７の近傍にある必要はない。第１光源２に近赤外光を使用した場合、第２光源６としては近赤外成分がほとんど含まれていない蛍光灯照明が使用できる。
【００１７】
上記第１光源２及び第２光源６で照明された被写体１からの反射光は、カメラレンズ７により集光される。カメラレンズの特性としては、通常のカラー画像撮影用のズーム機能付カメラレンズを使用することができる。また、第１光源の波長に応じた表面コーティングを施すことにより、第１光源２の光を効率よく取り込めるとともに、レンズ内でのゴーストの発生を抑えることができ、距離検出性能と高画質映像の取得に有利である。
【００１８】
カメラレンズ７の後段に、第１光源２からの光波長成分と第２光源からの光波長成分とを色分離し、それぞれ結像する色分離結像光学系８が配置されている。第１光源２からの光成分の結像画像は高速に撮像ゲインを可変できる高速撮像素子９に入射される。
【００１９】
高速撮像素子９は第１光源２の強度変調光の時間変化が異なる条件下で、撮像ゲインを変調して複数の画像を撮影する。信号処理部１０は、得られた複数の画像の信号をもとにカメラから被写体１までの距離を算出する信号処理を行い、被写体１の奥行き距離を画像の濃淡で表す距離映像信号１１を出力する。
【００２０】
一方、色分離結像光学系８で分離された第２光源６からの光成分の結像画像はカラーカメラ１２に入射され、カラーカメラ１２はカラー映像信号１３を出力する。
【００２１】
図２に、第１光源２及び光照射光学系３の配置の一実施例を示す。第１光源２はカメラレンズ７の近傍に設置し、カメラレンズ７の撮影光軸１４と光源２の光照射光軸１５を近づけて配置することで、照明光の影を低減する。図２に示すようにカメラレンズ７より距離ｄで、カメラレンズ７の光軸上に位置する被写体１が、奥行きΔｄの段差を持っている場合、カメラレンズ７の撮影光軸１４から距離ｌだけ離れた位置にある光照射光学系３からの光は、被写体の一部に影１６を生じ、その幅Δｌは、（１）式で表される。
【００２２】
Δｌ＝ｌ・Δｄ／ｄ …（１）
（１）式から明らかなように、カメラレンズ７の撮影光軸１４と光源２の光照射光軸１５間の距離ｌを小さくするほど影の領域を小さくすることができる。
【００２３】
図３に、カメラレンズ７の両脇に光源を配置した実施例を示す。カメラレンズ７の両脇に、第１光源２，２’及び光照射光学系３，３’を配置することで、片側の第１光源２による照明の影１６部分を、もう一方の光源２’からの光を照射することができる。このように、カメラレンズ７の光軸１４と照射光軸１５，１５’を近づけると共に、カメラレンズ７をその左右や上下から挟むように配置することで、距離検出のオクルージョンとなる照明の影１６を低減することができる。
【００２４】
また、図３では一方の光源２で照明の影１６となる部分は、他方の光源２’で照明され、両方の光源で照らされている部分に比して約半分の光量となり、光の強度ムラが生じる。
【００２５】
また、図４に示すように、被写体１のカメラレンズ７の光軸１４を挟む位置に突起１ａ，１ｂがあり、突起１ａ，１ｂが光源２，２’による照明を阻んでいる特殊な場合は照明の影１６’が生じる。これらの場合はカメラレンズ７の光軸１４と照明光の照射光軸１５，１５’を一致させることで、これらの強度ムラや距離検出のオクルージョンとなる影の発生をなくすことができる。
【００２６】
図５に、撮影光軸と照射光軸を一致させる方法を示す。同図中、カメラレンズ７の前面にハーフミラー１７をカメラレンズ７の撮影光軸１４に対し４５度傾けて配置し、撮影光軸１４に直交する方向から第１光源２及び光照射光学系３でハーフミラー１７を介して照明を行う。光照射光学系３の出力する強度変調光４は、ハーフミラー１７で９０度反射され、カメラレンズ７の撮影光軸１４と一致する光軸１５にて被写体１を照明する。
【００２７】
これにより、照明の影１６，１６’や、光の強度ムラをなくすことができる。なお、強度変調光４のうち、ハーフミラー１７で反射せずに透過した光は、この波長の光を吸収する特性を持つ遮光体１８により吸収される。
【００２８】
また、ハーフミラー１７の代わりに、図６に示すように、偏光ビームスプリッタ１９を用いることもできる。この場合、強度変調光４の偏光方向を偏光ビームスプリッタ１９により反射する方向にそろえる。無偏光の場合は、偏光方向をそろえるための偏光変換素子を光照射光学系３の直後に配置して、偏光方向をそろえてもよい。強度変調光４の大部分は、偏光ビームスプリッタ１９で９０度反射される。
【００２９】
出力光はλ／４板２０を透過して円偏光となり、被写体１に照射される。反射光成分の円偏光に近い反射成分は、再びλ／４板２０に入射して直線偏光となり、偏光ビームスプリッタ１９を透過しカメラレンズ７へ入射される。
【００３０】
一方、第１光源２からの出力光の一部は偏光ビームスプリッタ１９を透過するため、この波長成分の光に対し吸収が大きい遮光板１８を設置し、カメラレンズ方向への反射を抑える。また、遮光板１８の代わりに、偏光保存するミラーを配置し、再度光照射光学系３側へ反射させることもできる。このように、偏光ビームスプリッタ１９を使うことで光源出力光の光利用効率を高くすることができる。
【００３１】
ところで、照射光の照射角は、第１光源２の前に取り付けた光照射光学系３により制御する。図７に、光照射光学系３の一実施例を示す。同図中、第１光源２は複数の光源から構成され、個々の光源の出力端に１個もしくは複数個のレンズ２１を取り付け、使用するカメラレンズ７で撮影される最大の画角に広げ光を照射する。
【００３２】
このとき、レンズの縦方向と横方向で広がり角が異なるレンズ、例えば２焦点レンズや焦点距離が異なるシリンドリカルレンズをそれぞれ縦置きと横置きとして光照射光学系３を構成し、カメラ映像の画角に応じた形状の光照射をすることで、光の利用効率を高めることができる。
【００３３】
例えば標準テレビジョンカメラを使用する場合は、横縦比率を４：３、ハイビジョン撮影の場合は１６：９とする。また、光照射光学系３に、拡散板２２を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。
【００３４】
特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影画角に応じ効率よく均一性のよい照明が実現できる。
【００３５】
ここで、強度変調光として時間と共に光強度が増加および減少する光と、短時間シャッタ機能を持つ撮像装置による距離検出方法について説明する。距離ｄに置かれた被写体に、図８（Ａ）に示すように、時間と共に係数ｓで光強度が増加する強度変調光２３を照射し、被写体からの反射光２４を時刻ｔｓにパルス状撮像ゲイン２５で短時間撮像した場合、高速撮像素子９で検出される信号量Ｅ＋（ｄ，ｔｓ）は、（２）式で表される。
【００３６】
【数１】
【００３７】
次に、図８（Ｂ）に示すように、時間と共に係数ｓで光強度が減少する強度変調光２６を照射し、被写体１からの反射光２７を時刻ｔｓにパルス状撮像ゲイン２５で短時間撮像した場合、高速撮像素子９で検出される信号量Ｅ−（ｄ，ｔｓ）は、（３）式で表される。
【００３８】
【数２】
【００３９】
（２）式と（３）式より、光強度の異なる２枚の画像間での強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（４）式となる。
【００４０】
【数３】
【００４１】
このように、時間と共に強度変化する光源は、数十ＭＨｚの低い周波数でも実現できるため、レーザ光源以外に、ＬＥＤ（発光ダイオード）などインコヒーレントな照明も使用でき、高輝度で広い範囲を照明でき、人物の距離検出なども可能となる。なお、この方法による距離の検出範囲は、撮像時刻ｔｓと変調周波数ｆで決まり、（５）式で表される。
【００４２】
【数４】
【００４３】
ｄｒ＝ｃ／４ｆ …（６）
測定レンジｄｒが７．５ｍのとき変調周波数ｆは１０ＭＨｚとなり、測定レンジｄｒが１．５ｍのとき変調周波数ｆは５０ＭＨｚとなる。一方、撮像時の撮像時間幅Δｔは光源２の変調周期１／ｆより短く、数ｎｓｅｃのシャッタ機能が必要である。
【００４４】
次に、強度変調光として短時間のパルス光を使用し、高速撮像素子９の撮像ゲインを時間と共に高速に増加させながら撮像した画像と、撮像ゲインを時間と共に高速に減少させながら撮像した画像間で演算を行い、距離を検出する方法を説明する。
【００４５】
距離ｄの位置にある被写体１に、図９（Ａ）に示すように、光強度Ｆ０のパルス光２８を時刻ｔｐに照射し、被写体１からの反射光２９を時間と共に係数ｇで増加する撮像ゲイン３０を持つ高速撮像素子９で撮像した場合のカメラで検出される信号量Ｅ＋（ｄ，ｔｐ）は、（７）式で表される。
【００４６】
【数５】
【００４７】
次に、図９（Ｂ）に示すように、時間と共に係数ｇで減少する撮像ゲイン３１を持つ高速撮像素子９で撮像した場合のカメラで検出される信号量Ｅ−（ｄ，ｔｐ）は、（８）式で表される。
【００４８】
【数６】
【００４９】
（７）式と（８）式より、撮像ゲインの異なる２枚の画像間での強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（９）式となる。
【００５０】
【数７】
【００５１】
このように、パルス状の光と、時間と共に変化する撮像ゲインの組合せでは、パルスレーザが使用でき、Ｑスイッチパルスレーザ光、モード同期パルス光など、パルス幅がピコ秒からフェムト秒のパルスレーザ光が使用できるため、分解能が高い距離検出が可能となる。
【００５２】
この場合、測定できる範囲（測定レンジ）Ｄは、（１０）式で表される。
【００５３】
【数８】
【００５４】
【数９】
【００５５】
次に、図１０（Ｂ）に示すように、周期Ｔだけシフトした強度変調光３２と逆位相の矩形状の撮像ゲイン３５（ゲインｇ、周期Ｔ）で撮像する場合、カメラで検出される信号量Ｅ−（ｄ，ｔｐ）は、（１２）式で表される。
【００５６】
【数１０】
【００５７】
（１１）式と（１２）式より、２つの画像間の強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（１３）式となる。
【００５８】
【数１１】
【００５９】
このように強度変調照射光と、撮像ゲインを同じ周期の幅を持つ矩形波状とすることで、撮像素子で検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【００６０】
図１１に、色分離結像光学系８の一実施例を示す。同図中、カメラレンズ７のあとにカラー画像撮影に使用する第２光源６からの可視光成分を含む光３７を透過し、距離検出に使用する第１光源２からの可視領域外の光３８を反射させるダイクロイックプリズム３６を有する。このダイクロイックプリズム３６のサイズと材質は、カメラレンズ７のバックフォーカス長を考慮し、高速撮像素子９にカメラレンズ７よりダイクロイックプリズム３６を通して結像できる光路長となるように選択する。
【００６１】
距離検出用の強度変調光源である第１光源２の出力光を近赤外光とした場合、ダイクロイックプリズム３６による色分離特性は、可視光を透過し、近赤外光を反射する特性とする。第２光源６の波長を７８０ｎｍから９００ｎｍの範囲を選択すれば、可視光の透過率を高く、しかも近赤外光の反射率を高く設計することができる。
【００６２】
また、ダイクロイックプリズム３６で反射した光成分に含まれる第１光源２の波長成分より長波長の光を除去する赤外透過の光学フィルタ３９を配置することで、外光の影響を低減し、信号光である近赤外光のみを高速撮像素子９に入力できる特性が得られる。
【００６３】
ダイクロイックプリズム３６を通過した可視光はリレーレンズ４０を通してカラーカメラ１２に入力される。このリレーレンズ４０の倍率はほぼ等倍であり、レンズにはフォーカス調整機能を備える。このとき、リレーレンズ４０の構成をテレセントリック光学系とすることでフォーカス調整が容易となる。
【００６４】
リレーレンズ４０は、可視領域において、透過率や収差などの結像光学特性の最適化を行い、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下を押さえ、カメラレンズによる結像光学画像を高精細、かつ、画像の色変化や輝度の低下なくカラーカメラ１２に伝達入力する。また、リレーレンズ４０の開口数をカメラレンズ７と同等とすることで、明るさの低減を抑える。また、リレーレンズ４０には絞り調整機構をもたせることで、距離検出側への近赤外光量に影響なく、カラー画像の絞り調整が可能となる。
【００６５】
図１２に、高速撮像素子９として、イメージインテンシファイア４１とＣＣＤカメラ４２を用いた実施例を示す。同図中、ダイクロイックプリズム３６で反射した第１光源２の光成分をイメージインテンシファイア４１に結像入力する。イメージインテンシファイア４１は、光電変換面４３、マイクロチャンネルプレート（ＭＣＰ）４４、蛍光面４５から構成されるものが使用できる。
【００６６】
イメージインテンシファイア４１の光電変換面４３とＭＣＰ４４間の印加電圧の値を制御することで、時間と共に撮像感度を高速に変化できる。また、印加電圧をパルス形状とすることで、１ｎｓｅｃ以下の短時間のゲート撮像も可能となる。
【００６７】
光電変換面４３の材料は、距離検出に使用する強度変調光の波長感度特性により選択する。例えば、波長８００ｎｍの場合、マルチアルカリ材料（Ｓｂ−Ｋ−Ｎａ−Ｃｓ）が使用でき、更に長波長の８５０ｎｍを使用する場合は、ガリウム砒素（ＧａＡｓ）材料を使用することで高い量子効率が得られるため、Ｓ／Ｎのよい撮像画像が得られる。
【００６８】
撮像ゲインを高速に変化させ、または短時間のゲート動作をさせて画像を撮像するため、１回の撮像で得られる信号量は非常に微弱であるため、強度変調光４の光源２の出力タイミングと撮像ゲイン変調タイミングを同期させ、繰り返し撮像し、イメージインテンシファイア４１の出力蛍光面４５の画像を画像伝達光学系４６でＣＣＤカメラ４２に入力し、ＣＣＤカメラ４２の蓄積効果で十分な感度を確保することができる。
【００６９】
画像伝達光学系４６はファイバプレートもしくはリレーレンズ光学系で実現できる。画像伝達光学系４６をファイバプレートとし、イメージインテンシファイアの蛍光面４５とＣＣＤカメラ４２のＣＣＤ面を連結するごとで、高い効率で蛍光面出力光をＣＣＤカメラ４２に入力できる。
【００７０】
一方、リレーレンズの場合、フォーカス調整や画像位置の微調整機構を持たせることができる。リレーレンズの透過率や画像の結像収差特性は、イメージインテンシファイアの蛍光面４５の蛍光波長で最適化する。リレーレンズを用いた場合、ファイバプレートを用いた場合より光の利用効率が下がるが、ＣＣＤカメラ４２が交換でき、ＣＣＤカメラ４２の選択の幅が広がるとともに、結像倍率の制御が可能であると共に、ファイバプレート使用時に発生する固定パターンノイズの影響がなく、良好な画像が得られる特徴がある。画像の結像倍率は、カラー画像の画角とＣＣＤカメラ４２で撮像する画角が同じになる倍率とする。
【００７１】
イメージインテンシファイア４１の撮像の解像度は、イメージインテンシファイア４１を構成する光電変換面４３とＭＣＰ４４の間隔、ＭＣＰ４４と蛍光面４５間の間隔、ＭＣＰ４４を構成する導電性のガラスキャピラリの直径に大きく依存する。そのため、光電変換面４３とＭＣＰ４４の間隔、ＭＣＰ４４と蛍光面４５間の間隔を近接させると共に、ＭＣＰを構成する導電性のガラスキャピラリの直径を細かいものを使用すると高解像度に有利である。
【００７２】
また、イメーイジンテシファイア４１ヘの結像入力画像を拡大入力し、画像伝達光学系４６で縮小しＣＤＤカメラ４２に入力することで解像度を高く保つことができる。ＣＣＤカメラ４２としては、標準ＴＶ用カメラやハイビジョンカメラが使用できるとともに、その他産業用の高精細ＣＣＤカメラも使用できる。
【００７３】
図１３は、信号処理部１０の一実施例のブロック図を示す。同図中、高速撮像素子９の出力信号は画角変換部４７に供給され、所望の出力画像のアスペクト比に変換される。例えば、１３００（Ｈ）×１０３０（Ｖ）のＣＣＤを高速撮像素子９に使用した場合、ハイビジョン映像の距離画像を出力するときには、１画面の１６：９の領域（例えば１２８０（Ｈ）×８５３（Ｖ））の信号を画角変換部４７で抽出する。
【００７４】
次に、光強度及び撮像パターンの異なるタイミングで撮像した信号を、外部同期４８に同期したスイッチ４９で切り換えて、それぞれメモリ５０Ａとメモリ５０Ｂに記憶する。メモリ５０Ａ，５０Ｂの記憶タイミングは外部同期４８に同期して行われる。これにより、例えば光強度が増加する強度変調光の照射時に短時間撮像した被写体画像がメモリ５０Ａに記憶され、光強度が減少する強度変調光の照射時に短時間撮像した被写体画像がメモリ５０Ａに記憶される。
【００７５】
メモリ５０Ａ，５０Ｂから読み出された信号は信号調整回路５１Ａ，５１Ｂにて画像の輝度調整や、画像全体にある一定の輝度レベルを付加するためのセットアップ調整を行われたのち、距離算出演算部５３で（４）式、または（９）式、または（１３）式の演算を行って距離ｄを算出し、距離を明暗で表す距離映像信号を得る。その後、距離映像信号は信号変換部５４により所望のテレビジョン信号規格に変換されて出力される。
【００７６】
図１４は、本発明の３次元情報検出装置の第２実施例の構成図を示す。同図中、カメラレンズ７の周囲に配置されたＬＥＤ（発光ダイオード）アレイ５５より近赤外波長（中心波長８５０ｎｍ）の強度変調光を被写体１に照射する。また、蛍光灯５６より可視光を被写体１に照射する。
【００７７】
被写体１からの反射光の可視光成分は、カメラレンズ７の後に配置されたダイクロイックプリズム３６を透過し、リレーレンズ４０を通してカラーカメラ１２に結像される。
【００７８】
一方、ＬＥＤアレイ５５からの近赤外光は、ダイクロイックプリズム３６で反射され、高速撮像素子９側に入射される。高速撮像素子９では、高速シャッタ機能をもつイメージインテンシファイア４１により短時間シャッタ撮影を行い、イメージインテンシファイア４１出力の光画像をリレーレンズ４６でＣＣＤカメラ４２へ入力する。
【００７９】
ＬＥＤアレイ５５に供給する変調信号とイメージインテンシファイア４１のシャッタトリガ信号は信号発生器５７で同期して発生する。これにより、増加変調光照射時と減少変調光照射時の画像を交互に撮影する。ＣＣＤカメラ４２の出力信号を信号処理部１０に供給して距離算出を行い、距離を明暗で表す距離映像信号１１をハイビジョン信号出力する。上記ＬＥＤアレイ５５，イメージインテンシファイア４１，ＣＣＤカメラ４２，カラーカメラ１２，カメラレンズ７それぞれの仕様を図１５に示す。
【００８０】
また、図１６に、カラーカメラ１２側への光透過率と、距離検出側（高速撮像素子９側）への光透過率、及び蛍光灯５６出力の可視光とＬＥＤアレイ５５出力の近赤外光の出力スペクトルを示す。ダイクロイックプリズム３６により、可視光成分と距離検出用の近赤外光成分が、高効率で分割されている。距離検出側への近赤外光の透過率が高いため、距離検出に十分な感度があり、Ｓ／Ｎのよい良好な距離検出が可能となっている。
【００８１】
白紙を被写体１とし、カメラレンズ７からの距離を変化させ、距離映像信号１１のレベルを測定した。このときの強度変調光の変調周波数は１５ＭＨｚ、撮像時間幅は５ｎｓｅｃ（半値幅）、測定中心位置を６ｍに設定した。その結果、図１７に示すように、カメラレンズ７から被写体１までの距離とともに、距離映像信号レベルが変化し、距離に応じた明暗映像が得られる。また、測定中心の６ｍ付近では、比較的リニアな特性を有しているが、測定範囲の周辺部で非線型性が生じている。これはＬＥＤの光変調特性の非線型成分の影響であり、出力信号のγ補正によりリニアな特性に補正できる。
【００８２】
本実施例における距離検出範囲は１５ＭＨｚで約４ｍであった。被写体１の奥行きがより小さい場合、変調周波数を４５ＭＨｚと高くすることで奥行き検出範囲は約１．５ｍとなり、相対的に奥行き検出分解能を高めることができる。
【００８３】
また、距離映像信号のノイズ成分量より、距離検出分解能を評価した。測定は強度変調光４の周波数を４５ＭＨｚ、撮像時間幅を２ｎｓとして、カメラレンズ７から被写体１までの距離を１ｍ〜１０ｍまで変化させ、距離映像信号のノイズ成分の実効値σを測定し、３×σに相当する距離の値を距離検出分解能とした場合の距離と距離検出分解能の関係を図１８に示す。被写体１がカメラレンズ７より２ｍの位置にあるとき、距離映像信号のＳ／Ｎは４４．４ｄＢであり、距離検出分解能は１．７ｃｍであった。
【００８４】
本発明では、カラー画像とともに、高速かつ高精細な距離画像を取得できる３次元情報検出方法及び装置を示した。撮影光軸と光照射光軸を近接もしくは一致させることで、光照射の影を低減し撮影画角全体の距離を検出することが可能となる。更に、強度変調光または撮像ゲインの変調特性の組合せにより、簡易な演算処理で高速に距離を算出でき、動画像に対しても距離を算出できることが可能となった。
【００８５】
また、カメラレンズのあとに色分離結像光学系を導入し、カラー画像と距離画像を同じ画角で、標準のＴＶ画像やハイビジョンクラスの高精細な画像の距離画像をビデオレートで撮影できるとともに、カメラレンズのズーム機能にも対応した３次元情報の検出が可能となる。
【００８６】
本発明装置は、被写体のカラー画像と共に奥行き距離情報が取得できる３次元カメラとして各分野に応用できる。その一例として、テレビジョン放送用カメラとしては、距離情報を基にした画像の抽出や合成など、また、立体テレビジョン用のカメラとしても適用できる。更に、３次元モデリング、医療診断、自動車や航空、宇宙、船舶分野におけるエンジン等の機器内の観察や、ガス管、排気口、水道管、ボイラー、タービン内の検査、古墳や遺跡内の調査や動物生態の観察などの分野に適用できる。
【００８７】
なお、第１光源２，光照射光学系３が請求項記載の第１光照射手段に対応し、第２光源６が第２光照射手段に対応し、色分離結像光学系８が光分離手段に対応し、高速撮像素子９がゲイン可変撮像手段に対応し、カラーカメラ１２が撮影手段に対応し、信号処理部１０が信号処理手段に対応し、ハーフミラー１７，偏光ビームスプリッタ１９が光軸一致手段に対応する。
【００８８】
【発明の効果】
上述の如く、本発明によれば、可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小し、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【図面の簡単な説明】
【図１】本発明の３次元情報検出装置の第１実施例の構成図である。
【図２】第１光源及び光照射光学系の配置の一実施例を示す図である。
【図３】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図４】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図５】撮影光軸と照射光軸を一致させる方法を示す図である。
【図６】撮影光軸と照射光軸を一致させる方法を示す図である。
【図７】光照射光学系の一実施例を示す図である。
【図８】パルス状の撮像ゲインと光強度が増加および減少する強度変調光による距離検出方法を説明するための図である。
【図９】パルス状の強度変調光と光強度が増加および減少する撮像ゲインによる距離検出方法を説明するための図である。
【図１０】パルス状の強度変調光とパルス状の撮像ゲインによる距離検出方法を説明するための図である。
【図１１】色分離結像光学系の一実施例を示す図である。
【図１２】高速撮像素子としてイメージインテンシファイアとＣＣＤカメラを用いた実施例を示す図である。
【図１３】信号処理部の一実施例のブロック図である。
【図１４】本発明の３次元情報検出装置の第２実施例の構成図である。
【図１５】ＬＥＤアレイ，イメージインテンシファイア，ＣＣＤカメラ，カラーカメラ，カメラレンズの仕様を示す図である。
【図１６】透過率と、光源光出力スペクトルを示す図である。
【図１７】距離と距離映像信号レベルの関係を示す図である。
【図１８】距離と距離検出分解能の関係を示す図である。
【符号の説明】
１ 被写体
２ 第１光源
３ 光照射光学系
４ 強度変調光
５ 可視光
６ 第２光源
７ カメラレンズ
８ 色分離結像光学系
９ 高速撮像素子
１０ 信号処理部
１１ 距離映像信号
１２ カラーカメラ
１３ カラー映像信号
１４ 撮影光軸
１５ 光照射光軸
１６ 影
１７ ハーフミラー
１８ 遮光体
１９ 偏光ビームスプリッタ
２０ λ／４板
２１ レンズ
２２ 拡散板
２３，２６ 強度変調光
２４，２７，２９，３３ 反射光
２５ パルス状撮像ゲイン
２８ パルス光
３０，３１，３４，３５ 撮像ゲイン
３２ 強度変調光
３６ ダイクロイックプリズム
３７ 可視光成分を含む光
３８ 可視領域外の光
３９ 光学フィルタ
４０ リレーレンズ
４１ イメージインテンシファイア
４２ ＣＣＤカメラ
４３ 光電変換面
４４ マイクロチャンネルプレート
４５ 蛍光面
４６ 画像伝達光学系
４７ 画角変換部
４８ 外部同期
４９ スイッチ
５０Ａ，５０Ｂ メモリ
５１Ａ，５１Ｂ 信号調整回路
５３ 距離算出演算部
５４ 信号変換部
５５ ＬＥＤアレイ
５６ 蛍光灯
５７ 信号発生器
Claims (3)
- 可視領域外の１つの中心波長を持つ光を強度変調して被写体に照射する可視領域外光照射手段と、前記被写体からの反射光を集光するカメラレンズと、前記カメラレンズで集光された光を可視領域外の光と可視領域の光とに波長分離する光分離手段と、撮像ゲインを変調して前記光分離手段で波長分離された可視領域外の光学像を撮像するゲイン可変撮像手段と、前記光分離手段で分離された可視領域の光学像を撮影し映像信号を出力する撮影手段と、前記ゲイン可変撮像手段で撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力する信号処理手段を有する３次元情報検出装置と、
可視領域の光を前記被写体に照射する可視光照射装置とで構成される３次元情報検出システムであって、
前記３次元情報検出装置は、
前記可視領域外光照射手段は出力光の光強度を時間と共に増加及び減少させ、前記ゲイン可変撮像手段は撮像ゲインをパルス状に短時間一定値とし、前記信号処理手段は前記光強度を時間と共に増加させながら撮像した画像と前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段はパルス光を出力し、前記ゲイン可変撮像手段は撮像ゲインを時間と共に増加及び減少させ、前記信号処理手段は撮像ゲインを時間と共に増加させながら撮像した画像と撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段は出力光の光強度を矩形波状に変調して出力し、前記ゲイン可変撮像手段は撮像ゲインを前記光強度と同一周期で矩形波状に変調し、前記信号処理手段は前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出するとともに、
前記可視領域外光照射手段を、照射する可視領域外の光の光軸が前記カメラレンズの光軸に近接するよう、前記カメラレンズの周囲に複数配置した３次元情報検出装置である、
ことを特徴とする３次元情報検出システム。 - 請求項１記載の３次元情報検出システムにおいて、
前記可視領域外光照射手段を前記カメラレンズの周囲に複数配置する代りに、前記可視領域外光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を
有することを特徴とする３次元情報検出システム。 - 請求項２記載の３次元情報検出システムにおいて、
前記光軸一致手段は、ハーフミラー又は偏光ビームスプリッタであることを特徴とする３次元情報検出システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204189A JP4031306B2 (ja) | 2002-07-12 | 2002-07-12 | ３次元情報検出システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204189A JP4031306B2 (ja) | 2002-07-12 | 2002-07-12 | ３次元情報検出システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004045266A JP2004045266A (ja) | 2004-02-12 |
| JP4031306B2 true JP4031306B2 (ja) | 2008-01-09 |
Family
ID=31709855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002204189A Expired - Fee Related JP4031306B2 (ja) | 2002-07-12 | 2002-07-12 | ３次元情報検出システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4031306B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006179424A (ja) * | 2004-12-24 | 2006-07-06 | Toyota Motor Corp | 電池の製造方法 |
| JP2006201037A (ja) * | 2005-01-20 | 2006-08-03 | Ricoh Co Ltd | 形状測定装置 |
| JP2007334311A (ja) | 2006-05-18 | 2007-12-27 | Nippon Hoso Kyokai <Nhk> | 可視光・赤外光撮影光学系 |
| JP4843544B2 (ja) * | 2007-03-29 | 2011-12-21 | 日本放送協会 | ３次元画像補正方法及びその装置 |
| JP2009300268A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | ３次元情報検出装置 |
| JP5164938B2 (ja) * | 2009-07-02 | 2013-03-21 | 本田技研工業株式会社 | 三次元形状測定装置 |
| JP5156695B2 (ja) * | 2009-06-25 | 2013-03-06 | 本田技研工業株式会社 | 三次元形状測定システム |
| JP2011022034A (ja) * | 2009-07-16 | 2011-02-03 | Honda Motor Co Ltd | 三次元形状測定システム及び三次元形状測定方法 |
| JP2011069965A (ja) * | 2009-09-25 | 2011-04-07 | Japan Atomic Energy Agency | 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体 |
| US9892546B2 (en) | 2010-06-30 | 2018-02-13 | Primal Space Systems, Inc. | Pursuit path camera model method and system |
| US9916763B2 (en) | 2010-06-30 | 2018-03-13 | Primal Space Systems, Inc. | Visibility event navigation method and system |
| CN107093203A (zh) * | 2010-06-30 | 2017-08-25 | 巴里·林恩·詹金斯 | 图形信息的基于导航的预取发送或接收的控制方法和*** |
| CN107370913B (zh) * | 2016-05-11 | 2021-03-16 | 松下知识产权经营株式会社 | 摄像装置、摄像***以及光检测方法 |
| CN110310963A (zh) * | 2018-03-27 | 2019-10-08 | 恒景科技股份有限公司 | 调整光源功率的*** |
| CN110057301B (zh) * | 2019-04-29 | 2024-02-09 | 慧眼自动化科技（广州）有限公司 | 一种基于双目3d视差的高度检测装置及检测方法 |
| CN112068144B (zh) * | 2019-06-11 | 2022-10-21 | 深圳市光鉴科技有限公司 | 光投射***及3d成像装置 |
| CN112066907B (zh) * | 2019-06-11 | 2022-12-23 | 深圳市光鉴科技有限公司 | 深度成像装置 |
| CN113820870B (zh) * | 2020-06-19 | 2024-03-29 | 三赢科技（深圳）有限公司 | 投影模组、成像模组及电子装置 |
| US20230204519A1 (en) * | 2020-07-03 | 2023-06-29 | Scuola universitaria professionale della Svizzera italiana (SUPSI) | 3d image acquisition system for optical inspection and method for optical inspection of objects, in particular electronic assemblies, electronic boards and the like |
| CN113325425B (zh) * | 2021-06-25 | 2024-02-27 | 湖南友哲科技有限公司 | 检测试管有无的方法及试管检测装置 |
| CN114323313A (zh) * | 2021-12-24 | 2022-04-12 | 北京深测科技有限公司 | 一种基于iccd相机的成像方法和*** |
-
2002
- 2002-07-12 JP JP2002204189A patent/JP4031306B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004045266A (ja) | 2004-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4031306B2 (ja) | ３次元情報検出システム | |
| US11212512B2 (en) | System and method of imaging using multiple illumination pulses | |
| JP6260006B2 (ja) | 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 | |
| US20040125205A1 (en) | System and a method for high speed three-dimensional imaging | |
| DK2786696T3 (en) | DENTAL CAMERA SYSTEM | |
| CN103167236A (zh) | 摄像设备、图像传感器和焦点检测方法 | |
| US11272162B2 (en) | Method and system for reducing returns from retro-reflections in active illumination system | |
| KR20120093502A (ko) | 레이저를 이용한 장애물 감지장치 및 방법. | |
| JP6746359B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| US11523097B2 (en) | Process and apparatus for the capture of plenoptic images between arbitrary planes | |
| JP2014219549A (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 | |
| TW201219743A (en) | Optical apparatus and method for creating an image of an object | |
| JP2022027501A (ja) | 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム | |
| JP6942480B2 (ja) | 焦点検出装置、焦点検出方法、および焦点検出プログラム | |
| JP7005175B2 (ja) | 距離測定装置、距離測定方法及び撮像装置 | |
| DE102016218291A1 (de) | Verfahren zur kontaktfreien Ermittlung einer zweidimensionalen Temperaturin-formation sowie Infrarot-Messsystem | |
| CN107026992A (zh) | 图像传感器和摄像设备 | |
| JP2017102637A5 (ja) | ||
| WO2021099761A1 (en) | Imaging apparatus | |
| JP3952499B2 (ja) | 共焦点スキャナ顕微鏡 | |
| JP2003290131A (ja) | 立体内視鏡 | |
| CN110297255A (zh) | 3d成像***和3d成像方法 | |
| Kagawa et al. | Deep-focus compound-eye camera with polarization filters for 3D endoscopes | |
| JP4379121B2 (ja) | 焦点検出装置、合焦システム、カメラおよび焦点検出方法 | |
| JP2023001122A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070605 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4031306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141026 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |