JP4031306B2 - 3D information detection system - Google Patents
3D information detection system Download PDFInfo
- Publication number
- JP4031306B2 JP4031306B2 JP2002204189A JP2002204189A JP4031306B2 JP 4031306 B2 JP4031306 B2 JP 4031306B2 JP 2002204189 A JP2002204189 A JP 2002204189A JP 2002204189 A JP2002204189 A JP 2002204189A JP 4031306 B2 JP4031306 B2 JP 4031306B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- imaging
- distance
- intensity
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は3次元情報検出システムに関し、特に、被写体の奥行き形状を検出し3次元情報を取得する3次元情報検出システムに関する。
【0002】
【従来の技術】
物体の3次元位置もしくは奥行き距離の検出方法として、複数台のカメラを使用して得られた多視点画像より3次元情報を取得するステレオ法がある。また、光を照射し距離を検出する方法として、照射光を正弦波駆動し反射側で位相を検出して距離を算出する方法がある。
【0003】
また、特願平10−293817号公報には、照射光の時間変化と撮像側のゲイン変調の組合せを2種類選ぶことで撮影された2枚の画像より高速に距離を算出することが記載されている。
【0004】
【発明が解決しようとする課題】
ステレオ法による3次元情報の取得方法では、光を照射する必要がないため、外光の影響を受けないというメリットがある反面、複数台のカメラの配置やカメラレンズのキャリブレーションが煩雑であり、また、装置が大型であり汎用性に欠ける。更にカメラレンズのズーム操作により自由な撮影画角変更ができない。更に、標準テレビジョン画像程度以上の高精細な画像において、画素ごとに距離を算出するには、複数画像間で対応点を検索する画像マッチング処理に時間を要するため、ビデオレート(フレームレート60Hz)程度の高速で、かつ、40万画素以上の多画素検出は困難であるという問題があった。
【0005】
また、正弦波状の光を被写体に照射し反射側でその位相を検出する方式では、撮影画素ごとに光の位相を算出していく必要があり、一般的に実用化レベルにあるレンジファインダで被写体全体の距離を検出する場合は、光ビームの2次元走査機構が必要であるため、高速性が損なわれてしまうとともに構成も複雑となってしまうという問題があった。
【0006】
また、特願平10−293817号公報では、高速に距離画像(距離の情報を画像信号の輝度で表した画像)を取得する方法を示しているが、カラー映像と同じ画角の距離映像を同時に撮影し、しかも距離検出のオクルージョンがなく、ハイビジョン映像クラスの高品質な映像の撮影を可能とし、カメラレンズのズーム機能に対応してカラー画像と距離映像を連動する具体的な方法については考慮されていないという問題があった。
【0007】
本発明は、上記の点に鑑みなされたもので、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる3次元情報検出システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
請求項1に記載の発明は、可視領域外の1つの中心波長を持つ光を強度変調して被写体に照射する可視領域外光照射手段と、前記被写体からの反射光を集光するカメラレンズと、前記カメラレンズで集光された光を可視領域外の光と可視領域の光とに波長分離する光分離手段と、撮像ゲインを変調して前記光分離手段で波長分離された可視領域外の光学像を撮像するゲイン可変撮像手段と、前記光分離手段で分離された可視領域の光学像を撮影し映像信号を出力する撮影手段と、前記ゲイン可変撮像手段で撮像した複数の画像間の強度比から距離を算出し、距離を明暗で表す距離映像信号を出力する信号処理手段を有する3次元情報検出装置と、
可視領域の光を前記被写体に照射する可視光照射装置とで構成される3次元情報検出システムであって、
前記3次元情報検出装置は、
前記可視領域外光照射手段は出力光の光強度を時間と共に増加及び減少させ、前記ゲイン可変撮像手段は撮像ゲインをパルス状に短時間一定値とし、前記信号処理手段は前記光強度を時間と共に増加させながら撮像した画像と前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段はパルス光を出力し、前記ゲイン可変撮像手段は撮像ゲインを時間と共に増加及び減少させ、前記信号処理手段は撮像ゲインを時間と共に増加させながら撮像した画像と撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段は出力光の光強度を矩形波状に変調して出力し、前記ゲイン可変撮像手段は撮像ゲインを前記光強度と同一周期で矩形波状に変調し、前記信号処理手段は前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出するとともに、
前記可視領域外光照射手段を、照射する可視領域外の光の光軸が前記カメラレンズの光軸に近接するよう、前記カメラレンズの周囲に複数配置した3次元情報検出装置である、ことにより、
可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小し、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【0011】
前記3次元情報検出装置において、
前記可視領域外光照射手段を前記カメラレンズの周囲に複数配置する代りに、前記可視領域外光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を有する構成とすることができる。
【0012】
【発明の実施の形態】
図1は、本発明の3次元情報検出装置の第1実施例の構成図を示す。同図中、第1光源2の出力光を光照射光学系3を通して、撮影対象の被写体1を含む撮影範囲の全体に照射する。このとき、照射光は光強度が時間軸方向に変化する強度変調光4である。第1光源2としては1個もしくは複数個のレーザダイオードや発光ダイオードが使用できる。
【0013】
また、第1光源2の出力光の波長はカラー画像撮影に必要な可視領域の波長以外の波長が使用でき、例えば紫外領域や赤外領域の波長が使用できる。特に、750nm〜900nmの近赤外光は、可視領域に波長が近く光学特性が可視領域と大きく異ならないため、通常のカラー画像撮影用のカメラレンズを使用でき、また、後述の色分離結像光学系8においても、可視領域との波長分離を高い効率で行える。
光学的に高い色分離結像光学系率を確保する光学系を作製することが容易である。
【0014】
強度変調光4の生成手段としては、半導体レーザや発光ダイオードの駆動電流を直接変調しても良く、また、光源出力光を音響光学素子などの外部変調器を通して変調してもよい。光照射光学系3としては、例えば出力端面に微小レンズを使用し、照射する被写体の範囲に応じたレンズ形状を採用する。照明の照射強度の均一性を確保するためには、光ファイバ束を用い、各光ファイバに微小レンズを配置し照射面で個々の照射パターンを重畳することで、照射光強度の均一性を高めることができる。
【0015】
更に、光照射光学系3としては、拡散板を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影アスペクト比に応じ効率よく均一な照明が実現できる。また、拡散板を用いることで面光源と同様の条件となり、点光源に比較し人物撮影時の目への負担が少なくなり、安全性が確保できる。
【0016】
被写体1は、可視光5を照射する第2光源6で照明されている。この第2光源6は、カメラレンズ7の近傍にある必要はない。第1光源2に近赤外光を使用した場合、第2光源6としては近赤外成分がほとんど含まれていない蛍光灯照明が使用できる。
【0017】
上記第1光源2及び第2光源6で照明された被写体1からの反射光は、カメラレンズ7により集光される。カメラレンズの特性としては、通常のカラー画像撮影用のズーム機能付カメラレンズを使用することができる。また、第1光源の波長に応じた表面コーティングを施すことにより、第1光源2の光を効率よく取り込めるとともに、レンズ内でのゴーストの発生を抑えることができ、距離検出性能と高画質映像の取得に有利である。
【0018】
カメラレンズ7の後段に、第1光源2からの光波長成分と第2光源からの光波長成分とを色分離し、それぞれ結像する色分離結像光学系8が配置されている。第1光源2からの光成分の結像画像は高速に撮像ゲインを可変できる高速撮像素子9に入射される。
【0019】
高速撮像素子9は第1光源2の強度変調光の時間変化が異なる条件下で、撮像ゲインを変調して複数の画像を撮影する。信号処理部10は、得られた複数の画像の信号をもとにカメラから被写体1までの距離を算出する信号処理を行い、被写体1の奥行き距離を画像の濃淡で表す距離映像信号11を出力する。
【0020】
一方、色分離結像光学系8で分離された第2光源6からの光成分の結像画像はカラーカメラ12に入射され、カラーカメラ12はカラー映像信号13を出力する。
【0021】
図2に、第1光源2及び光照射光学系3の配置の一実施例を示す。第1光源2はカメラレンズ7の近傍に設置し、カメラレンズ7の撮影光軸14と光源2の光照射光軸15を近づけて配置することで、照明光の影を低減する。図2に示すようにカメラレンズ7より距離dで、カメラレンズ7の光軸上に位置する被写体1が、奥行きΔdの段差を持っている場合、カメラレンズ7の撮影光軸14から距離lだけ離れた位置にある光照射光学系3からの光は、被写体の一部に影16を生じ、その幅Δlは、(1)式で表される。
【0022】
Δl=l・Δd/d …(1)
(1)式から明らかなように、カメラレンズ7の撮影光軸14と光源2の光照射光軸15間の距離lを小さくするほど影の領域を小さくすることができる。
【0023】
図3に、カメラレンズ7の両脇に光源を配置した実施例を示す。カメラレンズ7の両脇に、第1光源2,2’及び光照射光学系3,3’を配置することで、片側の第1光源2による照明の影16部分を、もう一方の光源2’からの光を照射することができる。このように、カメラレンズ7の光軸14と照射光軸15,15’を近づけると共に、カメラレンズ7をその左右や上下から挟むように配置することで、距離検出のオクルージョンとなる照明の影16を低減することができる。
【0024】
また、図3では一方の光源2で照明の影16となる部分は、他方の光源2’で照明され、両方の光源で照らされている部分に比して約半分の光量となり、光の強度ムラが生じる。
【0025】
また、図4に示すように、被写体1のカメラレンズ7の光軸14を挟む位置に突起1a,1bがあり、突起1a,1bが光源2,2’による照明を阻んでいる特殊な場合は照明の影16’が生じる。これらの場合はカメラレンズ7の光軸14と照明光の照射光軸15,15’を一致させることで、これらの強度ムラや距離検出のオクルージョンとなる影の発生をなくすことができる。
【0026】
図5に、撮影光軸と照射光軸を一致させる方法を示す。同図中、カメラレンズ7の前面にハーフミラー17をカメラレンズ7の撮影光軸14に対し45度傾けて配置し、撮影光軸14に直交する方向から第1光源2及び光照射光学系3でハーフミラー17を介して照明を行う。光照射光学系3の出力する強度変調光4は、ハーフミラー17で90度反射され、カメラレンズ7の撮影光軸14と一致する光軸15にて被写体1を照明する。
【0027】
これにより、照明の影16,16’や、光の強度ムラをなくすことができる。なお、強度変調光4のうち、ハーフミラー17で反射せずに透過した光は、この波長の光を吸収する特性を持つ遮光体18により吸収される。
【0028】
また、ハーフミラー17の代わりに、図6に示すように、偏光ビームスプリッタ19を用いることもできる。この場合、強度変調光4の偏光方向を偏光ビームスプリッタ19により反射する方向にそろえる。無偏光の場合は、偏光方向をそろえるための偏光変換素子を光照射光学系3の直後に配置して、偏光方向をそろえてもよい。強度変調光4の大部分は、偏光ビームスプリッタ19で90度反射される。
【0029】
出力光はλ/4板20を透過して円偏光となり、被写体1に照射される。反射光成分の円偏光に近い反射成分は、再びλ/4板20に入射して直線偏光となり、偏光ビームスプリッタ19を透過しカメラレンズ7へ入射される。
【0030】
一方、第1光源2からの出力光の一部は偏光ビームスプリッタ19を透過するため、この波長成分の光に対し吸収が大きい遮光板18を設置し、カメラレンズ方向への反射を抑える。また、遮光板18の代わりに、偏光保存するミラーを配置し、再度光照射光学系3側へ反射させることもできる。このように、偏光ビームスプリッタ19を使うことで光源出力光の光利用効率を高くすることができる。
【0031】
ところで、照射光の照射角は、第1光源2の前に取り付けた光照射光学系3により制御する。図7に、光照射光学系3の一実施例を示す。同図中、第1光源2は複数の光源から構成され、個々の光源の出力端に1個もしくは複数個のレンズ21を取り付け、使用するカメラレンズ7で撮影される最大の画角に広げ光を照射する。
【0032】
このとき、レンズの縦方向と横方向で広がり角が異なるレンズ、例えば2焦点レンズや焦点距離が異なるシリンドリカルレンズをそれぞれ縦置きと横置きとして光照射光学系3を構成し、カメラ映像の画角に応じた形状の光照射をすることで、光の利用効率を高めることができる。
【0033】
例えば標準テレビジョンカメラを使用する場合は、横縦比率を4:3、ハイビジョン撮影の場合は16:9とする。また、光照射光学系3に、拡散板22を使用することもできる。拡散板としては、すりガラス状の散乱効果を示すもの、または表面に細かい回折格子上の凹凸を形成し、回折効果により光の配光制御を行う素子が使用できる。
【0034】
特に、表面回折を使用した拡散板に関しては、表面の凹凸の形成パターンにより、光の配光形状や強度分布が制御できるため、撮影画角に応じ効率よく均一性のよい照明が実現できる。
【0035】
ここで、強度変調光として時間と共に光強度が増加および減少する光と、短時間シャッタ機能を持つ撮像装置による距離検出方法について説明する。距離dに置かれた被写体に、図8(A)に示すように、時間と共に係数sで光強度が増加する強度変調光23を照射し、被写体からの反射光24を時刻tsにパルス状撮像ゲイン25で短時間撮像した場合、高速撮像素子9で検出される信号量E+(d,ts)は、(2)式で表される。
【0036】
【数1】
ここで、TLはカメラレンズ7などのレンズ光学系の透過率、ρは被写体1の表面の反射特性係数、F0は光の最大照射強度、Δtは撮像時間幅であり、光変調周期に対して十分小さい値である。また、cは光速、2d/cは高速撮像素子9から被写体1までの距離dを光が往復する時間、lはカメラレンズ7から被写体1までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【0037】
次に、図8(B)に示すように、時間と共に係数sで光強度が減少する強度変調光26を照射し、被写体1からの反射光27を時刻tsにパルス状撮像ゲイン25で短時間撮像した場合、高速撮像素子9で検出される信号量E−(d,ts)は、(3)式で表される。
【0038】
【数2】
ここで、Tは光強度の変調周期である。なお、1回の撮像では感度が不十分である場合は、1フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図8(B)の強度変調光は図8(A)の強度変調光と連続して送出しても良い。
【0039】
(2)式と(3)式より、光強度の異なる2枚の画像間での強度比R=E+/E−をとり、距離dを求めると、(4)式となる。
【0040】
【数3】
(4)式で示されるように、光強度増加時と光強度減少時に撮像した2つの画像間の比Rを計算するだけで、被写体1の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【0041】
このように、時間と共に強度変化する光源は、数十MHzの低い周波数でも実現できるため、レーザ光源以外に、LED(発光ダイオード)などインコヒーレントな照明も使用でき、高輝度で広い範囲を照明でき、人物の距離検出なども可能となる。なお、この方法による距離の検出範囲は、撮像時刻tsと変調周波数fで決まり、(5)式で表される。
【0042】
【数4】
実際の運用時には、撮像時刻tsを調整し、被写体の位置に検出範囲を合わせる。また、測定レンジdrは、変調周波数fで決まり(6)式で表される。
【0043】
dr=c/4f …(6)
測定レンジdrが7.5mのとき変調周波数fは10MHzとなり、測定レンジdrが1.5mのとき変調周波数fは50MHzとなる。一方、撮像時の撮像時間幅Δtは光源2の変調周期1/fより短く、数nsecのシャッタ機能が必要である。
【0044】
次に、強度変調光として短時間のパルス光を使用し、高速撮像素子9の撮像ゲインを時間と共に高速に増加させながら撮像した画像と、撮像ゲインを時間と共に高速に減少させながら撮像した画像間で演算を行い、距離を検出する方法を説明する。
【0045】
距離dの位置にある被写体1に、図9(A)に示すように、光強度F0のパルス光28を時刻tpに照射し、被写体1からの反射光29を時間と共に係数gで増加する撮像ゲイン30を持つ高速撮像素子9で撮像した場合のカメラで検出される信号量E+(d,tp)は、(7)式で表される。
【0046】
【数5】
ここで、TLはカメラレンズ7などのレンズ光学系の透過率、ρは被写体1の表面の反射特性係数、τはパルス幅、cは光速、2d/cは高速撮像素子9から被写体1までの距離dを光が往復する時間、lはカメラレンズ7から被写体1までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【0047】
次に、図9(B)に示すように、時間と共に係数gで減少する撮像ゲイン31を持つ高速撮像素子9で撮像した場合のカメラで検出される信号量E−(d,tp)は、(8)式で表される。
【0048】
【数6】
ここで、Tは撮像ゲインの変調周期である。なお、1回の撮像では感度が不十分である場合は、1フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図9(B)の撮像ゲインの変調は図9(A)の撮像ゲインの変調に連続するように設定しても良い。
【0049】
(7)式と(8)式より、撮像ゲインの異なる2枚の画像間での強度比R=E+/E−をとり、距離dを求めると、(9)式となる。
【0050】
【数7】
上記(9)式で示されるように、撮像ゲイン増加時と撮像ゲイン減少時に撮像した2つの画像間の強度比Rを計算するだけで、被写体1の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【0051】
このように、パルス状の光と、時間と共に変化する撮像ゲインの組合せでは、パルスレーザが使用でき、Qスイッチパルスレーザ光、モード同期パルス光など、パルス幅がピコ秒からフェムト秒のパルスレーザ光が使用できるため、分解能が高い距離検出が可能となる。
【0052】
この場合、測定できる範囲(測定レンジ)Dは、(10)式で表される。
【0053】
【数8】
次に、矩形波状に変調した強度変調光と、矩形波状に撮像ゲインが変化する高速撮像素子9による距離検出方法を説明する。距離dに位置する被写体1に、図10(A)に破線で示すような矩形の強度変調光32(光強度F0、変調周期T)を照射し、その反射光33を強度変調光32と同一周期で同位相の矩形状の撮像ゲイン34(ゲインg、周期T)で撮像する場合、カメラで検出される信号量E+(d,tp)は、(11)式で表される。
【0054】
【数9】
ここで、TLはカメラレンズ7などのレンズ光学系の透過率、ρは被写体1表面の反射特性係数、cは光速、2d/cは高速撮像素子9から被写体1までのまでの距離dを光が往復する時間、lはカメラレンズ7から被写体1までの距離であり、式の分母は光の拡散による減衰を考慮した項である。
【0055】
次に、図10(B)に示すように、周期Tだけシフトした強度変調光32と逆位相の矩形状の撮像ゲイン35(ゲインg、周期T)で撮像する場合、カメラで検出される信号量E−(d,tp)は、(12)式で表される。
【0056】
【数10】
なお、1回の撮像では感度が不十分である場合は、1フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。
【0057】
(11)式と(12)式より、2つの画像間の強度比R=E+/E−をとり、距離dを求めると、(13)式となる。
【0058】
【数11】
(13)式で示されるように、2つの画像間の比Rを計算するだけで、被写体1の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。
【0059】
このように強度変調照射光と、撮像ゲインを同じ周期の幅を持つ矩形波状とすることで、撮像素子で検出される検出信号量が多くなり、信号対ノイズ比が高い撮像が可能であり、高分解能な距離検出が可能となる。
【0060】
図11に、色分離結像光学系8の一実施例を示す。同図中、カメラレンズ7のあとにカラー画像撮影に使用する第2光源6からの可視光成分を含む光37を透過し、距離検出に使用する第1光源2からの可視領域外の光38を反射させるダイクロイックプリズム36を有する。このダイクロイックプリズム36のサイズと材質は、カメラレンズ7のバックフォーカス長を考慮し、高速撮像素子9にカメラレンズ7よりダイクロイックプリズム36を通して結像できる光路長となるように選択する。
【0061】
距離検出用の強度変調光源である第1光源2の出力光を近赤外光とした場合、ダイクロイックプリズム36による色分離特性は、可視光を透過し、近赤外光を反射する特性とする。第2光源6の波長を780nmから900nmの範囲を選択すれば、可視光の透過率を高く、しかも近赤外光の反射率を高く設計することができる。
【0062】
また、ダイクロイックプリズム36で反射した光成分に含まれる第1光源2の波長成分より長波長の光を除去する赤外透過の光学フィルタ39を配置することで、外光の影響を低減し、信号光である近赤外光のみを高速撮像素子9に入力できる特性が得られる。
【0063】
ダイクロイックプリズム36を通過した可視光はリレーレンズ40を通してカラーカメラ12に入力される。このリレーレンズ40の倍率はほぼ等倍であり、レンズにはフォーカス調整機能を備える。このとき、リレーレンズ40の構成をテレセントリック光学系とすることでフォーカス調整が容易となる。
【0064】
リレーレンズ40は、可視領域において、透過率や収差などの結像光学特性の最適化を行い、MTF(Modulation Transfer Function)の低下を押さえ、カメラレンズによる結像光学画像を高精細、かつ、画像の色変化や輝度の低下なくカラーカメラ12に伝達入力する。また、リレーレンズ40の開口数をカメラレンズ7と同等とすることで、明るさの低減を抑える。また、リレーレンズ40には絞り調整機構をもたせることで、距離検出側への近赤外光量に影響なく、カラー画像の絞り調整が可能となる。
【0065】
図12に、高速撮像素子9として、イメージインテンシファイア41とCCDカメラ42を用いた実施例を示す。同図中、ダイクロイックプリズム36で反射した第1光源2の光成分をイメージインテンシファイア41に結像入力する。イメージインテンシファイア41は、光電変換面43、マイクロチャンネルプレート(MCP)44、蛍光面45から構成されるものが使用できる。
【0066】
イメージインテンシファイア41の光電変換面43とMCP44間の印加電圧の値を制御することで、時間と共に撮像感度を高速に変化できる。また、印加電圧をパルス形状とすることで、1nsec以下の短時間のゲート撮像も可能となる。
【0067】
光電変換面43の材料は、距離検出に使用する強度変調光の波長感度特性により選択する。例えば、波長800nmの場合、マルチアルカリ材料(Sb−K−Na−Cs)が使用でき、更に長波長の850nmを使用する場合は、ガリウム砒素(GaAs)材料を使用することで高い量子効率が得られるため、S/Nのよい撮像画像が得られる。
【0068】
撮像ゲインを高速に変化させ、または短時間のゲート動作をさせて画像を撮像するため、1回の撮像で得られる信号量は非常に微弱であるため、強度変調光4の光源2の出力タイミングと撮像ゲイン変調タイミングを同期させ、繰り返し撮像し、イメージインテンシファイア41の出力蛍光面45の画像を画像伝達光学系46でCCDカメラ42に入力し、CCDカメラ42の蓄積効果で十分な感度を確保することができる。
【0069】
画像伝達光学系46はファイバプレートもしくはリレーレンズ光学系で実現できる。画像伝達光学系46をファイバプレートとし、イメージインテンシファイアの蛍光面45とCCDカメラ42のCCD面を連結するごとで、高い効率で蛍光面出力光をCCDカメラ42に入力できる。
【0070】
一方、リレーレンズの場合、フォーカス調整や画像位置の微調整機構を持たせることができる。リレーレンズの透過率や画像の結像収差特性は、イメージインテンシファイアの蛍光面45の蛍光波長で最適化する。リレーレンズを用いた場合、ファイバプレートを用いた場合より光の利用効率が下がるが、CCDカメラ42が交換でき、CCDカメラ42の選択の幅が広がるとともに、結像倍率の制御が可能であると共に、ファイバプレート使用時に発生する固定パターンノイズの影響がなく、良好な画像が得られる特徴がある。画像の結像倍率は、カラー画像の画角とCCDカメラ42で撮像する画角が同じになる倍率とする。
【0071】
イメージインテンシファイア41の撮像の解像度は、イメージインテンシファイア41を構成する光電変換面43とMCP44の間隔、MCP44と蛍光面45間の間隔、MCP44を構成する導電性のガラスキャピラリの直径に大きく依存する。そのため、光電変換面43とMCP44の間隔、MCP44と蛍光面45間の間隔を近接させると共に、MCPを構成する導電性のガラスキャピラリの直径を細かいものを使用すると高解像度に有利である。
【0072】
また、イメーイジンテシファイア41ヘの結像入力画像を拡大入力し、画像伝達光学系46で縮小しCDDカメラ42に入力することで解像度を高く保つことができる。CCDカメラ42としては、標準TV用カメラやハイビジョンカメラが使用できるとともに、その他産業用の高精細CCDカメラも使用できる。
【0073】
図13は、信号処理部10の一実施例のブロック図を示す。同図中、高速撮像素子9の出力信号は画角変換部47に供給され、所望の出力画像のアスペクト比に変換される。例えば、1300(H)×1030(V)のCCDを高速撮像素子9に使用した場合、ハイビジョン映像の距離画像を出力するときには、1画面の16:9の領域(例えば1280(H)×853(V))の信号を画角変換部47で抽出する。
【0074】
次に、光強度及び撮像パターンの異なるタイミングで撮像した信号を、外部同期48に同期したスイッチ49で切り換えて、それぞれメモリ50Aとメモリ50Bに記憶する。メモリ50A,50Bの記憶タイミングは外部同期48に同期して行われる。これにより、例えば光強度が増加する強度変調光の照射時に短時間撮像した被写体画像がメモリ50Aに記憶され、光強度が減少する強度変調光の照射時に短時間撮像した被写体画像がメモリ50Aに記憶される。
【0075】
メモリ50A,50Bから読み出された信号は信号調整回路51A,51Bにて画像の輝度調整や、画像全体にある一定の輝度レベルを付加するためのセットアップ調整を行われたのち、距離算出演算部53で(4)式、または(9)式、または(13)式の演算を行って距離dを算出し、距離を明暗で表す距離映像信号を得る。その後、距離映像信号は信号変換部54により所望のテレビジョン信号規格に変換されて出力される。
【0076】
図14は、本発明の3次元情報検出装置の第2実施例の構成図を示す。同図中、カメラレンズ7の周囲に配置されたLED(発光ダイオード)アレイ55より近赤外波長(中心波長850nm)の強度変調光を被写体1に照射する。また、蛍光灯56より可視光を被写体1に照射する。
【0077】
被写体1からの反射光の可視光成分は、カメラレンズ7の後に配置されたダイクロイックプリズム36を透過し、リレーレンズ40を通してカラーカメラ12に結像される。
【0078】
一方、LEDアレイ55からの近赤外光は、ダイクロイックプリズム36で反射され、高速撮像素子9側に入射される。高速撮像素子9では、高速シャッタ機能をもつイメージインテンシファイア41により短時間シャッタ撮影を行い、イメージインテンシファイア41出力の光画像をリレーレンズ46でCCDカメラ42へ入力する。
【0079】
LEDアレイ55に供給する変調信号とイメージインテンシファイア41のシャッタトリガ信号は信号発生器57で同期して発生する。これにより、増加変調光照射時と減少変調光照射時の画像を交互に撮影する。CCDカメラ42の出力信号を信号処理部10に供給して距離算出を行い、距離を明暗で表す距離映像信号11をハイビジョン信号出力する。上記LEDアレイ55,イメージインテンシファイア41,CCDカメラ42,カラーカメラ12,カメラレンズ7それぞれの仕様を図15に示す。
【0080】
また、図16に、カラーカメラ12側への光透過率と、距離検出側(高速撮像素子9側)への光透過率、及び蛍光灯56出力の可視光とLEDアレイ55出力の近赤外光の出力スペクトルを示す。ダイクロイックプリズム36により、可視光成分と距離検出用の近赤外光成分が、高効率で分割されている。距離検出側への近赤外光の透過率が高いため、距離検出に十分な感度があり、S/Nのよい良好な距離検出が可能となっている。
【0081】
白紙を被写体1とし、カメラレンズ7からの距離を変化させ、距離映像信号11のレベルを測定した。このときの強度変調光の変調周波数は15MHz、撮像時間幅は5nsec(半値幅)、測定中心位置を6mに設定した。その結果、図17に示すように、カメラレンズ7から被写体1までの距離とともに、距離映像信号レベルが変化し、距離に応じた明暗映像が得られる。また、測定中心の6m付近では、比較的リニアな特性を有しているが、測定範囲の周辺部で非線型性が生じている。これはLEDの光変調特性の非線型成分の影響であり、出力信号のγ補正によりリニアな特性に補正できる。
【0082】
本実施例における距離検出範囲は15MHzで約4mであった。被写体1の奥行きがより小さい場合、変調周波数を45MHzと高くすることで奥行き検出範囲は約1.5mとなり、相対的に奥行き検出分解能を高めることができる。
【0083】
また、距離映像信号のノイズ成分量より、距離検出分解能を評価した。測定は強度変調光4の周波数を45MHz、撮像時間幅を2nsとして、カメラレンズ7から被写体1までの距離を1m〜10mまで変化させ、距離映像信号のノイズ成分の実効値σを測定し、3×σに相当する距離の値を距離検出分解能とした場合の距離と距離検出分解能の関係を図18に示す。被写体1がカメラレンズ7より2mの位置にあるとき、距離映像信号のS/Nは44.4dBであり、距離検出分解能は1.7cmであった。
【0084】
本発明では、カラー画像とともに、高速かつ高精細な距離画像を取得できる3次元情報検出方法及び装置を示した。撮影光軸と光照射光軸を近接もしくは一致させることで、光照射の影を低減し撮影画角全体の距離を検出することが可能となる。更に、強度変調光または撮像ゲインの変調特性の組合せにより、簡易な演算処理で高速に距離を算出でき、動画像に対しても距離を算出できることが可能となった。
【0085】
また、カメラレンズのあとに色分離結像光学系を導入し、カラー画像と距離画像を同じ画角で、標準のTV画像やハイビジョンクラスの高精細な画像の距離画像をビデオレートで撮影できるとともに、カメラレンズのズーム機能にも対応した3次元情報の検出が可能となる。
【0086】
本発明装置は、被写体のカラー画像と共に奥行き距離情報が取得できる3次元カメラとして各分野に応用できる。その一例として、テレビジョン放送用カメラとしては、距離情報を基にした画像の抽出や合成など、また、立体テレビジョン用のカメラとしても適用できる。更に、3次元モデリング、医療診断、自動車や航空、宇宙、船舶分野におけるエンジン等の機器内の観察や、ガス管、排気口、水道管、ボイラー、タービン内の検査、古墳や遺跡内の調査や動物生態の観察などの分野に適用できる。
【0087】
なお、第1光源2,光照射光学系3が請求項記載の第1光照射手段に対応し、第2光源6が第2光照射手段に対応し、色分離結像光学系8が光分離手段に対応し、高速撮像素子9がゲイン可変撮像手段に対応し、カラーカメラ12が撮影手段に対応し、信号処理部10が信号処理手段に対応し、ハーフミラー17,偏光ビームスプリッタ19が光軸一致手段に対応する。
【0088】
【発明の効果】
上述の如く、本発明によれば、可視領域外の光照射で発生する影を小さくして、被写体において距離検出ができない部分を縮小し、高精細な画像の距離映像をビデオレートで取得でき、カメラレンズのズーム機能に対応したカラー映像と距離映像を取得することができる。
【図面の簡単な説明】
【図1】本発明の3次元情報検出装置の第1実施例の構成図である。
【図2】第1光源及び光照射光学系の配置の一実施例を示す図である。
【図3】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図4】カメラレンズの両脇に光源を配置した実施例を示す図である。
【図5】撮影光軸と照射光軸を一致させる方法を示す図である。
【図6】撮影光軸と照射光軸を一致させる方法を示す図である。
【図7】光照射光学系の一実施例を示す図である。
【図8】パルス状の撮像ゲインと光強度が増加および減少する強度変調光による距離検出方法を説明するための図である。
【図9】パルス状の強度変調光と光強度が増加および減少する撮像ゲインによる距離検出方法を説明するための図である。
【図10】パルス状の強度変調光とパルス状の撮像ゲインによる距離検出方法を説明するための図である。
【図11】色分離結像光学系の一実施例を示す図である。
【図12】高速撮像素子としてイメージインテンシファイアとCCDカメラを用いた実施例を示す図である。
【図13】信号処理部の一実施例のブロック図である。
【図14】本発明の3次元情報検出装置の第2実施例の構成図である。
【図15】LEDアレイ,イメージインテンシファイア,CCDカメラ,カラーカメラ,カメラレンズの仕様を示す図である。
【図16】透過率と、光源光出力スペクトルを示す図である。
【図17】距離と距離映像信号レベルの関係を示す図である。
【図18】距離と距離検出分解能の関係を示す図である。
【符号の説明】
1 被写体
2 第1光源
3 光照射光学系
4 強度変調光
5 可視光
6 第2光源
7 カメラレンズ
8 色分離結像光学系
9 高速撮像素子
10 信号処理部
11 距離映像信号
12 カラーカメラ
13 カラー映像信号
14 撮影光軸
15 光照射光軸
16 影
17 ハーフミラー
18 遮光体
19 偏光ビームスプリッタ
20 λ/4板
21 レンズ
22 拡散板
23,26 強度変調光
24,27,29,33 反射光
25 パルス状撮像ゲイン
28 パルス光
30,31,34,35 撮像ゲイン
32 強度変調光
36 ダイクロイックプリズム
37 可視光成分を含む光
38 可視領域外の光
39 光学フィルタ
40 リレーレンズ
41 イメージインテンシファイア
42 CCDカメラ
43 光電変換面
44 マイクロチャンネルプレート
45 蛍光面
46 画像伝達光学系
47 画角変換部
48 外部同期
49 スイッチ
50A,50B メモリ
51A,51B 信号調整回路
53 距離算出演算部
54 信号変換部
55 LEDアレイ
56 蛍光灯
57 信号発生器[0001]
BACKGROUND OF THE INVENTION
The present invention provides a three-dimensional information detection system. System In particular, a three-dimensional information detection system for detecting the depth shape of a subject and acquiring three-dimensional information. System To do.
[0002]
[Prior art]
As a method for detecting the three-dimensional position or depth distance of an object, there is a stereo method for acquiring three-dimensional information from a multi-viewpoint image obtained using a plurality of cameras. As a method of irradiating light and detecting a distance, there is a method of calculating the distance by driving the irradiation light in a sine wave and detecting the phase on the reflection side.
[0003]
Japanese Patent Application No. 10-293817 describes that a distance can be calculated at a higher speed than two images taken by selecting two types of combinations of temporal changes in irradiation light and gain modulation on the imaging side. ing.
[0004]
[Problems to be solved by the invention]
In the method of acquiring three-dimensional information by the stereo method, since there is no need to irradiate light, there is a merit that it is not affected by external light, but the arrangement of a plurality of cameras and the calibration of camera lenses are complicated. Moreover, the apparatus is large and lacks versatility. Furthermore, it is not possible to freely change the shooting angle of view by zooming the camera lens. Furthermore, in a high-definition image that is higher than that of a standard television image, calculating the distance for each pixel requires time for image matching processing for searching for corresponding points between a plurality of images, so the video rate (
[0005]
In addition, in the method of irradiating a subject with sinusoidal light and detecting the phase on the reflection side, it is necessary to calculate the phase of the light for each shooting pixel, and the subject is generally used with a range finder at a practical level. In the case of detecting the entire distance, a two-dimensional scanning mechanism for the light beam is required, so that there is a problem that the high speed is impaired and the configuration is complicated.
[0006]
Japanese Patent Application No. 10-293817 discloses a method for acquiring a distance image (an image in which distance information is represented by luminance of an image signal) at a high speed. However, a distance image having the same angle of view as a color image is shown. Taking into account the specific method of shooting color images and distance video in correspondence with the zoom function of the camera lens, enabling high-quality video shooting of high-definition video class without simultaneous occlusion for distance detection. There was a problem that was not.
[0007]
The present invention has been made in view of the above points, and can obtain a distance image of a high-definition image at a video rate, and can acquire a color image and a distance image corresponding to a zoom function of a camera lens. Detection system System The purpose is to provide.
[0008]
[Means for Solving the Problems]
The invention as set forth in
Irradiate the subject with visible light Visible A three-dimensional information detection system comprising a light irradiation device,
The three-dimensional information detection apparatus includes:
Above Outside the visible range The light irradiation means increases and decreases the light intensity of the output light with time, the gain variable imaging means sets the imaging gain to a constant value in a short time in a pulsed manner, and the signal processing means performs imaging while increasing the light intensity with time. Calculating the distance from the intensity ratio between the captured image and the image captured while decreasing the light intensity with time,
Or the above Outside the visible range The light irradiation means outputs pulse light, the variable gain imaging means increases and decreases the imaging gain with time, and the signal processing means decreases the captured image and the imaging gain with time while increasing the imaging gain with time. While calculating the distance from the intensity ratio between the captured image and
Or the above Outside the visible range The light irradiation means modulates and outputs the light intensity of the output light in a rectangular wave shape, the variable gain imaging means modulates the imaging gain in a rectangular wave shape with the same period as the light intensity, and the signal processing means While calculating the distance from the intensity ratio between the image captured when the imaging gain is in phase and the light intensity and the image captured when the imaging gain is in reverse phase,
Above Outside the visible range The light irradiating means is a three-dimensional information detecting device in which a plurality of light irradiation means are arranged around the camera lens so that the optical axis of the light outside the visible region is close to the optical axis of the camera lens.
Color images corresponding to the zoom function of the camera lens can be obtained by reducing the shadow that occurs due to light irradiation outside the visible region, reducing the area where distance detection is not possible in the subject, and obtaining distance video of high-definition images at the video rate. And distance video can be acquired.
[0011]
In the three-dimensional information detection apparatus,
Above Outside the visible range Instead of arranging a plurality of light irradiation means around the camera lens, Outside the visible range An optical axis matching means for matching the optical axis of light outside the visible region irradiated by the light irradiation means with the optical axis of the camera lens can be provided.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration diagram of a first embodiment of the three-dimensional information detection apparatus of the present invention. In the drawing, the output light of the
[0013]
Further, the wavelength of the output light of the
It is easy to produce an optical system that ensures an optically high color separation imaging optical system ratio.
[0014]
As a means for generating the intensity modulated
[0015]
Further, a diffusion plate can be used as the light irradiation
[0016]
The
[0017]
The reflected light from the subject 1 illuminated by the first
[0018]
A color separation imaging
[0019]
The high-speed imaging device 9 shoots a plurality of images by modulating the imaging gain under the condition that the time change of the intensity modulated light of the first
[0020]
On the other hand, the formed image of the light component from the second
[0021]
FIG. 2 shows an example of the arrangement of the first
[0022]
Δl = l · Δd / d (1)
As is clear from the equation (1), the shadow region can be reduced as the distance l between the photographing optical axis 14 of the
[0023]
FIG. 3 shows an embodiment in which light sources are arranged on both sides of the
[0024]
In addition, in FIG. 3, the portion that becomes the
[0025]
Further, as shown in FIG. 4, there are
[0026]
FIG. 5 shows a method of matching the photographing optical axis with the irradiation optical axis. In the figure, a half mirror 17 is disposed at an angle of 45 degrees with respect to the photographing optical axis 14 of the
[0027]
As a result, it is possible to eliminate the illumination shadows 16 and 16 'and the light intensity unevenness. Of the intensity-modulated
[0028]
Further, instead of the half mirror 17, a
[0029]
The output light passes through the λ / 4
[0030]
On the other hand, since a part of the output light from the first
[0031]
By the way, the irradiation angle of the irradiation light is controlled by the light irradiation
[0032]
At this time, the light irradiation
[0033]
For example, when using a standard television camera, the aspect ratio is 4: 3, and for high-definition shooting, it is 16: 9. Further, a diffusion plate 22 can be used for the light irradiation
[0034]
In particular, with respect to a diffusion plate using surface diffraction, the light distribution shape and intensity distribution can be controlled by the surface irregularity formation pattern, so that efficient and uniform illumination can be realized according to the shooting angle of view.
[0035]
Here, a description will be given of a distance detection method using an imaging device having light intensity that increases and decreases with time as intensity-modulated light and a short-time shutter function. As shown in FIG. 8A, the subject placed at the distance d is irradiated with intensity-modulated
[0036]
[Expression 1]
Where T L Is the transmittance of the lens optical system such as the
[0037]
Next, as shown in FIG. 8B, the intensity-modulated
[0038]
[Expression 2]
Here, T is a modulation cycle of light intensity. If the sensitivity is insufficient for one imaging, a pulsed light equivalent to the modulation frequency of the imaging gain is irradiated in one field and accumulated by a storage type imaging device to ensure sufficient sensitivity. . Note that the intensity-modulated light in FIG. 8B may be transmitted continuously with the intensity-modulated light in FIG.
[0039]
From the equations (2) and (3), the intensity ratio R = E between two images having different light intensities. + / E − And the distance d is obtained as equation (4).
[0040]
[Equation 3]
As shown by the equation (4), only by calculating the ratio R between the two images taken when the light intensity is increased and when the light intensity is decreased, the reflectance of the subject 1, the light attenuation effect due to light diffusion, etc. The influence can be canceled and the distance can be obtained at high speed.
[0041]
In this way, a light source whose intensity changes with time can be realized even at a low frequency of several tens of MHz. Therefore, in addition to a laser light source, incoherent illumination such as an LED (light emitting diode) can be used, and a wide range can be illuminated with high brightness. It also becomes possible to detect the distance of a person. Note that the distance detection range by this method is determined by the imaging time ts and the modulation frequency f, and is expressed by equation (5).
[0042]
[Expression 4]
In actual operation, the imaging time ts is adjusted to adjust the detection range to the position of the subject. Measurement range d r Is determined by the modulation frequency f and is expressed by equation (6).
[0043]
d r = C / 4f (6)
Measurement range d r Is 7.5 m, the modulation frequency f is 10 MHz, and the measurement range d r Is 1.5 m, the modulation frequency f is 50 MHz. On the other hand, the imaging time width Δt at the time of imaging is shorter than the
[0044]
Next, a short-time pulse light is used as intensity-modulated light, and an image captured while increasing the imaging gain of the high-speed image sensor 9 with time and an image captured while decreasing the imaging gain with time are increased. A method for calculating the distance and detecting the distance will be described.
[0045]
As shown in FIG. 9A, the light intensity F is applied to the subject 1 at the position of the distance d. 0 The amount of signal E detected by the camera when the
[0046]
[Equation 5]
Where T L Is the transmittance of the lens optical system such as the
[0047]
Next, as shown in FIG. 9B, the signal amount E detected by the camera when imaged by the high-speed image sensor 9 having the
[0048]
[Formula 6]
Here, T is an imaging gain modulation period. If the sensitivity is insufficient for one imaging, a pulsed light equivalent to the modulation frequency of the imaging gain is irradiated in one field and accumulated by a storage type imaging device to ensure sufficient sensitivity. . Note that the imaging gain modulation in FIG. 9B may be set to be continuous with the imaging gain modulation in FIG.
[0049]
From the equations (7) and (8), the intensity ratio R = E between two images having different imaging gains. + / E − And the distance d is obtained as equation (9).
[0050]
[Expression 7]
As shown in the above equation (9), only by calculating the intensity ratio R between two images taken when the imaging gain is increased and when the imaging gain is reduced, the light attenuation effect due to the reflectance of the subject 1 and the diffusion of light. It is possible to cancel the influence of the above and obtain the distance at high speed.
[0051]
In this way, a pulse laser can be used with a combination of pulsed light and imaging gain that changes with time, and pulse laser light having a pulse width of picoseconds to femtoseconds, such as Q-switched pulsed laser light and mode-locked pulsed light. Therefore, distance detection with high resolution becomes possible.
[0052]
In this case, the measurable range (measurement range) D is expressed by equation (10).
[0053]
[Equation 8]
Next, a distance detection method using the intensity-modulated light modulated in a rectangular wave shape and the high-speed imaging element 9 in which the imaging gain changes in a rectangular wave shape will be described. A rectangular intensity modulated light 32 (light intensity F as shown by a broken line in FIG. 10A) is applied to the subject 1 located at a distance d. 0 , Modulation period T), and when the reflected
[0054]
[Equation 9]
Where T L Is the transmittance of the lens optical system such as the
[0055]
Next, as shown in FIG. 10B, in the case of imaging with a rectangular imaging gain 35 (gain g, period T) having an opposite phase to the intensity-modulated
[0056]
[Expression 10]
If the sensitivity is insufficient for one imaging, a pulsed light equivalent to the modulation frequency of the imaging gain is irradiated in one field and accumulated by a storage type imaging device to ensure sufficient sensitivity. .
[0057]
From the equations (11) and (12), the intensity ratio R = E between the two images. + / E − And the distance d is obtained as equation (13).
[0058]
## EQU11 ##
As shown in the equation (13), by simply calculating the ratio R between two images, the influence of the reflectance of the subject 1 and the light attenuation effect due to the diffusion of light can be canceled and the distance can be obtained at high speed. Can do.
[0059]
In this way, by making the intensity-modulated irradiation light and the imaging gain into a rectangular wave shape having the same period width, the amount of detection signal detected by the imaging device increases, and imaging with a high signal-to-noise ratio is possible. High-resolution distance detection is possible.
[0060]
FIG. 11 shows an embodiment of the color separation imaging
[0061]
When the output light of the first
[0062]
Further, by arranging an infrared transmission
[0063]
The visible light that has passed through the
[0064]
The
[0065]
FIG. 12 shows an embodiment in which an
[0066]
By controlling the value of the applied voltage between the
[0067]
The material of the
[0068]
Since an image is picked up by changing the image pickup gain at high speed or by performing a short-time gate operation, the signal amount obtained by one image pickup is very weak. Therefore, the output timing of the
[0069]
The image transmission
[0070]
On the other hand, in the case of a relay lens, a focus adjustment and a fine adjustment mechanism for an image position can be provided. The transmittance of the relay lens and the imaging aberration characteristic of the image are optimized by the fluorescence wavelength of the
[0071]
The imaging resolution of the
[0072]
Further, the resolution can be kept high by enlarging and inputting the image formation input image to the
[0073]
FIG. 13 shows a block diagram of an embodiment of the
[0074]
Next, signals captured at different timings of the light intensity and the imaging pattern are switched by the
[0075]
The signals read from the
[0076]
FIG. 14 shows a configuration diagram of a second embodiment of the three-dimensional information detection apparatus of the present invention. In the figure, the
[0077]
The visible light component of the reflected light from the subject 1 passes through the
[0078]
On the other hand, near-infrared light from the
[0079]
The modulation signal supplied to the
[0080]
FIG. 16 shows the light transmittance to the
[0081]
A blank paper was the subject 1, the distance from the
[0082]
The distance detection range in this example was about 4 m at 15 MHz. When the depth of the subject 1 is smaller, by increasing the modulation frequency to 45 MHz, the depth detection range becomes about 1.5 m, and the depth detection resolution can be relatively increased.
[0083]
The distance detection resolution was evaluated from the amount of noise components in the distance video signal. In the measurement, the frequency of the intensity modulated
[0084]
In the present invention, a three-dimensional information detection method and apparatus capable of acquiring a high-speed and high-definition distance image together with a color image have been shown. By making the photographing optical axis and the light irradiation optical axis close or coincide with each other, it becomes possible to reduce the shadow of light irradiation and detect the distance of the entire photographing field angle. Furthermore, the combination of intensity-modulated light or modulation characteristics of imaging gain enables the distance to be calculated at high speed with a simple calculation process, and the distance can also be calculated for a moving image.
[0085]
In addition, a color separation imaging optical system is introduced after the camera lens, and color images and distance images can be taken at the same angle of view, and standard TV images and high-definition-class distance images can be taken at video rates. It becomes possible to detect three-dimensional information corresponding to the zoom function of the camera lens.
[0086]
The apparatus of the present invention can be applied to various fields as a three-dimensional camera that can acquire depth distance information together with a color image of a subject. As an example, a television broadcast camera can be applied to extraction and synthesis of images based on distance information, and a stereoscopic television camera. In addition, three-dimensional modeling, medical diagnosis, observation in automobiles, aviation, space, marine engines and other equipment, inspection of gas pipes, exhaust outlets, water pipes, boilers, turbines, investigation of ancient tombs and ruins, Applicable to fields such as observation of animal ecology.
[0087]
The first
[0088]
【The invention's effect】
As mentioned above, According to the present invention, the shadow generated by light irradiation outside the visible region is reduced, and the portion where the distance cannot be detected in the subject is reduced. A high-definition distance image can be acquired at a video rate, and a color image and a distance image corresponding to the zoom function of the camera lens can be acquired.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of a three-dimensional information detection apparatus of the present invention.
FIG. 2 is a diagram illustrating an example of an arrangement of a first light source and a light irradiation optical system.
FIG. 3 is a diagram showing an embodiment in which light sources are arranged on both sides of a camera lens.
FIG. 4 is a diagram showing an embodiment in which light sources are arranged on both sides of a camera lens.
FIG. 5 is a diagram illustrating a method for matching a photographing optical axis with an irradiation optical axis.
FIG. 6 is a diagram illustrating a method for matching a photographing optical axis with an irradiation optical axis.
FIG. 7 is a diagram illustrating an example of a light irradiation optical system.
FIG. 8 is a diagram for explaining a distance detection method using intensity-modulated light in which a pulsed imaging gain and light intensity increase and decrease;
FIG. 9 is a diagram for explaining a distance detection method using pulsed intensity-modulated light and an imaging gain in which the light intensity increases and decreases.
FIG. 10 is a diagram for explaining a distance detection method using pulsed intensity-modulated light and pulsed imaging gain.
FIG. 11 is a diagram illustrating an example of a color separation imaging optical system.
FIG. 12 is a diagram showing an embodiment in which an image intensifier and a CCD camera are used as a high-speed image sensor.
FIG. 13 is a block diagram of an example of a signal processing unit.
FIG. 14 is a configuration diagram of a second embodiment of the three-dimensional information detection apparatus of the present invention.
FIG. 15 is a diagram illustrating specifications of an LED array, an image intensifier, a CCD camera, a color camera, and a camera lens.
FIG. 16 is a diagram showing a transmittance and a light source light output spectrum.
FIG. 17 is a diagram illustrating a relationship between distance and a distance video signal level.
FIG. 18 is a diagram showing the relationship between distance and distance detection resolution;
[Explanation of symbols]
1 Subject
2 First light source
3 Light irradiation optical system
4 Intensity modulated light
5 Visible light
6 Second light source
7 Camera lens
8 color separation imaging optical system
9 High-speed image sensor
10 Signal processor
11 Distance video signal
12 Color camera
13 Color video signal
14 Shooting optical axis
15 Light irradiation optical axis
16 Shadow
17 half mirror
18 Shading body
19 Polarizing beam splitter
20 λ / 4 plate
21 Lens
22 Diffuser
23,26 Intensity modulated light
24, 27, 29, 33 Reflected light
25 Pulsed imaging gain
28 Pulsed light
30, 31, 34, 35 Imaging gain
32 Intensity modulated light
36 Dichroic Prism
37 Light containing visible light components
38 Light outside the visible range
39 Optical filters
40 Relay lens
41 Image Intensifier
42 CCD camera
43 Photoelectric conversion surface
44 microchannel plate
45 phosphor screen
46 Image Transmission Optical System
47 Angle conversion unit
48 External synchronization
49 switch
50A, 50B memory
51A, 51B Signal adjustment circuit
53 Distance calculation unit
54 Signal converter
55 LED array
56 Fluorescent Light
57 Signal generator
Claims (3)
可視領域の光を前記被写体に照射する可視光照射装置とで構成される3次元情報検出システムであって、
前記3次元情報検出装置は、
前記可視領域外光照射手段は出力光の光強度を時間と共に増加及び減少させ、前記ゲイン可変撮像手段は撮像ゲインをパルス状に短時間一定値とし、前記信号処理手段は前記光強度を時間と共に増加させながら撮像した画像と前記光強度を時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段はパルス光を出力し、前記ゲイン可変撮像手段は撮像ゲインを時間と共に増加及び減少させ、前記信号処理手段は撮像ゲインを時間と共に増加させながら撮像した画像と撮像ゲインを時間と共に減少させながら撮像した画像との間の強度比から距離を算出するか、
もしくは、前記可視領域外光照射手段は出力光の光強度を矩形波状に変調して出力し、前記ゲイン可変撮像手段は撮像ゲインを前記光強度と同一周期で矩形波状に変調し、前記信号処理手段は前記光強度と前記撮像ゲインが同位相のとき撮像した画像と前記光強度と前記撮像ゲインが逆位相のとき撮像した画像との間の強度比から距離を算出するとともに、
前記可視領域外光照射手段を、照射する可視領域外の光の光軸が前記カメラレンズの光軸に近接するよう、前記カメラレンズの周囲に複数配置した3次元情報検出装置である、
ことを特徴とする3次元情報検出システム。The light having a central wavelength outside the visible region is intensity-modulated to irradiate the subject with the light outside the visible region , the camera lens that collects the reflected light from the subject, and the light collected by the camera lens. Light separating means for wavelength-separating light into light outside the visible region and light in the visible region, and variable gain imaging means for modulating an imaging gain and picking up an optical image outside the visible region wavelength-separated by the light separating means A distance between the image capturing means for capturing an optical image of the visible region separated by the light separating means and outputting a video signal; and an intensity ratio between the plurality of images captured by the variable gain image capturing means; A three-dimensional information detection apparatus having signal processing means for outputting a distance video signal expressed in light and darkness;
A three-dimensional information detection system configured with a visible light irradiation device that irradiates the subject with light in a visible region,
The three-dimensional information detection apparatus includes:
The visible light irradiating means increases and decreases the light intensity of the output light with time, the gain variable imaging means sets the imaging gain to a constant value in a short time in a pulsed manner, and the signal processing means increases the light intensity with time. Calculate the distance from the intensity ratio between the image captured while increasing and the image captured while decreasing the light intensity with time,
Alternatively, the outside visible light irradiation unit outputs pulsed light, the variable gain imaging unit increases and decreases the imaging gain with time, and the signal processing unit captures images and images while increasing the imaging gain with time. Calculate the distance from the intensity ratio between the captured image while decreasing the gain over time,
Alternatively, the light irradiation means outside visible region modulates and outputs the light intensity of the output light in a rectangular wave shape, and the gain variable imaging means modulates the imaging gain in a rectangular wave shape with the same period as the light intensity, and the signal processing The means calculates a distance from an intensity ratio between an image captured when the light intensity and the imaging gain are in phase and an image captured when the light intensity and the imaging gain are in antiphase, and
The visible region outside light irradiating means, so that the optical axis of the irradiated visible outside of the light is close to the optical axis of the camera lens, a three-dimensional-information detecting apparatus in which a plurality disposed around the camera lens,
A three-dimensional information detection system characterized by that.
前記可視領域外光照射手段を前記カメラレンズの周囲に複数配置する代りに、前記可視領域外光照射手段が照射する可視領域外の光の光軸を前記カメラレンズの光軸に一致させる光軸一致手段を
有することを特徴とする3次元情報検出システム。 The three-dimensional information detection system according to claim 1,
Instead of arranging a plurality of the outside-visible-light irradiating means around the camera lens, an optical axis for matching the optical axis of the light outside the visible-area irradiated by the outside-visible-light irradiating means with the optical axis of the camera lens Matching means
Three-dimensional-information detecting system characterized in that it has.
前記光軸一致手段は、ハーフミラー又は偏光ビームスプリッタであることを特徴とする3次元情報検出システム。The three-dimensional information detection system according to claim 2,
The three-dimensional information detection system, wherein the optical axis matching means is a half mirror or a polarization beam splitter .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002204189A JP4031306B2 (en) | 2002-07-12 | 2002-07-12 | 3D information detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002204189A JP4031306B2 (en) | 2002-07-12 | 2002-07-12 | 3D information detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004045266A JP2004045266A (en) | 2004-02-12 |
JP4031306B2 true JP4031306B2 (en) | 2008-01-09 |
Family
ID=31709855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002204189A Expired - Fee Related JP4031306B2 (en) | 2002-07-12 | 2002-07-12 | 3D information detection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4031306B2 (en) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006179424A (en) * | 2004-12-24 | 2006-07-06 | Toyota Motor Corp | Manufacturing method of battery |
JP2006201037A (en) * | 2005-01-20 | 2006-08-03 | Ricoh Co Ltd | Shape measuring apparatus |
JP2007334311A (en) | 2006-05-18 | 2007-12-27 | Nippon Hoso Kyokai <Nhk> | Visible and infrared light imaging optical system |
JP4843544B2 (en) * | 2007-03-29 | 2011-12-21 | 日本放送協会 | 3D image correction method and apparatus |
JP2009300268A (en) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | Three-dimensional information detection device |
JP5164938B2 (en) * | 2009-07-02 | 2013-03-21 | 本田技研工業株式会社 | 3D shape measuring device |
JP5156695B2 (en) * | 2009-06-25 | 2013-03-06 | 本田技研工業株式会社 | 3D shape measurement system |
JP2011022034A (en) * | 2009-07-16 | 2011-02-03 | Honda Motor Co Ltd | Three-dimensional shape measuring system and three-dimensional shape measuring method |
JP2011069965A (en) * | 2009-09-25 | 2011-04-07 | Japan Atomic Energy Agency | Image capturing apparatus, image display method, and recording medium with image display program recorded thereon |
US9916763B2 (en) | 2010-06-30 | 2018-03-13 | Primal Space Systems, Inc. | Visibility event navigation method and system |
US9472019B2 (en) | 2010-06-30 | 2016-10-18 | Primal Space Systems, Inc. | System and method of from-region visibility determination and delta-PVS based content streaming using conservative linearized umbral event surfaces |
US9892546B2 (en) | 2010-06-30 | 2018-02-13 | Primal Space Systems, Inc. | Pursuit path camera model method and system |
CN107370913B (en) * | 2016-05-11 | 2021-03-16 | 松下知识产权经营株式会社 | Imaging device, imaging system, and light detection method |
CN110310963A (en) * | 2018-03-27 | 2019-10-08 | 恒景科技股份有限公司 | The system for adjusting light source power |
CN110057301B (en) * | 2019-04-29 | 2024-02-09 | 慧眼自动化科技(广州)有限公司 | Binocular 3D parallax-based height detection device and detection method |
CN112068144B (en) * | 2019-06-11 | 2022-10-21 | 深圳市光鉴科技有限公司 | Light projection system and 3D imaging device |
CN112066907B (en) * | 2019-06-11 | 2022-12-23 | 深圳市光鉴科技有限公司 | Depth imaging device |
CN113820870B (en) * | 2020-06-19 | 2024-03-29 | 三赢科技(深圳)有限公司 | Projection module, imaging module and electronic device |
US20230204519A1 (en) * | 2020-07-03 | 2023-06-29 | Scuola universitaria professionale della Svizzera italiana (SUPSI) | 3d image acquisition system for optical inspection and method for optical inspection of objects, in particular electronic assemblies, electronic boards and the like |
CN113325425B (en) * | 2021-06-25 | 2024-02-27 | 湖南友哲科技有限公司 | Method for detecting existence of test tube and test tube detection device |
CN114323313A (en) * | 2021-12-24 | 2022-04-12 | 北京深测科技有限公司 | Imaging method and system based on ICCD camera |
-
2002
- 2002-07-12 JP JP2002204189A patent/JP4031306B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004045266A (en) | 2004-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4031306B2 (en) | 3D information detection system | |
US11212512B2 (en) | System and method of imaging using multiple illumination pulses | |
JP6260006B2 (en) | IMAGING DEVICE, IMAGING SYSTEM USING THE SAME, ELECTRONIC MIRROR SYSTEM, AND RANGING DEVICE | |
US20040125205A1 (en) | System and a method for high speed three-dimensional imaging | |
DK2786696T3 (en) | DENTAL CAMERA SYSTEM | |
CN103167236A (en) | Image capturing apparatus and focus detection method | |
US11272162B2 (en) | Method and system for reducing returns from retro-reflections in active illumination system | |
JP6746359B2 (en) | Image processing device, imaging device, image processing method, program, and storage medium | |
US11523097B2 (en) | Process and apparatus for the capture of plenoptic images between arbitrary planes | |
JP2014219549A (en) | Focus adjustment device, focus adjustment method and program, and imaging device | |
TW201219743A (en) | Optical apparatus and method for creating an image of an object | |
JP2022027501A (en) | Imaging device, method for performing phase-difference auto-focus, endoscope system, and program | |
JP6942480B2 (en) | Focus detector, focus detection method, and focus detection program | |
JP7005175B2 (en) | Distance measuring device, distance measuring method and imaging device | |
DE102016218291A1 (en) | Method for non-contact determination of a two-dimensional temperature information and infrared measurement system | |
CN107026992A (en) | Imaging sensor and picture pick-up device | |
JP2017102637A5 (en) | ||
WO2021099761A1 (en) | Imaging apparatus | |
JP3952499B2 (en) | Confocal scanner microscope | |
JP2003290131A (en) | Stereoscopic endoscope | |
CN110297255A (en) | 3D imaging system and 3D imaging method | |
Kagawa et al. | Deep-focus compound-eye camera with polarization filters for 3D endoscopes | |
JP4379121B2 (en) | Focus detection apparatus, focusing system, camera, and focus detection method | |
JP2023001122A (en) | Imaging apparatus | |
CN106412532B (en) | Control equipment, picture pick-up device and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070605 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4031306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141026 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |