JP3417222B2 - 実時間レンジファインダ - Google Patents
実時間レンジファインダInfo
- Publication number
- JP3417222B2 JP3417222B2 JP20814696A JP20814696A JP3417222B2 JP 3417222 B2 JP3417222 B2 JP 3417222B2 JP 20814696 A JP20814696 A JP 20814696A JP 20814696 A JP20814696 A JP 20814696A JP 3417222 B2 JP3417222 B2 JP 3417222B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- time
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、被写体の３次元位
置を測定するレンジファインダに関する。
置を測定するレンジファインダに関する。
【０００２】
【従来の技術】従来のレンジファインダは、例えば、図
９（ａ）に示すようなものがある。これは、被写体に縦
に長い線状の光（スリット光）を照射し、これを横方向
に掃引し、その反射光を捉えることにより、被写体全体
の３次元位置を計測するものである。図９（ｂ）を用い
て、動作についてさらに詳しく説明する。
９（ａ）に示すようなものがある。これは、被写体に縦
に長い線状の光（スリット光）を照射し、これを横方向
に掃引し、その反射光を捉えることにより、被写体全体
の３次元位置を計測するものである。図９（ｂ）を用い
て、動作についてさらに詳しく説明する。
【０００３】光源３からの光をスリット１０で縦に長い
線状の光にし、これの投影方向を回転ミラー４により被
写体に対して水平方向に掃引する。被写体１１からの反
射光をレンズを通してホトセンサで受光し、掃引開始時
刻から各ホトセンサに光が到達するまでの経過時間を計
測する。これにより、各ホトセンサに光が到達したとき
のスリット光の投影方向θを知ることが出来る。そし
て、投影方向θと、ホトセンサの位置から三角測量の原
理で、被写体の点Ｐの３次元位置を計測するわけであ
る。これを、各ホトセンサについて計算すると、被写体
１１の各点の３次元位置を計測することができる。
線状の光にし、これの投影方向を回転ミラー４により被
写体に対して水平方向に掃引する。被写体１１からの反
射光をレンズを通してホトセンサで受光し、掃引開始時
刻から各ホトセンサに光が到達するまでの経過時間を計
測する。これにより、各ホトセンサに光が到達したとき
のスリット光の投影方向θを知ることが出来る。そし
て、投影方向θと、ホトセンサの位置から三角測量の原
理で、被写体の点Ｐの３次元位置を計測するわけであ
る。これを、各ホトセンサについて計算すると、被写体
１１の各点の３次元位置を計測することができる。
【０００４】
【発明が解決しようとする課題】しかしながら、上記の
ような従来のレンジファインダにおいては、フォトセン
サ部分において、各フォトセンサに光が到達した時刻を
測定しなければならないため、各フォトセンサに時間計
測のための手段を講じなければならない。また、一般的
な距離画像の解像度を得るためには、フォトセンサの解
像度を上げるためにフォトセンサ列をＩＣ化し、各フォ
トセンサ周辺に時間計測回路を施すというかなり大きな
集積化を必要とする。このため、システムを実現するた
めには専用ＩＣを製作しなければならず、実現が困難で
ある、という問題点があった。
ような従来のレンジファインダにおいては、フォトセン
サ部分において、各フォトセンサに光が到達した時刻を
測定しなければならないため、各フォトセンサに時間計
測のための手段を講じなければならない。また、一般的
な距離画像の解像度を得るためには、フォトセンサの解
像度を上げるためにフォトセンサ列をＩＣ化し、各フォ
トセンサ周辺に時間計測回路を施すというかなり大きな
集積化を必要とする。このため、システムを実現するた
めには専用ＩＣを製作しなければならず、実現が困難で
ある、という問題点があった。
【０００５】本発明は、従来のこのようなレンジファイ
ンダの課題を考慮し、既存の技術を用いて、各フォトセ
ンサに時間計測機能を持たせたような特別なセンサを用
いることなく、容易に実時間で距離計測の出来るレンジ
ファインダを提供することを目的とするものである。
ンダの課題を考慮し、既存の技術を用いて、各フォトセ
ンサに時間計測機能を持たせたような特別なセンサを用
いることなく、容易に実時間で距離計測の出来るレンジ
ファインダを提供することを目的とするものである。
【０００６】
【課題を解決するための手段】本発明は上記目的を達成
するため、波長特性の異なる複数の光を合成しこれの進
行方向を掃引する光源部と、前記複数の光の波長特性に
あわせてそれぞれの光のみ撮像素子に導く複数の光フィ
ルタと、前記複数の光フィルタに対応して配置された撮
像素子とを有し、各々の撮像素子から得られた画像デー
タの各画素の値と光源部の掃引開始時刻から、投射光の
方向を測定する。そして、三角測量の原理により被写体
までの距離を計算する実時間レンジファインダである。
するため、波長特性の異なる複数の光を合成しこれの進
行方向を掃引する光源部と、前記複数の光の波長特性に
あわせてそれぞれの光のみ撮像素子に導く複数の光フィ
ルタと、前記複数の光フィルタに対応して配置された撮
像素子とを有し、各々の撮像素子から得られた画像デー
タの各画素の値と光源部の掃引開始時刻から、投射光の
方向を測定する。そして、三角測量の原理により被写体
までの距離を計算する実時間レンジファインダである。
【０００７】
【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。
を示す図面に基づいて説明する。
【０００８】（第１の実施の形態）図１は本発明の第１
の実施の形態における実時間レンジファインダの構成図
を示すものである。図１において、１はレンズ、４は回
転ミラー、５は回転制御部、１１は被写体、１２は光源
Ａ、１３は光源Ｂ、１４は光源コントローラＡ、１５は
フィルタＡ、１６はフィルタＢ、１７はハーフミラー
Ａ、１８はハーフミラーＢ、１９はハーフミラーＣ，２
０は撮像素子Ａ、２１は撮像素子Ｂ、２２は撮像素子
Ｃ、２３はカラーカメラ信号処理回路、２４は光源Ｂ画
像信号処理回路、２５は光源Ａ画像信号処理回路、２６
は距離計算部、２７は制御部、２８はスリット制御部で
ある。
の実施の形態における実時間レンジファインダの構成図
を示すものである。図１において、１はレンズ、４は回
転ミラー、５は回転制御部、１１は被写体、１２は光源
Ａ、１３は光源Ｂ、１４は光源コントローラＡ、１５は
フィルタＡ、１６はフィルタＢ、１７はハーフミラー
Ａ、１８はハーフミラーＢ、１９はハーフミラーＣ，２
０は撮像素子Ａ、２１は撮像素子Ｂ、２２は撮像素子
Ｃ、２３はカラーカメラ信号処理回路、２４は光源Ｂ画
像信号処理回路、２５は光源Ａ画像信号処理回路、２６
は距離計算部、２７は制御部、２８はスリット制御部で
ある。
【０００９】以上のように構成された本実施の形態の実
時間レンジファインダについて、以下その動作を説明す
る。まず、光源部において、光源Ａ１２と光源Ｂ１３の
光をそれぞれフィルタＡ、フィルタＢを通し、ハーフミ
ラーＡ１７で合成する。ここでフィルタＡ、Ｂの特性は
図２（ａ）のようになっており、それぞれ異なった波長
の光が選択されて通過するようになっている。もしく
は、図２（ｂ）に示すように、光波長の高低によって２
つの光を分離しても良い。
時間レンジファインダについて、以下その動作を説明す
る。まず、光源部において、光源Ａ１２と光源Ｂ１３の
光をそれぞれフィルタＡ、フィルタＢを通し、ハーフミ
ラーＡ１７で合成する。ここでフィルタＡ、Ｂの特性は
図２（ａ）のようになっており、それぞれ異なった波長
の光が選択されて通過するようになっている。もしく
は、図２（ｂ）に示すように、光波長の高低によって２
つの光を分離しても良い。
【００１０】次に、合成された光はスリット１０によっ
て縦方向に細長い線状の光に加工され、回転ミラー４に
より反射されて出射される。出射された光は回転制御部
５により制御された回転ミラー４により被写体を横方向
に掃引される。掃引された光は被写体１１に当たり、そ
の反射光がレンズ１・ハーフミラーＢ１８、ハーフミラ
ー１９Ｃにより撮像素子Ａ２０、Ｂ２１、Ｃ２２に入射
する。
て縦方向に細長い線状の光に加工され、回転ミラー４に
より反射されて出射される。出射された光は回転制御部
５により制御された回転ミラー４により被写体を横方向
に掃引される。掃引された光は被写体１１に当たり、そ
の反射光がレンズ１・ハーフミラーＢ１８、ハーフミラ
ー１９Ｃにより撮像素子Ａ２０、Ｂ２１、Ｃ２２に入射
する。
【００１１】この時、撮像素子Ａ、Ｂにはそれぞれフィ
ルタＡ１５、Ｂ１６が装着されており、光源Ａ１２、光
源Ｂ１３の光を分離して受光できるようになっている。
一般的に、光源Ａ１２、Ｂ１３は赤外に設定され、これ
により距離計測を行い、撮像素子Ｃは可視領域の光を受
光しカラーカメラ信号処理部２３により被写体のテクス
チャを撮像する。但し、撮像素子Ａ、Ｂはフィルタ特性
を可視領域に設定し、撮像素子Ｃと同時に撮像せず、光
源Ａ、Ｂの動作を時分割にして、これに併せて撮像素子
Ａ、Ｂ、Ｃが動作すれば光源を赤外領域に設定する必要
はない。
ルタＡ１５、Ｂ１６が装着されており、光源Ａ１２、光
源Ｂ１３の光を分離して受光できるようになっている。
一般的に、光源Ａ１２、Ｂ１３は赤外に設定され、これ
により距離計測を行い、撮像素子Ｃは可視領域の光を受
光しカラーカメラ信号処理部２３により被写体のテクス
チャを撮像する。但し、撮像素子Ａ、Ｂはフィルタ特性
を可視領域に設定し、撮像素子Ｃと同時に撮像せず、光
源Ａ、Ｂの動作を時分割にして、これに併せて撮像素子
Ａ、Ｂ、Ｃが動作すれば光源を赤外領域に設定する必要
はない。
【００１２】ここで回転ミラー４は光を掃引しながら、
図３（ａ）に示すように各光源の光強度を変化させる。
この時、光強度の比は図３（ｂ）のように変化する。こ
の光強度の比を撮像素子Ａ、Ｂで計測し、光のスイープ
時間を測定する。図３（ｂ）では、光強度比がＩａ／Ｉ
ｂの場合時刻ｔ０が測定できることを示している。
図３（ａ）に示すように各光源の光強度を変化させる。
この時、光強度の比は図３（ｂ）のように変化する。こ
の光強度の比を撮像素子Ａ、Ｂで計測し、光のスイープ
時間を測定する。図３（ｂ）では、光強度比がＩａ／Ｉ
ｂの場合時刻ｔ０が測定できることを示している。
【００１３】Ｉａ／Ｉｂの関数をｆとおくと、ｔ０＝ｆ
-1（Ｉａ／Ｉｂ）となる）リセット時刻、スイープ終了
時刻は制御部２７が持っており、これに合わせて回転制
御部５が回転ミラー４を回転し、スリット制御部がスリ
ットの形状を決定する。ここではスリットは常に線状の
光を出すように設定されている。
-1（Ｉａ／Ｉｂ）となる）リセット時刻、スイープ終了
時刻は制御部２７が持っており、これに合わせて回転制
御部５が回転ミラー４を回転し、スリット制御部がスリ
ットの形状を決定する。ここではスリットは常に線状の
光を出すように設定されている。
【００１４】次に、距離計算部２６は、光源Ａ画像信号
処理部２５、光源Ｂ画像信号処理部２４の出力から、各
フォトセンサの各光源の光強度を元に、各フォトセンサ
位置の光強度比をもとめ、それから図３（ｂ）の特性よ
り、光の入射した時刻を計算する。この時刻と、リセッ
ト時刻、スイープ終了時刻より、光源部から出射される
光の方向を計算し、三角測量の原理により、各画素の位
置に写っている被写体の部分の３次元位置を計算する。
これによって、被写体の距離画像が得られる。同時に、
撮像素子Ｃ２２、カラーカメラ信号処理部２３の出力に
よって、得られた距離画像に対応する被写体のテクスチ
ャ画像が得られる。
処理部２５、光源Ｂ画像信号処理部２４の出力から、各
フォトセンサの各光源の光強度を元に、各フォトセンサ
位置の光強度比をもとめ、それから図３（ｂ）の特性よ
り、光の入射した時刻を計算する。この時刻と、リセッ
ト時刻、スイープ終了時刻より、光源部から出射される
光の方向を計算し、三角測量の原理により、各画素の位
置に写っている被写体の部分の３次元位置を計算する。
これによって、被写体の距離画像が得られる。同時に、
撮像素子Ｃ２２、カラーカメラ信号処理部２３の出力に
よって、得られた距離画像に対応する被写体のテクスチ
ャ画像が得られる。
【００１５】ここまでは、被写体表面の反射率特性が光
の波長に依存しない場合の実時間レンジファインダの動
作である。しかし、一般的には被写体の表面反射率は光
波長に依存する。そこで、図４に示すように、以上説明
した光源部の光がスリット光である場合の動作（スリッ
ト光動作）と、拡散光動作を交互に行うことにより、被
写体の表面反射率が光波長に依存する場合でも距離計測
を行うことが出来る。基本的に、スリット光計測の時
は、これまで説明してきた動作と同じである。
の波長に依存しない場合の実時間レンジファインダの動
作である。しかし、一般的には被写体の表面反射率は光
波長に依存する。そこで、図４に示すように、以上説明
した光源部の光がスリット光である場合の動作（スリッ
ト光動作）と、拡散光動作を交互に行うことにより、被
写体の表面反射率が光波長に依存する場合でも距離計測
を行うことが出来る。基本的に、スリット光計測の時
は、これまで説明してきた動作と同じである。
【００１６】ただし、前述の説明で、時刻ｔ０を求める
時に異なった計算を行う。即ち、光源部がスリット１０
を外し、被写体１１に一様な光を投射する拡散光計測時
の光源Ａ画像信号処理部２５、光源Ｂ画像信号処理部２
４の出力の比を各フォトセンサ毎について計算してお
き、被写体の各光源の光照射時の表面反射率の比を用意
し、これを補正係数とする。次に、時刻ｔ０を計算する
場合に、光強度比Ｉａ／Ｉｂに、補正係数をかけ、その
値をもとにｆ-1（Ｉａ／Ｉｂ×補正係数）を各フォトセ
ンサ出力毎に計算し、正しい光受光時刻を計測する。こ
れにより、被写体の表面反射率の光波長依存性による誤
差を補正し、これと掃引開始時刻・掃引終了時刻をもと
に、三角測量の原理によって被写体の３次元位置を計算
する。
時に異なった計算を行う。即ち、光源部がスリット１０
を外し、被写体１１に一様な光を投射する拡散光計測時
の光源Ａ画像信号処理部２５、光源Ｂ画像信号処理部２
４の出力の比を各フォトセンサ毎について計算してお
き、被写体の各光源の光照射時の表面反射率の比を用意
し、これを補正係数とする。次に、時刻ｔ０を計算する
場合に、光強度比Ｉａ／Ｉｂに、補正係数をかけ、その
値をもとにｆ-1（Ｉａ／Ｉｂ×補正係数）を各フォトセ
ンサ出力毎に計算し、正しい光受光時刻を計測する。こ
れにより、被写体の表面反射率の光波長依存性による誤
差を補正し、これと掃引開始時刻・掃引終了時刻をもと
に、三角測量の原理によって被写体の３次元位置を計算
する。
【００１７】ここで、第１の実施の形態において、光源
Ａ１２、Ｂ１３の光をスリット１０により線状にする動
作と、一様な光を出射する動作は、スリットを機械的に
光路上に置いたり外したりする動作をモーターなどで機
械的に実現してもいいし、液晶パネルに形成するパター
ンによって実現しても良い。
Ａ１２、Ｂ１３の光をスリット１０により線状にする動
作と、一様な光を出射する動作は、スリットを機械的に
光路上に置いたり外したりする動作をモーターなどで機
械的に実現してもいいし、液晶パネルに形成するパター
ンによって実現しても良い。
【００１８】ここで、第１の実施の形態においては、ス
リット光は赤外領域の光を利用すれば、カラーカメラ装
置２３によりテクスチャ画像を距離画像計測と同時に撮
像することが出来るが、スリット光が可視領域に設定
し、スリット光投光時以外のタイミングで時分割処理に
よりテクスチャ画像を撮像してもよい。
リット光は赤外領域の光を利用すれば、カラーカメラ装
置２３によりテクスチャ画像を距離画像計測と同時に撮
像することが出来るが、スリット光が可視領域に設定
し、スリット光投光時以外のタイミングで時分割処理に
よりテクスチャ画像を撮像してもよい。
【００１９】また、第１の実施の形態において、光源Ａ
１２、Ｂ１３をランプ状のものとして説明したが、レー
ザー光を用いてもよい。この場合はレーザー光の発信波
長を異なる値にしておき、これに合わせたフィルタを撮
像素子側に装着する。光源部でのフィルタは省略でき
る。また、この場合２種の光の波長を非常に近いものに
設定すれば、被写体の表面反射率が光波長によって急激
に変化しない場合には、拡散光計測を行うことなく、精
度の良い距離画像を計測することが出来る。
１２、Ｂ１３をランプ状のものとして説明したが、レー
ザー光を用いてもよい。この場合はレーザー光の発信波
長を異なる値にしておき、これに合わせたフィルタを撮
像素子側に装着する。光源部でのフィルタは省略でき
る。また、この場合２種の光の波長を非常に近いものに
設定すれば、被写体の表面反射率が光波長によって急激
に変化しない場合には、拡散光計測を行うことなく、精
度の良い距離画像を計測することが出来る。
【００２０】また、第１の実施の形態において、光源を
２種類としたが、２種類以上の光源を用いて、それらそ
れぞれの光を独立に受光し、各フォトセンサにおいてそ
れぞれの光強度をもとに、光が出射された時刻を計算し
てもよい。
２種類としたが、２種類以上の光源を用いて、それらそ
れぞれの光を独立に受光し、各フォトセンサにおいてそ
れぞれの光強度をもとに、光が出射された時刻を計算し
てもよい。
【００２１】また、第１の実施の形態において、光源部
３６の各光源の光強度を光源Ａは増やす方向に、光源Ｂ
は減らす方向に掃引したが、各距離測定毎に、各光源で
の光強度の掃引方向を反転することにより、距離測定の
精度を向上してもよい。この場合、連続する複数の距離
計測結果を用いて平均処理・メディアン処理など、フィ
ルタ手法を用いて高精度な距離計測結果を出力してもよ
い。また、光強度を直線的に掃引したが、いかなる時間
波形で掃引してもよいし、各距離測定毎に光強度の時間
変化波形を変えても良い。
３６の各光源の光強度を光源Ａは増やす方向に、光源Ｂ
は減らす方向に掃引したが、各距離測定毎に、各光源で
の光強度の掃引方向を反転することにより、距離測定の
精度を向上してもよい。この場合、連続する複数の距離
計測結果を用いて平均処理・メディアン処理など、フィ
ルタ手法を用いて高精度な距離計測結果を出力してもよ
い。また、光強度を直線的に掃引したが、いかなる時間
波形で掃引してもよいし、各距離測定毎に光強度の時間
変化波形を変えても良い。
【００２２】以上のように、本実施の形態によれば、既
存の技術を用いて、出射される光を時間的に変化させる
ことにより、各フォトセンサに時間計測機能を持たせる
ようなセンサを用意することなく、容易に実時間で距離
計測の出来るレンジファインダを実現することができ
る。
存の技術を用いて、出射される光を時間的に変化させる
ことにより、各フォトセンサに時間計測機能を持たせる
ようなセンサを用意することなく、容易に実時間で距離
計測の出来るレンジファインダを実現することができ
る。
【００２３】（第２の実施の形態）
図５は、本発明の第２の実施の形態における実時間レン
ジファインダの構成図を示すものである。図１におい
て、１はレンズ、５は回転制御部、１１は被写体、２７
は制御部であり、これらは本発明の第１の実施の形態と
同様のものである。本発明の第１の実施の形態と異なる
のは、光源コントローラＢ（３２）、距離計算部Ｂ（３
４）、カラーカメラ装置３３であり、また光源部３６が
スリット光掃引時に光波長を連続的に掃引する点が異な
る。
ジファインダの構成図を示すものである。図１におい
て、１はレンズ、５は回転制御部、１１は被写体、２７
は制御部であり、これらは本発明の第１の実施の形態と
同様のものである。本発明の第１の実施の形態と異なる
のは、光源コントローラＢ（３２）、距離計算部Ｂ（３
４）、カラーカメラ装置３３であり、また光源部３６が
スリット光掃引時に光波長を連続的に掃引する点が異な
る。
【００２４】以上のように構成された本実施の形態の実
時間レンジファインダについて、以下その動作を説明す
る。まず、光源部３６について、図６を用いて説明す
る。
時間レンジファインダについて、以下その動作を説明す
る。まず、光源部３６について、図６を用いて説明す
る。
【００２５】図６（ａ）は光源部３６の第１の構成を示
している。図６（ａ）では、光源に波長掃引可能な半導
体レーザ（Tunable Diode Laser, TDL）が用いられ、Ｔ
ＤＬ制御部２９によって発振波長が制御される。光波長
掃引の様子を図６（ｃ）に示す。リセット時刻に光波長
がλAにて掃引が開始され、掃引終了時刻には光波長が
λBまで変化している。
している。図６（ａ）では、光源に波長掃引可能な半導
体レーザ（Tunable Diode Laser, TDL）が用いられ、Ｔ
ＤＬ制御部２９によって発振波長が制御される。光波長
掃引の様子を図６（ｃ）に示す。リセット時刻に光波長
がλAにて掃引が開始され、掃引終了時刻には光波長が
λBまで変化している。
【００２６】これを回転ミラー３７により縦方向に動か
してスリット状の光を生成し、回転ミラー４により横方
向に掃引する。この時、回転ミラー３７の代わりに、縦
方向のみに光を分散させるカマボコ型レンズを用いても
良い。また、これと同様な動作は、図６（ｂ）の第２の
構成でも実現できる。この場合、白色光源３１をスリッ
ト１０を通過させスリット状の光とし、これを移動する
透過率変化フィルタ３８を通すことによって光波長を掃
引する。透過率変化フィルタ３８は図７のように構成さ
れており、水平方向に光透過特性が異なったものであ
る。
してスリット状の光を生成し、回転ミラー４により横方
向に掃引する。この時、回転ミラー３７の代わりに、縦
方向のみに光を分散させるカマボコ型レンズを用いても
良い。また、これと同様な動作は、図６（ｂ）の第２の
構成でも実現できる。この場合、白色光源３１をスリッ
ト１０を通過させスリット状の光とし、これを移動する
透過率変化フィルタ３８を通すことによって光波長を掃
引する。透過率変化フィルタ３８は図７のように構成さ
れており、水平方向に光透過特性が異なったものであ
る。
【００２７】即ち、左端ではλAの波長の光を透過し、
水平位置が変化するにつれて、透過光の波長が変化し、
右端ではλBの波長の光を透過するように作成されてい
る。このように構成することにより、図６（ｃ）に示さ
れるように、スリット光の光波長を掃引することができ
る。
水平位置が変化するにつれて、透過光の波長が変化し、
右端ではλBの波長の光を透過するように作成されてい
る。このように構成することにより、図６（ｃ）に示さ
れるように、スリット光の光波長を掃引することができ
る。
【００２８】次に、掃引された光は被写体１１に当た
り、その反射光がレンズ１・カラーカメラ装置３３に入
射する。この時、カラーカメラ装置３３は、光源部３６
の被写体での反射光を色分離して受光できるようになっ
ており、各画素での被写体からの反射光の各色成分を出
力する（可視光ではＲＧＢ３種類の色フィルタにより分
離、赤外領域で使用する場合は、赤外領域の複数の色フ
ィルタで色成分を分離する）。
り、その反射光がレンズ１・カラーカメラ装置３３に入
射する。この時、カラーカメラ装置３３は、光源部３６
の被写体での反射光を色分離して受光できるようになっ
ており、各画素での被写体からの反射光の各色成分を出
力する（可視光ではＲＧＢ３種類の色フィルタにより分
離、赤外領域で使用する場合は、赤外領域の複数の色フ
ィルタで色成分を分離する）。
【００２９】ここで回転ミラー４は光を掃引しながら、
図６（ｃ）に示すように光源の光波長を変化させる。こ
の光の波長をカラーカメラ装置で計測し、被写体の反射
光のスイープ時間を測定する。例えば、カラーカメラに
おいて、３種類の波長透過特性を有するフィルタを３つ
の撮像素子の前面にそれぞれ配置し、それぞれの波長特
性で見た画像を撮像する（可視光領域での測定であれ
ば、３板ＣＣＤカラーカメラを用いることになる。赤外
領域ではその領域で複数種類の分光フィルタを用意する
ことになる）。
図６（ｃ）に示すように光源の光波長を変化させる。こ
の光の波長をカラーカメラ装置で計測し、被写体の反射
光のスイープ時間を測定する。例えば、カラーカメラに
おいて、３種類の波長透過特性を有するフィルタを３つ
の撮像素子の前面にそれぞれ配置し、それぞれの波長特
性で見た画像を撮像する（可視光領域での測定であれ
ば、３板ＣＣＤカラーカメラを用いることになる。赤外
領域ではその領域で複数種類の分光フィルタを用意する
ことになる）。
【００３０】それぞれの画素において、３種類の画素値
を計測し、その組み合わせから光源の波長を推定する。
この場合、それぞれの光源波長において、事前に各光フ
ィルタ透過後の値の比率を計算しておき、どの比率の光
が測定されたかをもとに、光源の波長を推定することが
できる。この場合、測定には複数の特性の異なる光フィ
ルタが必要であるが、２つ以上であれば実現できる。次
に、図６（ｃ）で受光した光がλ0の場合、光の掃引時
間ｔ0が計算でき、これをもとにカラーカメラ装置３３
により得られた画像の画素それぞれにおいて、図５の光
源部３６から出射されたスリット光の角度θが計算され
る。
を計測し、その組み合わせから光源の波長を推定する。
この場合、それぞれの光源波長において、事前に各光フ
ィルタ透過後の値の比率を計算しておき、どの比率の光
が測定されたかをもとに、光源の波長を推定することが
できる。この場合、測定には複数の特性の異なる光フィ
ルタが必要であるが、２つ以上であれば実現できる。次
に、図６（ｃ）で受光した光がλ0の場合、光の掃引時
間ｔ0が計算でき、これをもとにカラーカメラ装置３３
により得られた画像の画素それぞれにおいて、図５の光
源部３６から出射されたスリット光の角度θが計算され
る。
【００３１】次に、距離計算部３４はリセット時刻、ス
イープ終了時刻は制御部２７が持っており、これと、カ
ラーカメラ装置３３の出力の複数の色成分検出結果から
得られるスリット光の光波長データより、その画素にス
リット光が入射した時刻を計算し、更にスリット光の出
射角度θを計算する。これにより、スリット光出射位置
とレンズ位置の情報により三角測量の原理により、各画
素の位置に写っている被写体の部分の３次元位置を計算
する。これによって、被写体の距離画像が得られる。
イープ終了時刻は制御部２７が持っており、これと、カ
ラーカメラ装置３３の出力の複数の色成分検出結果から
得られるスリット光の光波長データより、その画素にス
リット光が入射した時刻を計算し、更にスリット光の出
射角度θを計算する。これにより、スリット光出射位置
とレンズ位置の情報により三角測量の原理により、各画
素の位置に写っている被写体の部分の３次元位置を計算
する。これによって、被写体の距離画像が得られる。
【００３２】同時に、カラーカメラ装置３３以外に、ハ
ーフミラーやプリズムを用いてカラーカメラ装置３３と
同じ光軸上にカラーカメラ装置を配置し、被写体のテク
スチャ画像を入力してもよい。ただし、この場合はスリ
ット光は赤外領域に設定し、カラーカメラ装置３３も赤
外領域の色分離が行えるような複数の色フィルタを用い
る必要がある。スリット光が可視光の場合は、距離計測
用に通常のカラーカメラ装置を用いるが、図８に示した
ようにスリット光掃引時は被写体のテクスチャ画像は入
力せず、距離画像のみ計測し、その後スリット光の掃引
を停止しテクスチャ画像を入力することを交互に時分割
で行う。
ーフミラーやプリズムを用いてカラーカメラ装置３３と
同じ光軸上にカラーカメラ装置を配置し、被写体のテク
スチャ画像を入力してもよい。ただし、この場合はスリ
ット光は赤外領域に設定し、カラーカメラ装置３３も赤
外領域の色分離が行えるような複数の色フィルタを用い
る必要がある。スリット光が可視光の場合は、距離計測
用に通常のカラーカメラ装置を用いるが、図８に示した
ようにスリット光掃引時は被写体のテクスチャ画像は入
力せず、距離画像のみ計測し、その後スリット光の掃引
を停止しテクスチャ画像を入力することを交互に時分割
で行う。
【００３３】尚、第２の実施の形態において、光源部３
６の光波長の変化を直線的に行ったが、どのような時間
変化波形を用いてもよい。また、光波長の変化を各距離
計測毎に変え、雑音に対して強い測定をおこなってもよ
い。この場合、連続する複数の距離計測結果を用いて平
均処理・メディアン処理など、フィルタ手法を用いて高
精度な距離計測結果を出力してもよい。
６の光波長の変化を直線的に行ったが、どのような時間
変化波形を用いてもよい。また、光波長の変化を各距離
計測毎に変え、雑音に対して強い測定をおこなってもよ
い。この場合、連続する複数の距離計測結果を用いて平
均処理・メディアン処理など、フィルタ手法を用いて高
精度な距離計測結果を出力してもよい。
【００３４】
【発明の効果】以上述べたところから明らかなように本
発明は、既存の技術を用いて、各フォトセンサに時間計
測機能を持たせたような特別なセンサを用いることな
く、容易に実時間で距離計測の出来るレンジファインダ
を実現できる。
発明は、既存の技術を用いて、各フォトセンサに時間計
測機能を持たせたような特別なセンサを用いることな
く、容易に実時間で距離計測の出来るレンジファインダ
を実現できる。
【図１】本発明における第１の実施の形態の実時間レン
ジファインダの構成図
ジファインダの構成図
【図２】(a),(b) 本発明における第１の実施の形態の光
学フィルタの特性図
学フィルタの特性図
【図３】(a),(b) 本発明における第１の実施例の光源部
の各光源の動作を示す図
の各光源の動作を示す図
【図４】本発明における第１の実施の形態の時分割処理
を示す図
を示す図
【図５】本発明における第２の実施の形態の実時間レン
ジファインダの構成図
ジファインダの構成図
【図６】(a) 本発明における第２の実施の形態の光源部
の第１の構成を示す詳細図 (b) 同第２の構成を示す詳細図 (c) 同光源の掃引を示す図
の第１の構成を示す詳細図 (b) 同第２の構成を示す詳細図 (c) 同光源の掃引を示す図
【図７】本発明における第２の実施の形態の光透過率可
変フィルタ構造を示す図
変フィルタ構造を示す図
【図８】本発明における第２の実施の形態の時分割処理
を示す図
を示す図
【図９】(a) 従来のレンジファインダの構成図
(b) 同ブロック図
１ レンズ
４ 回転ミラー
５ 回転制御部
６ タイミング測定部
１０ 光スリット
１１ 被写体
１２ 光源Ａ
１３ 光源Ｂ
１４ 光源コントローラＡ
１５ フィルタＡ
１６ フィルタＢ
１７ ハーフミラーＡ
１８ ハーフミラーＢ
１９ ハーフミラーＣ
２０ 撮像素子Ａ
２１ 撮像素子Ｂ
２２ 撮像素子Ｃ
２３ カラーカメラ信号処理回路
２４ 光源Ｂ画像信号処理回路
２５ 光源Ａ画像信号処理回路
２６ 距離計算部
２７ 制御部
２８ スリット制御部
２９ ＴＤＬ（波長可変半導体レーザ）制御部
３０ 波長可変半導体レーザ
３１ 白色光源
３２ 光源コントローラＢ３２
３３ カラーカメラ装置
３４ 距離計算部Ｂ
３６ 光源部
３７ 回転ミラーＢ
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平４−27813（ＪＰ，Ａ)
特開 平２−300608（ＪＰ，Ａ)
特開 平５−118826（ＪＰ，Ａ)
特開 平７−208946（ＪＰ，Ａ)
特開 平６−34323（ＪＰ，Ａ)
特表 平５−502720（ＪＰ，Ａ)
ＢＲＩＡＮ ＣＡＲＲＩＨＩＬＬ，Ｒ
ＯＢＥＲＴ ＨＵＭＭＥＬ，Ｅｘｐｅｒ
ｉｍｅｎｔｓ ｗｉｔｈ ｔｈｅ Ｉｎ
ｔｅｎｓｉｔｙ Ｒａｔｉｏ Ｄｅｐｔ
ｈ Ｓｅｎｓｏｒ，ＣＯＭＰＵＴＥＲ
ＶＩＳＩＯＮ，ＧＲＡＰＨＩＣＳ，ＡＮ
Ｄ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮ
Ｇ，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，Ｉ
ｎｃ．，1985年，Ｎｏ．32，337−358頁
(58)調査した分野(Int.Cl.7，ＤＢ名)
G01B 11/00 - 11/30
Claims (8)
- 【請求項１】波長特性の異なる複数の光を合成しこれの
進行方向と複数の光の合成比を掃引する光源部と、前記
複数の光の波長特性にあわせてそれぞれの光のみ撮像素
子に導く複数の光フィルタと、前記複数の光フィルタに
対応して配置された撮像素子と、各々の撮像素子から得
られた画像データの各画素の値と前記光源部の掃引開始
時刻から、その画素に光が入射した時刻を計算し、被写
体までの距離を計算する距離計算部を有することを特徴
とする実時間レンジファインダ。 - 【請求項２】波長特性の異なる複数の光を合成しこれの
進行方向と複数の光の合成比を掃引することと、前記波
長特性の異なる複数の光を一様に被写体に投光すること
を交互に時分割で行う光源部と、前記複数の光の波長特
性にあわせてそれぞれの光のみ撮像素子に導く複数の光
フィルタと、前記複数の光フィルタに対応して配置され
た撮像素子と、前記光源部が一様に投光した時の各々の
撮像素子から得られた画像データの各画素の値から被写
体の表面反射率を計算し、更に前記光源部が掃引動作を
行った時の各々の撮像素子から得られた画像データの各
画素の値と光源部の掃引開始時刻と前記被写体の表面反
射率から、その画素に光が入射した時刻を計算し、被写
体までの距離を計算する距離計算部を有することを特徴
とする実時間レンジファインダ。 - 【請求項３】投光する光の波長特性を時間的に変化さ
せ、同時に進行方向を掃引する光源部と、前記光源部か
ら投光された光の被写体での反射光を少なくとも２種類
の波長特性をもつ光フィルタにより光分解された画像を
複数の撮像素子でそれぞれ撮像し、各々の撮像素子から
得られた画像データの各画素の値から入射した光の波長
特性を再計算し、これと光源部の掃引開始時刻から、そ
の画素に光が入射した時刻を計算し、被写体までの距離
を計算する距離計算部を有することを特徴とする実時間
レンジファインダ。 - 【請求項４】投光する光の波長特性を時間的に変化さ
せ、同時に進行方向を掃引することと、あらかじめ波長
特性が既知である一様な光を被写体に投光することを交
互に時分割で行う光源部と、光源部から投光された光の
被写体での反射光を少なくとも２種類の波長特性をもつ
光フィルタにより光分解された画像を複数の撮像素子で
それぞれ撮像する撮像素子と、前記光源部が一様に投光
した時の各々の撮像素子から得られた画像データの各画
素の値から被写体の表面反射率を計算し、更に前記光源
部が掃引動作を行った時の各々の撮像素子から得られた
画像データの各画素の値と光源部の掃引開始時刻と前記
被写体の表面反射率から、その画素に光が入射した時刻
を計算し、被写体までの距離を計算する距離計算部を有
することを特徴とする実時間レンジファインダ。 - 【請求項５】投光する光の波長を可視領域以外に設定
し、前記撮像素子以外に付加された撮像素子により、被
写体のテクスチャ画像を同時に撮像し、被写体までの距
離情報と同時にテクスチャ情報も出力することを特徴と
する請求項１〜４のいずれかに記載の実時間レンジファ
インダ。 - 【請求項６】光源部は距離計測を行う時間と行わない時
間を時分割に設定し、距離計測を行わない時間に光の投
光を中止し、前記撮像素子により被写体のテクスチャ画
像を撮像し、被写体までの距離情報と以外にテクスチャ
情報も出力することを特徴とする請求項１〜４のいずれ
かに記載の実時間レンジファインダ。 - 【請求項７】光源部は、複数の光の合成比の変化を各距
離測定毎に変化させることを特徴とする請求項１または
２記載の実時間レンジファインダ。 - 【請求項８】光源部は、光の波長特性の変化を各距離測
定毎に変化させることを特徴とする請求項３または４記
載の実時間レンジファインダ。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20814696A JP3417222B2 (ja) | 1996-08-07 | 1996-08-07 | 実時間レンジファインダ |
| US09/206,606 US6094270A (en) | 1996-08-07 | 1998-12-07 | Range finder |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20814696A JP3417222B2 (ja) | 1996-08-07 | 1996-08-07 | 実時間レンジファインダ |
| US09/206,606 US6094270A (en) | 1996-08-07 | 1998-12-07 | Range finder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1048336A JPH1048336A (ja) | 1998-02-20 |
| JP3417222B2 true JP3417222B2 (ja) | 2003-06-16 |
Family
ID=26516676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20814696A Expired - Fee Related JP3417222B2 (ja) | 1996-08-07 | 1996-08-07 | 実時間レンジファインダ |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6094270A (ja) |
| JP (1) | JP3417222B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2416198B1 (en) | 1998-05-25 | 2013-05-01 | Panasonic Corporation | Range finder device and camera |
| US6424422B1 (en) * | 1998-06-18 | 2002-07-23 | Minolta Co., Ltd. | Three-dimensional input device |
| US6876392B1 (en) * | 1998-12-22 | 2005-04-05 | Matsushita Electric Industrial Co., Ltd. | Rangefinder for obtaining information from a three-dimensional object |
| JP3517628B2 (ja) * | 1999-03-17 | 2004-04-12 | 松下電器産業株式会社 | レンジファインダ装置 |
| DE10020842A1 (de) * | 2000-04-28 | 2001-10-31 | Zeiss Carl | Koordinatenmeßgerät oder Werkzeugmaschine |
| JP4040825B2 (ja) | 2000-06-12 | 2008-01-30 | 富士フイルム株式会社 | 画像撮像装置及び距離測定方法 |
| US6946647B1 (en) * | 2000-08-10 | 2005-09-20 | Raytheon Company | Multicolor staring missile sensor system |
| JP2002139304A (ja) | 2000-10-30 | 2002-05-17 | Honda Motor Co Ltd | 距離測定装置、及び距離測定方法 |
| JP2002131016A (ja) | 2000-10-27 | 2002-05-09 | Honda Motor Co Ltd | 距離測定装置、及び距離測定方法 |
| US20020057438A1 (en) * | 2000-11-13 | 2002-05-16 | Decker Derek Edward | Method and apparatus for capturing 3D surface and color thereon in real time |
| JP4623843B2 (ja) * | 2001-03-02 | 2011-02-02 | Ｈｏｙａ株式会社 | ３次元画像入力装置 |
| JP3912666B2 (ja) * | 2001-03-21 | 2007-05-09 | 株式会社リコー | 光学的形状測定装置 |
| GB2374743A (en) * | 2001-04-04 | 2002-10-23 | Instro Prec Ltd | Surface profile measurement |
| EP1373830B1 (en) | 2001-04-04 | 2006-05-17 | Instro Precision Limited | Surface profile measurement |
| FI113293B (fi) | 2001-04-19 | 2004-03-31 | Mapvision Oy | Menetelmä pisteen osoittamiseksi mittausavaruudessa |
| DE10328537B4 (de) * | 2003-06-24 | 2015-03-26 | Pixargus Gmbh | Vorrichtung und Verfahren zum Vermessen der Dimension eines Körpers |
| DE10336493A1 (de) * | 2003-08-08 | 2005-03-03 | Byk-Gardner Gmbh | Vorrichtung und Verfahren zur Bestimmung von Oberflächeneigenschaften |
| DE102005014525B4 (de) * | 2005-03-30 | 2009-04-16 | Siemens Ag | Vorrichtung zur Bestimmung von Raumkoordinaten von Objektoberflächen |
| JP2006308482A (ja) * | 2005-04-28 | 2006-11-09 | Sanyo Electric Co Ltd | 検出装置 |
| JP5072195B2 (ja) * | 2005-05-13 | 2012-11-14 | 三菱重工業株式会社 | 監視装置 |
| US7944548B2 (en) * | 2006-03-07 | 2011-05-17 | Leica Geosystems Ag | Increasing measurement rate in time of flight measurement apparatuses |
| JP5112702B2 (ja) * | 2007-01-16 | 2013-01-09 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| CN102116863B (zh) * | 2009-12-30 | 2013-06-05 | 鸿富锦精密工业（深圳）有限公司 | 红外线测距装置 |
| JP2012026798A (ja) * | 2010-07-21 | 2012-02-09 | Ihi Corp | 進入監視装置 |
| JP2014232005A (ja) * | 2013-05-28 | 2014-12-11 | 富士ゼロックス株式会社 | 計測装置 |
| DE102013211802A1 (de) | 2013-06-21 | 2014-12-24 | Siemens Aktiengesellschaft | Dynamikerhöhung bei der farbkodierten Triangulation |
| DE102018211913B4 (de) * | 2018-07-17 | 2022-10-13 | Carl Zeiss Industrielle Messtechnik Gmbh | Vorrichtung und Verfahren zum Erfassen einer Objektoberfläche mittels elektromagnetischer Strahlung |
| US20220075036A1 (en) * | 2020-09-08 | 2022-03-10 | Beijing Voyager Technology Co., Ltd. | Range estimation for lidar systems using a detector array |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4349277A (en) * | 1980-06-11 | 1982-09-14 | General Electric Company | Non-contact measurement of surface profile |
| FR2548796B1 (fr) * | 1983-07-08 | 1985-11-22 | Comp Generale Electricite | Dispositif optique pour determiner la position et la forme de la surface d'un objet |
| JP2929776B2 (ja) * | 1991-07-01 | 1999-08-03 | 日本電気株式会社 | 距離画像取得方法及び装置 |
| US6028672A (en) * | 1996-09-30 | 2000-02-22 | Zheng J. Geng | High speed three dimensional imaging method |
| IL121267A0 (en) * | 1997-07-09 | 1998-01-04 | Yeda Res & Dev | Method and device for determining the profile of an object |
-
1996
- 1996-08-07 JP JP20814696A patent/JP3417222B2/ja not_active Expired - Fee Related
-
1998
- 1998-12-07 US US09/206,606 patent/US6094270A/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| ＢＲＩＡＮ ＣＡＲＲＩＨＩＬＬ，ＲＯＢＥＲＴ ＨＵＭＭＥＬ，Ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ｔｈｅ Ｉｎｔｅｎｓｉｔｙ Ｒａｔｉｏ Ｄｅｐｔｈ Ｓｅｎｓｏｒ，ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ，ＧＲＡＰＨＩＣＳ，ＡＮＤ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，Ｉｎｃ．，１９８５年，Ｎｏ．３２，３３７−３５８頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6094270A (en) | 2000-07-25 |
| JPH1048336A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3417222B2 (ja) | 実時間レンジファインダ | |
| US7349104B2 (en) | System and a method for three-dimensional imaging systems | |
| US7189984B2 (en) | Object data input apparatus and object reconstruction apparatus | |
| US5177556A (en) | Three dimensional color imaging | |
| EP2175232A1 (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
| US20010052985A1 (en) | Image capturing apparatus and distance measuring method | |
| CN110121659B (zh) | 用于对车辆的周围环境进行特征描述的*** | |
| US6741082B2 (en) | Distance information obtaining apparatus and distance information obtaining method | |
| WO2012058977A1 (zh) | 多光谱成像颜色测量***及其成像信号处理方法 | |
| US6765606B1 (en) | Three dimension imaging by dual wavelength triangulation | |
| JP3695188B2 (ja) | 形状計測装置および形状計測方法 | |
| JP3414624B2 (ja) | 実時間レンジファインダ | |
| KR101175780B1 (ko) | 적외선 레이저 프로젝션 디스플레이를 이용한 3차원 깊이 카메라 | |
| JP2000147604A (ja) | レンジファインダ | |
| JP4369573B2 (ja) | ３次元画像検出装置 | |
| JP2008070374A (ja) | 画像撮像装置及び距離測定方法 | |
| JP3668466B2 (ja) | 実時間レンジファインダ | |
| JP2003014430A (ja) | ３次元測定方法および３次元測定装置 | |
| JP2001304821A (ja) | 画像撮像装置及び距離測定方法 | |
| JP3538009B2 (ja) | 形状計測装置 | |
| JP3711808B2 (ja) | 形状計測装置および形状計測方法 | |
| JP2004053532A (ja) | 光学的形状測定装置 | |
| JP2002152584A (ja) | カラースキャナーレスレンジ撮像系を整列する装置及び方法 | |
| JP2003004425A (ja) | 光学的形状測定装置 | |
| JP2641945B2 (ja) | 距離画像取得方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080411 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090411 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100411 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |