JP3553515B2 - High precision ranging laser radar device - Google Patents

High precision ranging laser radar device Download PDF

Info

Publication number
JP3553515B2
JP3553515B2 JP2001075400A JP2001075400A JP3553515B2 JP 3553515 B2 JP3553515 B2 JP 3553515B2 JP 2001075400 A JP2001075400 A JP 2001075400A JP 2001075400 A JP2001075400 A JP 2001075400A JP 3553515 B2 JP3553515 B2 JP 3553515B2
Authority
JP
Japan
Prior art keywords
optical sensor
light
reflected light
irradiation
recognition target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001075400A
Other languages
Japanese (ja)
Other versions
JP2002277548A (en
Inventor
智義 馬場
浩平 川添
行則 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2001075400A priority Critical patent/JP3553515B2/en
Publication of JP2002277548A publication Critical patent/JP2002277548A/en
Application granted granted Critical
Publication of JP3553515B2 publication Critical patent/JP3553515B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は高精度測距レーザレーダ装置に関し、特にレーザレーダ装置で認識対象物を探査するだけでなく、この認識対象物迄の距離を高精度に計測する場合に適用して有用なものである。
【０００２】
【従来の技術】
雨天，霧中等の悪天候時、また夜間，薄暮にも安定した認識対象物の長距離且つ高分解能での画像監視を可能とする装置としてレーザレーダ装置がある。このレーザレーダ装置は、ストロボ写真撮影と類似した動作原理を有しており、ストロボフラッシュの代わりに、「極短パルスレーザ光」を、また写真機の代わりに、「高速ゲート付きＩＣＣＤカメラ」を用いたアクティブな撮像装置である。さらに詳言すると、図４に示すように、レーザ装置１から極短パルスのレーザ光を認識対象物２に向けて照射し、高速度で動作するシャッター機能を有する超高速ゲート付ＩＣＣＤカメラ（以下、ＩＣＣＤカメラと称す。）３にて認識対象物２からの反射光を観測する。すなわち、認識対象物２からの反射光がＩＣＣＤカメラ３に到達する瞬間のみ、シャッタをＯＮ（開）状態にすることにより、認識対象物２の発見とともに、レーザ光の伝搬速度（光速）に基づき認識対象物２迄の距離も検知する。
【０００３】
かかるレーザレーダ装置を用いれば、レーザ装置１及びＩＣＣＤカメラ３と認識対象物２間の外乱（霧、雨、波浪等）の影響を大幅に低減することが可能であるばかりでなく、レーザ光を用いたアクティブな探査方法であるため昼夜を問わず運用できるという特長も有している。
【０００４】
【発明が解決しようとする課題】
上述の如き従来技術に係るレーザレーダ装置における測距精度は、ＩＣＣＤカメラ３のシャッタのＯＮ（開）時間に対応する。シャッタのＯＮ時間で認識対象物２が存在する範囲が特定されるからである。ちなみに、シャッタのＯＮ時間は、通常数１０ｎｓｅｃ乃至１００ｎｓｅｃ程度であり、例えば１００ｎｓｅｃの場合、この間の光速ｃに基づいて求まる認識対象物２の存在する範囲は１５ｍとなる。すなわち、この場合の距離は最大で１５ｍの誤差を含むことになる。
【０００５】
このように、従来技術に係るレーザレーダ装置において測距精度を向上させようとすればＩＣＣＤカメラ３のシャッタのＯＮ時間を短縮する必要がある。ターゲット２が存在する範囲を特定することはできるが、当該特定範囲におけるター認識対象物２の位置を特定することはできないからである。ところが、ＩＣＣＤカメラ３のシャッタのＯＮ時間を短縮するためには、シャッタのさらなる高速動作を実現する必要があり、当該レーザレーダ装置のコストアップの原因となる。また、シャッタのＯＮ時間を短縮した場合には、得られる画像情報において奥行き方向（レーザ光の照射方向）の情報が欠落するという問題もある。
【０００６】
本発明は、上記従来技術に鑑み、シャッタのＯＮ時間を短縮することなく（レーザレーダ装置のコストアップを生起することなく）、また奥行き方向の画像情報の欠落を生起することなく、測距精度を向上させることができる高精度測距レーザレーダ装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成する本発明の構成は次の点を特徴とする。
【０００８】
１） 認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、複数個の光電変換素子を面状に配設するとともに、表示手段の再生画面上の各領域の位置関係を各光電変換素子の位置に対応させたものとし、
さらに表示手段に再生された再生画像上で、選択手段により選択した認識対象物の位置に対応する光電変換素子の出力信号である受光タイミングパルスを利用して当該認識対象物迄の距離を検出するようにしたこと。
２） 認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、複数個の光電変換素子を線状に配設して表示手段におけるその再生画像の一部の領域に対応させたものとし、
さらに表示手段に再生された画面を視認しながら目標の認識対象物からの反射光が光センサの特定の光電変換素子に取り込まれるよう、当該高精度測距レーザレーダ装置を旋回してパルスレーザ光の照射方向を調節し得るように構成したこと。
３） 認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、表示手段における再生画像の一部の領域に対応させた単体の光電変換素子で構成し、
さらに表示手段に再生された画面を視認しながら目標の認識対象物からの反射光が光センサの光電変換素子に取り込まれるよう、当該高精度測距レーザレーダ装置を旋回してパルスレーザ光の照射方向を調節し得るように構成したこと。
【００１３】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００１４】
図１は本発明の実施の形態に係る高精度測距レーザレーダ装置を示すブロック線図である。同図に示すように、本形態の高精度測距レーザレーダ装置は、図４にその原理を示す従来技術に係るレーザレーダ装置に、光センサ８、計数回路９及び選択部１０を追加したものである。
【００１５】
すなわち、レーザ装置１は認識対象物２に向けてパルスレーザ光を照射するとともに、認識対象物２で反射したレーザ光を光学系４を介して超高速ゲート付のＩＣＣＤカメラ３で取り込むようになっている。同期回路５は、レーザレーダ装置２がパルスレーザ光を照射した時点を示す照射タイミングパルスＳ１ と、パルスレーザ光の認識対象物２による反射光とに基づき認識対象物２迄の距離を計測してその距離情報を信号処理部６に送出する。この場合の距離情報は、シャッタの開時間で決まる所定の範囲を特定したものであり、最大その範囲の奥行き方向（パルスレーザ光の進行方向）の距離の分の誤差を含むものである。信号処理部６は、前記距離情報とともに、ＩＣＣＤカメラ３の出力信号を処理して表示部７に送出する。この結果、表示部７の画面にＩＣＣＤカメラ３の撮像画像が距離情報とともに表示される。
【００１６】
光センサ８は、例えば光電変換素子を面状に多数配設してなり、認識対象物２で反射したパルスレーザ光の反射光の一部を取り込んでこれを検出する。このため、光学系４とＩＣＣＤカメラ３との間にはハーフミラー１１が配設してあり、このハーフミラー１１で反射した前記反射光の一部を取り込んで反射光の受光時点を表す受光タイミングパルスＳ２ をその出力信号として送出する。計数回路９は、レーザ装置１から供給されるパルスレーザ光の照射時点を表す照射タイミングパルスＳ１ と、光センサ８による反射光の受光時点を表す受光タイミングパルスＳ２ との時間的な間隔（パルスレーザ光が認識対象物２迄の距離を往復する時間）であるパルスレーザ光の飛行時間ｔｆ （図２参照。）に基づき認識対象物２迄の距離Ｌを演算する。具体的には次式による。
距離Ｌ＝１／２（光速ｃ×飛行時間間ｔｆ ）・・・・・（１）
【００１７】
計数回路９は上式（１）により求めた高精度距離情報を信号処理部６に送出し、この信号処理部６で所定の信号処理を行うことにより表示部７に表示する。ここで計数回路９の出力信号として得る距離情報は、認識対象物２迄の距離Ｌを精確に反映したものとなる。光センサ８の出力信号は、反射光量の時間軸における変化を高精度に検出し得るからである。ちなみに、ＩＣＣＤカメラ３の出力信号はゲートの開時間に取り込んだ反射光量の積分値であるため、同期回路５から信号処理部６に供給される距離情報は、従来技術の説明で述べた如く、シャッタの開時間で決まる所定の範囲としての距離情報となり、その分精度が劣るものとなる。
【００１８】
選択部１０は、表示部７をオペレータが視認しながら距離Ｌを知りたい目標となる認識対象物２を選択するためのものである。この点を図３を追加して詳細に説明する。
【００１９】
図３は上記表示部１０に表示される再生画像の一例である。この再生画像は、ＩＣＣＤカメラ３の出力信号である画像信号を再生したものである。ここで、図中に点線で区切った各区画が光センサ８の各光電変換素子に位置的に対応させてある。そして、高精度の距離Ｌを知りたい目標の認識対象物２をポインタ１１で選択することにより、この選択信号が光センサ８及び計数回路９に供給され、計数回路９で得る高精度距離情報を表示部７に表示するようになっている。すなわち、上述の如くポインタ１１で認識対象物２を選択することにより発生する選択信号で光センサ８の各光電変換素子から上記認識対象物２に位置的に対応する光電変換素子が選択され、この選択された光電変換素子の出力信号である受光タイミングパルスＳ２ が計数回路９に送出される。計数回路９は上記選択信号の供給により所定の演算処理を行う。したがって、計数回路９では、上記認識対象物２迄の距離Ｌを演算し、高精度距離情報として信号処理部６に送出する。かくして信号処理部６で処理して高精度距離情報を表す映像信号が形成され、この映像信号で表示部７に高精度距離情報を表示する。
【００２０】
本形態における上記選択部１０は、パーソナルコンピュータのマウスを利用して好適に形成することができる。マウスで選択部１０を形成した場合、ポインタ１１をドラッグし、表示部７における目標の認識対象物２に合わせてクリックすることによりこの認識対象物２を選択することができる。
【００２１】
ただ、必ずしも選択部１０をマウスで形成する必要は、勿論ない。例えば、表示部７を、図３に示す点線で区切った各区画に対応するタッチパネルで形成することによっても、同様の選択操作を行うことができる。
【００２２】
上述の如き本形態においては、先ず、レーザ装置１からパルスレーザ光を認識対象物２に向けて照射し、その反射光をＩＣＣＤカメラ３に取り込んで所定の処理をすることにより、表示部７に反射光による画像を再生する。この点は従来と同様である。
【００２３】
次に、オペレータが選択部１０を操作して表示部７を視認しながら高精度の距離Ｌを知りたい認識対象物２を選択する。本形態においては、表示部７の物理的な場所をそのまま保持して、光センサ８を構成する各光電変換素子に対応させてあるので、選択部１１により選択された認識対象物２に対応する位置の光電変換素子が選択される。
【００２４】
一方、本形態においては、反射光の一部をハーフミラー１１で反射して面状の光電変換素子の集合体である光センサ８に取り込んでいる。この結果、選択された光電変換素子の出力信号として、反射光の光量の時間軸における変化を高精度に表す受光タイミングパルスＳ２ を得る。そこで、レーザ装置１が送出する照射タイミングパルスＳ１ 及び受光タイミングパルスＳ２ に基づき計数回路９で所定の演算を行う。かかる演算処理により認識対象物２迄の距離Ｌを高精度に検出し得るので、この高精度距離情報を信号処理部６で処理して表示部７に表示する。
【００２５】
なお、上記実施の形態における高精度距離情報は選択部の選択により得るようにしているが、必ずしもこのように構成する必要はない。例えば、認識対象物２が複数存在する場合、上述の如き選択をすることなく、全ての認識対象物２迄の高精度の距離Ｌが表示されるようにしても良い。要は、光センサ８の出力信号である受光タイミングパルスＳ２ を利用して高精度に距離を検出し得るような構成となっていれば、本願発明の技術思想の中に含まれる。
【００２６】
また、上記実施の形態における光センサ８は、複数個の光電変換素子を面状に配設して構成したものであるが、必ずしもこのように面状に配設する必要はない。単体の光電変換素子又は複数個の光電変換素子を線状に並べたものでも良い。すなわち、表示部７における再生画像の一部の領域（単体の光電変換素子の場合には、図３に点線で示す区画のうちの、例えば一区画に対応する領域、光電変換素子を線状に並べたものである場合には、図３に点線で示す区画の、例えば一列に対応する領域）に対応させた光センサとしておく。かくして、ＩＣＣＤカメラ３の旋回台（図示せず。）を操作してこれに取り込む映像を視認しつつ目標となる認識対象物２を、例えば十字のレチクルの中央に合わせ込み、かかる状態でパルスレーザ光を照射して、このときの反射光を光学系４、ハーフミラー１１及び光学系１２を介して光センサ８に取り込むようにすれば良い。
【００２７】
【発明の効果】
以上実施の形態とともに具体的に説明した通り、〔請求項１〕に記載する発明は、
認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、複数個の光電変換素子を面状に配設するとともに、表示手段の再生画面上の各領域の位置関係を各光電変換素子の位置に対応させたものとし、
さらに表示手段に再生された再生画像上で、選択手段により選択した認識対象物の位置に対応する光電変換素子の出力信号である受光タイミングパルスを利用して当該認識対象物迄の距離を検出するようにしたので、
照射タイミングパルスと受光タイミングパルスとの時間的な間隔に基づき認識対象物迄の距離を検出し得る。ここで、受光タイミングパルスは、時間軸における光量の変化を高精度に検出し得る光センサの出力信号により得ているので、
上記距離情報は、認識対象物が存在する範囲迄の距離情報として得る従来技術の測距精度に較べ格段に高精度なものとなる。また、かかる高精度の距離情報を得るのに、撮像手段のシャッタ速度を変える必要はないので、当該高精度測距レーザレーダ装置のコストアップ及び奥行き方向の情報の欠落という問題を生起することもない。
さらに、再生画像を視認した後、目標の認識対象物を選択することによりこの認識対象物を特定してその高精度距離情報を得ることができる。
〔請求項２〕に記載する発明は、
認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、複数個の光電変換素子を線状に配設して表示手段におけるその再生画像の一部の領域に対応させたものとし、
さらに表示手段に再生された画面を視認しながら目標の認識対象物からの反射光が光センサの特定の光電変換素子に取り込まれるよう、当該高精度測距レーザレーダ装置を旋回してパルスレーザ光の照射方向を調節し得るように構成したので、
〔請求項１〕に記載する発明と同様の効果を複数個の光電変換素子を線状に配設した光センサを用いて得ることができる。
〔請求項３〕に記載する発明は、
認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、表示手段における再生画像の一部の領域に対応させた単体の光電変換素子で構成し、
さらに表示手段に再生された画面を視認しながら目標の認識対象物からの反射光が光センサの光電変換素子に取り込まれるよう、当該高精度測距レーザレーダ装置を旋回してパルスレーザ光の照射方向を調節し得るように構成したので、
〔請求項１〕に記載する発明と同様の効果を単体の光電変換素子で形成した光センサを用いて得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る高精度測距レーザレーダ装置を示すブロック線図である。
【図２】レーザ光の照射による測距原理を示す説明図である。
【図３】図１の高精度測距レーザレーダ装置の表示部を概念的に示す説明図である。
【図４】レーザレーダ装置の原理を示す説明図である。
【符号の説明】
１ レーザ装置
２ 認識対象物
３ ＩＣＣＤカメラ
６ 信号処理部
７ 表示部
８ 光センサ
９ 計数回路
１０ 選択部
Ｓ１ 照射タイミングパルス
Ｓ２ 受光タイミングパルス[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a high-precision distance-measuring laser radar apparatus, which is particularly useful when not only searching for a recognition target object with a laser radar apparatus but also measuring the distance to the recognition target object with high accuracy. .
[0002]
[Prior art]
2. Description of the Related Art There is a laser radar device as a device that enables stable long-distance and high-resolution image monitoring of a recognition target object even in bad weather such as rainy weather or fog, and at night or at dusk. This laser radar device has an operating principle similar to that of strobe photography, and uses an "ultra-short pulse laser beam" instead of a strobe flash and an "ICCD camera with a high-speed gate" instead of a camera. The active imaging device used. More specifically, as shown in FIG. 4, an ultra-high-speed gated ICCD camera (hereinafter, referred to as a shutter device) having a shutter function that irradiates a laser beam of an extremely short pulse from the laser device 1 toward the recognition target 2 and operates at a high speed. , An ICCD camera.) 3. The reflected light from the recognition target 2 is observed at 3. That is, the shutter is turned on (opened) only at the moment when the reflected light from the recognition target 2 reaches the ICCD camera 3, so that the recognition target 2 is discovered and the laser light is propagated based on the speed of light (light speed). The distance to the recognition target 2 is also detected.
[0003]
If such a laser radar device is used, not only can the effect of disturbance (fog, rain, waves, etc.) between the laser device 1 and the ICCD camera 3 and the recognition target 2 be significantly reduced, but also the laser light can be reduced. Since it is an active exploration method used, it also has the feature that it can be operated day and night.
[0004]
[Problems to be solved by the invention]
The ranging accuracy in the laser radar device according to the related art as described above corresponds to the ON (open) time of the shutter of the ICCD camera 3. This is because the range in which the recognition target object 2 exists is specified by the shutter ON time. Incidentally, the ON time of the shutter is usually about several tens to 100 nsec. For example, in the case of 100 nsec, the range in which the recognition target object 2 obtained based on the light speed c during this period is 15 m. That is, the distance in this case includes an error of 15 m at the maximum.
[0005]
As described above, in order to improve the ranging accuracy in the laser radar device according to the related art, it is necessary to shorten the ON time of the shutter of the ICCD camera 3. This is because the range in which the target 2 exists can be specified, but the position of the target recognition target 2 in the specific range cannot be specified. However, in order to shorten the ON time of the shutter of the ICCD camera 3, it is necessary to realize a further high-speed operation of the shutter, which causes an increase in the cost of the laser radar device. Further, when the ON time of the shutter is shortened, there is a problem that information in the depth direction (the irradiation direction of the laser beam) is lost in the obtained image information.
[0006]
The present invention has been made in consideration of the above-described conventional technology, and has a distance measurement accuracy without shortening the ON time of the shutter (without increasing the cost of the laser radar device) and without causing loss of image information in the depth direction. It is an object of the present invention to provide a high-precision distance measuring laser radar device capable of improving the distance.
[0007]
[Means for Solving the Problems]
The configuration of the present invention that achieves the above object has the following features.
[0008]
1) Irradiating the pulsed laser light toward the object to be recognized, opening the shutter after a predetermined time synchronized with the irradiation, taking in the reflected light of the pulsed laser light into the imaging means, and further outputting the output signal of the imaging means as a signal In a laser radar device which processes the image by the processing means and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor, a plurality of photoelectric conversion elements are arranged in a plane, and the positional relationship of each region on the reproduction screen of the display means is made to correspond to the position of each photoelectric conversion element,
Further, on the reproduced image reproduced on the display means, a distance to the recognition target is detected by using a light receiving timing pulse which is an output signal of the photoelectric conversion element corresponding to the position of the recognition target selected by the selection means. That you did.
2) Irradiating the pulsed laser light toward the object to be recognized, opening the shutter after a predetermined time synchronized with the irradiation, taking in the reflected light of the pulsed laser light into the imaging means, and further outputting the output signal of the imaging means as a signal. In a laser radar device which processes the image by the processing means and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor has a plurality of photoelectric conversion elements arranged in a line and corresponds to a partial area of the reproduced image on the display means,
Further, the high-precision distance-measuring laser radar device is turned so that the reflected light from the target recognition target object is taken into a specific photoelectric conversion element of the optical sensor while visually recognizing the screen reproduced on the display means, and the pulse laser light is turned on. Is configured so that the irradiation direction can be adjusted.
3) While irradiating the pulsed laser light toward the object to be recognized, after a predetermined time synchronized with the irradiation, the shutter is opened and the reflected light of the pulsed laser light is taken into the image pickup means. In a laser radar device which processes the image by the processing means and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor is configured by a single photoelectric conversion element corresponding to a partial region of a reproduced image on the display unit,
Further, the high-precision distance-measuring laser radar device is turned to irradiate pulse laser light so that reflected light from the target recognition target object is taken into the photoelectric conversion element of the optical sensor while visually recognizing the screen reproduced on the display means. That the direction can be adjusted.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
FIG. 1 is a block diagram showing a high-precision distance measuring laser radar apparatus according to an embodiment of the present invention. As shown in the figure, the high-precision distance-measuring laser radar apparatus of the present embodiment is obtained by adding an optical sensor 8, a counting circuit 9, and a selecting unit 10 to the laser radar apparatus according to the prior art whose principle is shown in FIG. It is.
[0015]
That is, the laser device 1 irradiates a pulse laser beam toward the recognition target 2 and captures the laser light reflected by the recognition target 2 via the optical system 4 by the ICCD camera 3 with an ultra-high-speed gate. ing. Synchronizing circuit 5, the irradiation timing pulse S 1 indicating the time when the laser radar device 2 was irradiated with pulsed laser light, the distance to the object to be recognized 2 measured based on the light reflected by the object to be recognized second pulse laser beam The distance information is sent to the signal processing unit 6. The distance information in this case specifies a predetermined range determined by the opening time of the shutter, and includes an error corresponding to the maximum distance in the depth direction (the traveling direction of the pulse laser beam) of the range. The signal processing unit 6 processes the output signal of the ICCD camera 3 together with the distance information and sends it to the display unit 7. As a result, the image captured by the ICCD camera 3 is displayed on the screen of the display unit 7 together with the distance information.
[0016]
The optical sensor 8 includes, for example, a large number of photoelectric conversion elements arranged in a plane, and captures a part of the reflected light of the pulsed laser light reflected by the recognition target object 2 and detects this. For this reason, a half mirror 11 is disposed between the optical system 4 and the ICCD camera 3, and a part of the reflected light reflected by the half mirror 11 is taken in and a light receiving timing indicating a light receiving time of the reflected light is received. It sends a pulse S 2 as its output signal. Counting circuit 9, the irradiation timing pulse S 1 representing the irradiation time of the pulsed laser beam supplied from the laser device 1, the time intervals between the light receiving timing pulses S 2 representing the reception time of the reflected light by the optical sensor 8 ( pulsed laser light calculates the distance L up to the recognition target object 2 based on the distance to recognized objects 2 in a time of reciprocating) pulsed laser light, the flight time t f (see FIG. 2.). Specifically, the following equation is used.
Distance L = 1/2 (light speed c × flight time t f ) (1)
[0017]
The counting circuit 9 sends the high-accuracy distance information obtained by the above equation (1) to the signal processing unit 6, and performs predetermined signal processing by the signal processing unit 6 to display it on the display unit 7. Here, the distance information obtained as the output signal of the counting circuit 9 accurately reflects the distance L to the recognition target 2. This is because the output signal of the optical sensor 8 can detect a change in the amount of reflected light on the time axis with high accuracy. Incidentally, since the output signal of the ICCD camera 3 is an integrated value of the amount of reflected light taken in during the opening time of the gate, the distance information supplied from the synchronization circuit 5 to the signal processing unit 6 is, as described in the description of the prior art, The distance information is a predetermined range determined by the shutter open time, and the accuracy is inferior to that.
[0018]
The selection unit 10 is for selecting the recognition target object 2 that is a target for which the operator wants to know the distance L while the operator visually recognizes the display unit 7. This will be described in detail with reference to FIG.
[0019]
FIG. 3 is an example of a reproduced image displayed on the display unit 10. This reproduced image is obtained by reproducing an image signal which is an output signal of the ICCD camera 3. Here, each section sectioned by a dotted line in the figure corresponds to each photoelectric conversion element of the optical sensor 8 in position. Then, by selecting the target recognition target object 2 for which the user wants to know the high-precision distance L with the pointer 11, this selection signal is supplied to the optical sensor 8 and the counting circuit 9, and the high-precision distance information obtained by the counting circuit 9 is obtained. The information is displayed on the display unit 7. That is, as described above, a photoelectric conversion element corresponding to the recognition target 2 is selected from each photoelectric conversion element of the optical sensor 8 by a selection signal generated by selecting the recognition target 2 with the pointer 11. receiving the timing pulse S 2 is delivered to the counting circuit 9, which is the output signal of the selected photoelectric conversion elements. The counting circuit 9 performs a predetermined arithmetic processing by supplying the selection signal. Therefore, the counting circuit 9 calculates the distance L to the recognition target object 2 and sends it to the signal processing unit 6 as highly accurate distance information. Thus, the signal processing unit 6 processes the video signal representing the high-precision distance information, and the high-precision distance information is displayed on the display unit 7 with the video signal.
[0020]
The selection unit 10 in the present embodiment can be suitably formed using a mouse of a personal computer. When the selection unit 10 is formed with a mouse, the pointer 11 can be dragged, and clicked in accordance with the target recognition target 2 on the display unit 7 to select the recognition target 2.
[0021]
However, needless to say, it is not always necessary to form the selection unit 10 with a mouse. For example, the same selection operation can be performed by forming the display unit 7 with a touch panel corresponding to each section divided by a dotted line shown in FIG.
[0022]
In the present embodiment as described above, first, a pulse laser beam is emitted from the laser device 1 toward the recognition target 2, and the reflected light is taken into the ICCD camera 3 and subjected to a predetermined process, so that the display unit 7 Reproduce an image by reflected light. This point is the same as the conventional one.
[0023]
Next, the operator operates the selection unit 10 to visually recognize the display unit 7 and selects the recognition target object 2 for which the user wants to know the distance L with high accuracy. In the present embodiment, since the physical location of the display unit 7 is kept as it is and is associated with each photoelectric conversion element constituting the optical sensor 8, it corresponds to the recognition target object 2 selected by the selection unit 11. The photoelectric conversion element at the position is selected.
[0024]
On the other hand, in the present embodiment, a part of the reflected light is reflected by the half mirror 11 and is taken into the optical sensor 8 which is an aggregate of planar photoelectric conversion elements. As a result, as the output signal of the selected photoelectric conversion elements to obtain a light-receiving timing pulses S 2 representing a change in the time axis of the light amount of the reflected light with high precision. Therefore, performing a predetermined operation by the counting circuit 9 based on the irradiation timing pulse S 1 and the light receiving timing pulse S 2 laser device 1 sends out. Since the distance L to the recognition target 2 can be detected with high accuracy by such arithmetic processing, the high-precision distance information is processed by the signal processing unit 6 and displayed on the display unit 7.
[0025]
Although the high-accuracy distance information in the above embodiment is obtained by selecting the selection unit, it is not always necessary to configure in this way. For example, when there are a plurality of recognition targets 2, a highly accurate distance L to all the recognition targets 2 may be displayed without making the above selection. In short, if a configuration using the light receiving timing pulses S 2 which is the output signal of the optical sensor 8 can detect the distance with high accuracy, are included in the technical idea of the present invention.
[0026]
Further, the optical sensor 8 in the above embodiment is configured by arranging a plurality of photoelectric conversion elements in a plane, but it is not always necessary to arrange in a plane as described above. A single photoelectric conversion element or a plurality of photoelectric conversion elements arranged in a line may be used. That is, a partial area of the reproduced image on the display unit 7 (in the case of a single photoelectric conversion element, for example, an area corresponding to one section among the sections indicated by dotted lines in FIG. In the case where the light sensors are arranged, an optical sensor corresponding to a section indicated by a dotted line in FIG. 3, for example, an area corresponding to one line is set. In this manner, the user operates the swivel (not shown) of the ICCD camera 3 to view the image to be captured therein, and aligns the target recognition target 2 with, for example, the center of a cross reticle. Light may be applied, and the reflected light at this time may be taken into the optical sensor 8 via the optical system 4, the half mirror 11, and the optical system 12.
[0027]
【The invention's effect】
As described specifically with the above embodiments, the invention described in [Claim 1]
A pulse laser beam is irradiated toward the object to be recognized, and after a predetermined time synchronized with the irradiation, a shutter is opened to capture reflected light of the pulse laser beam into the imaging unit, and further, an output signal of the imaging unit is processed by a signal processing unit. In the laser radar device which processes the image and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor, a plurality of photoelectric conversion elements are arranged in a plane, and the positional relationship of each region on the reproduction screen of the display means is made to correspond to the position of each photoelectric conversion element,
Further, on the reproduced image reproduced on the display means, a distance to the recognition target is detected by using a light receiving timing pulse which is an output signal of the photoelectric conversion element corresponding to the position of the recognition target selected by the selection means. So I did
The distance to the recognition target can be detected based on the time interval between the irradiation timing pulse and the light reception timing pulse. Here, since the light receiving timing pulse is obtained from the output signal of the optical sensor capable of detecting the change in the amount of light on the time axis with high accuracy,
The distance information is much more accurate than the distance measurement accuracy of the related art, which is obtained as distance information to a range where the recognition target exists. In addition, since it is not necessary to change the shutter speed of the imaging means to obtain such high-accuracy distance information, problems such as an increase in the cost of the high-accuracy distance measuring laser radar apparatus and a lack of information in the depth direction may occur. Absent.
Furthermore, after visually recognizing the reproduced image, by selecting the target recognition target object, the recognition target object can be specified and the high-accuracy distance information can be obtained.
The invention described in [Claim 2]
A pulse laser beam is irradiated toward the object to be recognized, and after a predetermined time synchronized with the irradiation, a shutter is opened to capture reflected light of the pulse laser beam into the imaging unit, and further, an output signal of the imaging unit is processed by a signal processing unit. In the laser radar device which processes the image and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor has a plurality of photoelectric conversion elements arranged in a line and corresponds to a partial area of the reproduced image on the display means,
Further, the high-precision distance-measuring laser radar device is turned so that the reflected light from the target recognition target object is taken into a specific photoelectric conversion element of the optical sensor while visually recognizing the screen reproduced on the display means, and the pulse laser light is turned on. Because it was configured to be able to adjust the irradiation direction of
The same effect as the invention described in [Claim 1] can be obtained by using an optical sensor in which a plurality of photoelectric conversion elements are linearly arranged.
The invention described in [Claim 3]
A pulse laser beam is irradiated toward the object to be recognized, and after a predetermined time synchronized with the irradiation, a shutter is opened to capture reflected light of the pulse laser beam into the imaging unit, and further, an output signal of the imaging unit is processed by a signal processing unit. In the laser radar device which processes the image and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor is configured by a single photoelectric conversion element corresponding to a partial region of a reproduced image on the display unit,
Further, the high-precision distance-measuring laser radar device is turned to irradiate pulse laser light so that reflected light from the target recognition target object is taken into the photoelectric conversion element of the optical sensor while visually recognizing the screen reproduced on the display means. Because it was configured to be able to adjust the direction,
The same effect as the invention described in [Claim 1] can be obtained by using an optical sensor formed of a single photoelectric conversion element.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a high-precision distance measuring laser radar apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a principle of distance measurement by laser light irradiation.
FIG. 3 is an explanatory view conceptually showing a display unit of the high-precision distance-measuring laser radar device of FIG. 1;
FIG. 4 is an explanatory diagram illustrating the principle of a laser radar device.
[Explanation of symbols]
REFERENCE SIGNS LIST 1 laser device 2 recognition target 3 ICCD camera 6 signal processing unit 7 display unit 8 optical sensor 9 counting circuit 10 selection unit S 1 irradiation timing pulse S 2 light reception timing pulse

Claims (3)

認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、複数個の光電変換素子を面状に配設するとともに、表示手段の再生画面上の各領域の位置関係を各光電変換素子の位置に対応させたものとし、
さらに表示手段に再生された再生画像上で、選択手段により選択した認識対象物の位置に対応する光電変換素子の出力信号である受光タイミングパルスを利用して当該認識対象物迄の距離を検出するようにしたことを特徴とする高精度測距レーザレーダ装置。A pulse laser beam is irradiated toward the object to be recognized, and after a predetermined time synchronized with the irradiation, a shutter is opened to capture reflected light of the pulse laser beam into the imaging unit, and further, an output signal of the imaging unit is processed by a signal processing unit. In the laser radar device which processes the image and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor, a plurality of photoelectric conversion elements are arranged in a plane, and the positional relationship of each region on the reproduction screen of the display means is made to correspond to the position of each photoelectric conversion element,
Further, on the reproduced image reproduced on the display means, a distance to the recognition target is detected by using a light receiving timing pulse which is an output signal of the photoelectric conversion element corresponding to the position of the recognition target selected by the selection means. A high-precision distance measuring laser radar device characterized in that: 認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、複数個の光電変換素子を線状に配設して表示手段におけるその再生画像の一部の領域に対応させたものとし、
さらに表示手段に再生された画面を視認しながら目標の認識対象物からの反射光が光センサの特定の光電変換素子に取り込まれるよう、当該高精度測距レーザレーダ装置を旋回してパルスレーザ光の照射方向を調節し得るように構成したことを特徴とする高精度測距レーザレーダ装置。A pulse laser beam is irradiated toward the object to be recognized, and after a predetermined time synchronized with the irradiation, a shutter is opened to capture reflected light of the pulse laser beam into the imaging unit, and further, an output signal of the imaging unit is processed by a signal processing unit. In the laser radar device which processes the image and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor, a plurality of photoelectric conversion elements are arranged in a line and correspond to a partial area of the reproduced image in the display means,
Further, the high-precision distance-measuring laser radar device is turned so that the reflected light from the target recognition target object is taken into a specific photoelectric conversion element of the optical sensor while visually recognizing the screen reproduced on the display means, and the pulse laser light is turned on. A high-precision distance-measuring laser radar device characterized in that the irradiation direction of the laser beam can be adjusted. 認識対象物に向けてパルスレーザ光を照射するとともに、この照射に同期した所定時間後にシャッタを開いて前記パルスレーザ光の反射光を撮像手段に取り込み、さらにこの撮像手段の出力信号を信号処理手段で処理してその画像を表示手段で再生するレーザレーダ装置において、
前記反射光の一部を取り込んでこれを検出する光センサと、
前記パルスレーザ光の照射時点を表す照射タイミングパルスと、前記光センサによる反射光の受光時点を表す受光タイミングパルスとの時間的な間隔に基づき認識対象物までの距離を演算する計数手段とを有するとともに、
前記光センサは、表示手段における再生画像の一部の領域に対応させた単体の光電変換素子で構成し、
さらに表示手段に再生された画面を視認しながら目標の認識対象物からの反射光が光センサの光電変換素子に取り込まれるよう、当該高精度測距レーザレーダ装置を旋回してパルスレーザ光の照射方向を調節し得るように構成したことを特徴とする高精度測距レーザレーダ装置。A pulse laser beam is irradiated toward the object to be recognized, and after a predetermined time synchronized with the irradiation, a shutter is opened to capture reflected light of the pulse laser beam into the imaging unit, and further, an output signal of the imaging unit is processed by a signal processing unit. In the laser radar device which processes the image and reproduces the image by the display means,
An optical sensor that captures and detects a part of the reflected light,
Counting means for calculating a distance to a recognition target based on a time interval between an irradiation timing pulse indicating an irradiation time point of the pulse laser light and a light reception timing pulse indicating a light reception time point of reflected light by the optical sensor; With
The optical sensor is configured by a single photoelectric conversion element corresponding to a partial region of a reproduced image on the display unit,
Further, the high-precision distance-measuring laser radar device is turned to irradiate pulse laser light so that reflected light from the target recognition target object is taken into the photoelectric conversion element of the optical sensor while visually recognizing the screen reproduced on the display means. A high-precision distance-measuring laser radar device characterized in that the direction can be adjusted.
JP2001075400A 2001-03-16 2001-03-16 High precision ranging laser radar device Expired - Lifetime JP3553515B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001075400A JP3553515B2 (en) 2001-03-16 2001-03-16 High precision ranging laser radar device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001075400A JP3553515B2 (en) 2001-03-16 2001-03-16 High precision ranging laser radar device

Publications (2)

Publication Number Publication Date
JP2002277548A JP2002277548A (en) 2002-09-25
JP3553515B2 true JP3553515B2 (en) 2004-08-11

Family

ID=18932487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001075400A Expired - Lifetime JP3553515B2 (en) 2001-03-16 2001-03-16 High precision ranging laser radar device

Country Status (1)

Country Link
JP (1) JP3553515B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100383659C (en) * 2003-07-16 2008-04-23 中国科学院光电技术研究所 Synchronous sequential control method for rotating disk type mechanical shutter and application thereof
CN100417915C (en) * 2004-05-18 2008-09-10 浙江大学 Scanner-free imaging range finding method and its range finder
CN100388760C (en) * 2004-12-30 2008-05-14 亚洲光学股份有限公司 Ranging type digital camera
CN100510929C (en) * 2006-12-13 2009-07-08 中国科学院光电技术研究所 Method for controlling frequency conversion in large dynamic range without blind area of rotary disk mechanical shutter
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
JP2022511815A (en) 2018-12-05 2022-02-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） Object targeting

Also Published As

Publication number Publication date
JP2002277548A (en) 2002-09-25

Similar Documents

Publication Publication Date Title
US10473763B2 (en) LiDAR scanner
US7466359B2 (en) Image-pickup apparatus and method having distance measuring function
US5319442A (en) Optical inspection probe
US6741082B2 (en) Distance information obtaining apparatus and distance information obtaining method
US4893922A (en) Measurement system and measurement method
JPH07332966A (en) Distance-measuring apparatus for vehicle
CN110471083B (en) Longitudinal distance laser three-dimensional imaging device and method
JP2002139304A (en) Distance measuring device and distance measuring method
WO2014101408A1 (en) Three-dimensional imaging radar system and method based on a plurality of times of integral
JP2003500678A (en) 3D optical scanning
JP3553515B2 (en) High precision ranging laser radar device
JP2002031516A (en) Three-dimensional image input device
WO2023138697A1 (en) Scanning method and apparatus based on radar system that fuses image and laser
US10101560B2 (en) Systems and methods for focusing on objects to capture images thereof
JP2002323564A (en) Detection and monitoring method for floating object and device therefor
JP2002022425A (en) Three-dimensional image input device
JP3175393B2 (en) Distance measuring method and device
JP2004028602A (en) Laser radar system for monitoring, and imaging method
JP2003254728A (en) Instrument for measuring surface shape
CN107015215B (en) High-repetition-frequency three-dimensional scanning laser radar scanning angle measuring circuit based on FPGA
TW202015948A (en) Vehicle inspection device and method
CN116184427B (en) Distance detection system based on laser distance sensing technology
JP2626611B2 (en) Object shape measurement method
CN113237457B (en) Spectrum measuring device and target tracking method thereof
JPH03235007A (en) Speckle length measuring instrument

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20031028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040219

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040428

R151 Written notification of patent or utility model registration

Ref document number: 3553515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080514

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term