JP4054701B2 - Submarine connector mating device and mating method thereof - Google Patents

Submarine connector mating device and mating method thereof Download PDF

Info

Publication number
JP4054701B2
JP4054701B2 JP2003077469A JP2003077469A JP4054701B2 JP 4054701 B2 JP4054701 B2 JP 4054701B2 JP 2003077469 A JP2003077469 A JP 2003077469A JP 2003077469 A JP2003077469 A JP 2003077469A JP 4054701 B2 JP4054701 B2 JP 4054701B2
Authority
JP
Japan
Prior art keywords
connector
side connector
connection target
plane
submersible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003077469A
Other languages
Japanese (ja)
Other versions
JP2004284454A (en
Inventor
環 浦
賢司 永橋
敬史 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsui Engineering and Shipbuilding Co Ltd
Mitsui E&S Holdings Co Ltd
Original Assignee
Mitsui Engineering and Shipbuilding Co Ltd
Mitsui E&S Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsui Engineering and Shipbuilding Co Ltd, Mitsui E&S Holdings Co Ltd filed Critical Mitsui Engineering and Shipbuilding Co Ltd
Priority to JP2003077469A priority Critical patent/JP4054701B2/en
Publication of JP2004284454A publication Critical patent/JP2004284454A/en
Application granted granted Critical
Publication of JP4054701B2 publication Critical patent/JP4054701B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、水中で潜水機に設けられたコネクタを連結対象が有するコネクタに接続するための潜水機用のコネクタのメイティング技術に関する。
【0002】
【従来の技術】
水中において、母船などにケーブルで連結されていない無索式または自律型の潜水機、例えば遠隔操縦型無索無人潜水機(以下ROVと略称する)や自律型海中ロボット(以下AUVと略称する)などが有するコネクタを、これらの潜水機への電力供給や、これらの潜水機との情報交換などを行う連結対象、例えば水中観測基地などの人工構造物(以下「水中基地」と称する)や母船にケーブルで連結された有索式の潜水機などに設けられている電力供給用あるいは情報伝達用のコネクタに連結して電気的または光学的に接続すること、すなわちメイティングすることで電力供給を受けたり、情報交換を行ったりすることは、海中観測などの自動化、長期化において必要不可欠な行動である。
【0003】
このようなROVやAUVなどの潜水機などを、水中基地や有索潜水機などの連結対象にドッキングさせて互いのコネクタをメイティングするため、トランスポンダーを用いて潜水機を誘導すると共に、ドッキング装置によって潜水機をドッキングさせてコネクタをメイティングすることが提案されている(例えば、特許文献1、2参照)。
【0004】
さらに、超音波発振器を用いて潜水機を誘導すると共に、捕捉装置で潜水機を捕捉し、この捕捉した潜水機をドッキング装置によってドッキングさせてコネクタをメイティングすることが提案されている(例えば、特許文献3参照)。また、誘導信号を用いて潜水機を誘導すると共に、連結対象側に水流に応じて向きが変わる着座台を設け、捕捉機構で水流の上流側から近づいてくる潜水機を捕捉してコネクタをメイティングすることが提案されている(例えば、特許文献4参照)。
【0005】
【特許文献1】
特開平3−266794号公報(第2−3頁、第1−3図)
【特許文献2】
特開平7−223589号公報(第2−3頁、第1図)
【特許文献3】
特開2000−27583号公報(第4−6頁、第1図、第2図)
【特許文献4】
特開2001−55193号公報(第3−6頁、第1−4図)
【0006】
【発明が解決しようとする課題】
ところで、従来のように潜水機と水中基地などの連結対象にドッキング装置を用いてドッキングさせて固定した上で互いのコネクタをメイティングする場合、捕捉装置やドッキング装置によって、潜水機側コネクタと連結対象に設けられた連結対象側コネクタとが位置合わせされた状態となるように、潜水機の位置を正確に調整して固定する必要がある。このため、連結対象となる側に、さらに潜水機側にも、ドッキングした潜水機の固定位置を正確に調整するための複雑な装置類や設備などが必要となる。また、ドッキングした潜水機の固定位置を正確に調整するための複雑な装置類や設備などが必要となることにより、潜水機や水中基地などの連結対象のコストの増大、さらに、大型化などを招いてしまう場合もある。そこで、ドッキング装置などに依存することなく潜水機側のコネクタと連結対象側のコネクタとの位置合わせを行ってコネクタをメイティングできるメイティング技術が望まれている。
【0007】
本発明の課題は、ドッキング装置などに依存することなく潜水機側のコネクタと連結対象側のコネクタとの位置合わせを行ってコネクタをメイティングすることにある。
【0008】
【課題を解決するための手段】
本発明の潜水機用のコネクタのメイティング装置は、水中で着脱可能なコネクタと、このコネクタを保持して移動させるマニピュレータと、コネクタの接続面が向いた方向を撮像する撮像機と、撮像機を囲む位置からコネクタの接続面が向いた方向に平行に少なくとも3本のレーザ光を照射するレーザ照射機と、撮像機で撮像した画像を解析する画像解析手段と、レーザ照射機及び撮像機の駆動を制御する駆動制御手段と、マニピュレータの動作を制御するマニピュレータ制御手段とを備えた構成とすることを特徴とする
【0009】
ここで、画像解析手段は、レーザ照射機から照射された少なくとも3本のレーザ光が、コネクタに対応する連結対象側コネクタが設けられて連結対象側コネクタの接続面に平行に設けられた平面で反射する撮像機により撮像された反射点の位置に基づいて、撮像機の光軸に垂直な基準面から反射点までの距離と、この平面が向いている方向とを演算し、撮像機で撮像した連結対象側コネクタの画像からこの連結対象側コネクタの位置を判定して、演算した平面が向いている方向と、判定した連結対象側コネクタの位置に応じて連結対象側コネクタに対する前記コネクタの位置を調整する構成とする。
【0010】
さらに、本発明の潜水機用のコネクタのメイティング装置は、潜水機側に設けられる水中で着脱可能な潜水機側コネクタと、この潜水機側コネクタを保持して移動させるマニピュレータと、潜水機側コネクタの接続面が向いた方向を撮像する撮像機と、撮像機を囲む位置から潜水機側コネクタの接続面が向いた方向に平行に少なくとも3本のレーザ光を照射するレーザ照射機と、撮像機で撮像した画像を解析する画像解析手段と、レーザ照射機及び撮像機の駆動を制御する駆動制御手段と、マニピュレータの動作を制御するマニピュレータ制御手段と、潜水機が、潜水機側コネクタによって連結される連結対象に設けられ、潜水機側コネクタに対応する連結対象側コネクタと、この連結対象側コネクタが設けられると共にこの連結対象側コネクタの接続面に平行な平面を有する連結対象に設けられるコネクタ設置部材とを備え、画像解析手段は、レーザ照射機から照射された少なくとも3本のレーザ光が、連結対象側コネクタが設けられているコネクタ設置部材の平面で反射する撮像機により撮像された反射点の位置に基づいて、撮像機の光軸に垂直な基準面から反射点までの距離と、この平面が向いている方向とを演算し、撮像機で撮像した連結対象側コネクタの画像に基づいてこの連結対象側コネクタの位置を判定して、演算した平面が向いている方向と、判定した連結対象側コネクタの位置に応じて連結対象側コネクタに対する潜水機側コネクタの位置を調整する構成とすることにより上記課題を解決する。
【0011】
また、本発明の潜水機用のコネクタのメイティング方法は、潜水機に、水中で着脱可能な潜水機側コネクタと、この潜水機側コネクタを保持して移動させるマニピュレータと、潜水機側コネクタの接続面が向いた方向を撮像する撮像機と、撮像機を囲む位置から潜水機側コネクタの接続面が向いた方向に平行に少なくとも3本のレーザ光を照射するレーザ照射機と、潜水機が潜水機側コネクタによって連結される連結対象に、潜水機側コネクタに対応する連結対象側コネクタと、この連結対象側コネクタが設けられた平面とを設ける。
【0012】
そして、レーザ照射機から連結対象側コネクタが設けられた平面に少なくとも3本のレーザ光を照射して、この少なくとも3本のレーザ光の連結対象側コネクタが設けられた平面での反射点を撮像機で撮像した画像と、連結対象側コネクタを含む画像を撮像機で撮像した画像とに基づいて潜水機の姿勢を制御する共に、マニピュレータの動作を制御して潜水機の潜水機側コネクタを連結対象側コネクタに接続するようにする
【0013】
このようにすれば、レーザー光の連結対象側での反射点の位置と、連結対象の連結対象側コネクタの位置とに基づいて潜水機側のコネクタと連結対象側のコネクタとの位置を合わせ、これらのコネクタをメイティングできる。すなわち、ドッキング装置などに依存することなく潜水機側のコネクタと連結対象側のコネクタとの位置合わせを行ってコネクタをメイティングできる。
【0014】
また、少なくとも前記撮像機が撮像する範囲を照明する照明機を備えた構成とすれば、水中で確実に連結対象側のコネクタを撮像機で撮像することができる。
【0015】
さらに、レーザ照射機から連結対象側コネクタが設けられた平面に少なくとも3本のレーザ光を照射し、この少なくとも3本のレーザ光の連結対象側コネクタが設けられた平面での反射点を前記撮像機で撮像し、この撮像した画像から少なくとも3本のレーザ光の連結対象側コネクタが設けられた平面での反射点の位置を求め、この求めた反射点の位置に基づいて、撮像機の光軸に垂直な基準面から反射点までの距離と、連結対象側コネクタが設けられた平面が向いている方向とを演算し、この演算した基準面から反射点までの距離の情報と、連結対象側コネクタが設けられた平面が向いている方向の情報とに応じて、連結対象側コネクタが設けられている平面に潜水機側コネクタの接続面が面する状態に潜水機の姿勢を制御して維持する。そして、連結対象側コネクタを含む画像を前記撮像機で撮像し、この撮像した画像に基づいて連結対象側コネクタの位置を決定し、この決定した連結対象側コネクタの位置に応じてこの連結対象側コネクタと潜水機側コネクタとを互いの接続面が一直線上に位置する状態に潜水機の位置を調整して維持し、この潜水機側コネクタの接続面と前記連結対象側コネクタの接続面とが一直線上に位置した状態で、マニピュレータを駆動して前記潜水機の潜水機側コネクタを直進させて連結対象側コネクタに接続する方法とする。
【0016】
このようにすれば、マニピュレータの動作は、潜水機側のコネクタの接続面が向いた方向に往復移動するだけで済むため、潜水機側のコネクタの接続面が向いた方向への往復移動以外の方向への複雑な動作が可能なマニピュレータを用いる必要がなくなり、メイティング装置の構成を簡素化できるので好ましい。
【0017】
【発明の実施の形態】
以下、本発明を適用してなる潜水機用のコネクタのメイティング技術の一実施形態について図1及び図2を参照して説明する。図1は、本発明を適用してなるメイティング装置の該略構成と動作を示す斜視図である。図2は、リセプタクルパネルの面で反射するレーザ光の状態を模式的に示す図である。なお、図1では、無索式または自律型の潜水機の本体や、水中基地の本体は図示しておらず、無索式または自律型の潜水機の本体や、水中基地の本体に取り付けられたメイティング装置の部分だけを図示している。
【0018】
本実施形態のメイティング装置は、図1に示すように、例えば遠隔操縦型無索無人潜水機(以下ROVと略称する)や自律型海中ロボット(以下AUVと略称する)など無索式または自律型の潜水機(以下ビークルと称する)に設けられたビークル側メイティング装置1と、ビークルの連結対象となる例えば母船にケーブルで連結された有索式の潜水機や水中観測基地などの水中に設置された人工構造物など(以下「水中基地」と称する)に設けられた水中基地側メイティング装置3とを組み合わせて用いるものである。ただし、本発明は、無索式または自律型の潜水機のコネクタと水中基地のコネクタとのメイティングに限らず、無索式または自律型の潜水機同士、有索式の水機と水中基地など様々な潜水機のコネクタと連結対象のコネクタとのメイティングに適用できる。
【0019】
ビークル側メイティング装置1は、水中で着脱が可能なコネクタとなる水中着脱プラグ5、水中着脱プラグ5を保持するマニピュレータ7、マニピュレータ7に取り付けられた撮像機となるTVカメラ9、TVカメラ9に取り付けられた3基のレーザ照射機11、そして照明器13などを備えている。さらに、ビークル側メイティング装置1は、撮像機で撮影した画像を処理する画像解析手段と、TVカメラ9、レーザ照射機11、及び照明器13の駆動を制御する駆動制御手段とを兼ねた画像解析及び駆動制御手段15、マニピュレータ7の動作を制御するマニピュレータ制御手段17、そして、水中着脱プラグ5の着脱によるコネクタの接続状態を管理するコネクタ管理手段19などを備えている。
【0020】
水中着脱プラグ5には、図示していないビークル内のバッテリーやコンピュータなどの情報機器などと、図示していない電気ケーブルや光ファイバケーブルなどを介して連結されている。したがって、水中着脱プラグ5から電力供給や情報の授受などを行うことができる。本実施形態のビークル側メイティング装置1が備えるマニピュレータ7は、棒状に形成されており、その延在方向に伸長、収縮する往復運動を行うものである。マニピュレータ7の先端部には、水中着脱プラグ5を保持する図示していない保持機構を有しており、水中着脱プラグ5は、この保持機構によってマニピュレータ7の先端部に、マニピュレータ7が伸縮する方向に接続面を向けた状態で保持されている。TVカメラ9は、レンズ9aをマニピュレータ7の先端部方向、つまり水中着脱プラグ5方向に向けた状態でマニピュレータ7に取り付けられている。
【0021】
レーザ照射機11は、マニピュレータ7と共にTVカメラ9を囲むように3基設けられている。つまり、1基のレーザ照射機11は、TVカメラ9を挟んでマニピュレータ7と対向する位置に、そして2基のレーザ照射機11は、TVカメラ9を挟んで互いに対向する位置に設置されている。また、3基のレーザ照射機11は、マニピュレータ7と対向する1基のレーザ照射機11とマニピュレータ7とを結ぶ線と、互いに対向する2基のレーザ照射機11を結ぶ線とが直角に交わる状態で設置されている。3基のレーザ照射機11のレーザ光の照射方向は、TVカメラ9の光軸と平行になっており、3基のレーザ照射機11から照射される各々のレーザー光も互いに平行になる。ライト13は、図には示していないが、マニピュレータ7やTVカメラ9などに適宜取り付けられており、TVカメラ9の撮影方向を照明するものである。
【0022】
画像解析及び駆動制御手段15は、配線21を介して、TVカメラ9、3基のレーザ照射機11、そしてライト13と電気的に接続されている。マニピュレータ制御手段17は、配線23を介して、マニピュレータ7と電気的に接続されている。コネクタ管理手段19は、配線25を介して、水中着脱プラグ5と電気的に接続されている。さらに、画像解析及び駆動制御手段15、マニピュレータ制御手段17、及びコネクタ管理手段19は、各々配線27を介して、ビークルの行動、動作、姿勢などを管理及び制御するビークル管理手段29に電気的に接続されている。画像解析及び駆動制御手段15は、ビークル管理手段29からの指令にしたがって、TVカメラ9、3基のレーザ照射機11、そしてライト13を必要に応じて駆動すると共に、画像の解析により得た情報をビークル管理手段29に送る。マニピュレータ制御手段17は、ビークル管理手段29からの指令にしたがって、マニピュレータの動作を制御する。
【0023】
水中基地側メイティング装置3は、ビークル側メイティング装置1が有する水中着脱型プラグ5に対応し、水中着脱型プラグ5と連結可能で水中で着脱可能なコネクタである水中着脱型リセプタクル31、リセプタクル31が設けられた平面33aを形成するコネクタ設置部材となる平板状のリセプタクルパネル33などを備えている。水中着脱型リセプタクル31には、図示していない水中基地内の電力供給源やコンピュータなどの情報機器、ドライバなどと、図示していない電気ケーブルや光ファイバケーブルなどを介して連結されている。したがって、水中着脱型リセプタクル31にビークル側の水中着脱型プラグ5が接続されることで、ビークルへの電力供給や、ビークルとの間の情報の授受などが行える。また、水中着脱型リセプタクル31は、配線35を介して、電力供給、情報などに対応する信号授受について水中基地側の管理を行う水中基地接続管理装置37と電気的に接続されている。
【0024】
このような水中着脱型リセプタクル31は、リセプタクルパネル33の水中基地の外側に向けて設置された平面33aの中央部に、接続面と平面33aとが同じ方向に向いた状態、つまり水中着脱型リセプタクル31の水中着脱型プラグ5との接続方向が平面33aに対して垂直な状態で設置されている。なお、リセプタクルパネル33は、水中基地に固定されており、水中着脱型リセプタクル31への水中着脱型プラグ5の着脱などにおいて作用する力などにより移動しない状態になっている。また、リセプタクルパネル33は、水中基地にドッキング装置などが設けられている場合、そのドッキング装置などに付属した構成とすることもできる。
【0025】
なお、潜水機側メイティング装置1に設けられたマニピュレータ7の保持機構は、メイティングの後は水中着脱プラグ5を保持せずに水中着脱プラグ5を離す場合と、メイティングの後も水中着脱プラグ5を保持したままにしておく場合とがある。メイティングの後に水中着脱プラグ5を離す場合は、水中基地側メイティング装置3の水中着脱リセプタクル31に連結された水中着脱プラグ5を水中着脱リセプタクル31から離脱するとき、水中着脱プラグ5に連結された図示していないケーブルをマニピュレータ7内または潜水機内に引き込みながら水中着脱プラグ5にマニピュレータ7の先端部に設けられた図示していない保持機構を近づけて行き、図示していない保持機構で水中着脱プラグ5を保持した後、水中着脱プラグ5を水中着脱リセプタクル31から引き抜く。したがって、メイティングの後に水中着脱プラグ5を離す場合には、保持機構は水中着脱プラグ5を保持した状態と保持を解除した状態にできる構造となっており、また、水中着脱プラグ5に連結された図示していないケーブルをマニピュレータ7内または潜水機内に引き寄せる機構などが設けられている。
【0026】
また、レーザ照射機11は、リセプタクルパネル33の平面33aの垂直ベクトルを決めるために3本以上のレーザ光を照射してリセプタクルパネル33の平面33aに異なる3点での反射点を形成する必要があるため、3基設けられている。しかし、レーザ照射装置は、リセプタクルパネル33の平面33aの異なる位置に3点以上のレーザ光を照射できればよいため、平行する3本以上のレーザ光を照射する1基のレーザ照射装置を設けた構成にすることもできる。また、ライト13の光量は、リセプタクルパネル33や水中着脱リセプタクル31を識別できる程度のもので十分である。
【0027】
このような構成のメイティング装置によるメイティング動作と本発明の特徴部について説明する。本実施形態のメイティング装置では、まず、潜水機側メイティング装置1のマニピュレータ7と、水中基地側メイティング装置3の水中着脱リセプタクル31までの相対位置関係を、潜水機側メイティング装置1のレーザ照射機11から照射したレーザ光の、水中基地側メイティング装置3のリセプタクルパネル33の平面33aでの3本の反射点をTVカメラ9で撮像し、その撮像した画像を解析して、図2に示すように、それらの反射点の位置を求める。
【0028】
TVカメラ9とレーザ照射機11から照射されるレーザ光線との相対位置は固定されているので、TVカメラ9で撮像した画像上では、それぞれのレーザ光線は、常に同じ直線上を進み、水中基地側メイティング装置3のリセプタクルパネル33の平面33aでの反射点において、進行中のレーザ光線よりも高い輝度で反射する。画像解析及び駆動制御手段15が、この反射点の位置をTVカメラ9で撮像した画像上で計測し、以下の方法により、リセプタクルパネル33の平面33aまでの距離r0と、リセプタクルパネル33の平面33aの方向を表すベクトル(a,b,c)が求められる。
【0029】
レーザ光iの反射点の座標を(xi,yi)とする。TVカメラ9の光軸とレーザ光は平行なので、TVカメラ9で撮像した画像上では,無限の距離において画像上のTVカメラ9の中心軸に一致する。これを利用して、TVカメラ9の基準点を通る光軸に垂直な面から反射点までの距離riは、画像上のTVカメラ9の光軸の座標(xf,yf)とレーザ光iの反射点の座標(xi,yi)との画像上の距離siの関数となり、
si=sqrt((xf−xi)**2+(yf−yi)**2)
ri=ki/si
で理論的には表される。kiは、レーザ照射機11の位置とTVカメラ9のレンズ系に依存する定数である。ただし、TVカメラ9のレンズ系や水圧からレンズ径を保護するために設けられた耐圧窓による歪みを無視しているので、実際はキャリブレーションを行い、
ri=fi(si)
という関係を求めて、画像上のTVカメラ9の光軸の座標(xf,yf)とレーザ光iの反射点の座標(xi,yi)との画像上の距離siより、TVカメラ9の基準点を通る光軸に垂直な面から反射点までの距離riを求める。
【0030】
TVカメラ9の光軸上の適当な点を原点とし、TVカメラ9の左右方向の右向きにX軸、上下方向の下向きにY軸を取る。各レーザ光線は、座標(Xi,Yi)を通ものとする。このとき,反射点の座標は、
(Xi,Yi,Zi)=(Xi,Yi,ri−A)
と与えられる。ただし、Aは,TVカメラ9の基準点と原点との距離である。したがって、リセプタクルパネル33の平面33aを表す以下の方程式にi=1〜3を代入して連立方程式を解けば、未知係数a,b,cが求まる。
aX+bY+cZ=1
これより、TVカメラ9の光軸でのリセプタクルパネル33の平面33aまでの距離r0は、
r0=1/c
リセプタクルパネル33の平面33aの垂直ベクトルは、
(a,b,c)
となる。
【0031】
画像解析及び駆動制御手段15は、このように計測されたリセプタクルパネル33の平面33aまでの距離r0の情報と、リセプタクルパネル33の平面33aの方向を表すベクトル(a,b,c)の情報とをビークル管理手段29に送る。リセプタクルパネル33の平面33aまでの距離r0の情報と、リセプタクルパネル33の平面33aの方向を表すベクトル(a,b,c)の情報とを受けたビークル管理手段29は、これらの情報に基づいて、マニピュレータ7の延在方向をリセプタクルパネル33の平面33aに対して垂直になるようにビークルの姿勢を制御して維持し、かつ、リセプタクルパネル33の平面33aとの相対位置をフィードバックにより一定値に保つ。
【0032】
次に、画像解析及び駆動制御手段15は、ライト13により照明されたリセプタクルパネル33の平面33aをTVカメラ9で撮像した画像から、水中着脱リセプタクル31の位置を画像解析により求める。水中着脱リセプタクル31は、幾何学的な形をしているので、画像解析によりその位置を決定することは容易である。このとき、水中着脱リセプタクル31は、TVカメラ9の位置と視野角と関係において予め画像領域に入るような位置にあることが必要である。画像解析及び駆動制御手段15は、水中着脱リセプタクル31の位置を決定した後、この水中着脱リセプタクル31の位置情報をビークル管理手段29に送る。
【0033】
ビークル管理手段29は、画像解析及び駆動制御手段15から受けた水中着脱リセプタクル31の位置情報、そして、先に画像解析及び駆動制御手段15から受けたリセプタクルパネル33の平面33aに対して垂直になるようにビークルの姿勢を制御して維持し、かつ、リセプタクルパネル33の平面33aとの相対位置をフィードバックにより一定値に保った状態でのリセプタクルパネル33の平面33aまでの距離r0の情報、及びリセプタクルパネル33の平面33aの方向を表すベクトル(a,b,c)の情報に基づいて、水中基地に設けられた水中着脱リセプタクル31とビークルに設けられた水中着脱プラグ5との相対位置を、水中着脱リセプタクル31と水中着脱プラグ5とが同一直線上に位置した状態にビークルを移動させる。
【0034】
これにより、水中基地に設けられた水中着脱リセプタクル31とビークルに設けられた水中着脱プラグ5とが互いの接続面が対向した状態で一直線上に位置した状態となる。この後、ビークル側メイティング装置1のマニピュレータ7を伸長させれば、水中着脱プラグ5が水中着脱リセプタクル31に近づいて行き、水中着脱プラグ5と水中着脱リセプタクル31とがメイティングする。
【0035】
このように本実施形態の潜水機用のコネクタのメイティング技術では、レーザ照射機11から照射された3本のレーザ光の水中基地側に設けられたリセプタクルパネル33の平面33aでの反射点をTVカメラ9で撮像した画像の画像解析により得た反射点の位置情報と、ライト13で照明された水中基地側に設けられたリセプタクルパネル33の平面33aに取り付けられた水中着脱リセプタクル31を撮像した画像の画像解析により得た水中着脱リセプタクル31の位置情報とに基づいて、ビークル側の水中着脱プラグ5と水中基地側の水中着脱リセプタクル31の相対的な位置合わせを行い、ビークル側の水中着脱プラグ5と水中基地側とのメイティングを行うことができる。すなわち、ドッキング装置などに依存することなく潜水機側のコネクタと連結対象側のコネクタとの位置合わせを行ってコネクタをメイティングできる。
【0036】
さらに、本実施形態では、レーザ照射機11から照射された3本のレーザ光の水中基地側に設けられたリセプタクルパネル33の平面33aでの反射点をTVカメラ9で撮像した画像の画像解析により得た反射点の位置情報に基づいて、ビークルの姿勢を制御して、ビークル側の水中着脱プラグ5が水中基地側に設けられたリセプタクルパネル33の平面33aに面する状態としている。そして、ライト13で照明された水中基地側に設けられたリセプタクルパネル33の平面33aに取り付けられた水中着脱リセプタクル31を撮像した画像の画像解析により得た水中着脱リセプタクル31の位置情報に基づいて、ビークルを移動させてビークル側の水中着脱プラグ5と水中基地側の水中着脱リセプタクル31とが、互いの接続面が面した状態で一直線上に並ぶ状態としている。したがって、マニピュレータ7は、水中着脱プラグ5を前進後退させる往復運動のみが行えればよく、装置の構成を簡素化できる。
【0037】
加えて、ビークル側の姿勢や位置の制御、またはマニピュレータの動作によってビークル側の水中着脱プラグ5と水中基地側の水中着脱リセプタクル31との位置合わせ、つまりアライメントを合わせることができるため、ビークル側のコネクタと水中基地側のコネクタとの位置合わせを行うための機械的なガイド装置や、音響的な位置決め手法などを用いた場合に比べて精度の高いフィードバックを可能にできる。さらに、装置類の簡素化や、コネクタの形状さえ対応できればメイティングが可能となり、汎用性を増大することができる。
【0038】
ところで、水中において、ビークルを決まった位置に固定することは難しい。つまり、ビークルは、海流や、有索式の場合は付加されているケーブルから受ける力などにより移動し、また、マニピュレータからの反力、マニピュレータの運動による流体力や慣性力の影響を受けて移動してしまうからである。しかし、本実施形態のメイティング技術では、ビークルの位置に誤差、例えば数センチメートルの誤差が生じたり、ビークルが多少動いたとしても、ビークルの姿勢と位置を維持でき、また、マニピュレータの動作で水中着脱プラグ5を水中着脱リセプタクル31にメイティングできる範囲であれば、水中着脱リセプタクル31に対するビークルの位置のずれは許容できる。したがって、海流の影響や、マニピュレータの運動による流体力や慣性力の影響を受け難い。
【0039】
さらに、リセプタクルパネル33の平面33aに光源、例えばマーカーや、LED光源を設置し、その位置情報を用いることが考えられる。しかし、海中では、生物汚損や材料の劣化によって、光源の識別が困難になってしまう。これに対して、本実施形態では、マニピュレータ7側からレーザ光を照射して、その反射点の位置情報を求めるため、リセプタクルパネル33の平面33aさえあればよく、生物汚損や材料の劣化による影響を受け難い。つまり、TVカメラ9で撮像した画像に基づいたビークル姿勢や位置の制御が生物汚損や材料の劣化などによってできなくなるのを防ぐことができる。加えて、レーザ光の反射点を利用することで、光学的な性質をレーザ光の強度や色、ビーム幅を調整することによりビークル側で変更できる。
【0040】
また、本実施形態では、マニピュレータ7は、前後方向の往復運動の一自由度のみを行うい、他の方向への動作自由度は、必要に応じてビークル自体の運動でカバーされている。しかし、構成は複雑になるが、前後方向の往復運動に限らず、様々な方向や動きの自由度を有するマニピュレータを設け、レーザ光の反射点の位置情報と、水中基地側のコネクタの位置情報とに基づいて、ビークル自体の運動に加えて、マニピュレータを動かしてビークル側のコネクタと水中基地側のコネクタとの位置合わせをすることもできる。
【0041】
また、本実施形態では、ビークルを水中基地にドッキングさせるための捕捉装置やドッキング装置などは記載していないが、水中基地に捕捉装置やドッキング装置などを設けることもできる。このとき、捕捉装置やドッキング装置などは、コネクタのメイティングを考慮する必要が無く、ビークルが流されないように水中基地に係留できる程度のもので十分であるため、捕捉装置やドッキング装置などは簡単な構造のもので済む。
【0042】
また、本実施形態では、コネクタのメイティングを補助するための機械的、力学的なガイド装置については記載していないが、簡易な機械的、力学的なガイド装置を付加させることもできる。この場合、コネクタのメイティングはより確実なものとなる。
【0043】
また、本発明は、本実施形態の構成のメイティング装置に限らず、撮像機、レーザ照射装置、マニピュレータなどを備え、画像解析によるレーザ光の反射点の位置情報と連結対象側のコネクタの位置情報に基づいて互いのコネクタの位置合わせを行う様々な構成にすることができる。例えば、画像解析及び駆動制御手段15、マニピュレータ制御手段17、コネクタ管理手段19などは、適宜一体にした構成や、別体にした構成などにすることができる。また、レーザ光の照射本数は、4本以上にすることもできる。さらに、連結対象側に設けられるコネクタ設置部材は、リセプタクルパネル33のような形状に限らず、コネクタが設置された平面を有していれば様々な形状の部材にできる。
【0044】
【発明の効果】
本発明によれば、ドッキング装置などに依存することなく潜水機側のコネクタと連結対象側のコネクタとの位置合わせを行ってコネクタをメイティングできる。
【図面の簡単な説明】
【図1】本発明を適用してなるメイティング装置の一実施形態の該略構成と動作を示す斜視図である。
【図2】リセプタクルパネルの面で反射するレーザ光の状態を模式的に示す図である。
【符号の説明】
1 ビークル側メイティング装置
3 水中基地側メイティング装置
5 水中着脱プラグ
7 マニピュレータ
9 TVカメラ
11 レーザ照射機
13 ライト
15 画像解析及び駆動制御手段
17 マニピュレータ制御手段
31 水中着脱リセプタクル
33 リセプタクルパネル
33a 平面
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a submarine connector mating technique for connecting a connector provided in a submersible underwater to a connector included in a connection target.
[0002]
[Prior art]
An underwater or autonomous submersible that is not connected to a mother ship or the like by a cable in water, such as a remotely controlled unmanned unmanned submersible (hereinafter abbreviated as ROV) or an autonomous underwater robot (hereinafter abbreviated as AUV). Connectors to be used for connecting power to these submersibles and exchanging information with these submersibles, such as artificial structures such as underwater observation bases (hereinafter referred to as “underwater bases”) and mother ships Connected to the connector for power supply or information transmission provided in cable type submersibles connected to the cable by electrical or optical connection, that is, mated to supply power Receiving and exchanging information is an indispensable action in the automation and extension of underwater observation.
[0003]
In order to dock such submersibles such as ROV and AUV to a connection target such as an underwater base or a cabled submarine and mat each other's connectors, the transponder is used to guide the submersible and the docking device It is proposed that the connector is mated by docking the submersible (see, for example, Patent Documents 1 and 2).
[0004]
Further, it has been proposed to guide a diving machine using an ultrasonic oscillator, catch a diving machine with a catching device, and dock the caught diving machine with a docking device to mat the connector (for example, (See Patent Document 3). In addition, the guidance signal is used to guide the submersible, and a seating base whose direction is changed according to the water flow is provided on the connection target side, and the submarine approaching from the upstream side of the water flow is captured by the capturing mechanism, and the connector is made. Has been proposed (see, for example, Patent Document 4).
[0005]
[Patent Document 1]
JP-A-3-266794 (page 2-3, FIG. 1-3)
[Patent Document 2]
JP-A-7-223589 (page 2-3, FIG. 1)
[Patent Document 3]
JP 2000-27583 A (page 4-6, FIGS. 1 and 2)
[Patent Document 4]
JP 2001-55193 A (page 3-6, Fig. 1-4)
[0006]
[Problems to be solved by the invention]
By the way, when mating each other's connectors after docking and fixing with a docking device to a connection target such as a submersible and an underwater base as in the past, it is connected to the submarine side connector by a capture device or docking device It is necessary to accurately adjust and fix the position of the submersible so that the connection target connector provided on the target is aligned. For this reason, complicated devices and equipment for accurately adjusting the fixed position of the docked diving machine are required on the side to be connected and further on the diving machine side. In addition, the need for complicated equipment and equipment to accurately adjust the fixed position of the docked submersible increases the cost of the connection target such as submersibles and underwater bases, and further increases the size. You may be invited. Therefore, there is a demand for mating technology capable of mating the connector by aligning the connector on the submarine side and the connector on the connection target side without depending on the docking device or the like.
[0007]
SUMMARY OF THE INVENTION An object of the present invention is to mat a connector by aligning a connector on a submersible side and a connector on a connection target side without depending on a docking device or the like.
[0008]
[Means for Solving the Problems]
A connector mating device for a diving machine according to the present invention includes a connector that is detachable in water, a manipulator that holds and moves the connector, an imager that captures the direction in which the connection surface of the connector faces, and an imager A laser irradiator that irradiates at least three laser beams parallel to a direction in which the connection surface of the connector faces from a position surrounding the connector, an image analysis unit that analyzes an image captured by the imager, and a laser irradiator and an imager Drive control means for controlling the drive and manipulator control means for controlling the operation of the manipulator Characterized by .
[0009]
here The image analysis means , Les -At least three laser beams emitted from the laser irradiation machine But, A plane provided parallel to the connection surface of the connection target side connector provided with the connection target side connector corresponding to the connector The image was captured by an image sensor that reflects at Based on the position of the reflection point, From the reference plane perpendicular to the optical axis of the imager to the reflection point And the direction in which the plane is facing, the position of the connection target side connector is determined from the image of the connection target side connector imaged by the imaging device, and the direction in which the calculated plane is facing; The position of the connector relative to the connection target side connector is adjusted according to the determined position of the connection target side connector.
[0010]
Further, the connector mating device for a diving machine according to the present invention includes a submersible side connector that is detachable in water provided on the diving machine side, a manipulator that holds and moves the diving machine side connector, and a diving machine side. An imaging device that images the direction in which the connection surface of the connector faces, a laser irradiator that irradiates at least three laser beams in parallel with the direction in which the connection surface of the submarine connector faces from the position surrounding the imaging device, and imaging An image analysis means for analyzing an image captured by the machine, a drive control means for controlling the drive of the laser irradiator and the image pickup machine, a manipulator control means for controlling the operation of the manipulator, and the diving machine are connected by a submersible connector. The connection object side connector corresponding to the submersible connector and the connection object side connector are provided and the connection object side connector is provided. And a connector setting member provided consolidated with plane parallel to the connecting surface of the data, the image analysis means, at least three laser beams emitted from the laser irradiator Was imaged by an imaging device that reflects on the plane of the connector installation member on which the connector to be connected is provided Based on the position of the reflection point From the reference plane perpendicular to the optical axis of the imager to the reflection point And the direction in which the plane is facing, the position of the connection target side connector is determined based on the image of the connection target side connector imaged by the imaging device, and the direction in which the calculated plane is facing And the said subject is solved by setting it as the structure which adjusts the position of the submarine side connector with respect to a connection object side connector according to the determined position of the connection object side connector.
[0011]
Further, the method for mating a connector for a diving machine according to the present invention includes a diving machine side connector that can be attached to and detached from the diving machine, a manipulator that holds and moves the diving machine side connector, and a diving machine side connector. An imaging device that images the direction in which the connection surface faces, a laser irradiator that irradiates at least three laser beams in parallel with the direction in which the connection surface of the submersible connector from the position surrounding the imaging device faces, and A connection target side connector corresponding to the diving machine side connector and a plane on which the connection target side connector is provided are provided on the connection target to be connected by the diving machine side connector.
[0012]
Then, at least three laser beams are irradiated from the laser irradiator onto the plane on which the connection target side connector is provided, and the reflection point on the plane on which the connection target side connector of the at least three laser lights is provided is imaged. The attitude of the submersible based on the image captured by the aircraft and the image captured by the imaging device including the connection target side connector When In both cases, the manipulator operation is controlled to connect the submersible connector of the submersible to the connector to be connected. To do .
[0013]
In this way, based on the position of the reflection point on the connection target side of the laser light and the position of the connection target side connector of the connection target, the position of the connector on the submarine side and the connector on the connection target side are aligned, These connectors can be mated. That is, the connector can be mated by aligning the connector on the submarine side and the connector on the connection target side without depending on the docking device or the like.
[0014]
Moreover, if it is set as the structure provided with the illuminating device which illuminates the range which the said imaging device images at least, the connector of the connection object side can be reliably imaged with an imaging device in water.
[0015]
Further, at least three laser beams are irradiated from the laser irradiator onto the plane on which the connection target side connector is provided, and the reflection point on the plane on which the connection target side connector of the at least three laser beams is provided is imaged. The position of the reflection point on the plane on which the connector on the connection target side of at least three laser beams is provided is obtained from the picked-up image, and based on the obtained position of the reflection point Reflection point from the reference plane perpendicular to the optical axis of the imager And the direction in which the plane on which the connector to be connected is provided faces is calculated. From the reference plane to the reflection point Depending on the distance information and the information on the direction in which the plane on which the connection target side connector is provided faces, the diving is performed with the connection surface of the submersible side connector facing the plane on which the connection target side connector is provided. Control and maintain the attitude of the aircraft. Then, an image including the connection target side connector is captured by the imaging device, the position of the connection target side connector is determined based on the captured image, and the connection target side is determined according to the determined position of the connection target side connector. The position of the diving machine is adjusted and maintained so that the connection surface of the connector and the diving machine side connector are positioned in a straight line, and the connection surface of the diving machine side connector and the connection surface of the connection target side connector are In a state where the manipulator is driven in a state of being positioned on a straight line, the submarine-side connector of the submersible is caused to advance straightly and connected to the connection target side connector.
[0016]
In this way, the operation of the manipulator only needs to reciprocate in the direction in which the connector connection surface on the submersible side faces, so other than reciprocation in the direction in which the connector connection surface on the submersible side faces. This is preferable because it is not necessary to use a manipulator capable of complex movement in the direction, and the configuration of the mating device can be simplified.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of a mating technique for a connector for a diving machine to which the present invention is applied will be described with reference to FIGS. 1 and 2. FIG. 1 is a perspective view showing the general configuration and operation of a mating device to which the present invention is applied. FIG. 2 is a diagram schematically showing a state of laser light reflected on the surface of the receptacle panel. In addition, in FIG. 1, the main body of an uncorresponding or autonomous submersible, and the main body of an underwater base are not shown in figure, It is attached to the main body of an uncorresponding or autonomous submarine, or the main body of an underwater base. Only the mating device portion is shown.
[0018]
As shown in FIG. 1, the mating device according to the present embodiment is, for example, a remote control type unmanned unmanned submarine (hereinafter abbreviated as ROV) or an autonomous underwater robot (hereinafter abbreviated as AUV). Vehicle-side mating device 1 provided in a type of submersible (hereinafter referred to as a vehicle), and underwater such as a cable-type submarine or an underwater observation base connected to a mother ship to be connected to the vehicle. The underwater base side mating device 3 provided in an installed artificial structure or the like (hereinafter referred to as “underwater base”) is used in combination. However, the present invention is not limited to mating the connector of an uncorresponding or autonomous submarine and the connector of an underwater base, Dive It can be applied to mating connectors of various submersibles such as watercraft and underwater base and connectors to be connected.
[0019]
The vehicle-side mating device 1 includes an underwater detachable plug 5 that is a connector that can be attached and detached underwater, a manipulator 7 that holds the underwater detachable plug 5, a TV camera 9 that is an imager attached to the manipulator 7, and a TV camera 9. Three laser irradiators 11 attached, an illuminator 13 and the like are provided. Further, the vehicle-side mating apparatus 1 serves as an image analysis unit that processes an image captured by an imaging device, and a drive control unit that controls driving of the TV camera 9, the laser irradiator 11, and the illuminator 13. An analysis and drive control means 15, a manipulator control means 17 for controlling the operation of the manipulator 7, and a connector management means 19 for managing the connection state of the connector when the underwater detachable plug 5 is attached / detached are provided.
[0020]
The underwater detachable plug 5 is connected to a battery in a vehicle (not shown), an information device such as a computer, or the like via an electric cable or an optical fiber cable (not shown). Therefore, it is possible to perform power supply and information transmission / reception from the underwater detachable plug 5. The manipulator 7 provided in the vehicle-side mating device 1 of the present embodiment is formed in a rod shape and performs a reciprocating motion that extends and contracts in the extending direction. The tip of the manipulator 7 has a holding mechanism (not shown) that holds the underwater removable plug 5, and the underwater removable plug 5 extends and retracts from the tip of the manipulator 7 by this holding mechanism. It is held with the connection surface facing toward. The TV camera 9 is attached to the manipulator 7 with the lens 9a facing toward the tip of the manipulator 7, that is, toward the underwater removable plug 5.
[0021]
Three laser irradiators 11 are provided so as to surround the TV camera 9 together with the manipulator 7. That is, one laser irradiator 11 is installed at a position facing the manipulator 7 with the TV camera 9 in between, and two laser irradiators 11 are installed at positions facing each other with the TV camera 9 in between. . Further, in the three laser irradiators 11, a line connecting one laser irradiator 11 facing the manipulator 7 and the manipulator 7 and a line connecting the two laser irradiators 11 facing each other intersect at right angles. It is installed in a state. The irradiation directions of the laser beams from the three laser irradiators 11 are parallel to the optical axis of the TV camera 9, and the laser beams irradiated from the three laser irradiators 11 are also parallel to each other. Although not shown in the drawing, the light 13 is appropriately attached to the manipulator 7, the TV camera 9, etc., and illuminates the shooting direction of the TV camera 9.
[0022]
The image analysis and drive control means 15 is electrically connected to the TV camera 9, the three laser irradiators 11, and the light 13 through the wiring 21. The manipulator control means 17 is electrically connected to the manipulator 7 via the wiring 23. The connector management means 19 is electrically connected to the underwater removable plug 5 via the wiring 25. Further, the image analysis and drive control means 15, the manipulator control means 17, and the connector management means 19 are electrically connected to the vehicle management means 29 that manages and controls the behavior, movement, posture, etc. of the vehicle via the wires 27. It is connected. The image analysis and drive control means 15 drives the TV camera 9, the three laser irradiators 11, and the lights 13 as necessary in accordance with a command from the vehicle management means 29 and information obtained by analyzing the image. Is sent to the vehicle management means 29. The manipulator control means 17 controls the operation of the manipulator according to a command from the vehicle management means 29.
[0023]
The underwater base side mating device 3 corresponds to the underwater detachable plug 5 included in the vehicle side mating device 1, and is connected to the underwater detachable plug 5 and is an underwater detachable receptacle 31 and a receptacle that are detachable connectors underwater. And a flat receptacle panel 33 serving as a connector installation member for forming a flat surface 33a provided with 31 and the like. The underwater detachable receptacle 31 is connected to an unillustrated power supply source in the underwater base, an information device such as a computer, a driver, and the like via an unillustrated electric cable, optical fiber cable, or the like. Accordingly, by connecting the underwater detachable plug 5 on the vehicle side to the underwater detachable receptacle 31, it is possible to supply power to the vehicle, exchange information with the vehicle, and the like. Further, the underwater detachable receptacle 31 is electrically connected via a wiring 35 to an underwater base connection management device 37 that performs management on the underwater base side for signal exchange corresponding to power supply, information, and the like.
[0024]
Such an underwater detachable receptacle 31 is in a state in which the connection surface and the flat surface 33a face in the same direction at the center of the flat surface 33a installed toward the outside of the underwater base of the receptacle panel 33, that is, the underwater detachable receptacle. 31 is installed in a state where the connection direction with the underwater detachable plug 5 is perpendicular to the flat surface 33a. Note that the receptacle panel 33 is fixed to the underwater base and is not moved by a force or the like that acts when the underwater removable plug 5 is attached to or detached from the underwater removable receptacle 31. In addition, when the docking device or the like is provided in the underwater base, the receptacle panel 33 can be configured to be attached to the docking device or the like.
[0025]
In addition, the holding mechanism of the manipulator 7 provided in the diving machine-side mating device 1 includes the case where the submersible detachable plug 5 is released without holding the submersible detachable plug 5 after mating, and the case where the submersible detachable plug 5 is detached even after mating. In some cases, the plug 5 is held. When the underwater detachable plug 5 is released after mating, when the underwater detachable plug 5 connected to the underwater detachable receptacle 31 of the underwater base-side mating device 3 is detached from the underwater detachable receptacle 31, it is connected to the underwater detachable plug 5. While pulling the cable (not shown) into the manipulator 7 or the submersible device, the holding mechanism (not shown) provided at the tip of the manipulator 7 is brought close to the underwater attachment / detachment plug 5 and attached / detached underwater by the holding mechanism (not shown). After holding the plug 5, the underwater removable plug 5 is pulled out from the underwater removable receptacle 31. Therefore, when the underwater detachable plug 5 is released after mating, the holding mechanism has a structure in which the underwater detachable plug 5 can be held and released, and is connected to the underwater detachable plug 5. A mechanism for drawing a cable (not shown) into the manipulator 7 or the submersible is provided.
[0026]
Further, the laser irradiator 11 needs to irradiate three or more laser beams in order to determine the vertical vector of the plane 33a of the receptacle panel 33 to form reflection points at three different points on the plane 33a of the receptacle panel 33. For this reason, three units are provided. However, since the laser irradiation apparatus only needs to be able to irradiate three or more laser beams at different positions on the plane 33a of the receptacle panel 33, a configuration in which one laser irradiation apparatus that irradiates three or more parallel laser beams is provided. It can also be. Further, the amount of light of the light 13 is sufficient to identify the receptacle panel 33 and the underwater removable receptacle 31.
[0027]
The mating operation by the mating device having such a configuration and the features of the present invention will be described. In the mating device of the present embodiment, first, the relative positional relationship between the manipulator 7 of the diving machine-side mating device 1 and the underwater attachment / detachment receptacle 31 of the underwater base-side mating device 3 is determined. Three reflection points of the laser light emitted from the laser irradiator 11 on the plane 33a of the receptacle panel 33 of the underwater base-side mating device 3 are imaged by the TV camera 9, and the captured image is analyzed. As shown in FIG. 2, the positions of those reflection points are obtained.
[0028]
Since the relative position between the TV camera 9 and the laser beam emitted from the laser irradiator 11 is fixed, on the image captured by the TV camera 9, each laser beam always travels on the same straight line, At the reflection point on the flat surface 33a of the receptacle panel 33 of the side mating device 3, the reflected light is reflected at a higher brightness than the laser beam in progress. The image analysis and drive control means 15 measures the position of this reflection point on the image captured by the TV camera 9, and the distance r0 to the plane 33a of the receptacle panel 33 and the plane 33a of the receptacle panel 33 are measured by the following method. A vector (a, b, c) representing the direction of is obtained.
[0029]
Let (xi, yi) be the coordinates of the reflection point of the laser beam i. Since the optical axis of the TV camera 9 and the laser beam are parallel, the image captured by the TV camera 9 coincides with the central axis of the TV camera 9 on the image at an infinite distance. Using this, the distance ri from the plane perpendicular to the optical axis passing through the reference point of the TV camera 9 to the reflection point is the coordinates (xf, yf) of the optical axis of the TV camera 9 on the image and the laser beam i. It becomes a function of the distance si on the image with the coordinates (xi, yi) of the reflection point,
si = sqrt ((xf−xi) ** 2+ (yf−yi) ** 2)
ri = ki / si
In theory. ki is a constant that depends on the position of the laser irradiator 11 and the lens system of the TV camera 9. However, since the distortion due to the pressure window provided to protect the lens diameter from the lens system of the TV camera 9 and water pressure is ignored, calibration is actually performed.
ri = fi (si)
From the distance si on the image between the coordinates (xf, yf) of the optical axis of the TV camera 9 on the image and the coordinates (xi, yi) of the reflection point of the laser beam i, the reference of the TV camera 9 is obtained. The distance ri from the plane perpendicular to the optical axis passing through the point to the reflection point is obtained.
[0030]
An appropriate point on the optical axis of the TV camera 9 is set as the origin, and the X axis is set to the right in the horizontal direction of the TV camera 9 and the Y axis is set to the downward in the vertical direction. Each laser beam passes through the coordinates (Xi, Yi). Ru Shall. At this time, the coordinates of the reflection point are
(Xi, Yi, Zi) = (Xi, Yi, ri-A)
And given. However, A is the distance between the reference point of the TV camera 9 and the origin. Therefore, unknown coefficients a, b, and c are obtained by substituting i = 1 to 3 into the following equation representing the plane 33a of the receptacle panel 33 and solving the simultaneous equations.
aX + bY + cZ = 1
From this, the distance r0 to the plane 33a of the receptacle panel 33 at the optical axis of the TV camera 9 is
r0 = 1 / c
The vertical vector of the plane 33a of the receptacle panel 33 is
(A, b, c)
It becomes.
[0031]
The image analysis and drive control means 15 includes information on the distance r0 to the plane 33a of the receptacle panel 33 and information on a vector (a, b, c) representing the direction of the plane 33a of the receptacle panel 33. Is sent to the vehicle management means 29. The vehicle management means 29 receiving the information on the distance r0 to the plane 33a of the receptacle panel 33 and the vector (a, b, c) information indicating the direction of the plane 33a of the receptacle panel 33, based on these information. Further, the attitude of the vehicle is controlled and maintained so that the extending direction of the manipulator 7 is perpendicular to the plane 33a of the receptacle panel 33, and the relative position with respect to the plane 33a of the receptacle panel 33 is made constant by feedback. keep.
[0032]
Next, the image analysis and drive control means 15 obtains the position of the underwater detachable receptacle 31 from the image obtained by capturing the plane 33a of the receptacle panel 33 illuminated by the light 13 with the TV camera 9 by image analysis. Since the underwater detachable receptacle 31 has a geometric shape, it is easy to determine its position by image analysis. At this time, the underwater mounting / removal receptacle 31 needs to be in a position that enters the image area in advance in relation to the position of the TV camera 9 and the viewing angle. The image analysis and drive control means 15 determines the position of the underwater attachment / detachment receptacle 31 and then sends the position information of the underwater attachment / detachment receptacle 31 to the vehicle management means 29.
[0033]
The vehicle management means 29 is perpendicular to the position information of the underwater attachment / detachment receptacle 31 received from the image analysis and drive control means 15 and the plane 33 a of the receptacle panel 33 previously received from the image analysis and drive control means 15. Information on the distance r0 to the plane 33a of the receptacle panel 33 in a state in which the attitude of the vehicle is controlled and maintained and the relative position of the receptacle panel 33 to the plane 33a is kept constant by feedback, and the receptacle Based on the information of the vector (a, b, c) representing the direction of the plane 33a of the panel 33, the relative position between the underwater attachment / detachment receptacle 31 provided in the underwater base and the underwater attachment / detachment plug 5 provided in the vehicle is The vehicle is moved so that the detachable receptacle 31 and the underwater detachable plug 5 are located on the same straight line. That.
[0034]
As a result, the underwater attachment / detachment receptacle 31 provided at the underwater base and the underwater attachment / detachment plug 5 provided at the vehicle are positioned in a straight line with their connection surfaces facing each other. Thereafter, when the manipulator 7 of the vehicle-side mating device 1 is extended, the underwater attach / detach plug 5 approaches the underwater attach / detach receptacle 31, and the underwater attach / detach plug 5 and the underwater attach / detach receptacle 31 are mated.
[0035]
Thus, in the submarine connector mating technology of the present embodiment, the reflection points of the three laser beams irradiated from the laser irradiator 11 on the plane 33a of the receptacle panel 33 provided on the underwater base side are determined. The reflection point position information obtained by image analysis of the image captured by the TV camera 9 and the underwater detachable receptacle 31 attached to the flat surface 33a of the receptacle panel 33 provided on the underwater base side illuminated by the light 13 were imaged. Based on the position information of the underwater removable receptacle 31 obtained by image analysis of the image, the vehicle side underwater removable plug 5 and the underwater base side underwater removable receptacle 31 are aligned relative to each other, and the underwater removable plug on the vehicle side 5 and the underwater base side can be mated. That is, the connector can be mated by aligning the connector on the submarine side and the connector on the connection target side without depending on the docking device or the like.
[0036]
Furthermore, in the present embodiment, by analyzing the image of the image captured by the TV camera 9, the reflection point of the three laser beams irradiated from the laser irradiator 11 on the plane 33a of the receptacle panel 33 provided on the underwater base side. Based on the obtained position information of the reflection point, the attitude of the vehicle is controlled so that the underwater removable plug 5 on the vehicle side faces the flat surface 33a of the receptacle panel 33 provided on the underwater base side. And based on the position information of the underwater detachable receptacle 31 obtained by image analysis of an image obtained by imaging the underwater detachable receptacle 31 attached to the flat surface 33a of the receptacle panel 33 provided on the underwater base side illuminated by the light 13. The vehicle is moved so that the vehicle-side underwater attach / detach plug 5 and the underwater base-side underwater attach / detach receptacle 31 are aligned in a straight line with their connection surfaces facing each other. Therefore, the manipulator 7 only needs to perform a reciprocating motion for moving the underwater removable plug 5 forward and backward, and the configuration of the apparatus can be simplified.
[0037]
In addition, it is possible to align the vehicle-side underwater attachment / detachment plug 5 and the underwater base-side underwater attachment / detachment receptacle 31 by the control of the attitude and position on the vehicle side or the operation of the manipulator, that is, the alignment can be adjusted. Feedback can be made with higher accuracy than when a mechanical guide device for aligning the connector with the connector on the underwater base side or an acoustic positioning method is used. Furthermore, mating is possible as long as the devices can be simplified and the shape of the connector can be accommodated, and versatility can be increased.
[0038]
By the way, it is difficult to fix the vehicle at a fixed position in water. In other words, the vehicle moves due to the ocean current and the force received from the attached cable in the case of the cable type, and also moves under the influence of the reaction force from the manipulator and the fluid force and inertial force due to the manipulator movement. Because it will do. However, in the mating technology of this embodiment, even if an error occurs in the position of the vehicle, for example, an error of several centimeters, or the vehicle moves slightly, the posture and position of the vehicle can be maintained, and the manipulator operation can be performed. As long as the underwater detachable plug 5 can be mated to the underwater detachable receptacle 31, the displacement of the vehicle relative to the underwater detachable receptacle 31 can be allowed. Therefore, it is difficult to be influenced by the influence of ocean currents, fluid force and inertial force due to manipulator movement.
[0039]
Furthermore, it is conceivable that a light source, for example, a marker or an LED light source is installed on the flat surface 33a of the receptacle panel 33 and the position information thereof is used. However, in the sea, it becomes difficult to identify the light source due to biofouling or material deterioration. On the other hand, in this embodiment, in order to obtain the position information of the reflection point by irradiating the laser beam from the manipulator 7 side, it is only necessary to have the flat surface 33a of the receptacle panel 33. It is difficult to receive. That is, it is possible to prevent the vehicle posture and position control based on the image captured by the TV camera 9 from being disabled due to biological contamination or material deterioration. In addition, by utilizing the reflection point of the laser beam, the optical properties can be changed on the vehicle side by adjusting the intensity, color, and beam width of the laser beam.
[0040]
In the present embodiment, the manipulator 7 performs only one degree of freedom of reciprocating movement in the front-rear direction, and the degree of freedom of movement in the other direction is covered by the movement of the vehicle itself as necessary. However, although the configuration is complicated, not only the reciprocating motion in the front-rear direction but also a manipulator having various directions and freedom of movement is provided, the position information of the reflection point of the laser beam and the position information of the connector on the underwater base side Based on the above, in addition to the movement of the vehicle itself, the manipulator can be moved to align the vehicle-side connector with the underwater base-side connector.
[0041]
In the present embodiment, a capture device or a docking device for docking the vehicle to the underwater base is not described, but a capture device or a docking device can be provided in the underwater base. At this time, it is not necessary to consider the mating of the connector for the capturing device or the docking device, and it is sufficient that it can be moored at the underwater base so that the vehicle is not washed away. Therefore, the capturing device and the docking device are simple. A simple structure is sufficient.
[0042]
In this embodiment, a mechanical and mechanical guide device for assisting connector mating is not described, but a simple mechanical and mechanical guide device may be added. In this case, connector mating is more reliable.
[0043]
In addition, the present invention is not limited to the mating device having the configuration of the present embodiment, and includes an imaging device, a laser irradiation device, a manipulator, and the like, and includes position information on the reflection point of the laser beam and image of the connector on the connection target side by image analysis Various configurations for aligning the connectors with each other based on the information can be made. For example, the image analysis and drive control means 15, the manipulator control means 17, the connector management means 19, and the like can be appropriately integrated or separated. Further, the number of laser light irradiations can be four or more. Furthermore, the connector installation member provided on the connection target side is not limited to the shape of the receptacle panel 33, and can be a member having various shapes as long as it has a flat surface on which the connector is installed.
[0044]
【The invention's effect】
According to the present invention, the connector can be mated by aligning the submarine side connector and the connection target side connector without depending on the docking device or the like.
[Brief description of the drawings]
FIG. 1 is a perspective view showing the schematic configuration and operation of an embodiment of a mating device to which the present invention is applied.
FIG. 2 is a diagram schematically showing a state of laser light reflected by the surface of the receptacle panel.
[Explanation of symbols]
1 Vehicle-side mating device
3 Underwater base side mating equipment
5 Underwater removable plug
7 Manipulator
9 TV camera
11 Laser irradiation machine
13 Light
15 Image analysis and drive control means
17 Manipulator control means
31 Underwater removable receptacle
33 Receptacle Panel
33a plane

Claims (3)

水中で着脱可能なコネクタと、該コネクタを保持して移動させるマニピュレータと、前記コネクタの接続面が向いた方向を撮像する撮像機と、前記撮像機を囲む位置から前記コネクタの接続面が向いた方向に平行に少なくとも3本のレーザ光を照射するレーザ照射機と、前記撮像機で撮像した画像を解析する画像解析手段と、前記レーザ照射機及び前記撮像機の駆動を制御する駆動制御手段と、前記マニピュレータの動作を制御するマニピュレータ制御手段とを備えた潜水機用のメイティング装置であって、
前記画像解析手段は、前記レーザ照射機から照射された少なくとも3本のレーザ光が、前記コネクタに対応する連結対象側コネクタが設けられて連結対象側コネクタの接続面に平行に設けられた平面で反射する前記撮像機により撮像された反射点の位置に基づいて、前記撮像機の光軸に垂直な基準面から前記反射点までの距離と前記平面が向いている方向とを演算し、前記撮像機で撮像した前記連結対象側コネクタの画像から該連結対象側コネクタの位置を判定して、前記演算した前記平面が向いている方向と、前記判定した前記連結対象側コネクタの位置に応じて連結対象側コネクタに対する前記コネクタの位置を調整してなることを特徴とする潜水機用のコネクタのメイティング装置
A connector that is detachable in water, a manipulator that holds and moves the connector, an imager that images the direction in which the connection surface of the connector faces, and a connection surface of the connector that faces from the position surrounding the imager A laser irradiator that irradiates at least three laser beams in parallel with the direction; an image analysis unit that analyzes an image captured by the imager; and a drive control unit that controls driving of the laser irradiator and the imager. A mating device for a diving machine comprising manipulator control means for controlling the operation of the manipulator ,
The image analyzing means is a plane in which at least three laser beams emitted from the laser irradiator are provided in parallel with the connection surface of the connection target side connector provided with a connection target side connector corresponding to the connector. Based on the position of the reflection point imaged by the imaging device that reflects, the distance from the reference plane perpendicular to the optical axis of the imaging device to the reflection point and the direction in which the plane faces are calculated, and the imaging The position of the connection target side connector is determined from the image of the connection target side connector imaged by a machine, and the connection is performed according to the calculated direction in which the plane faces and the determined position of the connection target side connector. A connector mating device for a diving machine, wherein the position of the connector relative to a target connector is adjusted .
潜水機側に設けられる水中で着脱可能な潜水機側コネクタと、該潜水機側コネクタを保持して移動させるマニピュレータと、前記潜水機側コネクタの接続面が向いた方向を撮像する撮像機と、前記撮像機を囲む位置から前記潜水機側コネクタの接続面が向いた方向に平行に少なくとも3本のレーザ光を照射するレーザ照射機と、前記撮像機で撮像した画像を解析する画像解析手段と、前記レーザ照射機及び前記撮像機の駆動を制御する駆動制御手段と、マニピュレータの動作を制御するマニピュレータ制御手段と、
前記潜水機が前記潜水機側コネクタによって連結される連結対象に設けられ、前記潜水機側コネクタに対応する連結対象側コネクタと、該連結対象側コネクタが設けられると共に該連結対象側コネクタの接続面に平行な平面を有する前記連結対象に設けられるコネクタ設置部材とを備え、
前記画像解析手段は、前記レーザ照射機から照射された少なくとも3本のレーザ光が、前記平面で反射する前記撮像機により撮像された反射点の位置に基づいて、前記撮像機の光軸に垂直な基準面から前記反射点までの距離と前記平面が向いている方向とを演算し、前記撮像機で撮像した前記連結対象側コネクタの画像に基づいて該連結対象側コネクタの位置を判定して、前記演算した前記平面が向いている方向と、前記判定した前記連結対象側コネクタの位置に応じて連結対象側コネクタに対する前記潜水機側コネクタの位置を調整してなる潜水機用のコネクタのメイティング装置。
A submersible-side connector that is detachable in water provided on the submersible side, a manipulator that holds and moves the submersible-side connector, an imager that images the direction in which the connection surface of the submersible-side connector faces, A laser irradiator that irradiates at least three laser beams in parallel with a direction in which a connection surface of the submarine-side connector faces from a position surrounding the imager; and an image analysis unit that analyzes an image captured by the imager. Drive control means for controlling the drive of the laser irradiator and the imaging device; manipulator control means for controlling the operation of the manipulator;
The submersible is provided on a connection target to be connected by the submarine side connector, a connection target side connector corresponding to the diving machine side connector, and a connection surface of the connection target side connector provided with the connection target side connector. A connector installation member provided on the connection object having a plane parallel to the
Wherein the image analysis means, at least three laser beams emitted from the laser irradiation device, based on the position of the imaged reflection points by the imaging device reflected by the plane, perpendicular to the optical axis of the imaging device calculating a direction in which the distance between said plane from a reference plane to said reflection point is facing, to determine the position of the consolidated side connector based on the image of the consolidated side connector imaged by the imaging device A submersible connector main body formed by adjusting the position of the submersible connector with respect to the connection target connector according to the calculated direction of the plane and the determined position of the connection target connector. Device.
潜水機に、水中で着脱可能な潜水機側コネクタと、該潜水機側コネクタを保持して移動させるマニピュレータと、前記潜水機側コネクタの接続面が向いた方向を撮像する撮像機と、前記撮像機を囲む位置から前記潜水機側コネクタの接続面が向いた方向に平行に少なくとも3本のレーザ光を照射するレーザ照射機とを設け、
前記潜水機が前記潜水機側コネクタによって連結される連結対象に、前記潜水機側コネクタに対応する連結対象側コネクタと、該連結対象側コネクタが設けられた平面とを設け、
前記レーザ照射機から前記連結対象側コネクタが設けられた平面に少なくとも3本のレーザ光を照射して該少なくとも3本のレーザ光の前記連結対象側コネクタが設けられた平面での反射点を前記撮像機で撮像した画像と、前記連結対象側コネクタを含む画像を前記撮像機で撮像した画像とに基づいて前記潜水機の姿勢を制御する共に、前記マニピュレータの動作を制御して前記潜水機の潜水機側コネクタを前記連結対象側コネクタに接続する潜水機用のコネクタのメイティング方法であって、
前記レーザ照射機から前記連結対象側コネクタが設けられた平面に少なくとも3本のレーザ光を照射し、該少なくとも3本のレーザ光の前記連結対象側コネクタが設けられた平面での反射点を前記撮像機で撮像し、該撮像した画像から前記少なくとも3本のレーザ光の前記連結対象側コネクタが設けられた平面での反射点の位置を求め、該求めた反射点の位置に基づいて、前記撮像機の光軸に垂直な基準面から前記反射点までの距離と、該連結対象側コネクタが設けられた平面が向いている方向とを演算し、該演算した前記基準面から前記反射点までの距離の情報と、前記連結対象側コネクタが設けられた平面が向いている方向の情報とに応じて、前記連結対象側コネクタが設けられている平面に前記潜水機側コネクタの接続面が面する状態に前記潜水機の姿勢を制御して維持し、
前記連結対象側コネクタを含む画像を前記撮像機で撮像し、該撮像した画像に基づいて前記連結対象側コネクタの位置を決定し、該決定した連結対象側コネクタの位置に応じて該連結対象側コネクタと前記潜水機側コネクタとを互いの接続面が一直線上に位置する状態に前記潜水機の位置を調整して維持し、該潜水機側コネクタの接続面と前記連結対象側コネクタの接続面とが一直線上に位置した状態で、前記マニピュレータを駆動して前記潜水機の潜水機側コネクタを直進させて前記連結対象側コネクタに接続することを特徴とする潜水機用のコネクタのメイティング方法。
A submersible-side connector that can be attached to and detached from the submersible underwater, a manipulator that holds and moves the submersible-side connector, an imaging device that captures the direction in which the connection surface of the submersible-side connector faces, and the imaging A laser irradiator that irradiates at least three laser beams in parallel with the direction in which the connection surface of the submarine-side connector faces from a position surrounding the machine,
A connection target to which the diving machine is connected by the submarine side connector is provided with a connection target side connector corresponding to the diving machine side connector, and a plane on which the connection target side connector is provided,
At least three laser beams are irradiated from the laser irradiator onto the plane on which the connection target side connector is provided, and the reflection points of the at least three laser beams on the plane on which the connection target side connector is provided are an image captured by the imaging device, controlling the posture of the underwater vehicle on the basis of the image including the consolidated side connector to the image taken by the image pickup machine together, the submersible controls the operation of the manipulator A submarine connector mating method for connecting a submarine side connector to the connection target side connector ,
At least three laser beams are irradiated from the laser irradiator to the plane on which the connection target side connector is provided, and the reflection points of the at least three laser beams on the plane on which the connection target side connector is provided are Taking an image with an imaging device, obtaining the position of the reflection point of the at least three laser beams on the plane on which the connector to be connected is provided, and based on the obtained position of the reflection point , The distance from the reference plane perpendicular to the optical axis of the image pickup device to the reflection point and the direction in which the plane on which the connection target connector is provided are calculated, and the calculated reference plane to the reflection point According to the distance information and the information on the direction in which the plane on which the connection target connector is provided faces the connection surface of the submersible connector on the plane on which the connection target connector is provided. State And it maintains control the attitude of the submersible,
An image including the connection target side connector is captured by the imaging device, the position of the connection target side connector is determined based on the captured image, and the connection target side is determined according to the determined position of the connection target side connector. Adjusting and maintaining the position of the submersible device in a state where the connection surfaces of the connector and the submarine side connector are positioned in a straight line, the connection surface of the submarine side connector and the connection surface of the connection target side connector in a state in which bets are positioned on a straight line, the drives manipulator connector for water machine latent you characterized by connecting to the consolidated side connector by straight submarine vehicle side connector of the submersible Mei Method.
JP2003077469A 2003-03-20 2003-03-20 Submarine connector mating device and mating method thereof Expired - Lifetime JP4054701B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003077469A JP4054701B2 (en) 2003-03-20 2003-03-20 Submarine connector mating device and mating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003077469A JP4054701B2 (en) 2003-03-20 2003-03-20 Submarine connector mating device and mating method thereof

Publications (2)

Publication Number Publication Date
JP2004284454A JP2004284454A (en) 2004-10-14
JP4054701B2 true JP4054701B2 (en) 2008-03-05

Family

ID=33292218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003077469A Expired - Lifetime JP4054701B2 (en) 2003-03-20 2003-03-20 Submarine connector mating device and mating method thereof

Country Status (1)

Country Link
JP (1) JP4054701B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100554084C (en) * 2006-12-01 2009-10-28 中国科学院沈阳自动化研究所 Underwater electronic cabin
RU2466055C2 (en) * 2011-01-13 2012-11-10 Федеральное Государственное Автономное Образовательное Учреждение Высшего Профессионального Образования "Дальневосточный Федеральный Университет" (Двфу) Underwater apparatus
JP5701719B2 (en) * 2011-08-31 2015-04-15 株式会社東芝 NAVIGATION SYSTEM, SEARCH DEVICE, SEARCHED DEVICE, AND NAVIGATION METHOD
KR101422688B1 (en) * 2012-05-04 2014-07-28 삼성중공업 주식회사 Apparatus and method for controlling an underwater robot
CN111224287A (en) * 2018-11-26 2020-06-02 中国科学院沈阳自动化研究所 Deep sea underwater docking/separating device and method for submersible

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2898050B2 (en) * 1990-03-15 1999-05-31 学校法人東海大学 Underwater exploration system
JPH07223589A (en) * 1994-02-07 1995-08-22 Mitsubishi Heavy Ind Ltd Electric charging system for submersible body
JP3434566B2 (en) * 1994-04-15 2003-08-11 東芝エンジニアリング株式会社 Inter-floor movement monitoring device
JPH08110206A (en) * 1994-10-12 1996-04-30 Ricoh Co Ltd Method and apparatus for detecting position and posture
JP3041306B1 (en) * 1999-08-19 2000-05-15 川崎重工業株式会社 Underwater base for autonomous underwater vehicles

Also Published As

Publication number Publication date
JP2004284454A (en) 2004-10-14

Similar Documents

Publication Publication Date Title
KR101621143B1 (en) Underwater docking system based on underwater agent and the method of docking using thereof
CN106428485B (en) Novel submarine hydrophone for the two-way guiding capture recycling AUV of long range acousto-optic
CN105651177A (en) Measuring system suitable for measuring complex structure
KR101381218B1 (en) Apparartus and method for generating an around view of a remotely operated vehicle
CN105182991B (en) For the las er-guidance and communicator of underwater hiding-machine docking
CN109623815B (en) Wave compensation double-robot system and method for unmanned salvage ship
EP3758897B1 (en) Subsea inspection vehicle
JP4421306B2 (en) Underwater vehicle guidance device
CN105806252A (en) Supplementary light adjustable visual imaging measurement system capable of performing automatic feeding and discharging
US10605593B2 (en) Underwater laser based modeling device
EP3745118A1 (en) Optical imaging and scanning of holes
KR20200090565A (en) Smart underwater drone system with third party point-of-view camera
JP4054701B2 (en) Submarine connector mating device and mating method thereof
CN114834615B (en) Non-contact type pipeline detection underwater robot and method
KR101378898B1 (en) Apparatus and method for creating a submarine topography map
WO2017170136A1 (en) System for approach of autonomous underwater vehicle to underwater equipment
CN105783714A (en) Supplementary-light-adjustability type measuring system capable of measuring side surface or inside
KR101938803B1 (en) Robot manipulator monitoring apparatus for remotely operated vehicle and the metho thereof
CN105651179A (en) Visual imaging measuring system achieving adjustable light supplementing and automatic clamping
CN205607326U (en) Light filling is adjustable and automatically clamped's vision imaging measurement system
CN205580379U (en) Light filling is adjustable and measurable quantity side or inside measurement system
CN105698680A (en) Vision imaging measurement system for measuring side surface or inner structure
CN105651180A (en) Carrier assembly for vision imaging measurement system
CN205426070U (en) A vision imaging measurement system for measuring side or inner structure
CN205388460U (en) A carrier subassembly for vision imaging measurement system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4054701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141214

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term