JP3884249B2 - 人間型ハンドロボット用教示システム - Google Patents

人間型ハンドロボット用教示システム Download PDF

Info

Publication number
JP3884249B2
JP3884249B2 JP2001255290A JP2001255290A JP3884249B2 JP 3884249 B2 JP3884249 B2 JP 3884249B2 JP 2001255290 A JP2001255290 A JP 2001255290A JP 2001255290 A JP2001255290 A JP 2001255290A JP 3884249 B2 JP3884249 B2 JP 3884249B2
Authority
JP
Japan
Prior art keywords
hand
robot
finger
human
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001255290A
Other languages
English (en)
Other versions
JP2003062775A (ja
Inventor
晴久 川崎
哲也 毛利
聡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2001255290A priority Critical patent/JP3884249B2/ja
Publication of JP2003062775A publication Critical patent/JP2003062775A/ja
Application granted granted Critical
Publication of JP3884249B2 publication Critical patent/JP3884249B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、多指多関節の人間型ハンドを有するロボット(以下、人間型ハンドロボット)に関するものであり、特に、その人間型ハンドの教示システムに関するものである。
【0002】
【技術的背景】
人間型ハンドロボットの例としては、例えば、発明者たちにより開発されたGifu Hand II(図1参照)がある(H. Kawasaki, K. Tsuneo, K. Uchiyama, & T.Kurimoto, Dexterous Anthropomorphic Robot Hand with Distributed Tactile Sensor: Gifu Hand II,・Proc. of IEEE Int. Conf. on System, Man and Cybernetics pp. II-782 ・787, 1999参照)。このGifu HandIIは、形や機構の双方とも人間の手とほぼ同様となるように設計されている。即ち、この人間型ハンドロボットは、親指110と4つの指122,124,126,128とを有しており、親指110は4つの関節と4つの自由度を持ち、各指122,124,126,128も4つの関節と3つの自由度を有している。すべてのサーボモータは、手のフレーム内に搭載されている。6軸の力センサが各指先に付けられており、624個の触覚センサが、掌140や親指等の指の表面に分布している。そして、このGifu Hand IIは、人間の手の形状ばかりでなく、運動空間も同じようになるように構成されている。
このような人間型ハンドロボットの教示方式は、従来、マスターとする人間の掌と指の動き(以下、掌と指の両者を指し示すときは人間の場合は手、ロボットの場合はハンドと呼ぶ)を、直接スレーブであるロボットに目標値として伝える直接的マスター・スレーブ方式による教示が一般的である。しかし、マスターとスレーブとの掌と指の大きさが異なり、指の作業領域が一致せず運動機能も異なるため、マスターの指関節角度をスレーブで実現しても、指先の到達領域が異なるため作業が実行できないことがあり、人間はその差異を考慮してマスターである人間の手を動かす必要があり、円滑な教示が困難なことが多かった。
他の方法として、マスターである人間の掌の位置・姿勢はそのままロボット・ハンドでも実現するようにし、ロボットの指先の位置を最も位置誤差が少なくなるように指の角度を調整して指の大きさや運動機能の違いを吸収するようにしている方法もある(R. N. Rohling and J. M. Hollerbach,"Optimized FingertipMapping for Teleoperation of Dexterous Robot Hand,Proc. of IEEE International Conference on Robotics and Automation,pp.769-775,1993参照)。しかし、掌の位置・姿勢が固定されるため、人間の手とロボット・ハンドの幾何学寸法等が類似していないと、共通の作業領域が狭いため、マスターの指先位置をスレーブで実現することは困難なことが多く、さらに、スレーブでの可動範囲であっても、運動学上の特異点近傍のために所定の力や速度を指先で生じさせることが困難であったりした。
【0003】
【発明が解決しようとする課題】
本発明の目的は、マスターである人間の動作からスレーブである人間型ハンドロボットへの動作の教示方法において、両者の幾何学的な寸法の差異、指関節の可動範囲の差異、関節の自由度数の差異等により、作業領域と作業能力が異なるために円滑な教示が困難であったことを大幅に改善するロボット教示方式を提供することを目的としている。
【0004】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、指及び掌を有する人間型ハンドロボットの動作の目標軌道を生成する教示システムにおいて、環境中の人間作業における掌、指、及び対象物体の3次元運動を計測する計測部と、前記計測部からのデータを用いて、ロボット・ハンドの指と対象物体との接触点を、人間の指と対象物体との接触点と一致させるように指についての教示データを優先的に作成するとともに、ロボット・ハンドの掌の位置・姿勢について、指機構の可動範囲においてロボット・ハンドの可操作性を解析して、可操作性を最大にするように、教示データを作成する可操作性解析部とを備えることを特徴とする
前記計測部は、環境での対象物を人間が操作するときの、対象物体と人間の指との接触点を計測データとすることができる。
さらに、このシステムは、人間が作業するための仮想環境を生成するバーチャル・シミュレーション部を備え、前記環境中での人間作業は、前記バーチャル・シミュレーション部から、対象物体に対する作用を人間の手にフィードバックするためのフォース・フィードバック・グローブを付けて行うこともできる。
【0005】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を説明する。
図2は、本発明の実施形態における人間型ハンドロボットの教示システムの構成例である。図2に示されるように、人間型ハンドロボット教示システム200は、ロボット制御系210およびロボット教示系250で構成されている。ロボット制御系210は、スーパバイザ212のもとに、アーム・コントローラ214で制御されるアーム222、ハンド・コントローラ216で制御されるハンド224、そして、ビジョン・コントローラ218で制御されるカメラ226で構成されている。また、ロボット教示系250は、データ・アクイジション・システム262、3次元位置計測装置264、フォース・フィードバック・グローブ300、バーチャル・シミュレーション・システム252、ハンド可操作性解析システム254、ロボット・シミュレーション・システム256で構成されている。
【0006】
この実施形態である人間型ハンドロボット教示システム200の動作を説明する。遠隔にあるロボットの置かれた環境は、ロボット制御系210のカメラ226で写されて、ビジョン・コントローラ218およびスーパバイザ212を介してロボット教示系250に送られる。ロボット教示系250に送られたビジョンの視覚映像と、操作対象である物体の事前情報から仮想環境をバーチャル・シミュレーション・システム252で構築する。構築された仮想環境では、少なくとも物体に対応する仮想物体と人間の手に対応する仮想ハンドが提示される。人間は、手にフォース・フィード・バックを付けて、仮想環境の中で仮想物体を対象にロボットに操作させたい一連の操作を行う。このときの、人間の手の3次元位置が、3次元計測装置264で計測され、データ・アクイジション・システム262を介してバーチャル・シミュレーション・システム252に送られる。このときに、バーチャル・シミュレーション・システム252は、仮想ハンドと仮想物体に空間的な干渉があるときには、仮想抗力を計算しフォース・フィードバック・グローブに送る。この仮想抗力は仮想物体と接触する指先、掌の各部ごとに計算される。この仮想抗力はフォース・フィードバック・グローブにおいて、指先や掌での力の目標値として制御される。このため、干渉があると、人間は接触感覚や把持感覚が得られ、実際の物体操作と同様な感覚で仮想物体が操作できる。
なお、対象のロボット・ハンドとしては、例えば、前に述べたGifu Hand IIのように、人間の手と同様に5本指あり、拇指は4関節4自由度、その他の指は4関節3自由度であるものである。
【0007】
用いられているフォース・フィードバック・グローブの構成例を図3に示す。仮想環境においては、現実世界の実際の物体を操作していると人間が感じるために、十分なもっともらしさが必要である。力の情報、特に接触に関するものは、大変重要である。力は視覚的効果とともに、人間に対して提示されるべきである。このシステムでは、仮想物体を把握している人間の手に対する力は、フォース・フィードバック・グローブを用いて、人間の手に提示されている。図3に示すように、フォース・フィードバック・グローブ300は、フォース・フィードバック機構と、人間の手の関節角度を計測するデータ・グローブ(例えば、Virtual Technologies 社のCyber Glove)とで構成されている。フォース・フィードバック機構は、腕316上に位置している10個のサーボモータ352を有している。サーボモータ352によるトルクは、ワイヤ342により各指に対して伝達される。指における力は、力センサ338,334により計測される。人間は、各指の2点で力を感じる。この例のフォース・フィードバック・グローブ300における力の分解能は、約30グラムである。この構成を用いることにより、仮想的な力が人間に対して伝えられる。フォース・フィードバック・グローブ300を用いるためには、手と仮想的な対象物体との位置関係、接触点、接触力の正確な情報が必要である。例えば、次の5つのパラメータが動きのデータとして、計測される。
refobject:基準座標系に関する対象物体の速度
objecthand:対象物座標系に関する手の速度
handi-th finger:ハンド座標系に関するi番目の指の位置
handi-th finger:ハンド座標系に関するi番目の指の速度
handi-th finger:ハンド座標系に関するi番目の指の仮想的な力
【0008】
さて、一連の操作の観測値は、データ・アクイジション・システム262を介して、ハンド可操作性解析システム254に送られる。図4は、教示のための説明図である。図4(a)は、バーチャル・シミュレーション・システム252内の人間の手を示している。図4(b)は、制御対象である人間型ロボット・ハンドを示している。教示は、人間の手で対象物を指先で把握し、その動作を人間型ハンドロボットで実行するための目標値を定めること目的としている。図4(a)に示すように、対象物体には対象物座標系が設定され、掌にはハンド座標系が設定される。対象物体と掌の位置・姿勢はこれらの座標系の位置・姿勢として定義される。図中の丸印は、接触点を表す。このような教示システムにおいては、人間の手とロボット・ハンドとの形状と運動機能が異なるため、基準座標系で表した掌の位置・姿勢refhandと指先位置reffingersを、人間型ハンドロボットにより同時に実現できない場合があり、実現できても機構の可動範囲限界にあって対象物体を操作しづらいことがある。物体の把持動作を考えた場合、掌の位置・姿勢refhandよりも把持位置−−すなわち指先位置reffingers−−が重要であるため、それらを優先させてrefhandを修正することが望ましい。このとき、観測データで示された指先位置reffingersを実現できる掌の位置・姿勢refhandは、ある領域内で無数に存在し唯一に定まらない。そこで、観測データのうち、基準座標系で表した対象物体の位置・姿勢refobjectと指先の位置reffingers及び力refhandは、教示データとして用い、掌の位置・姿勢refhandに関しては、教示データとしてその値を利用するのではなく、次のロボット・ハンドの可操作性を表す評価指標を最大もしくはほぼ最大とするように掌の位置・姿勢を解析し、その結果を教示データとしている。なお、上記の掌の位置・姿勢refhand,指先位置reffingers,対象物体の位置・姿勢refobjectは、ベクトル値である。
【0009】
ロボットアームの機構評価を行なう方法にヤコビ行列Jの特性の解析がある。一般的なロボットアームについて、手先の位置・姿勢の速度rと関節速度qの関係は次式によって表される。
【数1】
Figure 0003884249
このとき、手先の位置・姿勢の速度rのとりうる領域はヤコビ行列Jに依存し、その大きさはdet(JT J)にほぼ比例する。したがって、det(JT J)がロボットアーム機構の作業性能を評価する指標となりうる。しかし、この指標にはロボットの関節角度の可動範囲への考慮が含まれていない。そこで、教示コマンドを生成する際に、最適なハンドの位置・姿勢を求めるためのハンド可操作性の評価関数PIを次式のように
【数2】
Figure 0003884249
と定義し、PIの値が最大となるよう掌の位置・姿勢を定めることとしている。ここで、iはハンドの指を示す添字で、拇指から小指を順番に1〜5で表している。右辺第1項は、各指の機構のヤコビ行列Jiによって評価される可操作性を示しており、wiはその重みを示している。右辺第2項は、各指の機構の可動範囲によって評価される可操作性を示しており、ρiはその重みを示している。可動範囲を評価する関数PIは次式で示される。
【数3】
PI=−Σj{(qi-j−ai-j-2+(bi-j−qi-j-2} (ai-j<bi-j
ここで、qi-j は指iの j番目の関節の角度である。ai-jとbi-jは指iのj番目の関節の限界角度である。ai-j<qi-j<bi-jにおいて、qi-jが値を変化させてai-jあるいはbi-jに近づくと、PIの値は急激に変化して、大きな負の値となる。明らかに、PIは、指関節角度の関数である。
【0010】
さて、いま教示の対象として扱っているロボット・ハンドは5本指で拇指は4関節4自由度機構、その他の指は4関節3自由度機構であるため、各指の機構のヤコビ行列Jiは、次式の関係が成り立つ。
【数4】
Figure 0003884249
ここで、handi-th fingerはハンド座標で表される指先の速度である。qi-th fingerは制御可能な関節の角速度であり、拇指以外の指については、qi-th finger=[qi-1,qi-2,qi-3T(i=2〜5)であり、拇指は4関節4自由度でq1st finger=[q1-1,q1-2,q1-3,q1-4]Tであり、hand1st fingerの自由度3に対して1自由度の冗長性を持っている。各指のqi- の変化は、内転、外転の動きとなり、qi-j(j>1)は前屈、後屈の動きとなる。拇指は、冗長自由度を有するため、掌と指先の姿勢を前屈、後屈に関係する指機構の根元から指先までの関節角度の合計値θ=q1-2+q1-3+q1-4と定めこれを調整可能なパラメータとして利用している。したがって、評価関数PIは、指関節ベクトルqi-th finger(i=1〜5)とθの関数として表される。一方、掌の位置・姿勢refhand=[xhand,yhand,zhand,θhand,φhand,ψhandTと指先位置reffingers及びθが与えられると、指関節ベクトルが決まる。ここで、xhand,yhand,zhandは基準座標であらわした掌の位置をしめす。θhand,φhand,ψhandは 基準座標からハンド座標への回転をあらわすz−y−zオイラー角である。指先位置reffingersは、教示データとして与えられる。したがって、指の逆運動学から、評価関数PIはrefhandとθの関数PI(refhand,θ)として表せる。重みwiおよびρiは、どの指もそれぞれ1.0,10.0-10に設定した。PIを最大にするrefhandとθは、最急降下法を用いて計算する。最急降下法の計算を行なうには、refhandおよびθの初期値が必要であり、この初期値は指の可動範囲内に収まっていなくてはならない。そこで、初期値は人間の掌の位置・姿勢とθの値とし、これがロボット・ハンドで実現できないときは、近傍を探索して可動範囲内に収まっている初期値を求める。対象としているロボット・ハンドが人間のそれと類似していると、容易に条件を満たす初期値を見つけることができる。
ハンド可操作性解析システムで求めた掌の位置・姿勢、指先の位置、指先の力は、対象物に設定した対象物座標系で記述しなおし、ロボット・シミュレーション・システムでこれらの教示データを元に作業の実行をシミュレーションし、良好な教示データであることを確認後、ロボット制御系に教示データが送られる。
【0011】
本実施形態では、VR空間でのマスターである人間の作業に基づくロボット教示について述べているが、VR空間での作業に限定されず、実空間での人間作業においても、ロボット・ハンドの可操作性を最大もしくはその近傍とするようにロボット・ハンドの掌の位置・姿勢を調整するロボット教示も同様な教示方法であることは言うまでもない。
また、本実施形態での拇指は4関節4自由度のため、指の姿勢を表すパラメータθを導入したが、拇指が3自由度の場合にはこのようなパラメータを導入する必要はないことは言うまでもない。
さらに、本実施形態では5本指ロボット・ハンドであったが、4本以下のロボット・ハンドにおいても、人間がロボットの指数に応じて教示をおこなうことにより、同様な教示方法が実行できることは言うまでもない。
また、この上述の教示システムは、発明者の一人によるロボット教示システム(特開2000−308985号公報参照)で述べられている、動作の意図を解釈してロボットの教示コマンドを作成するときにも適用することができる。
【0012】
【発明の効果】
以上の構成により、人間の手とロボット・ハンドと作業領域が異なっていても、ハンド可操作性を最大もしくはほぼ最大にするロボット・ハンドの掌の位置・姿勢を求め、それを教示データとすることにより、人間が対象物を操作した接触点をロボット・ハンドにより実現でき、かつハンド可操作性を最大とするため、ロボット・ハンドの指先で発生できる速度や力が最大となり、物体の操作を教示したように実現することが可能になる。
【図面の簡単な説明】
【図1】人間型ハンドロボットのハンドの構成を示す図である。
【図2】本発明の一実施例の教示システムの構成例を示す図である。
【図3】本発明のフォース・フィードバック・グローブの構成例を示す図である。
【図4】本発明の実施形態の教示の説明図である。
【符号の説明】
110 親指
120 各指
122,124,126,128 指
140 掌
200 人間型ハンドロボット教示システム
210 ロボット制御系
212 スーパバイザ
214 アーム・コントローラ
216 ハンド・コントローラ
218 ビジョン・コントローラ
222 アーム
224 ハンド
226 カメラ
250 ロボット教示系
252 バーチャル・シミュレーション・システム
254 ハンド可操作性解析システム
256 ロボット・シミュレーション・システム
262 データ・アクイジション・システム
264 3次元位置計測装置
300 フォース・フィードバック・グローブ
316 腕
342 ワイヤ
352 サーボモータ
338,334 力センサ

Claims (3)

  1. 指及び掌を有する人間型ハンドロボットの動作の目標軌道を生成する教示システムにおいて、
    環境中の人間作業における掌、指、及び対象物体の3次元運動を計測する計測部と、
    前記計測部からのデータを用いて、ロボット・ハンドの指と対象物体との接触点を、人間の指と対象物体との接触点と一致させるように指についての教示データを優先的に作成するとともに、ロボット・ハンドの掌の位置・姿勢について、指機構の可動範囲においてロボット・ハンドの可操作性を解析して、可操作性を最大にするように、教示データを作成する可操作性解析部と
    を備えることを特徴とする人間型ハンドロボットの教示システム。
  2. 請求項1に記載の人間型ハンドロボットの教示システムにおいて、前記計測部は、環境での対象物を人間が操作するときの、対象物体と人間の指との接触点を計測データとすることを特徴とする人間型ハンドロボットの教示システム。
  3. 請求項1又は2に記載の人間型ハンドロボットの教示システムにおいて、
    さらに、人間が作業するための仮想環境を生成するバーチャル・シミュレーション部を備えており、前記環境中での人間作業は、前記バーチャル・シミュレーション部から、対象物体に対する作用を人間の手にフィードバックするためのフォース・フィードバック・グローブを付けて行うことを特徴とする人間型ハンドロボットの教示システム。
JP2001255290A 2001-08-24 2001-08-24 人間型ハンドロボット用教示システム Expired - Fee Related JP3884249B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001255290A JP3884249B2 (ja) 2001-08-24 2001-08-24 人間型ハンドロボット用教示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001255290A JP3884249B2 (ja) 2001-08-24 2001-08-24 人間型ハンドロボット用教示システム

Publications (2)

Publication Number Publication Date
JP2003062775A JP2003062775A (ja) 2003-03-05
JP3884249B2 true JP3884249B2 (ja) 2007-02-21

Family

ID=19083285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001255290A Expired - Fee Related JP3884249B2 (ja) 2001-08-24 2001-08-24 人間型ハンドロボット用教示システム

Country Status (1)

Country Link
JP (1) JP3884249B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070987A (ko) * 2008-12-18 2010-06-28 삼성전자주식회사 다지 핸드의 제어장치 및 그 파지방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057863A (ja) * 2008-09-08 2010-03-18 Toyomaru Industry Co Ltd 遊技部材及びそれを備えた遊技機
KR101896473B1 (ko) * 2012-01-04 2018-10-24 삼성전자주식회사 로봇 핸드의 제어 방법
KR101941844B1 (ko) * 2012-01-10 2019-04-11 삼성전자주식회사 로봇 및 그 제어방법
EP2931485B1 (en) * 2012-12-14 2023-09-13 ABB Schweiz AG Bare hand robot path teaching
KR101915780B1 (ko) * 2016-12-29 2018-11-06 유한책임회사 매드제너레이터 로봇을 이용하여 사용자에게 피드백을 제공하는 vr-로봇 연동 시스템 및 방법
CN110625591A (zh) * 2019-04-09 2019-12-31 华南理工大学 一种基于外骨骼数据手套和遥操纵杆的遥操作***与方法
CN110815258B (zh) * 2019-10-30 2023-03-31 华南理工大学 基于电磁力反馈和增强现实的机器人遥操作***和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070987A (ko) * 2008-12-18 2010-06-28 삼성전자주식회사 다지 핸드의 제어장치 및 그 파지방법
KR101665544B1 (ko) 2008-12-18 2016-10-14 삼성전자주식회사 다지 핸드의 제어장치 및 그 파지방법

Also Published As

Publication number Publication date
JP2003062775A (ja) 2003-03-05

Similar Documents

Publication Publication Date Title
Kofman et al. Teleoperation of a robot manipulator using a vision-based human-robot interface
Zhou et al. RML glove—An exoskeleton glove mechanism with haptics feedback
EP2653954B1 (en) Side-type force sense interface
KR101549818B1 (ko) 로봇 핸드 및 그 제어방법
Kim et al. A force reflected exoskeleton-type masterarm for human-robot interaction
JP5580850B2 (ja) シリアルロボットのための迅速な把持接触計算
Peer et al. Multi-fingered telemanipulation-mapping of a human hand to a three finger gripper
Liarokapis et al. Functional anthropomorphism for human to robot motion mapping
Su et al. Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty
Rohling et al. Optimized fingertip mapping for teleoperation of dextrous robot hands
JP3884249B2 (ja) 人間型ハンドロボット用教示システム
JP3369351B2 (ja) 多関節マニピュレータの弾性設定方法および制御装置
Namiki et al. Vision-based predictive assist control on master-slave systems
Kobayashi et al. Hand/arm robot teleoperation by inertial motion capture
Bergamasco et al. Exoskeletons as man-machine interface systems for teleoperation and interaction in virtual environments
JP4591043B2 (ja) ロボットによる任意形状物体の把持方法
Falck et al. DE VITO: A dual-arm, high degree-of-freedom, lightweight, inexpensive, passive upper-limb exoskeleton for robot teleoperation
Liarokapis et al. Humanlike, task-specific reaching and grasping with redundant arms and low-complexity hands
Kawasaki et al. Virtual robot teaching for humanoid hand robot using muti-fingered haptic interface
Pereira et al. Reconstructing human hand pose and configuration using a fixed-base exoskeleton
JPH05337860A (ja) ロボットハンドの教示装置およびロボットハンド
Neha et al. Contact points determination and validation for grasping of different objects by a four-finger robotic hand
JP4206305B2 (ja) 多指ロボットハンドの制御方法及び装置
JPH1133952A (ja) ロボットの制御方法、ロボットおよび把持物体の位置、姿勢修正方法
JP2005335010A (ja) 把持制御装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20031031

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees