JP4422257B2 - マニピュレータ制御装置 - Google Patents
マニピュレータ制御装置 Download PDFInfo
- Publication number
- JP4422257B2 JP4422257B2 JP33311299A JP33311299A JP4422257B2 JP 4422257 B2 JP4422257 B2 JP 4422257B2 JP 33311299 A JP33311299 A JP 33311299A JP 33311299 A JP33311299 A JP 33311299A JP 4422257 B2 JP4422257 B2 JP 4422257B2
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- slave
- master
- slave manipulator
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 30
- 230000007246 mechanism Effects 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000011282 treatment Methods 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000881 depressing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Surgical Instruments (AREA)
Description
【発明の属する技術分野】
本発明は、生体の、例えば体腔内に挿入したマニピュレータを操作手段によって遠隔的に操作し、診断・処置等の手術を行う手術用のマニピュレータ制御装置に関する。
【0002】
【従来の技術】
一般に、腹壁等の体壁に穴を開け、この穴を通じて内視鏡や処置具を経皮的に体腔内に挿入することにより、その体腔内での様々な処置を行なう経皮的内視鏡下手術が、大きな切開を要しない低侵襲なものとして、近年、注目されている。こうした術式は胆のう摘出手術や肺の一部を摘出除去する手術等で広く行なわれている。
【0003】
このような手術において、マニピュレータに内視鏡や処置具を搭載し、そのマニピュレータによる内視鏡や処置具を用いた手術を術者に代わって間接的に行う手術用マニピュレータシステムが、米国特許第5,217,003号や、特開平7−328016号公報などに示されている。
【0004】
図13はこの手術用マニピュレータシステムの概略構成を示すものである。このマニピュレータシステムには術野にアクセスするように設置されているスレーブマニピュレータaと、術者が操作できる領域内に設置されたジョイスティックなどのマスターマニピュレータbとが設けられている。ここで、スレーブマニピュレータaにはスレーブ制御部c、マスターマニピュレータbにはマスター制御部dがそれぞれ連結されている。
【0005】
さらに、スレーブ制御部cとマスター制御部dとの間は信号ケーブルなどの通信手段を介して連結されている。ここで、マスター制御部dにはマスターマニピュレータbの操作部の操作を検出する検出手段が設けられている。そして、このマスター制御部dによって検出されたマスターマニピュレータbの操作部の操作状態が制御信号に変換されて通信手段を介してスレーブ制御部cに伝送されるようになっている。また、スレーブ制御部cからはマスター制御部dから送られるマスターマニピュレータbの操作部の操作に追従した動きをスレーブマニピュレータaに伝達する制御信号が出力されるようになっている。
【0006】
そして、こうした手術用マニピュレータの遠隔操作では、内視鏡等の観察手段によりモニターに映し出された腹腔内の患部の状態を見ながら、操作者がジョイスティックなどのマスターマニピュレータbの操作部を操作することによって例えばマスターマニピュレータbの操作部の操作方向にスレーブマニピュレータaを動作させるようになっている。
【0007】
また、マスターマニピュレータbとして例えば略鋏型の開閉動作可能な操作部を使用するとともに、スレーブマニピュレータaとして例えば把持鉗子のように開閉可能な1対の鉗子片を備えた処置部を使用するシステムが考えらている。ここでは、マスターマニピュレータbの操作部を開閉操作した場合にこのマスターマニピュレータbの操作部を開閉動作に応じてスレーブマニピュレータaの把持鉗子の1対の鉗子片が開閉駆動されるようになっている。このとき、スレーブマニピュレータaの把持鉗子の1対の鉗子片の開閉動作(動作量)を検出し、スレーブマニピュレータaの1対の鉗子片間の開閉動作が異常動作か、正常な動作かを判別する判別手段を設けた構成が考えられている。
【0008】
また、マスターマニピュレータbの操作部の操作前にマスターマニピュレータbの初期位置と、スレーブマニピュレータaの初期位置とを位置合わせする初期位置調整用のキャリブレーション(イニシャライズ)を行った状態で、スレーブマニピュレータaの動作範囲を検査することにより、スレーブマニピュレータaの機械的な異常の有無(スレーブマニピュレータaの動作範囲が規定通りか否か)を確認する作業を行うことが一般的である。
【0009】
【発明が解決しようとする課題】
ところで、手術用マニピュレータシステムの使用開始時に初期位置調整用のキャリブレーションを行う場合には例えばマスターマニピュレータbの現在位置とスレーブマニピュレータaの現在位置とが検出されるとともに、マスターマニピュレータbの現在位置と対応する位置に合わせるように電気制御によってスレーブマニピュレータaの駆動機構を動かしてスレーブマニピュレータaの位置を移動させる初期位置調整作業が行われている。このとき、スレーブマニピュレータaを現在位置から調整位置まで移動させる際にはスレーブ制御部cから出力される制御信号がスレーブマニピュレータaの駆動機構部に入力されると同時に、マスターマニピュレータbのズレ量がスレーブマニピュレータaに即座に反映され、スレーブマニピュレータaが急速に調整位置まで移動される。そのため、このスレーブマニピュレータaを現在位置から調整位置まで移動させる移動時には、スレーブマニピュレータaの駆動機構部に作用する機械的な負荷が大きくなるので、スレーブマニピュレータaの駆動機構部の耐久性の向上を図るうえで問題がある。
【0010】
さらに、このキャリブレーション作業時にスレーブマニピュレータaの移動量が大きい場合にはスレーブマニピュレータaの駆動機構部に作用する機械的な負荷が一層大きくなる問題がある。
【0011】
本発明は上記事情に着目してなされたもので、その目的は、マスターマニピュレータとスレーブマニピュレータとの位置・姿勢のキャリブレーションの作業時にスレーブマニピュレータの駆動機構側に作用する機械的な負荷を軽減させることができ、システム全体の耐久性の向上を図ることができるマニピュレータ制御装置を提供することにある。
【0012】
【課題を解決するための手段】
請求項1の発明は、術野にアクセスするように設置されたスレーブマニピュレータと、
術者が操作できる領域内に設置され、前記スレーブマニピュレータを遠隔的に操作するマスターマニピュレータと、
このマスターマニピュレータに接続され、前記マスターマニピュレータの操作を電気信号に変換するマスター制御部と、
前記スレーブマニピュレータおよび前記マスター制御部にそれぞれ接続され、前記マスター制御部から送られる前記マスターマニピュレータの操作に追従した動きを前記スレーブマニピュレータに伝達する制御信号を出力するスレーブ制御部と、
前記マスターマニピュレータの動作開始時に前記マスターマニピュレータの現在位置と前記スレーブマニピュレータの現在位置との間の位置ズレ量を検出する位置ズレ量検出手段と、
この位置ズレ量検出手段からの検出結果にもとづいて前記マスターマニピュレータの位置と前記スレーブマニピュレータの位置とを整合させるキャリブレーション作業時に前記スレーブマニピュレータの駆動機構に作用する機械的な負荷を低減させる負荷低減手段と
を具備したことを特徴とするマニピュレータ制御装置である。
【0013】
そして、本請求項1の発明では、マスターマニピュレータの動作開始時には位置ズレ量検出手段によってマスターマニピュレータの現在位置とスレーブマニピュレータの現在位置との間の位置ズレ量を検出し、この位置ズレ量検出手段からの検出結果にもとづいてマスターマニピュレータの位置とスレーブマニピュレータの位置とを整合させるキャリブレーション作業が行われる。このキャリブレーション作業時には負荷低減手段によってスレーブマニピュレータの駆動機構に作用する機械的な負荷を低減させるようにしたものである。
【0014】
請求項2の発明は、前記負荷低減手段は、前記キャリブレーション作業時に前記スレーブマニピュレータの移動速度を前記スレーブマニピュレータ駆動機構の機械的な負荷が低減できる程度に減速する減速手段によって形成されていることを特徴とする請求項1に記載のマニピュレータ制御装置である。
【0015】
そして、本請求項2の発明では、キャリブレーション作業時に減速手段によってスレーブマニピュレータの移動速度をスレーブマニピュレータ駆動機構の機械的な負荷が低減できる程度に減速するようにしたものである。
【0016】
請求項3の発明は、前記負荷低減手段は、前記キャリブレーション作業時に前記マスターマニピュレータの位置検出用の座標系を前記スレーブマニピュレータの現在位置に合わせて前記位置ズレ量を補完する状態に再構築する座標補完手段によって形成されることを特徴とする請求項1に記載のマニピュレータ制御装置である。
【0017】
そして、本請求項3の発明では、キャリブレーション作業時に座標補完手段によってマスターマニピュレータの位置検出用の座標系をスレーブマニピュレータの現在位置に合わせて位置ズレ量を補完する状態に再構築するようにしたものである。
【0018】
請求項4の発明は、前記負荷低減手段は、前記キャリブレーション作業時に前記スレーブマニピュレータの移動が可能な動作範囲内で、前記動作範囲の中心位置から一定量離れた所定の設定範囲に位置整合動作の制御実行範囲を予め設定し、前記スレーブマニピュレータの現在位置が前記制御実行範囲外である場合には前記位置整合動作を行わずに前記スレーブマニピュレータの現在位置が前記制御実行範囲外である状態を報知する報知手段を備えたことを特徴とする請求項1に記載のマニピュレータ制御装置である。
【0019】
そして、本請求項4の発明では、キャリブレーション作業時にスレーブマニピュレータの移動が可能な動作範囲内で、動作範囲の中心位置から一定量離れた所定の設定範囲に位置整合動作の制御実行範囲を予め設定し、スレーブマニピュレータの現在位置が制御実行範囲外である場合には位置整合動作を行わずに報知手段によってスレーブマニピュレータの現在位置が制御実行範囲外である状態を報知するようにしたものである。
【0020】
【発明の実施の形態】
以下、本発明の第1の実施の形態を図1乃至図8(A),(B)を参照して説明する。図1は本実施の形態のマニピュレータ制御装置1のシステム全体の概略構成を示すものである。本実施の形態のマニピュレータ制御装置1には術野にアクセスするように設置されたスレーブマニピュレータ2と、術者が操作できる領域内に設置され、スレーブマニピュレータ2を遠隔的に操作するマスターマニピュレータ3とが設けられている。ここで、スレーブマニピュレータ2には2組のスレーブマニピュレータ、すなわち左側スレーブマニピュレータ2aと、右側スレーブマニピュレータ2bとが設けられている。さらに、マスターマニピュレータ3にも同様に左側スレーブマニピュレータ2aを操作する左側マスターマニピュレータ3aと、右側スレーブマニピュレータ2bを操作する右側マスターマニピュレータ3bとが設けられている。
【0021】
また、2つのスレーブマニピュレータ2a,2b、マスターマニピュレータ3a,3bはそれぞれ略同一構成になっているので、ここでは一方の左側のスレーブマニピュレータ2aおよびマスターマニピュレータ3aの構成のみを説明し、右側のスレーブマニピュレータ2bおよびマスターマニピュレータ3bの同一部分には同一の符号を付してその説明を省略する。
【0022】
すなわち、本実施の形態の左側のスレーブマニピュレータ2aには細長い挿入部4を備えたマニピュレータ本体5と、このマニピュレータ本体5を駆動するスレーブ駆動部6とが設けられている。さらに、挿入部4の先端部には図3に示すように例えば把持鉗子のように開閉可能な1対の把持部材7a,7bを備えた先端把持部7が設けられている。これらの把持部材7a,7bの基端部間は挿入部4の先端部に回動ピン8を中心に回動可能に連結されている。そして、これらの把持部材7a,7bはリンク機構部9によって回動ピン8を中心に開閉可能に支持されている。
【0023】
また、マニピュレータ本体5はスレーブ駆動部6内の図示しないマニピュレータ本体駆動ユニットによって図3中で、X軸方向(左右方向)、Y軸方向(上下方向)、Z軸方向(前後方向)にそれぞれ移動可能に駆動され、かつX軸の軸回り方向、Y軸の軸回り方向、Z軸の軸回り方向にそれぞれ回動駆動されるようになっている。さらに、マニピュレータ本体5の先端把持部7も同様にスレーブ駆動部6内の図示しない先端把持部駆動ユニットによって把持部材7a,7b間が回動ピン8を中心に開閉駆動されるようになっている。なお、図3中で、OS はスレーブマニピュレータ2aのマニピュレータ本体5の原点位置である。
【0024】
また、左側マスターマニピュレータ3aには図2に示すように例えば略鋏型の開閉動作可能なハンドル(操作部)10と、このハンドル10を図2中で、X軸方向(左右方向)、Y軸方向(上下方向)、Z軸方向(前後方向)にそれぞれ移動可能に、かつX軸の軸回り方向、Y軸の軸回り方向、Z軸の軸回り方向にそれぞれ回動可能に支持する支持機構部11(図4に示す)とが設けられている。なお、図2中で、OM はマスターマニピュレータ3aのハンドル10の原点位置である。
【0025】
また、ハンドル10には図2に示すようにトッププレート12に一端部が固定された支軸13と、この支軸13の他端部に回動軸14を中心に回動可能に連結された2つのハンドル部材15a,15bとが設けられている。さらに、2つのハンドル部材15a,15b間には回動軸14側にリンク部材16、自由端部側に板ばね部材17がそれぞれ配設されている。そして、このハンドル10は板ばね部材17のばね力によって図2中に実線で示すように全開位置方向に付勢されている。
【0026】
また、このハンドル10の一方のハンドル部材15aにはストッパ18が他方のハンドル部材15b側に向けて突設されている。そして、このハンドル10の閉操作時には図2中に仮想線で示すようにハンドル部材15aのストッパ18がハンドル部材15bに突き当たることにより、このハンドル10の閉操作が規制され、この状態が全閉位置に設定されている。
【0027】
さらに、ハンドル10のハンドル部材15aにはポテンショメータ19が取付けられている。そして、このポテンショメータ19によってハンドル10の開閉角度が検出されるようになっている。
【0028】
また、マスターマニピュレータ3aの支持機構部11はパンタグラフ機構を複数組み合わせて構成された多自由度マニピュレータによって形成されている。ここで、出力節であるトッププレート12には、3つのパンタグラフと3つの回転対偶軸とが取付けられている。なお、各パンダグラフ、対偶軸には、図示しないエンコーダが取付けられている。そして、このエンコーダによってハンドル10の操作を検出する検出手段が形成されている。さらに、マスターマニピュレータ3にはこのマスターマニピュレータ3を操作不能なロック状態と、このマスターマニピュレータ3の操作が可能なロック解除状態とに切換える例えば電磁ロック式の図示しないロック機構部が組込まれている。
【0029】
また、マスターマニピュレータ3にはこのマスターマニピュレータ3の操作を電気信号に変換するマスター制御部20が接続されている。このマスター制御部20にはマスターマニピュレータ3のポテンショメータ19および支持機構部11のエンコーダなどの位置検出装置21と、例えば位置計算用のコンピュータによって形成される演算回路22とが設けられている。そして、位置検出装置21による左右のマスターマニピュレータ3a,3bの操作状態の検出データ(L検出信号、R検出信号)は演算回路22に入力され、この演算回路22で位置計算されてマスターマニピュレータ3のハンドル10の操作状態や、ハンドル10の開閉状態などのデータが算出されるようになっている。
【0030】
さらに、このマスター制御部20にはマスターマニピュレータ3のロック機構部の制御用のフットスイッチ23が接続されている。このフットスイッチ23には2つのペダル23a,23bが設けられている。そして、一方のペダル23aによってマスターマニピュレータ3のロック状態と、ロック解除状態とを切換えるロック状態の切換え操作部、他方のペダル23bによって移動用クラッチの切換え操作部がそれぞれ形成されている。
【0031】
なお、マスターマニピュレータ3を操作する術者の近傍位置にはモニター24が配置されている。そして、このモニター24に表示される表示画面を見ながらマスターマニピュレータ3の操作が行われるようになっている。
【0032】
また、スレーブマニピュレータ2にはマスターマニピュレータ3の操作に追従した動きをスレーブマニピュレータ2に伝達する制御信号を出力するスレーブ制御部25が接続されている。このスレーブ制御部25にはスレーブマニピュレータ2のスレーブ駆動部6に組込まれている複数の駆動モータ26を制御するモータ駆動回路27と、例えばスレーブマニピュレータ制御用のコンピュータによって形成される演算回路28とが設けられている。
【0033】
さらに、スレーブ制御部25の演算回路28とマスター制御部20の演算回路22との間は例えば光ファイバーケーブルなどの通信手段29を介して接続されている。そして、スレーブ制御部25ではマスター制御部20から送られるマスターマニピュレータ3の操作に追従した動きをスレーブマニピュレータ2に伝達する制御信号を出力するようになっている。
【0034】
また、スレーブ制御部25の演算回路28には図5に示すようにキャリブレーション動作の開始状態を検出するキャリブレーション動作検出手段28aと、スレーブマニピュレータ2の現在位置(X方向の位置Xs、Y方向の位置Ys、Z方向の位置Zs、X軸回り方向の回動角度θxs、Y軸回り方向の回動角度θys、Z軸回り方向の回動角度θzs)を検出するスレーブマニピュレータ位置検出手段28bと、キャリブレーション動作の開始時にマスターマニピュレータ3の現在位置(X方向の位置Xm、Y方向の位置Ym、Z方向の位置Zm、X軸回り方向の回動角度θxm、Y軸回り方向の回動角度θym、Z軸回り方向の回動角度θzm)とスレーブマニピュレータ2の現在位置(Xs、Ys、Zs、θxs、θys、θzs)との間の位置ズレ量を検出する位置ズレ量検出手段28cと、キャリブレーション動作の開始時に位置ズレ量検出手段28cからの検出結果にもとづいてスレーブマニピュレータ2をマスターマニピュレータ3の現在位置(Xm、Ym、Zm、θxm、θym、θzm)と対応するキャリブレーション位置(Xc、Yc、Zc、θxc、θyc、θzc)に移動させる際のスレーブ駆動部6に作用する機械的な負荷を低減させる負荷低減手段であるスレーブ駆動部6の減速手段28dと、CPU28eとが設けられている。ここで、減速手段28dはキャリブレーション動作時にスレーブマニピュレータ2の移動速度をスレーブ駆動部6の機械的な負荷が低減できる程度、例えばスレーブマニピュレータ2のX方向、Y方向、Z方向の各移動速度を100mSec(1step)毎に2mmの移動量で、かつX軸回り方向の回動角度θx、Y軸回り方向の回動角度θy、Z軸回り方向の回動角度θzが100mSec(1step)毎に2°の移動量でそれぞれ回動動作させる状態に減速する手段によって形成されている。
【0035】
次に、上記構成の作用について説明する。本実施の形態のマニピュレータ制御装置1の使用時には、マスターマニピュレータ3が術者が操作できる領域内に設置される。さらに、スレーブマニピュレータ2は術野にアクセスするように設置される。例えば、図4に示すように予め診断・処置等の手術を行う患者の腹壁等の体壁Hに図示しないトロッカーによって穴を開け、この穴に刺入されたトロッカー外套管内にスレーブマニピュレータ2の挿入部4が挿入され、このトロッカー外套管内を通じてスレーブマニピュレータ2の挿入部4が経皮的に体腔内に挿入された状態にセットされる。このとき、マスターマニピュレータ3を操作する術者の近傍位置のモニター24にはスレーブマニピュレータ2とは別の場所から経皮的に体腔内に挿入された内視鏡による術野の内視鏡像、或いはコンピュータグラフィック装置によって合成された術野のコンピュータグラフィック画像(CG画像)などが表示される。
【0036】
また、スレーブマニピュレータ2およびマスターマニピュレータ3のセット後、スレーブ制御部25のキャリブレーション動作検出手段28aによってキャリブレーション動作の開始状態が検出されると、スレーブマニピュレータ2の位置と、マスターマニピュレータ3の位置とを対応させるキャリブレーション動作が行われる。このキャリブレーション動作は図6のフローチャートにしたがって行われる。なお、キャリブレーション動作の開始前は、左右のスレーブマニピュレータ2a,2bおよび左右のマスターマニピュレータ3a,3bはそれぞれ任意の位置で保持されている。図7はマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)を示す。
【0037】
また、キャリブレーション動作の開始時にはスレーブマニピュレータ位置検出手段28bによって左右のスレーブマニピュレータ2a,2bの現在位置(Xs、Ys、Zs、θxs、θys、θzs)が検出される。そして、ステップS1で、左右のスレーブマニピュレータ2a,2bが図8に示すように原点位置Os(X方向の位置Xs=0、Y方向の位置Ys=0、Z方向の位置Zs=0、X軸回り方向の回動角度θxs=0、Y軸回り方向の回動角度θys=0、Z軸回り方向の回動角度θzs=0)に移動される。
【0038】
その後、次のステップS2で、左右のスレーブマニピュレータ2a,2bが原点位置Osか否かが判断される。このステップS2で、左右のスレーブマニピュレータ2a,2bが原点位置Osではないと判断された場合にはステップS1に戻される。そして、ステップS2で、左右のスレーブマニピュレータ2a,2bが原点位置Osと確認された場合には次のステップS3に進む。
【0039】
このステップS3では図7に示すマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)が検出される。なお、マスターマニピュレータ3a,3bの使用開始位置は操作者により位置・姿勢が多少ズレることが普通である。このとき、位置ズレ量検出手段28cによってキャリブレーション動作の開始時のマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)とスレーブマニピュレータ2a,2bの現在位置(Xs、Ys、Zs、θxs、θys、θzs)との間の位置ズレ量が検出される。
【0040】
その後、次のステップS4に進む。このステップS4ではマスターマニピュレータ3のロックが解除状態か、否かが判断される。ここで、フットスイッチ23のペダル23aを踏むことにより、マスターマニピュレータ3のロックが解除される。この状態では左右のマスターマニピュレータ3a,3bが図2中で、X軸方向(左右方向)、Y軸方向(上下方向)、Z軸方向(前後方向)にそれぞれ移動可能、かつX軸の軸回り方向、Y軸の軸回り方向、Z軸の軸回り方向にそれぞれ回動可能な状態にそれぞれ切換えられるとともに、左右のマスターマニピュレータ3a,3bの2つのハンドル部材15a,15b間が開閉動作可能な状態にそれぞれ切換えられる。このとき、マスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)の情報がスレーブ制御部25に送られる。
【0041】
そして、ステップS4で、ロックが解除されていないと判断された場合にはステップS3に戻される。また、ステップS4で、ロック解除状態と判断された場合には次のステップS5に進む。
【0042】
このステップS5ではスレーブマニピュレータ2a,2bを現在位置(Xs、Ys、Zs、θxs、θys、θzs)から減速状態で、左右のマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)と対応するキャリブレーション位置(Xc、Yc、Zc、θxc、θyc、θzc)に移動させる動作が行われる。このとき、スレーブ駆動部6の減速手段28dによってスレーブマニピュレータ2a,2bの移動速度がスレーブ駆動部6の機械的な負荷が低減できる程度、例えばスレーブマニピュレータ2a,2bのX方向、Y方向、Z方向の各移動速度を100mSec(1step)毎に2mmの移動量で、かつX軸回り方向の回動角度θx、Y軸回り方向の回動角度θy、Z軸回り方向の回動角度θzが100mSec(1step)毎に2°の移動量でそれぞれ回動動作させる状態に減速される。
【0043】
その後、次のステップS6で、スレーブマニピュレータ2a,2bのキャリブレーション位置(Xc、Yc、Zc、θxc、θyc、θzc)が左右のマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)と等しいか、否かが判断される。ここで、両方のマニピュレータ2a,2b、3a,3bの位置が等しくないと判断された場合にはステップS5に戻される。また、ステップS6で、両方のマニピュレータ2a,2b、3a,3bの位置が等しいと判断された場合にはキャリブレーション動作が終了する。
【0044】
さらに、このキャリブレーション動作の終了後、本実施の形態のマニピュレータ制御装置1による診断・処置等の手術が開始される。この手術時には術者はモニター24に表示される術野の内視鏡像、或いはCG画像の画面を見ながらマスターマニピュレータ3の左右のマスターマニピュレータ3a,3bがそれぞれ操作される。このとき、左側マスターマニピュレータ3aのハンドル10が術者の左手、右側マスターマニピュレータ3bのハンドル10が術者の右手で握られた状態でそれぞれ操作され、左側マスターマニピュレータ3aによって左側スレーブマニピュレータ2a、右側マスターマニピュレータ3bによって右側スレーブマニピュレータ2bがそれぞれ独立に遠隔操作される。
【0045】
例えば、左側マスターマニピュレータ3aのハンドル10を図2中で、X軸方向(左右方向)、Y軸方向(上下方向)、Z軸方向(前後方向)にそれぞれ移動させ、かつX軸の軸回り方向、Y軸の軸回り方向、Z軸の軸回り方向にそれぞれ回動させた場合にはこのときのマスターマニピュレータ3aの動作がマスター制御部20の位置検出装置21で検出される。この位置検出装置21からの検出データは演算回路22に入力され、この演算回路22で位置計算されてマスターマニピュレータ3のハンドル10の操作状態や、ハンドル10の開閉状態などのデータが算出される。
【0046】
さらに、マスター制御部20の演算回路22で位置計算された算出データは光ファイバーケーブルなどの通信手段29を介してスレーブ制御部25に送信される。
【0047】
また、スレーブ制御部25では受信された制御信号にもとづいて演算回路28によってスレーブ駆動部6に組込まれているモータ駆動回路27の複数の駆動モータ26を制御する制御信号が算出される。そして、このスレーブ制御部25から出力される制御信号が左側スレーブマニピュレータ2aに伝達され、左側スレーブマニピュレータ2aが遠隔的に操作される。このとき、左側スレーブマニピュレータ2aは左側マスターマニピュレータ3aのハンドル10の動きに追従して動く。なお、右側マスターマニピュレータ3bの操作時にも同様の作用によって右側スレーブマニピュレータ2bの動作が制御され、右側マスターマニピュレータ3bの操作に追従して右側スレーブマニピュレータ2bが動くようになっている。
【0048】
そこで、上記構成のものにあっては次の効果を奏する。すなわち、本実施の形態ではマスターマニピュレータ3の動作開始時にはスレーブ制御部25の演算回路28における位置ズレ量検出手段28cによってマスターマニピュレータ3の現在位置とスレーブマニピュレータ2の現在位置との間の位置ズレ量を検出し、この位置ズレ量検出手段28cからの検出結果にもとづいてマスターマニピュレータ3の位置とスレーブマニピュレータ2の位置とを整合させるキャリブレーション作業が行われる。このキャリブレーション作業時には負荷低減手段であるスレーブ駆動部6の減速手段28dによってスレーブマニピュレータ2の移動速度を低減させるようにしたので、マスターマニピュレータ3の位置とスレーブマニピュレータ2の位置との間に座標のズレ量が有ったとしてもスレーブマニピュレータ2がマスターマニピュレータ3の位置と対応する位置に急激に移動することない。そのため、マスターマニピュレータ3とスレーブマニピュレータ2との位置・姿勢のキャリブレーションの作業時にスレーブマニピュレータ2の駆動機構であるスレーブ駆動部6側に作用する機械的な負荷を軽減させることができ、システム全体の耐久性の向上を図ることができる。
【0049】
また、図9乃至図12は本発明の第2の実施の形態を示すものである。本実施の形態は第1の実施の形態(図1乃至図8(A),(B)参照)のマニピュレータ制御装置1のスレーブ制御部25の構成を次の通り変更したものである。
【0050】
すなわち、本実施の形態ではスレーブ制御部25の演算回路28は図9に示すように構成されている。ここで、本実施の形態の演算回路28には第1の実施の形態と同様にキャリブレーション動作検出手段28aと、スレーブマニピュレータ位置検出手段28bと、位置ズレ量検出手段28cと、CPU28eとが設けられている。さらに、CPU28eにはキャリブレーション作業時にマスターマニピュレータ3の位置検出用の座標系をスレーブマニピュレータ2の現在位置に合わせて位置ズレ量を補完する状態に再構築する座標補完手段31が接続されている。
【0051】
そして、本実施の形態のマニピュレータ制御装置1では使用開始時にスレーブマニピュレータ2の位置と、マスターマニピュレータ3の位置とを対応させるキャリブレーション動作は図10のフローチャートにしたがって行われる。
【0052】
まず、キャリブレーション動作の開始時にはステップS11で、図11(A)に示す現在のマスターマニピュレータ3の座標系(X−Y−Z)と、図11(B)に示す現在のスレーブマニピュレータ2の座標系(X−Y−Z)とを対応させる動作が行われる。このとき、スレーブマニピュレータ位置検出手段28bによって左右のスレーブマニピュレータ2a,2bの現在位置(Xs、Ys、Zs、θxs、θys、θzs)が検出される。そして、次のステップS12で、左右のスレーブマニピュレータ2a,2bが図11(B)に示すように原点位置Os(X方向の位置Xs=0、Y方向の位置Ys=0、Z方向の位置Zs=0、X軸回り方向の回動角度θxs=0、Y軸回り方向の回動角度θys=0、Z軸回り方向の回動角度θzs=0)に移動される。
【0053】
その後、次のステップS13で、左右のスレーブマニピュレータ2a,2bが原点位置Osか否かが判断される。このステップS13で、左右のスレーブマニピュレータ2a,2bが原点位置Osではないと判断された場合にはステップS12に戻される。そして、ステップS13で、左右のスレーブマニピュレータ2a,2bが原点位置Osと確認された場合には次のステップS14に進む。
【0054】
このステップS14では図11(A)に示すマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)が検出される。このとき、位置ズレ量検出手段28cによってキャリブレーション動作の開始時のマスターマニピュレータ3a,3bの現在位置(Xm、Ym、Zm、θxm、θym、θzm)とスレーブマニピュレータ2a,2bの現在位置(Xs、Ys、Zs、θxs、θys、θzs)との間の位置ズレ量が検出される。
【0055】
その後、次のステップS15に進む。このステップS15ではマスターマニピュレータ3のロックが解除状態か、否かが判断される。ここで、フットスイッチ23のペダル23aを踏むことにより、マスターマニピュレータ3のロックが解除される。この状態では左右のマスターマニピュレータ3a,3bがX軸方向(左右方向)、Y軸方向(上下方向)、Z軸方向(前後方向)にそれぞれ移動可能、かつX軸の軸回り方向、Y軸の軸回り方向、Z軸の軸回り方向にそれぞれ回動可能な状態にそれぞれ切換えられるとともに、左右のマスターマニピュレータ3a,3bの2つのハンドル部材15a,15b間が開閉動作可能な状態にそれぞれ切換えられる。
【0056】
そして、ステップS15で、ロックが解除されていないと判断された場合にはステップS14に戻される。また、ステップS15で、ロック解除状態と判断された場合には次のステップS16に進む。
【0057】
このステップS16では図12中に点線で示すマスターマニピュレータ3の位置検出用の座標系(X−Y−Z)を図11(B)に示すスレーブマニピュレータ2の座標系(X−Y−Z)に合わせて回転させ、位置ズレ量を補完する図12中に実線で示す新座標系(X1−Y1−Z1)に再構築する座標補完作業が行われる。
【0058】
その後、次のステップS17で、マスターマニピュレータ3の新座標系(X1−Y1−Z1)と、スレーブマニピュレータ2の座標系(X−Y−Z)とが等しいか、否かが判断される。ここで、マスターマニピュレータ3の新座標系(X1−Y1−Z1)と、スレーブマニピュレータ2の座標系(X−Y−Z)とが等しくないと判断された場合にはステップS16に戻される。また、ステップS17で、マスターマニピュレータ3の新座標系(X1−Y1−Z1)と、スレーブマニピュレータ2の座標系(X−Y−Z)とが等しいと判断された場合にはこのマスターマニピュレータ3の新座標系(X1−Y1−Z1)を元にマスターマニピュレータ3の位置、姿勢情報が作成されてスレーブマニピュレータ2側にその情報データが送信され、キャリブレーション動作が終了する。
【0059】
さらに、このキャリブレーション動作の終了後、第1の実施の形態のマニピュレータ制御装置1と同様の手順によって診断・処置等の手術が開始される。
【0060】
そこで、本実施の形態ではキャリブレーション作業時にはスレーブ制御部25の演算回路28における座標補完手段31によってマスターマニピュレータ3の位置検出用の座標系(X−Y−Z)をスレーブマニピュレータ2の現在位置に合わせて位置ズレ量を補完する状態に再構築した新座標系(X1−Y1−Z1)を作るようにしたので、キャリブレーション作業時にスレーブマニピュレータ2を動かすこと無く、かつマスターマニピュレータ3の開始位置がずれたままの状態で診断・処置等の手術を開始させることができる。そのため、マスターマニピュレータ3とスレーブマニピュレータ2との位置・姿勢のキャリブレーションの作業時に格別にスレーブマニピュレータ2を動かす必要が無いので、スレーブマニピュレータ2の駆動機構であるスレーブ駆動部6側に作用する機械的な負荷を軽減させることができ、システム全体の耐久性の向上を図ることができる。さらに、キャリブレーション作業時にスレーブマニピュレータ2や、マスターマニピュレータ3の動きによって操作者に違和感を与えることがない、安定したキャリブレーション作業を行うことができる。
【0061】
なお、本発明は上記実施の形態に限定されるものではない。例えば、キャリブレーション作業時にスレーブマニピュレータ2の移動が可能な動作範囲内で、この動作範囲の中心位置から一定量離れた所定の設定範囲に位置整合動作の制御実行範囲を予め設定し、スレーブマニピュレータ2の現在位置が制御実行範囲外である場合には位置整合動作を行わずにスレーブマニピュレータ2の現在位置が制御実行範囲外である状態を報知する報知手段を設けてもよい。この場合には、キャリブレーション作業時にスレーブマニピュレータ2の現在位置が制御実行範囲外である場合には報知手段によってその状態を報知することができるので、無駄な位置整合動作を行わずに済む効果がある。
【0062】
さらに、その他、本発明の要旨を逸脱しない範囲で種々変形実施できることは勿論である。
次に、本出願の他の特徴的な技術事項を下記の通り付記する。
記
(付記項1) マスタ開始位置のズレを検出するズレ量検出手段と、ズレた差分をマスタスレーブ操作開始時に任意のスピードでキャリブレーションを実行するスローキャリブレーション手段を備えたマスタースレーブ装置。
【0063】
(付記項2) マスタ開始位置のズレを検出するズレ量検出手段と、前記ズレ値からマスタの座標系を再構築する座標補完手段を備えたマスタースレーブ装置。
【0064】
(付記項3) 可動範囲の中心より、一定量離れた位置の場合、キャリブレーションを行わず、範囲外であることを報知する報知手段を備えた1、または2のマスタースレーブ装置。
【0065】
(付記項1〜3の従来技術) マスターマニピュレータの開閉角度を任意の固定倍率でデータ変換後スレーブマニピュレータ開閉角度として扱っている。
【0066】
(付記項1、3が解決しようとする課題) マスタとスレーブの操作開始時にマスタのズレ量がスレーブに即座に反映される為、メカ的負荷がかかる。
【0067】
(付記項2、3が解決しようとする課題) ズレの位置合わせによる移動により、操作者に違和感を与えてしまう。
【0068】
(付記項1、3の目的) マスタとスレーブの位置・姿勢のキャリブレーションでメカの負荷を軽減させる制御方法の提供。
【0069】
(付記項2、3の目的) 操作者に違和感を与えない制御方法の提供。
【0070】
【発明の効果】
請求項1の発明によれば、マスターマニピュレータの動作開始時にマスターマニピュレータの現在位置とスレーブマニピュレータの現在位置との間の位置ズレ量を検出する位置ズレ量検出手段を設けるとともに、この位置ズレ量検出手段からの検出結果にもとづいてマスターマニピュレータの位置とスレーブマニピュレータの位置とを整合させるキャリブレーション作業時にスレーブマニピュレータの駆動機構に作用する機械的な負荷を低減させる負荷低減手段けたので、マスターマニピュレータとスレーブマニピュレータとの位置・姿勢のキャリブレーションの作業時にスレーブマニピュレータの駆動機構側に作用する機械的な負荷を軽減させることができ、システム全体の耐久性の向上を図ることができる。
【0071】
請求項2の発明によれば、キャリブレーション作業時に減速手段によってスレーブマニピュレータの移動速度をスレーブマニピュレータ駆動機構の機械的な負荷が低減できる程度に減速することができる。これにより、マスターマニピュレータとスレーブマニピュレータとの位置・姿勢のキャリブレーションの作業時にスレーブマニピュレータの駆動機構側に作用する機械的な負荷を軽減させることができる。
【0072】
請求項3の発明によれば、キャリブレーション作業時に座標補完手段によってマスターマニピュレータの位置検出用の座標系をスレーブマニピュレータの現在位置に合わせて位置ズレ量を補完する状態に再構築するようにしたので、マスターマニピュレータとスレーブマニピュレータとの位置・姿勢のキャリブレーションの作業時にスレーブマニピュレータの駆動機構側に作用する機械的な負荷を軽減させることができる。
【0073】
請求項4の発明によれば、キャリブレーション作業時にスレーブマニピュレータの移動が可能な動作範囲内で、動作範囲の中心位置から一定量離れた所定の設定範囲に位置整合動作の制御実行範囲を予め設定し、スレーブマニピュレータの現在位置が制御実行範囲外である場合には位置整合動作を行わずに報知手段によってスレーブマニピュレータの現在位置が制御実行範囲外である状態を報知するようにしたので、キャリブレーション作業時にスレーブマニピュレータの現在位置が制御実行範囲外である場合にはその状態を確実に確認することができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態におけるマニピュレータ制御装置のシステム全体の概略構成図。
【図2】 第1の実施の形態のマニピュレータ制御装置におけるマスターマニピュレータの操作部を一部断面にして示す側面図。
【図3】 第1の実施の形態のマニピュレータ制御装置におけるスレーブマニピュレータの先端把持部を示す要部の斜視図。
【図4】 第1の実施の形態のマニピュレータ制御装置の使用状態を示す全体の概略構成図。
【図5】 第1の実施の形態のマニピュレータ制御装置におけるスレーブ制御部の演算回路の概略構成図。
【図6】 第1の実施の形態のマニピュレータ制御装置におけるキャリブレーション動作を説明するためのフローチャート。
【図7】 第1の実施の形態のマニピュレータ制御装置におけるマスターマニピュレータの現在位置を説明するための説明図。
【図8】 第1の実施の形態のマニピュレータ制御装置におけるスレーブマニピュレータの動作を説明するもので、(A)はスレーブマニピュレータのキャリブレーション動作開始位置を説明するための説明図、(B)はスレーブマニピュレータのキャリブレーション位置を説明するための説明図。
【図9】 本発明の第2の実施の形態のマニピュレータ制御装置におけるスレーブ制御部の演算回路の概略構成図。
【図10】 第2の実施の形態のマニピュレータ制御装置におけるキャリブレーション動作を説明するためのフローチャート。
【図11】 第2の実施の形態のマニピュレータ制御装置におけるマスターマニピュレータの動作を説明するもので、(A)はマスターマニピュレータの動作開始位置を説明するための説明図、(B)はマスターマニピュレータのキャリブレーション状態を説明するための説明図。
【図12】 第2の実施の形態におけるマニピュレータ制御装置のスレーブマニピュレータの動作開始位置を説明するための説明図。
【図13】 従来の手術用マニピュレータシステムの概略構成図。
【符号の説明】
2 スレーブマニピュレータ
3 マスターマニピュレータ
6 スレーブ駆動部(スレーブマニピュレータの駆動機構)
20 マスター制御部
21 位置検出装置
25 スレーブ制御部
28c 位置ズレ量検出手段
28d スレーブ駆動部の減速手段(負荷低減手段)
31 座標補完手段(負荷低減手段)
Claims (4)
- 術野にアクセスするように設置されたスレーブマニピュレータと、
術者が操作できる領域内に設置され、前記スレーブマニピュレータを遠隔的に操作するマスターマニピュレータと、
このマスターマニピュレータに接続され、前記マスターマニピュレータの操作を電気信号に変換するマスター制御部と、
前記スレーブマニピュレータおよび前記マスター制御部にそれぞれ接続され、前記マスター制御部から送られる前記マスターマニピュレータの操作に追従した動きを前記スレーブマニピュレータに伝達する制御信号を出力するスレーブ制御部と、
前記マスターマニピュレータの動作開始時に前記マスターマニピュレータの現在位置と前記スレーブマニピュレータの現在位置との間の位置ズレ量を検出する位置ズレ量検出手段と、
この位置ズレ量検出手段からの検出結果にもとづいて前記マスターマニピュレータの位置と前記スレーブマニピュレータの位置とを整合させるキャリブレーション作業時に前記スレーブマニピュレータの駆動機構に作用する機械的な負荷を低減させる負荷低減手段と
を具備したことを特徴とするマニピュレータ制御装置。 - 前記負荷低減手段は、前記キャリブレーション作業時に前記スレーブマニピュレータの移動速度を前記スレーブマニピュレータ駆動機構の機械的な負荷が低減できる程度に減速する減速手段によって形成されていることを特徴とする請求項1に記載のマニピュレータ制御装置。
- 前記負荷低減手段は、前記キャリブレーション作業時に前記マスターマニピュレータの位置検出用の座標系を前記スレーブマニピュレータの現在位置に合わせて前記位置ズレ量を補完する状態に再構築する座標補完手段によって形成されることを特徴とする請求項1に記載のマニピュレータ制御装置。
- 前記負荷低減手段は、前記キャリブレーション作業時に前記スレーブマニピュレータの移動が可能な動作範囲内で、前記動作範囲の中心位置から一定量離れた所定の設定範囲に位置整合動作の制御実行範囲を予め設定し、前記スレーブマニピュレータの現在位置が前記制御実行範囲外である場合には前記位置整合動作を行わずに前記スレーブマニピュレータの現在位置が前記制御実行範囲外である状態を報知する報知手段を備えたことを特徴とする請求項1に記載のマニピュレータ制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33311299A JP4422257B2 (ja) | 1999-11-24 | 1999-11-24 | マニピュレータ制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33311299A JP4422257B2 (ja) | 1999-11-24 | 1999-11-24 | マニピュレータ制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001145638A JP2001145638A (ja) | 2001-05-29 |
JP4422257B2 true JP4422257B2 (ja) | 2010-02-24 |
Family
ID=18262429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33311299A Expired - Fee Related JP4422257B2 (ja) | 1999-11-24 | 1999-11-24 | マニピュレータ制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4422257B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5028219B2 (ja) * | 2007-10-30 | 2012-09-19 | オリンパスメディカルシステムズ株式会社 | マニピュレータ装置および医療機器システム |
JP6188603B2 (ja) * | 2014-02-27 | 2017-08-30 | オリンパス株式会社 | 医療用システム |
JP6278747B2 (ja) * | 2014-02-28 | 2018-02-14 | オリンパス株式会社 | マニピュレータのキャリブレーション方法、マニピュレータ、およびマニピュレータシステム |
JP7268579B2 (ja) * | 2019-11-01 | 2023-05-08 | コベルコ建機株式会社 | 油圧作業機及び遠隔操縦システム |
-
1999
- 1999-11-24 JP JP33311299A patent/JP4422257B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001145638A (ja) | 2001-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11969147B2 (en) | System and method for multi-mode imaging device control | |
JP3339953B2 (ja) | 医療用マスタースレーブ式マニピュレータ | |
JP5946784B2 (ja) | 外科用視覚化方法、システムおよびデバイス、ならびにデバイス操作 | |
JP5101519B2 (ja) | ロボット手術システムの機器インターフェース | |
EP2338432B1 (en) | Surgical robotic tools, data architecture, and use | |
US6587750B2 (en) | Removable infinite roll master grip handle and touch sensor for robotic surgery | |
US8583274B2 (en) | Method for graphically providing continuous change of state directions to a user of medical robotic system | |
JP2002059380A (ja) | マスタースレーブ装置 | |
JP2020065644A (ja) | 手術支援装置、その制御方法及びプログラム | |
JP2001276091A (ja) | 医療用マニピュレータ | |
KR102097782B1 (ko) | 복강경 수술장치 | |
JP3717552B2 (ja) | 医療用マニピュレータシステム | |
JP2020065904A (ja) | 手術支援装置 | |
JP4422257B2 (ja) | マニピュレータ制御装置 | |
JP3628742B2 (ja) | 医療用マニピュレータ | |
JP2020065910A (ja) | 手術支援装置 | |
JP2001150368A (ja) | マニピュレータ制御装置 | |
JP4346615B2 (ja) | 医療用マニピュレータ | |
EP1897511B1 (en) | Surgical robotic tools, data architecture, and use | |
JPH08224246A (ja) | 医療用マニピュレータ | |
JP4472072B2 (ja) | マニピュレータ制御装置 | |
JPH08196541A (ja) | 手術用マニピュレータ | |
JP2001334481A (ja) | マニピュレータ制御装置 | |
JP2001346808A (ja) | マニピュレータ制御装置 | |
JP2001145637A (ja) | マニピュレータ制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |