JP5295555B2 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP5295555B2 JP5295555B2 JP2007318658A JP2007318658A JP5295555B2 JP 5295555 B2 JP5295555 B2 JP 5295555B2 JP 2007318658 A JP2007318658 A JP 2007318658A JP 2007318658 A JP2007318658 A JP 2007318658A JP 5295555 B2 JP5295555 B2 JP 5295555B2
- Authority
- JP
- Japan
- Prior art keywords
- bending
- unit
- endoscope
- distal end
- map information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005452 bending Methods 0.000 claims abstract description 208
- 238000003780 insertion Methods 0.000 claims abstract description 93
- 230000037431 insertion Effects 0.000 claims abstract description 93
- 238000003860 storage Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000005389 magnetism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 46
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 238000005286 illumination Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
- A61B1/0052—Constructional details of control elements, e.g. handles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
このように湾曲部を備えた内視鏡においては、挿入部の後端側からワイヤの牽引、弛緩により行われるが、湾曲の操作性を向上するために湾曲駆動手段としてモータの駆動力を利用した電動湾曲方式の内視鏡も実現されている。
しかし、腸管のように内視鏡検査を行おうとする部位が屈曲した体腔内の場合には、内視鏡先端を目標の位置に移動、目標とするライン(例えば、腸管の中心線)を通過させることは経験の浅いドクタにとって難しい操作である。
湾曲部を備えた内視鏡においては、何回も湾曲動作を行うとワイヤの伸びが発生してしまうことがある。
そうすると、手元側での湾曲操作量と、内視鏡先端側側での湾曲量とにずれが発生し、湾曲部を湾曲させる精度が低下する。
このため、モータの回転位置から決定される内視鏡湾曲部の形状及び先端方向には誤差が伴う。
上記パラメータ記憶手段には、湾曲指示部において上下左右のどの方向に操作されたのか、内視鏡システムの生産直後から総湾曲指示操作回数nのデータが格納されている。 この従来例は、予め、湾曲回数に応じた(駆動信号の)パルス幅を設定しメモリに格納しておき、メモリに格納した設定情報を用いて湾曲動作を行う技術を開示している。
このため、より精度良く湾曲制御することができるシステムが望まれる。
本発明は上述した点に鑑みてなされたもので、挿入部の先端側の湾曲部を予め湾曲させて生成した3次元的湾曲情報を利用して、湾曲制御を精度良く行うことができる内視鏡システムを提供することを目的とする。
前記湾曲部を電気的に湾曲駆動する湾曲駆動部と、
前記挿入部の先端側における湾曲部の後端付近の位置を基準位置として、前記湾曲部を湾曲させた場合における湾曲方向を含む湾曲量と、前記湾曲量に対応する挿入部先端の3次元位置及び方向とを関連付けてデータ化したマップ情報を格納するマップ情報格納部と、
前記挿入部の先端の位置及び方向を検出する位置・方向検出部と、
前記マップ情報を用いて前記挿入部の先端を目標とする目標方向に指向させるように前記湾曲駆動部の湾曲駆動を制御する湾曲制御部と、
を備えたことを特徴とする。
図1から図18は本発明の実施例1に係り、図1は本発明の実施例1の内視鏡システムの構成を使用例の状態で示し、図2は内視鏡装置の外観例を示し、図3は内視鏡の内部構成を示し、図4は挿入部の先端側のコイルの配置例を示し、図5は検出される挿入形状を示す。
図6A〜図6Cは挿入形状データ、フレームデータ、コイル座標データの例を示し、図7はPC本体の機能的なブロック構成を示し、図8はメイン処理部の機能的なブロック構成を示し、図9はマップを作成する処理手順を示し、図10はマップデータを作成する説明図を示す。
図15は内視鏡先端のUp方向をy軸方向に一致させる説明図を示し、図16はクォータニオンを用いる作用の説明図を示し、図17は現在の内視鏡先端の設定状態から目標位置に湾曲させるための目標プーリアングルを算出する説明図を示し、図18は内視鏡先端により襞を押さえつける様子を示す。
図1に示すように内視鏡2は、ベッド12に横たわる被検体としての患者13の体腔内(管腔内)に挿入される細長の挿入部9と、その後端に設けられた操作部14とを有する。この操作部14から延出されたユニバーサルケーブル15の端部のコネクタは、照明光を発生する光源装置3と、信号処理を行う信号処理装置としてのプロセッサ4とに接続される。
操作部14には、術者20が所望とする方向に湾曲部18を湾曲指示操作を行う湾曲指示操作手段としての例えばジョイスティック21が設けてある。そして、術者20は、このジョイスティック21を操作することにより、この操作部14内部に設けられた電気的な湾曲駆動手段を形成するモータユニット22を介して、湾曲部18を電気的に湾曲することができる。
また、図1に示すように、挿入部9がその軸の回りで捻られた(ひねられた)場合の捻り量を検出できるように、挿入部9における例えば後端側の外周面に捻り量検出ユニット23が設けてある。
なお、図1における内視鏡装置6としては、例えば図2に示すような外観である。この図2では、PC本体7は内視鏡2内のモータユニット22の制御ユニットとして内視鏡装置6を構成している。
また、図1では内視鏡2にジョイスティック21が用いられているが、図2に示すようにジョイパッドで湾曲指示操作手段を形成しても良い。
図3に示すように、挿入部9内には照明光を伝送するライトガイド31が挿通され、このライトガイド31は、図1或いは図2に示す操作部14,ユニバーサルケーブル15を経てその後端が光源装置3に接続される。
そして、照明窓からこの挿入部9の長手軸の前方側に出射される照明光により、挿入部9が挿入される体腔内における長手軸の前方側を照明する。図3に示すように照明窓に隣接して設けられた観察窓には、光学像を結ぶ対物レンズ32が取り付けられており、その観察視野或いは撮像範囲は照明光で照明される。
光学像を結ぶ対物レンズ32と、その結像位置に配置された固体撮像素子としての例えばCCD33とにより撮像装置34が形成されている。
なお、この内視鏡画像信号は、画像処理及びモータ制御(或いは湾曲制御)を行う画像処理/モータ制御装置としてのPC本体7にも入力され、挿入部9の先端を体腔内の走行方向に挿入させるための位置情報の検出の画像処理に利用される。
なお、コイル36a、36b、36c、36d…は、例えば磁気を発生する磁気発生用コイルにより形成されている。そして、これらのコイル36a、36b、36c、36d…の各コイル位置を検出することによって、挿入部9の挿入形状を算出することができる。
このように挿入部9の先端側に配置されたコイル36a、36b、36c、36dの位置を検出することにより先端部10及び湾曲部18の湾曲形状を検出できる。なお、図3に示すコイル配置の場合に限定されるものでない。
後述するようにこの湾曲部18の後端の位置(図3の図示例ではコイル36dの位置)を基準位置として、予め湾曲部18を上下、左右の湾曲可能な全ての湾曲方向に湾曲させ、その湾曲させた場合における湾曲駆動手段の駆動位置(具体例ではプーリアングル)と、挿入部9の先端の3次元位置及びその方向とを関連付けるマップを生成する。
そして、このマップの情報を利用することにより、現在の挿入部9の先端の位置及びその方向から、暗部等、湾曲したい目標位置の方向に挿入部9の先端側を向けるように湾曲させる制御を、精度良く、かつ短時間に行えるようにする。
図4は、挿入部9の先端側を拡大して、その先端側に配置されたコイル36a、36b、36c、36d…が配置されている。
このような配置にすることにより、各コイル36a、36b、36c、36d、36a′…の位置を検出することにより、先端部10の位置及びその軸方向の他に、先端部10の軸周りの方位(Up方向やCCD33の上方向)も、内視鏡挿入形状として検出(推定)することができる。
このように、コイル位置検出手段により、内視鏡先端側の挿入形状をその湾曲方向の情報を含めて検出することにより、その状態における湾曲部18の湾曲状態も検出(推定)できる。そして、暗部など目標位置の方向に、先端側が向くように湾曲部18を湾曲制御することを行い易くする。
また、図1に示すUPD装置11は、コイル36a、36b、36c…を所定の周波数のドライブ信号の印加により磁界を発生させる図示しないUPDドライブ回路と、磁界を検出するためにそれぞれ所定の位置関係で配置された複数のセンスコイルからなる磁界検出用のセンスコイルユニットとを備えている。
また、このUPD装置11は、複数のセンスコイルによる検出信号から各コイル36a、36b、36c、…の位置を検出(算出)する位置検出部と、各コイル36a、36b、36c、…の位置情報から挿入部9(内視鏡2)の挿入形状の算出処理と、算出された挿入形状の表示処理を行う挿入形状算出・表示処理回路と、その挿入形状を表示する図示しない形状表示モニタとを備えている。
なお、図1に示すように挿入部9の捻り量を検出する捻り量検出ユニット23は、図3に示すようなコイル36a′を設けて先端部10の方位(Up方向)を検出可能とした場合には、必要不可欠となるものではない。
図5は、UPD装置11により生成される挿入形状の1例を示す。この図5に示すように3次元の座標系で例えばjフレーム(ただし、j=0、1、2…)におけるコイル36a、36b、36c、…の位置(Xji,Yji,Zji)(ここで、i=a,b…,m)が算出され、それらを結ぶことにより、挿入形状が生成される。
そして、挿入状態情報としての各フレームデータは、図6Bに示すように、挿入形状データの作成時刻、表示属性、付属情報及びコイルの3次元座標データ(コイル座標データ)等のデータを有して構成されている。
また、コイル座標データは、図6Cに示すように、挿入部9の先端側から基端側(操作部14側)に順次配置されたコイル36a、36b、36c、36d…の3次元座標をそれぞれ示すデータである。
このため、内視鏡画像から検出される管腔内の暗部(管腔暗部ともいう)の位置情報は、ワールド座標系に変換される。なお、この暗部の位置情報は、管腔の走行方向に対応するため、その位置情報が挿入部先端を管腔の深部側に挿入(導入)すべき目標位置若しくは湾曲すべき湾曲方向の目標位置となる。
なお、先端部10に設けられた撮像装置34による観察方向(撮像方向)は、この内視鏡2においては挿入部9の長手軸と平行であり、上記挿入方向或いは湾曲方向は、撮像装置34による観察方向と同じ方向となる。
図3に模式的に示すように湾曲部18は、その長手方向に複数の湾曲駒が回動自在に連結して構成されている。また、挿入部9内には、上下、左右の湾曲方向に沿って湾曲ワイヤ41u、41d、41l、41rが挿通されている。そして、これらの湾曲ワイヤ41u、41d、41l、41rの後端は、例えば操作部14内に配置されたモータユニット22を構成するプーリ42a、42bに連結されている。
操作部14内には上下方向の湾曲ワイヤ41u、41dの両端が連結されたワイヤが巻装されたプーリ42aと、左右方向の各湾曲ワイヤ41l、41rの両端が連結されたワイヤが巻装されたプーリ42bが設置されている。
そして、モータ43a,43bによりプーリ42a,42bを回転することによって、湾曲ワイヤ41u、41d、41l、41rを牽引/弛緩(押し引き)して湾曲部18を電気的に湾曲駆動する電気的湾曲駆動手段が構成されている。
モータ43a,43bを介してプーリ42a,42bを回転させる回転量に応じて湾曲部18の湾曲量が対応するため、プーリ42a,42bの回転量をプーリアングル或いはプーリ角という。
そして自動湾曲制御モードの場合においては、モータユニット22内のモータ43a、43bは、PC本体7側からのUPD装置11による目標位置の推定結果と、現在の(内視鏡)先端部10側の位置及び方向から後述するマップの情報を用いて湾曲駆動を制御する。つまり、PC本体7は、湾曲制御手段の機能を持つ。
この他にPC本体7は、画像処理により、湾曲させたい方向に相当する目標位置の算出の処理を行う。
このため、ジョイスティック21には、例えば上下方向と左右方向への傾動操作量を検出する図示しないエンコーダ或いはポテンショメータ等が設けてあり、湾曲指示値、方向の指示情報を出す。この場合には、PC本体7は、単に湾曲指示値にエンコーダ出力が一致するように湾曲制御する。
また、UPD装置11によるコイル座標と方向の情報は、コイル情報取得スレッド53を介してメモリ52内に、内視鏡形状パラメタ、具体的には、コイル座標位置、コイル方向、先端Up方向のデータとして格納される。
そして、内視鏡画像のデータと内視鏡形状パラメタのデータは、CPUにより形成されるメイン処理部(或いはメインスレッド)55に出力される。
なお、CPUは、このメイン処理部55の処理だけでなく、他の処理、例えば後述する湾曲量制御スレッド56の処理を行う構成であっても良いし、図7に示すメイン処理部55が湾曲量制御スレッド56の処理を行う構成であっても良い。
この湾曲量パラメタとしては、現在のプーリアングルから目標位置の方向に設定すべきプーリアングルとしての設定プーリアングルである。この設定プーリアングルは、例えば差分値による相対プーリアングルとなる(後述)。
なお、図7において点線で示すように、捻り量検出ユニット23が用いられた場合には、捻り量検出ユニット23により検出される相対捻り量が、捻り量取得スレッド57を介してメモリ52内における例えば内視鏡形状パラメタのデータの1つとして相対捻り量のデータとして格納される。
また、本実施例では、メモリ52には、上下、左右のプーリアングルの各位置と、内視鏡先端の3次元的な位置及び方向との関係を予め計測してデータ化したデータマップ(ルックアップテーブル)58の情報も格納される。つまり、このメモリ52は、マップ情報の格納手段を形成する。
これにより、このマップ58のデータ(マップ情報ともいう)は、同じ内視鏡2の場合に任意の湾曲状態(プーリアングル)で共通に利用が可能となる。
なお、本実施例においては、湾曲部18が、例えば上下方向と左右方向、さらに上方向と下方向とで湾曲可能な範囲(最大プーリアングル)が異なる場合にも対応できるマップ情報である。
このため、このマップ情報は、所定の湾曲方向を基準方向としてそのデータ値が生成されている。本実施例においては、例えば上(U或いはUp)方向の湾曲を、マップ58のy軸に設定して、マップ情報を生成する(後述する)。
そして、メイン処理部55は、図8にて説明するようにこのマップ情報を利用して、現在の内視鏡先端の形状情報から目標とする目標位置の方向に湾曲部18を湾曲させるプ−リアングルを算出して、メモリ52を介して湾曲量制御スレッド56に送る。
湾曲量制御スレッド56は、算出されたプーリアングルをモータ電圧(より具体的には、UDモータ電圧値、RLモータ電圧値)に変換してモータユニット22のUDモータ43a,RLモータ43bに出力する。
図8は、メイン処理部55による機能的な構成を示す。
画像内目標位置検出部55aは、内視鏡画像から内視鏡画像内における管腔の走行方向に相当する暗部の中心の位置(或いは重心の位置)を2次元の位置情報として検出する。 この暗部の位置は、CCD33の画素サイズ、焦点距離等の値を考慮して検出される。そして、その時刻における挿入部9の先端位置に対する暗部の位置の情報から、その方向が挿入部先端(内視鏡先端)の挿入方向として検出される。
なお、画像内目標位置検出部55aで検出された目標位置は、画像内目標位置検出部55a内の座標系変換部によりワールド座標系の目標位置に変換される。
そして、変換された目標位置は、湾曲量算出或いはプーリアングル算出を行う湾曲量算出部(プーリアングル算出部)55dに出力される。
この湾曲量算出部55dには、内視鏡形状処理部55bにより、内視鏡各部の位置、方向の情報が入力される。
そして、この湾曲量算出部55dは、入力される情報における内視鏡先端の位置及び方向の情報から、マップ情報を参照して、現在の内視鏡先端の湾曲状態を算出する。
また、湾曲量算出部55dは、現在の湾曲状態を算出した後、この湾曲状態から目標位置の方向に内視鏡先端を湾曲させるためのプーリアングルを、マップ情報を参照して算出する。
算出されたプーリアングルは、設定プーリアングルとしてメモリ52を経て湾曲量制御スレッド56に出力される。そして、この湾曲量制御スレッド56は、設定プーリアングルからモータ電圧(UDモータ電圧、RLモータ電圧)に変換してモータユニット22内のUDモータ43a、RLモータ43bに印加する。
UDモータ43a、RLモータ43bの回転駆動により、湾曲部18は、内視鏡先端が目標位置の方向に一致するように湾曲される。
次に図9を参照して湾曲制御に利用されるマップ58の作成の処理を説明する。なお、このマップ58の作成は、例えば内視鏡の工場出荷前に行われる。
図9に示すように最初のステップS1においてマップ作成者は、上下方向のプーリアングルθ1,左右方向のプーリアングルθ2により、上下左右方向に対応したプーリアングル(θ1,θ2)をセットする。
図10において、(0,0)を原点として、上下方向(Up,Dで示している)のプーリアングルθ1と左右(L,Rで示している)方向のプーリアングルθ2を、実際に使用される内視鏡2の湾曲特性の範囲内でセット可能になる。
例えば、図10において上下方向のプーリアングルθ1はθDmからθUmまで、左右方向はθLmからθRmまでが実際に設定可能なプーリアングル範囲となる。なお、この場合、θDm、θLmは負値で定義されることになる。また、本実施例では図10に示すように上方向(Up方向)が、例えばy軸に設定されている。
なお、フローチャート(ステップS4)では、グリッド間のプーリアングル値のオフセット値Δθを用いている。
ステップS1でセットしたプーリアングル(θ1i,θ2j)の状態で、ステップS2に示すようにマップ作成者は、内視鏡基準位置と内視鏡先端位置における座標と方向を測定する。
図11はプーリアングル(θ1i,θ2j)の状態で、ステップS2に示す処理により、内視鏡基準位置座標(Xo,Yo,Zo)と内視鏡先端位置座標(Xij,Yij,Zij)と、その場合の各方向Do,Dijの1例を示す。なお、この場合、各方向、例えばDoとしては、その位置での軸方向の情報を持つが、湾曲の特定方向(具体的には湾曲の上方向)を基準とする。
具体的には、図10のプーリアングル(θ1i,θ2j)のグリッド点上の位置(マップ位置、或いはマップデータ位置になる)に、内視鏡先端の相対座標(Xij−Xo,Yij−Yo,Zij−Zo)と、相対方向(Dij−Do)とを関連付けて書き込む。 ここでは、1つのプーリアングル(θ1i,θ2j)の場合で具体的に示したが、以下のステップを経てオフセット値Δθにより他のプーリアングル値に対しても同様の関連付けが行われることになる。
つまり、図11における内視鏡基準位置を原点に設定し、かつその場合の方向を0に設定した状態における内視鏡先端の位置座標及び方向の値が各プーリアングル(θ1i,θ2j)に関連付けて各マップデータ位置に書き込まれる。換言すると、内視鏡基準位置からの相対位置座標及び相対方向の値が、プーリアングルに関連付けられる。
次のステップS5においてプーリアングルθ1,θ2がその内視鏡のプーリアングルの範囲を超えたか否かの判断を行い、超えていない場合にはステップS1に戻り、ステップS1〜S5の処理を繰り返す。なお、実際には、上下方向のプーリアングルの範囲と、左右方向のプーリアングルの範囲間において、湾曲部18が湾曲可能な範囲に対してステップS1〜S5の処理が行われる。
このようにして、マップ58が作成される。このマップ58は、図10に示したような各マップ位置のプーリアングル(θ1i,θ2j)に、対応する内視鏡先端の相対座標(Xij−Xo,Yij−Yo,Zij−Zo)と、相対方向(Dij−Do)のデータとが関連付けて格納されたものとなる。
このように曲面として表示した場合のマップ58を内視鏡先端のD方向からU方向へ見た(マップの側面図の)場合、内視鏡先端のR方向からL方向へ見た(マップ側面図の)場合におけるマップ58は、それぞれ図12A、図12Bに示すになる。
なお、図12A、図12Bにおいて、各マップ位置には、内視鏡先端の方向を示す線分も3次元的に示している。
次に図13を参照して、(上述のように生成した)マップ情報を用いて本実施例におけるメイン処理部55による湾曲制御の処理動作を説明する。
最初にステップS11に示すように初期設定を行う。次のステップS12においてメイン処理部55は、コイル情報、つまり各コイル位置の情報を取得する。
次のステップS15においてCPUは、画像データのディストーションの補正を行う。これは、対物レンズ32が歪曲収差などを有するため、対物レンズ32により得られた画像データの歪み補正を行う。
次のステップS16においてCPUは、内視鏡画像から内視鏡先端を通過させようとする目標位置の検出を行う。具体的には管腔暗部の位置の検出を行う。
次のステップS17においてCPUは、ステップS16により検出された目標位置は、2次元の位置情報であるため上述したSFS法等を用いて3次元座標に変換する。
次のステップS19において、算出した目標プーリアングルから対応するモータ電圧を算出する。なお、この算出は、図7に示した構成例においては湾曲量制御スレッド56の処理として行う。算出されたモータ電圧は、モータユニット22のモータ43a、43bに印加され、モータ43a、43bの回転駆動により湾曲部18が湾曲駆動される。
次に図14を参照して目標プーリアングルの算出の処理を説明する。
最初のステップS21においてメイン処理部55を構成するCPUは、目標位置の座標を内視鏡基準位置を原点とする相対座標に変換する。
この図15に示すように内視鏡先端(ここでは先端コイルの具体例で示している)の位置Aは、マップ58(マップ曲面)上にあるが、その状態における内視鏡Up方向は、一般的にマップ58のUp方向と一致していない。
このため、内視鏡のUp方向を、マップ58のUp方向として予め設定されている例えばy軸に一致するように回転処理で変換する。なお、図15に示すように、この変換により、目標位置も矢印で示すように移動する。この回転処理は、クォータニオンを利用すると、容易に行える。
図16に示すようにこの回転角φにより先端コイル位置Aは、符号Bで示す位置に移動する。C軸を規定する方向ベクトルと回転角φをもとに生成されるクォータニオンを利用すると、先端コイル位置Aの位置の変換を容易に行うことができる。続いて、変換されたコイル位置Bの軸方向がZ軸に一致するように、同様の変換を行う。
図14におけるステップS22の処理の後、次のステップS23においてCPUは、目標位置の方向に相当するマップ座標系上の位置座標(例えば連続座標)を算出する。
具体的には、目標位置の方向を最も良く近似できるマップ上の位置(内視鏡先端位置及び先端方向)を特定する。このステップS23の処理が目標位置方向算出部を形成する。 このようにしてステップS21〜S23により目標位置の方向を近似できるマップ位置を算出した後、同様にステップS24〜S26により現在の内視鏡先端に対しても同様の処理により、対応するマップ上の位置を算出する。
具体的には、ステップS24においてCPUは、内視鏡先端の座標を、内視鏡基準位置を原点とする相対座標に変換する。次のステップS25においてCPUは、内視鏡のUp方向がy軸に一致し、かつ、コイル位置Bの軸方向がZ軸に一致するように変換する。 次のステップS26においてCPUは、内視鏡先端位置に相当するマップ座標系上の位置座標(例えば連続座標)を算出する。そして、このステップS26により現在の内視鏡先端位置が向く方向を算出できる。このステップS26が先端方向算出部を形成する。
また、ステップS23においても、目標位置に対応する目標位置用プーリアングル(θc,θd)が絶対プーリアングル値として算出される。
そして、これら両絶対プーリアングル値の差分値、つまり(θc−θa,θd−θb)が、現在の内視鏡先端の状態から目標位置の方向に湾曲制御する湾曲制御目標とする(図13のステップS18に示す)目標プーリアングルとして算出される。
このため、湾曲操作の繰り返しや経年変化により湾曲用のワイヤが伸びて、手元側での操作量が先端側での湾曲量と一致しないずれ(基準位置のずれ)が発生したような場合にも、相対値で湾曲駆動量を決定するので、精度の良い湾曲制御を行うことができる。
補足説明すると、例えば現在の内視鏡先端の位置及び方向から、湾曲の目標位置側に湾曲させる場合、手元側の実際のプーリアングルの値を用いないで、マップ58上の現在の内視鏡先端の位置及び方向に対応するプーリアングル値を用いる。
また、本実施例は、湾曲部18を湾曲させた場合の湾曲部18の3次元的な湾曲情報を予めデータ化したマップ58にしてあるので、このマップ58を用いないで、演算などを行うことにより、湾曲制御を行うことも可能になるが、そのような場合に比較して簡単な演算で湾曲制御が可能となる。
また、マップ58を用いない場合に比較して、短時間に湾曲方向及び湾曲量を算出できるので、応答性の良い湾曲制御が可能となる。
つまり、上下、左右の各方向において、湾曲部18を詳細に湾曲させた場合における多数のプーリアングル座標値と、各プーリアングル座標値に対応する、内視鏡先端の3次元位置及びその方向とをデータ化した(データ)マップ58を形成している。
例えば、図17に示すように、目標位置の座標からマップ58の座標系上でその目標位置の方向に相当する目標位置用プーリアングル(θc,θd)を算出する必要がある。この場合、各グリッド(格子点)上での位置及びプーリアングル値は、既知であるので、例えば複数のグリッド上での各方向と目標位置の方向とのずれ量を求める。
このように本実施例によれば、挿入部9の先端側の湾曲部18を湾曲させた場合の3次元的湾曲情報としてのマップ情報を用いることにより、精度良く湾曲制御ができる。
また、本実施例によれば、図18に示すように内視鏡先端により腸管等の襞を押さえつけるような手技を行い易い。
つまり、本実施例においては、マップ58により、内視鏡先端の位置及び方向を検出できるため、図18に示すように内視鏡先端(模式的に先端コイルで示している)で襞60を例えば矢印の方向に押さえつけるような手技を行い易くなる。
また、目標位置がマップ58の座標系上に位置するか、これに近い状態である場合には、マップ58上の現在の内視鏡先端の位置でのプーリアングル値と、目標位置に相当するマップ上の位置でのプーリアングル値の差分値分を目標プーリアングルとして算出することができる。
また、目標位置の方向の情報からマップ58上での対応するプーリアングルを算出する代わりに、目標位置の位置情報からマップ58上での対応するプーリアングルを算出するようにしても良い。
そして、内視鏡2がPC本体7と接続された場合、PC本体7内のメイン処理部55等の処理を行うCPU62が、そのマップ58の情報を読み出し、PC本体7のハードディスク63や不揮発性メモリ、メモリ52等に格納して、湾曲制御に使用するようにしても良い。
また、使用後は、PC本体7側でマップ58の情報を、内視鏡2が有するID情報と関連付けて保存するようにしても良い。
なお、内視鏡2は、その内視鏡2に固有のID情報を発生するID情報発生部(図19中ではIDと略記)64を備える。
図19では、ID情報がIDaの場合にはマップ情報MDaと対にして、ID情報がIDbの場合にはマップ情報MDbと対にしてマップ情報を格納する構成を示している。 そして、内視鏡2がPC本体7に接続された場合、CPU62は、内視鏡2のID情報を読み出し、このID情報に対応するマップ58の情報を用いて、湾曲制御を行うようにすることもできる。
本変形例によれば、さらにPC本体7に対して実際に接続使用される内視鏡2が異なる場合にも、その内視鏡2の場合の湾曲部18の湾曲に対応した3次元の湾曲情報としてのマップ情報を用いて、精度の良い湾曲制御が可能となる。その他は、実施例1と同様の効果を有する。
Claims (6)
- 湾曲可能な湾曲部が挿入部の先端側に形成された内視鏡と、
前記湾曲部を電気的に湾曲駆動する湾曲駆動部と、
前記挿入部の先端側における湾曲部の後端付近の位置を基準位置として、前記湾曲部を湾曲させた場合における湾曲方向を含む湾曲量と、前記湾曲量に対応する挿入部先端の3次元位置及び方向とを関連付けてデータ化したマップ情報を格納するマップ情報格納部と、
前記挿入部の先端の位置及び方向を検出する位置・方向検出部と、
前記マップ情報を用いて前記挿入部の先端を目標とする目標方向に指向させるように前記湾曲駆動部の湾曲駆動を制御する湾曲制御部と、
を備えたことを特徴とする内視鏡システム。 - 湾曲可能な湾曲部を有する挿入部を備えた内視鏡と、
前記湾曲部を電気的に湾曲駆動する湾曲駆動部と、
前記湾曲部の後端付近に設定された位置を基準位置として、前記湾曲部を湾曲させた場合における湾曲方向を含む湾曲量と、前記湾曲量に対応する挿入部先端の3次元位置及び方向とを関連付けてデータ化したマップ情報を格納するマップ情報格納部と、
前記挿入部先端の現在位置の指定により、現在の挿入部先端の方向を、前記マップ情報を用いて算出する先端方向算出部と、
前記挿入部先端を指向させようとする目標位置の方向を、前記マップ情報を用いて算出する目標位置方向算出部と、
前記マップ情報を用いて、前記先端方向算出部及び目標位置方向算出部との算出結果に基づいて現在の挿入部先端の状態から前記目標位置の方向に前記湾曲部を湾曲させるよう前記湾曲駆動部の湾曲駆動を制御する湾曲制御部と、
を備えたことを特徴とする内視鏡システム。 - さらに、前記内視鏡に設けられた撮像部により撮像した内視鏡画像から前記目標位置を算出することを特徴とする請求項2に記載の内視鏡システム。
- 前記湾曲制御部は、前記目標位置方向算出部により算出された方向と前記先端方向算出部により算出された方向との差分値に相当する角だけ、前記湾曲部を湾曲させる制御を行うことを特徴とする請求項2又は3に記載の内視鏡システム。
- さらに、前記挿入部に設けられた磁気発生用コイルの位置により前記挿入部先端の現在位置を検出することを特徴とする請求項2乃至4のいずれか1つの請求項に記載の内視鏡システム。
- 前記マップ情報は、前記内視鏡の識別情報と関連付けて前記マップ情報格納部に格納されることを特徴とする請求項1または2に記載の内視鏡システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007318658A JP5295555B2 (ja) | 2007-12-10 | 2007-12-10 | 内視鏡システム |
EP08021071A EP2070465B1 (en) | 2007-12-10 | 2008-12-04 | Endoscope system |
US12/330,994 US8308635B2 (en) | 2007-12-10 | 2008-12-09 | Endoscope system |
CN2008101793734A CN101455554B (zh) | 2007-12-10 | 2008-12-10 | 内窥镜*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007318658A JP5295555B2 (ja) | 2007-12-10 | 2007-12-10 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009136618A JP2009136618A (ja) | 2009-06-25 |
JP5295555B2 true JP5295555B2 (ja) | 2013-09-18 |
Family
ID=40385501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007318658A Active JP5295555B2 (ja) | 2007-12-10 | 2007-12-10 | 内視鏡システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8308635B2 (ja) |
EP (1) | EP2070465B1 (ja) |
JP (1) | JP5295555B2 (ja) |
CN (1) | CN101455554B (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8337397B2 (en) | 2009-03-26 | 2012-12-25 | Intuitive Surgical Operations, Inc. | Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient |
US10004387B2 (en) * | 2009-03-26 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Method and system for assisting an operator in endoscopic navigation |
WO2011040104A1 (ja) | 2009-09-30 | 2011-04-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び湾曲駆動制御方法 |
EP2347694B1 (en) * | 2009-09-30 | 2014-08-27 | Olympus Medical Systems Corp. | Endoscope apparatus |
ES2374904B1 (es) * | 2010-07-16 | 2013-01-30 | Juan Carlos Rivera García | Dispositivo de guiado automático del extremo distal de un fibrobroncoscopio/videobroncoscopio. |
WO2012014532A1 (ja) * | 2010-07-28 | 2012-02-02 | オリンパスメディカルシステムズ株式会社 | 内視鏡と、この内視鏡の挿通湾曲方法 |
JP5766940B2 (ja) * | 2010-12-01 | 2015-08-19 | オリンパス株式会社 | 管状挿入システム |
JP5341261B2 (ja) * | 2011-02-28 | 2013-11-13 | オリンパスメディカルシステムズ株式会社 | 湾曲装置 |
JP5159995B2 (ja) * | 2011-03-30 | 2013-03-13 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
US8900131B2 (en) * | 2011-05-13 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery |
CN103237490B (zh) * | 2011-07-28 | 2014-11-05 | 奥林巴斯医疗株式会社 | 内窥镜 |
CN104125795B (zh) * | 2012-05-23 | 2016-08-24 | 奥林巴斯株式会社 | 电子内窥镜*** |
JP6132585B2 (ja) * | 2013-02-21 | 2017-05-24 | オリンパス株式会社 | 被検体挿入システム |
KR102087595B1 (ko) * | 2013-02-28 | 2020-03-12 | 삼성전자주식회사 | 내시경 시스템 및 그 제어방법 |
CN103345055B (zh) * | 2013-06-18 | 2015-03-04 | 深圳市亚泰光电技术有限公司 | 内窥镜动力输入机构及内窥镜 |
WO2014203847A1 (ja) * | 2013-06-18 | 2014-12-24 | オリンパスメディカルシステムズ株式会社 | 挿入装置 |
JP5815156B2 (ja) | 2013-07-02 | 2015-11-17 | オリンパス株式会社 | 医療機器 |
JP6116426B2 (ja) * | 2013-07-25 | 2017-04-19 | オリンパス株式会社 | マニピュレータシステム |
JP6027947B2 (ja) * | 2013-07-26 | 2016-11-16 | オリンパス株式会社 | マニピュレータシステム |
CN103479320B (zh) * | 2013-09-25 | 2015-08-26 | 深圳先进技术研究院 | 主动式蛇形内窥镜机器人*** |
DK177984B9 (en) * | 2013-11-12 | 2015-03-02 | Simonsen & Weel As | Device for endoscopy |
JP2015154814A (ja) * | 2014-02-20 | 2015-08-27 | オリンパス株式会社 | マニピュレータシステムとその制御方法 |
JP2015181643A (ja) * | 2014-03-24 | 2015-10-22 | オリンパス株式会社 | 湾曲形状推定システム、管状挿入システム、及び、湾曲部材の湾曲形状推定方法 |
JP5861017B1 (ja) * | 2014-08-11 | 2016-02-16 | オリンパス株式会社 | 内視鏡システム |
CN107105968B (zh) * | 2014-12-19 | 2019-07-16 | 奥林巴斯株式会社 | 插拔辅助装置及插拔辅助方法 |
DE112014007273T5 (de) * | 2014-12-19 | 2017-11-02 | Olympus Corporation | Einfügung/Entfernung-Unterstützungsapparat und Einfügung/Entfernung-Unterstützungsverfahren |
EP3316759A4 (en) * | 2015-06-30 | 2019-05-22 | Canon U.S.A., Inc. | METHOD AND APPARATUS FOR CONTROLLING A MANIPULATOR |
JP6543128B2 (ja) * | 2015-07-29 | 2019-07-10 | オリンパス株式会社 | 内視鏡装置 |
WO2017217162A1 (ja) | 2016-06-16 | 2017-12-21 | 富士フイルム株式会社 | ナビゲーション装置及びナビゲーション方法、並びに内視鏡システム |
US20180117731A1 (en) * | 2016-09-09 | 2018-05-03 | Advanced Turbine Support, LLC | Industrial High Speed Micro Drill |
JP7049220B2 (ja) * | 2018-08-30 | 2022-04-06 | オリンパス株式会社 | 画像取得装置および画像取得装置の作動方法 |
JP7038845B2 (ja) * | 2018-09-19 | 2022-03-18 | オリンパス株式会社 | 内視鏡挿入形状観測装置及び内視鏡形状観測装置の作動方法 |
CN110720882A (zh) * | 2019-10-16 | 2020-01-24 | 深圳开立生物医疗科技股份有限公司 | 一种内窥镜***及内窥镜操作控制方法 |
JP2023113300A (ja) * | 2022-02-03 | 2023-08-16 | キヤノン株式会社 | 連続体ロボット制御システム及び連続体ロボット制御方法 |
WO2023225209A1 (en) * | 2022-05-20 | 2023-11-23 | Boston Scientific Scimed, Inc. | Trajectory tracking for medical device |
CN117100197B (zh) * | 2023-10-23 | 2024-02-20 | 杭州堃博生物科技有限公司 | 鞘管调弯方法、装置、非易失性存储介质及电子设备 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5658238A (en) * | 1992-02-25 | 1997-08-19 | Olympus Optical Co., Ltd. | Endoscope apparatus capable of being switched to a mode in which a curvature operating lever is returned and to a mode in which the curvature operating lever is not returned |
JP3429528B2 (ja) | 1993-06-15 | 2003-07-22 | オリンパス光学工業株式会社 | 内視鏡システム |
JP4054104B2 (ja) * | 1998-04-10 | 2008-02-27 | オリンパス株式会社 | 内視鏡画像処理装置 |
US6610007B2 (en) * | 2000-04-03 | 2003-08-26 | Neoguide Systems, Inc. | Steerable segmented endoscope and method of insertion |
JP2003230536A (ja) * | 2002-02-07 | 2003-08-19 | Olympus Optical Co Ltd | 電動湾曲内視鏡 |
JP3973504B2 (ja) * | 2002-07-15 | 2007-09-12 | 株式会社日立製作所 | 牽引位置決め装置 |
CN101010027B (zh) * | 2004-09-07 | 2010-07-21 | 奥林巴斯株式会社 | 内窥镜 |
CN100525699C (zh) | 2004-09-27 | 2009-08-12 | 奥林巴斯株式会社 | 弯曲控制装置 |
JP4695420B2 (ja) * | 2004-09-27 | 2011-06-08 | オリンパス株式会社 | 湾曲制御装置 |
WO2006059721A1 (ja) * | 2004-12-03 | 2006-06-08 | Olympus Corporation | 挿入部着脱式電動湾曲内視鏡 |
JP4599177B2 (ja) | 2005-01-13 | 2010-12-15 | オリンパス株式会社 | 電動湾曲式内視鏡 |
JP4679241B2 (ja) * | 2005-05-24 | 2011-04-27 | オリンパスメディカルシステムズ株式会社 | 内視鏡 |
JP4790347B2 (ja) | 2005-08-24 | 2011-10-12 | オリンパス株式会社 | 内視鏡装置の湾曲部調整装置 |
JP4794992B2 (ja) * | 2005-11-16 | 2011-10-19 | オリンパスメディカルシステムズ株式会社 | 挿入モニタリング装置 |
EP1917901B1 (en) * | 2005-08-25 | 2019-04-17 | Olympus Corporation | Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system |
JP4914735B2 (ja) * | 2007-02-14 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 処置具の位置制御を行う内視鏡システム |
WO2010082383A1 (ja) * | 2009-01-15 | 2010-07-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
EP2347694B1 (en) * | 2009-09-30 | 2014-08-27 | Olympus Medical Systems Corp. | Endoscope apparatus |
-
2007
- 2007-12-10 JP JP2007318658A patent/JP5295555B2/ja active Active
-
2008
- 2008-12-04 EP EP08021071A patent/EP2070465B1/en not_active Expired - Fee Related
- 2008-12-09 US US12/330,994 patent/US8308635B2/en active Active
- 2008-12-10 CN CN2008101793734A patent/CN101455554B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101455554B (zh) | 2013-07-31 |
EP2070465A1 (en) | 2009-06-17 |
EP2070465B1 (en) | 2011-08-03 |
JP2009136618A (ja) | 2009-06-25 |
US20090149711A1 (en) | 2009-06-11 |
US8308635B2 (en) | 2012-11-13 |
CN101455554A (zh) | 2009-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5295555B2 (ja) | 内視鏡システム | |
JP4961475B2 (ja) | 内視鏡システム | |
US9357945B2 (en) | Endoscope system having a position and posture calculating portion | |
JP5153787B2 (ja) | 内視鏡湾曲制御装置及び内視鏡システム | |
JP5750122B2 (ja) | ロボット内視鏡の作動制御方法およびシステム | |
US10932875B2 (en) | Manipulator, medical system, and medical system control method | |
EP1800593B1 (en) | Curve control device | |
JP4724262B2 (ja) | 内視鏡装置 | |
JP5159995B2 (ja) | 内視鏡システム | |
JP4551051B2 (ja) | 超音波診断装置 | |
JP2007319622A (ja) | 内視鏡装置 | |
JP5137540B2 (ja) | 内視鏡システム | |
US20110275896A1 (en) | Endoscope apparatus and bending drive control method | |
EP2599431A1 (en) | Medical control device | |
JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
JPWO2019239545A1 (ja) | 内視鏡システムおよび挿入部の推進方法 | |
JP5841366B2 (ja) | 医療装置 | |
EP2837326A1 (en) | Medical apparatus | |
US20220202500A1 (en) | Intraluminal navigation using ghost instrument information | |
JP6464110B2 (ja) | 内視鏡形状把握システム | |
JP6906342B2 (ja) | 内視鏡システム | |
JP2020141834A (ja) | 内視鏡プロセッサおよび内視鏡システム | |
CN117355248A (zh) | 管腔内装置的智能关节运动管理 | |
JP2008253787A (ja) | 超音波診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5295555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |