JP2001187065A - Supporting system for operation under microscope - Google Patents
Supporting system for operation under microscopeInfo
- Publication number
- JP2001187065A JP2001187065A JP2000000356A JP2000000356A JP2001187065A JP 2001187065 A JP2001187065 A JP 2001187065A JP 2000000356 A JP2000000356 A JP 2000000356A JP 2000000356 A JP2000000356 A JP 2000000356A JP 2001187065 A JP2001187065 A JP 2001187065A
- Authority
- JP
- Japan
- Prior art keywords
- microscope
- surgical instrument
- detecting means
- detecting
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Surgical Instruments (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は，顕微鏡及び術部
に挿入される手術器具の３次元位置を検出し、術部の解
剖学的断層像上に表示する顕微鏡下手術支援システムに
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an operation support system under a microscope for detecting a three-dimensional position of a surgical instrument inserted into a microscope and an operation site and displaying the three-dimensional position on an anatomical tomographic image of the operation site.
【０００２】[0002]
【従来の技術】従来、脳外科等の顕微鏡下手術の際に使
用されるナビゲーションシステムとしては特開平５−３
０５０７３号公報で示されるシステムが知られている。
一般には手術用顕微鏡本体や内視鏡、吸引管等の手術器
具上に設けられたＬＥＤ等の信号部材を、術室に設置し
たデジタイザと呼ばれる大型のＣＣＤカメラ等の受信装
置で認識することで、それぞれの３次元位置を演算し、
事前に撮影したＣＴ等の画像上に表示することで手術を
支援する。2. Description of the Related Art Conventionally, as a navigation system used in a microscope operation such as brain surgery, Japanese Patent Laid-Open No. 5-3 is disclosed.
A system disclosed in Japanese Patent Publication No. 05073 is known.
Generally, signal members such as LEDs provided on surgical instruments such as a surgical microscope body, endoscope, and suction tube are recognized by a receiving device such as a large CCD camera called a digitizer installed in an operating room. , Calculate each three-dimensional position,
The surgery is supported by displaying it on an image of a CT or the like taken in advance.
【０００３】[0003]
【発明が解決しようとする課題】一般に顕微鏡下手術は
狭い空間内での処置であり、その術部を中心に執刀医の
他、助手や看護婦が周りを囲んでいる。そのため、内視
鏡や処置具に設けたＬＥＤが術者によって隠れてしま
い、術部から離れた位置に置かれたデジタイザで認識す
ることができなくなる場合がある。また、認識性を高め
るためデジタイザをベッドサイドに近づけた場合、デジ
タイザ自体が大型であるため術者の邪魔になってしまう
こともある。In general, microsurgery is a procedure in a small space, in which a surgeon, an assistant, and a nurse surround the surgery area. For this reason, the LED provided on the endoscope or the treatment tool may be hidden by the surgeon, and may not be recognized by the digitizer placed at a position distant from the surgical site. In addition, when the digitizer is brought close to the bedside in order to enhance recognition, the digitizer itself is large and may obstruct the operator.
【０００４】また、このような顕微鏡支援システムの場
合、あらかじめ内視鏡等の手術器具の先端位置、挿入部
太さ、視野方向等の情報をワークステーション上に登録
する、いわゆるキャリブレーションという作業が必要で
ある。そして術中に手術器具を変更した場合、キャリブ
レーションをやり直すか、もしくは手動スイッチで事前
に登録しておいたキャリブレーション情報を読み出し、
設定する必要があり、手技が煩雑になるという問題があ
った。In the case of such a microscope support system, a so-called calibration operation for registering information such as the position of the distal end of a surgical instrument such as an endoscope, the thickness of an inserted portion, and the direction of a visual field on a workstation in advance is performed. is necessary. And if the surgical instrument is changed during the operation, re-calibrate or read out the calibration information registered in advance with a manual switch,
There is a problem that the setting has to be made and the procedure becomes complicated.
【０００５】この発明は，前記事情に着目してなされた
もので，その目的とするところは、術者の邪魔になら
ず、尚且つ確実に内視鏡や処置具等の手術器具の位置を
認識可能できる顕微鏡下手術支援システムを提供するこ
とにある。[0005] The present invention has been made in view of the above circumstances, and its object is to prevent the operator from disturbing and to surely position surgical instruments such as endoscopes and treatment tools. An object of the present invention is to provide a recognizable surgery support system under a microscope.
【０００６】[0006]
【課題を解決するための手段】前記目的を達成するため
に、顕微鏡及び術部に挿入される手術器具の３次元位置
を検出し、術部の解剖学的断層像上に表示する顕微鏡下
手術支援システムにおいて、術部に対する顕微鏡の３次
元位置を検出する第１の検出手段と、手術器具の前記顕
微鏡に対する３次元位置を検出する第２の検出手段と、
前記第１、第２の検出手段の検出結果に基づき、前記手
術器具の術部に対する３次元位置を演算する演算部とか
らなり，前記第２の検出手段は、顕微鏡の対物開口部近
傍に設けた信号部材と、手術器具に設けた複数の受信部
材からなることを特徴とする。In order to achieve the above object, under a microscope, a three-dimensional position of a microscope and a surgical instrument inserted into a surgical site is detected and displayed on an anatomical tomographic image of the surgical site. In the support system, first detection means for detecting the three-dimensional position of the microscope with respect to the operation site, second detection means for detecting the three-dimensional position of the surgical instrument with respect to the microscope,
A calculating unit for calculating a three-dimensional position of the surgical instrument with respect to a surgical part based on the detection results of the first and second detecting means, wherein the second detecting means is provided near an objective opening of the microscope. And a plurality of receiving members provided on the surgical instrument.
【０００７】前記構成によれば，前記受信部材が前記信
号部材からの信号を検知し、手術器具に対する顕微鏡の
３次元位置を演算することができる。[0007] According to the above configuration, the receiving member detects a signal from the signal member, and can calculate a three-dimensional position of the microscope with respect to the surgical instrument.
【０００８】[0008]
【発明の実施の形態】以下，この発明の各実施の形態を
図面に基づいて説明する。Embodiments of the present invention will be described below with reference to the drawings.
【０００９】図１及び図２は第１の実施形態を示し，図
１は顕微鏡下手術支援システムの全体概略図、図２は鏡
体部分を拡大した側面図である。手術用顕微鏡１は、架
台３が床面を移動自在なベース４と、このベース４上に
支柱５が立設され、その支柱５の上端部には、図示しな
い照明用光源が内蔵された第１アーム６の一端が軸Ｏ１
を中心に回動自在に取付けられている。FIGS. 1 and 2 show a first embodiment. FIG. 1 is an overall schematic view of an operation support system under a microscope, and FIG. 2 is an enlarged side view of a mirror body. The surgical microscope 1 has a base 4 on which a gantry 3 is movable on a floor surface, and a support 5 standing on the base 4. An upper end of the support 5 has a built-in illumination light source (not shown). One end of one arm 6 is axis O1
It is attached so that it can rotate around the center.
【００１０】前記第１アーム６の他端部には、軸Ｏ２を
中心に回動自在に第２アーム７の一端が取付けられてい
る。この第２アーム７は上下移動操作を行うべく、リン
ク機構とバランス調整用のスプリング部材からなるパン
タグラフアームであり、その他端部には、軸Ｏ３を中心
に回動自在に第３アーム８が取付けられている。第３ア
ーム８は、軸Ｏ４を中心とした鏡体２の術者の観察方向
に対する前後方向の俯仰、軸Ｏ５を中心とした術者の左
右方向の俯仰を可能としたアームである。第３アーム８
の他端部には鏡体２が設けられている。One end of a second arm 7 is attached to the other end of the first arm 6 so as to be rotatable about an axis O2. The second arm 7 is a pantograph arm composed of a link mechanism and a spring member for balance adjustment in order to perform a vertical movement operation, and a third arm 8 is attached to the other end so as to be rotatable about an axis O3. Have been. The third arm 8 is an arm that allows the operator to move the mirror body 2 about the axis O4 in the front-back direction with respect to the observation direction of the mirror 2 and the operator can move the operator about the axis O5 in the left-right direction. Third arm 8
Is provided with a mirror body 2 at the other end.
【００１１】さらに，前記鏡体２が空間的に自在に位置
調整を行い、位置固定を行うために、これらの回転軸Ｏ
１〜Ｏ５における回転部には図示しない電磁ブレーキが
各々設けられている。前記電磁ブレーキは支柱５に内蔵
された図示しない電磁ブレーキ電源回路と接続され、前
記電磁ブレーキ電源回路は、図２に示すように、鏡体２
に一体に固定されたグリップ９に設けられたスイッチ１
０と接続されている。Further, in order to adjust the position of the mirror body 2 freely and spatially and to fix the position, these rotating shafts O are used.
An electromagnetic brake (not shown) is provided in each of the rotating units 1 to O5. The electromagnetic brake is connected to an electromagnetic brake power supply circuit (not shown) built in the column 5, and the electromagnetic brake power supply circuit is connected to the mirror body 2 as shown in FIG.
Switch 1 provided on a grip 9 integrally fixed to the
0 is connected.
【００１２】鏡体２には対物レンズ１１を有しており、
この対物レンズ１１は図示しないモータと位置センサに
連結され、かつ光軸方向に移動可能に構成され、前記位
置センサによりレンズ位置が検出できるように構成され
ている。The mirror body 2 has an objective lens 11,
The objective lens 11 is connected to a motor (not shown) and a position sensor, and is configured to be movable in the optical axis direction, so that the position sensor can detect the lens position.
【００１３】１２は後述するデジタイザが鏡体２の３次
元座標を検出するための信号板である。信号板１２には
信号部材として２個以上のＬＥＤ１３ａが一体に固定さ
れている。また前記対物レンズ１１の周囲には同様に信
号部材としてのＬＥＤ１３ｂが２個以上設けられてい
る。ＬＥＤ１３ａ，１３ｂはそれぞれＬＥＤ制御装置１
４に接続されている。ＬＥＤ制御装置１４は計測装置１
５と接続されている。Reference numeral 12 denotes a signal plate for detecting a three-dimensional coordinate of the mirror body 2 by a digitizer described later. On the signal plate 12, two or more LEDs 13a are integrally fixed as signal members. Similarly, around the objective lens 11, two or more LEDs 13b as signal members are provided. The LEDs 13a and 13b are respectively the LED control device 1
4 is connected. The LED control device 14 is a measuring device 1
5 is connected.
【００１４】１６はＬＥＤ１３ａの３次元座標における
位置を検出するためのデジタイザ（光学式位置検出装
置）である。デジタイザ１６は受信部材として２台のＣ
ＣＤカメラ１７ａ，１７ｂと、前記ＣＣＤカメラ１７
ａ，１７ｂの位置を固定させているカメラ支持部材１８
とスタンド１９により構成され、手術室のベッドから離
れた位置に設置されている。前記ＣＣＤカメラ１７ａ，
１７ｂは各々計測装置１５と接続され、計測装置１５は
Ａ／Ｄ変換機２０を介してワークステーション２１と接
続されている。Reference numeral 16 denotes a digitizer (optical position detecting device) for detecting the position of the LED 13a in three-dimensional coordinates. The digitizer 16 has two Cs as receiving members.
CD cameras 17a and 17b and the CCD camera 17
Camera support member 18 fixing positions of a and 17b
And a stand 19, which is installed at a position away from the bed in the operating room. The CCD camera 17a,
17b is connected to the measuring device 15, and the measuring device 15 is connected to the workstation 21 via the A / D converter 20.
【００１５】内視鏡や超音波吸引プローブ等の手術器具
２２の、前記顕微鏡１の対物レンズ１１に対向する位置
の外表面には、受信部材として２台のＣＣＤカメラ１７
ｃ，１７ｄが設けられている。前記ＣＣＤカメラ１７
ｃ，１７ｄは各々計測装置１５と接続され、計測装置１
５はＡ／Ｄ変換機２０を介してワークステーション２１
と接続されている。On the outer surface of a surgical instrument 22 such as an endoscope or an ultrasonic suction probe at a position facing the objective lens 11 of the microscope 1, two CCD cameras 17 are provided as receiving members.
c and 17d are provided. The CCD camera 17
c and 17d are respectively connected to the measuring device 15 and the measuring device 1
5 is a workstation 21 via an A / D converter 20
Is connected to
【００１６】ワークステーション２１には処理した情報
を表示するモニター２３が接続されている。治療対象と
なる患者２４の術部周囲にはマーク部材２５ａ，２５
ｂ，２５ｃが固定されている。A monitor 23 for displaying processed information is connected to the workstation 21. Mark members 25a and 25 are provided around the operative site of the patient 24 to be treated.
b, 25c are fixed.
【００１７】次に，顕微鏡下手術支援システムの作用に
ついて説明する。Next, the operation of the operation support system under the microscope will be described.
【００１８】手術前にあらかじめ撮影したＣＴ、ＭＲＩ
装置等の断層画像を３次元画像データに再構築し、ワー
クステーション２１に記録する。手術を始めるにあたっ
てワークステーション２１内の断層画像データと術部の
座標の相関をとるべくマーク部材２５ａ，２５ｂ，２５
ｃを用いてキャリブレーションを行う。CT, MRI taken before surgery
The tomographic image of the device or the like is reconstructed into three-dimensional image data and recorded on the workstation 21. Before starting the operation, the mark members 25a, 25b, and 25 are used to correlate the tomographic image data in the workstation 21 with the coordinates of the operation site.
Calibration is performed using c.
【００１９】術者はグリップ９を握り、スイッチ１０を
押すことにより軸Ｏ１〜Ｏ５に内蔵された電磁ブレーキ
によるロックを解除し、鏡体２を移動して術部の観察部
位に焦点位置を位置決めする。The operator grasps the grip 9 and presses the switch 10 to release the lock by the electromagnetic brake built into the axes O1 to O5, and moves the mirror body 2 to position the focal point at the observation site of the operation site. I do.
【００２０】デジタイザ１６は、鏡体２に設けた信号板
１２上の複数のＬＥＤ１３ａを検出し、これに基づいて
デジタイザ１６から発せられる信号は計測装置１５及び
Ａ／Ｄ変換機２０で処理され、さらにワークステーショ
ン２１により生体座標系における鏡体２の位置及び姿勢
が算出される。The digitizer 16 detects a plurality of LEDs 13a on the signal plate 12 provided on the mirror body 2, and based on the detected signals, a signal emitted from the digitizer 16 is processed by the measuring device 15 and the A / D converter 20, Further, the workstation 21 calculates the position and orientation of the mirror body 2 in the living body coordinate system.
【００２１】また位置センサにより対物レンズ１１の位
置情報がワークステーション２１に伝送される。ワーク
ステーション２１では対物レンズ１１の位置情報から鏡
体２に対する焦点の相対位置が算出される。The position information of the objective lens 11 is transmitted to the work station 21 by the position sensor. In the workstation 21, the relative position of the focal point with respect to the mirror body 2 is calculated from the position information of the objective lens 11.
【００２２】手術器具２２に設けた２台のＣＣＤカメラ
１７ｃ，１７ｄは、常に術部に向いている鏡体２の対物
レンズ１１周囲に設けられたＬＥＤ１３ｂを検出し、こ
れに基づいてＣＣＤカメラ１７ｃ，１７ｄから発せられ
る信号は計測装置１５及びＡ／Ｄ変換機２０で処理さ
れ、ワークステーション２１により手術器具２２と鏡体
２の相対位置及び姿勢が算出される。さらに、この情報
は、ワークステーション２１上で先の生体座標系におけ
る鏡体２の位置及び姿勢情報と統合され、生体座標系に
おける手術器具２２の位置及び姿勢が算出される。The two CCD cameras 17c and 17d provided on the surgical instrument 22 always detect the LED 13b provided around the objective lens 11 of the mirror body 2 facing the operative site, and based on this, the CCD camera 17c , 17d are processed by the measuring device 15 and the A / D converter 20, and the workstation 21 calculates the relative position and posture of the surgical instrument 22 and the mirror body 2. Further, this information is integrated with the position and orientation information of the mirror body 2 in the living body coordinate system on the workstation 21 to calculate the position and orientation of the surgical instrument 22 in the living body coordinate system.
【００２３】以上により得られた生体座標系における鏡
体２の位置、姿勢、焦点、及び手術器具２２の位置、姿
勢情報は、ワークステーション２１によりモニター２３
上に前記生体内３次元画像データに重ねて表示される。The position, posture and focus of the mirror body 2 and the position and posture information of the surgical instrument 22 in the living body coordinate system obtained as described above are transmitted to the monitor 23 by the workstation 21.
It is displayed on top of the in-vivo three-dimensional image data.
【００２４】なお、第１の実施形態におけるデジタイザ
１６の代わりに、第２の実施形態として，前記手術用顕
微鏡１に回転軸Ｏ１〜Ｏ５に各々図示しないエンコーダ
を設け、各エンコーダからの出力は前記Ａ／Ｄ変換機２
０を経由してワークステーション２１へ送られるように
してもよい。Note that, as a second embodiment, encoders (not shown) are provided on the rotating shafts O1 to O5 in the surgical microscope 1 in place of the digitizer 16 in the first embodiment, and the output from each encoder is A / D converter 2
0 may be sent to the workstation 21 via the “0”.
【００２５】このように構成すれば，手術用顕微鏡１の
各回転軸Ｏ１〜Ｏ５に設けた各エンコーダからの出力を
元に、鏡体２の位置、姿勢がワークステーションにて算
出される。従って，大型のデジタイザを術室内に設置す
る必要が無いため、術者や助手が安全かつ自由に移動可
能となる。With such a configuration, the position and orientation of the mirror body 2 are calculated at the workstation based on the outputs from the encoders provided on the rotation axes O1 to O5 of the operating microscope 1. Therefore, since there is no need to install a large digitizer in the operating room, the operator and assistant can move safely and freely.
【００２６】図３は第３の実施形態を示し，手術器具２
２として，例えば硬性鏡を示す。この手術器具２２の基
端側には受信アダプター３０が設けられている。受信ア
ダプター３０は把持部３１とカメラ支持部３２とから構
成されている。把持部３１はその一部に長手方向の開口
部３３を有する弾性樹脂材等から成る円筒形状を有して
いる。この開口部３３は手術器具２２の基端側の径より
狭く、また把持部３１の内径は手術器具２２の基端側の
径とほぼ同等に形成されている。FIG. 3 shows a third embodiment, in which a surgical instrument 2
As 2, for example, a rigid endoscope is shown. A receiving adapter 30 is provided on the proximal end side of the surgical instrument 22. The receiving adapter 30 includes a grip 31 and a camera support 32. The grip portion 31 has a cylindrical shape made of an elastic resin material or the like having a longitudinal opening 33 in a part thereof. The opening 33 is narrower than the proximal end of the surgical instrument 22, and the inner diameter of the grip 31 is substantially equal to the proximal end of the surgical instrument 22.
【００２７】カメラ支持部３２には、長手方向に離れた
位置にＣＣＤカメラ３４ａ，３４ｂが設けられている。
カメラ支持部３２の基端側にはケーブル３７が設けられ
ている。ＣＣＤカメラ３４ａ，３４ｂの信号は前記ケー
ブル３７を介して計測装置１５に通じている。The camera support 32 is provided with CCD cameras 34a and 34b at positions separated in the longitudinal direction.
A cable 37 is provided on the base end side of the camera support 32. Signals from the CCD cameras 34a and 34b are transmitted to the measuring device 15 via the cable 37.
【００２８】本実施形態によれば，術者は術前に、使用
する内視鏡や超音波プローブ等の手術器具２２に受信ア
ダプター３０を開口部３３を押し付ける。開口部３３は
弾性部材であるため、必要な幅に広がって装着される。
術後は、受信アダプター３０を装着時と反対方向に引張
ることで手術器具２２から取り外すことができる。According to the present embodiment, the operator presses the receiving adapter 30 and the opening 33 against the surgical instrument 22 such as an endoscope or an ultrasonic probe to be used before the operation. Since the opening 33 is an elastic member, the opening 33 spreads to a required width and is mounted.
After the operation, the receiving adapter 30 can be detached from the surgical instrument 22 by pulling the receiving adapter 30 in a direction opposite to that at the time of mounting.
【００２９】従って，使用する手術器具２２に自由に受
信アダプター３０を着脱することが可能であるため、顕
微鏡下手術専用の手術器具２２を用意する必要が無く、
従来の器具を流用できるため経済的である。Therefore, since the receiving adapter 30 can be freely attached to and detached from the surgical instrument 22 to be used, it is not necessary to prepare a surgical instrument 22 dedicated to the operation under the microscope.
It is economical because conventional equipment can be used.
【００３０】前記第１〜第３の実施形態によれば，顕微
鏡上の信号部材と手術器具上の受信部材との間を術者や
助手等が邪魔してしまうことが無く、確実に両者の信号
−受信関係が成立する。従って、顕微鏡、手術器具の３
次元データが常に安定した状態で得られるため、また、
第１の検出手段も顕微鏡のみを認識すればよいため、術
部から離れた位置に設置すればよく、術者や助手の動き
を損なうことも無く術者も安心して手技に専念できると
いう効果がある。According to the first to third embodiments, the surgeon or assistant does not obstruct the space between the signal member on the microscope and the receiving member on the surgical instrument, and the two members can be surely connected. A signal-reception relationship is established. Therefore, microscopes and surgical instruments
Because dimensional data is always obtained in a stable state,
Since the first detection means only needs to recognize the microscope only, it may be installed at a position distant from the operative site, and the effect that the surgeon can concentrate on the procedure with ease without impairing the movement of the surgeon and assistants. is there.
【００３１】図４及び図５は第４の実施形態を示し，第
１の実施形態と同一構成部分は同一番号を付して説明を
省略する。内視鏡や超音波吸引プローブ等の手術器具２
２の基端側には信号アダプター３５が着脱自在に固定さ
れている。信号アダプター３５には少なくとも２個のＬ
ＥＤ３６が設けられている。ＬＥＤ３６はケーブル３７
を介してＬＥＤ制御装置１４を経由して計測装置１５と
接続されている。FIGS. 4 and 5 show the fourth embodiment. The same components as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted. Surgical instruments such as endoscopes and ultrasonic suction probes 2
A signal adapter 35 is detachably fixed to the base end side of 2. The signal adapter 35 has at least two L
An ED 36 is provided. LED 36 is cable 37
Is connected to the measuring device 15 via the LED control device 14.
【００３２】鏡体２の内部は図５に示すように，鏡体２
には変倍光学系４０と一対の結像レンズ４１ａ，４１ｂ
の間に９０度横に光束の一部を偏光すべく配置したハー
フミラー４２が備えられている。さらに偏光された光束
を再度上方に反射させるミラー４３が設けられている。
４４ａ，４４ｂは前記偏光された光束を結像するための
一対の結像レンズである。変倍光学系４０には図示しな
い倍率検出手段が連結され、更にワークステーション２
１へと接続され、倍率情報をモニター２３上に表示可能
となっている。結像レンズ４１ａ,４１ｂは接眼レンズ
４５ａ，４５ｂの焦点位置に光束を結像する位置に設け
られている。As shown in FIG. 5, the interior of the mirror 2
Has a variable power optical system 40 and a pair of imaging lenses 41a and 41b.
There is provided a half mirror 42 arranged so as to polarize a part of the light beam 90 degrees horizontally. Further, there is provided a mirror 43 for reflecting the polarized light flux upward again.
44a and 44b are a pair of imaging lenses for imaging the polarized light flux. Magnification detecting means (not shown) is connected to the variable power optical system 40.
1 so that magnification information can be displayed on the monitor 23. The imaging lenses 41a and 41b are provided at positions where light beams are imaged at the focal positions of the eyepieces 45a and 45b.
【００３３】鏡体２の所定の位置にはカメラボックス４
６が取り付けられており、ＣＣＤカメラ４７ａ，４７ｂ
が内蔵されている。ＣＣＤカメラ４７ａ，４７ｂは各々
結像レンズ４４ａ，４４ｂによる結像面に配置されるよ
うにカメラボックス４６の所定の位置に固定されてい
る。A camera box 4 is provided at a predetermined position of the mirror body 2.
6, CCD cameras 47a, 47b
Is built-in. The CCD cameras 47a and 47b are fixed at predetermined positions of the camera box 46 so as to be arranged on the image plane formed by the imaging lenses 44a and 44b, respectively.
【００３４】前記ＣＣＤカメラ４７ａ，４７ｂは各々図
示しないＣＣＵ（カメラコントロールユニット）を経由
して計測装置１５、更にワークステーション２１へと接
続されている。The CCD cameras 47a and 47b are connected to the measuring device 15 and the workstation 21 via a CCU (camera control unit) (not shown).
【００３５】図６は第５の実施形態を示し，手術器具と
して内視鏡４８を示す。内視鏡４８は挿入部４９、把持
部５０、接眼部５１から構成されている。接眼部５１に
は図示しない既知のＣＣＤカメラが接続可能な形状を有
している。把持部５０は前記信号アダプター３５が着脱
可能な円筒形状を有し、図示しない既知のライトガイド
ケーブルが着脱可能な口金部５２が径方向に設けられて
いる。FIG. 6 shows a fifth embodiment, in which an endoscope 48 is shown as a surgical instrument. The endoscope 48 includes an insertion section 49, a grip section 50, and an eyepiece section 51. The eyepiece 51 has a shape to which a known CCD camera (not shown) can be connected. The grip 50 has a cylindrical shape to which the signal adapter 35 can be attached and detached, and a base 52 to which a known light guide cable (not shown) can be attached and detached is provided in the radial direction.
【００３６】挿入部４９は円筒形状であり、その先端側
外周面には内視鏡４８の機能を示すバーコード５３が設
けられている。ここで言う内視鏡４８の機能とは、画
角、視野方向、挿入部４９の外径、軸方向長さ等であ
る。前記バーコード５３は挿入部４９の円周方向の一部
に限らず、全周に設けてあってもよい。The insertion portion 49 has a cylindrical shape, and a bar code 53 indicating the function of the endoscope 48 is provided on the outer peripheral surface on the distal end side. The functions of the endoscope 48 here include an angle of view, a viewing direction, an outer diameter of the insertion section 49, an axial length, and the like. The bar code 53 is not limited to a part of the insertion portion 49 in the circumferential direction, and may be provided on the entire circumference.
【００３７】前記バーコード５３は、挿入部４９の先端
側に限らず、基端側もしくは把持部５０の外表面上に設
けてもよい。また複数箇所に設けてもよい。ワークステ
ーション２１には処理した情報を表示するモニター２３
が接続されている。また，治療対象となる患者２４の術
部周囲にはマーク部材２５ａ，２５ｂ，２５ｃが固定さ
れている。The bar code 53 is not limited to the distal end of the insertion portion 49, but may be provided on the proximal end or on the outer surface of the grip 50. Also, it may be provided at a plurality of locations. The monitor 21 displays the processed information on the workstation 21.
Is connected. Mark members 25a, 25b, and 25c are fixed around the operative site of the patient 24 to be treated.
【００３８】なお、内視鏡４８の位置、傾きは信号アダ
プター３５に設けられたＬＥＤ３６をデジタイザ１６が
検出することで鏡体２と同様、可能となる。The position and inclination of the endoscope 48 can be determined by detecting the LED 36 provided on the signal adapter 35 by the digitizer 16, as in the case of the mirror 2.
【００３９】術部からの光束は対物レンズ１１から鏡体
２へ入射し、変倍光学系４０を透過しハーフミラー４２
により透過して直進する光束と、前記ハーフミラー４２
で反射して９０度偏光された光束に分配される。直進し
た光束は結像レンズ４１ａ，４１ｂにより結像し接眼レ
ンズ４５ａ，４５ｂを透過して観察される。一方、ハー
フミラー４２で反射した光束はミラー４３で上方に反射
し、一対の結像レンズ４４ａ，４４ｂで結像し、ＣＣＤ
カメラ４７ａ，４７ｂに各々投影される。これにより撮
影された画像はモニター２３上に映し出されるとともに
計測装置１５を経由しワークステーション２１に出力さ
れる。The light beam from the operative part enters the mirror body 2 from the objective lens 11, passes through the variable power optical system 40, and passes through the half mirror 42
A light beam that passes through and travels straight through the half mirror 42
And is distributed to a 90-degree polarized light beam. The light beam that has traveled straight is imaged by the imaging lenses 41a and 41b and transmitted through the eyepiece lenses 45a and 45b for observation. On the other hand, the light beam reflected by the half mirror 42 is reflected upward by the mirror 43, forms an image by a pair of imaging lenses 44a and 44b,
The images are projected on the cameras 47a and 47b, respectively. The captured image is displayed on the monitor 23 and output to the workstation 21 via the measuring device 15.
【００４０】バーコード５３が顕微鏡下にあり, ＣＣＤ
カメラ４７ａ，４７ｂに映し出されている場合におい
て、計測装置１５及びワークステーション２１はバーコ
ード５３の情報を認識し,それに伴い表示内容設定を切
り替え,画像情報（画角、視野方向、挿入部４９の外
径、軸方向長さ等）としてモニター２３上に、既に記録
されている断層画像等と共に重ね合せ、表示する。The bar code 53 is under the microscope and the CCD
When the images are displayed on the cameras 47a and 47b, the measuring device 15 and the workstation 21 recognize the information of the barcode 53, switch the display content setting accordingly, and change the image information (the angle of view, the direction of the field of view, the (Outer diameter, axial length, etc.) are superimposed and displayed on the monitor 23 together with the already recorded tomographic image and the like.
【００４１】術中、術者が視野方向や挿入部外径の異な
る内視鏡に交換した場合、前述と同様に、交換した内視
鏡に設けてあるバーコード５３に従った情報に設定が切
り替わり、モニター２３上に表示される。During the operation, if the operator replaces the endoscope with a different viewing direction or outer diameter of the insertion portion, the setting is switched to the information according to the barcode 53 provided on the replaced endoscope, as described above. Are displayed on the monitor 23.
【００４２】なお，バーコード５３が円周全周にある場
合は、内視鏡４８が長手軸を中心にどのような位置に回
転していても認識が可能である。When the bar code 53 is located all around the circumference, it is possible to recognize the endoscope 48 regardless of the position where the endoscope 48 is rotated about the longitudinal axis.
【００４３】図７は第６の実施形態を示し，計測装置１
５及びワークステーション２１は画像上の文字を認識す
るプログラムを有する。内視鏡４８は外表面上の少なく
とも１ヶ所に型番号５４が表示されている。FIG. 7 shows a sixth embodiment, in which the measuring device 1
5 and the workstation 21 have a program for recognizing characters on an image. The endoscope 48 has a model number 54 displayed on at least one place on the outer surface.
【００４４】そして,術者は，あらかじめ術中に使用す
るであろう内視鏡の型番号および機能（画角、視野方
向、挿入部４９の外径、軸方向長さ等）をワークステー
ション上に登録しておく。Then, the operator sets the model number and function (angle of view, direction of view, outer diameter of insertion section 49, axial length, etc.) of the endoscope which will be used during the operation in advance on the workstation. Register.
【００４５】内視鏡４８の外表面に設けられた型番号５
４が顕微鏡観察下にあり、ＣＣＤカメラ４７ａ，４７ｂ
に映し出されている場合において、計測装置１５及びワ
ークステーション２１は型番号５４を認識し、あらかじ
め登録しておいた型番号に伴う情報（画角、視野方向、
挿入部４９の外径、軸方向長さ等）を読み出し、モニタ
ー２３上に、既に記録されている断層画像等と共に重ね
合せ、表示する。The model number 5 provided on the outer surface of the endoscope 48
4 is under microscope observation and CCD cameras 47a and 47b
In this case, the measuring device 15 and the workstation 21 recognize the model number 54 and obtain information (angle of view, direction of view,
The outer diameter of the insertion portion 49, the length in the axial direction, etc.) are read out, superimposed and displayed on the monitor 23 together with the already recorded tomographic images and the like.
【００４６】従って，医療器具は外表面に型番が設けて
あればそれを利用することができるため、専用のものを
新たに用意する必要が無く、経済的である。Therefore, if a model number is provided on the outer surface of the medical device, it can be used, so that it is not necessary to newly prepare a dedicated device, and it is economical.
【００４７】図８は第７の実施形態を示し，内視鏡４８
の外表面には機種毎に反射率や間隔が異なるマーカー部
５５が設けられている。FIG. 8 shows a seventh embodiment, in which an endoscope 48 is provided.
Are provided with marker portions 55 having different reflectances and intervals for each model.
【００４８】そして，術者は、あらかじめ術中使用する
であろう内視鏡のマーカー部５５をデジタイザ１６で認
識させ、同時に機能（画角、視野方向、挿入部４９の外
径、軸方向長さ等）をワークステーション上に登録し、
マーカー部との相関を取る。Then, the surgeon makes the digitizer 16 recognize the marker section 55 of the endoscope which will be used during the operation in advance, and at the same time, functions (angle of view, direction of view, outer diameter of the insertion section 49, axial length). Etc.) on the workstation,
Take the correlation with the marker part.
【００４９】術中、内視鏡を交換した場合、内視鏡４８
の外表面上のマーカー部５５をデジタイザ１６が認識す
ると、計測装置１５及びワークステーション２１はあら
かじめ登録しておいた機能情報を読み出し、モニター２
３上に、既に記録されている断層画像等と共に重ね合
せ、表示する。When the endoscope is replaced during the operation, the endoscope 48
When the digitizer 16 recognizes the marker section 55 on the outer surface of the monitor 2, the measuring device 15 and the workstation 21 read out the function information registered in advance and
3 is superimposed and displayed together with a previously recorded tomographic image or the like.
【００５０】従って，手術器具の種別／機能認識をデジ
タイザが行うため、顕微鏡にＣＣＤカメラを設ける必要
が無く、システムが簡便になる。また，術者が術中に手
術器具を交換しても、自動的にその器具に伴う設定に切
り替わり、術者の手を煩わすことが無く、安心して術式
に集中できる。Therefore, since the digitizer recognizes the type / function of the surgical instrument, there is no need to provide a CCD camera in the microscope, and the system is simplified. In addition, even if the surgeon exchanges the surgical instrument during the operation, the setting is automatically switched to the setting associated with the instrument, and the operator can concentrate on the surgical procedure without worrying about the operation.
【００５１】前記各実施の形態によれば，次のような構
成が得られる。According to each of the above embodiments, the following configuration can be obtained.
【００５２】（付記１）顕微鏡及び術部に挿入される手
術器具の３次元位置を検出し、術部の解剖学的断層像上
に表示する顕微鏡下手術支援システムにおいて、術部に
対する顕微鏡の３次元位置を検出する第１の検出手段
と、前記手術器具の前記顕微鏡に対する３次元位置を検
出する第２の検出手段と、前記第１、第２の検出手段の
検出結果に基づき、前記手術器具の術部に対する３次元
位置を演算する演算部とからなり，前記第２の検出手段
は、顕微鏡の対物開口部近傍に設けた信号部材と、手術
器具に設けた受信部材からなることを特徴とする顕微鏡
下手術支援システム。(Supplementary Note 1) In the operation support system under a microscope for detecting the three-dimensional positions of the microscope and the surgical instrument inserted into the operation site and displaying the three-dimensional position on an anatomical tomographic image of the operation site, the microscope 3 First detecting means for detecting a three-dimensional position of the surgical instrument with respect to the microscope; and first detecting means for detecting a three-dimensional position of the surgical instrument with respect to the microscope; and the surgical instrument based on detection results of the first and second detecting means. And a calculating unit for calculating a three-dimensional position with respect to the operative part, wherein the second detecting means comprises a signal member provided near the objective opening of the microscope and a receiving member provided on the surgical instrument. Surgery support system under microscope.
【００５３】（付記２）前記受信部材は、手術器具に着
脱自在であることを特徴とする付記１記載の顕微鏡下手
術支援システム。(Supplementary Note 2) The microscope-assisted surgery support system according to Supplementary Note 1, wherein the receiving member is detachable from a surgical instrument.
【００５４】（付記３）前記受信部材はＣＣＤであるこ
とを特徴とする付記１または２記載の顕微鏡下手術支援
システム。(Supplementary note 3) The operation support system under a microscope according to supplementary note 1 or 2, wherein the receiving member is a CCD.
【００５５】（付記４）顕微鏡及び術部に挿入される手
術器具の３次元位置を検出し、術部の解剖学的断層像上
に表示する顕微鏡下手術支援システムにおいて、術部に
対する顕微鏡の３次元位置を検出する第１の検出手段
と、前記手術器具の外表面に設けた手術器具の形態情報
を示す指標部と、前記指標部を認識する第２の検出手段
とを有し、この認識に基づき自動的に表示設定を切り替
えるようにしたことを特徴とする顕微鏡下手術支援シス
テム （付記５）前記第１の検出手段と第２の検出手段は同一
であることを特徴とする付記４記載の顕微鏡下手術支援
システム。(Supplementary Note 4) In the operation support system under the microscope for detecting the three-dimensional positions of the microscope and the surgical instrument inserted into the operation site and displaying the three-dimensional position on the anatomical tomogram of the operation site, the microscope 3 A first detecting unit for detecting a dimensional position, an index unit provided on an outer surface of the surgical instrument for indicating morphological information of the surgical instrument, and a second detecting unit for recognizing the index unit; The display setting is automatically switched based on the following. (Supplementary note 5) The supplementary note 4, wherein the first detection means and the second detection means are the same. Surgery support system under microscope.
【００５６】（付記６）前記第２の検出手段は、顕微鏡
の光学部材内に設けたことを特徴とする付記４記載の顕
微鏡下手術支援システム （付記７）前記指標部はバーコードであることを特徴と
する付記４または６記載の顕微鏡下手術支援システム。(Supplementary note 6) The under-microscope surgery support system according to supplementary note 4, wherein the second detecting means is provided in an optical member of the microscope. (Supplementary note 7) The indicator section is a bar code. 7. The microscope-assisted surgery support system according to claim 4 or 6, wherein
【００５７】付記８）前記指標部は文字であり、前記第
２の検出手段は文字認識機能を有することを特徴とする
付記４または６記載の顕微鏡下手術支援システム。(Supplementary note 8) The surgery support system under microscope according to Supplementary note 4 or 6, wherein the index portion is a character, and the second detecting means has a character recognizing function.
【００５８】[0058]
【発明の効果】以上説明したように，この発明によれ
ば，顕微鏡上の信号部材と手術器具上の受信部材との間
を術者や助手等が邪魔してしまうことが無く、確実に両
者の信号−受信関係が成立する。従って、顕微鏡、手術
器具の３次元データが常に安定した状態で得られるた
め、また、第１の検出手段も顕微鏡のみを認識すればよ
いため、術部から離れた位置に設置すればよく、術者や
助手の動きを損なうことも無く術者も安心して手技に専
念できるという効果がある。As described above, according to the present invention, the surgeon or assistant does not obstruct the space between the signal member on the microscope and the receiving member on the surgical instrument. Is established. Therefore, since the three-dimensional data of the microscope and the surgical instrument can always be obtained in a stable state, and since the first detection means only needs to recognize the microscope, it is sufficient to set the first detection means at a position away from the surgical site. This has the effect that the surgeon can concentrate on the procedure with ease without impairing the movement of the person or the assistant.
【図１】この発明の第１の実施形態を示す顕微鏡下手術
支援システム全体の構成図。FIG. 1 is a configuration diagram of an entire operation support system under a microscope showing a first embodiment of the present invention.
【図２】同実施形態を示し、鏡体の側面図。FIG. 2 shows the same embodiment, and is a side view of a mirror body.
【図３】この発明の第３の実施形態を示す硬性鏡の斜視
図。FIG. 3 is a perspective view of a rigid endoscope showing a third embodiment of the present invention.
【図４】この発明の第４の実施形態を示す鏡体の側面
図。FIG. 4 is a side view of a mirror body according to a fourth embodiment of the present invention.
【図５】同実施形態の鏡体の内部構造を示す構成図。FIG. 5 is a configuration diagram showing an internal structure of the mirror body of the embodiment.
【図６】この発明の第５の実施形態を示す硬性鏡の斜視
図。FIG. 6 is a perspective view of a rigid endoscope showing a fifth embodiment of the present invention.
【図７】この発明の第６の実施形態を示す硬性鏡の斜視
図。FIG. 7 is a perspective view of a rigid endoscope showing a sixth embodiment of the present invention.
【図８】この発明の第７の実施形態を示す硬性鏡の斜視
図。FIG. 8 is a perspective view of a rigid endoscope showing a seventh embodiment of the present invention.
１…手術用顕微鏡 ２…鏡体 １３ａ，１３ｂ…ＬＥＤ（信号部材） １６…デジタイザ １７ｃ，１７ｄ…ＣＣＤカメラ（受信部材） DESCRIPTION OF SYMBOLS 1 ... Operating microscope 2 ... Mirror 13a, 13b ... LED (signal member) 16 ... Digitizer 17c, 17d ... CCD camera (receiving member)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 工藤 正宏 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 (72)発明者 唐沢 均 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 (72)発明者 菅井 俊哉 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 (72)発明者 塩田 敬司 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 (72)発明者 下村 浩二 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 (72)発明者 中村 剛明 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 Ｆターム(参考） 4C060 FF31 JJ17 JJ25 4C061 AA00 BB00 CC00 DD00 HH51 HH56 JJ11 5C054 AA01 AA05 CC05 CD05 EA01 EA05 FA09 FC15 FD05 FE13 FF02 HA12 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Masahiro Kudo 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Co., Ltd. (72) Inventor Hitoshi Karasawa 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Co., Ltd. (72) Inventor Toshiya Sugai 2-43-2 Hatagaya, Shibuya-ku, Tokyo Inside Olympus Optical Co., Ltd. (72) Keiji Shioda 2-43-2 Hatagaya, Shibuya-ku, Tokyo Olympus Optical Co., Ltd. (72) Koji Shimomura, Inventor 2-43-2 Hatagaya, Shibuya-ku, Tokyo Olympus Optical Co., Ltd. (72) Takeaki Nakamura, 2-43-2 Hatagaya, Shibuya-ku, Tokyo No. Olympus Optical Co., Ltd. F term (reference) 4C060 FF31 JJ17 JJ25 4C061 AA00 BB00 CC00 DD00 HH51 HH56 JJ11 5C054 AA01 AA05 CC05 CD05 EA01 EA05 FA09 FC15 FD05 FE13 FF02 HA12
Claims (1)
３次元位置を検出し、術部の解剖学的断層像上に表示す
る顕微鏡下手術支援システムにおいて、 術部に対する顕微鏡の３次元位置を検出する第１の検出
手段と、 前記手術器具の前記顕微鏡に対する３次元位置を検出す
る第２の検出手段と、 前記第１、第２の検出手段の検出結果に基づき、前記手
術器具の術部に対する３次元位置を演算する演算部とか
らなり，前記第２の検出手段は、顕微鏡の対物開口部近
傍に設けた信号部材と、手術器具に設けた受信部材から
なることを特徴とする顕微鏡下手術支援システム。1. An operation support system under a microscope for detecting a three-dimensional position of a microscope and a surgical instrument inserted into an operation part and displaying the three-dimensional position on an anatomical tomographic image of the operation part, the three-dimensional position of the microscope with respect to the operation part First detecting means for detecting a position of the surgical instrument; second detecting means for detecting a three-dimensional position of the surgical instrument with respect to the microscope; and operation of the surgical instrument based on the detection results of the first and second detecting means. A microscope configured to calculate a three-dimensional position of the microscope, wherein the second detecting means includes a signal member provided near an objective opening of the microscope and a receiving member provided on a surgical instrument. Lower surgery support system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000000356A JP4472080B2 (en) | 2000-01-05 | 2000-01-05 | Microscopic surgery support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000000356A JP4472080B2 (en) | 2000-01-05 | 2000-01-05 | Microscopic surgery support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001187065A true JP2001187065A (en) | 2001-07-10 |
| JP4472080B2 JP4472080B2 (en) | 2010-06-02 |
Family
ID=18529716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000000356A Expired - Fee Related JP4472080B2 (en) | 2000-01-05 | 2000-01-05 | Microscopic surgery support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4472080B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006026229A (en) * | 2004-07-20 | 2006-02-02 | Olympus Corp | Surgery system |
| JP2006034330A (en) * | 2004-07-22 | 2006-02-09 | Pentax Corp | Light source device |
| WO2015111260A1 (en) * | 2014-01-23 | 2015-07-30 | オリンパス株式会社 | Surgical device |
| DE102021128478A1 (en) | 2021-11-02 | 2023-05-04 | B. Braun New Ventures GmbH | Surgical navigation system with improved instrument tracking and navigation procedures |
-
2000
- 2000-01-05 JP JP2000000356A patent/JP4472080B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006026229A (en) * | 2004-07-20 | 2006-02-02 | Olympus Corp | Surgery system |
| JP4695357B2 (en) * | 2004-07-20 | 2011-06-08 | オリンパス株式会社 | Surgery system |
| JP2006034330A (en) * | 2004-07-22 | 2006-02-09 | Pentax Corp | Light source device |
| WO2015111260A1 (en) * | 2014-01-23 | 2015-07-30 | オリンパス株式会社 | Surgical device |
| JP5802869B1 (en) * | 2014-01-23 | 2015-11-04 | オリンパス株式会社 | Surgical device |
| DE102021128478A1 (en) | 2021-11-02 | 2023-05-04 | B. Braun New Ventures GmbH | Surgical navigation system with improved instrument tracking and navigation procedures |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4472080B2 (en) | 2010-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4101951B2 (en) | Surgical microscope | |
| JP6985262B2 (en) | Devices and methods for tracking the position of an endoscope in a patient's body | |
| JP4472085B2 (en) | Surgical navigation system | |
| JP5190510B2 (en) | Multifunctional robotized platform for neurosurgery and position adjustment method | |
| US20030114741A1 (en) | Projecting patient image data from radioscopic imaging methods and/or tomographic imaging methods onto video images | |
| US20050033117A1 (en) | Object observation system and method of controlling object observation system | |
| JP2005205184A (en) | Diagnosis supporting device | |
| JP2001500772A (en) | Image guided surgery system | |
| JP7151109B2 (en) | Medical imaging device and medical observation system | |
| JPH11151249A (en) | Microscope calibration device | |
| JP2001061861A (en) | System having image photographing means and medical work station | |
| JP4716545B2 (en) | Surgical microscope equipment | |
| JP2006320427A (en) | Endoscopic operation support system | |
| JP4503748B2 (en) | Surgical microscope | |
| JP2005046200A (en) | Endoscopic operation system | |
| JP2017176773A (en) | Surgery support system, surgery support method, surgery support program | |
| JP4472080B2 (en) | Microscopic surgery support system | |
| JP4022068B2 (en) | Endoscope system | |
| JP4716747B2 (en) | Medical stereoscopic image observation device | |
| JP4436495B2 (en) | Surgical observation system | |
| JP4488264B2 (en) | Surgical microscope | |
| JP4047567B2 (en) | Surgical system | |
| JP2001204739A (en) | Microscopic medical operation support system | |
| JP4460700B2 (en) | Surgical site observation system | |
| JP2005006960A (en) | Operation microscope system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100303 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |