JP4970201B2 - Medical diagnostic imaging equipment - Google Patents
Medical diagnostic imaging equipment Download PDFInfo
- Publication number
- JP4970201B2 JP4970201B2 JP2007230395A JP2007230395A JP4970201B2 JP 4970201 B2 JP4970201 B2 JP 4970201B2 JP 2007230395 A JP2007230395 A JP 2007230395A JP 2007230395 A JP2007230395 A JP 2007230395A JP 4970201 B2 JP4970201 B2 JP 4970201B2
- Authority
- JP
- Japan
- Prior art keywords
- tumor
- image
- medical image
- range
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002059 diagnostic imaging Methods 0.000 title 1
- 206010028980 Neoplasm Diseases 0.000 claims description 182
- 239000003550 marker Substances 0.000 claims description 37
- 238000001356 surgical procedure Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000003745 diagnosis Methods 0.000 claims description 4
- 210000004185 liver Anatomy 0.000 description 39
- 238000012545 processing Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 24
- 238000002271 resection Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000004088 simulation Methods 0.000 description 11
- 230000008034 disappearance Effects 0.000 description 10
- 238000002679 ablation Methods 0.000 description 7
- 238000002512 chemotherapy Methods 0.000 description 5
- 238000001959 radiotherapy Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000012508 resin bead Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 208000035346 Margins of Excision Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は、医用画像を表示する医用画像診断装置に関し、特に、手術支援用の医用画像を表示する医用画像診断装置に関する。 The present invention relates to a medical image diagnostic apparatus that displays a medical image, and more particularly to a medical image diagnostic apparatus that displays a medical image for surgery support.
医用画像診断装置は、医用画像を撮影する撮影部やその医用画像を処理する医用画像処理部等を備えている。この医用画像診断装置としては、例えば、X線断層撮影装置(CT)、X線透視撮影装置及び磁気共鳴撮影装置(MRI)及び超音波診断装置等が挙げられる。このような医用画像診断装置の発展に伴って、医師が患者の部位を示す医用画像を用いて診察や手術等を行う機会が増加している。例えば、腫瘍を切除する切除手術を行う場合には、術者は手術前に医用画像を参照しながら、腫瘍の位置を示すための複数のマーカを患者の体内に埋め込み、その後、手術時にそれらのマーカを視認して切除範囲を確認しつつ切除手術を進める。なお、そのマーカを患者の体内に埋め込む技術が提案されている(例えば、特許文献1参照)。 The medical image diagnostic apparatus includes an imaging unit that captures a medical image, a medical image processing unit that processes the medical image, and the like. Examples of the medical image diagnostic apparatus include an X-ray tomographic apparatus (CT), an X-ray fluoroscopic apparatus, a magnetic resonance imaging apparatus (MRI), and an ultrasonic diagnostic apparatus. Along with the development of such a medical image diagnostic apparatus, an opportunity for a doctor to perform a diagnosis, an operation, or the like using a medical image indicating a patient's part is increasing. For example, when performing a resection operation to remove a tumor, an operator refers to a medical image before the operation, and implants a plurality of markers for indicating the position of the tumor in the patient's body, and then, during the operation, The resection operation is performed while visually confirming the marker and confirming the resection range. In addition, the technique which embeds the marker in a patient's body is proposed (for example, refer patent document 1).
一方、近年、患者のQOL(Quality Of Life)向上のために、臓器の切除範囲をなるべく小さくしようとする動きがある。そこで、悪性腫瘍の切除手術の前に腫瘍細胞を弱らせたり、腫瘍の大きさを縮小させたりする等の目的で、化学療法や放射線療法による治療を行う場合がある。これにより、例えば肝臓の1区域すべてを切除するのではなく、3cm以下の腫瘍だけを切除することも可能になるため、術後の患者の回復が早くなるという利点がある。
しかしながら、治療により医用画像上で腫瘍が消えたように見えても、生検等により目に見えない微小な腫瘍細胞が残っていると判断される場合には、その腫瘍があった部分(消失前の腫瘍領域)を全て切除しなければならない。このとき、腫瘍は目に見えなくなっているため、術者が部位(例えば肝臓)に対する切除範囲(手術範囲)を決定することは難しい。すなわち、視認不可能な腫瘍に対する手術範囲を決定することは非常に困難である。 However, even if the tumor appears to have disappeared on the medical image due to treatment, if it is determined by biopsy or the like that minute tumor cells that are not visible remain, the part where the tumor was (disappeared) All previous tumor areas) must be excised. At this time, since the tumor is not visible, it is difficult for the operator to determine the resection range (surgical range) for the site (eg, liver). That is, it is very difficult to determine the operation range for a tumor that is not visible.
一方、治療前のCT画像を用いれば、消失又は縮小前の腫瘍領域の近傍にマーカを埋め込むことは可能である。術者は手術中にそのマーカを目視し、あるいは、術中の超音波画像やX線画像によりマーカを検索し、切除範囲を特定することができる。なお、術中の画像撮影装置としては、超音波診断装置やX線撮影装置等が挙げられるが、対象臓器により得失が異なるため、いずれか一方を用いることになる。例えば、肺腫瘍の場合には、超音波画像がきわめて不鮮明になるため、X線透視画像を用いることになる。このように埋め込んだマーカを目視や術中の医用画像で確認して切除ラインを決定する場合には、治療前の腫瘍を囲むように20個程度の多数のマーカを埋め込んでおけば、確実な切除ラインを決定することができるはずである。 On the other hand, if a CT image before treatment is used, it is possible to embed a marker in the vicinity of the tumor region before disappearance or reduction. The surgeon can visually identify the marker during the operation, or search for the marker using an intraoperative ultrasound image or X-ray image to identify the excision range. In addition, examples of the intraoperative image photographing apparatus include an ultrasonic diagnostic apparatus and an X-ray photographing apparatus. However, since the profit and loss differ depending on the target organ, one of them is used. For example, in the case of a lung tumor, since an ultrasonic image becomes very unclear, an X-ray fluoroscopic image is used. When the ablation line is determined by visually confirming the embedded marker with a medical image during or after surgery, if about 20 markers are embedded so as to surround the tumor before treatment, reliable ablation is performed. You should be able to determine the line.
ところが、治療前の腫瘍を完全に囲むように多数のマーカを埋め込むには、多数の刺入経路が必要であり、これが可能かどうかは対象組織及び腫瘍の位置による。これが可能であることは非常にまれなケースであり、実用的には多くても3〜4個程度の少数のマーカで切除範囲を決定せざるを得ない現状がある。3〜4個程度の少数のマーカのみで、術者が治療前の腫瘍領域を想定することは、ある程度可能であるが、実際に想定した切除範囲(手術範囲)で治療前の腫瘍を全摘することができるという確信を得るまでには至っていない。すなわち、少数のマーカを埋め込むだけでは、術者が確信を持って治療前の腫瘍領域の全域をカバーする切除範囲を決定することは困難である。 However, in order to embed a large number of markers so as to completely surround the tumor before treatment, a large number of insertion paths are required, and whether this is possible depends on the target tissue and the position of the tumor. It is a very rare case that this is possible, and there is a current situation in which the ablation range must be determined with a small number of markers of about 3 to 4 at most. Although it is possible to assume the tumor area before treatment to some extent with only a few markers of about 3 to 4, it is possible to completely remove the tumor before treatment within the actually assumed resection range (surgical range). I haven't come to the confidence that I can do it. That is, it is difficult for an operator to determine the resection range that covers the entire area of the tumor region before treatment with confidence only by embedding a small number of markers.
本発明は、上記に鑑みてなされたものであり、その目的は、視認不可能な腫瘍に対する手術範囲の決定を支援することができる医用画像診断装置を提供することである。 The present invention has been made in view of the above, and an object of the present invention is to provide a medical image diagnostic apparatus capable of supporting determination of a surgical range for a tumor that cannot be visually recognized.
本発明の実施の形態に係る特徴は、医用画像診断装置において、被検体の部位を示す医用画像を表示する表示部と、情報を記憶する記憶部と、医用画像から部位の腫瘍を囲む腫瘍範囲を腫瘍の周囲の構造体に関連付け、腫瘍範囲の位置を示す第1の位置情報を生成する手段と、生成した第1の位置情報を記憶部に保存する手段と、保存した第1の位置情報に基づいて腫瘍範囲を再現し、再現した腫瘍範囲を手術用の医用画像と共に表示部に表示させる手段と、部位に埋め込まれたマーカを検出する手段と、切開前に検出したマーカの位置及び保存した第1の位置情報に基づいて、マーカの位置と腫瘍範囲との位置関係を示す第2の位置情報を生成する手段と、生成した第2の位置情報を記憶部に保存する手段と、切開後に検出したマーカの位置及び保存した第2の位置情報に基づいて腫瘍範囲を再現し、再現した腫瘍範囲を手術用の医用画像と共に表示部に表示させる手段とを備えることである。 A feature according to an embodiment of the present invention is that, in the medical image diagnostic apparatus, a display unit that displays a medical image indicating a part of a subject, a storage unit that stores information, and a tumor range that surrounds the tumor of the part from the medical image Means for generating first position information indicating the position of the tumor range, means for storing the generated first position information in the storage unit, and the stored first position information Based on the above, the tumor range is reproduced, the reproduced tumor range is displayed on the display unit together with the medical image for operation, the means for detecting the marker embedded in the site, the position and storage of the marker detected before the incision Means for generating second position information indicating the positional relationship between the marker position and the tumor range based on the first position information, means for storing the generated second position information in the storage unit, and incision Marker position detected later And saved on the basis of the second position information to reproduce the tumor range, further comprising a means for displaying on the display unit together with the medical image surgical reproducibility tumor range.
本発明によれば、視認不可能な腫瘍に対する手術範囲の決定を支援することができる医用画像診断装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the medical image diagnostic apparatus which can assist the determination of the operation range with respect to the tumor which cannot be visually recognized can be provided.
本発明の実施の一形態について図面を参照して説明する。 An embodiment of the present invention will be described with reference to the drawings.
図1に示すように、本発明の実施の形態に係る医用画像診断装置1は、各部を集中的に制御するCPU(Central Processing Unit)等の制御部2と、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ3と、患者等の被検体の部位を示す医用画像を撮影する撮影部4と、医用画像等の画像を表示する表示部5と、術者や助手等の操作者からの入力操作を受け付ける操作部6と、各種プログラムや各種データ等を記憶する記憶部7と、外部装置との通信を行う通信部8と、医用画像等の画像を処理する画像処理部9とを備えている。これらの各部は、バス10により電気的に接続されている。
As shown in FIG. 1, a medical image diagnostic apparatus 1 according to an embodiment of the present invention includes a control unit 2 such as a CPU (Central Processing Unit) that centrally controls each unit, a ROM (Read Only Memory), and a RAM. (Random Access Memory) or the like, an imaging unit 4 that captures a medical image showing a part of a subject such as a patient, a display unit 5 that displays an image such as a medical image, and operations of an operator or an assistant An
制御部2は、記憶部7に記憶された各種プログラムや各種データ等に基づいて、各部を制御する。特に、制御部2は、各種のプログラムやデータ等に基づいて、データの計算又は加工等を行う一連のデータ処理及び画像を表示する画像表示処理等を実行する。
The control unit 2 controls each unit based on various programs and various data stored in the
メモリ3は、制御部2が実行する起動プログラム等を記憶するメモリであって、制御部2のワークエリアとしても機能するメモリである。なお、起動プログラムは、医用画像診断装置1の起動時に制御部2により読み出されて実行される。
The
撮影部4は、患者等の被検体に対して医用画像を撮影する撮影動作を行う。この撮影部4としては、例えば、X線を使用する撮影部や超音波を使用する撮影部等を用いる。X線を使用する場合には、撮影部4は、寝台の天板上の被検体に対してX線を照射するX線照射部と、そのX線照射部により照射されたX線を検出するX線検出部とを備えている。この撮影部4は、寝台の天板の周囲を移動可能に設けられており、撮影位置から天板上の被検体の各部位の医用画像(CT画像)を撮影する。 The imaging unit 4 performs an imaging operation for imaging a medical image on a subject such as a patient. As this imaging unit 4, for example, an imaging unit using X-rays, an imaging unit using ultrasonic waves, or the like is used. When X-rays are used, the imaging unit 4 detects an X-ray irradiation unit that irradiates the subject on the top of the bed with X-rays and the X-rays irradiated by the X-ray irradiation unit. And an X-ray detection unit. The imaging unit 4 is provided so as to be movable around the couch top, and images medical images (CT images) of each part of the subject on the couch from the imaging position.
表示部5は、医用画像等の画像をカラー表示可能な表示装置であって、特に、被検体の部位(例えば、肝臓)に対する手術用の医用画像を表示する表示装置である。この表示部5としては、例えば、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ等を用いる。 The display unit 5 is a display device that can display an image such as a medical image in color, and in particular, a display device that displays a medical image for surgery on a region of the subject (for example, the liver). For example, a liquid crystal display or a CRT (Cathode Ray Tube) display is used as the display unit 5.
操作部6は、操作者により入力操作される入力部であって、画像表示の開始や画像の切り替え等の各種の入力操作を受け付ける入力部である。この操作部6としては、例えば、マウスやキーボード等の入力デバイスを用いる。
The
記憶部7は、各種のプログラムやデータ等を記憶する記憶装置であって、特に、医用画像に関する画像データ(画像情報)D1、部位の腫瘍に対する腫瘍範囲を示す第1の位置データ(位置情報)D2及びマーカの位置を示す第2の位置データ(位置情報)D3を記憶する記憶装置である。この記憶部7としては、例えば、磁気ディスク装置や半導体ディスク装置(フラッシュメモリ)等を用いる。なお、画像データD1は、撮影部4により得られ、バス10を介して記憶部7に格納される。ここで、被検体の部位としては、例えば、肝臓、***、肺及び各種消化器等が挙げられる。
The
通信部8は、LAN(Local Area Network)やインターネット等のネットワークを介して外部装置との通信を行う装置である。この通信部8としては、LANカードやモデム等を用いる。外部装置としては、データベースサーバや他の医用画像診断装置等が挙げられる。 The communication unit 8 is a device that communicates with an external device via a network such as a LAN (Local Area Network) or the Internet. As the communication unit 8, a LAN card, a modem, or the like is used. Examples of the external device include a database server and other medical image diagnostic devices.
画像処理部9は、撮影した医用画像や記憶した医用画像等の画像に対して様々な画像処理(例えば、画像再構成を含む画像処理等)を行う。ここで、画像処理部9は、画像データから二次元や三次元の医用画像を生成する。詳しくは、画像処理部9は、画像データ(例えばボリュームデータ)に対してボリュームレンダリング処理、MPR(Multi Planer Reconstruction)処理、及びMIP(Maximum Intensity Projection)処理等の画像処理を施し、表示用の画像データを生成する。この画像処理部9はソフトウェア及びハードウェアのどちらか一方又は両方により構成されている。 The image processing unit 9 performs various image processing (for example, image processing including image reconstruction) on an image such as a taken medical image or a stored medical image. Here, the image processing unit 9 generates a two-dimensional or three-dimensional medical image from the image data. Specifically, the image processing unit 9 performs image processing such as volume rendering processing, MPR (Multi Planer Reconstruction) processing, and MIP (Maximum Intensity Projection) processing on image data (for example, volume data) to display an image for display. Generate data. The image processing unit 9 is configured by one or both of software and hardware.
次に、このような医用画像診断装置1が行う切除範囲決定支援処理(腫瘍範囲保存処理及び手術画像表示処理)について説明する。医用画像診断装置1の制御部2は、治療前に、腫瘍範囲の位置を保存する腫瘍範囲保存処理を実行し、マーカの埋め込み及び切除を行う手術時に、手術用の医用画像を表示する手術画像表示処理を実行する。 Next, ablation range determination support processing (tumor range storage processing and surgical image display processing) performed by such a medical image diagnostic apparatus 1 will be described. The control unit 2 of the medical image diagnostic apparatus 1 performs a tumor range storage process for storing the position of the tumor range before treatment, and displays a surgical medical image during surgery for embedding and excising a marker. Execute display processing.
通常、医師は、健康診断等により例えば肝臓に腫瘍が見つかった場合、医用画像診断装置1(CTやMRI、超音波診断装置等)による医用画像(臨床画像)を用いて、腫瘍の大きさや個数、種類、原発性か転移性か、切除手術適用か等の診断を行う。その結果、腫瘍が1つで4cm程度の原発性肝がんであった場合、医師は、例えば、化学療法や放射線療法による治療(術前治療)によりその腫瘍を縮小し、その後、手術で切除するという治療計画を立てる。このとき、医師は、治療により腫瘍が見えなくなる可能性があることを考慮し、腫瘍が消失又は縮小する前、すなわち治療前に、医用画像診断装置1により腫瘍の位置、すなわち腫瘍範囲の位置を保存する。その後、医師は手術時に医用画像診断装置1による手術用の医用画像(術中画像)を視認しながら患者の体内に一つ又は複数のマーカ(例えば4個)を埋め込み、それらのマーカを確認しつつ部位の切除範囲部分を切除する。 Usually, when a doctor finds a tumor in the liver, for example, by a medical checkup, the size and number of tumors using a medical image (clinical image) by the medical image diagnostic apparatus 1 (CT, MRI, ultrasonic diagnostic apparatus, etc.) Diagnose whether type, primary or metastatic, resection surgery, etc. As a result, if the tumor is a single primary liver cancer of about 4 cm, the doctor reduces the tumor by, for example, treatment with chemotherapy or radiation therapy (preoperative treatment), and then surgically removes it. Make a treatment plan. At this time, the doctor considers that the tumor may not be visible due to treatment, and before the tumor disappears or shrinks, that is, before the treatment, the medical image diagnosis apparatus 1 determines the position of the tumor, that is, the position of the tumor range. save. Thereafter, the doctor embeds one or a plurality of markers (for example, four) in the patient's body while visually confirming the medical image (intraoperative image) for surgery by the medical image diagnostic apparatus 1 at the time of surgery, and confirms these markers. Excise the resected area of the site.
まず、医師等の操作者が治療前に医用画像診断装置1を用いて腫瘍範囲の位置を保存する場合の腫瘍範囲保存処理について図2及び図3を参照して説明する。 First, a tumor range storage process in the case where an operator such as a doctor stores the position of a tumor range using the medical image diagnostic apparatus 1 before treatment will be described with reference to FIGS.
図2に示すように、制御部2は、まず、医用画像G1を撮影する(ステップS1)。すなわち、制御部2は、撮影部4に撮影動作を実行させる。これにより、例えば、図3に示すように、部位として肝臓Tを示す医用画像(三次元画像)G1が得られる。なお、この医用画像G1は画像データD1として記憶部7に保存される。
As shown in FIG. 2, the control unit 2 first captures a medical image G1 (step S1). That is, the control unit 2 causes the photographing unit 4 to perform a photographing operation. Thereby, for example, as shown in FIG. 3, a medical image (three-dimensional image) G1 showing the liver T as a part is obtained. The medical image G1 is stored in the
次いで、制御部2は、撮影した医用画像G1に対して腫瘍範囲(トレースライン)Rの設定を行う(ステップS2)。これにより、図3に示すように、腫瘍範囲Rは、医用画像G1上の腫瘍Taの周囲に設定される。ここで、この腫瘍範囲Rを自動で設定する場合には、例えば、画像処理部9がCAD等の技術により腫瘍Taを認識し、腫瘍Taから切除断端までの距離情報等に基づいてその腫瘍Taの周囲に最適な腫瘍範囲Rが設定される。このときの距離情報等は記憶部7に記憶されている。一方、手動で腫瘍範囲Rを設定する場合には、撮影した医用画像G1が表示部5に表示され、医師や助手等の操作者はその医用画像G1を参照しながら操作部6に対して入力操作を行い、腫瘍Taの周囲にその腫瘍Taを囲む腫瘍範囲Rを設定する。なお、医用画像G1が三次元画像である場合には、腫瘍範囲Rも三次元で設定され、医用画像G1が二次元画像である場合には、腫瘍範囲Rも二次元で設定される。
Next, the control unit 2 sets a tumor range (trace line) R for the captured medical image G1 (step S2). Thereby, as shown in FIG. 3, the tumor range R is set around the tumor Ta on the medical image G1. Here, when the tumor range R is automatically set, for example, the image processing unit 9 recognizes the tumor Ta by a technique such as CAD, and the tumor is based on distance information from the tumor Ta to the resection margin. An optimal tumor range R is set around Ta. The distance information at this time is stored in the
その後、制御部2は、腫瘍範囲Rを複数の領域Raに分割し(ステップS3)、それらの領域Raを腫瘍Taの周囲の構造体(例えば、肝臓Tの表面及び肋骨Jの表面)に関連付けて第1の位置データD2を生成し(ステップS4)、生成した第1の位置データD2を保存する(ステップS5)。すなわち、制御部2は、画像処理部9を制御し、腫瘍範囲Rを各領域Raに分割し、それらの領域Raを各構造体の各々の面、例えば肝臓Tの表面及び肋骨Jの表面(例えば外面)に関連付けて第1の位置データD2を生成し、その第1の位置データD2を記憶部7に保存する。これにより、図3に示すように、腫瘍範囲Rは各領域Raに分割され、それらの領域Raが肝臓Tの表面及び肋骨Jの表面(各特徴領域)にそれぞれ関連付けられ、それらの関連情報の集合体である第1の位置データD2が生成される。その後、第1の位置データD2は記憶部7に保存される。なお、構造体上の表面の各特徴領域は、例えば、長期間不変である肝臓Tの表面上の血管の形状等の特徴量、さらに、長期間不変である肋骨Jの形状や湾曲の程度等の特徴量によって特定される。
Thereafter, the control unit 2 divides the tumor range R into a plurality of regions Ra (step S3), and associates these regions Ra with structures around the tumor Ta (for example, the surface of the liver T and the surface of the rib J). First position data D2 is generated (step S4), and the generated first position data D2 is stored (step S5). That is, the control unit 2 controls the image processing unit 9 to divide the tumor range R into each region Ra, and divide the region Ra into each surface of each structure, for example, the surface of the liver T and the surface of the rib J ( For example, the first position data D2 is generated in association with the outer surface, and the first position data D2 is stored in the
ここで、図3に示すように、ある1つの領域Raの位置を特定する場合には、肝臓Tの表面上の血管の形状で特徴付けられた記録面K1と、肋骨Jの形状及び湾曲率で特徴付けられた記録面K2とが抽出され、それらの記録面K1、K2により1つの領域Raの位置が特定される。これらの記録面K1、K2はそれぞれ特徴領域として機能する。例えば、四角形(例えば正方形)の領域Raの位置は、それらの各角から四角形の記録面K1の各角までの距離と、その記録面K1の各角から四角形の記録面K2の各角までの距離とにより特定される。したがって、1つの領域Raに対して、記録面K1(特徴量情報)、記録面K2(特徴量情報)及び距離情報が1セットの関連情報として取得される。なお、領域Ra、記録面K1及び記録面K2は例えば相似関係にある。この処理が、腫瘍範囲Rの全ての領域Raあるいは一定数の領域Raに対して行われ、それらの関連情報の集合体である第1の位置データD2が生成される。 Here, as shown in FIG. 3, when specifying the position of a certain region Ra, the recording surface K1 characterized by the shape of the blood vessel on the surface of the liver T, the shape and curvature of the rib J Are extracted, and the position of one region Ra is specified by these recording surfaces K1 and K2. These recording surfaces K1 and K2 each function as a characteristic area. For example, the position of a quadrangular (for example, square) region Ra is the distance from each corner to each corner of the quadrangular recording surface K1, and from each corner of the recording surface K1 to each corner of the quadrangular recording surface K2. It is specified by the distance. Therefore, the recording surface K1 (feature amount information), the recording surface K2 (feature amount information), and the distance information are acquired as one set of related information for one region Ra. Note that the region Ra, the recording surface K1, and the recording surface K2 have a similar relationship, for example. This process is performed on all the regions Ra or a certain number of regions Ra in the tumor range R, and the first position data D2 that is an aggregate of the related information is generated.
なお、化学療法や放射線療法による治療の過程で、明らかに腫瘍Taの縮小が見られた場合や肝臓Tに治療による変形が見られた場合等には、前述の腫瘍範囲保存処理が再度行われ、第1の位置データD2が書き換えられてもよい。化学療法や放射線療法による治療が終了し、医用画像G1上で腫瘍Taが視認できなくなった場合には、生検等の検査で腫瘍細胞の有無が確認される。結果が陰性であった場合には、ここで治療は終了し、患者は経過観察となる。一方、結果が陽性であった場合、あるいは、腫瘍細胞を弱らせる目的で治療を行い、初めから元の腫瘍部分を切除すると計画されていた場合には、切除のための手術計画を行い、手術用のマーカの埋め込み(留置)を行うことになる。 In the course of treatment with chemotherapy or radiotherapy, if the tumor Ta is clearly reduced or if the liver T is deformed due to treatment, the above-described tumor range preservation process is performed again. The first position data D2 may be rewritten. When treatment by chemotherapy or radiation therapy is completed and the tumor Ta cannot be visually recognized on the medical image G1, the presence or absence of tumor cells is confirmed by an examination such as biopsy. If the result is negative, the treatment ends here and the patient is followed up. On the other hand, if the result is positive, or if the treatment is intended to weaken the tumor cells and it was planned to remove the original tumor part from the beginning, perform a surgical plan for resection, Surgery markers are embedded (indwelled).
次に、医師等の操作者が医用画像診断装置1を用いて手術用のマーカの埋め込みを行う場合の手術画像表示処理について図4乃至図6を参照して説明する。 Next, a surgical image display process when an operator such as a doctor embeds a surgical marker using the medical image diagnostic apparatus 1 will be described with reference to FIGS.
図4に示すように、制御部2は、まず、手術用の医用画像G2を撮影する(ステップS11)。すなわち、制御部2は、撮影部4に撮影動作を実行させる。このとき、撮影は、治療前の医用画像G1(図3参照)となるべく同じ***で行われる。これにより、例えば、図5に示すように、部位として肝臓Tを示す医用画像(三次元画像)G2が得られる。なお、この医用画像G2は画像データD1として記憶部7に保存される。
As shown in FIG. 4, the control unit 2 first captures a medical image G2 for surgery (step S11). That is, the control unit 2 causes the photographing unit 4 to perform a photographing operation. At this time, imaging is performed with the same posture as possible as the medical image G1 before treatment (see FIG. 3). Thereby, for example, as shown in FIG. 5, a medical image (three-dimensional image) G2 showing the liver T as a part is obtained. The medical image G2 is stored in the
次いで、制御部2は、第1の位置データD2に基づいて各領域Raからなる腫瘍範囲Rを再現し(ステップS12)、再現した腫瘍範囲Rを手術用の医用画像G2と共に表示する(ステップS13)。すなわち、制御部2は、記憶部7から第1の位置データD2を読み出し、画像処理部9を制御して第1の位置データD2に基づいて手術用の医用画像G2上に各領域Raを各々再現し、腫瘍範囲Rを手術用の医用画像G2上に表示する。これにより、例えば、図5に示すように、腫瘍範囲Rは医用画像G2上に重畳されて表示される。
Next, the control unit 2 reproduces the tumor range R composed of each region Ra based on the first position data D2 (step S12), and displays the reproduced tumor range R together with the medical image G2 for operation (step S13). ). That is, the control unit 2 reads the first position data D2 from the
ここで、画像処理部9は、第1の位置データD2内の各領域Raにそれぞれ対応する記録面K1、記録面K2及び距離情報に基づいて各領域Raを再現する。このとき、記録面K1及び記録面K2の各々の特徴量情報に基づいて、記録面K1及び記録面K2の位置が特定され、それらの記録面K1及び記録面K2に対する距離情報に基づいて、領域Raが再現される。これが全ての領域Raに対して実行される。その後、制御部2は、再現した腫瘍範囲Rを示す画像を手術用の医用画像G2に重畳し、手術用の医用画像G2と共に手術支援用の医用画像として表示部5に表示させる。なお、高速に画像処理を行うことが可能な装置とすることにより、リアルタイムの手術用の医用画像G2上に腫瘍範囲Rを表示することが可能になる。 Here, the image processing unit 9 reproduces each region Ra based on the recording surface K1, the recording surface K2, and the distance information corresponding to each region Ra in the first position data D2. At this time, the positions of the recording surface K1 and the recording surface K2 are specified based on the feature amount information of the recording surface K1 and the recording surface K2, and the area is determined based on the distance information about the recording surface K1 and the recording surface K2. Ra is reproduced. This is executed for all regions Ra. Thereafter, the control unit 2 superimposes the reproduced image showing the tumor range R on the medical image G2 for operation and causes the display unit 5 to display it together with the medical image G2 for operation as a medical image for operation support. In addition, it becomes possible to display the tumor range R on the medical image G2 for a real-time operation by setting it as the apparatus which can perform an image process at high speed.
その後、術者は、図5に示すように、表示された手術用の医用画像G2及び腫瘍範囲Rを参照しながら、針等の挿入部材Hを用いて樹脂ビーズ等の複数のマーカM1〜M4を患者の体内、すなわち腫瘍範囲Rの周縁に挿入する。なお、マーカM1〜M4の挿入数は、腫瘍範囲Rの大きさや体表からの針でのアプローチの可能性等により決まり、単数でも複数でもよい。 Thereafter, as shown in FIG. 5, the surgeon uses the insertion member H such as a needle to refer to the displayed medical image G2 for surgery and the tumor range R, and uses a plurality of markers M1 to M4 such as resin beads. Is inserted into the body of the patient, ie, at the periphery of the tumor area R. The number of insertion of the markers M1 to M4 is determined by the size of the tumor range R, the possibility of approach with a needle from the body surface, etc., and may be singular or plural.
次に、制御部2は、切開前の各マーカM1〜M4の位置を検出する(ステップS14)。これらのマーカM1〜M4の位置検出は、例えば医用画像G2としてCT画像によるガイド下で行われる。例えば、術者や助手等の操作者が、CT画像上に映ったマーカM1〜M4の像に対し、表示部5の表示画面上にタッチするタッチペン等の操作部6を用いて手動で位置決め(マーク付け)を行う。あるいは、画像処理部9が、各マーカM1〜M4を構成する樹脂ビーズ等の形状か、そのCT値や輝度等の特徴量から各マーカM1〜M4を自動的に検出して位置決め(マーク付け)を行ってもよい。さらに、画像処理部9がマーカ挿入前とマーカ挿入後のCT画像の差分から各マーカM1〜M4の位置を自動的に検出してもよい。なお、マーカM1〜M4が複数ある場合には、それぞれの判別が可能なように別々の番号や文字や記号等が各マーカM1〜M4に割り振られてもよく、色や形の違うマークで各マーカM1〜M4が示されてもよい。また、挿入する各マーカM1〜M4がそれぞれ別々の特徴(例えば、物質、形状、密度及びCT値等の違い)を持ち、CT画像上で判別されるようにしてもよい。
Next, the control part 2 detects the position of each marker M1-M4 before incision (step S14). The position detection of these markers M1 to M4 is performed under the guide of a CT image as a medical image G2, for example. For example, an operator such as an operator or an assistant manually positions the image of the markers M1 to M4 displayed on the CT image by using the
次いで、制御部2は、切開前に検出した各マーカM1〜M4の位置と再現した腫瘍範囲Rとの位置関係を示す第2の位置データD3を生成し(ステップS15)、生成した第2の位置データD3を保存する(ステップS16)。すなわち、制御部2は、画像処理部9を制御し、検出した各マーカM1〜M4の位置と再現した腫瘍範囲Rとの位置関係を求め、その位置関係を示す第2の位置データD3を生成し、その第2の位置データD3を記憶部7に保存する。
Next, the control unit 2 generates second position data D3 indicating the positional relationship between the positions of the markers M1 to M4 detected before the incision and the reproduced tumor range R (step S15), and the generated second The position data D3 is stored (step S16). That is, the control unit 2 controls the image processing unit 9 to obtain a positional relationship between the detected positions of the markers M1 to M4 and the reproduced tumor range R, and generates second position data D3 indicating the positional relationship. Then, the second position data D3 is stored in the
ここで、第2の位置データD3は、図6に示すように、例えば、楕円体の中心を(x0,y0,z0)とする3次元空間座標により腫瘍範囲Rの表面の任意の点及びマーカM1〜M4の位置が設定されるデータである。すなわち、腫瘍範囲Rは、その中心が(x0,y0,z0)であり、各マーカM1〜M4の中心点の4点(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)及び(x4,y4,z4)を通り、長軸がacmであり、短軸がbcmである楕円体と仮定される。これにより、後で各マーカM1〜M4の4点に基づいて腫瘍範囲Rを特定することが可能になる。これは、全てのマーカM1〜M4を腫瘍範囲Rの境界に埋め込む場合である。腫瘍範囲Rの外である近傍に埋め込む場合には、各マーカM1〜M4と腫瘍範囲Rとの位置関係を決めるため、再現した各領域Raのそれぞれに対して、各マーカM1〜M4からの距離を算出しておく。また、他の例としては、腫瘍範囲Rの境界を構成する面要素郡の各々と、各マーカM1〜M4の位置との距離を求めておく方法を用いることもできる。 Here, as shown in FIG. 6, the second position data D3 is, for example, an arbitrary surface on the surface of the tumor range R by three-dimensional spatial coordinates with the center of the ellipsoid as (x 0 , y 0 , z 0 ). This is data in which the positions of points and markers M1 to M4 are set. That is, the center of the tumor range R is (x 0 , y 0 , z 0 ), and four points (x 1 , y 1 , z 1 ), (x 2 , y) of the center points of the markers M1 to M4. 2 , z 2 ), (x 3 , y 3 , z 3 ) and (x 4 , y 4 , z 4 ), an ellipsoid having a major axis of acm and a minor axis of bcm is assumed. This makes it possible to specify the tumor range R later based on the four points of the markers M1 to M4. This is a case where all the markers M1 to M4 are embedded in the boundary of the tumor range R. When embedding in the vicinity outside the tumor range R, in order to determine the positional relationship between each marker M1 to M4 and the tumor range R, the distance from each marker M1 to M4 for each reproduced region Ra Is calculated in advance. As another example, a method of obtaining the distance between each of the surface element groups constituting the boundary of the tumor range R and the positions of the markers M1 to M4 can be used.
前述のように、医用画像G1から腫瘍Taの位置が腫瘍Taの周囲の構造体、例えば肝臓Tの表面及び肋骨Jの表面に関連付けられ、腫瘍Taの位置を示す第1の位置データD2が生成され、この第1の位置データD2は記憶部7に保存される。その後、各マーカM1〜M4の埋め込みを行う手術前等に、必要に応じて、第1の位置データD2に基づいて肝臓Tに対する腫瘍範囲Rが再現され、その腫瘍範囲Rが手術用の医用画像G2と共に表示される(図5参照)。これにより、目に見えない腫瘍Taに対する腫瘍範囲Rが表示されるので、術者はその腫瘍範囲Rを視認することができる。その結果、術者は迷うことなく自信を持って肝臓Tの腫瘍範囲Rの周縁に各マーカM1〜M4を埋め込むことが可能になり、肝臓Tに対する切除範囲を容易に決定することができる。
As described above, the position of the tumor Ta is associated with the structure around the tumor Ta, for example, the surface of the liver T and the surface of the rib J, and the first position data D2 indicating the position of the tumor Ta is generated from the medical image G1. The first position data D2 is stored in the
次に、医師等の操作者が医用画像診断装置1を用いて切除手術を行う場合の手術画像表示処理について図7乃至図9を参照して説明する。術者は切除手術を開始し、患者を切開(開腹)して肝臓Tの表面を露出させると、三次元用の超音波プローブ等の撮影部4を肝臓Tの表面に当て、肝臓Tの内部に埋め込まれたマーカM1〜M4を探す。 Next, an operation image display process when an operator such as a doctor performs a resection operation using the medical image diagnostic apparatus 1 will be described with reference to FIGS. When the operator starts excision and incises (opens) the patient to expose the surface of the liver T, the imaging unit 4 such as a three-dimensional ultrasonic probe is applied to the surface of the liver T, and the inside of the liver T Search for the markers M1 to M4 embedded in.
図7に示すように、まず、制御部2は、切開後の手術用の医用画像(術中画像)G3を撮影する(ステップS11)。すなわち、制御部2は、撮影部4に撮影動作を実行させる。これにより、例えば、図8に示すように、部位として肝臓Tを示す医用画像(三次元画像)G3が得られる。なお、この医用画像G3は、必要に応じて画像データD1として記憶部7に保存される。ここで、図8中の一点鎖線は、切開前の肝臓Tの位置を示す。
As shown in FIG. 7, first, the control unit 2 captures a surgical medical image (intraoperative image) G3 after the incision (step S11). That is, the control unit 2 causes the photographing unit 4 to perform a photographing operation. As a result, for example, as shown in FIG. 8, a medical image (three-dimensional image) G3 showing the liver T as a part is obtained. The medical image G3 is stored in the
次いで、制御部2は、切開後の各マーカM1〜M4の位置を検出する(ステップS22)。すなわち、制御部2は、医用画像G3上の各マーカM1〜M4の位置を自動又は手動により認識する。自動の場合には、三次元の超音波画像上でのマーカM1〜M4の特徴量を予め記憶部7に登録し、その特徴量に基づいて各マーカM1〜M4を認識してそれらの位置を検出する。一方、手動の場合には、術者や助手等の操作者がタッチペン等の操作部6により各マーカM1〜M4をマーキングする。制御部2は、そのマーキングに応じて各マーカM1〜M4を認識してそれらの位置を認識する。
Next, the control unit 2 detects the positions of the markers M1 to M4 after the incision (Step S22). That is, the control unit 2 recognizes the positions of the markers M1 to M4 on the medical image G3 automatically or manually. In the case of automatic, the feature amounts of the markers M1 to M4 on the three-dimensional ultrasonic image are registered in the
その後、制御部2は、切開後に検出した各マーカM1〜M4の位置と記憶した第2の位置データD3に基づいて腫瘍範囲Rを再現し(ステップS23)、再現した腫瘍範囲Rを手術用の医用画像G3と共に表示する(ステップS24)。すなわち、制御部2は、記憶部7から第2の位置データD3を読み出し、画像処理部9を制御して第2の位置データD3及び検出した各マーカM1〜M4の位置に基づいて腫瘍範囲Rを再現し、再現した腫瘍範囲Rを手術用の医用画像G3上に表示する。これにより、例えば、図8に示すように、腫瘍範囲Rは医用画像G3上に重畳されて表示される。
Thereafter, the control unit 2 reproduces the tumor range R based on the positions of the markers M1 to M4 detected after the incision and the stored second position data D3 (step S23), and the reproduced tumor range R is used for surgery. It is displayed together with the medical image G3 (step S24). That is, the control unit 2 reads the second position data D3 from the
ここで、例えば、図9に示すように、切開前のCT画像(医用画像G2)上のマーカ位置(第2の位置データD3)と切開後の超音波画像(医用画像G3)上のマーカ位置(検出した各マーカM1〜M4の位置)との距離が求められる。その距離が所定量(例えば2mm)以上であった場合には、切開前と切開後で各マーカM1〜M4の位置関係が変化していると判断される。この場合、画像処理部9は、図9に示すように、切開前の各マーカM1〜M4の位置(楕円)からそれらの各マーカM1〜M4がつくる四角形を求め、切開後の各マーカM1〜M4のつくる四角形のY軸が傾いた角度θを取得し、各マーカM1〜M4を囲む楕円形で示される腫瘍範囲RのY軸を元の位置から角度θだけ傾けて腫瘍範囲Rを再設定する。このとき、各マーカM1〜M4がつくる四角形は変形されて正方形とされて用いられ、その変形量も記憶されて腫瘍範囲Rの再設定時に用いられる。 Here, for example, as shown in FIG. 9, the marker position (second position data D3) on the CT image (medical image G2) before the incision and the marker position on the ultrasonic image (medical image G3) after the incision. The distance to (the detected positions of the markers M1 to M4) is obtained. If the distance is equal to or greater than a predetermined amount (for example, 2 mm), it is determined that the positional relationship between the markers M1 to M4 has changed before and after the incision. In this case, as shown in FIG. 9, the image processing unit 9 obtains a square formed by each of the markers M1 to M4 from the position (ellipse) of each of the markers M1 to M4 before the incision, and each of the markers M1 to M1 after the incision. Obtain the angle θ at which the Y axis of the quadrangle made by M4 is tilted, and reset the tumor range R by tilting the Y axis of the tumor range R indicated by the ellipse surrounding each marker M1 to M4 by the angle θ from the original position. To do. At this time, the quadrangle formed by each of the markers M1 to M4 is deformed and used as a square, and the deformation amount is also stored and used when the tumor range R is reset.
加えて、画像処理部9は、切開前のCT画像上の各マーカM1〜M4の位置から求められた腫瘍範囲Rの中心と、切開後の超音波画像上の各マーカM1〜M4の位置から求められた腫瘍範囲Rの中心とから、腫瘍範囲Rの移動量を求め、その移動量に基づいて腫瘍範囲Rを再設定する。なお、実際には、切開前と切開後の肝臓Tの変形は、図9に示すように単純ではないため、有限要素法等の手法を用いて、マーカ位置の変化とそれに伴う腫瘍範囲Rの変化を計算することになる。また、切開直後だけでなく、切除手術が進んで行く間に肝臓Tの形は変化して行くため、前述の処理を繰り返し、リアルタイムの画像で腫瘍範囲Rを確認しながら切除手術を進めることが望ましい。 In addition, the image processing unit 9 determines from the center of the tumor range R obtained from the positions of the markers M1 to M4 on the CT image before the incision and the positions of the markers M1 to M4 on the ultrasonic image after the incision. The movement amount of the tumor range R is obtained from the center of the obtained tumor range R, and the tumor range R is reset based on the movement amount. Actually, the deformation of the liver T before and after the incision is not simple as shown in FIG. 9, and therefore, using a technique such as a finite element method, the change of the marker position and the associated tumor range R The change will be calculated. Moreover, since the shape of the liver T changes not only immediately after the incision but also during the excision operation, the above processing is repeated, and the excision operation can be performed while confirming the tumor range R with a real-time image. desirable.
なお、第2の位置データD3として各マーカM1〜M4と各領域Raとの距離を記録している場合には、各マーカM1〜M4と各領域Raとの距離と、術中の超音波画像に再現する各領域Raと術中の超音波画像で決定された各マーカM1〜M4との距離の2乗誤差が最小になるように、各領域Raの位置を決定する(最小2乗法で決定することができる)。面要素郡を用いる場合も同様である。求めた各領域Raからなる腫瘍範囲Rは術中の超音波画像(医用画像G3)の上に重畳表示される。 In addition, when the distance between each marker M1 to M4 and each region Ra is recorded as the second position data D3, the distance between each marker M1 to M4 and each region Ra and the intraoperative ultrasound image are displayed. The position of each region Ra is determined so that the square error of the distance between each region Ra to be reproduced and each marker M1 to M4 determined by the intraoperative ultrasound image is determined (determined by the least square method). Can do). The same applies when using the face element group. The obtained tumor range R composed of each region Ra is superimposed and displayed on the intraoperative ultrasound image (medical image G3).
前述のように、切開後に検出した各マーカM1〜M4の位置と記憶した第2の位置データD3に基づいて腫瘍範囲Rが再現され、その腫瘍範囲Rが手術用の医用画像G3と共に表示される。これにより、切開後等に肝臓Tが変形した場合でも、各マーカM1〜M4に基づいて腫瘍範囲Rが調整されて表示されるので、少数のマーカM1〜M4を埋め込むだけで、術者が確信を持って消失前の腫瘍Taの全域をカバーする切除範囲を決定することができる。特に、肝臓Tに当てた超音波プローブの位置、角度及び、三次元画像上で示された楕円体状の腫瘍範囲Rにより、術者はメスを入れる位置や方向等を決定することが容易になる。通常のように術前に患者の体内に多数のマーカを留置する必要がある場合に比べ、例えば4個程度の少数のマーカM1〜M4を留置すればよく、縮小前の腫瘍範囲Rを術中の医用画像G3に表示することが可能になるので、術者が確信を持って消失前の腫瘍Taの全域をカバーする切除範囲を決定することができる。その結果、術者はその切除範囲内の部分を切除し、治療前の腫瘍Taを全て正確に摘出することができる。 As described above, the tumor range R is reproduced based on the positions of the markers M1 to M4 detected after the incision and the stored second position data D3, and the tumor range R is displayed together with the surgical medical image G3. . Thereby, even when the liver T is deformed after incision or the like, the tumor range R is adjusted and displayed based on the markers M1 to M4, so that the operator can be sure only by embedding a small number of markers M1 to M4. The excision range covering the entire area of the tumor Ta before disappearance can be determined. In particular, the operator can easily determine the position and direction of inserting the scalpel by the position and angle of the ultrasonic probe applied to the liver T and the ellipsoidal tumor range R shown on the three-dimensional image. Become. Compared to the case where a large number of markers need to be placed in the patient's body before the operation as usual, a small number of markers M1 to M4, for example, about four may be placed, and the tumor range R before the reduction can be determined during the operation. Since the medical image G3 can be displayed, it is possible for the surgeon to determine the resection range that covers the entire area of the tumor Ta before disappearance with certainty. As a result, the operator can excise the portion within the excision range and accurately excise all the tumor Ta before treatment.
このようにして、化学療法や放射線療法による治療の前に撮影した医用画像G1で腫瘍範囲Rが設定され、治療により腫瘍Taが消失した後に切除手術前の医用画像G2が撮影されて表示される。この医用画像G2には、腫瘍Taが表示されないが、ランドマークとなる構造体の各特徴領域(例えば、各記録面K1、K2)の情報を用いて腫瘍範囲Rが再現されるので、術者はその腫瘍範囲Rをガイドとして各マーカM1〜M4を埋め込むことが可能になる。また、その医用画像G2では、再現した腫瘍範囲R及び埋め込んだ各マーカM1〜M4の関係が求められる。手術中には、術中の医用画像G3に写る各マーカM1〜M4に基づいて腫瘍範囲Rが再度再現される。このように、治療前の医用画像G1における腫瘍範囲Rを構造体の特徴領域を基点として術前の医用画像G2に再現し、さらに、再現した腫瘍範囲Rを各マーカM1〜M4に基づいて術中の医用画像G3に再度再現するという2段階の位置合わせが行われる。これにより、消失前の腫瘍Taに対する腫瘍範囲Rは、各マーカM1〜M4の埋め込みを行う場合、正確に医用画像G2上に再現されて表示され、さらに、切除手術を行う場合にも、正確に医用画像G2上に再現されて表示されるので、術者は確信を持って消失前の腫瘍Taの全域をカバーする切除範囲を容易に決定することができる。その結果、術者は、再現された腫瘍範囲Rをガイドとして各マーカM1〜M4を正確に埋め込むことができ、さらに、決定した切除範囲内の部分を切除し、消失前の腫瘍Taを全て確実に摘出することができる。 In this way, the tumor range R is set by the medical image G1 taken before the treatment by the chemotherapy or the radiotherapy, and the medical image G2 before the resection operation is taken and displayed after the tumor Ta disappears by the treatment. . In this medical image G2, the tumor Ta is not displayed, but the tumor range R is reproduced using information on each feature region (for example, each recording surface K1, K2) of the structure to be a landmark. Can embed the markers M1 to M4 using the tumor range R as a guide. In the medical image G2, the relationship between the reproduced tumor range R and the embedded markers M1 to M4 is obtained. During the operation, the tumor range R is reproduced again based on the markers M1 to M4 shown in the medical image G3 during the operation. As described above, the tumor range R in the medical image G1 before treatment is reproduced in the preoperative medical image G2 using the characteristic region of the structure as a base point, and the reproduced tumor range R is intraoperatively based on the markers M1 to M4. Two-stage alignment is performed in which the medical image G3 is reproduced again. As a result, the tumor range R with respect to the tumor Ta before disappearance is accurately reproduced and displayed on the medical image G2 when the markers M1 to M4 are embedded, and even when excision surgery is performed, Since it is reproduced and displayed on the medical image G2, the operator can easily determine the resection range that covers the entire area of the tumor Ta before disappearance with certainty. As a result, the surgeon can accurately embed each of the markers M1 to M4 using the reproduced tumor range R as a guide, and further, the part within the determined excision range is excised to ensure all the tumor Ta before disappearance. Can be extracted.
以上説明したように、本発明の実施の形態によれば、医用画像G1から肝臓Tの腫瘍Taに対する腫瘍範囲Rの位置をその腫瘍Taの周囲の構造体(例えば、肝臓Tの表面及び肋骨Jの表面)に関連付け、腫瘍範囲Rの位置を示す第1の位置データD2を生成し、その第1の位置データD2を保存し、その後、必要に応じて、記憶した第1の位置データD2に基づいて腫瘍範囲Rを再現し、再現した腫瘍範囲Rを手術用の医用画像G2と共に表示することによって、目に見えない腫瘍Taに対する腫瘍範囲Rが表示され、術者はその腫瘍範囲Rを視認することが可能になる。これにより、視認不可能な腫瘍Taに対する切除範囲の決定を支援することができる。すなわち、術者は迷うことなく自信を持って肝臓Tの腫瘍範囲Rの周縁に各マーカM1〜M4を埋め込むことが可能になり、肝臓Tに対する切除範囲を容易に決定することができる。特に、術者の経験や熟練度等に依存することなく、患者の体内に各マーカM1〜M4を埋め込むことが可能になるので、正確な手術を行うことができる。 As described above, according to the embodiment of the present invention, the position of the tumor range R with respect to the tumor Ta of the liver T from the medical image G1 is changed to the structure around the tumor Ta (for example, the surface of the liver T and the rib J The first position data D2 indicating the position of the tumor range R is generated, the first position data D2 is stored, and then stored in the stored first position data D2 as necessary. The tumor range R is reproduced based on this, and the reproduced tumor range R is displayed together with the medical image G2 for operation, whereby the tumor range R for the invisible tumor Ta is displayed, and the operator visually recognizes the tumor range R. It becomes possible to do. Thereby, determination of the resection range with respect to the tumor Ta which cannot be visually recognized can be supported. That is, the operator can embed the markers M1 to M4 around the tumor range R of the liver T with confidence without hesitation, and can easily determine the resection range for the liver T. In particular, since it is possible to embed the markers M1 to M4 in the patient's body without depending on the experience and skill level of the operator, an accurate operation can be performed.
さらに、切開前に検出した各マーカM1〜M4の位置及び記憶した第1の位置データD2に基づいて、検出した各マーカM1〜M4の位置と腫瘍範囲Rとの位置関係を示す第2の位置データD3を生成し、その第2の位置データD3を保存し、その後、切開後に検出した各マーカM1〜M4の位置及び記憶した第2の位置データD3に基づいて腫瘍範囲Rを再現し、再現した腫瘍範囲Rを手術用の医用画像G3と共に表示することによって、少数のマーカM1〜M4を埋め込むだけで、術者は確信を持って消失前の腫瘍Taの全域をカバーする切除範囲を決定することができる。その結果、術者はその切除範囲内の部分を切除し、消失前の腫瘍Taを全て確実に摘出することができる。特に、切開後等に肝臓Tが変形した場合でも、各マーカM1〜M4に基づいて腫瘍範囲Rが再現されるので、術者は正確な切除手術を行うことができる。 Furthermore, based on the position of each marker M1 to M4 detected before the incision and the stored first position data D2, the second position indicating the positional relationship between the detected position of each marker M1 to M4 and the tumor range R Data D3 is generated, the second position data D3 is stored, and then the tumor range R is reproduced based on the positions of the markers M1 to M4 detected after the incision and the stored second position data D3. By displaying the performed tumor range R together with the medical image G3 for surgery, the operator determines the resection range that covers the entire area of the tumor Ta before disappearance with confidence only by embedding a small number of markers M1 to M4. be able to. As a result, the surgeon can excise the portion within the excision range and reliably extract all the tumor Ta before disappearance. In particular, even when the liver T is deformed after an incision or the like, the tumor range R is reproduced based on the markers M1 to M4, so that the operator can perform an accurate resection operation.
加えて、腫瘍範囲Rを複数の領域Raに分割し、分割した各領域Raをそれぞれ肝臓Tの表面及び肝臓Tの周囲に位置する肋骨Jの表面に関連付け、第1の位置データD2を生成することから、精度良く腫瘍Taの位置、すなわち腫瘍範囲Rを再現することが可能になるので、腫瘍範囲Rを正確に示すことができる。 In addition, the tumor range R is divided into a plurality of regions Ra, and the divided regions Ra are associated with the surface of the liver T and the surface of the rib J located around the liver T, respectively, to generate the first position data D2. Therefore, the position of the tumor Ta, that is, the tumor range R can be accurately reproduced, so that the tumor range R can be accurately indicated.
ここで、前述の実施の形態においては、術中画像として超音波画像を用いた場合を説明しているが、これに限るものではなく、術中画像としてX線透視画像(二次元画像)を用いることも可能である。X線透視画像は投影された二次元画像であり、術前のマーカ位置は三次元情報であるため、それらの位置合わせには、以下のような位置合わせ技術が必要となる。 Here, in the above-described embodiment, the case where an ultrasonic image is used as an intraoperative image is described. However, the present invention is not limited to this, and an X-ray fluoroscopic image (two-dimensional image) is used as an intraoperative image. Is also possible. An X-ray fluoroscopic image is a projected two-dimensional image, and the pre-operative marker position is three-dimensional information. Therefore, the following alignment technique is required for the alignment.
患者の体内に埋め込んだ各マーカM1〜M4(マーカ群)のCT画像上の位置と術中のX線画像上の位置に基づいて、術中のX線画像上に腫瘍範囲Rを再現する手段について図10を用いて説明する。 FIG. 7 is a diagram showing a means for reproducing the tumor range R on the intraoperative X-ray image based on the position on the CT image of each of the markers M1 to M4 (marker group) embedded in the patient's body and the position on the intraoperative X-ray image. 10 will be used for explanation.
まず、術者は、X線装置としての撮影部4により患者に対して撮影動作を行い、患者の体内の各マーカM1〜M4を含むX線画像G4を撮影する。これにより、図10に示すようなX線画像G4が得られる。ここで、図10中の矢印A2は撮影方向である。なお、マーカ群を構成する4個のマーカM1〜M4はそれぞれ画像処理部9により判別可能である。一方、前述の実施の形態のように、図10に示すように、三次元の医用画像であるCT画像G2中には、4個のマーカM1〜M4(マーカ群)及び腫瘍範囲Rが登録されている。 First, the surgeon performs an imaging operation on the patient by the imaging unit 4 as an X-ray apparatus, and images an X-ray image G4 including the markers M1 to M4 in the patient's body. Thereby, an X-ray image G4 as shown in FIG. 10 is obtained. Here, an arrow A2 in FIG. 10 is a shooting direction. The four markers M1 to M4 constituting the marker group can be distinguished by the image processing unit 9, respectively. On the other hand, as in the above-described embodiment, as shown in FIG. 10, four markers M1 to M4 (marker group) and a tumor range R are registered in the CT image G2, which is a three-dimensional medical image. ing.
画像処理部9は、X線画像G4上に表示された各マーカM1〜M4をシミュレーション平面画像G5上に投影する。次に、画像処理部9は、シミュレーションX線源A1から三次元CT画像G2上の4個のマーカM1〜M4(マーカ群)をシミュレーション平面画像G5上に投影する。次いで、画像処理部9は、シミュレーション平面画像G5へ投影された三次元CT画像G2の像が、シミュレーション平面画像G5上に投影されたX線画像G4の像に一致するように図10中の矢印A3の方向に三次元CT画像G2を移動させて調整する。ここで、シミュレーションX線源A1からシミュレーション平面画像G5の距離は、実際の術中のX線装置におけるX線源からディテクタまでの距離と一致している。 The image processing unit 9 projects the markers M1 to M4 displayed on the X-ray image G4 on the simulation plane image G5. Next, the image processing unit 9 projects four markers M1 to M4 (marker group) on the three-dimensional CT image G2 from the simulation X-ray source A1 onto the simulation plane image G5. Next, the image processing unit 9 moves the arrow in FIG. 10 so that the image of the three-dimensional CT image G2 projected onto the simulation plane image G5 matches the image of the X-ray image G4 projected onto the simulation plane image G5. The three-dimensional CT image G2 is moved in the direction of A3 and adjusted. Here, the distance from the simulation X-ray source A1 to the simulation plane image G5 coincides with the distance from the X-ray source to the detector in the actual intraoperative X-ray apparatus.
その後、画像処理部9は、三次元CT画像G2とX線画像G4の各マーカM1〜M4の位置がシミュレーション平面画像G5上で一致したところで、三次元CT画像G2上に4個のマーカM1〜M4との位置関係に基づく腫瘍範囲Rを呼び出して再現し、その三次元CT画像G2上の腫瘍範囲Rをシミュレーション平面画像G5上に投影して登録する。このとき、再現した腫瘍範囲Rは三次元の体積を持つ領域であるが、投影した切除領域Rは二次元の面積を持つ領域となる。この二次元の切除領域RをX線画像G4に重ねて表示する場合、切除領域R以外ではX線画像(グレースケール画像)G4をそのまま表示し、切除領域RではX線画像のグレースケールの中間色(例えば黄色等)を表示する。また、切除領域Rの境界を抽出し、境界線をX線画像G4に重畳する。シミュレーション平面画像G5を実際のX線画像G4に重ねて表示することによって、X線画像G4上には、シミュレーション平面画像G5に投影された二次元の腫瘍範囲Rが表示される。これにより、術者は確信を持って消失前の腫瘍Taの全域をカバーする手術範囲を決定することができる。その結果、術者はその切除範囲内の部分を切除し、消失前の腫瘍Taを全て確実に摘出することができる。特に、術者は、リアルタイムのX線画像G4上で二次元の腫瘍範囲Rを確認しながら切除手術を進めることができる。 Thereafter, when the positions of the markers M1 to M4 in the three-dimensional CT image G2 and the X-ray image G4 coincide with each other on the simulation plane image G5, the image processing unit 9 displays four markers M1 to M4 on the three-dimensional CT image G2. The tumor range R based on the positional relationship with M4 is called and reproduced, and the tumor range R on the three-dimensional CT image G2 is projected onto the simulation plane image G5 and registered. At this time, the reproduced tumor range R is a region having a three-dimensional volume, but the projected resection region R is a region having a two-dimensional area. When the two-dimensional ablation region R is displayed so as to overlap the X-ray image G4, the X-ray image (grayscale image) G4 is displayed as it is except for the ablation region R, and the grayscale intermediate color of the X-ray image is displayed in the ablation region R. (For example, yellow) is displayed. Further, the boundary of the excision region R is extracted, and the boundary line is superimposed on the X-ray image G4. By displaying the simulation plane image G5 superimposed on the actual X-ray image G4, the two-dimensional tumor range R projected on the simulation plane image G5 is displayed on the X-ray image G4. Thereby, the operator can determine the operation range that covers the entire region of the tumor Ta before disappearance with certainty. As a result, the surgeon can excise the portion within the excision range and reliably extract all the tumor Ta before disappearance. In particular, the surgeon can proceed with resection surgery while confirming the two-dimensional tumor range R on the real-time X-ray image G4.
(他の実施の形態)
なお、本発明は、前述の実施の形態に限るものではなく、その要旨を逸脱しない範囲において種々変更可能である。
(Other embodiments)
The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention.
例えば、本実施の形態においては、腫瘍Taの周囲の構造体として、肝臓Tの表面及び肋骨Jの表面を用いているが、これに限るものではなく、例えば、他の構造体を用いるようにしてもよい。また、腫瘍Taの周囲の構造体として、肝臓Tの表面及び肋骨Jの表面の両方を用いているが、これに限るものではなく、例えば、それらのどちらか一方だけを用いるようにしてもよい。ただし、肝臓Tの表面及び肋骨Jの表面の両方を用いた場合の方が、それらの片方だけを用いた場合に比べ、腫瘍範囲Rの位置精度を向上させることができる。 For example, in the present embodiment, the surface of the liver T and the surface of the rib J are used as the structure around the tumor Ta, but the present invention is not limited to this. For example, another structure is used. May be. Further, although both the surface of the liver T and the surface of the rib J are used as the structure around the tumor Ta, the present invention is not limited to this. For example, only one of them may be used. . However, when both the surface of the liver T and the surface of the rib J are used, the positional accuracy of the tumor range R can be improved as compared with the case where only one of them is used.
また、前述の実施の形態においては、腫瘍範囲Rとして、肝臓Tの腫瘍Taの領域より大きい範囲を設定しているが、これに限るものではなく、例えば、肝臓Tの腫瘍Taの領域と同じ範囲を設定するようにしてもよい。この場合には、腫瘍範囲Rは、術前治療前の腫瘍Taの領域となる。 In the above-described embodiment, the range larger than the region of the tumor Ta of the liver T is set as the tumor range R. However, the present invention is not limited to this. For example, the same as the region of the tumor Ta of the liver T A range may be set. In this case, the tumor range R is a region of the tumor Ta before the preoperative treatment.
さらに、前述の実施の形態においては、三次元CTによる腫瘍範囲Rの設定及び再現を説明しているが、これに限るものではなく、例えば、MRIや超音波診断装置等の他の医用画像診断装置やそれらの組み合わせであってもよい。さらに、三次元画像を用いているが、これに限るものではなく、二次元画像を用いるようにしてもよい。 Furthermore, in the above-described embodiment, the setting and reproduction of the tumor range R by three-dimensional CT has been described. However, the present invention is not limited to this. For example, other medical image diagnosis such as MRI or ultrasonic diagnostic apparatus. It may be a device or a combination thereof. Furthermore, although a three-dimensional image is used, the present invention is not limited to this, and a two-dimensional image may be used.
加えて、前述の実施の形態においては、ソフトウェアであるプログラムに基づいて制御部2により各種の処理を実行しているが、これに限るものではなく、例えば、ソフトウェア及びハードウェアのどちらか一方又は両方により各種の処理を実行するようにしてもよい。 In addition, in the above-described embodiment, various types of processing are executed by the control unit 2 based on a program that is software. However, the present invention is not limited to this. For example, either one of software and hardware or Various processes may be executed by both.
1 医用画像診断装置
4 撮影部
5 表示部
7 記憶部
D2 第1の位置情報(第1の位置データ)
D3 第2の位置情報(第2の位置データ)
G1 医用画像
G2 手術用の医用画像
R 腫瘍範囲
T 部位(肝臓)
Ta 腫瘍
DESCRIPTION OF SYMBOLS 1 Medical image diagnostic apparatus 4 Imaging | photography part 5
D3 Second position information (second position data)
G1 Medical image G2 Medical image for surgery R Tumor range T Region (liver)
Ta tumor
Claims (3)
情報を記憶する記憶部と、
前記医用画像から前記部位の腫瘍を囲む腫瘍範囲を前記腫瘍の周囲の構造体に関連付け、前記腫瘍範囲の位置を示す第1の位置情報を生成する手段と、
生成した前記第1の位置情報を前記記憶部に保存する手段と、
保存した前記第1の位置情報に基づいて前記腫瘍範囲を再現し、再現した前記腫瘍範囲を手術用の前記医用画像と共に前記表示部に表示させる手段と、
前記部位に埋め込まれたマーカを検出する手段と、
切開前に検出した前記マーカの位置及び保存した前記第1の位置情報に基づいて、前記マーカの位置と前記腫瘍範囲との位置関係を示す第2の位置情報を生成する手段と、
生成した前記第2の位置情報を前記記憶部に保存する手段と、
切開後に検出した前記マーカの位置及び保存した前記第2の位置情報に基づいて前記腫瘍範囲を再現し、再現した前記腫瘍範囲を手術用の前記医用画像と共に前記表示部に表示させる手段と、
を備えることを特徴とする医用画像診断装置。 A display unit for displaying a medical image showing a part of the subject;
A storage unit for storing information;
Means for associating a tumor area surrounding the tumor of the site from the medical image with a structure around the tumor, and generating first position information indicating a position of the tumor area;
Means for storing the generated first position information in the storage unit;
Means for reproducing the tumor range based on the stored first position information, and displaying the reproduced tumor range together with the medical image for surgery on the display unit;
Means for detecting a marker embedded in the site;
Means for generating second position information indicating a positional relationship between the position of the marker and the tumor range based on the position of the marker detected before the incision and the stored first position information;
Means for storing the generated second position information in the storage unit;
Means for reproducing the tumor range based on the position of the marker detected after the incision and the stored second position information, and displaying the reproduced tumor range on the display unit together with the medical image for surgery;
A medical image diagnostic apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007230395A JP4970201B2 (en) | 2007-09-05 | 2007-09-05 | Medical diagnostic imaging equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007230395A JP4970201B2 (en) | 2007-09-05 | 2007-09-05 | Medical diagnostic imaging equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009061034A JP2009061034A (en) | 2009-03-26 |
JP4970201B2 true JP4970201B2 (en) | 2012-07-04 |
Family
ID=40556197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007230395A Active JP4970201B2 (en) | 2007-09-05 | 2007-09-05 | Medical diagnostic imaging equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4970201B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009061035A (en) * | 2007-09-05 | 2009-03-26 | Toshiba Corp | Medical image diagnostic apparatus |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011145037A1 (en) * | 2010-05-19 | 2011-11-24 | Koninklijke Philips Electronics N.V. | Handling a specimen image |
JP5395823B2 (en) * | 2011-02-15 | 2014-01-22 | 富士フイルム株式会社 | Surgery support device, surgery support method, and surgery support program |
KR101650916B1 (en) * | 2014-12-01 | 2016-08-25 | 한림대학교 산학협력단 | Method for calculating resected and ischemized volume of renal and Program media |
KR101793609B1 (en) * | 2015-09-11 | 2017-11-06 | 연세대학교 산학협력단 | The method and apparatus for diagnosing brain tumor in real time based on convergence of multiple optical images |
CN116012286B (en) * | 2022-10-27 | 2024-04-09 | 数坤(上海)医疗科技有限公司 | Surgical risk area determination method, device, electronic equipment and readable storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH119708A (en) * | 1997-06-25 | 1999-01-19 | Hitachi Medical Corp | Radiotherapy device |
JP3053389B1 (en) * | 1998-12-03 | 2000-06-19 | 三菱電機株式会社 | Moving object tracking irradiation device |
JP2005058526A (en) * | 2003-08-14 | 2005-03-10 | Fuji Photo Film Co Ltd | Method and device for photographing tomographic image |
JP2005118257A (en) * | 2003-10-16 | 2005-05-12 | Ge Medical Systems Global Technology Co Llc | Method for supporting setting of localization information in x-ray ct tomography, and x-ray ct apparatus |
JP2005334298A (en) * | 2004-05-27 | 2005-12-08 | Fuji Photo Film Co Ltd | Method, apparatus and program for detecting abnormal shadow |
-
2007
- 2007-09-05 JP JP2007230395A patent/JP4970201B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009061035A (en) * | 2007-09-05 | 2009-03-26 | Toshiba Corp | Medical image diagnostic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2009061034A (en) | 2009-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5134316B2 (en) | Medical diagnostic imaging equipment | |
US11925493B2 (en) | Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated | |
CN111699515B (en) | System and method for pose estimation of imaging device and for determining position of medical device relative to target | |
CN110741414B (en) | Systems and methods for identifying, marking, and navigating to a target using real-time two-dimensional fluoroscopic data | |
US9147289B2 (en) | Method for visualizing the quality of an ablation process | |
US9202387B2 (en) | Methods for planning and performing percutaneous needle procedures | |
CN107871531B (en) | Fracture assessment and surgical intervention planning | |
CN108451639B (en) | Multiple data source integration for positioning and navigation | |
CN107865692B (en) | System and method for detecting pleural invasion in surgical and interventional planning | |
JP2022524443A (en) | Guidance and tracking system for templated and targeted biopsies and treatments | |
JP4970201B2 (en) | Medical diagnostic imaging equipment | |
JP2019502477A (en) | System and method for creating a medical treatment plan | |
JP2003339644A (en) | Extraction and display device of resection area of internal organ | |
CN115843232A (en) | Zoom detection and fluoroscopic movement detection for target coverage | |
CN111163697B (en) | System and method for identifying and marking targets in fluorescent three-dimensional reconstruction | |
CN114842004B (en) | Puncture position verification method and device based on neural network model | |
KR20230013042A (en) | Method for predicting recurrence of lesions through image analysis | |
JP7421488B2 (en) | Automatic ablation antenna segmentation from CT images | |
US20240122653A1 (en) | Parametric contour map visualization for needle guide system | |
WO2024079639A1 (en) | Systems and methods for confirming position or orientation of medical device relative to target | |
CN117355257A (en) | Volume filter for fluoroscopic video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100811 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100908 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120312 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120404 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4970201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |