JP5252994B2 - 切除マーカを用いた切除領域確認装置、およびその制御プログラム - Google Patents

切除マーカを用いた切除領域確認装置、およびその制御プログラム Download PDF

Info

Publication number
JP5252994B2
JP5252994B2 JP2008136831A JP2008136831A JP5252994B2 JP 5252994 B2 JP5252994 B2 JP 5252994B2 JP 2008136831 A JP2008136831 A JP 2008136831A JP 2008136831 A JP2008136831 A JP 2008136831A JP 5252994 B2 JP5252994 B2 JP 5252994B2
Authority
JP
Japan
Prior art keywords
marker
ray
excision
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008136831A
Other languages
English (en)
Other versions
JP2009279330A (ja
Inventor
康雄 櫻井
重治 大湯
克彦 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008136831A priority Critical patent/JP5252994B2/ja
Publication of JP2009279330A publication Critical patent/JP2009279330A/ja
Application granted granted Critical
Publication of JP5252994B2 publication Critical patent/JP5252994B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、切除マーカ、切除マーカを用いた切除領域確認装置、およびその制御プログラムに関し、特に、患部を切除する線上に損傷してはならない血管等の組織がないことを確認することができる切除マーカ、切除マーカを用いた切除領域確認装置、およびその制御プログラムに関する。
最近、さまざまな疾患の治療について、低侵襲性が重要視されるようになっている。外科治療の分野でも、体表を大きく切開する手術から、内視鏡を用いることにより、できる限り創を小さくする手術が普及しつつある。
例えば、従来の肺がんの手術では、大きく胸部を切開して癌を摘出する手術(標準開胸術)が施行されていた。しかしながら、現在では、早期に発見された比較的小さく転移のない癌に対しては、胸腔鏡と呼ばれる胸部専用の内視鏡を用いた傷口の小さい、侵襲性の低い手術が行われるようになってきている。
また、手術後の生活の質の向上も重要視されるようになっており、癌細胞残存による再発リスクを考慮した上で、なるべく摘出範囲が小さく抑えられる傾向にある。
従来の肺がんの手術では、癌のあるほうの肺を全て摘出する手術も行われていたが、昨今では、「葉」や「区域」といった、より小さな範囲を摘出する手術や、「区域」よりもさらに小さな範囲を摘出する「部分切除術」も行われ、呼吸機能を極力温存できる手術が広まりつつある。
ここで、肺の組織構造について説明する。図27(A)は肺Hを正面から見た組織構造を示し、図27(B)は、肺Hを背面から見た組織構造を示す図である。
右の肺Hは3つの葉HR−1乃至HR−3から成り立ち、左の肺Hは2つの葉HL−1,HL−2から成り立っている。また、葉HR−1乃至HR−3、および葉HL−1,HL−2は、それぞれいくつかの区域から成り立っている。
図28は、肺の組織単位、および、血管と気管の走行の模式図を表している。
同図に示すように、肺の組織単位では、その中央を気管と肺動脈が通り、周辺を肺静脈が通る構造となっている。血管と気管は、肺門部から抹消に行くにつれて分岐してゆき、肺組織は「葉」や「区域」よりもさらに細かい組織単位に分けることができる。手術では、原則的にこのような組織単位で切除および摘出が行われる。
内視鏡を用いた手術は、侵襲性が低い一方で、鉗子と呼ばれる器械などを用いて体の外から間接的に行わなければならないため、手技が難しい。
そこで、現在では、自動縫合器と呼ばれる器械が広く使われている。自動縫合器は、はさみのような形状をしており、切除対象となる部位を挟みつけて切除すると同時に、ホッチキス針のような細かな針で、その断端を縫いとめることができる器械である。このような自動縫合器を用いた手技では、メスで少しずつ組織を剥離しながら切除を進めてゆく手技に比べて非常に短時間で済む。しかしながら、残すべき血管を挟み込んで誤切除するなど、健常組織を損傷する危険性もある。
肺がん胸腔鏡手術の場合、自動縫合器で残すべき肺静脈を誤って切除してしまうことがある。もともと肺静脈の走行は、肺動脈や気管と比べて解剖学的に個人差が大きく、ベテランの呼吸器外科医でも把握することが容易でないと言われている。加えて、低侵襲化とともに摘出範囲を小さくしようとすればするほど、走行の見極めが難しくなる。肺静脈を誤切除すると、健常組織に血流が供給されなくなって壊死し、再手術が必要になるなど患者に重大な損傷を与えてしまう。
また、血管および気管の分岐のしかたには個人差があり、細かく見ていくと組織単位の分かれ方は個人ごとに異なる。しかしながら、それぞれの単位の中央を走行する気管と肺動脈の分岐パターンにはいくつかの典型的パターンがある。
そこで、呼吸器外科医は、手術前に撮影したCT画像や術中に見える葉と葉の間に存在する葉間膜の位置などから、血管と肺動脈の走行をある程度推測し、切除すべき肺の領域を見極めることができる。
一方、組織単位の領域周辺を走行する肺静脈は個人毎に異なり、典型的パターンが存在しないため、どこを走行するかを知ることが困難である。そのため、自動縫合器で切除した線上にたまたま肺静脈が走行していて切除されてしまうといった事態が起こってしまう。
このとき切除された肺静脈が、切除・摘出される領域のみを支配する場合には問題は生じないが、隣接する、つまり摘出しない健常組織をも支配していた場合には、うっ血を起こし、最悪の場合、組織が壊死してしまう。この場合、再手術を余儀なくされ、患者に大きな負担を負わせることになる。
以上のような肺静脈の組織構造をふまえ、手術前に撮影されたCT(Computed Tomography)画像上で、肺に空気が入っている状態で肺を撮影し切除を予定している領域と肺静脈の位置関係を確認する方法がある。そして、肺静脈を切除しないような切除線をあらかじめ想定した上で、本番の手術にのぞむようにしている。
例えば、特許文献1には、切除面マーキング画像を重畳表示した被検体のバーチャル画像を手技中に提供する技術が提案されている。
特開2005−278888号公報
ところで、手術中、メスを入れる肺からは空気が抜かれてしまうため、手術前の空気が入った状態の肺の撮影画像から大きく変形する。そのため、医師は、手術前に想定した切除線が、手術中のしぼんだ肺のどこに該当するかを見極めることが困難であり、肺静脈の誤切除が時折起こってしまう課題があった。
また特許文献1の技術では、切除線上に損傷してはならない組織が存在するか否かを確認することができない課題があった。
本発明はこのような状況に鑑みてなされたものであり、その目的は、患部を切除する線上に損傷してはならない組織が存在するか否かを確認するとともに切除する領域を正しく認識することができる切除マーカ、切除マーカを用いた切除領域確認装置、およびその制御プログラムを提供することである。
請求項1記載の本発明の実施の形態に係る特徴は、被検体の患部を切除する線上に装着される切除マーカを用いて切除領域を確認する切除領域確認装置において、切除マーカが装着された被検体のX線立体断層像を再構成するX線断層像撮影手段と、X線断層像撮影手段により再構成されたX線立体断層像から、切除マーカのマーカ像を抽出するマーカ像抽出手段と、マーカ像抽出手段により抽出されたマーカ像から、患部の切除対象となる関心領域の画像を抽出する関心領域抽出手段と、関心領域抽出手段により抽出された関心領域の画像を表示する表示手段とを備える。
請求項4記載の本発明の実施の形態に係る特徴は、被検体の患部を切除する線上に装着される切除マーカを用いて切除領域を確認する切除領域確認装置が備えるコンピュータに、切除マーカが装着された被検体のX線立体断層像を再構成するX線断層像撮影ステップと、X線断層像撮影ステップにより再構成されたX線立体断層像から、切除マーカのマーカ像を抽出するマーカ像抽出ステップと、マーカ像抽出ステップにより抽出されたマーカ像から、患部の切除対象となる関心領域の画像を抽出する関心領域抽出ステップと、関心領域抽出ステップにより抽出された関心領域の画像を表示する表示ステップとを実行させる制御プログラムを備える。

本発明によれば、患部を切除する線上に損傷してはならない組織が存在するか否かを確認するとともに切除する領域を正しく認識することが可能な切除マーカ、切除マーカを用いた切除領域確認装置、およびその制御プログラムを提供することができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明に係る切除線確認支援システムの構成例を示す図である。このシステムにおいては、被検体Pの患部を切除する線の近傍に装着されるX線切除マーカ1、X線切除マーカ1が示した切除線の直近を切除する自動縫合器2、および被検体PのX線立体断層像を撮影するためのX線デジタル立体断層撮影装置(Digital Volume Tomography)10から構成されている。
X線切除マーカ1は、被検体Pの患部において医師が想定した切除線の近傍に装着される。これにより、X線デジタル立体断層撮影装置10でX線立体断層像が再構成されたとき、そのX線立体断層像にX線切除マーカ1のマーカ像が映りこむ。このX線切除マーカ1の詳細は後述する。
自動縫合器2は、縫合と切除を同時に行う器具であって、X線切除マーカ1が示した切除線の直近を切除すると同時に縫合を行う。この自動縫合器2の詳細は後述する。
X線デジタル立体断層撮影装置10は、X線発生装置11、X線検出装置12、および制御装置13から構成されている。
X線発生装置11は、X線管11A、および図示せぬ高電圧発生部や移動機構部などを有している。X線管11Aは、X線発生装置11の筐体内において、移動機構部により回転可能に支持される。X線管11Aには、高電圧発生部から高電圧が印加される。これにより、X線管11Aは、被検体Pの周囲を回転移動しながらX線を被検体Pに曝射する。
X線検出装置12は、X線検出器12Aおよび図示せぬ移動機構部などを有する。X線検出器12Aは、被検体Pを挟んでX線発生装置11に対向するように配置されるとともに、X線検出装置12の筐体内において、移動機構部により回転可能に支持される。X線検出器12Aは、2次元状に配列された複数のX線検出素子を有し、被検体Pを透過したX線を検出する。検出された信号は制御装置13に出力される。
制御装置13は、X線発生装置11とX線検出装置12を制御し、X線の撮影方向を変えさせながら、被検体Pのある領域を繰り返し撮影させる。制御装置13は、撮影された撮影方向の異なる複数の画像データを用いて、撮影方向にほぼ垂直な方向の面のX線立体断層像を再構成する。この制御装置13は、X線切除マーカ1が装着された被検体PのX線立体断層像を再構成するX線断層像撮影手段として機能する。
制御装置13は、X線立体断層像に映りこんだX線切除マーカ1のマーカ像から、自動縫合器2が切除する領域を抽出し、抽出された領域を表示する。これにより、操作者は、抽出された領域中に切除してはならない血管等の組織が存在するか否かを確認することができる。
図2は、X線切除マーカ1の構成例を示す図である。
X線切除マーカ1は、被検体Pの胸腔内に挿入するための挿入部1a、挿入部1aの先端部に設けられ、被検体Pの患部を挟むはさみ部1b−1,1b−2、はさみ部1b−1,1b−2の先端部にそれぞれ設けられるマーカ1c−1,1c−2、はさみ部1b−1,1b−2の所定位置にそれぞれ設けられる突起部1d−1,1d−2、挿入部1aの基端部に設けられる把持部1e、および、把持部1eに設けられる開閉スイッチ1fとから構成される。
はさみ部1b−1,1b−2は、把持部1eに設けられた開閉スイッチ1fが押下られている間、患部を挟み、開閉スイッチ1fの押下が解除されることにより、挟んでいた患部を離すことができるようになされている。
マーカ1c−1,1c−2には、球形状などの特殊形状が施されている。これは、操作者がX線切除マーカ1を装着する最適な位置(最適な切除線)を決定するまでに微妙な位置調整が必要となり、この操作中に、X線切除マーカ1の先端部分で患部を損傷することの無い形状や素材になっている必要があるためである。従って、そのような形状であれば先端部の形状はどのような形状であっても構わない。本発明の実施の形態では、マーカ1c−1,1c−2を球形状とすることにより、X線立体断層像に映りこんだX線切除マーカ1のマーカ像を抽出する際の目印とすることができる。
突起部1d−1,1d−2は、切除する部位を間違えることを防止するために設けられる。例えば、X線切除マーカ1を被検体Pの切除対象となる部位に装着する際、突起部1d−1,1d−2が非切除側にくるように装着される。これにより、X線立体断層像に映りこんだマーカ像の突起部から切除側と非切除側を区別することができる。
開閉スイッチ1fは、操作者により押下されている間、はさみ部1b−1,1b−2を閉じ、操作者により押下が解除されると、はさみ部1b−1,1b−2を開く。
X線切除マーカ1の形状としては、被検体Pの患部において医師が想定した切除線上または切除線の近傍に装着することができる形状が相応しい。すなわち、図2の例のX線切除マーカ1は、被検体Pの切除対象となる部位を挟み込むことができるように、その先端側が二股に分かれている。
また、X線切除マーカ1の形状としては、用途に応じて長短があってよい。例えば、肺がんの部分切除であれば、4乃至5cm程度で十分な場合もある。一方、葉を切除する場合には、10cm程度の長いものが必要な場合もある。すなわち、切除線の長さによって適切なサイズのX線切除マーカ1を選択することで、装着のための操作をスムーズに行うことができる。
X線切除マーカ1の材質としては、X線で撮影できるものであって、生体に触れるため、毒性がなく滅菌することができる材質が相応しい。また、被検体Pの患部に装着した状態を保って撮影を行うため、ある程度の強度を有している方が良い。これらの条件を満たす材質としては、例えば、すでに手術鉗子に採用されているステンレス、インプラント材料として利用されるチタン、シリコン、またはセラミクスが挙げられる。
X線切除マーカ1の構造としては、被検体Pの体外から挿入し、患部を挟み込んで装着し、その装着状態を一定時間保持できる必要がある。この条件を満たす構造としては、例えば、内視鏡手術で使われている手術鉗子が挙げられる。
また、自動縫合器2で実際に切除を開始するまで、患部に装着されたX線切除マーカ1の位置がずれないように保持しなければならない。保持方法の一つとして、手術寝台に取り付けたアームにより固定する方法が挙げられる。医療従事者が保持していることも可能ではあるが、被曝量を抑制するためには、アーム等による固定が望ましい。
図3は、自動縫合器2の構成例を示す図である。
自動縫合器2は、被検体Pの胸腔内に挿入して縫合と切除を行うカートリッジ2a、カートリッジ2aの基端部に設けられる組織挟鉗用レバー2b、操作者が縫合と切除を操作するための縫合切断用ハンドル2c、および、不用意に縫合切断用ハンドル2cを握ることを防止するための安全ロック2dで構成されている。
カートリッジ2aは、図4(A)に示すように、カートリッジ2a−1とカートリッジ2a−2の二股に分かれている。カートリッジ2a−1には、カム2a−3と切除用ナイフ2a−4が取り付けられている。カム2a−3は、黒矢印で示す方向に移動可能に取り付けられており、切除用ナイフ2a−4は、白矢印で示す方向に移動可能に取り付けられている。
図4(B)は、図4(A)のA−A線断面図である。図4(B)に示すように、カートリッジ2a−1の内部には、組織反応の少ないチタンまたはその合金で作られたステイプル2a−5(ホチキス針)が交互に配列されており、ステイプル2a−5の中央2列の間には、カートリッジ2a−1の長手方向に平行な溝2a−6が設けられている。
このような構成により、操作者が縫合切除用ハンドル2cを握ると、溝2a−6に案内されてカム2a−3が移動し、ステイプル2a−5が被検体Pの患部に打ち込まれる。同時に、切除用ナイフ2a−4が移動し、患部の切除が行われる。
なお、個々のステイプル2a−5は、カートリッジ2a−1内にあるときはその先端部が開いた状態になっているが、打ち込まれると組織を間に挟んで閉じ組織端の閉鎖を行う。
図5は、制御装置13の構成例を示すブロック図である。
同図に示すように、制御装置13は、各部を集中的に制御するCPU(Central Processing Unit)などからなる制御部13a、ROM(Read Only Memory)やRAM(Random Access Memory)などからなるメモリ13b、X線検出器12Aから供給された投影画像を処理する画像処理部13c、画像処理部13cから供給されたX線立体断層像からX線切除マーカ1のマーカ像を抽出するマーカ抽出処理部13d、マーカ抽出処理部13dから供給されたマーカ像から切除対象となる患部の関心領域を抽出する関心領域抽出処理部13e、X線立体断層像を表示する表示部13f、操作者からの入力操作を受け付ける入力部13g、各種プログラムや各種データなどを記憶するデータ記憶部13hを備えている。これらの各部は、バス13iを介して電気的に接続されている。
制御部13aは、データ記憶部13hに記憶された各種プログラムや各種データに基づいて一連のデータ処理や画像を表示する表示処理などを実行する。制御部13aは、X線発生装置11およびX線検出装置12を制御し、被検体PのX線立体断層撮影を行わせる。制御部13aは、画像処理部13c、マーカ抽出処理部13d、および関心領域抽出処理部13eを制御し、X線立体断層像に映りこんだX線切除マーカ1のマーカ像を抽出する処理を行わせる。このマーカ像を抽出する処理の詳細は後述する。
メモリ13bは、制御部13aが実行する起動プログラムなどを記憶する。
画像処理部13cは、データ記憶部13hに記憶されている撮影方向の異なる複数の投影画像データを用いることにより、撮影方向にほぼ垂直な方向の面のX線立体断層像データを再構成する。X線立体断層像データは、バス13iを介してマーカ抽出処理部13dに供給される。
マーカ抽出処理部13dは、マーカ特徴量記憶部13h−1に記憶されているマーカ特徴量に基づいて、画像処理部13cから供給されたX線立体断層像データから、X線立体断層像に映りこんだX線切除マーカ1のマーカ像データを抽出する。抽出したマーカ像データは、バス13iを介して関心領域抽出処理部13eに供給される。
関心領域抽出処理部13eは、処理パラメータ記憶部13h−2に記憶されている処理パラメータに基づいて、マーカ抽出処理部13dから供給されたマーカ像データから、切除対象となる患部の関心領域を抽出する。
表示部13fは、例えば液晶ディスプレイからなり、画像処理部13cで画像処理されたX線立体断層像、マーカ抽出処理部13dで抽出されたマーカ像、および関心領域抽出処理部13eで抽出された画像を表示する。
入力部13gは、例えばマウスやキーボードからなり、操作者による各種の入力操作を受け付け、入力操作に対応する信号を、バス13iを介して制御部13aに供給する。
データ記憶部13hは、半導体メモリや磁気ディスクなどで構成されており、制御部13aや画像処理部13cで実行されるプログラムやデータを記憶する。またデータ記憶部13hは、X線検出器12Aから供給された投影画像データを記憶する。
さらにデータ記憶部13hには、マーカ特徴量記憶部13h−1と処理パラメータ記憶部13h−2が設けられている。マーカ特徴量記憶部13h−1は、X線切除マーカ1のはさみ部1b−1,1b−2の長さやマーカ1c−1,1c−2の球の直径などを含むマーカ特徴量を記憶する。処理パラメータ記憶部13h−2は、X線切除マーカ1のマーカ像を通る平面の方程式を求める際に参照する画素数などのパラメータを記憶する。
次に、図6のフローチャートを参照して、切除する予定の部位に損傷してはならない血管等があるか否かを確認する処理について説明する。
この処理では、医師により腫瘍を含む肺の一部が切除される場面が想定されており、切除する予定の部位に損傷してはならない血管等の組織があるか否かの確認が行われる。
この処理を開始するにあたり、被検体Pには、胸腔鏡のほか2乃至3本の鉗子が挿入されており、切除した肺の一部を体外に取り出すためのポートも切開されている。医師は、図7に示すように、肺Hを確認し、腫瘍Sを含む組織単位(葉や区域など)を切除する線Lの見当をつける。なお、医師は、胸腔鏡を通して肺Hを確認するため、実際には図7に示すような全体像を見ることができないが、手術前のCT画像等でおおよその腫瘍Sの位置と切除する領域を確認することができる。
次に医師は、図8に示すように、見当をつけた切除線Lの直近にX線切除マーカ1を装着する。X線切除マーカ1は、切除した肺Hの一部を体外に取り出すために設けられたポートから挿入することができる。なお、操作者は、X線切除マーカ1のはさみ部1b−1,1b−2にそれぞれ設けられた突起部1d−1,1d−2が非切除側にくるように装着する。これにより、医師が自動縫合器2を用いて切除対象となる患部を切除する際、切除する側を間違えることを防止することができる。
そしてステップS1において、X線デジタル立体断層撮影装置10は、肺HにX線切除マーカ1が装着された状態の被検体PのX線立体断層撮影を行う。
より詳細には、X線検出器12Aは、制御装置13の制御部13aの制御の下、X線管11Aと同期して回転しながらX線立体断層像の撮影を繰り返す。撮影した投影画像データは、制御装置13のデータ記憶部13hに記憶される。画像処理部13cは、制御部13aの制御の下、データ記憶部13hに記憶されている撮影方向の異なる複数の投影画像データを用いて、X線立体断層像を再構成する。
表示部13fは、制御部13aの制御の下、画像処理部13cで再構成されたX線立体断層像を表示する。例えば、図9に示すように、X線切除マーカ1が装着された肺HのX線立体断層撮影が行われた場合、図10(A)乃至図10(E)に示すようなX線立体断層像が表示部13fに表示される。
図10(A)乃至図10(E)の例の場合、背側から腹側に5スライスのX線立体断層像Gが示されている。図10(A)と図10(E)に示すX線立体断層像Gでは、X線切除マーカ1のマーカ像Mが映りこんでおり、実際にX線切除マーカ1が存在するか、あるいは、その近傍のスライス画像であることがわかる。
通常、X線切除マーカ1が存在するスライス画像か、あるいは、X線切除マーカ1の近傍のスライス画像にのみマーカ像Mが映りこむが、二次元的障害陰影、被写体の動き、あるいは装置の故障などによるアーチファクト(いわゆるノイズ)の発生により、切除面から少し離れた位置のスライス画像でもマーカ像Mが映りこむことがある。
以上のようにしてX線立体断層像が得られると、ステップS2において、マーカ抽出処理部13dは、X線立体断層像からX線切除マーカ1のマーカ像を抽出する処理を行う。
ここで、図11のフローチャートを参照して、X線立体断層像からX線切除マーカ1のマーカ抽出処理の詳細について説明する。
このマーカ抽出処理は、X線切除マーカ1のマーカ1c−1,1c−2を認識する処理のことである。本実施の形態では、X線切除マーカ1のマーカ1c−1,1c−2が球形状である場合について説明する。
ステップS21において、マーカ抽出処理部13dは、X線立体断層像Gに映りこんだX線切除マーカ1のマーカ像Mの画素値が生体と異なることを利用した画素値による閾値処理を行い、X線立体断層像Gの中でマーカ像Mを抽出する。閾値は、操作者が画像を見ながら入力部13gを操作して最適値を決定したり、あるいは、画像ヒストグラムから自動的に決定したりするようにする。
なお、撮影条件によっては、図12に示すように、マーカ以外の骨や気管の一部がX線立体断層像Gに映し出される場合もある。そのような場合には、操作者が入力部13gを用いて画面上におけるマーカ像Mの中の1点を指定する。この操作入力を受けたマーカ抽出処理部13dは、指定された点を含む連結領域のみを残して、残りは除去処理することで、マーカ像Mのみを抽出するようにする。
ステップS22において、マーカ抽出処理部13dは、マーカ特徴量記憶部13h−1から、X線切除マーカ1のマーカ1c−1,1c−2の球の直径、および二股に分かれたはさみ部1b−1,1b−2の長さなどの特徴量データを読み出す。
なお、マーカ特徴量記憶部13h−1には、使用するX線切除マーカ1のサイズ毎に特徴量データがセットで記憶されており、操作者が入力部13gを用いて表示画面上で所望の特徴量データを選択することができるようにしてもよい。
ステップS23において、マーカ抽出処理部13dは、抽出されたマーカ像MのX線管11AとX線検出器12Aの方向の座標値から、X線切除マーカ1のマーカ1c−1,1c−2の球がどれだけの大きさで投影されるかを算出する。
厳密には、マーカ1c−1とマーカ1c−2の2つの球それぞれについて、どれだけの大きさで投影されるかを算出する必要がある。しかしながら、マーカ1c−1とマーカ1c−2の2つの球の距離は数cm程度であるため、マーカ像全体についてX線管11AとX線検出器12Aの方向の座標値から平均値を求め、その平均値を用いて球がどれだけの大きさで投影されるかを算出するようにしてもよい。
このように、X線切除マーカ1の先端部分の球がどれだけの大きさで投影されるかを算出することで、実際の球の直径と投影比から、X線立体断層像中に映る球の直径を求めることができる。
ステップS24において、マーカ抽出処理部13dは、マーカ像Mの各点について、±x方向、±y方向、および±z方向の抽出境界までの距離を求める。
例えば、図13(A)に示すように、球の中心付近の点nでは、いずれの方向の値も、先に求めたX線立体断層像中に映る球の直径の半値(つまり半径)の値に近い値となる。一方、図13(B)に示すように、球の中心から離れた点nでは、先に求めたX線立体断層像中に映る球の直径の半値とはかけ離れた値となる。
図14は、図13(A)に示した点nと図13(B)に示した点nのそれぞれの点における±x方向、±y方向、および±z方向の抽出境界までの距離の算出結果例を示している。
図14の例の場合、点nから+x方向の抽出境界までの距離は7.10mmであり、その値とマーカ1c−1,1c−2の球の半径の正値との差の絶対値(以下、「正値との差」と略記する)は0.05mmである。点nから−x方向の抽出境界までの距離は7.08mmであり、その値と正値との差は0.03mmである。点nから+y方向の抽出境界までの距離は9.11mmであり、その値と正値との差は2.06mmである。点nから−y方向の抽出境界までの距離は7.10mmであり、その値と正値との差は0.05mmである。点nから+z方向の抽出境界までの距離は7.08mmであり、その値と正値との差は0.03mmである。点nから−z方向の抽出境界までの距離は7.01mmであり、その値と正値との差は0.04mmである。
また、点nから+x方向の抽出境界までの距離は1.1mmであり、その値と正値との差は5.95mmである。点nから−x方向の抽出境界までの距離は1.1mmであり、その値と正値との差は5.95mmである。点nから+y方向の抽出境界までの距離は1.05mmであり、その値と正値との差は6mmである。点nから−y方向の抽出境界までの距離は1.03mmであり、その値と正値との差は6.02mmである。点nから+z方向の抽出境界までの距離は7.20mmであり、その値と正値との差は0.15mmである。点nから−z方向の抽出境界までの距離は19.2mmであり、その値と正値との差は12.15mmである。
このようにして、マーカ像Mの各点について抽出境界までの距離を求めた後、マーカ抽出処理部13dは、ステップS25において、求めた距離のうちの最大値は捨てて評価する。
図14の例の場合、点nから抽出境界までの距離が最大値である+y方向の抽出境界までの距離の値(2.06)、点nから抽出境界までの距離が最大値である−z方向の抽出境界までの距離の値(12.15)を捨てて評価する。
評価方法としては、正値との差を合計した値が総合評価となる。すなわち、点nの総合評価は、0.05+0.03+0.05+0.03+0.04=0.2となり、点nの総合評価は、5.95+5.95+6+6.02+0.15=24.07となる。このように、総合評価は、球の中心付近の点では小さな値となるが、それ以外の点では大きな値となる。
ステップS26において、マーカ抽出処理部13dは、総合評価に閾値を設定することにより、球の中心付近に位置する点の集合を抽出する。つまり総合評価が閾値を超える点は抽出対象から外される。
ステップS27において、マーカ抽出処理部13dは、球の中心付近に位置する点の集合を、マーカ1c−1の球に属する集団とマーカ1c−2の球に属する集団に分割する。
例えば、球の中心付近に位置する点の集合のうち、任意の点を1つ選び、他の点との距離を求める。任意に選んだ点と同じ球に属する点との距離は値が小さく、異なる球に属する点との距離は値が大きくなるため、マーカ1c−1の球に属する集団とマーカ1c−2の球に属する集団に容易に分割することができる。
ステップS28において、マーカ抽出処理部13dは、分割したそれぞれの集団に属する各点について重心座標を算出し、マーカ1c−1,1c−2のそれぞれの球の中心点を求める。
以上のようにして、X線切除マーカ1のマーカ1c−1,1c−2の球の中心点が求められ、マーカ像Mが抽出される。
図6の説明に戻る。ステップS3において、関心領域抽出処理部13eは、マーカ像Mから切除対象となる患部の関心領域を抽出する処理を行う。
ここで、図15のフローチャートを参照して、マーカ像Mから切除対象となる患部の関心領域抽出処理の詳細について説明する。
ステップS31において、関心領域抽出処理部13eは、ステップS2のマーカ抽出処理で抽出されたマーカ1c−1,1c−2の球の中心点のうち、一方から他方までの最短経路を最短経路探索法にて求める。
ステップS32において、関心領域抽出処理部13eは、球の中心点の一方から他方までの経路上に位置する点の集合を通る平面を決定する。平面を求める最も簡便な方法としは、最小二乗法にて求める方法がある。
また、平面を求める他の方法について、図16を参照して説明する。同図に示すように、マーカ1c−1,1c−2の2つの球の中心点を結ぶ直線を中心軸Oとする円柱Vを定義する。
関心領域抽出処理部13eは、円柱Vの半径をr1,r2・・・rnと変更した場合の、円柱Vとマーカ像Mの交わる面(画素の集合)を求め、その重心座標を求める。
交点をいくつ求めるかは、処理パラメータ記憶部13h−2に予め記憶されている。すなわち、関心領域抽出処理部13eは、円柱Vの半径rを1乃至nまで変更することにより、2n個の交点を求めることができ、これらの点を用いて平面の方程式を決定することができる。
なお、円柱Vの半径rの値によっては、マーカ1c−1,1c−2の球や突起部1d−1,1d−2と重なることもあるが、マーカ特徴量記憶部13h−1に、マーカ1c−1,1c−2の球の半径(直径)や球の中心点から突起部1d−1,1d−2までの距離などのマーカ1c−1,1c−2の特徴量データを記憶させておくことにより、球や突起部1d−1,1d−2と交わる円柱Vの半径を避けることができる。
また、マーカ1c−1,1c−2の球と突起部1d−1,1d−2以外の場所でのマーカ1c−1,1c−2の直径をマーカ特徴量記憶部13h−1に記憶させておき、交わる面の面積が不適切な場合は除外することにより、マーカ1c−1,1c−2の球や突起部1d−1,1d−2と重なる円柱Vの半径を避けることができる。
このようなマーカ1c−1,1c−2の2つの球の中心点を結ぶ直線を中心軸Oとする円柱Vを定義する方法では、最小二乗法を用いた最短経路探索法よりも正確な結果が得られるというメリットがある。
以上のようにして、X線立体断層像(Volumeデータ)を平面の方程式で切った断面が、切除対象となる患部の関心領域として抽出される。
図6の説明に戻る。ステップS4において、表示部13fは、制御部13aの制御の下、ステップS3の処理で抽出された切除対象となる患部の関心領域の画像を結果として表示する。すなわち、表示部13fは、X線立体断層像を平面の方程式で切った断面を表示する。
なお、実際には、医師が自動縫合器2を用いて切除する線はX線切除マーカ1を通る平面ではなく、その近傍である。また、自動縫合器2は有限の幅を持った「領域」を切除するため、図17に示すように、X線立体断層像の平面から、切除する側を一定距離まで確認する必要がある。
そのため、切除する側を一定距離まで確認するには、平面を挟んでどちらが切除する側であるかを認識する必要がある。上述したように、X線切除マーカ1は、切除する側に突起部1d−1,1d−2がこないように装着されており、X線切除マーカ1のマーカ像Mの突起部を利用することで切除する側を認識することができる。
制御部13aは、ステップS3の処理により、マーカ像Mに含まれる全ての画素の座標と平面の方程式が求められているため、それぞれの画素が平面の方程式のどちら側にあるかを判定することができる。
例えば、平面の方程式がax+by+cz=dであるとすると、マーカ像Mに含まれる画素は、その座標(x,y,z)が、ax+by+cz≧dを満たすものと、ax+by+cz≦dを満たすものの2つのグループに分けることができる。
制御部13aは、それぞれのグループに含まれる点の画素数をカウントすると、突起部がある側ではその分だけ画素数が多くなるため。平面に対してどちら側が切除される側であるかを認識することができる。
ただし、はさみ部1b−1,1b−2は、一定の強度を備えるために、マーカ1c−1,1c−2より太く、マーカ像Mに占める画素数の割合が大きくなりがちである。そのため、平面の方程式のわずかな傾きによって、画素のカウント数が大きく変わり、どちら側に突起部が存在するか正しく認識できない場合がある。
そのため、マーカ特徴量記憶部13h−1に、はさみ部1b−1,1b−2の長さを記憶させておき、マーカ像Mのうち、はさみ部1b−1,1b−2を含まないマーカ1c−1,1c−2の部分だけで上述の画素数カウントを行う必要がある。
以上のようにして切除する側の認識が終了すると、表示部13fは、表示処理を行う。例えば、ステップS3の処理で求めた平面の方程式による切除面と、それに平行なX線立体断層像を作成し、操作者が入力部13gを用いて画像をめくりながら確認できるようにする。その際、それぞれのX線立体断層像について、切除面(マーカ1c−1,1c−2の位置)からの距離を表示させる。これは、自動縫合器2には、さまざまなサイズがあるため、用いる自動縫合器2によって、確認しなければならない範囲が異なるためである。
図18乃至図20は、表示部13fにより表示されるX線立体断層像の例を示す図である。
図18は、X線切除マーカ1が装着されている切除面からの距離が0mm(つまり切除面)におけるX線立体断層像の例を示している。同図に示すように、表示画面には、X線立体断層像Gが表示されており、切除線上の切除面であるため、マーカ像Mも鮮明に映し出されている。また表示画面には、前の画像を表示させるときに選択されるボタンB1、次の画像を表示させるときに選択されるボタンB2、および、マーカの長さ(図18の例の場合、30mm)が表示されている。表示画面に表示されたX線立体断層像Gには、切除面からの距離(図18の例の場合、0mm)も重畳表示されている。
図18に示すX線立体断層像Gが表示されているときに、操作者によりボタンB2が選択されると、図19に示すように表示が切り替えられる。図19の例では、切除面からの距離が2mmにおけるX線立体断層像Gが表示されており、切除面から2mm離れているため、マーカ像Mは見えにくくなっている。またX線立体断層像Gには、切除面からの距離(図19の例の場合、2mm)の他、現在表示されている断面が切除する側であることを示す「切除側」の文字も重畳表示されている。
図19に示すX線立体断層像Gが表示されているときに、操作者によりボタンB2が選択されると、図20に示すように表示が切り替えられる。図20の例では、切除面からの距離が4mmにおけるX線立体断層像Gが表示されており、切除面から4mm離れているため、マーカ像Mは見えなくなっている。またX線立体断層像Gには、切除面からの距離(図20の例の場合、4mm)の他、現在表示されている断面が切除側であることを示す「切除側」の文字も重畳表示されている。
以上のようにして、操作者は、X線立体断層像をめくりながら、切除する予定の患部において切除してはならない組織が存在するか否かを確認することができる。
また、切除する側と反対側の部位についても切除してはならない組織が存在するか否かを確認する場合、例えば、図21に示すように、切除する側と反対側のX線立体断層像Gを表示させることができる。図21の例では、切除面からの距離が2mmにおけるX線立体断層像Gが表示されており、切除面から2mm離れているため、マーカ像Mは見えにくくなっている。またX線立体断層像Gには、切除面からの距離(図20の例の場合、2mm)の他、現在表示されている断面が切除しない側であることを示す「非切除側」の文字も重畳表示されている。
次に、図22(A)と図22(B)のX線立体断層像Gの模式図を参照して、切除する予定の患部において、実際にその患部を切除して問題が起こらないかどうかを確認する方法について説明する。
例えば、操作者は、図22(A)に示すX線立体断層像Gにおいて、切除する予定の患部の領域中に血管Kを含むため、この領域を切除して問題が起こらないかどうかの判断を行う必要がある。
すなわち、操作者は、図18乃至図20を用いて上述したようにしてX線立体断層像Gをめくりながら確認し、血管Kの走行が切除する領域以外、すなわち健常組織を支配する血管であるか否かの確認を行う。確認の結果、血管Kが健常組織を支配する血管であった場合、操作者は、その血管Kを切除することにより、術後に何らかの障害を起こす恐れが高いと判断することができるため、この位置での切除は中止して別の切除ラインを設定するようにする。
一方、図22(B)に示すX線立体断層像Gにおいて、切除する予定の患部の領域中に血管や気管などの脈管系組織は存在しないため、操作者は、このまま切除しても問題ないと判断することができる。この場合、操作者は、撮影時に装着したX線切除マーカ1を動かすことなく、自動縫合器2の縫合切除用ハンドル2cを握ることで、X線切除マーカ1の直近を切除することができる。
さらに、図23乃至25を参照して、切除する予定の患部の領域中に血管や気管などの脈管系組織が存在した場合における確認方法について説明する。例えば、操作者は、切除する予定の患部について、X線切除マーカ1から切除側方向に表示スライスを腫瘍Sまで移動させ、血管Kの走行を確認する。
図23の例の場合、血管Kが腫瘍Sの中に取り込まれている。そのため、操作者は、血管Kは腫瘍Sへの栄養血管であり、切除してもよい血管(切除しなくてはならない血管)と判断することができる。
図24の例の場合、血管Kが腫瘍Sに取り込まれていない。そのため、操作者は、血管Kを、切除する領域を支配する肺静脈と推測した場合には、非切除側に表示スライスを移動させる。そして、操作者は、非切除側に別の肺静脈が支配していることを確認した場合、血管Kは、切除領域を支配する肺静脈であり、切除しても非切除側の組織に影響を及ぼすことはないと判断することができる。
図25の例の場合も、血管Kが腫瘍Sに取り込まれていない。そのため、操作者は、図24の例の場合と同様に、非切除側に表示スライスを移動させる。そして、操作者は、血管Kが、非切除領域をも支配する肺静脈であることを確認した場合、血管Kは、切除してはいけない血管と判断し、この位置での切除を中止して別の切除ラインを設定するようにする。
以上のように、操作者は、X線切除マーカ1を装着した状態で被検体Pの患部を撮影することで、見当をつけた切除線上に損傷してはならない血管等の組織があるか否かを確実に確認することができる。
そして、損傷してはならない組織がないことを確認できた場合、操作者は、X線切除マーカ1を装着したまま、自動縫合器2の縫合切除用ハンドル2cを握ることで、X線切除マーカ1の直近を切除することができる。これにより、誤って切除する危険性を大幅に低減することが可能となる。
また、X線切除マーカ1には、突起部1d−1,1d−2が設けられており、この突起部1d−1,1d−2を患部の非切除側にくるように装着することで、切除する部位を間違うことを防止することができる。
以上においては、立体撮影できる装置として、X線デジタル立体断層撮影装置10を用いるようにしたが、これに限らず、CT装置や血管撮影装置などを用いるようにしてもよい。
また以上においては、X線切除マーカ1と自動縫合器2を別機構で構成するようにしたが、これに限らず、一体で構成するようにしてもよい。
例えば、図26(A)に示すように、自動縫合器2のカートリッジ2a−1に突起部2a−7およびマーカ2a−9を一体形成し、カートリッジ2a−2に突起部2a−8およびマーカ2a−9を一体形成するようにする。なお、突起部とマーカをアタッチメントタイプにすることで、既存の自動縫合器2や鉗子に取り付けることができるが、体内での離脱が懸念されるため、一体形成するタイプの方が好ましい。
また、マーカ2a−9,2a−10の位置は、内部にステイプル2a−5(図26(A)では不図示)が配列されるステイプラ部の先端位置と一致させる。
図26(B)は、図26(A)を矢印B方向に見た図である。図26(B)に示すように、突起部2a−7は、組織を損傷しないように角が丸く形成されている。
このようにX線切除マーカ1と自動縫合器2を一体で構成することによっても、切除線上に損傷してはならない血管等の組織があるか否かを確実に確認することができる。また、損傷してはならない組織がないことを確認できた場合、操作者は、そのまま、自動縫合器2の縫合切除用ハンドル2cを握ることで切除することができる。
なおこの発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせたりすることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。
本発明に係る切除線確認支援システムの構成例を示す図である。 図1のX線切除マーカの構成例を示す図である。 図1の自動縫合器の構成例を示す図である。 図3の自動縫合器のカートリッジの詳細な構成例を示す図である。 図1の制御装置の構成例を示すブロック図である。 切除する予定の患部に損傷してはならない血管等があるか否かを確認する処理を説明するフローチャートである。 医師により切除線の見当がつけられた様子を示す図である。 X線切除マーカが装着された様子を示す図である。 X線切除マーカが装着された様子を示す他の例の図である。 X線立体断層像の例を示す図である。 図6のステップS2におけるマーカ抽出処理の詳細を説明するフローチャートである。 除去処理を説明するための図である。 マーカ像の各点から抽出境界までの距離を求める処理を説明するための図である。 マーカ像の各点から抽出境界までの距離の算出結果例を示す図である。 図6のステップS3における関心領域抽出処理の詳細を説明するフローチャートである。 X線立体断層像の平面を求める処理を説明するための図である。 X線立体断層像の平面から切除する側を一定距離まで確認することを示す図である。 X線立体断層像の例を示す図である。 X線立体断層像の他の例を示す図である。 X線立体断層像の他の例を示す図である。 X線立体断層像の他の例を示す図である。 X線立体断層像の模式図である。 切除する予定の患部の確認方法を説明するための図である。 切除する予定の患部の確認方法を説明するための他の例の図である。 切除する予定の患部の確認方法を説明するための他の例の図である。 X線切除マーカと自動縫合器を一体で構成した場合の図である。 肺の組織構造を示す図である。 肺の組織単位、および、血管と気管の走行の模式図である。
符号の説明
1 X線切除マーカ
1c−1,1c−2 マーカ
1d−1,1d−2 突起部
2 自動縫合器
13a 制御部
13c 画像処理部
13d マーカ抽出処理部
13e 関心領域抽出処理
13f 表示部

Claims (4)

  1. 被検体の患部を切除する線上に装着される切除マーカを用いて切除領域を確認する切除領域確認装置において、
    前記切除マーカが装着された前記被検体のX線立体断層像を再構成するX線断層像撮影手段と、
    前記X線断層像撮影手段により再構成された前記X線立体断層像から、前記切除マーカのマーカ像を抽出するマーカ像抽出手段と、
    前記マーカ像抽出手段により抽出された前記マーカ像から、前記患部の切除対象となる関心領域の画像を抽出する関心領域抽出手段と、
    前記関心領域抽出手段により抽出された前記関心領域の画像を表示する表示手段と
    を備えることを特徴とする切除マーカを用いた切除領域確認装置。
  2. 前記表示手段は、前記患部を切除する側であることを示す情報、または、前記患部を切除しない側であることを示す情報をさらに表示する
    ことを特徴とする請求項1に記載の切除マーカを用いた切除領域確認装置。
  3. 前記表示手段は、前記切除マーカの位置からの距離情報をさらに表示する
    ことを特徴とする請求項1に記載の切除マーカを用いた切除領域確認装置。
  4. 被検体の患部を切除する線上に装着される切除マーカを用いて切除領域を確認する切除領域確認装置が備えるコンピュータに、
    前記切除マーカが装着された前記被検体のX線立体断層像を再構成するX線断層像撮影ステップと、
    前記X線断層像撮影ステップにより再構成された前記X線立体断層像から、前記切除マーカのマーカ像を抽出するマーカ像抽出ステップと、
    前記マーカ像抽出ステップにより抽出された前記マーカ像から、前記患部の切除対象と
    なる関心領域の画像を抽出する関心領域抽出ステップと、
    前記関心領域抽出ステップにより抽出された前記関心領域の画像を表示する表示ステップと
    を実行させることを特徴とする制御プログラム。
JP2008136831A 2008-05-26 2008-05-26 切除マーカを用いた切除領域確認装置、およびその制御プログラム Expired - Fee Related JP5252994B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008136831A JP5252994B2 (ja) 2008-05-26 2008-05-26 切除マーカを用いた切除領域確認装置、およびその制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008136831A JP5252994B2 (ja) 2008-05-26 2008-05-26 切除マーカを用いた切除領域確認装置、およびその制御プログラム

Publications (2)

Publication Number Publication Date
JP2009279330A JP2009279330A (ja) 2009-12-03
JP5252994B2 true JP5252994B2 (ja) 2013-07-31

Family

ID=41450412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008136831A Expired - Fee Related JP5252994B2 (ja) 2008-05-26 2008-05-26 切除マーカを用いた切除領域確認装置、およびその制御プログラム

Country Status (1)

Country Link
JP (1) JP5252994B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152094A1 (ja) * 2010-06-02 2011-12-08 オリンパスメディカルシステムズ株式会社 医療機器および医療機器の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10118076A (ja) * 1996-10-24 1998-05-12 Olympus Optical Co Ltd 内視鏡下外科手術装置
JP5131951B2 (ja) * 2006-02-21 2013-01-30 富士フイルム株式会社 体腔内観察装置

Also Published As

Publication number Publication date
JP2009279330A (ja) 2009-12-03

Similar Documents

Publication Publication Date Title
US10321878B2 (en) Pulmonary vein display in two dimensions
EP3251603B1 (en) Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
US20070208250A1 (en) Apparatus and Method for Performing a Tissue Resection Procedure
US20210338265A1 (en) Methods and devices for delivering cancer therapy to a target tissue site via a cored tissue cavity
CN111494006A (zh) 用于在内窥镜图像中显示肿瘤位置的方法
US20230172636A1 (en) System and method for a tissue resection margin measurement device
US20180104008A1 (en) Communicating localization markers
JP5252994B2 (ja) 切除マーカを用いた切除領域確認装置、およびその制御プログラム
CN115998429A (zh) 用于规划和导航管腔网络的***和方法
US20210393332A1 (en) Methods and devices for navigating a tissue resection device
Melzer et al. Instrumentation and allied technology for endoscopic surgery
CN111407395A (zh) 定位***和使用方法
US20220047314A1 (en) Tissue dilation and resection systems and methods
US20210378731A1 (en) Tissue resection control systems and methods
US20210338215A1 (en) Tissue resection systems and methods for diagnostic and therapeutic implementation
US20200330150A1 (en) Grasper tool with coagulation
JP2023550223A (ja) 組織切除制御システム及び方法
Tomulescu et al. Laparoscopic spleen preserving distal pancreatectomy with splenic vessels preservation
WO2023205496A1 (en) System and method for a tissue resection margin measurement device

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100804

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees