JP4397177B2 - 臓器特定領域抽出支援装置及び方法 - Google Patents

臓器特定領域抽出支援装置及び方法 Download PDF

Info

Publication number
JP4397177B2
JP4397177B2 JP2003135122A JP2003135122A JP4397177B2 JP 4397177 B2 JP4397177 B2 JP 4397177B2 JP 2003135122 A JP2003135122 A JP 2003135122A JP 2003135122 A JP2003135122 A JP 2003135122A JP 4397177 B2 JP4397177 B2 JP 4397177B2
Authority
JP
Japan
Prior art keywords
region
blood vessel
outflow
organ
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003135122A
Other languages
English (en)
Other versions
JP2004337257A (ja
Inventor
朋洋 永尾
行矣 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2003135122A priority Critical patent/JP4397177B2/ja
Publication of JP2004337257A publication Critical patent/JP2004337257A/ja
Application granted granted Critical
Publication of JP4397177B2 publication Critical patent/JP4397177B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、医師が臨床において肝臓などのような生体内の臓器の特定領域を切除したり移植したりする際に、その特定領域を予め抽出してシミュレーション表示して医師の診断及び治療を支援する臓器特定領域抽出支援装置及び方法に関する。
【0002】
【従来の技術】
近年、X線撮影装置やX線CT装置やMRI装置などの医用画像診断装置で得られる画像を診断時のみならず治療時にも用いることが盛んに行われるようになっている。治療時に用いる例としては、被検体にカテーテルを挿入して患部を切除するカテーテル術と、従来どおり切開手術により患部を切除する外科手術とがある。このうち、外科手術では、手術前に医用画像診断装置により患部の画像を取得し、この画像に基づいて切除する部分などを予め決めておくということが通常行われている。
【0003】
切除する部分を決めるためにモニタ等に表示される画像としては、二次元画像、もしくは二次元画像を積み上げて構成した三次元画像が用いられている。一般的に三次元画像の方が人体の形態により近いので、モニタに表示された画像を直視した医師が直感的に切除部分を決めることができるというメリットがある。一方、二次元画像上で臓器の抽出、切除領域を決定する場合には、医師が解剖学的知識に基づいて、手作業で行なっているのが現状である。
【0004】
このような状況下、最近では、表示画像の中から特定臓器を自動的に抽出するという研究が盛んに行なわれるようになっているが、依然として、単一の臓器内において領域区分や特定領域を抽出する場合には、医師が解剖学的知識に基づいて判断したり認識したりしている。例えば、単一の臓器内の特定領域を抽出する方法としては、臓器の三次元画像中に領域特定用の幾何学的平面又は曲面を医師等が解剖学的知識に基づいた判断で設定し、その特定領域を抽出するという方法が行われている。
【0005】
このように、単一臓器内において特定領域を抽出する方法は提案されてはいるが、実際の臨床現場では、シミュレーションのように臓器を幾何学的な平面や曲面で切除することは行なわれていない。それは、このようなシミュレーション結果が臨床現場ではあまり役立つとは言えない段階のものであったからである。また、三次元的に特定された領域を観察する際、解剖学的知識から領域設定した結果と極めて類似したものとなるが、解剖学的検証は従来からの実績がある二次元画像を用いて行われることが多く、三次元的に特定された領域を二次元画像にて確認したいという要求があった。
【0006】
そこで、本願の発明者等は、特許文献1に記載されるような、単一臓器内の血管の走行状態に基づいて臓器の特定領域を抽出することのできる発明を先に出願している。この発明は、解剖学的情報に基づいているため、医師の判断する特定領域と酷似した結果が得られ、臓器切除の術前計画としてのシミュレーション精度を飛躍的に向上するものとして期待されるものである。例えば、この発明によれば、肝臓ガンの摘出手術においては、このシミュレーション方法と一致した術式を採用できる場合が多いという結果が出ている。
【特許文献1】
特開2001−283191号公報
【0007】
【発明が解決しようとする課題】
特許文献1に記載された切除領域の決定方法は、1種類の血管の情報を利用して行なうものである。例えば、動脈による切除領域の決定を行なう場合、まず最初に動脈の血管径を利用した指定動脈位置より末梢側の支配領域を同定する。この手法によって同定された支配領域は、動脈造影などにより撮影された実際の画像と比較した場合、非常に類似した結果になることが確認されている。
【0008】
ところで、動脈と静脈は基本的に同じ位置を走行しているわけではなく、お互いが疎な場所を走行していることが知られている。すなわち、臨床的には、臓器内における静脈の走行位置は、動脈による支配領域の境界付近を走行することが知られている。それは、動脈と静脈の支配領域の境界が一致しているわけではないことを意味する。
【0009】
特許文献1に記載された手法で決定された領域、すなわち指定動脈位置より末梢側の支配領域を切除した場合、流入する動脈血は存在しないことになる。そして、この領域が広い場合、指定動脈とは関係のない静脈をも一緒に切除してしまうことになる。このように境界付近に存在する指定動脈とは関係のない静脈が切除された場合、他の切除しない動脈に支配されている領域の血液が戻る静脈が存在しなくなるというい状態が起こることになる。
【0010】
従って、臓器の部分切除、部分移植においては、静脈の支配領域も合わせて切除し、移植を行うことが必要であるが、特許文献1に記載された手法にはその静脈の支配領域についての考察が欠けているために、高精度のシミュレーションを実行することが困難であった。
【0011】
本発明の目的は、肝臓のように血管が複雑に入り込んだ臓器のその特性を利用して、切除手術時のシミュレーションに適した臓器の特定領域を抽出することができ、かつ、その抽出した領域を非抽出領域と識別可能に表示することができる臓器特定領域抽出支援装置及び方法を提供することにある。
【0012】
【課題を解決するための手段】
請求項1に記載された本発明の臓器特定領域抽出支援装置は、医用画像の中から単一の臓器に対応した関心領域を抽出する関心領域抽出手段と、前記関心領域抽出手段によって抽出された前記関心領域内の血管などに関する情報の中の少なくとも動脈及び静脈の情報を用いることによって前記関心領域内の特定の領域を抽出する特定領域抽出手段と、前記特定領域抽出手段によって抽出された前記特定領域を表示する表示手段とを備えたものである。関心領域抽出手段及び特定領域抽出手段は、特許文献1に記載された手法によって関心領域及び特定領域を抽出する。このときに、特許文献1では、動脈の情報だけを用いて特定領域を抽出しているが、この発明では、動脈の情報に加えてさらに静脈の情報を用いることによって切除手術時のシミュレーションに適した臓器の特定領域を抽出するようにした。表示手段は、臓器の特定領域から三次元画像を形成し、この三次元画像を抽出された特定領域と非特定領域とに識別可能に表示する。特定領域を表示する場合に、主要な血管などの長さ、臓器表面からの距離、切除領域としての臓器全体に対する容積の割合などを定量的情報として表示する機能を併せ持つことによってより正確な情報を医師に伝達することができる。また、臓器特定領域抽出支援装置は、支配領域の決定条件をオペレーターから対話的に入力することができるようにしたり、シミュレーション結果をリセットし、新たに支配領域の決定条件を対話的に入力することができるようにしてもよい。
【0013】
請求項2に記載された本発明の臓器特定領域抽出支援装置は、請求項1において、前記特定領域抽出手段が、前記動脈の情報に基づいて前記動脈に支配される動脈支配領域を抽出し、抽出された前記動脈支配領域内に静脈が含まれる場合、その静脈の情報に基づいて前記静脈に支配される静脈支配領域を抽出し、前記動脈支配領域及び前記静脈支配領域に基づいて前記特定領域を抽出するものである。これは、特許文献1に記載された手法を利用して、動脈、もしくはそれに順する脈管の動脈の情報に基づいて動脈支配領域を抽出し、この動脈支配領域に含まれる静脈を判定し、その静脈の情報に基づいて静脈支配領域を抽出する。このようにして抽出された二つの領域(動脈支配領域及び静脈支配領域)を足し合わせたり、一方の領域と重ならない領域を算出したりすることによって特定領域を抽出し、これらの領域を視覚的に表示するようにしたものである。
【0014】
請求項3に記載された本発明の臓器特定領域抽出支援装置は、請求項2において、前記特定領域抽出手段が、前記動脈支配領域内に含まれる前記静脈の脈管の径の情報を用いて前記静脈支配領域を抽出するものである。動脈支配領域内に静脈が含まれている場合に、その動脈支配領域の境界と接する静脈の脈管の径の情報すなわち径の大きさに基づいて結紮位置や静脈の先端方向などが分かるので、その静脈支配領域を正確に抽出することができる。
【0015】
請求項4に記載された本発明の臓器特定領域抽出支援方法は、医用画像に基づいて単一臓器に対応した関心領域を抽出するステップと、抽出された前記関心領域内の血管などに関する情報の中の少なくとも動脈及び静脈の情報を用いることによって前記関心領域内の特定の領域を抽出するステップと、抽出された前記特定領域を表示するステップとを備えたものである。これは、請求項1に記載された臓器特定領域抽出支援装置に対応した方法の発明である。
【0016】
【発明の実施の形態】
以下、添付図面に従って本発明に係る臓器特定領域抽出支援装置及び方法の好ましい実施の形態について説明する。図1は、本発明が適用される臓器特定領域抽出支援装置全体のハードウエア構成を示すブロック図である。この臓器特定領域抽出支援装置は、例えば肝臓の造影撮影を行ったX線CT画像を処理対象画像として用い、動脈、静脈の走行情報を利用して、肝臓の領域特定を行う手順およびそれを用いて肝臓の切除領域を表示するものである。この臓器特定領域抽出支援装置は、各構成要素の動作を制御する中央処理装置(CPU)10と、装置全体の制御プログラムが格納された主メモリ11と、複数の断層像データ及びプログラム等が格納された磁気ディスク12と、表示用の画像データを一時記憶する表示メモリ13と、この表示メモリ13からの画像データに基づいて画像を表示する表示装置としてのCRTディスプレイ14と、画面上のソフトスイッチを操作するマウス15及びそのコントローラ16と、各種パラメータ設定用のキーやスイッチを備えたキーボード17と、スピーカ18と、上記各構成要素を接続する共通バス19とから構成される。
【0017】
この実施の形態では、主メモリ11以外の記憶装置として、磁気ディスク12のみが接続されている場合を示しているが、これ以外にフロッピディスクドライブ、ハードディスクドライブ、CD−ROMドライブ、光磁気ディスク(MO)ドライブ、ZIPドライブ、PDドライブ、DVDドライブなどが接続されていてもよい。さらに、通信インターフェイスを介してLAN(ローカルエリアネットワーク)やインターネット、電話回線などの種々の通信ネットワーク1a上に接続可能とし、他のコンピュータやCT装置1bなどとの間で画像データのやりとりを行えるようにしてもよい。また、画像データのやりとりは、X線CT装置やMRI装置などの被検体の断層像が収集可能な臓器特定領域抽出支援装置を上記LAN等の通信ネットワーク1aと接続して行ってもよい。
【0018】
以下、図1の臓器特定領域抽出支援装置の動作例について図面を用いて説明する。図2は、断層像とデータとの関係を示す図である。図2(a)に示すようにX線CT装置やMRI装置等の三次元計測の可能な画像診断装置で取得した複数の断層像21を積み上げて、図2(b)に示すような積み上げ三次元画像22とし、処理対象を三次元化する。積み上げ三次元画像22は、肝臓の組織と動脈、静脈、腫瘍などを含むものであり、ここには図示していない二次元の投影面に陰影付けして投影処理された擬似三次元画像として、例えば図1のCRTディスプレイ14上に表示される。
【0019】
図3は、特許文献1に記載された手法によって肝臓の特定領域を決定する場合の一例を示す図である。図4は、特許文献1に記載された手法によって肝臓の特定領域を決定する場合の問題点を示す図である。なお、説明を簡単にするため、平面図を例に説明するが、実際は三次元画像として表示されるものである。肝臓内には、図に示すように動脈30と静脈40が存在する。まず、動脈30の枝31を位置35から結紮すると、領域36が虚血状態となり、この領域36が動脈30の枝31の支配領域であることが分かる。この領域36は切除されるので、その後の血流を考える必要は無い。しかし、図3に示すように、領域36内には静脈40の枝41が含まれる場合がある。この様な場合には、静脈40の枝41も切除する必要が生じてくる。
【0020】
従って、このような場合には、静脈40の枝41を位置45で結紮する。すると、今度は図4に示すように領域46が、静脈40の枝41の支配領域46として表示される。この支配領域46には、動脈30の枝31の支配領域の一部が含まれることになる。すなわち、静脈40の枝41が切除された場合、動脈30の枝32から供給された血液33の戻る静脈が存在しないことになり、鬱血状態となってしまう。
【0021】
従って、図5に示すように、動脈30の枝31を位置35の場所から切除するに際し、その切除領域に静脈40の枝41が含まれる場合には、静脈40をその位置45からも切除する必要があり、最終的な切除領域は動脈30の枝31の支配する領域36と静脈40の枝41の支配する領域46を足し合わせた領域である必要がある。
【0022】
図6は、本発明の臓器特定領域抽出支援装置における臓器の移植支援に関する血管支配領域を特定するための処理の一例を示すフローチャート図である。この血管支配領域特定処理S60は、関心領域抽出処理S61、距離値変換処理S62、細線化処理S63または表面画素検出処理S64、結紮対象動脈(もしくは順ずる脈管)設定処理S65、動脈支配領域特定処理S66、切除領域内上静脈判定処理S67及び静脈支配領域特定処理S68からなる。ここで、処理S62から処理S64は抽出した血管全てに対して行われる。
【0023】
入力された(読み込まれた)積み上げ三次元画像データに対して行われる関心領域抽出処理S61から動脈支配領域特定処理S66までの詳細は、特許文献1に記載されているので、説明は省略し、切除領域内上静脈判定処理S67及び静脈支配領域特定処理S68について説明する。
【0024】
図7は、切除領域内に含まれる静脈を判定する切除領域内上静脈判定処理S67の概念を示す図である。動脈30の枝31をその位置35で結紮した場合、枝31の支配領域が領域36のように定義される。この支配領域36に静脈40の枝41の一部領域47が含まれている場合、この一部領域47において支配領域36の境界と接する骨格画素を検索し、検索された骨格画素の中から径の最大の骨格画素を結紮位置45と定義し、静脈40の枝41全体を認識させる。
【0025】
静脈40の枝41が認識された場合には、その静脈40の枝41に対して、動脈支配領域特定処理S66と同様の手法を用いて静脈支配領域特定処理S68を実行し、静脈40の枝41の支配領域46を特定する。
【0026】
これによって、動脈30の枝31を基準とした最終的な処理シミュレーションは、静脈40の枝41の切除を必要とし、その切除領域は、動脈30の枝31の支配領域36と静脈40の枝41の支配領域46を合わせた領域となる。このようにして切除領域が特定されると、それを表示用データとして合成する表示データ処理が行なわれ、その表示用データが再構成画像として出力、すなわち表示装置としてのCRTディスプレイ14に表示されたり、磁気ディスク12に格納されたりする。なお、画像再構成方法には、平行投影法を利用したサーフェイスレダリング法やボリュームレダリング法等を利用する。また、表示に際しては、抽出された特定領域、すなわち切除領域とその他の非抽出領域とを画像の濃度値や色相を異ならせて、画像観察者がその特定領域をその他の非抽出領域から容易に識別可能にCRTディスプレイ14に表示することになる。
【0027】
上述の実施の形態に係る臓器特定領域抽出支援装置によって、これらの結果は3次元画像として選択的に表示することが可能であり、三次元画像として表示されている肝臓実質、切除対象領域の容積、割合や切除対象血管の長さ、肝臓表面からの結紮部位の深さ位置など、あらゆる定量値を表示することが可能となる。
【0028】
以上、本発明の実施の形態を説明したが、本発明の手法はX線CT装置だけでなく、磁気共鳴イメージング装置や超音波診断装置などの他の画像診断装置により取得した画像に対しても用いることができる。また、対象臓器としては上記実施の形態中に説明した肝臓の他に、人体の多くの部位について適用可能である。
【0029】
上述の実施の形態によれば、動脈、もしくはそれに順する脈管の情報のみで決定された領域よりも高精度に領域設定することが可能であり、切除領域と非切除領域とを臨床的知識、手技と同様の手法で識別可能に表示することによって、例えば部分臓器移植シミュレーション等を行う際に、より多くの症例に対応することが可能となり、より臨床に近い形での手術計画、切除シミュレーション、切除率の計算や三次元的な可視化が可能となる。また、三次元的に特定された領域が適正であるかを、二次元画像上で確認することも可能となる。
【0030】
【発明の効果】
本発明によれば、肝臓のように血管が複雑に入り込んだ臓器のその特性を利用して、切除手術時のシミュレーションに適した臓器の特定領域を抽出することができ、かつ、その抽出した領域を識別可能に表示することができるという効果がある。
【図面の簡単な説明】
【図1】 本発明を実施可能なハードウェア構成例を示す図。
【図2】 断層像とデータの関係を示す図。
【図3】 特許文献1に記載された手法によって肝臓の特定領域を決定する場合の一例を示す図。
【図4】 特許文献1に記載された手法によって肝臓の特定領域を決定する場合の問題点を示す図。
【図5】 最終的に設定されるべき領域を説明するための図。
【図6】 本発明の臓器特定領域抽出支援装置における臓器の移植支援に関する血管支配領域を特定するための処理の一例を示すフローチャート図。
【図7】 切除領域内に含まれる静脈を判定する切除領域内上静脈判定処理の概念を示す図。
【符号の説明】
10…中央処理装置(CPU)
11…主メモリ
12…磁気ディスク
13…表示メモリ
14…CRTディスプレイ
15…マウス
16…コントローラ
17…キーボード
18…スピーカ
19…共通バス
1a…通信ネットワーク
1b…他のコンピュータ又はCT装置

Claims (5)

  1. 医用画像の中から単一の臓器に対応した関心領域を抽出する関心領域抽出手段と、
    前記関心領域抽出手段によって抽出された前記関心領域内への流入血管の情報に基づいて前記流入血管に支配される流入血管支配領域を抽出し、抽出された前記流入血管支配領域内に流出血管が含まれる場合、その流出血管の情報に基づいて前記流出血管に支配される流出血管支配領域を抽出し、前記流入血管支配領域及び前記流出血管支配領域に基づいて前記関心領域内の特定領域を抽出する特定領域抽出手段と、
    前記特定領域抽出手段によって抽出された前記特定領域を表示する表示手段と
    を備えたことを特徴とする臓器特定領域抽出支援装置。
  2. 請求項1において、前記特定領域抽出手段は、前記流入血管支配領域内に含まれる前記流出血管の脈管の径の情報を用いて前記流出血管支配領域を抽出することを特徴とする臓器特定領域抽出支援装置。
  3. 請求項1又は2において、前記特定領域抽出手段は、前記流入血管支配領域と前記流出血管支配領域とを足し合わせた領域を前記特定領域として抽出することを特徴とする臓器特定領域抽出支援装置。
  4. 請求項1、2、又は3において、前記特定領域抽出手段は、前記流出血管において前記流入血管支配領域の境界と交わる位置を、前記流出血管の結紮位置として前記特定領域を抽出することを特徴とする臓器特定領域抽出支援装置。
  5. 医用画像に基づいて単一臓器に対応した関心領域を抽出するステップと、
    抽出された前記関心領域内の流入血管の情報に基づいて前記流入血管に支配される流入血管支配領域を抽出し、抽出された前記流入血管支配領域内に流出血管が含まれる場合、その流出血管の情報に基づいて前記流出血管に支配される流出血管支配領域を抽出し、前記流入血管支配領域及び前記流出血管支配領域に基づいて前記関心領域内の特定領域を抽出するステップと、
    抽出された前記特定領域を表示するステップと
    を含むことを特徴とする臓器特定領域抽出支援方法。
JP2003135122A 2003-05-13 2003-05-13 臓器特定領域抽出支援装置及び方法 Expired - Fee Related JP4397177B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003135122A JP4397177B2 (ja) 2003-05-13 2003-05-13 臓器特定領域抽出支援装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003135122A JP4397177B2 (ja) 2003-05-13 2003-05-13 臓器特定領域抽出支援装置及び方法

Publications (2)

Publication Number Publication Date
JP2004337257A JP2004337257A (ja) 2004-12-02
JP4397177B2 true JP4397177B2 (ja) 2010-01-13

Family

ID=33525491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003135122A Expired - Fee Related JP4397177B2 (ja) 2003-05-13 2003-05-13 臓器特定領域抽出支援装置及び方法

Country Status (1)

Country Link
JP (1) JP4397177B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5422145B2 (ja) * 2008-06-18 2014-02-19 株式会社東芝 医用画像処理装置
JP5597429B2 (ja) * 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP5395823B2 (ja) * 2011-02-15 2014-01-22 富士フイルム株式会社 手術支援装置、手術支援方法および手術支援プログラム
CN117460444A (zh) * 2021-06-14 2024-01-26 奥林巴斯株式会社 图像处理装置、内窥镜***、图像处理方法、程序以及信息存储介质

Also Published As

Publication number Publication date
JP2004337257A (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4306380B2 (ja) 医用画像表示方法及び装置
JP4688361B2 (ja) 臓器の特定領域抽出表示装置及びその表示方法
JP4748843B2 (ja) 臓器の特定領域抽出表示装置及び臓器の特定領域抽出表示方法をコンピュータに実行させるプログラムを記録した記録媒体
CN107358595B (zh) 用于肝叶分割和术前手术规划的方法和***
JP6262027B2 (ja) 医用画像処理装置
JP6483270B2 (ja) タッチレス高度画像処理及び視覚化
CN110023883B (zh) 用于病变移除的交互式网格放置和测量的方法和***
JP2018509957A (ja) 組織アブレーションを支援するための装置及び方法
Mutter et al. 3D virtual reality and selective vascular control for laparoscopic left hepatic lobectomy
Bertrand et al. A case series study of augmented reality in laparoscopic liver resection with a deformable preoperative model
Gering A system for surgical planning and guidance using image fusion and interventional MR
Preim et al. Resection proposals for oncologic liver surgery based on vascular territories
JP4675509B2 (ja) 臓器の特定領域抽出表示装置及び方法
JP4193201B2 (ja) 臓器の切除領域抽出表示装置
CN112566581B (zh) 用于消融可视化的***
Hamada et al. The current status and challenges in augmented-reality navigation system for robot-assisted laparoscopic partial nephrectomy
EP3432310A1 (en) Method and system for a preoperative surgical intervention simulation
JP4397177B2 (ja) 臓器特定領域抽出支援装置及び方法
JP2000113086A (ja) 手術経路設定装置及び手術経路設定処理プログラムを 記録した記録媒体
WO2022176874A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム
JP4526114B2 (ja) 管腔臓器切除シミュレーション方法
CN116269751A (zh) 肾结石术前计算机模拟穿刺和导航***
CN112971979B (zh) 仿真***、仿真方法及装置
Paolucci et al. Ultrasound based planning and navigation for non-anatomical liver resections–an Ex-Vivo study
JP4474140B2 (ja) 画像表示装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050506

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090716

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091020

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees