JP4896470B2 - 画像処理装置、医用画像診断装置及び画像処理方法 - Google Patents

画像処理装置、医用画像診断装置及び画像処理方法 Download PDF

Info

Publication number
JP4896470B2
JP4896470B2 JP2005261020A JP2005261020A JP4896470B2 JP 4896470 B2 JP4896470 B2 JP 4896470B2 JP 2005261020 A JP2005261020 A JP 2005261020A JP 2005261020 A JP2005261020 A JP 2005261020A JP 4896470 B2 JP4896470 B2 JP 4896470B2
Authority
JP
Japan
Prior art keywords
image
data
line
curved section
curved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005261020A
Other languages
English (en)
Other versions
JP2006122663A (ja
Inventor
武博 江馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP2005261020A priority Critical patent/JP4896470B2/ja
Publication of JP2006122663A publication Critical patent/JP2006122663A/ja
Application granted granted Critical
Publication of JP4896470B2 publication Critical patent/JP4896470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、容易に観察対象の曲断面形状を把握できる画像を提供可能な画像処理装置、医用画像診断装置及び画像処理方法に関する。
近年の医療用画像分野で使用される画像処理装置は、超音波診断装置、X線CTスキャン、磁気共鳴イメージング装置等の医療用画像機器と組み合わせて使用され、多くの病院、検査機関等で広く利用されている。この画像処理装置は、画像処理の高速化や解像度の向上が進み、臨床情報として有用な種々の画像を提供でき、例えば手術前のシミュレーション等において、血管の走行、消化管の腫瘍、プラーク(斑点)の形成、狭搾症等の原因を調べる際に行う消化管腔の画像化等に利用されている。
この様な画像処理装置において、従来、曲がっている観察対象物を含む三次元画像から、対象物を見やすく断面表示する方法として、Curved Multi−Planar Reformatting(Curved MRP:以下「C−MPR」と略す)と呼ばれる手法が知られている。C−MPRによる画像の作成は、例えば(1)三次元画像全体が表示されている画面上で折れ線を設定する。(2)画面に垂直に設定された折れ線を含む断面(C−MPR断面)を構成する。(3)その断面上の画素値を、そのまま二次元画像として表示する。といった手順を踏んで実行される。
図6は、C−MPR画像(C−MPRによって生成される画像)を説明するための図である。同図において、C−MPR断面を規定する折れ線は、a、b、c、dの四つの直線から構成されている。C−MPR画像は、それぞれ折れ線を含み画面に垂直な四つの平面から構成されるC−MPR断面上にある画素値を、そのまま表示することで生成される。従ってC−MPRは、全体としては平面上にない画素値を1つの平面上に並べて表示する方法であり、この手法によれば、平面から構成される曲面上の画像を一度に観察することができる。
また、同様に全体としては平面上にない画素値を1つの平面上に並べて表示する別の方法も知られており、例えば、(1)三次元画像全体が表示されている画面上で折れ線を設定する。(2)画面に垂直で設定された折れ線を含む断面(C−PC断面)を構成する。(3)その断面上にある画素値のみを、視点を考慮して投影面に投影し表示する。といった手順を踏んで実行される。ここでは、この表示方法をCurvd Plane Cut(C−PC)と呼ぶことにする。
図7は、C−PC画像の説明図である。同図において、右側部分がC−PC画像を示しており、C−PC断面の形状がわかるような表示となっている。また、C−PC断面全体を回転させて異なる視点から眺めることも可能である。
しかしながら、従来の断面表示方法においては、例えば次の様な問題がある。
まず、C−MPRは、曲面を平面に展開した画像であるため、観察したい対象物の形状を把握することができない。例えば、医用画像診断においては、血管などの曲がりくねった観察対象物を見るが、観察対象物全体の曲がり具合がわかるように曲面が指定できるとは限らないため、観察対象物全体の曲がり具合を把握することはできないことがある。
また、前述したC−MPR画像の説明から明らかなように、観察者は、C−MPR断面を設定するときに三次元画像を見ていた方向とは異なる方向からC−MPR画像を眺めることになる。観察者としては、その時点で三次元画像を見ている方向と同じ方向から観察対象物の断面を眺めるのが自然である。しかしながら、この要求はC−MPR画像では満足させることはできない。
さらに、一度C−MPR画像を表示させた後に観察対象物を異なる方向から観察したい場合(異なるC−MPRを設定したい場合)には、別のC−MPR断面を設定しなければならない。これは、面倒な作業であるため、観察者に対して大きな作業負担になる。実際の医療現場では、血管の断面を含む観察対象物を様々な方向から観察したいという要求がある。従って、これを満たすためには、C−MPR断面の設定を何度も繰り返さなければならないため、現実的ではない。
なお、C−PC画像では、平面から構成される曲面上の画像が平面に展開されることなく表示されるため、観察対象物の形状把握に関してはC−MPRよりも若干優れていると言える。しかしながら、曲面の指定方法はC−MPRと同じであるため、全体の形状を把握するには限界がある。
また、C−PC断面全体を回転させて異なった方向から観察することも可能である。しかしながら、C−PC断面自体は同じであり、同じデータを異なる方向から眺めることができるだけである。従って、その時点で三次元画像を見ている方向と同じ方向から観察対象物の断面を眺めたいという要求はC−PC画像でも満足させることはできない。
さらに、一度C−PC画像を表示させた後に観察対象物を異なる方向から観察したい場合には、C−MPRの場合と同様に、別のC−PC断面を設定しなければならない。従って、観察者はC−PC断面の設定を何度も繰り返さなければならないため、現実的ではない。
なお、本願に関連する公知文献としては、例えば次のようなものがある。
特開平11−318884号公報
本発明は、上記事情を鑑みてなされたもので、曲がっている観察対象物の断面画像を生成する場合において、少ない作業負担でより有益な断面画像を生成可能な画像処理装置、医用画像診断装及び画像処理方法を提供することを目的としている。
本発明は、上記目的を達成するため、次のような手段を講じている。
請求項1に記載の発明は、入力される観察対象物の三次元画像データ上において、当該観察対象物の位置を示す複数個の位置データを特定する位置データ特定と、前記各位置データのスクリーン座標系における深さに関する情報を用いて前記スクリーン座標系における中間曲断面を算出し、前記中間局断面を用いて前記視線方向における第1の曲断面を算出する曲断面算出と、前記第1の曲断面上の前記三次元画像データ又は前記第1の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成する投影画像生成と、前記投影画像を表示する表示と、を具備することを特徴とする画像処理装置である。
請求項11に記載の発明は、観察対象の三次元画像データを取得する取得部と、前記三次元画像データ上において、当該観察対象物の位置を示す複数個の位置データを特定する位置データ特定部と、前記各位置データのスクリーン座標系における深さに関する情報を用いて前記スクリーン座標系における中間曲断面を算出し、前記中間局断面を用いて前記視線方向における第1の曲断面を算出する曲断面算出部と、前記第1の曲断面上の前記三次元画像データ又は前記第1の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成する投影画像生成部と、前記投影画像を表示する表示部と、を具備することを特徴とする医用画像診断装置である。
請求項21に記載の発明は、入力される観察対象物の三次元画像データ上において、当該観察対象物の位置を示す複数個の位置データを特定し、前記複数個の位置データと所望する視線方向のデータに基づいて、前記各位置データのスクリーン座標系に対応する深さに関する情報を求め、この深さに関する情報を用いて三次元空間での前記視線方向における第1の曲断面を算出し、前記第1の曲断面上の前記三次元画像データ又は前記第1の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成し、前記投影画像を表示すること、を特徴とする具備する画像処理方法である。
以上本発明によれば、曲がっている観察対象物の断面画像を生成する場合において、少ない作業負担でより有益な断面画像を生成可能な画像処理装置、医用画像診断装及び画像処理方法を実現することができる。
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
なお、本実施形態に係る画像処理装置は、例えば専用プログラムをワーキングメモリ上に展開し、後述する画像処理を実行する単体の医療用ワークステーションを想定している。しかしながら、これに限定する趣旨ではなく、医療画像専用ビューア、X線コンピュータ断層撮影装置、超音波診断装置、磁気共鳴イメージング装置等の各種モダリティに内蔵される画像処理装置等であってもよい。
また、本実施形態においては、三次元画像は、表示された画像ではなく、表示されるべき三次元画像データを意味する。この三次元画像は、実空間(三次元画像空間あるいはボリューム空間)上において定義されるものであり、ボリュームデータと呼ばれることもある。
図1は、本実施形態に係る画像処理装置10のブロック構成図を示している。同図に示すように、画像処理装置10は、制御部11、主記憶部13、外部記憶部14、画像処理部15、送受信部17、表示部19、入力部21を具備している。
制御部11は、システム全体の制御中枢として、本画像処理装置10を静的又は動的に制御する。
主記憶部13は、ネットワークを介して送受信部17により受信した、各種モダリティによって収集された画像データ(再構成前後に拘泥されない)を記憶する。また、主記憶部13は、後述する曲断面画像生成処理を実行するための専用プログラムを記憶する。
外部記憶部14は、磁気ディスク(フロッピーディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体である。主記憶部13が記憶する画像データ、プログラム等の少なくとも一部を、当該外部記憶部14が記憶する構成であってもよい。
画像処理部15は、曲断面画像生成処理を実行する。この画像処理部15の構成及び曲断面画像生成処理の内容については、後で詳しく説明する。
送受信部17は、ネットワークを介して各種医療画像撮影装置(例えば、X線コンピュータ断層撮影装置、超音波診断装置、磁気共鳴イメージング装置等)と画像データを含む各種データの送受信を行う。
表示部19は、三次元画像投影部157から受け取った投影画像を、所定の形態にて表示する出力手段である。
入力部21は、観察者(操作者)からの各種指示・命令・情報をとりこむため入力装置(マウスやトラックボール、モード切替スイッチ、キーボード等)を有している。
(画像処理部15の機能及び構成)
図2は、画像処理部15の構成を示したブロック図である。同図に示すように、
本画像処理部15は、三次元画像記憶部151、位置データ記憶部152、曲断面データ演算部153、曲断面データ記憶部154、視線データ変更部155、視線データ記憶部156、三次元画像投影部157を具備している。
なお、本画像処理部15の機能及び構成は、例えば当該処理を実行する専用プログラムを当該画像処理装置10にインストールし、制御部11の制御のもと、これを読み出して図示していない補助記憶部(メモリ)上で展開することによって実現することができる。当然ながら、本画像処理部15の機能等を実行させることができるプログラムは、磁気ディスク(フロッピーディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することも可能である。
しかしながら、本実施形態は、この様なソフトウェアによる構成に限定する趣旨ではなく、例えば図2に示した少なくとも一部の構成を、グラフィックカード等によるハード構成によって実現するようにしてもよい。
三次元画像記憶部151は、主記憶部13から読み出された三次元画像データを記憶する。
位置データ記憶部152は、入力部21、ネットワーク経由での他の装置、CD等の脱着自在な外部記憶装置等を介して入力された所定の位置データ(例えば後述する、三次元画像内の曲がった観察対象物である血管中心線データ)を記憶する。
曲断面データ演算部153は、位置データ記憶部152から読み出された血管中心線データ、視線データ記憶部156から読み出された視線データをそれぞれ入力し、所定の演算によって曲断面データを生成する。この演算については、後で詳しく説明する。
曲断面データ記憶部154は、曲断面データ演算部153によって生成された曲断面データを記憶する。
視線データ変更部155は、視線方向を変更するための入力部31からの操作に応答して、視線データを生成する。すなわち、視線データ変更部155は、入力部31からの入力データからマウスやトラックボールなどの動きの方向と程度を視点又は視線方向の変化量とみなし、少なくとも視線方向を定義する視線データを作成する。なお、視線データは、必要に応じて視線方向の他に視点を定義するようにしてもよい。
視線データ記憶部156は、視線データ変更部155において作成された視線データを記憶する。
三次元画像投影部157は、三次元画像記憶部151から読み出された三次元画像と、視線データ記憶部156から読み出された視線データとに基づいて、制御部11に指示された投影方法を用いて三次元画像を投影し投影画像を生成する。生成された投影画像は、画像表示部29に出力され、所定の形態にて表示される。
また、三次元画像記憶部151から読み出された三次元画像と、視線データ記憶部156から読み出された視線データと、曲断面データ記憶部154に記憶されている曲断面データとに基づいて、所定の投影処理を実行し、投影画像を生成する。この投影処理については、後で詳しく説明する。生成された投影画像は、画像表示部29に出力され、所定の形態にて表示される。
(曲断面画像生成処理)
図3は、本画像処理装置10によって実行される曲断面画像生成処理の手順を示したフローチャートである。同図に示すように、本曲断面画像生成処理は、大きく次の3つのステップから構成されている。
ステップS1:三次元画像内の観察対象物の位置を示す複数個の位置データを入力する。
ステップS2:複数個の位置データと三次元画像に対する視線データとから、視線方向における曲断面を求める。
ステップS3:曲断面上の三次元画像を前記視線データに基づいて投影面に投影する。
各ステップの処理について、以下詳細に説明する。
[ステップS1]
本ステップでは、三次元画像内の観察対象物の位置を示す複数個の位置データを入力する。入力される位置データがn個(nは2以上の自然数)あるとし、位置データ全体をWKと表すことにすると、i番目の位置データwKiは次の式(1)ようなデータである。
位置データwKi:( wxi, wyi, wzi ) i=0,1,2,・・・,n-1 (1)
ここで、wxi, wyi, wziは、それぞれ実空間のx座標、y座標およびz座標である。
[ステップS2]
ステップS2では、ステップS1において入力されたn個の位置データと、視線データとから、曲断面を算出する。本ステップにおいて実行される処理は、図3のステップS21〜S23に示すように、次の三つの小ステップから構成されている。
ステップS2−1:位置データの座標を実空間座標系からスクリーン座標系に変換する。
ステップS2−2:スクリーン座標系に変換された位置データから、スクリーン上の各点の深さ方向の座標を求める。
ステップS2−3:得られたスクリーン座標系の各点の座標を、実空間座標系に変換する。
以下、各小ステップでの処理について説明する。なお、以下の説明においては、ボリュームデータが配置された実空間座標系からスクリーン座標系への変換行列をSTWと表記し、また、その逆行列をWTSと表記する。WTSは、スクリーン座標系から実空間座標系への変換行列である。ここでは、STWWTSをまとめて視線データと呼ぶことにする。
[ステップS2−1]
本ステップS2−1では、以下の式(2)に従う行列計算を行って、スクリーン座標系における位置データsKiの座標、すなわち( sxi, syi, szi )を求める。
t[ Sxi Syi Szi 1 ] = STW t[ Wxi Wyi Wzi 1 ] (2)
ここで、t[]は、転置行列を意味する。転置行列内の要素である1は、STWが2つの座標系の間のずれ量(平行移動量)を加味したものとなっているために存在する。
[ステップS2−2]
本ステップS2−2では、ステップS2−2で得られたスクリーン座標系の位置データから、スクリーン上の各点(ピクセル)SPのスクリーン座標系における深さ方向のデータを求める。スクリーン上の座標 (Sx, Sy) の点を、 SPx,y と記述すれば、深さ方向(視線方向)のデータはスクリーン座標系におけるz座標の値 Sz (深さ方向に関する情報)を求めることであり、(Sx, Sy , Sz)の集合が、求めている曲断面を表すデータとなる。
スクリーン座標系に変換された実空間の位置データwKiSKiと名づける。SKiをスクリーンに投影した点(Sxi , Syi )を用い、次の式(3)によりSPx,yと(Sxi , Syi )との間の距離Di(i=0,1,2,・・・,n-1)を計算する。
Di = ( (Sxi - Sx )2 + (Syi - Sy )2 )1/2 (3)
なお、図4に、スクリーン上の点SPx,yと(Sxi , Syi )との間の距離Diの一例を示した概念図を示した。
次に、式(4)、(5)に従ってSz を求める。
Sz = Σi Szi ) / Σδi (i=0, …, n-1) (4)
δi = 1 / Di m (5)
ここで、δiは重みであり、Di が小さいほど、つまりSKiが点(Sxi , Syi )に近いほど大きな重みとなるように考慮されている。
この計算をスクリーン上のすべての点について実行すると、求めている曲断面を表すデータが得られる。mは定数であり、値が大きくなればなるほど、滑らかな曲断面となる。なお、Diがゼロとなる場合、すなわち、SPx,yが位置データSKiと同一である場合には、SKiのz座標 Sziを深さ方向のデータとする。
[ステップS2−3]
本ステップS2−3では、ステップS2−2で求めた曲断面(中間曲断面)上の点の座標(Sx, Sy , Sz)を、次の式(6)により、実空間座標に変換する。
t[ Wx Wy Wz 1 ] = WTS t[ Sx Sy Sz 1 ] (6)
これによって得られる(Wx, Wy , Wz)の集合が、曲断面の実空間におけるデータである。
[ステップS3]
ステップS3では、ステップS2において実空間に置ける曲断面データを用いて三次元画像を投影する投影処理を実行する。すなわち、本ステップS3においては、スクリーンの各点(Sx, Sy)について、ステップS2−2で求めた座標(Sx, Sy , Sz)に対応する実空間上の座標(Wx, Wy , Wz)にある三次元画像の画素値(ボクセル)V(Wx, Wy , Wz)を得て、それを(Sx, Sy)におけるピクセル値とする投影処理を行う。
図5(a)、(b)は、大動脈を含む三次元CT画像に対して、本曲断面画像生成処理を実行して得られた結果を説明するための図である。すなわち、図5(a)は、ステップS2−2で得られた深さ方向のデータSzを画像として示したもので、黒い部分は白い部分よりも手前にあることを意味している。視線方向はCT画像を患者に対してほぼ正面から眺める方向に設定し、ステップS2−2におけるmの値は、8としている。また、図5(b)、ステップS3まで実行した結果である。その視線方向から見た大動脈全体の断面の形状がわかりやすく表示されており、また視線方向がそれまで眺めていた方向と変わらないので、観察者にとっては自然な画像である。なお、参考のために、大動脈の血管中心線の位置を示す曲線を画像の上に重ねて示している。
なお、位置データとしては、大動脈の血管中心線の位置を示すデータを用いている。大動脈の血管中心線の位置データを求めるのには、例えば、「Ali Shahrokni et al, “Fast skeltonization algorithm for 3-D elongated objects”, Proceedings of SPIE Vol.4322, pp.323-330, 2001」、「USP5,971,767」、「Onno Wink, Wiro J. Niessen, “Fast Delineation and Visualization of Vessels in 3-D Angiographic Images”, IEEE Trans. Med. Imag., Vol.19, No.4, 2000」等に開示されている手法を用いることができる。
(変形例1)
次に、本実施形態の変形例について説明する。本変形例では、ステップS3において、ステップS2で得られた曲断面に対し厚みをつけて投影する投影方法を採用するものである。
すなわち、ステップS2で得られた曲断面上の視線方向の前後にそれぞれ一定の厚みをつけ、厚みがLボクセル分となるように投影領域を設定する。スクリーンの各点に垂直な視線上にあって、その視線が通る投影領域内のボクセルのうちで最大のボクセル値をスクリーンのその点のピクセル値として投影する。この処理は最大値投影(Maximum Intensity Projection)の名でよく知られているものである。
図5(a)と同じ三次元CT画像および血管中心線データを用いて、L=20として設定し、本変形例により得られた画像を図5(c)に示す。同図では、その視線方向から見た大動脈全体の形状がよくわかるだけでなく、大動脈周辺の血管、臓器、骨もより把握しやすく描写できている。
また、厚みは一定でなくても差し支えない。例えば、視線方向に対し、曲断面から奥にある領域全体を投影してもよい。さらに、投影方法についても、最大値投影以外の投影方法でもよい。例えば、不透明度と色を使用して投影を行ういわゆるボリュームレンダリングなど、関心に応じて様々な投影方法を適用することが可能である。
(変形例2)
次に、本実施形態の他の変形例について説明する。本変形例は、視線方向を任意に変更可能なものである。
すなわち、視線データ変更部155は、マウスあるいはトラックボール等の入力部21による視線方向の変更指示(例えば、ポインタを所定方向に所定量移動させる等の指示)に基づいて視線の変化量を計算し、新たな視線データを作成する。
曲断面データ算出部17は、変更後の視線方向に基づいて、スクリーン座標上の曲断面データを算出する。また、三次元画像投影部157は、変更後の視線方向に基づいて、実空間内の曲断面を投影した投影画像を生成する。得られた投影画像は、画像表示部19に所定の形態にて表示される。
以上述べた一連の処理を繰り返すと、操作者が視線方向を変更するたびに、次々と曲断面画像が作成・表示されることになる。従って、操作者は、視線方向を変更するための入力部を操作するだけで、曲がった観察対象物の断面を様々な方向から観察することができる。なお、ステップS3において、変形例1と同じ投影処理を実行した場合には、曲断面を含む厚みを持った領域が投影されるのはいうまでもない。
以上述べた構成によれば、以下の効果を得ることができる。
本画像処理装置によれば、曲がりくねっている観察対象を含むスクリーン上の曲断面から実空間の曲断面を求め、当該実空間の曲断面上のデータ或いはその曲断面を含む厚みを持った領域を投影している。従って、曲がりくねっている観察対象の断面を平面に展開した画像として観察する従来の手法に比して、観察対象全体の形状を容易に把握することができる投影画像を提供することができる。
また、本画像処理装置によれば、曲がった観察対象に対して設定された位置データと視線方向のデータとから実空間の曲断面を算出し、これを投影することで、曲断面画像を生成する。この実空間の曲断面は、スクリーン座標系に変換された位置データから、視線方向に応じて、スクリーン上の各点の深さ方向の座標を利用して求めている。従って、観察者が三次元画像を眺めている方向と同じ方向から見た実空間の曲断面を用いて投影画像が作成されるため、三次元画像を眺めている方向と異なる方向からの画像が生成される従来に比して、曲がりくねっている観察対象を自然に観察できる投影画像を提供することができる。
また、本画像処理装置によれば、視線方向を変化させた場合には、新たな断面位置データを入力しなくても、変化後の視線方向から見た新たな実空間の曲断面が作成され、これを用いて投影画像が生成されることになる。これに対し、従来の手法では、視線方向を変化させた場合であっても、新たな断面位置データを入力しない限り、新たな断面画像は生成することができない。従って、従来と異なり、視線方向をどのように設定した場合であっても、曲がりくねっている観察対象を自然に観察できる投影画像を提供することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態に係る画像処理装置は、第1の実施形態で得られた曲断面を用いて、さらに血管内壁を映像化する機能(血管内壁可視化機能)を有するものである。以下、当該機能の内容およびこれに従う処理について、実施例に従って説明する。なお、以下説明の便宜上、図3のステップS2において取得される曲断面を、「第1種曲断面」と呼ぶこととする。また、第1種曲断面を利用して、血管内壁可視化機能に従う処理(血管内壁可視化処理)により生成される曲断面を、「第2種曲断面」と呼ぶことにする。
(実施例1)
実施例1は、第1種曲断面上に存在する血液領域を、当該血液領域から視線奥行き方向に向かって最初に出現する非血液領域と置き換えることで、第2種曲断面を生成するものである。
図8は、本実施例に係る血管内壁可視化処理の流れを示したフローチャートである。まず、同図に示すように、三次元画像内の観察対象物の位置を示す複数の位置データが入力され(ステップS1)、入力された複数の位置データと三次元画像に対する視線データとから、視線方向における第1種曲断面が計算される(ステップS2)。これらの処理については、第1の実施形態のものと同様である。
次に、曲断面データ算出部153は、所定の範囲内の値(血液と考えられる値)を持つボクセルが第1種曲断面上に存在するか否かを判定する(ステップS3a)。その結果、該当するボクセルが第1種曲断面上に存在しないと判定された場合には、三次元画像投影部157は、当該第1種曲断面上の三次元データを、視線データに基づいて二次元平面に投影することで、表示画像を生成する(ステップS7a)。この処理は、図3のステップS3における処理と同様である。
一方、所定の範囲内の値を持つボクセルが第1種曲断面上に存在すると判定された場合には、曲断面データ算出部153は、該当するボクセルを抽出することで、当該第1種曲断面上に存在する血液領域を特定する(ステップS4a)。
次に、曲断面データ算出部153は、血液領域内の各位置から視線奥行き方向に沿ってボクセル値を判定し、血液に対応しない値を有する最初のボクセルを特定することで、非血液領域(すなわち、血管内壁)を特定する(ステップS5(a))。さらに、曲断面データ算出部153は、第1種曲断面上の血液領域を特定された非血液領域と置き換えることで、血管内壁を含む第2種曲断面を生成する(ステップS6a)。
次に、三次元画像投影部157は、生成された第2種曲断面上の三次元データを、視線データに基づいて二次元平面に投影することで、表示画像を生成する(ステップS7a)。
(実施例2)
実施例2は、第1種曲断面より手前に存在するデータを取り除くクリッピング処理と共に、所定の範囲内の値(血液と考えられる値)を持つボクセルに0又は(組織に対して相対的に)低い透明度を割り当てたボリュームレンダリング処理を行うことで、血管内壁を積極的に映像化するものである。
図9は、本実施例に係る血管内壁可視化処理の流れを示したフローチャートである。まず、同図に示すように、三次元画像内の観察対象物の位置を示す複数の位置データが入力され(ステップS1)、入力された複数の位置データと三次元画像に対する視線データとから、視線方向における第1種曲断面が計算される(ステップS2)。これらの処理については、第1の実施形態のものと同様である。
次に、三次元画像投影部157は、第1種曲断面をクリッピング面とし、当該クリッピング面より手前にあるデータを取り除くクリッピング処理を行う(ステップS3b)。また、三次元画像投影部157は、クリッピングされたデータを用いて、図10に示すように血液に対応する値を持つボクセルに低い透明度(又は透明度0)を割り当てたボリュームレンダリング処理を実行する(ステップS4b)。これにより、血管内壁が可視化されたボリュームレンダリング画像を生成することができる。なお、血液に対応する値を持つボクセルに割り当てる不透明度は、任意の値に設定することができる。
(実施例3)
実施例3は、第1の実施形態において取得した血管中心線を利用して血管内壁を特定し、これと第1種曲断面上の血液領域とを置き換えることで、第2種曲断面を生成するものである。
図11は、本実施例に係る血管内壁可視化処理の流れを示したフローチャートである。まず、同図に示すように、三次元画像内の観察対象物の位置を示す複数の位置データが入力され(ステップS1)、入力された複数の位置データと三次元画像に対する視線データとから、視線方向における第1種曲断面が計算される(ステップS2)。これらの処理については、第1の実施形態のものと同様である。
次に、曲断面データ算出部153は、血液に対応する値を持つボクセルが第1種曲断面上に存在するか否かを判定する(ステップS3c)。その結果、該当するボクセルが第1種曲断面上に存在しないと判定された場合には、三次元画像投影部157は、当該第1種曲断面上の三次元データを、視線データに基づいて二次元平面に投影することで、表示画像を生成する(ステップS7c)。この処理は、図3のステップS3における処理と同様である。
一方、所定の範囲内の値を持つボクセルが第1種曲断面上に存在すると判定された場合には、曲断面データ算出部153は、該当するボクセルを抽出することで、当該第1種曲断面上に存在する血液領域を特定する(ステップS4c)。
次に、曲断面データ算出部153は、図12に示すように、血管中心線から動径方向に沿って全角度についてボクセル値を判定し、例えば図13に示すようにボクセル値が所定の閾値以上変化する最初のボクセルを角度毎に特定することで、非血液領域(すなわち、血管内壁)を特定する(ステップS5(c))。さらに、曲断面データ算出部153は、第1種曲断面上の血液領域を、当該血液領域から視線奥行き方向に沿ってより深い位置に存在する非血液領域と置き換えることで、血管内壁を含む第2種曲断面を生成する(ステップS6c)。
次に、三次元画像投影部157は、生成された第2種曲断面上の三次元データを、視線データに基づいて二次元平面に投影することで、表示画像を生成する(ステップS7c)。
なお、本実施例のステップS5(c)において、ボクセル値の変化率の代わりに、ボクセル値そのものを基準として血管内壁を特定するようにしてもよい。すなわち、血管中心線から全動径方向に沿ってボクセル値を判定し、血液に対応しない値を有する最初のボクセルを特定することで、血管内壁を特定することができる。
以上述べた各手法により生成された、血管内壁可視化画像は、表示部19において単独で、又は参照画像と共に例えば図14に示す形態にて表示される。ここで、参照画像とは、第1又は第2の実施形態に従う手法にて取得された表示画像と同一の対象を、同一視線方向から映像化したものである。典型的な例としては、同一対象に関する同一視線方向からのボリュームレンダリング画像を挙げることができる。この参照画像は、どの様なモダリティによって取得された画像であってもよい。また、図14の様な形態にて表示される場合には、例えば血管内壁可視化画像の視線方向、拡大率等を変更すると、これに同期して参照画像の視線方向、拡大率等も変更されることが好ましい。
また、表示部19は、血管内壁可視化画像を、図5(b)、5(c)に示すような血液が可視化された画像と共に表示するようにしてもよい。さらに、表示部19は、必要に応じて、血管内壁可視化画像、血液が可視化された画像、参照画像を同期させて同時に表示するようにしてもよい。
以上述べた構成によれば、以下の効果を得ることができる。
本画像処理装置によれば、あたかも図5(b)、5(c)に示す血管画像から血液を取り除いて血管内壁を出現させた血管内壁可視化画像を生成し表示することができる。従って、従来では観察することができなかった血管内壁を自由に観察することができ、医療行為の質の向上に寄与することができる。
また、血管内壁可視化画像は、参照画像と共に対応付けて表示することができる。従って、観察者は、参照画像によって診断部位全体を、血管内壁可視化画像によって細部を相互に関連付けながら観察することができる。さらに、第1の実施形態にて取得される画像と併用することで、目的に応じて血管内の血液有/無状態を自由に観察することができる。その結果、新たな診断情報を提供し得ると共に、診断情報選択の自由度を拡張することができる。
なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。具体的な変形例としては、例えば次のようなものがある。
上記各実施形態においては、例えば三次元CT画像に対する位置データの設定から曲断面の投影画像までの一連の処理を実行する画像処理装置を例に説明した。これに対し、例えば主記憶部13等に予め記憶されている位置データ、曲断面データ、視線データ等の少なくとも一つを利用して、曲断面の投影画像を生成する構成であってもよい。係る場合には、予め記憶されているデータを使用するため、観察者による入力作業等を省略することができ、また、所定のデータ生成処理動作を省略することができる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以上本発明によれば、曲がっている観察対象物の断面画像を生成する場合において、少ない作業負担でより有益な断面画像を生成可能な画像処理装置、医用画像診断装及び画像処理方法を実現することができる。
図1は、本実施形態に係る画像処理装置10のブロック構成図を示している。 図2は、画像処理部15の構成を示したブロック図である。 図3は、本画像処理装置10によって実行される曲断面画像生成処理の手順を示したフローチャートである。 図4は、スクリーン上の点SPx,yと(Sxi , Syi )との間の距離Diの一例を示した概念図である。 図5(a)、(b)は、大動脈を含む三次元CT画像に対して、本曲断面画像生成処理を実行して得られた結果を説明するための図である。図5(c)は、本実施形態の変形例1を説明するための図である。 図6は、観察対象物の断面表示手法であるC−MPRを説明するための概念図である。 図7は、観察対象物の断面表示手法であるC−PCを説明するための概念図である。 図8は、実施例1に係る血管内壁可視化処理の流れを示したフローチャートである。 図9は、実施例2に係る血管内壁可視化処理の流れを示したフローチャートである。 図10は、ボリュームレンダリングにおける不透明度の割り当てを説明するための図である。 図11は、実施例3に係る血管内壁可視化処理の流れを示したフローチャートである。 図12は、血管中心線を利用した非血液領域の特定手法について説明するための図である。 図13は、動径方向に沿ったボクセル値の変化を示した図である。 図14は、参照画像の表示形態の例を示した図である。
符号の説明
10…画像処理装置、11…制御部、13…主記憶部、14…外部記憶部、15…画像処理部、17…送受信部、19…表示部、21…入力部、15…画像処理部、31…入力部、151…三次元画像記憶部、152…位置データ記憶部、153…曲断面データ演算部、154…曲断面データ記憶部、155…視線データ変更部、156…視線データ記憶部、157…三次元画像投影部

Claims (21)

  1. 入力される観察対象物の三次元画像データ上において、当該観察対象物の位置を示す複数個の位置データを特定する位置データ特定部と、
    前記複数個の位置データと所望する視線方向のデータに基づいて、前記各位置データのスクリーン座標系に対応する深さに関する情報を求め、この深さに関する情報を用いて三次元空間での前記視線方向における第1の曲断面を算出する曲断面算出部と、
    前記第1の曲断面上の前記三次元画像データ又は前記第1の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成する投影画像生成部と、
    前記投影画像を表示する表示部と、
    を具備することを特徴とする画像処理装置。
  2. 前記曲断面算出部は、前記複数個の位置データとの距離に従って係数が変化する重み付けを用いて、前記第1の曲断面を算出することを特徴とする請求項1記載の画像処理装置。
  3. 前記曲断面算出部は、前記中間曲断面を三次元空間に逆変換することにより、前記視線方向における前記第1の曲断面を算出することを特徴とする請求項1又は2記載の画像処理装置。
  4. 前記視線データを変更する視線変更部をさらに具備し、
    前記曲断面算出部は、前記視線変更部により前記視線データが変更された場合には、変更後の前記視線方向のデータを用いて、前記第1の曲断面を算出すること、
    を特徴とする請求項1乃至3のうちいずれか一項記載の画像処理装置。
  5. 前記曲断面算出部は、
    前記三次元画像データを構成する各ボクセルの値に基づいて、前記第1の曲断面上に存在する血液領域と、当該血液領域から前記視線方向に沿って最初に出現する非血液領域とを特定し、
    前記第1の曲断面上に存在する前記血液領域と前記非血液領域とを置き換えることで、第2の曲断面を生成し、
    前記投影画像生成部は、前記第2の曲断面上の前記三次元画像データ又は前記第2の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで前記投影画像を生成すること、
    を特徴とする請求項1乃至3のうちいずれか一項記載の画像処理装置。
  6. 前記投影画像生成部は、
    前記観察対象物の三次元画像データから、前記第1の曲断面より手前に存在するデータを取り除くクリッピング処理を実行することで、クリッピングデータを生成し、
    前記クリッピングデータを用いて、血液に対応する値を有するボクセルについて、組織に対し相対的に低い不透明度を割り当てたボリュームレンダリングを実行することで、前記投影画像を生成すること、
    を特徴とする請求項1乃至3のうちいずれか一項記載の画像処理装置。
  7. 前記曲断面算出部は、
    前記複数個の位置データと前記三次元画像データを構成する各ボクセルの値の変化率とに基づいて、前記第1の曲断面上に存在する血液領域と、当該血液領域から前記視線方向に沿って最初に出現する非血液領域とを特定し、
    前記第1の曲断面上に存在する前記血液領域と前記非血液領域とを置き換えることで、第2の曲断面を生成し、
    前記投影画像生成部は、前記第2の曲断面上の前記三次元画像又は前記第2の曲断面を基準とした領域に関する三次元画像を、前記視線方向に沿って投影面に投影することで前記投影画像を生成すること、
    を特徴とする請求項1乃至3のうちいずれか一項記載の画像処理装置。
  8. 前記表示部は、前記投影画像を、前記観察対象物を前記視線方向から映像化した参照画像と対応付けて同時に表示することを特徴とする請求項1乃至7のうちいずれか一項記載の画像処理装置。
  9. 前記位置データは、血管中心線に関するデータであることを特徴とする請求項1乃至8のうちいずれか一項記載の画像処理装置。
  10. 観察対象の三次元画像データを取得する取得部と、
    前記三次元画像データ上において、当該観察対象物の位置を示す複数個の位置データを特定する位置データ特定部と、
    前記各位置データのスクリーン座標系における深さに関する情報を用いて前記スクリーン座標系における中間曲断面を算出し、前記中間局断面を用いて前記視線方向における第1の曲断面を算出する曲断面算出部と、
    前記第1の曲断面上の前記三次元画像データ又は前記第1の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成する投影画像生成部と、
    前記投影画像を表示する表示部と、
    を具備することを特徴とする医用画像診断装置。
  11. 前記曲断面算出部は、前記各位置データの前記視線方向に関する深さ情報を用いて、前記第1の曲断面を算出することを特徴とする請求項10記載の医用画像診断装置。
  12. 前記曲断面算出部は、前記複数個の位置データとの距離に従って係数が変化する重み付けを用いて、前記第1の曲断面を算出することを特徴とする請求項10又は11記載の医用画像診断装置。
  13. 前記曲断面算出部は、前記中間曲断面を三次元空間に逆変換することにより、前記視線方向における前記第1の曲断面を算出することを特徴とする請求項10乃至12のうちいずれか一項記載の医用画像診断装置。
  14. 前記視線データを変更する視線変更部をさらに具備し、
    前記曲断面算出部は、前記視線変更部により前記視線方向のデータが変更された場合には、変更後の前記視線データを用いて、前記第1の曲断面を算出すること、
    を特徴とする請求項10乃至13のうちいずれか一項記載の医用画像診断装置。
  15. 前記曲断面算出部は、
    前記三次元画像データを構成する各ボクセルの値に基づいて、前記第1の曲断面上に存在する血液領域と、当該血液領域から前記視線方向に沿って最初に出現する非血液領域とを特定し、
    前記第1の曲断面上に存在する前記血液領域と前記非血液領域とを置き換えることで、第2の曲断面を生成し、
    前記投影画像生成部は、前記第2の曲断面上の前記三次元画像データ又は前記第2の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで前記投影画像を生成すること、
    を特徴とする請求項10乃至13のうちいずれか一項記載の医用画像診断装置。
  16. 前記投影画像生成部は、
    前記観察対象物の三次元画像データから、前記第1の曲断面より手前に存在するデータを取り除くクリッピング処理を実行することで、クリッピングデータを生成し、
    前記クリッピングデータを用いて、血液に対応する値を有するボクセルについて、組織に対し相対的に低い不透明度を割り当てたボリュームレンダリングを実行することで、前記投影画像を生成すること、
    を特徴とする請求項10乃至13のうちいずれか一項記載の医用画像診断装置。
  17. 前記曲断面算出部は、
    前記複数個の位置データと前記三次元画像データを構成する各ボクセルの値の変化率とに基づいて、前記第1の曲断面上に存在する血液領域と、当該血液領域から前記視線方向に沿って最初に出現する非血液領域とを特定し、
    前記第1の曲断面上に存在する前記血液領域と前記非血液領域とを置き換えることで、第2の曲断面を生成し、
    前記投影画像生成部は、前記第2の曲断面上の前記三次元画像又は前記第2の曲断面を基準とした領域に関する三次元画像を、前記視線方向に沿って投影面に投影することで前記投影画像を生成すること、
    を特徴とする請求項10乃至13のうちいずれか一項記載の医用画像診断装置。
  18. 前記表示部は、前記投影画像を、前記観察対象物を前記視線方向から映像化した参照画像と対応付けて同時に表示することを特徴とする請求項10乃至17のうちいずれか一項記載の医用画像診断装置。
  19. 前記位置データは、血管中心線に関するデータであることを特徴とする請求項10乃至18のうちいずれか一項記載の医用画像診断装置。
  20. 入力される観察対象物の三次元画像データ上において、当該観察対象物の位置を示す複数個の位置データを特定し、
    前記複数個の位置データと所望する視線方向のデータに基づいて、前記各位置データのスクリーン座標系に対応する深さに関する情報を求め、この深さに関する情報を用いて三次元空間での前記視線方向における第1の曲断面を算出し、
    前記第1の曲断面上の前記三次元画像データ又は前記第1の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成し、
    前記投影画像を表示すること、
    を特徴とする具備する画像処理方法。
  21. 前記三次元画像データを構成する各ボクセルの値に基づいて、前記第1の曲断面上に存在する血液領域と、当該血液領域から前記視線方向に沿って最初に出現する非血液領域とを特定し、
    前記第1の曲断面上に存在する前記血液領域と前記非血液領域とを置き換えることで、第2の曲断面を生成し、
    前記第2の曲断面上の前記三次元画像データ又は前記第2の曲断面を基準とした領域に関する三次元画像データを、前記視線方向に沿って投影面に投影することで投影画像を生成すること、
    をさらに具備することを特徴とする請求項20記載の画像処理方法。
JP2005261020A 2004-09-30 2005-09-08 画像処理装置、医用画像診断装置及び画像処理方法 Active JP4896470B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005261020A JP4896470B2 (ja) 2004-09-30 2005-09-08 画像処理装置、医用画像診断装置及び画像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004287280 2004-09-30
JP2004287280 2004-09-30
JP2005261020A JP4896470B2 (ja) 2004-09-30 2005-09-08 画像処理装置、医用画像診断装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2006122663A JP2006122663A (ja) 2006-05-18
JP4896470B2 true JP4896470B2 (ja) 2012-03-14

Family

ID=36717925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005261020A Active JP4896470B2 (ja) 2004-09-30 2005-09-08 画像処理装置、医用画像診断装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP4896470B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11402198B2 (en) 2019-06-19 2022-08-02 Ricoh Company, Ltd. Information processing device, biological information measurement device, and computer-readable medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008000261A (ja) * 2006-06-21 2008-01-10 Aze Ltd 管腔状組織の観察用画像作成方法、装置およびプログラム
US8320711B2 (en) * 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
JP5652994B2 (ja) * 2008-09-26 2015-01-14 株式会社東芝 X線診断装置
JP6815761B2 (ja) * 2016-06-17 2021-01-20 株式会社東芝 3次元表示装置、該3次元表示装置に適用される3次元表示方法およびプログラム
BR112019005855A2 (pt) * 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
JP7155231B2 (ja) * 2020-12-21 2022-10-18 株式会社東芝 表示装置、該表示装置に適用される表示方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05266214A (ja) * 1992-03-17 1993-10-15 Hitachi Ltd 画像表示方法
JP4318799B2 (ja) * 1999-06-29 2009-08-26 株式会社日立メディコ 画像表示装置
JP2003260052A (ja) * 2002-03-08 2003-09-16 Hitachi Medical Corp 画像診断支援装置
DE10254908B4 (de) * 2002-11-25 2006-11-30 Siemens Ag Verfahren zum Herstellen eines Bildes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11402198B2 (en) 2019-06-19 2022-08-02 Ricoh Company, Ltd. Information processing device, biological information measurement device, and computer-readable medium

Also Published As

Publication number Publication date
JP2006122663A (ja) 2006-05-18

Similar Documents

Publication Publication Date Title
US7463262B2 (en) Image processing apparatus and method
JP4267598B2 (ja) 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
JP4335817B2 (ja) 関心領域指定方法、関心領域指定プログラム、関心領域指定装置
JP5318877B2 (ja) データセットのボリュームレンダリングのための方法及び装置
JP4891541B2 (ja) 血管狭窄率解析システム
JP4709177B2 (ja) 三次元画像処理装置および方法並びにプログラム
JP4896470B2 (ja) 画像処理装置、医用画像診断装置及び画像処理方法
JP5566370B2 (ja) 医用画像処理装置及び方法
JP2009034521A (ja) 医学的な画像診断におけるデータを体積レンダリングするシステムと方法ならびにコンピュータ読み出し可能記憶媒体
JP2006055213A (ja) 画像処理装置、及びプログラム
JP5815513B2 (ja) 画像処理装置及び画像処理方法
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
JP4885042B2 (ja) 画像処理方法および装置ならびにプログラム
JP6201255B2 (ja) 医用画像処理システムおよび医用画像処理プログラム
JP4018679B2 (ja) レンダリング処理方法、レンダリング処理プログラム、レンダリング処理装置
Bornik et al. Computer-aided liver surgery planning: an augmented reality approach
JP4122314B2 (ja) 投影画像処理方法、投影画像処理プログラム、投影画像処理装置
JP2006000127A (ja) 画像処理方法および装置並びにプログラム
JP2006075216A (ja) 医用画像処理システム、医用画像処理プログラムおよび医用画像処理方法
JP2010131315A (ja) 医用画像処理装置及び医用画像処理プログラム
US20060103678A1 (en) Method and system for interactive visualization of locally oriented structures
JP5065740B2 (ja) 画像処理方法および装置並びにプログラム
JP5305635B2 (ja) 医用画像表示装置
JP2008067915A (ja) 医用画像表示装置
JP2006178772A (ja) 画像処理方法および装置並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111221

R150 Certificate of patent or registration of utility model

Ref document number: 4896470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350