JP2004057411A - 医療用可視画像の生成方法 - Google Patents
医療用可視画像の生成方法 Download PDFInfo
- Publication number
- JP2004057411A JP2004057411A JP2002218952A JP2002218952A JP2004057411A JP 2004057411 A JP2004057411 A JP 2004057411A JP 2002218952 A JP2002218952 A JP 2002218952A JP 2002218952 A JP2002218952 A JP 2002218952A JP 2004057411 A JP2004057411 A JP 2004057411A
- Authority
- JP
- Japan
- Prior art keywords
- opacity
- chromaticity
- visible image
- value
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000003745 diagnosis Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000005855 radiation Effects 0.000 abstract description 2
- 238000003325 tomography Methods 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 abstract 1
- 238000002591 computed tomography Methods 0.000 description 27
- 210000001519 tissue Anatomy 0.000 description 13
- 210000001015 abdomen Anatomy 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
【課題】放射線医療診断システムにより断層撮影して得られた画像データ値に基づき、生体組織間の微妙な色感や不透明感を表現しつつ、相異なる生体組織を明確に区別することが可能な可視画像を生成し得るようにする。
【解決手段】得られたＣＴ値の値域を、ＣＴ値の分布を参考にして複数の小区間Ａ１，Ａ２に分割し、この小区間Ａ１，Ａ２内に補間区間Ｂを設定する。この補間区間Ｂ内において、ＣＴ値に対応する色度および不透明度が連続的に変化するように色度関数および不透明度関数を設定し、小区間Ａ１，Ａ２のＣＴ値に対応する色度および不透明度を決定する。２次元平面上の各平面座標点と、視点とを結ぶ各視線上に位置する全ての空間座標点毎の色度および不透明度を、視線毎に互いに積算し、この積算値を各視線上の平面座標点に反映させて可視画像を生成する。
【選択図】 図２
【解決手段】得られたＣＴ値の値域を、ＣＴ値の分布を参考にして複数の小区間Ａ１，Ａ２に分割し、この小区間Ａ１，Ａ２内に補間区間Ｂを設定する。この補間区間Ｂ内において、ＣＴ値に対応する色度および不透明度が連続的に変化するように色度関数および不透明度関数を設定し、小区間Ａ１，Ａ２のＣＴ値に対応する色度および不透明度を決定する。２次元平面上の各平面座標点と、視点とを結ぶ各視線上に位置する全ての空間座標点毎の色度および不透明度を、視線毎に互いに積算し、この積算値を各視線上の平面座標点に反映させて可視画像を生成する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、核医学、ＣＲ（ｃｏｍｐｕｔｅｄ ｒａｄｉｏｇｒａｐｈｙ）、ＤＳＡ（ｄｉｇｉｔａｌ ｓｕｂｔｒａｃｔｉｏｎ ａｎｇｉｏｇｒａｐｈｙ）、ＤＲ（ｒｅａｌ−ｔｉｍｅ ｒａｄｉｏｇｒａｐｈｙ）等の放射線診断システムを用いて断層撮影された医療用画像から得られたＣＴ値等の画像データ値に基づき、肝臓、膵臓などの臓器や血管および腫瘍等の複数種の生体組織を含む腹部や頭部等の被観察領域の可視画像を、ＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）処理等を用いて生成する医療用可視画像の生成方法に関するものである。
【０００２】
【従来の技術】
近年、腹部等の被観察領域をＣＴ等の放射線医療診断システムにより断層撮影して得られた医療用画像から、被観察領域を見やすく可視化した可視画像を生成して、この可視画像を対患者や学術用としての説明に使用したり、手術計画を立てたりするなどの様々な目的で使用したいという需要が高まっている。
【０００３】
従来、ＣＧ処理により、このような可視画像を生成するための手法として、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）法と称される手法が知られている。このボリュームレンダリング法を用いた医療用可視画像の生成方法では、まず、断層撮影領域に対応した３次元空間の各空間座標点を構成するボクセルを用いて、被観察領域を断層撮影して得られたＣＴ値等の画像データ値の空間分布を表す。次に、投影用の２次元平面の各平面座標点を構成する画素（ピクセル）と視点（投影中心）とを結ぶ視線を想定し、各視線上に位置する各ボクセルの画像データ値に基づき、ボクセル毎にその色度（どのような色を持たせるかの度合）および不透明度（どの程度透けて見えるかの度合）を決める。そして、各視線上に位置する各ボクセルに対して決められた色度および不透明度を視線毎に互いに積算し、この積算値を各視線上に位置する２次元平面の画素に反映させて、被観察領域の２次元可視画像を生成する。
【０００４】
【発明が解決しようとする課題】
ところで、上述した従来の医療用可視画像の生成方法では、断層撮影により得られた画像データ値が、生体組織毎に特有の分布状態を有することを利用して、得られた全画像データ値の分布（ヒストグラム）に基づき、画像データ値の値域を複数の小区間に分割し、各小区間内の画像データ値を有する各空間座標点に対して小区間毎に、各小区間内で一定の値をとる一定値の色度および不透明度を設定していた。
【０００５】
しかし、このような色度および不透明度の設定方法には、次のような問題がある。すなわち、図５（Ａ）に示す骨と軟組織のように、画像データ値（ＣＴ値）の差が互いに大きい生体組織間の場合は、ＣＴ値の違いによって両者を完全に分割することができるので、同図（Ｂ）に示すように、各小区間毎に一定値の色度および不透明度を設定しても、両組織の違いを認識できるような可視化が可能であるが、図６（Ａ）に示す軟組織と血管のように、ＣＴ値の差が互いに小さい生体組織間の場合は、ＣＴ値の違いによって両者を完全に分別することができない。このため、例えば同図（Ｂ）に示すように、両者の分布が互いに重なる位置において両者を分別するような小区間を設定した上で、各小区間にそれぞれ一定値の色度および不透明度を設定していたが、このような方法では両組織の違いを明確に認識できるような可視化が困難であった。
【０００６】
また、従来方法では、各視線上に位置するボクセル毎の色度および不透明度を互いに積算する演算過程の高速化を図るため、一部のボクセルに関するデータを間引いて演算を行なっていた。このため、可視化した画像において、生体組織間の微妙な色感や不透明感を表現することができなかった。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、放射線医療診断システムにより断層撮影して得られた画像データ値に基づき、生体組織間の微妙な色感や不透明感を表現しつつ、相異なる生体組織を明確に区別することが可能な可視画像を生成し得る医療用可視画像の生成方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明の医療用可視画像の生成方法は、複数種の生体組織が含まれた被観察領域を放射線医療診断システムにより断層撮影して得られた、３次元空間上の各空間座標点に対応した画像データ値の分布に基づき、該画像データ値の値域を複数の小区間に分割し、該小区間毎に、該各小区間内の前記画像データ値に基づき、対応する前記空間座標点毎の色度および不透明度を設定し、この設定された前記空間座標点毎の前記色度および前記不透明度に基づき、前記被観察領域が２次元平面上に投影されてなる可視画像を生成する医療用可視画像の生成方法において、前記２次元平面上の各平面座標点と視点とを結ぶ各視線上に位置する全ての前記空間座標点毎の前記色度および前記不透明度を該視線毎に互いに積算し、該積算値を該各視線上の前記平面座標点に反映させると共に、前記小区間内に補間区間を設定し、該小区間において設定される前記色度および前記不透明度を、該補間区間において前記画像データ値の大きさに応じて連続的に変化させることを特徴とするものである。
【０００９】
上記「生体組織」とは、肝臓、肺等の内臓や、心臓、血管等の循環器、脳等の神経系などの動物の器官、骨組織および腫瘍等の病変部等を指す。
本発明の医療用可視画像の生成方法において、前記補間区間における前記不透明度の変化状態を調整するための調整感度を、該不透明度が小さい範囲の方が大きい範囲よりも大とすることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照しながら説明する。図１は本発明の一実施形態に係る医療用可視画像の生成方法における画像データ値の処理手順の概要を示す図、図２は画像データ値の値域内に設定された小区間における色度と不透明度の設定手順の概要を示す図である。なお、以下の説明では、肝臓等の臓器や血管、骨等の複数種の生体組織を含んだ腹部を、ＣＴ装置により断層撮影して得られたＣＴ値に基づいて、その可視画像を生成する場合を例にとって説明する。
【００１１】
図１に示すように本実施形態方法では、まず、断層撮影領域に対応した３次元空間Ｋ３の各空間座標点を構成するボクセルを用いて、ＣＴ装置により得られた腹部のＣＴ値（画像データ値）の空間分布を表す。
【００１２】
次に、得られたＣＴ値の値域を、ＣＴ値の頻度分布（２次元ヒストグラム）を参考にして複数の小区間に分割し、この小区間毎に、各小区間内のＣＴ値に対応する色度（Ｒ，Ｇ，Ｂそれぞれ０〜２５５の範囲内の値をとる）および不透明度（０〜１の範囲内の値をとる）を設定する。このとき従来方法では、小区間毎に各区間内で一定の値をとる一定値の色度および不透明度を設定するが、本実施形態方法では、以下の手順により色度および不透明度を設定する。
【００１３】
図２に示すようにＣＴ値の値域内に、境界線Ｌによって互いに隔てられた小区間Ａ１と小区間Ａ２が設定された場合を例にとって説明する。まず、小区間Ａ１，Ａ２の基準色度Ｃ１，Ｃ２と基準不透明度Ｄ１，Ｄ２とをそれぞれ設定する。図２に示す例では、小区間Ａ１の基準不透明度Ｄ１を０に、小区間Ａ２の基準不透明度Ｄ２を１に設定した場合を示している。次に、境界線Ｌと重なる位置に補間区間Ｂを設定し、この補間区間Ｂ内における色度および不透明度を決定するための、ＣＴ値と色度との関係を定める色度関数およびＣＴ値と不透明度との関係を定める不透明度関数とを設定する。図２に示す例では、色度関数に関しては基準色度Ｃ１とＣ２との間を線形的に補間する比例関数が設定され、不透明度関数に関しては基準不透明度Ｄ１とＤ２との間を線形的に補間する比例関数が設定された場合を示している。
【００１４】
この補間区間Ｂの設定に際しては、まず、境界線Ｌから左右方向に、それぞれどの程度離れた位置まで補間の対象区間とするかを決める。図２に示す例では、小区間Ａ１の区間幅の約半分に相当する距離ｄ１と、小区間Ａ２の区間幅の約半分に相当する距離ｄ２との分、それぞれの側に離れた区間を補間の対象区間とした場合を示している。次に、この対象区間内のうちのどの範囲で補間するのかを決定する。なお、補間の対象区間および対象区間内の補間範囲の決定は、小区間Ａ１，Ａ２内のＣＴ値の分布Ｅ１，Ｅ２等を参考にして行なう。
【００１５】
この対象区間内の補間範囲を算出するために、対象区間の幅に乗ずる数値のことを鮮明度（０〜１の値をとる）と称することにすると、この鮮明度を０にした場合は、小区間内で色度と不透明度が変化しない従来方法と同様の設定となる。一方、この鮮明度を１に設定した場合には、上記対象区間の全区間において線形補間を行なうことになり、さらに上記対象区間を小区間Ａ１と小区間Ａ２の全区間に設定した場合には、小区間Ａ１と小区間Ａ２の全区間において補間が行われることになる。なお、図２では、鮮明度を０．８に設定した例を示している。このような色度および不透明度の設定手順を、得られたＣＴ値の値域全体において実施して、小区間毎に、ＣＴ値に対応するボクセルの色度および不透明度を決定する。
【００１６】
各ボクセルの色度および不透明度を決定した後、図１に示すように、投影用の２次元平面（可視化面）Ｋ２（例えば、ＣＣＤ等の撮像平面やディスプレイ等の画像平面）の各平面座標点を表す画素（ピクセル）と視点（投影中心）１０とを結ぶ視線１２を想定する。そして、各視線１２上に位置する全ボクセルの各々の色度および不透明度を、アルファブレンディングルールと称される下式（１）の計算式に基づき視線１２毎に互いに積算し、ボリュームレンダリング法により、この積算値を各視線１２上に位置する２次元平面Ｋ２の各画素に反映させて、被観察領域としての腹部の２次元可視画像を生成する。
【００１７】
【数１】
【００１８】
図３に本実施形態方法により生成された腹部の可視画像の一例を比較例と共に示す。同図（Ａ）に示されているのが、本実施形態方法により生成された可視画像であり、同図（Ｂ）に示されているのが、従来方法と同様に、各小区間の境界において段階的に色度および不透明度を変化させ、各小区間内においては色度および不透明度を一定の値に設定するようにして生成された可視画像である。
【００１９】
図３に示すように、本実施形態方法により生成された可視画像においては、肝臓領域を薄く可視化しながら、内部の血管も描写しつつ両者を明確に分別して認識することが可能であり、また比較例と比べて微妙な色変化を表現できているなど、高品質な画像が得られることが確かめられた。
【００２０】
また、本実施形態方法では、コンピュータのディスプレイ画面上に、色度関数や不透明度関数を表す曲線（直線）を、ＣＴ値に対する色度および不透明度の数値と共に表示して、医師等のユーザ側が表示された関数曲線をペンタッチ等により変化させて、これらの調整を行なえるようにしている。特に、ＣＴ値に対する不透明度の数値表示に関しては、不透明度を直接表示せずに、下式（２）の補正関数を通した値を表示するようにしている。
【００２１】
【数２】
【００２２】
このような表示方法をとることにより、０〜１の範囲の値をとる不透明度においては、図４に示すように、不透明度の数値をそのまま表示する場合（図４に示すｆ（ｘ）＝ｘの場合）に比べて、０に近い値の調整レンジ（縦軸方向のレンジ）が広まる。これにより、不透明度の調整感度が、不透明度が小さい範囲で大きい範囲よりも大となり、調整が行ない易くなっている。このため、ユーザによる調整においても、不透明度の微妙な変化を付けることが可能となり、その結果、生成される可視画像においても微妙な色の変化を表現できるようになる。
【００２３】
なお、本発明の医療用可視画像の生成方法は、上記実施形態のものに限られるものではなく、種々の態様の変更が可能である。
例えば、上記実施形態では、補間区間における色度関数および不透明度関数を直線的なものとして説明しているが、これらの関数には対数関数等の種々の関数を適宜用いることが可能である。
【００２４】
また、上記実施形態では、腹部の医療用可視画像を生成する場合を説明しているが、被観察領域としては頭部や肺部等の他の生体部位であってもよい。
さらに、本発明は、ＣＴ装置のみならず、ＭＲＩ、核医学、ＣＲ、ＤＳＡ、ＤＲ等の放射線診断システムを用いて撮像した医療用の画像や、これらのシステムを組み合わせて撮像された画像に対しても同様に適用可能である。
【００２５】
【発明の効果】
以上詳細に説明したように、本発明の医療用可視画像の生成方法によれば、被観察領域を放射線医療診断システムにより断層撮影して得られた、３次元空間上の各空間座標点に対応した画像データ値の分布に基づき、画像データ値の値域内に設定された小区間内に補間区間を設けて、空間座標点毎の色度および不透明度が、この補間区間において画像データ値の大きさに応じて連続的に変化するように設定している。また、可視画像を生成する２次元平面上の各平面座標点と視点とを結ぶ各視線上に位置する全ての空間座標点毎の色度および不透明度を視線毎に互いに積算し、この積算値を各視線上の平面座標点に反映させるようにしている。このような構成をとることにより、被観察領域内の生体組織間の微妙な色感や不透明感を表現しつつ、相異なる生体組織を明確に区別し得る可視画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態方法における画像データ値の処理手順の概要を示す図
【図２】設定された小区間における色度と不透明度の設定手順の概要を示す図
【図３】本発明方法により生成された腹部の可視画像の一例を比較例と共に示す図
【図４】ＣＴ値に対する不透明度の値を表示する関数を比較例の関数と共に示す図
【図５】従来技術における小区間内での色度および不透明度の設定手順を示す図
【図６】従来技術における小区間内での色度および不透明度の他の設定手順を示す図
【符号の説明】
１０ 視点
１２ 視線
Ａ１，Ａ２ 小区間
Ｂ 補間区間
Ｃ１，Ｃ２ 基準色度
Ｄ１，Ｄ２ 基準不透明度
Ｅ１，Ｅ２ ＣＴ値の分布（ヒストグラム）
Ｋ２ ２次元平面
Ｋ３ ３次元空間
Ｌ 境界線
ｄ１，ｄ２ 対象区間の境界線からの距離
【発明の属する技術分野】
本発明は、ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、核医学、ＣＲ（ｃｏｍｐｕｔｅｄ ｒａｄｉｏｇｒａｐｈｙ）、ＤＳＡ（ｄｉｇｉｔａｌ ｓｕｂｔｒａｃｔｉｏｎ ａｎｇｉｏｇｒａｐｈｙ）、ＤＲ（ｒｅａｌ−ｔｉｍｅ ｒａｄｉｏｇｒａｐｈｙ）等の放射線診断システムを用いて断層撮影された医療用画像から得られたＣＴ値等の画像データ値に基づき、肝臓、膵臓などの臓器や血管および腫瘍等の複数種の生体組織を含む腹部や頭部等の被観察領域の可視画像を、ＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）処理等を用いて生成する医療用可視画像の生成方法に関するものである。
【０００２】
【従来の技術】
近年、腹部等の被観察領域をＣＴ等の放射線医療診断システムにより断層撮影して得られた医療用画像から、被観察領域を見やすく可視化した可視画像を生成して、この可視画像を対患者や学術用としての説明に使用したり、手術計画を立てたりするなどの様々な目的で使用したいという需要が高まっている。
【０００３】
従来、ＣＧ処理により、このような可視画像を生成するための手法として、ボリュームレンダリング（ｖｏｌｕｍｅ ｒｅｎｄｅｒｉｎｇ）法と称される手法が知られている。このボリュームレンダリング法を用いた医療用可視画像の生成方法では、まず、断層撮影領域に対応した３次元空間の各空間座標点を構成するボクセルを用いて、被観察領域を断層撮影して得られたＣＴ値等の画像データ値の空間分布を表す。次に、投影用の２次元平面の各平面座標点を構成する画素（ピクセル）と視点（投影中心）とを結ぶ視線を想定し、各視線上に位置する各ボクセルの画像データ値に基づき、ボクセル毎にその色度（どのような色を持たせるかの度合）および不透明度（どの程度透けて見えるかの度合）を決める。そして、各視線上に位置する各ボクセルに対して決められた色度および不透明度を視線毎に互いに積算し、この積算値を各視線上に位置する２次元平面の画素に反映させて、被観察領域の２次元可視画像を生成する。
【０００４】
【発明が解決しようとする課題】
ところで、上述した従来の医療用可視画像の生成方法では、断層撮影により得られた画像データ値が、生体組織毎に特有の分布状態を有することを利用して、得られた全画像データ値の分布（ヒストグラム）に基づき、画像データ値の値域を複数の小区間に分割し、各小区間内の画像データ値を有する各空間座標点に対して小区間毎に、各小区間内で一定の値をとる一定値の色度および不透明度を設定していた。
【０００５】
しかし、このような色度および不透明度の設定方法には、次のような問題がある。すなわち、図５（Ａ）に示す骨と軟組織のように、画像データ値（ＣＴ値）の差が互いに大きい生体組織間の場合は、ＣＴ値の違いによって両者を完全に分割することができるので、同図（Ｂ）に示すように、各小区間毎に一定値の色度および不透明度を設定しても、両組織の違いを認識できるような可視化が可能であるが、図６（Ａ）に示す軟組織と血管のように、ＣＴ値の差が互いに小さい生体組織間の場合は、ＣＴ値の違いによって両者を完全に分別することができない。このため、例えば同図（Ｂ）に示すように、両者の分布が互いに重なる位置において両者を分別するような小区間を設定した上で、各小区間にそれぞれ一定値の色度および不透明度を設定していたが、このような方法では両組織の違いを明確に認識できるような可視化が困難であった。
【０００６】
また、従来方法では、各視線上に位置するボクセル毎の色度および不透明度を互いに積算する演算過程の高速化を図るため、一部のボクセルに関するデータを間引いて演算を行なっていた。このため、可視化した画像において、生体組織間の微妙な色感や不透明感を表現することができなかった。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、放射線医療診断システムにより断層撮影して得られた画像データ値に基づき、生体組織間の微妙な色感や不透明感を表現しつつ、相異なる生体組織を明確に区別することが可能な可視画像を生成し得る医療用可視画像の生成方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明の医療用可視画像の生成方法は、複数種の生体組織が含まれた被観察領域を放射線医療診断システムにより断層撮影して得られた、３次元空間上の各空間座標点に対応した画像データ値の分布に基づき、該画像データ値の値域を複数の小区間に分割し、該小区間毎に、該各小区間内の前記画像データ値に基づき、対応する前記空間座標点毎の色度および不透明度を設定し、この設定された前記空間座標点毎の前記色度および前記不透明度に基づき、前記被観察領域が２次元平面上に投影されてなる可視画像を生成する医療用可視画像の生成方法において、前記２次元平面上の各平面座標点と視点とを結ぶ各視線上に位置する全ての前記空間座標点毎の前記色度および前記不透明度を該視線毎に互いに積算し、該積算値を該各視線上の前記平面座標点に反映させると共に、前記小区間内に補間区間を設定し、該小区間において設定される前記色度および前記不透明度を、該補間区間において前記画像データ値の大きさに応じて連続的に変化させることを特徴とするものである。
【０００９】
上記「生体組織」とは、肝臓、肺等の内臓や、心臓、血管等の循環器、脳等の神経系などの動物の器官、骨組織および腫瘍等の病変部等を指す。
本発明の医療用可視画像の生成方法において、前記補間区間における前記不透明度の変化状態を調整するための調整感度を、該不透明度が小さい範囲の方が大きい範囲よりも大とすることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照しながら説明する。図１は本発明の一実施形態に係る医療用可視画像の生成方法における画像データ値の処理手順の概要を示す図、図２は画像データ値の値域内に設定された小区間における色度と不透明度の設定手順の概要を示す図である。なお、以下の説明では、肝臓等の臓器や血管、骨等の複数種の生体組織を含んだ腹部を、ＣＴ装置により断層撮影して得られたＣＴ値に基づいて、その可視画像を生成する場合を例にとって説明する。
【００１１】
図１に示すように本実施形態方法では、まず、断層撮影領域に対応した３次元空間Ｋ３の各空間座標点を構成するボクセルを用いて、ＣＴ装置により得られた腹部のＣＴ値（画像データ値）の空間分布を表す。
【００１２】
次に、得られたＣＴ値の値域を、ＣＴ値の頻度分布（２次元ヒストグラム）を参考にして複数の小区間に分割し、この小区間毎に、各小区間内のＣＴ値に対応する色度（Ｒ，Ｇ，Ｂそれぞれ０〜２５５の範囲内の値をとる）および不透明度（０〜１の範囲内の値をとる）を設定する。このとき従来方法では、小区間毎に各区間内で一定の値をとる一定値の色度および不透明度を設定するが、本実施形態方法では、以下の手順により色度および不透明度を設定する。
【００１３】
図２に示すようにＣＴ値の値域内に、境界線Ｌによって互いに隔てられた小区間Ａ１と小区間Ａ２が設定された場合を例にとって説明する。まず、小区間Ａ１，Ａ２の基準色度Ｃ１，Ｃ２と基準不透明度Ｄ１，Ｄ２とをそれぞれ設定する。図２に示す例では、小区間Ａ１の基準不透明度Ｄ１を０に、小区間Ａ２の基準不透明度Ｄ２を１に設定した場合を示している。次に、境界線Ｌと重なる位置に補間区間Ｂを設定し、この補間区間Ｂ内における色度および不透明度を決定するための、ＣＴ値と色度との関係を定める色度関数およびＣＴ値と不透明度との関係を定める不透明度関数とを設定する。図２に示す例では、色度関数に関しては基準色度Ｃ１とＣ２との間を線形的に補間する比例関数が設定され、不透明度関数に関しては基準不透明度Ｄ１とＤ２との間を線形的に補間する比例関数が設定された場合を示している。
【００１４】
この補間区間Ｂの設定に際しては、まず、境界線Ｌから左右方向に、それぞれどの程度離れた位置まで補間の対象区間とするかを決める。図２に示す例では、小区間Ａ１の区間幅の約半分に相当する距離ｄ１と、小区間Ａ２の区間幅の約半分に相当する距離ｄ２との分、それぞれの側に離れた区間を補間の対象区間とした場合を示している。次に、この対象区間内のうちのどの範囲で補間するのかを決定する。なお、補間の対象区間および対象区間内の補間範囲の決定は、小区間Ａ１，Ａ２内のＣＴ値の分布Ｅ１，Ｅ２等を参考にして行なう。
【００１５】
この対象区間内の補間範囲を算出するために、対象区間の幅に乗ずる数値のことを鮮明度（０〜１の値をとる）と称することにすると、この鮮明度を０にした場合は、小区間内で色度と不透明度が変化しない従来方法と同様の設定となる。一方、この鮮明度を１に設定した場合には、上記対象区間の全区間において線形補間を行なうことになり、さらに上記対象区間を小区間Ａ１と小区間Ａ２の全区間に設定した場合には、小区間Ａ１と小区間Ａ２の全区間において補間が行われることになる。なお、図２では、鮮明度を０．８に設定した例を示している。このような色度および不透明度の設定手順を、得られたＣＴ値の値域全体において実施して、小区間毎に、ＣＴ値に対応するボクセルの色度および不透明度を決定する。
【００１６】
各ボクセルの色度および不透明度を決定した後、図１に示すように、投影用の２次元平面（可視化面）Ｋ２（例えば、ＣＣＤ等の撮像平面やディスプレイ等の画像平面）の各平面座標点を表す画素（ピクセル）と視点（投影中心）１０とを結ぶ視線１２を想定する。そして、各視線１２上に位置する全ボクセルの各々の色度および不透明度を、アルファブレンディングルールと称される下式（１）の計算式に基づき視線１２毎に互いに積算し、ボリュームレンダリング法により、この積算値を各視線１２上に位置する２次元平面Ｋ２の各画素に反映させて、被観察領域としての腹部の２次元可視画像を生成する。
【００１７】
【数１】
図３に本実施形態方法により生成された腹部の可視画像の一例を比較例と共に示す。同図（Ａ）に示されているのが、本実施形態方法により生成された可視画像であり、同図（Ｂ）に示されているのが、従来方法と同様に、各小区間の境界において段階的に色度および不透明度を変化させ、各小区間内においては色度および不透明度を一定の値に設定するようにして生成された可視画像である。
【００１９】
図３に示すように、本実施形態方法により生成された可視画像においては、肝臓領域を薄く可視化しながら、内部の血管も描写しつつ両者を明確に分別して認識することが可能であり、また比較例と比べて微妙な色変化を表現できているなど、高品質な画像が得られることが確かめられた。
【００２０】
また、本実施形態方法では、コンピュータのディスプレイ画面上に、色度関数や不透明度関数を表す曲線（直線）を、ＣＴ値に対する色度および不透明度の数値と共に表示して、医師等のユーザ側が表示された関数曲線をペンタッチ等により変化させて、これらの調整を行なえるようにしている。特に、ＣＴ値に対する不透明度の数値表示に関しては、不透明度を直接表示せずに、下式（２）の補正関数を通した値を表示するようにしている。
【００２１】
【数２】
このような表示方法をとることにより、０〜１の範囲の値をとる不透明度においては、図４に示すように、不透明度の数値をそのまま表示する場合（図４に示すｆ（ｘ）＝ｘの場合）に比べて、０に近い値の調整レンジ（縦軸方向のレンジ）が広まる。これにより、不透明度の調整感度が、不透明度が小さい範囲で大きい範囲よりも大となり、調整が行ない易くなっている。このため、ユーザによる調整においても、不透明度の微妙な変化を付けることが可能となり、その結果、生成される可視画像においても微妙な色の変化を表現できるようになる。
【００２３】
なお、本発明の医療用可視画像の生成方法は、上記実施形態のものに限られるものではなく、種々の態様の変更が可能である。
例えば、上記実施形態では、補間区間における色度関数および不透明度関数を直線的なものとして説明しているが、これらの関数には対数関数等の種々の関数を適宜用いることが可能である。
【００２４】
また、上記実施形態では、腹部の医療用可視画像を生成する場合を説明しているが、被観察領域としては頭部や肺部等の他の生体部位であってもよい。
さらに、本発明は、ＣＴ装置のみならず、ＭＲＩ、核医学、ＣＲ、ＤＳＡ、ＤＲ等の放射線診断システムを用いて撮像した医療用の画像や、これらのシステムを組み合わせて撮像された画像に対しても同様に適用可能である。
【００２５】
【発明の効果】
以上詳細に説明したように、本発明の医療用可視画像の生成方法によれば、被観察領域を放射線医療診断システムにより断層撮影して得られた、３次元空間上の各空間座標点に対応した画像データ値の分布に基づき、画像データ値の値域内に設定された小区間内に補間区間を設けて、空間座標点毎の色度および不透明度が、この補間区間において画像データ値の大きさに応じて連続的に変化するように設定している。また、可視画像を生成する２次元平面上の各平面座標点と視点とを結ぶ各視線上に位置する全ての空間座標点毎の色度および不透明度を視線毎に互いに積算し、この積算値を各視線上の平面座標点に反映させるようにしている。このような構成をとることにより、被観察領域内の生体組織間の微妙な色感や不透明感を表現しつつ、相異なる生体組織を明確に区別し得る可視画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態方法における画像データ値の処理手順の概要を示す図
【図２】設定された小区間における色度と不透明度の設定手順の概要を示す図
【図３】本発明方法により生成された腹部の可視画像の一例を比較例と共に示す図
【図４】ＣＴ値に対する不透明度の値を表示する関数を比較例の関数と共に示す図
【図５】従来技術における小区間内での色度および不透明度の設定手順を示す図
【図６】従来技術における小区間内での色度および不透明度の他の設定手順を示す図
【符号の説明】
１０ 視点
１２ 視線
Ａ１，Ａ２ 小区間
Ｂ 補間区間
Ｃ１，Ｃ２ 基準色度
Ｄ１，Ｄ２ 基準不透明度
Ｅ１，Ｅ２ ＣＴ値の分布（ヒストグラム）
Ｋ２ ２次元平面
Ｋ３ ３次元空間
Ｌ 境界線
ｄ１，ｄ２ 対象区間の境界線からの距離
Claims (2)
- 複数種の生体組織が含まれた被観察領域を放射線医療診断システムにより断層撮影して得られた、３次元空間上の各空間座標点に対応した画像データ値の分布に基づき、該画像データ値の値域を複数の小区間に分割し、該小区間毎に、該各小区間内の前記画像データ値に基づき、対応する前記空間座標点毎の色度および不透明度を設定し、この設定された前記空間座標点毎の前記色度および前記不透明度に基づき、前記被観察領域が２次元平面上に投影されてなる可視画像を生成する医療用可視画像の生成方法において、
前記２次元平面上の各平面座標点と視点とを結ぶ各視線上に位置する全ての前記空間座標点毎の前記色度および前記不透明度を該視線毎に互いに積算し、該積算値を該各視線上の前記平面座標点に反映させると共に、
前記小区間内に補間区間を設定し、該小区間において設定される前記色度および前記不透明度を、該補間区間において前記画像データ値の大きさに応じて連続的に変化させることを特徴とする医療用可視画像の生成方法。 - 前記補間区間における前記不透明度の変化状態を調整するための調整感度を、該不透明度が小さい範囲の方が大きい範囲よりも大としたことを特徴とする請求項１記載の医療用可視画像の生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002218952A JP4122463B2 (ja) | 2002-07-26 | 2002-07-26 | 医療用可視画像の生成方法 |
| US10/610,671 US7277567B2 (en) | 2002-07-26 | 2003-07-02 | Medical visible image generating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002218952A JP4122463B2 (ja) | 2002-07-26 | 2002-07-26 | 医療用可視画像の生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004057411A true JP2004057411A (ja) | 2004-02-26 |
| JP4122463B2 JP4122463B2 (ja) | 2008-07-23 |
Family
ID=30767996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002218952A Expired - Fee Related JP4122463B2 (ja) | 2002-07-26 | 2002-07-26 | 医療用可視画像の生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7277567B2 (ja) |
| JP (1) | JP4122463B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006055213A (ja) * | 2004-08-17 | 2006-03-02 | Konica Minolta Medical & Graphic Inc | 画像処理装置、及びプログラム |
| JP2006068457A (ja) * | 2004-09-06 | 2006-03-16 | Toshiba Corp | Ｘ線ｃｔ装置、画像データ領域抽出システムおよび画像データ領域抽出プログラム |
| JP2008006274A (ja) * | 2006-05-29 | 2008-01-17 | Toshiba Corp | 医用画像処理装置、及び医用画像処理方法 |
| JP2008518347A (ja) * | 2004-11-01 | 2008-05-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | レンダリングされた多次元データセットの視覚化 |
| JP2008259696A (ja) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | 三次元画像処理装置および方法並びにプログラム |
| JP2008259699A (ja) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | 画像処理方法および装置並びにプログラム |
| JP2009545360A (ja) * | 2006-07-31 | 2009-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データセットの視覚化のためのプリセットマップを生成する方法、装置及びコンピュータ可読媒体 |
| JP2011078514A (ja) * | 2009-10-06 | 2011-04-21 | Toshiba Corp | 超音波診断装置及び超音波画像生成プログラム |
| US8442282B2 (en) | 2006-05-29 | 2013-05-14 | Kabushiki Kaisha Toshiba | Computer-aided imaging diagnostic processing apparatus and computer-aided imaging diagnostic processing method |
| JP2016198475A (ja) * | 2015-04-14 | 2016-12-01 | 東芝メディカルシステムズ株式会社 | 医用画像診断装置 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6999550B2 (en) * | 2004-02-09 | 2006-02-14 | Ge Medical Systems Global Technology | Method and apparatus for obtaining data for reconstructing images of an object |
| EP1825811B1 (en) * | 2006-02-27 | 2015-08-26 | Kabushiki Kaisha Toshiba | Image display apparatus and x-ray computed tomography apparatus |
| JP4376944B2 (ja) * | 2008-04-03 | 2009-12-02 | 富士フイルム株式会社 | 中間画像生成方法および装置ならびにプログラム |
| JP4636346B2 (ja) * | 2009-03-31 | 2011-02-23 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| US9697603B2 (en) | 2014-12-19 | 2017-07-04 | Toshiba Medical Systems Corporation | Medical image data processing system and method for vessel segmentation using pre- and post-contrast data |
| CN110139609B (zh) * | 2016-12-12 | 2022-06-03 | 佳能株式会社 | 图像处理装置、图像处理方法和程序 |
| US11443476B2 (en) * | 2020-05-27 | 2022-09-13 | Canon Medical Systems Corporation | Image data processing method and apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU6417599A (en) * | 1998-10-08 | 2000-04-26 | University Of Kentucky Research Foundation, The | Methods and apparatus for (in vivo) identification and characterization of vulnerable atherosclerotic plaques |
| US7043064B2 (en) * | 2001-05-04 | 2006-05-09 | The Board Of Trustees Of The Leland Stanford Junior University | Method for characterizing shapes in medical images |
-
2002
- 2002-07-26 JP JP2002218952A patent/JP4122463B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-02 US US10/610,671 patent/US7277567B2/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006055213A (ja) * | 2004-08-17 | 2006-03-02 | Konica Minolta Medical & Graphic Inc | 画像処理装置、及びプログラム |
| JP2006068457A (ja) * | 2004-09-06 | 2006-03-16 | Toshiba Corp | Ｘ線ｃｔ装置、画像データ領域抽出システムおよび画像データ領域抽出プログラム |
| JP2008518347A (ja) * | 2004-11-01 | 2008-05-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | レンダリングされた多次元データセットの視覚化 |
| JP2008006274A (ja) * | 2006-05-29 | 2008-01-17 | Toshiba Corp | 医用画像処理装置、及び医用画像処理方法 |
| US8442282B2 (en) | 2006-05-29 | 2013-05-14 | Kabushiki Kaisha Toshiba | Computer-aided imaging diagnostic processing apparatus and computer-aided imaging diagnostic processing method |
| JP2009545360A (ja) * | 2006-07-31 | 2009-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データセットの視覚化のためのプリセットマップを生成する方法、装置及びコンピュータ可読媒体 |
| US8624890B2 (en) | 2006-07-31 | 2014-01-07 | Koninklijke Philips N.V. | Method, apparatus and computer-readable medium for creating a preset map for the visualization of an image dataset |
| JP2008259699A (ja) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | 画像処理方法および装置並びにプログラム |
| JP4588736B2 (ja) * | 2007-04-12 | 2010-12-01 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP4709177B2 (ja) * | 2007-04-12 | 2011-06-22 | 富士フイルム株式会社 | 三次元画像処理装置および方法並びにプログラム |
| JP2008259696A (ja) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | 三次元画像処理装置および方法並びにプログラム |
| JP2011078514A (ja) * | 2009-10-06 | 2011-04-21 | Toshiba Corp | 超音波診断装置及び超音波画像生成プログラム |
| JP2016198475A (ja) * | 2015-04-14 | 2016-12-01 | 東芝メディカルシステムズ株式会社 | 医用画像診断装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040017370A1 (en) | 2004-01-29 |
| US7277567B2 (en) | 2007-10-02 |
| JP4122463B2 (ja) | 2008-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4937261B2 (ja) | ２ｄのｘ線画像及び３ｄ超音波画像を選択的に混合するためのシステム及び方法 | |
| US10650513B2 (en) | Method and system for tomosynthesis imaging | |
| JP4421016B2 (ja) | 医用画像処理装置 | |
| JP4122463B2 (ja) | 医療用可視画像の生成方法 | |
| JP6051158B2 (ja) | 切削シミュレーション装置および切削シミュレーションプログラム | |
| JP2013244211A (ja) | 医用画像処理装置、医用画像処理方法及び制御プログラム | |
| US20140139518A1 (en) | Method and apparatus for displaying medical image | |
| JP4350226B2 (ja) | 三次元画像処理装置 | |
| US9582936B2 (en) | Method and apparatus for combining plurality of 2D images with 3D model | |
| US20140015836A1 (en) | System and method for generating and displaying a 2d projection from a 3d or 4d dataset | |
| US20170301129A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing system | |
| US20100215150A1 (en) | Real-time Assisted Guidance System for a Radiography Device | |
| US8111890B2 (en) | Medical image generating device, method and program | |
| JP2008206965A (ja) | 医用画像生成装置、方法およびプログラム | |
| Hawkes et al. | Three-dimensional multimodal imaging in image-guided interventions | |
| US11379976B2 (en) | Medical image processing apparatus, medical image processing method, and system for tissue visualization | |
| JP6021340B2 (ja) | 医用画像処理装置及び制御プログラム | |
| JP3588055B2 (ja) | 三次元画像形成方法及び三次元画像形成装置 | |
| JP6662580B2 (ja) | 医用画像処理装置 | |
| Øye et al. | Illustrative couinaud segmentation for ultrasound liver examinations | |
| WO2011062108A1 (ja) | 画像処理装置及び画像処理方法 | |
| KR20140128131A (ko) | 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050707 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20080207 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20080226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080409 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080416 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4122463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |