JP4495891B2 - 骨計測方法 - Google Patents

骨計測方法 Download PDF

Info

Publication number
JP4495891B2
JP4495891B2 JP2001501107A JP2001501107A JP4495891B2 JP 4495891 B2 JP4495891 B2 JP 4495891B2 JP 2001501107 A JP2001501107 A JP 2001501107A JP 2001501107 A JP2001501107 A JP 2001501107A JP 4495891 B2 JP4495891 B2 JP 4495891B2
Authority
JP
Japan
Prior art keywords
bone
image
boundary surface
separated
cortical bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001501107A
Other languages
English (en)
Inventor
由明 東
善史 原田
典弘 山田
勉 前田
知裕 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teijin Ltd
Infocom Corp
Original Assignee
Teijin Ltd
Infocom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teijin Ltd, Infocom Corp filed Critical Teijin Ltd
Application granted granted Critical
Publication of JP4495891B2 publication Critical patent/JP4495891B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/922Computer assisted medical diagnostics including image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被検骨あるいは関節断面撮影画像に基づいて骨形態を測定する骨計測方法に関し、更に詳しくは、被検骨あるいは関節断面の2値化画像に基づいて皮質骨と海綿骨とを分離する骨計測方法において、皮質骨と海綿骨とを自動的かつ高速かつ再現性よく分離することができ、非破壊的に3次元骨構造・骨強度などの解析の基礎となる皮質骨部と海綿骨部に分離した3次元画像が得られる骨計測方法に関する。更に、被検骨あるいは関節断面の2値化画像に基づいて皮質骨と海綿骨とを分離した3次元画像において、その分離断面部(以下、連結面とよぶ)に対し物体の境界面を定義する方法(改良マーチングキューブス法)を適用し、効率よく自動的かつ高速かつ再現性がよく面定義可能で、非破壊的に3次元骨構造・骨強度などの解析の指標となる境界面部位の3次元画像が得られる骨計測方法に関する。
【0002】
【従来の技術】
骨の強度を評価する1つの手段として、骨構造について評価する事が指摘されている。生体の多くの骨組織は骨構造の異なる皮質骨と海綿骨に大別され、それぞれ役割が異なると考えられている。構造学的には骨に負荷がかかった場合、皮質骨部は大荷重に耐えられるように、海綿骨部は衝撃を吸収するように作用すると考えられている。
従って骨構造を評価するには皮質骨部と海綿骨部を別々かつ定量的に評価しなければならない。皮質骨と海綿骨は構造的に連続していることが多く、両者の境界を特定するのは難しく、皮質骨と海綿骨を厳密に再現よく分離できる骨計測方法が要望されている。
これに対して、特開平9−294740号公報には皮質骨部と海綿骨部を自動分離できる以下の骨計測方法が提案されている。この方法は、被検骨の断面撮影画像の2値化画像に基づいてその骨部の細線化画像を用いて分離するもので、具体的には骨部を細線化し、該細線化画像の外側骨部から皮質骨の平均骨幅を推定し、該推定値から細線化画像を膨張させて皮質骨部を求める方法である。
しかし、かかる方法では、皮質骨部あるいは海綿骨部が分断されたりする場合があり、この手法を用いて複数の被検骨を比較する場合には問題が生じる。
【0003】
【特許文献1】
特開平9−294740号公報
【発明の開示】
【0004】
【発明が解決しようとする課題】
本発明は、かかる問題に鑑み為されたもので、被検骨換言すれば被験者が異っても安定した皮質骨及び海綿骨の分離が可能で、さらに非破壊的に骨の3次元内部構造を構築することが可能で特に骨の3次元的評価がより正確に行える、高速かつ自動的に再現性のよく皮質骨と海綿骨が分離できる骨計測方法を第一の目的としている。さらには、被験者が異っても安定した皮質骨及び海綿骨の境界面生成が可能で、非破壊的に骨の境界を定義することができ、境界面特性を定量的に評価する特性(境界の個数、面積、周囲長、円形度)を、高速かつ自動的に再現性よく求めることができる骨計測方法を第二の目的としている。
【0005】
【課題を解決するための手段】
上記第一の目的は以下の本発明で達成される。すなわち本発明は、被検骨あるいは関節断面の2値化画像に基づいて皮質骨と海綿骨とを分離する骨計測方法において、該2値化画像から皮質骨に囲まれた骨内部の単連結したテンプレート画像を求めるテンプレート画像抽出ステップを有し、該テンプレート画像と該2値化画像との積により皮質骨と海綿骨とを分離することを特徴とする骨計測方法である。
本発明は、上記テンプレート画像は骨部全体を抽出できるもので、従って再現性よく安定した分離ができる共に、その抽出ステップは、非常に簡単なアルゴリズムで構成できるので、高速処理でき、上記目的を達成できることを見出し、為されたものである。
本発明において、皮質骨と海綿骨に分離された分離画像を、得られた2値の分離画像と2値化前の濃淡画像との積により簡単に輝度値の分離画像とする事ができる。
また、被検骨を所定間隔で断層撮影した複数の連続した各画像から皮質骨部と海綿骨部とが分離された各部の分離画像を作成し、該分離画像を積み重ねることにより3次元の骨分離画像を生成する構成により、3次元画像が高速で得られる。そして、この分離画像に上記の輝度値換言すれば濃淡のある分離画像を用いれば、分離された皮質骨部と海綿骨部の立体画像が得られる。
このように、本発明により、非破壊的に高速かつ自動的かつ再現性のある分離された皮質骨と海綿骨の3次元画像を抽出することができるため、より正確な3次元骨関連情報の評価が可能である。
さらに、本発明は、皮質骨と海綿骨とを分離した画像をスライス方向(断面方向)へ積み上げた3次元画像上にて、その分離切断面部(以下、境界面とよぶ)に対し物体の境界面を定義する方法(改良マーチングキューブ法・特許登録番号0279856)を適用し、境界表面に三角形を連続する様に定義する画像処理手段を用いる。
通常、マーチングキューブス法は2値化された3次元物体画像に対し背景と物体との境界に多角形の面を定義するものであるが、これを皮質骨と海面骨の境界面の定義に適用するものである。この方法により、三角形で定義された境界面を定義することが可能である。
また、境界個数については三角形の頂点座標の連結状態を検索し、その繋がり性から境界面のラベル個数を数え上げる処理手段で求められる。
また、境界面積についてはラベル別三角形の面積を積算することを特徴とする骨計測方法である。
また、周囲長についてはラベル別三角形の最外側の辺の長さを積算することを特徴とする骨計測方法である。
また、円形度(複雑度)についてはラベル別三角形の面積と周囲長から境界面の複雑性を定量化し、その際、真円を1と定義することを特徴とする骨計測方法である。
このように、本発明により、非破壊的に高速かつ自動的かつ再現性のある分離された皮質骨と海綿骨の境界面画像を抽出することができるため、より正確な3次元骨関連情報の評価計測が可能である。
【0006】
【発明を実施するための最良の形態】
以下、本発明の詳細を説明する。
以下、ラットの腰椎に適用した実施例に基いて、実施の形態共に順を追って説明する。また、ラットの大腿骨についても実施例を示し、長管骨へも適応可能であることを示す。
【0007】
(1)皮質骨と海綿骨が分離できる骨計測方法
被検骨のラットの腰椎の断面は、前述の特開平9−294740号公報と同様に、本例では撮像手段に海綿骨の微細構造を計測するのに十分な焦点寸法及び解像度をもつ微小フォーカスX線断層撮影装置(以下、μX線CT)を用いて撮影した。なお、被検骨の撮影には、この他高解像度X線装置または核磁気共鳴画像診断装置(MRI)またはフィルムスキャナー等の2次元情報を発生する装置等が適用可能である。
そして、撮像手段で得られた該被検骨の画像信号を以下の画像処理装置で処理して、骨計測を行う。本例の画像処理装置10は、図1に示すように画像処理専用の画像処理ボード12(本例ではシャープセミコンダクタ社製、GPB−K)並びに画像記憶用に大容量のハードディスク13を備え、画像表示用の外部モニター14を搭載したパーソナルコンピュータ11を用いた。そして、図2に示すフローチャートの処理手順を収納し、撮像手段から得られた被検骨の画像信号を処理して以下のようにその骨部を皮質骨部と海綿骨部に自動的に分離抽出する。
処理に先立ち、前述の特開平9−294740号公報と同様にして、まず、被検骨のラットの腰椎を、μX線CT装置によりその軸方向に所定間隔で連続した断層像を撮影して、その画像信号を取得する。なお、この画像は、骨梁を観察するのに十分な程度(10〜25μm)の空間解像度が得られるものがよい。本例において用いたμX線CT画像は、縦512画素×横512画素×高さ(軸方向)30スライス(最大512スライスまで可能)であり、断面の1画素あたりの寸法は約20μmから25μm、スライス間隔20μm程度、各画素の輝度値CT(濃度値とも言う)は2階調で表現されている。
図3に、このμX線CT装置により得られた被検骨のラットの腰椎の断面の輝度値表示の濃淡画像(以下、「原画像」という)の代表例を示す。図3において、20が骨部で、21がその皮質骨部で、外側の輪郭線に見える外側部と内側の輪郭線に見える内側部とからなる。そして、皮質骨部21に囲まれた骨内部の網目状の線状部分が海綿骨部22である。図3の23は骨髄腔部(以下、空間部)を示し、図3の24は骨髄腔部(以下、空洞部)であり、骨部20の外側は背景部25である。図3の濃淡画像の原画像においては、皮質骨部21と海綿骨部22と空間部23の境界が不鮮明であり、このままではこれらの分離は困難である。
この原画像をステップ1で画像処理装置10に取り込む。そして、ステップ2の2値化ステップにおいて、この原画像を、以下のように上述の公報と同様にして判別分析法により2値化して、2値化画像に変換する。
判別分析法は、グループ内の濃度差が小さく、しかもグループ間の偏差が大きい場合に2値化の閾値を決定する際に使用することができ、本発明の対象である骨計測には好適である。
判別分析法では、画像の輝度値のヒストグラムにおいて輝度値の集合を閾値で二つのクラスに分割したと仮定して、下記する式2のクラス間分散および式3のクラス内分散を用いて式1の分散比(f)が最大になるような閾値を求め、この閾値により2値化する。
【0008】
【数1】
式1: f=δb/δw
但し、 f:分散比
δb:クラス間分散
δw:クラス内分散
【数2】
式2: δb=ωω(m−m
但し、ω:クラス1の画素数
ω:クラス2の画素数
:クラス1の画素の輝度値の平均
:クラス2の画素の輝度値の平均
【数3】
式3: δw=ωδ +ωδ
但し、δ:クラス1の画素の輝度値の分散
δ:クラス2の画素の輝度値の分散
【0009】
本例では、原画像の輝度値のヒストグラムを求め、このヒストグラフから閾値の候補値を選定し、それを変化させて最適値を求め、これを閾値とした。そして、この閾値より大きいものを1、小さいものを0として2値化して、2値化画像を得た。図4に図3の原画像を2値化した2値化画像(これを「2値化原画像」という。)を示す。図より、空間部23と皮質骨部21、海綿骨部22との区分が明瞭となっていることが分かる。
そして、本例では2値画像処理として周知の8近傍に基づいてこの2値化原画像から以下のテンプレート画像抽出ステップにより海綿骨部22の存在領域である外側と内側の皮質骨部21で囲まれたその内側の領域をテンプレート画像として抽出する。
まず、この2値化原画像には通常孤立点等のノイズがあるので、ステップ3の平滑化ステップにおいて、以下のようなノイズ処理を行う。本例では、ノイズ処理として、該2値化原画像から8近傍の孤立点消去を行った。8近傍の孤立点消去とは、ある画素に善目した場合、その近傍8方向に関する画素を走査し全て輝度値が0の場合だけ該着目画素を0とする処理方法である。ノイズ処理後の画像を図5Aに示す。
次に血管等により分断されている皮質骨22等の該分断部分を仮想的に接続する接続処理を行う。この接続処理は、ステップ4の膨張ステップで画像の境界点を1層分太らせる膨張処理をN回施すことで行った。この回数は、該分断部分が接続される回数であればよく、本例ではその分断部分の間隔からN=10とした。処理後の画像を図5Bに示す。図より青部画像の中には皮質骨部21で囲まれた内部領域の空間部23に対応する穴部26と内側の皮質骨部21に囲まれた空洞部24に対応する背景穴部部27が残っていることが判る。
ところで、海綿骨部22が存在する骨の内部領域画像すなわちテンプレート画像を求めるには、内部領域を全ての穴部26を埋めて穴部の無い単連結した領域とする必要がある。従って、画像処理としては、内部領域の穴部26のみを埋めて消去し、背景穴部27はそのまま残す必要がある。この該背景穴部27を残さない処理をすれば、大腿骨のような長管骨にも十分応用が可能である。
この穴埋め処理をステップ5の穴埋めステップで以下のように行った。前述の膨張ステップで得られた膨張画像を先ず反転して反転画像を得る。得られた反転画像を図5Cに示す。この反転画像において、各穴部26及びは背景穴部27に対応する各白部の内、残す背景穴部27は最大面積となっているので、各白部の面積を求め、最大面積の白部を除く背景部除去処理を行って、背景穴部27に対応する図の中心部の楕円状白部を消去した。なお、この背景部除去処理は、空洞部24がある本例の被検骨の腰椎に必要なもので、かかる空洞部のない大腿骨等では必要なく、省略できる。この処理で得られた穴埋め用画像を図5Dに示す。図より、内部領域の全ての穴部26に対応する白部を有することが判る。そして、この得られた図5Dの穴埋め用画像と先の膨張ステップで得られた図5Bの膨張画面の和(OR)画像を求める。この和処理で得られた画像を図5Eに示す。図より、穴部26が無く、単連結した皮質骨部21に囲まれた骨部20の全領域が全面連続した膨張連結画像が得られたことが判る。
【0010】
ところで、この膨張連結画像は前述の通りN回本例では10回膨張処理を行ったものであり、大きさの面では2値化原画像を拡大したものとなっている。そこで、ステップ6の収縮ステップで、2値化原画像に相当する大きさまで収縮する。本例では、画像の境界点を取り除いて1層分小さくする収縮処理を(N+1)回具体的には11回行った。一般的に膨張させた画像を寸法面で原画像に戻すには膨張処理の回数と同数回の収縮処理を行えばよい。ところが、これらの処理は、周知の通り、単純な拡大縮小ではなく、平滑化、穴埋め等の所定の機能を有する。そこで本例では、テンプレート画像として皮質骨部21で囲まれたその内部領域を抽出することが重要であり、皮質骨部21の外側が残らないように膨張処理回数より1回多い回数の収縮処理を行った。これにより、皮質骨部21の形状に影響されること無く、安定な内部領域の抽出が可能となった。この収縮ステップで得られた画像を図5Fに示す。この連結収縮画像は、以上の処理から輪郭部の皮質骨部21を含むこれで囲まれた骨部20の穴部の無い全面連続画像になっている。
これに対して、海綿骨部22を抽出するテンプレート画像は皮質骨部21を含まない骨部20の内部の全面連続画像となる。そこで、皮質骨部21を除くため、ステップ7の以下の皮質骨部除去ステップを施す。すなわち、ステップ6で得られた連結収縮画像からステップ3で得られた平滑処理された2値化原画像(図5A)を差し引いてその差画像を求める。その画像を図5Gに示す。得られた差画像は、骨部20の全面連結画像から皮質骨部21と海綿骨部22が除去された空間部の骨空間部画像となっている。
ところで、この骨空間部画像は、見方を変えると、海綿骨部22の網状部を埋めれば、皮質骨部21で囲まれた骨部20から皮質骨部21を除いたその内部領域すなわち海綿骨部22の存在する領域の画像であるテンプレート画像となっていることが判る。そこで、このテンプレート画像を得るためステップ8の海綿骨部22の間隙を除去する以下の間隙除去ステップを行う。すなわち、具体的には、図5Gで海綿骨部22を差し引いて残され間隙を接続して全面連続して1つの領域とするため以下の接続する処理を施す。この接続処理は、先ずM回の前述の画像膨張処理を施して間隙を接続する。得られた画像を図5Hに示す。図のように間隙が除去されて全面連続した単連結の内部領域画像となっている。次いで、寸法を戻すために同じM回の前述画像収縮処理を施す。結果を図5Iに示す。図が海綿骨部22を検出するための海綿骨部22が存在する皮質骨部21に囲まれたその内部領域の画像であるテンプレート画像である。なお、本例の場合には、接続する間隙幅からM=10とした。以上により海綿骨部22を検出するための海綿骨用テンプレート画像が得られたことになる。
そして、ステップ10の海綿骨部検出ステップで、この海綿骨用のテンプレート画像と前述の図5Aに示した平滑化2値化原画像との積(AND)画像を求めることにより、2値化海綿骨画像を検出することができる。結果を図5Jに示す。次いで、ステップ11の皮質骨部検出ステップで、前述の図5Aに示した平滑化2値化原画像からこの2値化海綿骨画像を差し引いてその差画像を求めることにより、2値化皮質骨画像が検出できる。得られた画像を図5Kに示す。共に良好な画像が得られた。
以上の通り、本発明により、簡単な処理により、自動的に皮質骨部と海綿骨部に分離できることが判る。
また、上記の方法によって求めた該2値化皮質骨画像および2値化海綿骨画像から簡単な処理により入力原画像上の輝度値を保持し、他のバックグランド領域の輝度値を0にした半閾値化画像を求めることができる。具体的には、該2値化皮質骨部及び海綿骨部の各画像と図3に示す原画像とから輝度値の最小値画像を求めることによりそれぞれの半閾値化画像を得ることができる。この結果を図6に示す。図6Aが海綿骨部、図6Bが皮質骨部の半閾値化画像である。
更に、図7に示すように、軸方向に所定のスライス間隔で撮影した各連続画像を以上のように処理して生成された図6の皮質骨部と海綿骨部の半閾値化画像データを各部毎にスライス方向に積み重ねていくことにより皮質骨部と海綿骨部の3次元画像を得ることができる。この結果を図8に示す。図8Aが皮質骨部、図8Bが海綿骨部の3次元画像であり、非常に良好な立体画像が得られることが判る。
【0011】
(2)皮質骨及び海綿骨の境界面生成および境界面特性の定量的評価方法
被検骨のラットの腰椎の断面は、特開平9−294740号公報と同様に、本例では撮像手段に油綿骨の微細構造を計測するのに十分な焦点寸法及び解像度をもつ微小フォーカスX線断層撮影装置(以下、μX線CT)を用いて撮影した。なお、被検骨の撮影には、この他高解像度X線装置または核磁気共鳴画像診断装置(MRI)またはフィルムスキャナー等の2次元情報を発生する装置等が適用可能である。
そして、撮像手段で得られた該被検骨の画像信号を以下の画像処理装置で処理して、骨計測を行う。本例の画像処理装置10は、図1に示すように画像処理専用の画像処理ボード12(本例ではシャープセミコンダクタ社製、GPB−K)並びに画像記憶用に大容量のハードディスク13を備え、画像表示用の外部モニター14を搭載したパーソナルコンピュータを用いた。そして、図9に示すフローチャートの処理手順を収納し、「発明の実施の形態」(1)記載の方法で骨部を皮質骨部と海綿骨部に自動的に分離抽出する。
まず、被検骨のラットの腰椎を、μX線CT装置によりその軸方向に所定間隔で連続した断層像を撮影して、画像処理装置10へ取り込み、皮質骨と海面骨を分離した画像(以下、分離処理画像)を取得する。なお、この画像は、骨梁を観察するのに十分な程度(10〜25μm)の空間解像度が得られるものがよい。
本例において用いたμX線CT画像は、縦512画素×横512画素×高さ(軸方向)200スライス(最大512スライスまで可能)であり、断面の1画素あたりの寸法は約20μmから25μm、スライス間隔20μm程度、各画素の輝度値CT(濃度値とも言う)は2階調で表現されている。この画像を、図9のステップ1の原画像入力により画像処理装置10に読み込む。図10は、ラットの腰椎の原画像である。
図9のステップ2の2値化ステップを実行する。その際、2値化の方法は、判別分析法を用いる。
皮質骨(図11)と海面骨(図12)の分離処理を図9のステップ3で行い、スライス方向(断面方向)に必要枚数分の画像を格子状に積み重ねる。代表例を図13、図14に示す。皮質骨は図13、海面骨は図14のような3次元画像になる。これらの画像(図13と図14)のOR画像が全体骨画像である。図15の様に2次元画像上の各ピクセルに対し厚みを持たせたものがボクセルである。
ここで、一般的な物体表面形状の定義はマーチングキューブス法を使用するのが一般的である。マーチングキューブス法とはボクセル集合の局所的な配置からボクセル集合を覆う面素を推定し、ボクセルの表面を多角形(本件では三角形)で近似して、物体の状面を構成する方法である。具体的には、図16のように、8つの隣り合うボクセルを1つのキューブ上の頂点と考え、その頂点(ボクセル)にボクセル値(画素値)が含まれる(1)か、含まれない(0)か、で物体の表面形状を確認する。含まれる場合のボクセル値を1(□)、含まれない場合のボクセル値を0(なし)とすると、頂点の1と0の組み合わせは、2=256種類できるが、回転や対象性を考慮すると、図17の23種類となる。この方法により三次元物体の境界表面に対し、パッチ面(本件の場合、三角形)を推定することができる。
これを、本件に適用する場合(図9−ステップ4)、を以下に示す。
前提条件として皮質骨(図13)と海面骨(図14)のボクセル値の取り扱いを以下のように定義する。
定義式4: 皮質骨部→1
定義式5: 海面骨部→2
定義式6: 背景部→0
定義式4は図13において皮質骨領域のボクセル値を1、定義式5は図14において海面骨領域のボクセル値を2、定義式6は図13および図14の背景領域のボクセル値を0と定義する。
ここで、皮質骨と海面骨の間の境界面を推定することとは、既説明したキューブ上のボクセル値が次の必要条件をすべてみたしていることになる。
定義式7:1と2の両方のボクセル値で構成されている。
定義式8:背景値(0)は存在しない。
定義式7は、着目するキューブ上の頂点に、皮質骨あるいは海面骨の領域双方が存在することを示し、境界面が必ず存在することを意味している。(0)は、着目したキューブ上の頂点に、背景が存在しないことを意味している。
定義式7,8の条件を両方とも満たしている組み合わせを考え、回転や対象性を考慮すると、皮質骨と海面骨の境界キューブのパターンは23−2=21種類に集約される。仮に皮質骨部を(□)、海面骨部(○)とすると、図18の様なパターンとなる。この方法を適用して、境界面形状を作成し可視化すると図19の様な画像を得ることが可能である。
また、ラットの大腿骨での適用例を示す。この場合、ラットの大腿骨のみでなく、一般的に長管骨へ適応も可能であることを示すのもである。ラットの大腿骨を所定の方法で分離し3次元表示したのもを図20、図21へ示す。また大腿骨の連結面形状を図22へ示す。
こうして得られた境界面を用いて、図9のステップ5、ステップ6、ステップ7、ステップ8の順で、境界面のラベル数、面積、周囲長、円形度の骨計測を行う。
以下、定義された皮質骨と海面骨の境界面形状に対して、骨計測を行う方法と、手順を示す。 図23に、境界面として定義した三角形の、要素30、節点31、辺32を示す。
まず、境界面のラベル数とは、空間上に独立して存在する面の個数のことである。具体的には、図24に示す物体が存在しているとすると、左の物体と右の物体の2個の面が存在している。該説明した境界面生成法はあくまでも単位キューブに対して三角形状の要素を定義するものであり、広域としての面の数を画像処理装置10で認識しているわけではない。骨面計測において、この面の個数を把握しておくことは、境界面の部位に対して定量化する際に基本の単位となり得る。
境界面の面の数(以下、ラベル数と呼ぶ)を計測するには、要素状に存在するある節点の座標に着目し、それと同じ座標を持つ節点が存在するかどうかを全節点に対し確認していく、該処理が終われば次の節点に着目し同処理をすべての節点に対し繰り返す。具体的には、図25の流れによって境界面のラベル位置とラベル数が決定される。まず、図25のステップ1にてラベル番号の設定処理を行う。ある要素に着目しラベル番号を付ける。その際、ラベル番号が定義されていなければラベル番号をL(L=L+1)とし、既に定義されているのであれば、その定義されているラベル番号をLとする。次に図25のステップ2にて着目した要素上に存在する節点の座標3組6点(X,Y,Z)を取得する。次に、図25のステップ3にて着目要素以外の要素上の座標点3点(X,Y,Z)を取得し重複した節点が存在するかを全節点に対して確認する。図25のステップ3にて重複点が存在する場合には、ラベル番号Lをその要素上に設定する。既に定義されている場合は、その祭儀されているラベル番号を持つ要素のラベルを、すべてLに置き換える。この図25のステップ4の処理を、すべての要素に対して同処理を施す。図25のステップ4の処理が終了したら、図25のステップ1へ戻り次の別の要素に対して、図25のステップ1からステップ4の処理を施す。この方法で処理がすべて完了したら、図25のステップ6にて、定義したラベル番号の昇順ソートを行う。結果的にソート後のラベル番号の最大値が、目的のラベル数(境界面の個数)となる。
この処理において要素数が非常に多い場合、ステップ3の処理が非常に時間がかかる処理となるケースがある。その場合には、全節点に対して重複した節点を確認するのではなく、着目した要素が存在するキューブと同じスライス上に存在する要素と、その上下の3スライス分のキューブ上に存在する要素を比較することによって解決される。
次に境界面の面積を計測するには、式9,式10,式11の計算を行うことによって生成された各々の三角形要素の面積を計算し、加算することによって求められる。
【0012】
【数4】
式9: s[i]=(a[i]+b[i]+c[i])/2

式10: A[i]=(s[i](s[i]−a[i])(s[i]−b[i])(s[i]−c[i]))1/2

式11: TA=ΣA[i]
i 1
但し、
i :要素番号(1〜最大要素番号)
a[i]:要素を構成する辺の長さ1
b[i]:要素を構成する辺の長さ2
c[i]:要素を構成する辺の長さ3
s[i]:辺の長さの総和の1/2
A[i]:各要素の面積
TA :総面積
【0013】
式11にて、該境界面に定義したラベル番号ごとに積算を施すことにより、境界面ごとの面積を計測することも可能である。エレメントの総面積であるTAを求めることにより、境界面の総面積が計測可能である。
次に境界面の周囲長Sを計測するには、要素状に存在するある2つの節点で構成される辺座標に着目し、それと同じ座標を持つ辺が存在するかどうかを全辺に対し確認していく、該処理が終われば次の辺に着目し同処理をすべての辺に対し繰り返す。具体的には、具体的には、図26の流れによって境界面の周囲長が求められる。まず、図26のステップ1にてラベル番号Lが定義されている要素上の辺座標に着目する。辺座標とは、辺を構成する2点の節点座標(X,Y,Z)のことである。次に、図26のステップ2で、ラベル番号Lが定義されている着目辺以外の要素の辺と重複がないかを確認する。この処理をステップ3にて、残りの要素に対しても同処理を施す。図26のステップにて重複がない場合、その辺はラベル番号Lを構成する最外側の外周となりそれを、図26のステップ4にてラベル番号別に積算することにより周囲長Sが求められる。最終的には、図26のステップ5にて、Lが最大ラベル番号を超えるまで図26のステップ1からステップ4の処理を施せば、ラベル番号ごとの周囲長S(L)を求めることができる。
次に境界面の円形度φを計測するには、求めた境界の面積Aと周囲長Sから、境界面の境界面ラベル番号毎に次式12より表される。
【0014】
【数5】
式12: φ[i]:4πA[i]/S[i]
ここで、
i :ラベル番号(1〜境界面ラベル数)
φ[i]:境界面の円形度
π[i]:円周率
A[i]:境界面の面積
S[i]:境界面の周囲長

これは境界面が真円のときは1.0となり、複雑な形状になるほど小さい値(0に近い値)となる。計算の方法としては境界面ラベル毎に、境界面の面積Aと境界面の周囲長Sを代入することにより円形度を計算し、その平均を平均円形度として計測する。その際、境界面の面積Aと境界面の周囲長Sは該説明の境界面の面積Aと周囲長Sを使用する。
表1にラットの腰椎(10対)、表2にラットの大腿骨の連結形状に管するパラメータであるラベル数、総面積、総周囲長、平均円形度、総面積/ラベル数を計測した結果を示す。総面積/ラベル数は、総面積をラベル数で割った値である。すなわち、独立した単位境界面あたりの平均面積を示している。これらの計測値と骨強度指標との相関を調べれば骨強度の定量的な評価を行うことができる。
【0015】
【表1】
Figure 0004495891
【表2】
Figure 0004495891
該骨強度指標は、図27に示しているように、変位量と負荷荷重の関係を調べたときに、その最大荷重を用いて評価した。表3にラットの腰椎(10対)の最大荷重を示す。
【表3】
Figure 0004495891
この最大荷重と表1で示した境界特性パラメータとの相関を図28から図31に示す。結果から、周囲長および平均円形度との相関はあまり確認できなかったが、総面積と総面積/ラベル数との相関が、それぞれ約0.76、約0.85と高い相関を示すことがわかった。
【0016】
【発明の効果】
本発明による手法では、簡単な処理で、安定した皮質骨部及び海綿骨部の分離が可能で、さらに非破壊的に骨の内部構造を構築することが可能であり、さらに高速かつ自動的かつ再現性のある3次元の皮質骨と海綿骨の骨関連情報を生成することができた。特に骨の3次元的解析に対する評価がより正確に行えることが期待できる。また、物体の表面形状を推定する処理の応用で、簡単に安定した皮質骨部と海綿骨部の間の境界面を推定可能で、さらに非破壊的に骨の内部構造を可視化することが可能であり、さらに再現性のある3次元の皮質骨と海綿骨の境界面特性を定量化することができた。特に骨の3次元的解析に対する評価がより正確に行えることが期待できる。これは、腰椎のみでなく大腿骨いわゆる長管骨への適用についても可能である。本発明は、μX線CT撮影装置をはじめX線フィルムまたはMRI等から得られる診断撮影写真を骨の3次元的評価の基礎となる画像情報全般に応用が期待できる。さらに、本発明は、骨関連疾患あるいは関節関連疾患動物モデルにおいて骨および関節を評価する評価方法や骨関連疾患あるいは関節関連疾患患者の骨および関節を評価する臨床評価方法として応用が可能であり、動物モデルを用いた薬剤や治療法の開発、および臨床試験、日常診療や正確な診断、薬剤や治療方法の効果判定への応用が期待できる。
【0017】
【産業上の利用可能性】
本発明による手法は、コンピュータ用の種々のオペレーションシステム上で作動するソフトウエアとして利用することが可能であり、あらゆるコンピュータ言語で作成することができ、いかなる装置に対してもソフトウエアとして組み込むことができる。
【0018】
【図面の簡単な説明】
図1は、本発明を実施する装置例の構成の説明図である。
図2は、皮質骨と海綿骨を分離する分離処理手段のフローチャートである。
図3は、ラット腰椎断面の原画像である。
図4は、ラット腰椎断面の2値化画像である。
図5は、皮質骨と海綿骨の分離方法の説明図である。
図6は、皮質骨と海綿骨の分離後の濃淡図である。
図7は、3次元の画像の生成を説明する説明図である。
図8は、生成された皮質骨と海綿骨の三次元画像を示す図である。
図9は、境界面特性を計算するための全体フローチャートである。
図10は、ラット腰椎断面の原画像である。
図11は、ラット腰椎断面の皮質骨の2値化画像である。
図12は、ラット腰椎断面の海面骨の2値化画像である。
図13は、ラット腰椎の皮質骨の3次元化可視化画像である。
図14は、ラット腰椎の海面骨の3次元化可視化画像である。
図15は、ボクセル定義を説明する図である。
図16は、キューブ定義を説明する図である。
図17は、マーチングキューブス法のパターンを示す図である。
図18は、本件の境界面のパターンを示す図である。
図19は、ラット腰椎の皮質骨と海綿骨の間の境界面を示す図である。
図20は、ラット大腿骨の皮質骨の3次元化可視化画像である。
図21は、ラット大腿骨の海面骨の3次元化可視化画像である。
図22は、ラット大腿骨の皮質骨と海綿骨の間の境界面を示す図である。
図23は、三角形要素の用語を説明する図である。
図24は、ラベリング定義を示す図である。
図25は、境界面の個数を求めるフローチャートである。
図26は、周囲長計算のフローチャートである。
図27は、骨強度を反映する指標を説明する図である。
図28は、最大荷重−総面積の相関図である。
図29は、最大荷重−総周囲長の相関図である。
図30は、最大荷重−平均円形度の相関図である。
図31は、最大荷重−総面積/ラベル数の相関図である。
【0019】
【符号の説明】
図中の符号は、それぞれ以下のことを表わす。
10 画像処理装置
11 パーソナルコンピュータ
12 画像処理ボード
13 ハードディスク
20 骨部
21 皮質骨部
22 海綿骨部
23 骨髄腔部(空間部)
24 骨髄腔部(空洞部)
25 背景部
30 要素
31 節点
32 辺

Claims (4)

  1. 被検骨断面の2値化画像に基づいて皮質骨と海綿骨とを分離した画像上にて、その分離切断面部(以下、境界面とよぶ)に対し物体の境界面を定義する方法を適用し、皮質骨と海面骨の境界面を定義する画像処理方法であり、3次元の骨分離画像を、被検骨を所定間隔で断層撮影した複数の連続した各画像から皮質骨部と海綿骨部とが分離された各部の分離画像を作成し、該分離画像を積み重ねることにより生成することを特徴とする、画像処理方法にて生成される境界面に対し、境界面成分のラベリングを行い、3次元空間上に独立している境界面の個数に関する情報を得るための骨計測方法。
  2. 被検骨断面の2値化画像に基づいて皮質骨と海綿骨とを分離した画像上にて、その分離切断面部(以下、境界面とよぶ)に対し物体の境界面を定義する方法を適用し、皮質骨と海面骨の境界面を定義する画像処理方法であり、3次元の骨分離画像を、被検骨を所定間隔で断層撮影した複数の連続した各画像から皮質骨部と海綿骨部とが分離された各部の分離画像を作成し、該分離画像を積み重ねることにより生成することを特徴とする、画像処理方法にて生成される境界面に対し、3次元空間上に独立している境界面の面積に関する情報を得るための計測方法。
  3. 被検骨断面の2値化画像に基づいて皮質骨と海綿骨とを分離した画像上にて、その分離切断面部(以下、境界面とよぶ)に対し物体の境界面を定義する方法を適用し、皮質骨と海面骨の境界面を定義する画像処理方法であり、3次元の骨分離画像を、被検骨を所定間隔で断層撮影した複数の連続した各画像から皮質骨部と海綿骨部とが分離された各部の分離画像を作成し、該分離画像を積み重ねることにより生成することを特徴とする、画像処理方法にて生成される境界面に対し、3次元空間上に独立している境界面の周囲長に関する情報を得るための計測方法。
  4. 被検骨断面の2値化画像に基づいて皮質骨と海綿骨とを分離した画像上にて、その分離切断面部(以下、境界面とよぶ)に対し物体の境界面を定義する方法を適用し、皮質骨と海面骨の境界面を定義する画像処理方法であり、3次元の骨分離画像を、被検骨を所定間隔で断層撮影した複数の連続した各画像から皮質骨部と海綿骨部とが分離された各部の分離画像を作成し、該分離画像を積み重ねることにより生成することを特徴とする、画像処理方法にて生成される境界面に対し、3次元空間上に独立している境界面の円形度に関する情報を得るための計測方法。
JP2001501107A 1999-06-03 2000-06-02 骨計測方法 Expired - Fee Related JP4495891B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP15650099 1999-06-03
PCT/JP2000/003603 WO2000074567A1 (fr) 1999-06-03 2000-06-02 Procede de mesure d'un os

Publications (1)

Publication Number Publication Date
JP4495891B2 true JP4495891B2 (ja) 2010-07-07

Family

ID=15629129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001501107A Expired - Fee Related JP4495891B2 (ja) 1999-06-03 2000-06-02 骨計測方法

Country Status (3)

Country Link
US (1) US6839457B1 (ja)
JP (1) JP4495891B2 (ja)
WO (1) WO2000074567A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002251559B9 (en) * 2001-04-26 2006-06-29 Teijin Limited Three-dimensional joint structure measuring method
AU2002360293A1 (en) * 2001-11-23 2003-06-10 The University Of Chicago Differentiation of bone disease on radiographic images
US7046835B2 (en) * 2002-03-07 2006-05-16 Ge Medical Systems Global Technology Company Llc Method and system for processing vascular radiographic images which have been reconstructed by three-dimensional modelling
DE60317359T2 (de) * 2002-07-22 2008-08-28 Compumed, Inc., Los Angeles Verfahren, code und system für die untersuchung von gelenkdeformität
JP4405716B2 (ja) * 2002-08-26 2010-01-27 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置およびx線ctシステム
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4652717B2 (ja) 2004-04-26 2011-03-16 株式会社ミツトヨ 画像処理装置及び方法並びにプログラム
JP4211702B2 (ja) * 2004-05-12 2009-01-21 トヨタ自動車株式会社 鋳巣計測方法
EP1847221B1 (en) * 2005-02-09 2013-07-17 Hitachi Medical Corporation Diagnostic imaging support system and diagnostic imaging support program
US7570794B2 (en) * 2005-09-02 2009-08-04 Gm Global Technology Operations, Inc. System and method for evaluating a machined surface of a cast metal component
DE102006018516A1 (de) * 2006-04-21 2007-10-25 Spahn, Frank-Peter, Dr. Implantat, insbesondere Kieferimplantat, mit unterschiedlichen Materialeigenschaften
US7831078B2 (en) * 2006-07-24 2010-11-09 Siemens Medical Solutions Usa, Inc. System and method for statistical shape model based segmentation of intravascular ultrasound and optical coherence tomography images
JP5527869B2 (ja) * 2008-03-21 2014-06-25 国立大学法人神戸大学 画像診断支援処理装置および画像診断支援処理プログラム
US20090285467A1 (en) * 2008-05-15 2009-11-19 New Medical Co., Ltd. Method for assessing bone status
JP5479079B2 (ja) * 2009-12-24 2014-04-23 株式会社日立メディコ ノイズ除去方法及びその装置、ノイズ除去プログラム
US8891848B2 (en) * 2011-06-14 2014-11-18 Radnostics, LLC Automated vertebral body image segmentation for medical screening
US9384547B2 (en) * 2011-07-19 2016-07-05 Hitachi, Ltd. X-ray image diagnostic apparatus and method for controlling X-ray generation device
DE102013001808A1 (de) * 2013-02-04 2014-08-07 Ge Sensing & Inspection Technologies Gmbh Verfahren zur zerstörungsfreien Prüfung des Volumens eines Prüflings sowie zur Ausführung eines solchen Verfahrens eingerichtete Prüfvorrichtung

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773291A (ja) * 1993-09-02 1995-03-17 Res Dev Corp Of Japan 画像処理装置
JPH07284501A (ja) * 1994-04-18 1995-10-31 Toshiba Corp 三次元表示装置
JPH09262232A (ja) * 1996-03-29 1997-10-07 Teijin Ltd 骨計測方法
JPH09266905A (ja) * 1996-04-03 1997-10-14 Teijin Ltd 骨計測方法
JPH09294740A (ja) * 1996-05-07 1997-11-18 Teijin Ltd 骨計測方法
JPH09327455A (ja) * 1996-06-10 1997-12-22 Ge Yokogawa Medical Syst Ltd イメージ作成方法,イメージ作成装置及び医用画像診断装置
JPH1031753A (ja) * 1996-07-17 1998-02-03 Ge Yokogawa Medical Syst Ltd 3次元画像作成方法および医用画像診断装置
JPH1031754A (ja) * 1996-07-17 1998-02-03 Ge Yokogawa Medical Syst Ltd 3次元イメージ作成方法,3次元イメージ作成装置および医用画像診断装置
JPH119590A (ja) * 1997-06-23 1999-01-19 Toshiba Iyou Syst Eng Kk 画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4710876A (en) * 1985-06-05 1987-12-01 General Electric Company System and method for the display of surface structures contained within the interior region of a solid body
US4743259A (en) * 1986-10-29 1988-05-10 The University Of Virginia Alumni Patents Foundation Use of demineralized bone matrix in the repair of segmental defects
WO1995007509A1 (en) * 1993-09-10 1995-03-16 The University Of Queensland Stereolithographic anatomical modelling process
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
CA2201057C (en) 1996-03-29 2002-01-01 Kenji Morimoto A method of processing a sectional image of a sample bone including a cortical bone portion and a cancellous bone portion
US6115048A (en) * 1997-01-21 2000-09-05 General Electric Company Fast method of creating 3D surfaces by `stretching cubes`
US6084593A (en) * 1998-05-14 2000-07-04 Mitsubishi Electric Information Technology Center America, Inc. Surface net smoothing for surface representation from binary sampled data
US6591004B1 (en) * 1998-09-21 2003-07-08 Washington University Sure-fit: an automated method for modeling the shape of cerebral cortex and other complex structures using customized filters and transformations
US6430427B1 (en) * 1999-02-25 2002-08-06 Electronics And Telecommunications Research Institute Method for obtaining trabecular index using trabecular pattern and method for estimating bone mineral density using trabecular indices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773291A (ja) * 1993-09-02 1995-03-17 Res Dev Corp Of Japan 画像処理装置
JPH07284501A (ja) * 1994-04-18 1995-10-31 Toshiba Corp 三次元表示装置
JPH09262232A (ja) * 1996-03-29 1997-10-07 Teijin Ltd 骨計測方法
JPH09266905A (ja) * 1996-04-03 1997-10-14 Teijin Ltd 骨計測方法
JPH09294740A (ja) * 1996-05-07 1997-11-18 Teijin Ltd 骨計測方法
JPH09327455A (ja) * 1996-06-10 1997-12-22 Ge Yokogawa Medical Syst Ltd イメージ作成方法,イメージ作成装置及び医用画像診断装置
JPH1031753A (ja) * 1996-07-17 1998-02-03 Ge Yokogawa Medical Syst Ltd 3次元画像作成方法および医用画像診断装置
JPH1031754A (ja) * 1996-07-17 1998-02-03 Ge Yokogawa Medical Syst Ltd 3次元イメージ作成方法,3次元イメージ作成装置および医用画像診断装置
JPH119590A (ja) * 1997-06-23 1999-01-19 Toshiba Iyou Syst Eng Kk 画像処理装置

Also Published As

Publication number Publication date
WO2000074567A1 (fr) 2000-12-14
US6839457B1 (en) 2005-01-04

Similar Documents

Publication Publication Date Title
JP3888975B2 (ja) 3次元関節構造計測方法
JP4495891B2 (ja) 骨計測方法
Uppaluri et al. Quantification of pulmonary emphysema from lung computed tomography images
JP4469594B2 (ja) 疾患関連組織変化を測定するシステム
Saha et al. Volumetric topological analysis: a novel approach for trabecular bone classification on the continuum between plates and rods
Van Rikxoort et al. Automatic lung segmentation from thoracic computed tomography scans using a hybrid approach with error detection
Zhang et al. A three-dimensional fractal analysis method for quantifying white matter structure in human brain
JP5331299B2 (ja) 解剖学的構造内の疾患に関する疾患関連の変化の患者特異的解析を実行するための方法及びシステム
US6609021B1 (en) Pulmonary nodule detection using cartwheel projection analysis
Ahammad et al. Image processing based segmentation techniques for spinal cord in MRI
JP3656695B2 (ja) 骨計測方法および装置
JP2006512938A (ja) 筋骨格疾患の画像化マーカ
Karssemeijer et al. Recognition of organs in CT-image sequences: a model guided approach
JP2009207727A (ja) 椎***置決定装置および方法並びにプログラム
CN102171725B (zh) 脑室分析
US20210186409A1 (en) Biomarker for early detection of alzheimer disease
JP2009082463A (ja) 画像分析装置、画像処理装置、画像分析プログラム、画像処理プログラム、画像分析方法、および画像処理方法
Engelkes Accuracy of bone segmentation and surface generation strategies analyzed by using synthetic CT volumes
US8712117B2 (en) Methods, systems, and computer program product for virtually modifying surface region curvature to detect protrusions
da Silva Felix et al. Automatic Segmentation and Measurement of the Lungs in healthy persons and in patients with Chronic Obstructive Pulmonary Disease in CT Images
JP3258233B2 (ja) 骨計測方法
US20230289967A1 (en) Device for diagnosing spine conditions
US20220392614A1 (en) Determining characteristics of muscle structures using artificial neural network
JPH09271470A (ja) 骨計測方法
Javale et al. Reconstruction of Greyscale X-Ray for Boundary Analysis of Anatomical Structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees