JP5547070B2 - 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体 - Google Patents

対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体 Download PDF

Info

Publication number
JP5547070B2
JP5547070B2 JP2010518775A JP2010518775A JP5547070B2 JP 5547070 B2 JP5547070 B2 JP 5547070B2 JP 2010518775 A JP2010518775 A JP 2010518775A JP 2010518775 A JP2010518775 A JP 2010518775A JP 5547070 B2 JP5547070 B2 JP 5547070B2
Authority
JP
Japan
Prior art keywords
image
bone
captured
imaging system
anatomical landmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010518775A
Other languages
English (en)
Other versions
JP2010535051A (ja
Inventor
ボルンフレト・ハラルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DePuy Orthopaedie GmbH
Original Assignee
DePuy Orthopaedie GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DePuy Orthopaedie GmbH filed Critical DePuy Orthopaedie GmbH
Publication of JP2010535051A publication Critical patent/JP2010535051A/ja
Application granted granted Critical
Publication of JP5547070B2 publication Critical patent/JP5547070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating thereof
    • A61B6/582Calibration
    • A61B6/583Calibration using calibration phantoms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

開示の内容
本発明は画像処理に関し、具体的には、画像間の対象の任意の動作を補正するように画像を処理するための方法、および装置に関する。
体の内部構造、特に骨の画像を取り込むために、様々な画像化技術が、アナログであろうとデジタルであろうと、医学的応用では広く用いられている。ある応用では、体の部分の複数の画像を取り込むことが有用であることがある。ある応用では、画像取り込み間に、体の部分が動くかどうかは問題にはならない。しかしながら、他の応用では、画像取り込み間に、体の部分が静止したままであることが重要であることがある。たとえば、異なる方向からの体の同じ部分の画像が必要とされる応用では、画像取り込み間に体の部分にまったく動作がないことが重要であることがあるが、そうでないならば、画像における特徴が、体の部分の真性の特徴であるのか、画像取り込み間の体の部分の動作により生み出されたアーチファクト(artefact)であるのかを決定することは困難である可能性がある。
たとえば、体の部分の統計的形状モデルを例示化するために、同じ体の部分の複数のX線画像を用いることがある。もしX線画像取り込み間に体の部分の動作が存在するならば、例示化されたモデルはあまり正確でないかもしれない。というのは、純粋な画像データよりもむしろ、画像データセットにおけるアーチファクトに適合しようとするからである。
既知の配置を有する基準を用いることがあり、その結果、基準を含んでいる取り込み画像から、基準に対する体の部分の位置を決定することができる。しかしながら、2つの投影画像を取得する間に経過する時間に、1つの座標系に画像を登録するために用いられるべき基準に対して、対象が動くかもしれない。軟組織(たとえば、心臓)を画像化する場合に、または、もし基準が目的物にしっかりと取り付けられていないならば、脚や腕といった四肢を画像化する場合に、このことが起こるかもしれない。たとえば、術前の骨モデル計算では、キャリブレーションオブジェクトが、体の部分にしっかりと取り付けられていないことがある(特に、肥満患者において、または、骨盤、大腿骨、上腕骨などに対して)。
体の硬い部分(たとえば、骨)の動作の場合や画像が少ない場合、モーションアーチファクト(motion artefact)は容易には認識されないかもしれないし、画像化システム配置の誤った再構築が起こるかもしれない。
米国特許出願公開第2005/0220264 A1号は、任意の動きを無効にするように、投影画像を修正する技術を説明している。しかしながら、画像修正によって、改ざんアーチファクトに起因する誤差がしばしば起こっている。
したがって、画像取り込み間の体の部分の動作の結果生じた、画像データにおけるアーチファクトの存在を少なくできることには、利点があるだろう。
本発明の第1の態様によると、画像化システムによる画像の取り込み間の体の部分の動作により引き起こされた、対象の体の部分の取り込み画像におけるモーションアーチファクトを修正するための方法を提供する。体の部分の第1の取り込み画像を表す第1の画像データセットであって、画像化システムが第1の配置を有した、第1の画像データセットを提供する。体の同じ部分の第2の取り込み画像を表す第2の画像データセットであって、画像化システムが第2の配置を有した、第2の画像データセットを提供する。第2の取り込み画像は、第1の取り込み画像とは異なる方向からである。第1の画像データセットを用いて、第1の取り込み画像において、少なくとも第1の解剖学的ランドマーク点の位置を同定する。第1の解剖学的ランドマーク点の位置を、第2の取り込み画像へ投影する。第1のランドマークからの逆投影情報を用いることができる。第2の画像データセットの同じ解剖学的ランドマーク点の位置を第1の解剖学的ランドマークの投影位置へマッピングするために必要とされる変換を決定する。このように決定された変換は、第2の画像が取り込まれた場合に、画像化システムに対する体の部分の真の位置を意味するか、または、その位置を入手するために用いることができる。
したがって、本発明は、取り込み画像で検出可能な体の部分の位置における変化に応じて、画像化配置を修正するアプローチに基づいている。このことは、画像を未変化のままにし、それゆえ、画像それ自体を修正することに基づくアプローチで起こることがあるアーチファクトをもたらさない。
ある位置を第1の画像から三次元(3D)空間へと逆投影することにより、逆投影射線に沿った三次元空間における一連の位置が生ずる。これらの位置を第2の画像に投影することにより、第2の画像における線を生ずる。投影位置は、第2の画像の線に対応しうる。線の長さは、最大値および最小値により規定することができる。
本方法は、第2の画像において、第1の解剖学的ランドマーク点についての投影位置(すなわち、線)と同じ解剖学的ランドマークの位置との分離を決定することをさらに含む。第2の画像における投影線と同じランドマークの位置との垂直分離により、分離を決定することができる。
変換を決定することには、分離を最小化することが含まれうる。正規化値として、分離を表現することができ、好ましくは単位元に対して、分離を正規化することができる。
シンプレックスアルゴリズム(Simplex algorithim)のような、様々な最小化アルゴリズムを用いることができる。
複数の異なる解剖学的ランドマーク点を用いることができる。たとえば、体の所与の部分について、少なくとも3つの異なる解剖学的ランドマーク点を用いることができる。
少なくとも第1の解剖学的ランドマーク点の位置を投影することには、第1の画像における第1の解剖学的ランドマーク点の位置を、画像化システムの三次元座標系へと変換することが含まれうる。位置を投影することには、画像化システムの三次元座標系から第2の画像における位置へと変換することが、さらに含まれうる。好ましくは、変換マトリクスを用いる。
変換を決定することには、パラメータ化された変換を適用することが含まれうる。最小化の間、パラメータは変化することができる。変換マトリクスを用いて、変換を適用することができる。
角回転、および/または、平行移動をパラメータ化することができる。好ましくは、3つの回転角、および3つの平行移動をパラメータ化する。
本方法は、画像化システムの正規直交入射の取り込み画像における位置を用いて、第1および第2の画像における解剖学的ランドマークの位置を決定することをさらに含みうる。
様々なタイプの画像化システムにより取り込まれた画像に、本方法を適用しうる。画像化システムは、X線画像化システムでありうるし、好ましくは、デジタルX線画像化システムでありうる。このようなシステムは、特に骨を画像化するために適しており、その場合、画像化されるべき体の部分は、少なくとも1つの骨を含むことができる。
好ましくは、画像化された体の部分には、対象の体の少なくとも1つの関節の、少なくとも一部分、または全体が含まれる。体の部分は、膝関節、足関節、股関節、肩関節、脊椎関節、および同様のものでありうる。
本方法は、第1の画像データセット、第2の画像データセット、および変換を用いて、統計的形状モデルを例示化することをさらに含みうる。
本方法は、第1および第2の画像を取り込むことをさらに含みうる。
本発明のさらなる態様は、本発明の方法態様を実行するための、データ処理装置により実行可能なコンピュータプログラムコードを提供する。本発明のさらなる態様は、このようなコンピュータプログラムコードを有するコンピュータ読み取り可能な媒体である。
本発明のさらなる態様は、画像化システムによる画像の取り込み間の、画像化システムの座標系に対する体の部分の動作により引き起こされた、対象の体の部分の取り込み画像におけるモーションアーチファクトを修正するための画像処理システムを提供する。画像処理システムには、少なくとも第1の保存装置であって、体の部分の第1の取り込み画像を表す第1の画像データセットであって、画像化システムが第1の配置を有した、第1の画像データセットと、体の同じ部分の第2の取り込み画像を表す第2の画像データセットであって、画像化システムが第2の配置を有し、第2の取り込み画像が、第1の取り込み画像とは異なる方向からである、第2の画像データセットとを保存する、少なくとも第1の保存装置が含まれうる。また、コントローラであって、第1の画像データセットからの第1の取り込み画像における少なくとも第1の解剖学的ランドマーク点の位置を同定し、少なくとも第1の解剖学的ランドマーク点の位置を、第2の取り込み画像へと投影し、第2の画像データセットの同じ解剖学的ランドマーク点の位置を第1の解剖学的ランドマークの投影位置へマッピングするために必要とされる変換を決定するように構成された、コントローラ、または、そのようなことが可能である、コントローラをも提供することができる。このように決定された変換は、第2の画像が取り込まれた場合に、画像化システムに対する体の部分の真の位置を意味するか、または、その位置を入手するために用いることができる。
本発明の実施態様を例示の目的のみで、添付の図面を参照して説明する。異なる図面における同様の項目は、別に指示しない限り、共通の参照番号を共有する。
一般的に、本発明の方法は、異なる角度から撮られた骨の投影画像の特徴を用いる。投影画像における骨ランドマークを同定する。既知の画像化配置について、1つの投影画像中に同定されたランドマークの位置を、他の各々の投影画像の軌道へ平行移動させる。本明細書では、「画像化配置(imaging geometry)」とは、各々の投影画像についての画像平面に対する、投影画像の源の相対的な位置を意味する。
もし第2の画像、また任意のさらなる画像において、同じランドマークを同定するならば、本方法は、同じランドマークが、画像化配置により予測されるだろう軌道上にあるかどうかを決定する。もしそうでないならば、画像化配置は誤って推定されている。このことは、基準を含むキャリブレーションオブジェクトが、目的物(たとえば、骨)にしっかりと取り付けられていないならば起こりうる。あるいは、より一般的には、2つの取得の間に、キャリブレーションオブジェクトに対して、骨が動いたためであろう。
本発明は、異なる角度から撮られた同じ骨の2つ以上の画像間の、空間関係に興味がある。もし、キャリブレーションオブジェクトに対して骨が動くならば、この動作を説明する変換を画像化配置に導入するべきである。変換のパラメータは、正しい変換(すなわち、第1の画像のランドマークから計算された軌道と可能な限り近い、第2の画像のランドマークをもたらす変換)が見出されるまで、変化する。したがって、正しい変換は、2つの画像が異なる方向から取り込まれた同じ骨のものであるために、どのように骨が移動するにちがいないかということと関係する。それから、2つの画像が共通基準系で利用可能であるために必要とされるような他の応用(たとえば、統計的形状モデルを例示化すること)において、変換を用いることができる。
本発明の方法は、投影画像が表面上の点を示さないが、構造全体にわたる投影を示すという点で、写真測量アプローチとは異なる。それゆえ、本方法は、画像間の三次元空間において明らかな対応のある、より少ない構造のままである。
また、本方法は、フーリエ変換法を用いたアラインメント法とも異なっている。このような方法は、画像化配置が、画像間で似通っている(たとえば、直交投影配置)という仮定に基づいている。しかしながら、円錐ビーム投影の中心ビームが、画像の一部である必要はないだろう。
高次のレベルで本発明の方法を説明してきたが、ここで図面を参照して、より詳細な説明を提供する。
図1は、本発明の画像修正方法100を説明するフローチャートを示す。術前に、手術の直前か手術の少し前かのいずれかに、患者の体の部分の少なくとも2つの画像を、画像化システムにより異なる方向から取り込む102。同じ体の部分の異なる方向から少なくとも2つの画像を取り込むことによって、その体の部分についての三次元構造情報を入手することができる。
図2は、画像取り込み工程102を実行するために用いられるシステム200を説明する概略図を示す。デジタルX線画像化システム202の形態の画像化システム202には、C型アーム206の第1の末端に取り付けられたX線源204、およびC型アームの第2の末端におけるデジタルX線画像検出器208が含まれる。他の実施態様では、アナログX線システムを用いることもあり、X線フィルムからの画像は処理のためにデジタル化される。画像取り込みをコントロールし、両矢印212により示されているようにC型アームを円周上に動かすための様々な電子機器を含むハウジング210の上に、C型アームを取り付ける。
患者214は支持表面216上に横になり、画像化する患者の部分(示された例では、患者の膝関節)をX線ビームが通過するように位置付けられる。X線キャリブレーションファントム(calibration phantom)218も、患者の膝の近くの支持表面上に置かれるため、キャリブレーションファントムも取り込み画像中に存在する。X線キャリブレーションファントムは、本分野では一般的に知られており、相対的な位置および分離の点で既知の空間配列を有する、多くのX線不透過の基準マーカーを含む。ファントムの基準を含む画像を取り込んだX線源の位置を、本分野で一般的に理解されるやり方で、取り込み画像における基準の見た目に基づいた配置を用いて、決定することができる。
図2に示されるように、第1のX線画像は、第1の位置のX線源204およびX線検出器208により取り込まれ、それから、少なくとも第2のX線画像が、第2の位置のX線源204’およびX線検出器208’(図2において点線で示されている)により取り込まれる。骨の少なくとも2つの異なる方向からの画像を取り込むが、2つよりも多い異なる方向から画像を取り込むことにより、本方法の正確性および信頼性を改善することができる。画像化システムに対する任意座標フレーム220を図2に示す。ご覧のとおり、C型アームはy軸周りに旋回し、二次元X線画像が一般的にx−y平面に取り込まれる。
図3は、x−y平面302に投影された、画像化システムにより取り込まれた患者の大腿骨頭の2つの放射線写真300を示す。第1の放射線写真304は、第1の位置におけるX線源により取り込まれ、第2の放射線写真306は、第2の位置におけるX線源により取り込まれた。第1の放射線写真は、患者の大腿骨頭308およびキャリブレーションファントム218の基準310の第1の投影画像を含む。第2の放射線写真は、患者の大腿骨頭312およびキャリブレーションファントム218の基準314の第2の投影画像を含む。点318は、X線ビームが第1の画像に対する画像平面上に直交入射し、座標(x01,y01)である、x−y平面における点を記す。点320は、X線ビームが第2の画像に対する画像平面上に直交入射し、座標(x02,y02)である、x−y平面における点を記し、図3に示すとおり、実際には取り込み画像中には落ちないかもしれない。また、図3には、第1の画像304における第1および第2の解剖学的ランドマーク点の位置322、324(たとえば、大腿骨の中心、および大転子の先端)、ならびに第2の画像306における同じ2つの解剖学的ランドマーク点の位置326、328が示されている。
図3は、第1および第2の画像の取り込み間に、患者の体の部分の動作が全くないというシナリオを説明している。X線源がy軸周りに回転するので、画像平面は回転しない。むしろ、画像平面はx−y平面に単純に平行移動する。画像における基準の位置310、314および入射の直交点の位置318、320から、各画像について三次元座標系へ逆投影して、X線源があるにちがいない位置を決定し、それにより、取り込み画像中に存在する基準の画像を生成することが可能である。画像間の参照フレーム220において、骨にまったく動作がないならば、骨の画像における任意の違いは、画像化配置および骨の実際の形状における違いのみによるものであるにちがいない。したがって、異なる画像化配置が基準から決定されうるので、両方の画像を同時に用いて、骨の三次元形状の正確な再構築のために、骨の三次元統計的形状モデルを例示化することが可能である。
図3に示すとおり、画像304における骨画像の位置308、および画像306における骨画像の位置312は、一般的に同じである。すなわち、画像取り込み間の骨画像の位置において、まったく変化がなかった。このことは、骨の特定の動作が起こらなかったことを意味する。しかしながら、もし骨が画像取り込み間にx軸方向にのみ平行移動するならば、画像内の骨のこの動作を、y軸周りのC型アームの回転(一般的に、x軸方向の画像平面の平行移動をもたらす)による画像それ自体の動作と区別することはできないだろう。
図4Aは、z−x平面における画像化配置400の図解を示す。図4Bは、図3と同様に、y−x平面における、対応する第1および第2の取り込み投影画像402を示すが、画像における基準点および直交入射の位置は省略されている。第1の画像404は、第1の位置410におけるX線源により取り込まれ、第2の画像406は、第2の位置408におけるX線源により取り込まれた。画像404は、患者の大腿骨412の画像を含み、2つの解剖学的ランドマーク、すなわち大腿骨頭の中心414および大転子の先端416を含む。工程104では、取り込み骨画像における複数の解剖学的ランドマークの位置(たとえば、位置414および416)を同定する。
以下の式において、ベクトルは先頭単位元(leading unit element)を含み、組み合わされた回転および平行移動についてのマトリクス変換の表記を容易にする(すなわち、同次座標アプローチを用いる)。
画像1における第i番目のランドマークの位置は、
Figure 0005547070
であり、画像2における第i番目のランドマークの位置は、
Figure 0005547070
である。
工程104で、画像におけるランドマーク点416を三次元空間に逆投影すると、線418により示されるように、X線源の位置410になる。X線源の位置408は、上記のとおり、画像406における基準点の画像から決定されうる。実際には、第1の画像における点416は、マトリクス
Figure 0005547070
(ただし、
Figure 0005547070
)を用いて、共通の三次元座標系に変換され、画像における点からX線源の位置までの射線418上の位置をコード化する。X線源410は、z軸上のz=0の点にあると考えられる。z軸上の画像平面404の位置はzと記され、zおよびzは、図4Aに示すとおり、目的の画像量が含まれる高さであり、z>z>zである。工程106で、線418に沿った三次元空間における最大位置420および最小位置422は、λを0および1に設定することにより規定される。
それから、工程110で、三次元空間における最大位置420および最大位置422を、第2の画像406へと投影し、最大位置および最小位置に対応する第2の画像における点424、426により、第2の画像における線428が規定される。実際には、最大位置420および最小位置422は、マトリクス
Figure 0005547070
を用いて、第2の画像に投影することができる。
第2の画像406において、点430、432は、同じ解剖学的ランドマーク414、416に対応する。工程112で、投影線428とランドマークとの間の直交距離434を決定する。以下の式に入力するために、直交線434の長さを、長さ1に対して正規化する。このように、ランドマークから投影線上の任意の点に向かうベクトルを有する正規化線のスカラー積は、直交距離を生む。正規化直交距離は以下の式において“ortholine”と呼ばれている。戻り線114により示されるように、上記の過程は一般的に、工程104で画像中に同定されたn個すべての解剖学的ランドマークに対して実行される。
それから、工程116で、第1の曝露および第2の曝露に対する骨のランドマークの三次元位置間の変換T3D1→3D2が見られる。その変換は、第2の画像におけるn個すべてのランドマーク点と、対応する投影線との間の直交線の長さ(たとえば、線428とランドマーク430との間の直交線434の長さ)を最小化する。すなわち、
Figure 0005547070
(ただし、pは変化することができる変換パラメータ、p=(d,d,d,α,β,γ)(たとえば、回転角および平行移動)を含む)。変換は、
Figure 0005547070
(ただし、dは変位ベクトルであり、Rは、x,y,z軸周りの回転角α,β,γである回転マトリクス
Figure 0005547070
)としてパラメータ化することができる。
最小化のために用いられるアルゴリズムは、シンプレックスアルゴリズムのような最小化のための標準アルゴリズムでありうる。したがって、最小化のための最終的な変換パラメータは、工程118で決定することができ、画像化された体の部分の位置を第1の曝露から第2の曝露へマッピングするだろう変換を特定することができる。したがって、患者の体に関連するモーションアーチファクトは、取り込み画像データから取り除くことができ、それにより、画像データはより正確に体の部分の形状のみを提示する。変換パラメータにより、第2の画像が取り込まれた時に、骨に対するX線源の真の位置を決定することが可能である。
たとえば、図4Bにおいて、第2の画像406における骨画像の下方向の変化は、画像取り込み間の、y軸方向の患者支持体上の患者の動作の結果かもしれない。変換パラメータを用いると、その患者モーションアーチファクトを、画像化配置の再構築に効果的に組み込むことができ、それにより、骨画像間の明らかな違いは、取得間の画像配置の違いを主に反映するだろう。本発明は、画像それ自体を実際には変更せず、むしろ画像化配置の再構築を変更する。
一般的に、患者の体の部分には、起こりうる3つの回転および3つの平行移動がある。第2の投影画像の前にX線システムがy軸周りに回転すると仮定すると、x軸方向の平行移動は容易には同定できない。というのは、逆投影射線上のランドマークの未知の位置によりもたらされる同様の効果により隠されるためである。y軸方向の平行移動は、第2の画像において、すべてのランドマークを上または下に移動させるだろう。z軸方向の平行移動は、ランドマーク間の間隔を広げたり狭めたりするだろう。y軸周りの回転は、すべてのランドマークが同じ線上に存在するので、検出するのが難しい。x軸周りの回転は、z軸に沿った平行移動と同様の効果があるが、実際には、z軸に沿った平行移動は、患者が成すには非常に難しい動作であり、したがって起こる見込みがない。z軸周りの回転は、ランドマークの位置に応じて、第2の画像において異なる大きさのランドマーク位置変化をもたらすだろう。もしランドマークのx座標が回転軸に近いならば、第2の画像において、あまり動作が見られないだろう。もしランドマークのx座標が、回転軸からかなり離れているならば、第2の画像において、より大きな量の動作が見られるだろう。
したがって、X線源の回転により影響されるものと同じ平面において起こる変位または回転は、検出されないだろう。たとえば、図1に示されるように、X線源がy軸周りに回転するならば、x軸に沿った骨の変位は検出するのが難しいだろう。同様に、y軸周りの骨の回転は検出するのが難しいだろう。というのは、これらのパラメータにより説明することができる変位は、第1の画像におけるランドマークの投影線に沿うが、その線に対して垂直な変位の成分をまったく含まない、第2の画像におけるランドマークの変位をもたらすからである。z軸に沿った変位は、x軸周りの回転と区別するのが難しいだろうが、画像化される所与の骨構造に対して起こりそうなのは1つだけである。y軸における任意の変位、またはx軸もしくはz軸周りの任意の回転を、本方法により修正することができる。
上記に説明した本発明の例示的な応用では、近位大腿骨のモデルを作るための2つの異なる角度からの2つのX線の記録に対して、修正を適用する。X線源は、第2の曝露に対する体の主軸の周りを回転する。この場合、修正できないパラメータは、骨の側面動作、骨の垂直動作、および骨の内向き/外向きの回転である。はじめの2つは、骨盤が、X線取得の間、テーブル上にしっかり据え付けられるだろうから起こる見込みはない。骨の内向き/外向きの回転は、(標準法の後)X線を取得する前に、内側に回転し、その回転中、脚を(たとえば、足部分で)固定することによって、防止することができる。この状況では、脚の湾曲または外転が、最も起こりそうな動作アーチファクトであり、これらは両方とも説明した方法を用いて修正することができる。
うまくいく修正のために必要とされるランドマークの数は、応用に依存する。上記に述べた自由度3を修正するための最小数は、3つのランドマークである。近位大腿骨の例では、これらのランドマークは、(i)大腿骨頭の中心、(ii)大転子の先端の内側部、および(iii)小転子の最近位部でありうる。
もし統計的形状モデルを例示化するために、X線画像を用いるならば、工程118で、変換パラメータを入手する。第1のX線画像を、統計的形状モデル由来のデジタル再構築された放射線写真と比較する。統計的形状モデルから第2のデジタル再構築された放射線写真を作るために、第2の画像の元のX線取り込みにおけるのと同じモーションアーチファクトを、投影間に適用して、実際の画像化配置を再構築する。
本発明は、統計的形状モデルによる使用に限定されず、ラジオステレオメトリック分析(radiostereometric analysis)(RSA)タイプの方法で用いて、モーションアーチファクトを修正することもできる。
X線画像は、支持体上の患者を取り込む必要はない。たとえば、X線画像は、膝立ちした患者または立っている患者を取り込むことができる。さらに、X線画像は、X線または他の画像化モダリティによって画像化できる、骨格の任意の部分を取り込むことができるが、特に、骨および関節に適している。
より多くのランドマークを同定する場合に、本方法の正確性を高めることができる。自動化画像処理方法を用いてランドマークを同定することによっても、正確性を高めることができる。しかしながら、同じランドマークを2つの投影画像上に投影することが重要である。たとえば、このことは骨の輪郭に対しては、必ずしも必要とされない。どこから骨を画像化するかに応じて、投影画像において、骨表面の異なる部分が顕著になるかもしれない。
別の実施態様では、骨のランドマークとして投影画像中に示されるような、小型の埋め込み粒子を用いることができる。これらの粒子は、画像を評価するソフトウェアを用いて自動的に認識することができる。
X線システムにより取り込まれたデジタル画像を表すデータセットにアクセスできる画像処理システムに、本発明の方法を組み込むことができる。画像処理システムを、X線画像化システムの一部分として、独立のシステムとして、または別のシステムの一部分(たとえば、コンピュータ支援の手術システムの一部分)として提供することができる。たとえば、画像処理システムを、コンピュータ支援の手術システムのモデリングシステムの一部分として提供することができるし、本方法により生成された画像データおよび変換データを、統計的形状モデリングに提供して、画像が取り込まれた場合に、X線画像および画像化システムに対する骨の真の位置に基づいて、より正確な統計的形状モデルを生成することができる。画像化処理システムは、ハードウェアにその全体を実装することができ、または、ハードウェアおよびソフトウェアの組み合わせとして実装することができる。
本発明の上記の説明において、画像の様々な特徴(たとえば、画像における線)について言及してきたことが理解されるだろう。しかしながら、画像のこのような特徴が生成され表示されることが必要でないことが理解されるだろう。むしろ、必要なのは、データにより(たとえば、数学的に)表されるこのような特徴が、本発明のために機能することのみであり、したがって、このような特徴に言及している説明および特許請求の範囲の用語は、これにしたがって解釈されるべきである。
〔実施の態様〕
なお、本願の実施態様は以下のとおりである。
(1)対象の体の部分の取り込み投影画像におけるモーションアーチファクトを修正するための方法であって、前記モーションアーチファクトが、画像化システムによる前記画像の取り込み間の、前記画像化システムの座標系に対する前記体の部分の動作により引き起こされる、方法において、
前記体の部分の第1の取り込み画像を表す第1の画像データセットを入手することであって、前記画像化システムが、前記座標系における第1の配置を有した、第1の画像データセットを入手することと、
同じ前記体の部分の第2の取り込み画像を表す第2の画像データセットを入手することであって、前記画像化システムが、前記座標系における第2の配置を有し、前記第2の取り込み画像が、前記第1の取り込み画像とは異なる方向からである、第2の画像データセットを入手することと、
第1の画像データセットから、前記第1の取り込み画像における、少なくとも第1の解剖学的ランドマーク点の位置を同定することと、
前記少なくとも第1の解剖学的ランドマーク点の位置を、前記第2の取り込み画像へと投影することと、
前記第2の画像データセットからの同じ前記解剖学的ランドマーク点の位置を、前記少なくとも第1の解剖学的ランドマークの前記投影位置へマッピングするために必要とされる変換を決定することであって、そのように決定された前記変換が、前記第2の画像が取り込まれた場合の、前記画像化システムに対する前記体の部分の真の位置を入手するために用いられる、変換を決定することと、
を含む、方法。
(2)実施態様(1)に記載の方法において、
前記少なくとも第1の解剖学的ランドマーク点の前記投影位置と、前記第2の画像における同じ前記解剖学的ランドマークの位置との間の分離を決定すること、
をさらに含み、
前記変換を決定することが、前記分離を最小化することを含む、方法。
(3)実施態様(1)または(2)に記載の方法において、
複数の解剖学的ランドマーク点が用いられる、方法。
(4)実施態様(1)に記載の方法において、
前記少なくとも第1の解剖学的ランドマーク点の位置を投影することが、前記第1の画像における前記第1の解剖学的ランドマーク点の前記位置を前記画像化システムの三次元座標系へと変換し、その後、前記画像化システムの前記三次元座標系から、前記第2の画像における位置へと変換することを含む、方法。
(5)実施態様(2)に記載の方法において、
前記変換を決定することが、パラメータ化された変換を適用することを含み、
前記パラメータが、最小化の間に変化する、方法。
(6)実施態様(5)に記載の方法において、
3つの回転角、および3つの平行移動がパラメータ化される、方法。
(7)実施態様(1)に記載の方法において、
前記第1および第2の画像における前記解剖学的ランドマークの位置を決定するために、前記画像化システムの正規直交入射の前記取り込み画像における位置を用いること、
をさらに含む、方法。
(8)実施態様(1)〜(7)のうちのいずれか1項に記載の方法において、
前記画像化システムが、X線画像化システムである、方法。
(9)実施態様(1)〜(8)のうちのいずれか1項に記載の方法において、
前記第1の画像データセット、前記第2の画像データセット、および前記変換を用いて、前記体の部分の統計的形状モデルを例示化すること、
をさらに含む、方法。
(10)コンピュータプログラムコードにおいて、
実施態様(1)〜(9)のうちのいずれか1項に記載の方法を実行するために、データ処理装置により実行可能である、コンピュータプログラムコード。
(11)コンピュータ読み取り可能な媒体において、
実施態様(10)に記載のコンピュータプログラムコードを有する、コンピュータ読み取り可能な媒体。
(12)対象の体の部分の取り込み投影画像におけるモーションアーチファクトを修正するための画像処理システムであって、前記モーションアーチファクトが、画像化システムによる前記画像の取り込み間の、前記画像化システムの座標系に対する前記体の部分の動作により引き起こされる、画像処理システムにおいて、
前記画像処理システムが、
少なくとも第1の保存装置であって、
前記画像化システムが前記座標系における第1の配置を有した場合に、前記体の部分の第1の取り込み画像を表す、第1の画像データセット、および、
前記画像化システムが前記座標系における第2の配置を有した場合に、同じ前記体の部分の第2の取り込み画像を表す、第2の画像データセットであって、前記第2の取り込み画像が、前記第1の取り込み画像とは異なる方向からである、第2の画像データセット、
を保存する、少なくとも第1の保存装置と、
コントローラであって、
前記第1の画像データセットから、前記第1の取り込み画像における少なくとも第1の解剖学的ランドマーク点の位置を同定すること、
前記少なくとも第1の解剖学的ランドマーク点の位置を、前記第2の取り込み画像へと投影すること、および、
前記第2の画像データセットからの同じ前記解剖学的ランドマーク点の位置を、前記少なくとも第1の解剖学的ランドマークの前記投影位置へマッピングするために必要とされる変換を決定することであって、そのように決定された前記変換が、前記第2の画像が取り込まれた場合の、前記画像化システムに対する前記体の部分の真の位置を入手するために用いられる、変換を決定すること、
が可能である、コントローラと、
を含む、画像処理システム。
本発明の画像修正方法を例示するフローチャートを示す。 患者の体の部分の第1および第2の画像を取り込むX線画像化システムの概略的な斜視図を示す。 異なる方向から取り込まれた体の同じ部分のX線画像の図解を示す。 2つの画像の取り込み間の画像化配置の図解を示し、図1の方法の例示した一部分を示す。 図4BのX線画像の図解を示す。

Claims (12)

  1. 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法であって、前記モーションアーチファクトが、画像化システムによる前記投影画像の取り込み間の、前記画像化システムの座標系に対する前記骨の動作により引き起こされる、方法において、
    前記骨の第1の取り込み投影画像を表す第1の画像データセットを入手することであって、前記画像化システムが、前記座標系における第1の配置を有した、第1の画像データセットを入手することと、
    同じ前記骨の第2の取り込み投影画像を表す第2の画像データセットを入手することであって、前記画像化システムが、前記座標系における第2の配置を有し、前記第2の取り込み投影画像が、前記第1の取り込み投影画像とは異なる方向からである、第2の画像データセットを入手することと、
    第1の画像データセットから、前記第1の取り込み投影画像における、前記骨の少なくとも第1の解剖学的ランドマーク点の位置を同定することと、
    前記少なくとも第1の解剖学的ランドマーク点の投影位置を定めるように、前記骨の前記少なくとも第1の解剖学的ランドマーク点の位置を、前記第2の取り込み投影画像へと投影することと、
    前記第2の画像データセットからの前記骨の同じ前記解剖学的ランドマーク点の位置を、前記骨の前記少なくとも第1の解剖学的ランドマーク点の前記投影位置へマッピングするために必要とされる変換を決定することであって、そのように決定された前記変換が、前記第2の画像が取り込まれた場合の、前記画像化システムに対する前記骨の真の位置を、前記取り込み投影画像それ自体を変更することなく、決定することが可能である、変換を決定することと、
    を含む、方法。
  2. 請求項1に記載の方法において、
    前記少なくとも第1の解剖学的ランドマーク点の前記投影位置と、前記第2の画像における同じ前記解剖学的ランドマークの位置との間の分離を決定すること、
    をさらに含み、
    前記変換を決定することが、前記分離を最小化することを含む、方法。
  3. 請求項1または2に記載の方法において、
    複数の解剖学的ランドマーク点が用いられる、方法。
  4. 請求項1に記載の方法において、
    前記少なくとも第1の解剖学的ランドマーク点の位置を投影することが、前記第1の画像における前記第1の解剖学的ランドマーク点の前記位置を前記画像化システムの三次元座標系へと変換し、その後、前記画像化システムの前記三次元座標系から、前記第2の画像における位置へと変換することを含む、方法。
  5. 請求項2に記載の方法において、
    前記変換を決定することが、パラメータ化された変換を適用することを含み、
    前記パラメータが、最小化の間に変化する、方法。
  6. 請求項5に記載の方法において、
    3つの回転角、および3つの平行移動がパラメータ化される、方法。
  7. 請求項1に記載の方法において、
    前記第1および第2の画像における前記解剖学的ランドマークの位置を決定するために、前記画像化システムのX線ビームの画像平面上における直交する入射の前記取り込み画像における位置を用いること、
    をさらに含む、方法。
  8. 請求項1〜7のうちのいずれか1項に記載の方法において、
    前記画像化システムが、X線画像化システムである、方法。
  9. 請求項1〜8のうちのいずれか1項に記載の方法において、
    前記第1の画像データセット、前記第2の画像データセット、および前記変換を用いて、前記骨の統計的形状モデルを例示化すること、
    をさらに含む、方法。
  10. コンピュータプログラムコードにおいて、
    請求項1〜9のうちのいずれか1項に記載の方法を実行するために、データ処理装置により実行可能である、コンピュータプログラムコード。
  11. コンピュータ読み取り可能な媒体において、
    請求項10に記載のコンピュータプログラムコードを有する、コンピュータ読み取り可能な媒体。
  12. 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための画像処理システムであって、前記モーションアーチファクトが、画像化システムによる前記投影画像の取り込み間の、前記画像化システムの座標系に対する前記骨の動作により引き起こされる、画像処理システムにおいて、
    前記画像処理システムが、
    少なくとも第1の保存装置であって、
    前記画像化システムが前記座標系における第1の配置を有した場合に、前記骨の第1の取り込み投影画像を表す、第1の画像データセット、および、
    前記画像化システムが前記座標系における第2の配置を有した場合に、同じ前記骨の第2の取り込み投影画像を表す、第2の画像データセットであって、前記第2の取り込み画像が、前記第1の取り込み画像とは異なる方向からである、第2の画像データセット、
    を保存する、少なくとも第1の保存装置と、
    コントローラであって、
    前記第1の画像データセットから、前記第1の取り込み投影画像における前記骨の少なくとも第1の解剖学的ランドマーク点の位置を同定すること、
    前記少なくとも第1の解剖学的ランドマーク点の投影位置を定めるように、前記骨の前記少なくとも第1の解剖学的ランドマーク点の位置を、前記第2の取り込み投影画像へと投影すること、および、
    前記第2の画像データセットからの前記骨の同じ前記解剖学的ランドマーク点の位置を、前記骨の前記少なくとも第1の解剖学的ランドマーク点の前記投影位置へマッピングするために必要とされる変換を決定することであって、そのように決定された前記変換が、前記第2の画像が取り込まれた場合の、前記画像化システムに対する前記骨の真の位置を、前記取り込み投影画像それ自体を変更することなく、決定することが可能である、変換を決定すること、
    が可能である、コントローラと、
    を含む、画像処理システム。
JP2010518775A 2007-08-01 2008-07-30 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体 Active JP5547070B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0714940.4A GB0714940D0 (en) 2007-08-01 2007-08-01 Image processing
GB0714940.4 2007-08-01
PCT/IB2008/002569 WO2009016509A2 (en) 2007-08-01 2008-07-30 Image processing of motion artefacts by landmark tracking

Publications (2)

Publication Number Publication Date
JP2010535051A JP2010535051A (ja) 2010-11-18
JP5547070B2 true JP5547070B2 (ja) 2014-07-09

Family

ID=38529083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010518775A Active JP5547070B2 (ja) 2007-08-01 2008-07-30 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体

Country Status (8)

Country Link
US (1) US8391580B2 (ja)
EP (1) EP2206085B1 (ja)
JP (1) JP5547070B2 (ja)
CN (1) CN101809620B (ja)
AU (1) AU2008281432B2 (ja)
CA (1) CA2695164C (ja)
GB (1) GB0714940D0 (ja)
WO (1) WO2009016509A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5328979B2 (ja) * 2009-05-12 2013-10-30 トヨタ自動車株式会社 物体認識方法、物体認識装置、自律移動ロボット
US9082177B2 (en) 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for tracking X-ray markers in serial CT projection images
US9826942B2 (en) 2009-11-25 2017-11-28 Dental Imaging Technologies Corporation Correcting and reconstructing x-ray images using patient motion vectors extracted from marker positions in x-ray images
US9082036B2 (en) 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for accurate sub-pixel localization of markers on X-ray images
US9082182B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Extracting patient motion vectors from marker positions in x-ray images
US9020235B2 (en) * 2010-05-21 2015-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for viewing and analyzing anatomical structures
US8488862B2 (en) * 2010-06-09 2013-07-16 Siemens Medical Solutions Usa, Inc. Characterization of source trajectory for radiotherapy
US8675939B2 (en) * 2010-07-13 2014-03-18 Stryker Leibinger Gmbh & Co. Kg Registration of anatomical data sets
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
EP2518690A1 (en) * 2011-04-28 2012-10-31 Koninklijke Philips Electronics N.V. Medical image processing system and method
CN103315739B (zh) * 2013-05-22 2015-08-19 华东师范大学 基于动态跟踪技术免除运动伪影的磁共振影像方法和***
GB201502877D0 (en) * 2015-02-20 2015-04-08 Cydar Ltd Digital image remapping
EP3421086B1 (en) * 2017-06-28 2020-01-15 OptiNav Sp. z o.o. Determination of geometrical information about a medical treatment arrangement comprising a rotatable treatment radiation source unit
US20230021332A1 (en) * 2021-07-26 2023-01-26 GE Precision Healthcare LLC Methods and system for dynamically annotating medical images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799055A (en) * 1996-05-15 1998-08-25 Northwestern University Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
AU7161598A (en) * 1997-04-21 1998-11-13 Virtual Technologies, Inc. Goniometer-based body-tracking device and method
DE19826994C1 (de) * 1998-06-19 1999-11-25 Forschungszentrum Juelich Gmbh Bildgebungsverfahren, Computer zur Auswertung von Daten und mit dem Computer ausgestatteter Kernresonanztomograph
US7184814B2 (en) * 1998-09-14 2007-02-27 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and assessing cartilage loss
US7239908B1 (en) * 1998-09-14 2007-07-03 The Board Of Trustees Of The Leland Stanford Junior University Assessing the condition of a joint and devising treatment
EP1230561B1 (en) 1999-11-01 2005-10-26 Arthrovision, Inc. Evaluating disease progression using magnetic resonance imaging
GB2390792B (en) * 2002-07-08 2005-08-31 Vision Rt Ltd Image processing system for use with a patient positioning device
DE102004016586A1 (de) 2004-03-31 2005-11-03 Siemens Ag Bildrekonstruktionseinrichtung für ein Röntgengerät sowie Verfahren zur lokalen 3D-Rekonstruktion eines Objektbereiches
JP4438053B2 (ja) 2004-05-11 2010-03-24 キヤノン株式会社 放射線撮像装置、画像処理方法及びコンピュータプログラム
GB2416101A (en) 2004-07-06 2006-01-11 Elekta Ab Imaging internal structures and correcting for motion artifacts
US7782998B2 (en) * 2004-12-21 2010-08-24 General Electric Company Method and apparatus for correcting motion in image reconstruction
JP2006175057A (ja) * 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 画像処理装置、そのプログラムおよび方法
EP2129284A4 (en) * 2007-03-08 2012-11-28 Sync Rx Ltd IMAGING AND TOOLS FOR USE WITH MOBILE ORGANS
EP2358269B1 (en) * 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures

Also Published As

Publication number Publication date
US20110249882A1 (en) 2011-10-13
CA2695164C (en) 2016-12-20
WO2009016509A3 (en) 2009-06-04
CN101809620B (zh) 2013-03-13
US8391580B2 (en) 2013-03-05
CN101809620A (zh) 2010-08-18
CA2695164A1 (en) 2009-02-05
GB0714940D0 (en) 2007-09-12
JP2010535051A (ja) 2010-11-18
AU2008281432A1 (en) 2009-02-05
EP2206085B1 (en) 2017-01-11
AU2008281432B2 (en) 2012-10-18
WO2009016509A2 (en) 2009-02-05
EP2206085A2 (en) 2010-07-14

Similar Documents

Publication Publication Date Title
JP5547070B2 (ja) 対象の骨の取り込み投影画像におけるモーションアーチファクトを修正するための方法、および画像処理システム、コンピュータプログラムコード、およびコンピュータ読み取り可能な媒体
US10426414B2 (en) System for tracking an ultrasonic probe in a body part
You et al. In vivo measurement of 3-D skeletal kinematics from sequences of biplane radiographs: application to knee kinematics
JP5134957B2 (ja) 運動中の標的の動的追跡
US20190000564A1 (en) System and method for medical imaging
US8897514B2 (en) Imaging method for motion analysis
US7970190B2 (en) Method and device for determining the location of pelvic planes
US20030021381A1 (en) Method and device for the registration of two 3D image data sets
LU101009B1 (en) Artificial-intelligence-based determination of relative positions of objects in medical images
US7925324B2 (en) Measuring the femoral antetorsion angle γ of a human femur in particular on the basis of fluoroscopic images
TWI836491B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
De Bruin et al. Image-based RSA: Roentgen stereophotogrammetric analysis based on 2D–3D image registration
US20200090380A1 (en) Motion correction of a reconstructed three-dimensional image dataset
Novosad et al. Three-dimensional (3-D) reconstruction of the spine from a single X-ray image and prior vertebra models
US9254106B2 (en) Method for completing a medical image data set
CN109155068B (zh) 组合式x射线/相机介入中的运动补偿
Abe et al. Analysis of forearm rotational motion using biplane fluoroscopic intensity-based 2D–3D matching
Lagacé et al. 3D reconstruction of the scapula from biplanar radiographs
Yamazaki et al. Development of three-dimensional kinematic analysis system for artificial knee implants using X-ray fluoroscopic imaging
CN113614785A (zh) 介入设备跟踪

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130723

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130823

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130920

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140514

R150 Certificate of patent or registration of utility model

Ref document number: 5547070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250