JP4787171B2 - 弾力的な画像位置合わせ - Google Patents

弾力的な画像位置合わせ Download PDF

Info

Publication number
JP4787171B2
JP4787171B2 JP2006543707A JP2006543707A JP4787171B2 JP 4787171 B2 JP4787171 B2 JP 4787171B2 JP 2006543707 A JP2006543707 A JP 2006543707A JP 2006543707 A JP2006543707 A JP 2006543707A JP 4787171 B2 JP4787171 B2 JP 4787171B2
Authority
JP
Japan
Prior art keywords
image
landmarks
deformation field
landmark
tiling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006543707A
Other languages
English (en)
Other versions
JP2007516744A (ja
Inventor
カールセン,イングヴァー
ネッチュ,トーマス
フランツ,アストリット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007516744A publication Critical patent/JP2007516744A/ja
Application granted granted Critical
Publication of JP4787171B2 publication Critical patent/JP4787171B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Macromonomer-Based Addition Polymer (AREA)
  • Developing Agents For Electrophotography (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、デジタル撮像の分野に、たとえば医療撮像の分野に関する。特に、本発明は第一の画像(たとえばフローティング画像)および第二の画像(たとえば参照画像)を位置合わせする方法、画像処理装置ならびに第一の画像および第二の画像を位置合わせするためのコンピュータプログラムに関する。
同じオブジェクトの2つの画像が異なる投影から、または異なる時点において、あるいは関心のある対象の異なる動きの段階の間に撮られたとき、あるいは2つの画像が同じ対象からのものでなく同じクラスの複数の対象(たとえば2つの顔または2つの脳)からのものであるとき、対応を確立することがきわめて望ましいことがある。これらの対応を確立するために、2つのクラスの変形を補償してやる必要がある:撮像対象の平行移動および回転運動からくる剛体変形ならびに撮像対象の弾力的変形から来る非剛体変形である。そのような適用の例は、脳を、異状を解剖学的にみつけるため、あるいは脳に解剖学上の名称をラベル付けするために解剖学アトラスと対応させることである。もう一つの例は、たとえば拍動する心臓の時間的な変形を観察したり、あるいは患者の変形しうる領域(たとえば腹)の異なる時刻に撮られた画像を位置合わせすることである。もう一つの例は、コンピュータ断層撮影(CT: Computer Tomography)、磁気共鳴撮像(MRI: Magnetic Resonance Imaging)、超音波(US: Ultra Sound)、陽電子放射断層撮影(PET: Positron Emission Tomography)、単光子放出コンピュータ断層撮影(SPECT: Single Photon Emission Computed Tomography)といった異なる様式で取得された画像を組み合わせて、解剖学的および生理学的情報を組み合わせた分析を通じて診断プロセスを改善することである。
改善された画像位置合わせを提供することが本発明の目的の一つである。
本発明のある例示的な実施形態によれば、上記の目的は第一の画像および第二の画像を位置合わせする方法であって、
・前記第一および第二の画像中でそれぞれ重要な目印の第一および第二の集合を選択する段階であって、前記第一および第二の集合の目印は曖昧さなく互いに対応する、段階と;
・重要な目印の選択された前記第一および第二の集合に基づいて前記第一および第二の画像の単体タイリングを選択する段階と;
・前記第一の画像中で各目印について局所的な変形場を決定する段階と;
・決定された局所的な変形場を、前記第一の画像の領域を変換するための大域的な変形場に拡張する段階と;
・前記大域的な変形場を使って変形された前記第一の単体タイリングの各第一の単体タイルと、前記第二の単体タイリングの対応する第二の単体タイルとの類似性を推定する段階と;
・前記各第一の単体タイルと前記対応する第二の単体タイルとの推定された類似性が所定の閾値未満であるかどうかを評価する段階と;
・前記評価に基づいて、前記第一の単体タイル内に新しい目印を追加し、前記対応する第二の単体タイル内に対応する新しい目印を追加する段階と;
・前記決定する段階、前記拡張する段階、前記推定する段階、前記評価する段階および前記追加する段階を逐次反復的に実行する段階と
を含む方法によって解決されうる
換言すれば、本発明のこの例示的な実施形態によれば、目印、たとえば医療用途では解剖学的目印が、画像中で自動または手動で選択される。こうした目印が画像中で単体タイリングを定義するために使われる。たとえば、異なる心位相に関係する血管造影像において、LAD(left anterior descending[左前下降枝])およびLCX(left circumflex[左回旋枝])の交差点が異なる位相の画像における目印として使うことができる。次いで、第一の画像における第一の目印(単数または複数)を有する単体と第二の画像における第二の目印(単数または複数)を有する単体との間の類似性を表すための類似性値が決定される。この類似性値が画像を位置合わせするために使われる。
第一および第二の画像における対応する目印とは、たとえば解剖学的用途については、第一の画像や第二の画像において同じまたは対応する解剖学的構造をマークするものである。すなわち、第一の画像や第二の画像における対応する目印は、理想的には互いに位置合わせさせられるべき点または領域である。
本発明のもう一つの例示的な実施形態によれば、前記第一および第二の目印は選抜関数〔性格付け関数〕(qualifying function)に従って選択される。これはすなわち、たとえば最も重要な目印だけが、すなわち最も重要な対応特徴だけが目印として選択されるということを意味する。換言すれば、本発明のこの例示的な実施形態は、計算作業を、たとえば大きくて高度に非線形な変形および/または曖昧さのない精密な位置合わせを許容するよく描かれた解剖学的構造のために必要となる領域における、少ないが重要な目印に集中させる。目印は対話的に選択しても自動的に選択されてもよいことを注意しておく。
有利なことに、本発明のこの例示的な実施形態によれば、重要な目印と高度に非線形な変形を示す画像領域だけに集中することによって画像位置合わせのスピードおよび堅牢性が改善されうる。
前記第一および第二の画像における各目印について局所的な変形(local deformation)が決定されうる。これらの局所的な変形は画像についての大域的な変形に拡張される。大域的な変形(global deformation)は位置合わせ(registration)を実行するために使用されうる。
記第一および第二の画像中の目印によって定義される前記第一および第二の画像中のそれぞれの領域の間の類似性を記述するための類似性値が決定される。このことは大域的な変形場によってなされる。有利には、これにより、前記第一および第二の領域中の定義された領域の類似性値が決定されることができ、類似性値がまだ十分でない領域が識別されうる。
似性値がまだ十分でない領域について前記第一および第二の画像中で新たな目印が定義され、上記の方法が逐次的に反復される。すなわち、この新たな目印によって定義された新たな部分領域について、新しい部分類似性値を用いて新しい部分類似性が、この新しい目印の局所的な変形場を使うことにより決定される。この局所変形場は当該画像についての大域的変形場に拡張される。そして、新たに定義された部分領域すべてが、それぞれの類似性値が所定の閾値を満たすかどうかについてテストされ、まだだめなら、本発明のこの例示的な実施形態によれば、新たな目印または新たな領域が反復的に定義されうる。
精製プロセスが常に、類似性が不十分な領域に限られていて画像全体に適用されないという事実により、計算負荷が軽減されうる。さらに、この逐次的な精製を自動的または対話的のいずれかで実行することにより、非常に精密な位置合わせを許容する。
べての領域およびすべての部分領域のすべての類似性が所定の閾値を超えるまで当該方法が逐次的に反復される。
本発明のもう一つの例示的な実施形態によれば、当該方法はCTデータセット、MRIデータセット、PETデータセット、SPECTデータセットおよびUSデータセットのうちの一つに対する医療画像処理において適用される。
本発明のもう一つの例示的な実施形態によれば、目印および当該画像中のある領域の測定に基づく濃淡値のような類似性値に基づいた逐次的な精製によって非剛体的な画像位置合わせ方法を実行することを許容する画像処理装置が提供される。
有利なことに、本発明のこの例示的な実施形態に基づく画像処理装置は位置合わせスピードが改善されており、第一および第二の画像の非常に精密かつ堅牢な位置合わせを提供する。
本発明のもう一つの例示的な実施形態によれば、第一および第二の画像を位置合わせするためのコンピュータプログラムが提供される。コンピュータプログラムはC++のようないかなる好適なプログラミング言語で書かれてもよく、CD-ROMのようなコンピュータ可読装置上に保存されうる。本発明に基づくコンピュータプログラムはまた、ワールドワイドウェブのようなネットワーク上で呈され、そこからプロセッサの内部的な作業メモリなどにダウンロードされるのでもよい。
本発明の例示的な実施形態の要旨として、非剛体的な画像位置合わせが局所的なテンプレートマッチングを組み合わせる目印に基づいた逐次的な精製プロセスによって実行されるということを見ることができる。局所的テンプレートマッチングの例は、たとえばP. R¨osch et al., “3D respiratory motion compensation by template propagation”、T. Dohi and R. Kikinis(編) “Proceedings of the 5th international conference on medical image computing and computer-assisted intervention”―MICCAI 2002, pp. 639-646, Springer, 2002に記載されており、これはここに参照により組み込まれる。
それぞれの領域における画像類似性は、たとえばJ. V. Hajnaletal(編)“Medical image registration”, CRC Press, 2001に従って決定でき、これはここに参照により組み込まれる。該方法は計算作業を少ないが重要な目印に集中させ、大きく高度に非線形な変形および/または曖昧さのない精密な位置合わせを許容するよく描かれた解剖学的構造のために必要とされている領域においてのみ自動的に変形場を精製する。画像Aを参照画像Bと位置合わせする必要があるとすると、少ないが重要な目印から出発して、画像Aはd+1(d=当該データセットの次元)個の隣り合う目印によって張られる単体PAを用いて単体分割される。近傍における局所的な(たとえばアフィン)変形に基づいてBにおける目印を位置特定することによって大域的な変形場Dが構築される。すべての単体(前記諸目印によって定義される領域)PAは単体PB=D(PA)に変換され、たとえばPA内にある画像Aの濃淡値とPB内にある画像Bの濃淡値との類似性が互いの情報すなわち相互相関を使って推定される。PAとPBが十分に類似していなければ、ある新たな目印がPA内に位置指定され、PAはd+1個のより小さな複数の単体に分割される。有利には、このため、タイリングは所望の類似性が達成されるまで逐次的に精製され、結果として局所的な非線形性に、およびたとえば解剖学的構造に自動的に適応するタイリンググリッドを生じる。
これらのことを含む本発明のさまざまな側面は以下に述べる実施形態を参照して明らかとなり、明快となるであろう。
本発明の例示的な実施形態について以下に図面を参照しつつ述べる。
図1は、本発明に基づく方法の例示的な実施形態を実行するための、本発明に基づく画像処理装置の例示的な実施形態を描いている。図1に描かれた画像処理装置は中央処理装置(CPU: central processing unit)または画像プロセッサ1を有している。これは当該方法の間に使用または生成される画像または類似性値を保存するためのメモリ2に接続されている。画像プロセッサ1は複数の入出力ネットワークまたはMR装置もしくはCT装置といった診断装置に接続されていてもよい。さらに、画像プロセッサ1は超音波スキャナに接続されていてもよい。画像プロセッサはさらに、画像プロセッサ1で計算または適応された情報または画像を表示するための表示装置4(たとえばコンピュータモニタ)に接続されている。操作者はキーボード5および/または図1には描かれていないその他の入出力装置を通じて画像プロセッサ1と対話できる。
図2は、第一の画像および第二の画像を位置合わせするための方法の例示的な実施形態のフローチャートを示している。
以下では、本発明を医療画像処理との関連で述べる。ここでは目印は画像中の解剖学的特徴に、ならびに/または大きく高度に非線形な変形および/もしくは曖昧さのない精密な位置合わせを許容するよく描かれた解剖学的構造をもつ領域に関係する。しかし、本発明は医療以外の用途にも適用可能であることを注意しておくべきである。たとえば材料試験や品質管理において実際の製品が参照画像と比較される場合などである。また、この技法は、撮影された顔をあらかじめ登録されている顔とマッチさせて顔または人物を識別する画像認識システムに使ってもよい。
要するに、以下で図2を参照しつつ述べる本発明のこの例示的な実施形態に基づく方法は、局所的テンプレートマッチングと濃淡値に基づく画像類似性の測定とを組み合わせる解剖学的目印に基づいた逐次的精製プロセスによる非剛体的な画像位置合わせに関するものである。画像Aを参照画像Bと位置合わせする必要があるフロート画像とする。少ないが重要な目印(対話的または自動的に選択される)から出発して、画像Aはd+1(d=当該データセットの次元)個の隣り合う目印によって定義される単体PAを用いてタイル分割される。近傍における局所的な(たとえばアフィン)変形に基づいて画像Bにおける目印を位置特定することによって大域的な変形場Dが構築される。すべての単体PAは単体PB=D(PA)に変換され、PA内にある画像Aの濃淡値とPB内にある画像Bの濃淡値との類似性がたとえば互いの情報すなわち相互相関を使って推定される。PAとPBが十分に類似していなければ、ある新たな目印がPA内に位置指定され、PAはd+1個のより小さな単体に分割される。このようにして、タイル分割は所望の類似性が達成されるまで逐次的に精製され、結果として局所的な非線形性および解剖学的構造に自動的に適応するタイル分割グリッドを生じる。逐次反復は、類似性の尺度がすべての単体において十分良好となったときに、あるいは精製ステップの最大回数に達したときに停止されうる。結果として得られる大域的変形場は次いで所与の画像の位置合わせをするのに使用される。当該方法は、目印を選択するための選抜関数、目印を中心としたテンプレートマッチングのための局所的類似性の尺度、単体どうしの類似性を推定するための大域的類似性尺度および非線形変形をモデル化するために使われる変換のタイプを関係する様態、解剖学的領域およびコントラスト機構に合わせて調整する余地がある。これについて図2を参照しつつさらに詳細に述べる。
図2では、位置合わせされるべき画像が取得されるステップS1での開始後、ステップS2では、画像AおよびBの両方において曖昧さなく互いに割り当てまたは付与できる、すなわち曖昧さなく互いに対応する重要な目印(複数)の集合{Li}が選択される。ここで目印の重要性が所定の選抜関数によって定義されうる。これらの目印Liを用いて画像の単体タイル分割{Pi}が決定される。二次元画像については単体は三角形であり、三次元画像については単体は四面体である。このことは画像Aまたは画像Bを描いている図3においてさらに詳細に示されている。ここでは5つの目印(landmark)L1からL5が選択されている。図3からわかるように、目印は互いに線で結ばれており、それにより単体(ここでは三角形)が形成されている。これらの単体が画像領域をタイル分割する。これは単体タイリングと称することもできる。
上に示したように、目印Liの選択は自動的にまたは操作者によって対話的に実行されうる。そのような目印選択を自動的に実行するため、たとえば画像中で最も明るい点または画像中のある勾配を検出する上記の選抜関数が適用されうる。
次いでその後のステップS3では、局所的な変形場Di(Li,Ui)が各目印Liについて決定される。つまり、各目印Liを囲んで局所的変形場Di(Li,Ui)が、該それぞれの目印Liを囲む近傍または領域Ui内で決定される。
領域Uiの形、大きさおよび/または次元は、十分な構造、すなわち局所的変形を曖昧さなく決定できるようにする十分な画像エネルギーが領域Ui内に存在するよう設定される。さらに、Uiの大きさ、形および/または次元は、局所的変形がアフィン変換によって十分に近似されうるように選択される。
このことは図4においてさらに詳細に示されている。ここではそれぞれの目印L1からL5を囲む領域U1からU5が示されている。図4からわかるように、領域U1からU5の形は円である。しかし、長方形などその他の形も適用しうることを注意しておくべきである。これらの領域U1からU5の内部ではそれぞれの局所変形場D1(L1,U1) からD5(L5,U5)が決定される。
その後のステップS4では、局所変形場Di(Li,Ui)は領域I上の大域的変形場に拡張される。つまり、局所変形場Di(Li,Ui)は画像A内の全画像領域Iの上への大域的変形Dに拡大されるのである。
ある例示的な実施形態によれば、局所的変形場Di(Li,Ui)が大域的変形場Dに拡張される仕方を変えることによって、本方法は個別の用途に適応されうる。そのような拡張を実行するために、たとえば、ガウス関数、多項式関数、たわみ関数すなわちスプラインを使うことができる。
その後のステップS5では、類似性(similarity)Si=S(B|D(Pi),D(A)|D(Pi))が決定される。換言すれば、各タイル、領域またはタイリングの部分Piにおいて、参照画像B|D(Pi)と変換されたフロート画像D(A)|D(Pi)との間の、あるいは変換された参照画像とフロート画像との間の類似性を表す類似性Siである。有利には、類似性値は、画像間の一致度が高いほど大きくなり、最大値まで単調であるように選択される。次いで、その後のステップS6において、Sj≦Σとなる単体Pjがあるかどうかが決定される。
類似性値Sのあらかじめ選択された値Σは、タイル分割{Pi}のどの部分において、すなわちどの単体において参照画像Bと変換されたフロート画像Aとの間の一致度がまだ十分でないかを決定する。ステップS6でSj<Σとなる単体Pjがあると判定された場合には、本方法はステップS7に進んで、精製が実行される。そうでなければ本方法はステップS8に進んで終了する。
ステップS7では、Sj<Σとなる単体Pjにおいて、すなわち精製されるべき単体内で新たな目印が選択される。図5に示された本発明の例示的な実施形態によれば、新たな目印L6が前記選抜関数に従って単体Pj内の最も重要な目印L′であるように選択される。この目印が目印の集合に{Li}={Li}∪L6として追加される。新たな目印L6を用いて単体Pjがタイル分割される。ここで、L6は各バーテックス(目印L2、L4、L5)に直線で結ばれている。これにより、二次元画像については、三つの新たな三角形が生成され、三次元画像については四つの新たな四面体が生成される。一般に、空間次元dについて(d+1)個の新たな単体が生成される。単体の集合{Pi}において、当該単体Pjは(d+1)個の新たな単体によって置き換えられる。次いで、新たな目印の集合{Li}および単体の集合{Pi}を用いて、逐次反復はステップS3に戻る。ここで、既存の目印および既存の領域Uiについては、局所的変形Diが維持される。本方法はSj<Σとなる単体Pjが残っていなくなるまで逐次的に継続される。
図5および図6は、ステップS3からS7によって述べられたような本発明に基づく方法に基づくさらなる処理を描いている。図5では、Sj<Σとなる単体Pjに斜線が施されている。類似性値がある閾値よりも小さい目印L2、L4、L5によって定義されるこの斜線の単体Pjについて、新たな目印L6が選択される。好ましくは、上に示したように、目印L6は領域Pj内の重要な、または最重要な目印である。次いで、L6をPjの目印L2、L4、L5と結ぶことによって、三つの新たな単体が生成される。次いで、局所的変形場D6(L6,U6)が決定され、ローカル変形場は大域的な変形場に拡張される。次いで、これら三つの新しい三角形について類似性値が決定される。類似性値が所定の閾値未満である、すなわちSF<Σとなる三角形がある場合には、図6に示すように三角形PF内に新たな目印L7が選択される。本方法は、各三角形についての類似性値が閾値以上になるまで逐次的に続けられる。
上記の方法の適用例が図7に描かれている。図7では、呼吸系の呼気状態(A)(図7の左の画像)と吸気状態(B)(図7の右の画像)における2つのMR画像が示されている。目印L10、L11およびL12を使うことによる位置合わせは、横隔膜の動きが十分再構築できないため二つの画像の十分精密な登録を許容しない。そのため、逐次的に新しい重要な目印L13が追加されている。
有利なことに、上記の方法は、単一または複数の様式による画像データセットの非常に精密で信頼できる弾力的位置合わせを許容する。それは、重要な目印および高度に非線形な変形を示す画像領域に集中することによって画像位置合わせのスピードおよび堅牢性を改善することを許容しうる。さらに、それは、目印の重要な順位付けおよびマッチング、位置合わせの局所的および大域的品質ならびに非線形変換のタイプが、様式、解剖学的領域および期待される変形または適用領域に関して独立して最適化されることを許容しうる。それは、これらの重要度および品質の尺度に解剖学的構造についての先験的知識を組み込むことによって非常に異なった撮像様式どうしで位置合わせをすることも許容しうる。少ないが重要な目印に対する集中ならびにその非線形変形への自動的および空間的適応性により、上記の発明は、非常に高速で、たとえばインターベンション処置の間のリアルタイム位置合わせに好適となりうる。医療用途では、大域的な弾力的位置合わせは、異なる時点において、異なる様式を用いて、あるいは異なる患者について取得された画像を揃える必要があるさまざまな臨床的用途のために必要とされうる。たとえば異なる様式の画像が腫瘍の異なる側面を示す腫瘍診断および手術という重要な例では、事前および事後のインターベンション画像の比較、医療画像の時系列の解析、個々の画像のコホート研究から導かれる解剖学アトラスとのマッチングなどがある。しかし、上記の発明はいかなる二次元または三次元データセットにも適用しうることを注意しておく必要がある。
本発明の例示的な実施形態に基づく方法を実行するよう適応された、本発明の例示的な実施形態に基づく画像処理装置の概略図である。 図1に描かれた画像処理装置において実行されうる、本発明に基づく方法の例示的な実施形態の簡略化したフローチャートである。 本発明に基づく方法の例示的な実施形態に基づく、画像および該画像に対して実行される指示された操作の簡略化されたスケッチを示す図である。 本発明に基づく方法の例示的な実施形態に基づく、画像および該画像に対して実行される指示された操作の簡略化されたスケッチを示す図である。 本発明に基づく方法の例示的な実施形態に基づく、画像および該画像に対して実行される指示された操作の簡略化されたスケッチを示す図である。 本発明に基づく方法の例示的な実施形態に基づく、画像および該画像に対して実行される指示された操作の簡略化されたスケッチを示す図である。 本発明に基づく方法の例示的な実施形態に基づいて実行される呼吸系の呼吸運動の間の大域的な弾力的位置合わせの例として2枚の画像を示す図である。
符号の説明
S1 開始
S2 目印{Li}およびタイル{Pi}を生成
S3 局所的変形場Di(Li,Ui)を決定
S4 局所的変形場を領域I上の大域的変形場Dに拡張
S5 類似性Si=S(B|D(Pi),D(A)|D(Pi))を決定
S6 Sj<Σとなる単体Pjがあるか
S7 Pjの新たな目印L′を{Li}に追加;{Pi}内のPjをPj′,...,Pj d+1で置き換え
S8 終了

Claims (7)

  1. 第一の画像および第二の画像を位置合わせする方法であって:
    ・前記第一の画像中で重要な目印の第一の集合を選択し、前記第二の画像中で重要な目印の第二の集合を選択する段階であって、前記第一および第二の集合の目印は曖昧さなく互いに対応する、段階と;
    ・重要な目印の選択された前記第一および第二の集合に基づいて、前記第一の画像の第一の単体タイリングおよび前記第二の画像の第二の単体タイリングを選択する段階と;
    ・前記第一の画像中で各目印について局所的な変形場を決定する段階と;
    ・決定された局所的な変形場を、前記第一の画像の領域を変換するための大域的な変形場に拡張する段階と;
    ・前記大域的な変形場を使って変形された前記第一の単体タイリングの各第一の単体タイルと、前記第二の単体タイリングの対応する第二の単体タイルとの類似性を推定する段階と;
    ・前記各第一の単体タイルと前記対応する第二の単体タイルとの推定された類似性が所定の閾値未満であるかどうかを評価する段階と;
    前記評価により前記推定された類似性が前記所定の閾値未満であることが示される場合、前記第一の単体タイル内に新しい目印を追加し、前記対応する第二の単体タイル内に対応する新しい目印を追加する段階と;
    ・前記決定する段階、前記拡張する段階、前記推定する段階、前記評価する段階および前記追加する段階を逐次反復的に実行する段階とを含む、
    方法。
  2. 前記の追加された新しい目印および対応する新しい目印は、所定の選抜関数に基づいて選択される、請求項1記載の方法。
  3. 前記の追加された新しい目印は、前記選抜関数に基づき前記第一の単体内での最も重要な目印である、請求項2記載の方法。
  4. 前記局所的な変形場がアフィン変形である、請求項1記載の方法。
  5. 当該方法がCTデータセット、MRIデータセット、PETデータセット、SPECTデータセットおよび超音波撮像データセットのうちの一つに対する医療画像処理において適用されることを特徴とする、請求項1記載の方法。
  6. 第一の画像および第二の画像を保存するためのメモリと、前記第一の画像および前記第二の画像の位置合わせをするための画像プロセッサとを有する画像処理装置であって、前記画像プロセッサが:
    ・前記第一の画像中で重要な目印の第一の集合を選択し、前記第二の画像中で重要な目印の第二の集合を選択する手段であって、前記第一および第二の集合の目印は曖昧さなく互いに対応する、手段と;
    ・重要な目印の選択された前記第一および第二の集合に基づいて、前記第一の画像の第一の単体タイリングおよび前記第二の画像の第二の単体タイリングを選択する手段と;
    ・前記第一の画像中で各目印について局所的な変形場を決定する手段と;
    ・決定された局所的な変形場を、前記第一の画像の領域を変換するための大域的な変形場に拡張する手段と;
    ・前記大域的な変形場を使って変形された前記第一の単体タイリングの各第一の単体タイルと、前記第二の単体タイリングの対応する第二の単体タイルとの類似性を推定する手段と;
    ・前記各第一の単体タイルと前記対応する第二の単体タイルとの推定された類似性が所定の閾値未満であるかどうかを評価する手段と;
    前記評価により前記推定された類似性が前記所定の閾値未満であることが示される場合に、前記第一の単体タイル内に新しい目印を追加し、前記対応する第二の単体タイル内に対応する新しい目印を追加する手段と;
    ・前記決定すること、前記拡張すること、前記推定すること、前記評価することおよび前記追加することを逐次反復的に実行する手段とを有する
    装置。
  7. 第一の画像および第二の画像を位置合わせするためのコンピュータプログラムであって、プロセッサ上で実行されたときに該プロセッサをして以下の動作:
    ・前記第一の画像中で重要な目印の第一の集合を選択し、前記第二の画像中で重要な目印の第二の集合を選択する段階であって、前記第一および第二の集合の目印は曖昧さなく互いに対応する、段階と;
    ・重要な目印の選択された前記第一および第二の集合に基づいて、前記第一の画像の第一の単体タイリングおよび前記第二の画像の第二の単体タイリングを選択する段階と;
    ・前記第一の画像中で各目印について局所的な変形場を決定する段階と;
    ・決定された局所的な変形場を、前記第一の画像の領域を変換するための大域的な変形場に拡張する段階と;
    ・前記大域的な変形場を使って変形された前記第一の単体タイリングの各第一の単体タイルと、前記第二の単体タイリングの対応する第二の単体タイルとの類似性を推定する段階と;
    ・前記各第一の単体タイルと前記対応する第二の単体タイルとの推定された類似性が所定の閾値未満であるかどうかを評価する段階と;
    前記評価により前記推定された類似性が前記所定の閾値未満であることが示される場合、前記第一の単体タイル内に新しい目印を追加し、前記対応する第二の単体タイル内に対応する新しい目印を追加する段階と;
    ・前記決定する段階、前記拡張する段階、前記推定する段階、前記評価する段階および前記追加する段階を逐次反復的に実行する段階とを実行せしめる、
    コンピュータプログラム。
JP2006543707A 2003-12-11 2004-12-10 弾力的な画像位置合わせ Expired - Fee Related JP4787171B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03104644.4 2003-12-11
EP03104644 2003-12-11
PCT/IB2004/052746 WO2005059831A1 (en) 2003-12-11 2004-12-10 Elastic image registration

Publications (2)

Publication Number Publication Date
JP2007516744A JP2007516744A (ja) 2007-06-28
JP4787171B2 true JP4787171B2 (ja) 2011-10-05

Family

ID=34684572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006543707A Expired - Fee Related JP4787171B2 (ja) 2003-12-11 2004-12-10 弾力的な画像位置合わせ

Country Status (7)

Country Link
US (1) US8326086B2 (ja)
EP (1) EP1695287B1 (ja)
JP (1) JP4787171B2 (ja)
CN (1) CN100538739C (ja)
AT (1) ATE499665T1 (ja)
DE (1) DE602004031551D1 (ja)
WO (1) WO2005059831A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672540B2 (en) * 2005-07-13 2010-03-02 Siemens Medical Solutions USA, Inc, Nonrigid registration of cardiac perfusion MR images using adaptive local template matching
US8406851B2 (en) * 2005-08-11 2013-03-26 Accuray Inc. Patient tracking using a virtual image
JP2009515588A (ja) * 2005-11-10 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 適応ポイントに基づく伸縮性画像レジストレーション
JP4794993B2 (ja) * 2005-11-17 2011-10-19 富士フイルムRiファーマ株式会社 画像診断支援装置及び画像表示方法
ATE432511T1 (de) * 2005-12-08 2009-06-15 Koninkl Philips Electronics Nv System und verfahren zur ermöglichung der auswahl einer bildregistrations-transformation
EP1966761A2 (en) * 2005-12-22 2008-09-10 Philips Intellectual Property & Standards GmbH Adaptive point-based elastic image registration
CN101443816B (zh) * 2006-05-11 2016-01-06 皇家飞利浦电子股份有限公司 用于图像引导下辐射治疗的图像可变形配准
CN100411587C (zh) * 2006-07-06 2008-08-20 上海交通大学 基于机器学习的立体核磁共振脑图像弹性配准方法
US7693349B2 (en) * 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
EP1956553B1 (en) * 2007-02-09 2009-08-19 Agfa-Gevaert Visual enhancement of interval changes using a temporal subtraction technique.
US8121362B2 (en) 2007-04-30 2012-02-21 Siemens Medical Solutions Usa, Inc. Registration of medical images using learned-based matching functions
US8554573B2 (en) 2007-07-27 2013-10-08 Koninklijke Philips N.V. Interactive atlas to image registration
US20100272330A1 (en) * 2007-08-03 2010-10-28 Koninklijke Philips Electronics N.V. Anatomically constrained image registration
JP5449175B2 (ja) * 2007-10-26 2014-03-19 コーニンクレッカ フィリップス エヌ ヴェ マルチモダリティ軟組織画像化のための閉ループレジストレーション制御
DE102008018387B4 (de) * 2008-04-11 2009-12-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bewegungskorrektur
EP2311005A1 (en) * 2008-08-04 2011-04-20 Koninklijke Philips Electronics N.V. Automatic pre-alignment for registration of medical images
WO2010082096A2 (en) * 2009-01-13 2010-07-22 Koninklijke Philips Electronics, N.V. Image based clinical trial assessment
US8811708B2 (en) * 2009-04-15 2014-08-19 Koninklijke Philips N.V. Quantification of medical image data
JP2011024763A (ja) * 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
GB0912845D0 (en) * 2009-07-24 2009-08-26 Siemens Medical Solutions Initialisation of registration using an anatomical atlas
US20110081061A1 (en) * 2009-10-02 2011-04-07 Harris Corporation Medical image analysis system for anatomical images subject to deformation and related methods
US20110081054A1 (en) 2009-10-02 2011-04-07 Harris Corporation Medical image analysis system for displaying anatomical images subject to deformation and related methods
US20110081055A1 (en) * 2009-10-02 2011-04-07 Harris Corporation, Corporation Of The State Of Delaware Medical image analysis system using n-way belief propagation for anatomical images subject to deformation and related methods
JP5587614B2 (ja) * 2010-01-13 2014-09-10 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
CN102802534B (zh) 2010-03-17 2015-05-06 富士胶片株式会社 医用图像转换设备、方法和程序
WO2011117789A1 (en) * 2010-03-24 2011-09-29 Koninklijke Philips Electronics N.V. System and method for producing an image of a physical object
JP5610129B2 (ja) * 2010-03-26 2014-10-22 富士通株式会社 3次元テンプレート変形方法、装置及びプログラム
WO2012035538A1 (en) 2010-09-16 2012-03-22 Mor Research Applications Ltd. Method and system for analyzing images
US9014454B2 (en) 2011-05-20 2015-04-21 Varian Medical Systems, Inc. Method and apparatus pertaining to images used for radiation-treatment planning
KR101904824B1 (ko) 2011-09-06 2018-11-29 리쿠아비스타 비.브이. 계면활성제 및 그것을 이용하여 전기 습윤 표시 장치를 제조하는 방법
CN102411781B (zh) * 2011-09-09 2013-11-13 华南理工大学 一种双能减影胸部x射线图像的运动校正***
US20130136329A1 (en) * 2011-11-30 2013-05-30 General Electric Company Method and system for automatically setting a landmark for brain scans
KR101323334B1 (ko) * 2012-05-14 2013-10-29 삼성메디슨 주식회사 볼륨 이미지 생성 장치 및 방법
BR112014032089A2 (pt) * 2012-06-27 2017-06-27 Koninklijke Philips Nv equipamento para o registro de imagens, e método
CN104036452B (zh) * 2013-03-06 2017-12-05 东芝医疗***株式会社 图像处理装置和方法以及医学图像设备
CN105246409B (zh) * 2013-06-06 2018-07-17 株式会社日立制作所 图像处理装置及图像处理方法
US9208562B1 (en) * 2014-05-20 2015-12-08 Camelot Biomedical Systems Srl Method for synchronized navigation of sets of two or more biomedical images
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN105241894B (zh) * 2015-08-28 2018-01-19 北京大恒图像视觉有限公司 一种用于多工序柔性印刷品检测的模板配准方法
JP6905323B2 (ja) * 2016-01-15 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP3500171B1 (en) 2016-08-22 2020-06-03 Koninklijke Philips N.V. Model regularized motion compensated medical image reconstruction
CN108053428A (zh) * 2017-12-28 2018-05-18 上海联影医疗科技有限公司 一种医学图像的配准方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172644A (ja) * 1995-10-18 1997-06-30 Sharp Corp アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
JPH10137231A (ja) * 1996-11-13 1998-05-26 Toshiba Iyou Syst Eng Kk 医用画像処理装置
JP2001523027A (ja) * 1997-11-07 2001-11-20 ワシントン・ユニバーシティ 目印および体積イメージによる高速畳込み式の大変形イメージ・マッチング方法
JP2002524807A (ja) * 1998-09-04 2002-08-06 フランス テレコム 2つの画像間の動きの推定方法
WO2002080110A1 (en) * 2001-03-29 2002-10-10 Koninklijke Philips Electronics N.V. Image processing method for fitness estimation of a 3d mesh model mapped onto a 3d surface of an object

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715166A (en) * 1992-03-02 1998-02-03 General Motors Corporation Apparatus for the registration of three-dimensional shapes
EP0599345B1 (en) * 1992-11-27 2002-06-05 Fuji Photo Film Co., Ltd. Method for adjusting positions of radiation images
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
KR0171146B1 (ko) * 1995-03-18 1999-03-20 배순훈 특징점을 이용한 움직임 벡터 검출 장치
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5982909A (en) * 1996-04-23 1999-11-09 Eastman Kodak Company Method for region tracking in an image sequence using a two-dimensional mesh
US6990248B2 (en) * 1996-05-09 2006-01-24 Koninklijke Philips Electronics N.V. Segmented video coding and decoding method and system
WO1999015945A2 (en) * 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
FR2779548B1 (fr) * 1998-06-05 2000-11-10 Thomson Csf Procede de suivi dynamique de l'evolution de milieux deformables, et de prediction de leur evolution
US6226542B1 (en) * 1998-07-24 2001-05-01 Biosense, Inc. Three-dimensional reconstruction of intrabody organs
US6820043B2 (en) * 1998-11-02 2004-11-16 T-Surf Corporation Modeling continuous properties on discontinuous surfaces
US6633686B1 (en) * 1998-11-05 2003-10-14 Washington University Method and apparatus for image registration using large deformation diffeomorphisms on a sphere
US6718290B1 (en) * 1998-12-10 2004-04-06 Georgia Tech Research Corporation Systems and methods for encoding tetrahedral meshes
US6535623B1 (en) * 1999-04-15 2003-03-18 Allen Robert Tannenbaum Curvature based system for the segmentation and analysis of cardiac magnetic resonance images
US6563941B1 (en) * 1999-12-14 2003-05-13 Siemens Corporate Research, Inc. Model-based registration of cardiac CTA and MR acquisitions
JP2001331799A (ja) * 2000-03-16 2001-11-30 Toshiba Corp 画像処理装置および画像処理方法
US6580821B1 (en) * 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
DE10048029A1 (de) * 2000-09-26 2002-04-25 Philips Corp Intellectual Pty Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
DE10163813A1 (de) * 2001-12-22 2003-07-03 Philips Intellectual Property Verfahren zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjektes
US20030140088A1 (en) 2002-01-24 2003-07-24 Robinson Scott H. Context-based information processing
US7177486B2 (en) 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
JP2006506153A (ja) * 2002-11-18 2006-02-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像レジストレーション方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172644A (ja) * 1995-10-18 1997-06-30 Sharp Corp アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
JPH10137231A (ja) * 1996-11-13 1998-05-26 Toshiba Iyou Syst Eng Kk 医用画像処理装置
JP2001523027A (ja) * 1997-11-07 2001-11-20 ワシントン・ユニバーシティ 目印および体積イメージによる高速畳込み式の大変形イメージ・マッチング方法
JP2002524807A (ja) * 1998-09-04 2002-08-06 フランス テレコム 2つの画像間の動きの推定方法
WO2002080110A1 (en) * 2001-03-29 2002-10-10 Koninklijke Philips Electronics N.V. Image processing method for fitness estimation of a 3d mesh model mapped onto a 3d surface of an object

Also Published As

Publication number Publication date
WO2005059831A1 (en) 2005-06-30
CN1890689A (zh) 2007-01-03
JP2007516744A (ja) 2007-06-28
DE602004031551D1 (de) 2011-04-07
ATE499665T1 (de) 2011-03-15
US20070179377A1 (en) 2007-08-02
EP1695287A1 (en) 2006-08-30
CN100538739C (zh) 2009-09-09
US8326086B2 (en) 2012-12-04
EP1695287B1 (en) 2011-02-23

Similar Documents

Publication Publication Date Title
JP4787171B2 (ja) 弾力的な画像位置合わせ
US10699410B2 (en) Automatic change detection in medical images
US11154196B2 (en) Deep-learnt tissue deformation for medical imaging
JP4576228B2 (ja) 生理学的モデルに基づく非剛体画像位置合わせ
Maes et al. Medical image registration using mutual information
Rueckert et al. Medical image registration
Soliman et al. An iso-surfaces based local deformation handling framework of lung tissues
US8787648B2 (en) CT surrogate by auto-segmentation of magnetic resonance images
Hartkens et al. Using points and surfaces to improve voxel-based non-rigid registration
JP2005521502A (ja) 胸部および腹部の画像モダリティの重ね合わせ
Pace et al. Deformable image registration of sliding organs using anisotropic diffusive regularization
Papież et al. Liver motion estimation via locally adaptive over-segmentation regularization
EP1652122B1 (en) Automatic registration of intra-modality medical volume images using affine transformation
Camara et al. Explicit incorporation of prior anatomical information into a nonrigid registration of thoracic and abdominal CT and 18-FDG whole-body emission PET images
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
Wein et al. Automatic non-linear mapping of pre-procedure CT volumes to 3D ultrasound
Pace et al. Sliding geometries in deformable image registration
Xu et al. A symmetric 4D registration algorithm for respiratory motion modeling
Zikic et al. Deformable registration of 3D vessel structures to a single projection image
Camara et al. Free form deformations guided by gradient vector flow: A surface registration method in thoracic and abdominal PET-CT applications
Li et al. Automatic registration of whole body serial micro CT images with a combination of point-based and intensity-based registration techniques
Chambon et al. CT-PET landmark-based lung registration using a dynamic breathing model
Dey et al. Estimation of cardiac respiratory-motion by semi-automatic segmentation and registration of non-contrast-enhanced 4D-CT cardiac datasets
Moreno et al. Combining a breathing model and tumor-specific rigidity constraints for registration of CT-PET thoracic data
Rahni et al. Extracting respiratory motion from 4D MRI using organ-wise registration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees