JP4469284B2

JP4469284B2 - ユーザによる修正を可能にした３次元データセットの抽出方法

Info

Publication number: JP4469284B2
Application number: JP2004558251A
Authority: JP
Inventors: カオス，ミヒャエル; ティミンガー，ホルガー; ペカール，ウラジミール
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-12
Filing date: 2003-12-05
Publication date: 2010-05-26
Anticipated expiration: 2023-12-05
Also published as: ATE392677T1; EP1573672A1; EP1573672B1; US7489313B2; DE60320453T2; US20060149511A1; AU2003302788A1; DE60320453D1; JP2006510078A; WO2004053792A1

Description

本発明はユーザによる修正を可能にした３次元データセット、特に医療用データセットなどから３次元構造を抽出する方法に関する。この方法はノードを接続するメッシュのネットワークによって形成される表面を有する変形可能な３次元モデルを適用して実施される。また、本発明はこの方法を実施する画像処理機構及びこの画像処理機構を制御するコンピュータプログラムに関する。

上述のような方法であって、但しユーザによる修正を可能にする手段が備えられていない方法が、非特許文献１において開示されている。ここで開示される方法では、変形可能モデルが弾性表面によって定義され、いわゆる内部及び外部エネルギーの作用によって該モデルの形状及び位置を変更できるように構成される。このモデルは抽出される構造についての既存の医療知識に基づいて生成されたものであり、内部エネルギーはモデルの形状をできる限り維持する機能を有し、外部エネルギーはモデルの表面を抽出される構造のエッジ側に動かす機能を有する。この外部エネルギーは３次元データセットから派生する。メッシュは例えばそれぞれ角部がモデル表面上の隣接する３つのノードによって定義される三角形などの形態をとることが可能である。

既存の方法では、候補点、すなわち抽出される構造の表面上（この表面は通常データセットにおけるデータ値によって示される顕著な勾配によって特徴付けられる）に位置すると思われる点が、３次元データセットにおける表面三角形の法線に沿って検索される。モデルの表面を定義するメッシュのネットワークの候補点が検索され確定されると、モデルのノードが、この検索された候補点に基づいて再算出される。この場合これらの新たに算出されるノードは内部エネルギー及び外部エネルギーの加重和が最小限となるように算出される。そして上述の処理が新たに算出されたノードに基づいて繰り返され、この処理を繰り返して行うにつれてモデルが抽出される構造の形状に近似していく。このような逐次処理はある停止条件（例えば繰り返し回数など）が満たされることにより終了する。

ところが上述のような抽出方法及びその他の自動抽出方法では、例えば３次元データセットにおけるアーチファクトなどに起因して抽出エラーが発生しうるという欠点がある。このような抽出エラーは抽出される構造とまた別の構造との間の距離が小さい場合に頻繁に生じうる。これに対して従来からこのような抽出エラーを回避するための各種方法が提案されている。以下においてそのいくつかの例を示す。

抽出エラーを回避又は修正する単純な方法としては、上述のようなマッチアップ処理を異なる初期モデルを適用して、抽出される構造に対して当該モデルを異なる初期位置に位置づけて繰り返す方法がある。この方法では上述のマッチアップ処理の結果を予測して抽出が実施されるため、ユーザ側に相当な経験が求められることとなる。また、抽出される構造が複雑である場合このように処理結果を予測することは不可能である。さらに、このような方法は長時間を要する。

これに対して一般的に適用される方法では、ユーザがマッチアップ処理に干渉することが可能である。すなわちマッチアップ処理が進行中にユーザは手動で例えばノードを変位させてモデルを変形させることができる。このような方法では、抽出される構造全体に対してユーザによる修正が視覚的に明確に示され得ないという欠点がある。したがって変形可能モデルをレイヤごとに確認し、必要に応じて修正しなくてはならない。よって正確な修正を行うには相当時間がかかる。

また別の一般的な方法として自動抽出が行われた後にマッチアップされたモデルを手動で変形する（例えばノードを変位させる）方法がある。この場合この変形されたモデルに基づいて再度自動抽出処理が行われる。しかしこの方法では、再度自動抽出を行ったときに内部及び外部エネルギーを最小化する工程において手動で変位されたノードが元の位置に戻されてしまうという問題がある。これは、変形可能モデルのエネルギーはこの元の位置において最小となるためである。
"Deformable models in medical image analysis: A survey", McInerney et al., Medical Image Analysis, 1(2): 91-108, 1996

本発明は時間及び演算処理量の観点からみて低コストで抽出エラーを回避又は修正することを可能にした抽出方法を提供することを目的とする。

この目的を達成するために、本発明は、ユーザによる修正を可能にした医療用データセットを含む３次元データセットから３次元構造を抽出する方法であって、
（ａ）ノードを接続するメッシュのネットワークによって形成される表面を有する３次元変形可能モデルを提供し、
（ｂ）上記モデルを３次元データセットにおける上記抽出される構造が位置する箇所に位置づけ、
（ｃ）上記ノードを手動で変位させ、
（ｄ）上記手動で変位されたノードについて加重された許容を付与したうえで上記モデルのノードを再算出する工程を含むことを特徴とする方法を提供する。

既存の方法に対して、本発明による方法では、変形可能モデルが再算出されるときに手動で変位されたノードに加重された許容が付与される。これよって手動で変位された各ノードがそれぞれ異なる度合いでモデルの変形において許容されることが可能となる。よって時間的観点からみて低コストでユーザ修正を実現することが可能となる。

また、請求項２には好適な実施形態として、変位されたノードのうち抽出される構造の境界面からの距離が小さいノードには、抽出される構造の境界面からの距離がより大きいノードに比べてより大きな許容が付与されるような方法が記載される。

また、請求項３には好適な実施形態として、好ましい抽出結果を得るためのノードの再算出方法が記載される。

また、請求項４には本発明による方法を実行する画像処理機構が記載される。請求項５には請求項4に記載される画像処理機構を制御するコンピュータプログラムが記載される。

これら及びその他本発明における各種形態は以下の説明によっていっそう明確に示される。

図１に示される画像処理機構は、画像処理・制御プロセッサ１と、抽出される構造に対応する変形可能モデル及び医療用３次元データセットなどのデータセットを記憶するメモリ２とを備える。画像処理・制御プロセッサ１は光ファイバーケーブル３などを介して磁気共鳴装置やコンピュータ・トモグラフィ装置などの画像形成装置（非図示）に接続されうる。画像処理・制御プロセッサ１によって抽出された構造はモニタ４において表示されうる。ユーザはキーボード５や図１には図示されないその他の入力装置を介して画像処理・制御プロセッサ１にアクセスすることができる。

図２は図１に示される画像処理機構によって実行されうる抽出方法を示すフローチャートである。

ステップ１００での初期化工程を経た後、ステップ１０１において抽出される構造に対応する変形可能モデルＭ及び抽出される構造を含む３次元データセットがロードされる。

図３は変形モデルＭの一実施例としての胸椎のモデルを示す図である。なお、本発明ではこれ以外の構造を変形モデルによって抽出することも可能である。例えば大腿骨の先端部又は心臓などの臓器を抽出することも可能である。この変形可能モデルＭの表面は三角形メッシュのネットワークによって形成され、これら三角形メッシュはそれぞれモデルの表面上の３つの隣接するノードを相互に接続する。なお、モデルの表面は三角形以外の多角形によって定義されることも可能であり、この場合ネットワークを構成するメッシュは３つ以上のノードを相互に接続して多角形をなす。

変形可能モデルは、それぞれ熟練したオペレータが手動でオブジェクトを抽出して得られた複数のトレーニング・データセットから生成されうる。ここで手動抽出されたオブジェクトは同一のトポロジーを有する。そして抽出されたオブジェクト全ての平均（最も単純な例では算術平均）を求めることによっていわゆる変形可能モデルと称されるオブジェクトが得られる。

なお、本発明による方法では、上記以外の方法（例えば胸椎モデルの三角形分割など）で生成される変形可能モデルを適用することも可能である。なお、一般的に適用される三角形分割法としては、例えば下記の文献に開示される方法が挙げられる。“Marching cubes: A high resolution 3D surface construction algorithm”, W. E. Lorensen and H. E. Cline, Computer Graphics, 21(3): 163-169, 1987.
次にステップ１０２において、変形可能モデルＭは抽出される構造に対して位置付けられる。この際モデルの表面が可能な限り抽出される構造の輪郭と一致するように位置付けられる。

ステップ１０３では変形モデルの部分を手動で変更することが可能である。ここでユーザはモデルにおける個々の表面三角形やノードを変位させることができる。ステップ１０４では、各マスクについて候補点
（外１）

が確定される。本実施例では変形可能モデルの表面上の各三角形について候補点が確定される。上記候補点はそれぞれ対応する表面三角形の法線ｎ_ｉ上に位置し、この表面法線ｎ_ｉは対応する表面三角形の中心点ｘ_ｉを原点とする単位ベクトルに相当する。ここでこれら各中心点の位置ｘ_ｉはそれぞれ対応する表面三角形におけるノードが手動変位される（ステップ１０３）前の元の位置を定義する。そして表面法線上の候補点の位置として以下の関数が最小化されるような位置が選択される。

この関数において、Ｄは任意に選択可能な定数であり、候補点を確定するに当たって該候補点の対応表面三角形からの離間距離に対してどの程度の許容を付与するかを示す。また、ｄは表面法線上の連続する２点間のスカラ距離を表し、ｊは表面法線上の点を指定するインデックス文字に相当する。なお、いわゆるエッジ検出関数Ｆ（ｘ）は点ｘが抽出される構造の表面に位置する確率を表す。この関数は例えば以下の等式から算出されうる。

この等式において、ｇ（ｘ）は３次元データセットにおける点ｘでのデータ値（この実施例では輝度値）の勾配を表す。なお、関数Ｆ（ｘ）はベクトルｎとｇ（ｘ）とのスカラ積であるため、この関数は勾配が表面法線方向に延びる場合に特に大きくなる。これはすなわち、抽出される構造の境界において３次元データセットの輝度値が急激に変化すると仮定すると、表面法線がこの境界面に垂直である場合に関数Ｆ（ｘ）が特に大きくなることを意味する。本実施例においては、抽出される構造の境界面付近のデータ値がこの構造の外部のデータ値よりも大きいと仮定する。よって勾配ｇ（ｘ）は抽出される構造の方位を指すこととなる。これに対して表面法線ｎは外側方向を指す。したがって本実施例では等式（２）における関数Ｆ（ｘ）の符号が境界において正符号となるように設定される。また別の実施例においては、境界面領域でのデータ値の相対的な大きさが上述のような場合にこの関数Ｆ（ｘ）の符号が負の符号となるように設定することも可能である。

なお、候補点は以下のような等式から算出される。

ここで、ｊ_ｉは上記等式（１）によって定義される関数が最小となる場合のｊの整数値を表す。

表面三角形又はノードが手動で変位され、変形可能モデルの表面上の各々の表面三角形に対応する候補点が確定されると、次にステップ１０５において変形可能モデルの表面が検索された候補点と合致（マッチ）するように処理される。これにより、当該モデルは以下に示されるいわゆるエネルギー関数が最小となるように変形される。

この等式において、Ｅ_ｅｘｔは表面三角形をステップ１０４において確定された候補点の方向に動かす外部エネルギーを表す。これに対してＥ_ｉｎｔはネットワークの変形を阻止するように作用する内部エネルギーを表す。エネルギーＥ_ｕｓｅｒは当該モデルをユーザによって変位されたノードや表面三角形の方向に変形させるエネルギーに相当する。加重係数α及びβは典型的には、上記３つのエネルギーそれぞれがエネルギー全体に対して同等の比率で作用するような値に設定される。

なお、外部エネルギーは変形可能モデルが候補点によって定義される構造に近づくにつれて小さくなるあらゆる力量に相当しうる。本実施例では、外部エネルギーＥ_ｅｘｔは以下のように表される。

上記等式における加算は全ての三角形について実施される。また、加重係数ｗ_ｉは以下の等式によって算出される。

上記等式（６）によると、抽出される構造の境界面に位置する確率が高い候補点、すなわち関数値
（外２）

が大きな値となり、表面三角形からの距離が小さい候補点に係る加重係数は他の候補点の加重係数よりも大きい値となる。

内部エネルギーＥ_ｉｎｔはモデルが変形されないほどその値が小さくなるようなあらゆる力量に相当しうる。本実施例では、内部エネルギーＥ_ｉｎｔは以下の等式から算出される。

上記等式において、Ｖはモデルにおける表面三角形の数を表し、ｓはスケーリングファクタを表し、Ｒは回転マトリックスを表し、△_ｉｊは変形されていない元のモデルにおける２つの表面三角形の中心点間の距離を表す。集合Ｎ（ｉ）は中心点ｘ_ｉを有する表面三角形に隣接する表面三角形の中心点を含む。エネルギーが等式（４）に基づいて最初に最小化される際、ｓ＝１であり、Ｒは単位行列となる。

エネルギーＥ_ｕｓｅｒは変形可能モデルが変位された表面三角形又はノードに接近するにつれて小さくなるエネルギーに相当し、変位された表面三角形又はノードによる作用を重み付けする。本実施例においてエネルギーＥ_ｕｓｅｒは以下の等式から算出される。

ここでの加算はステップ１０３において手動で変更された三角形すべてについて実施される。

（外３）

はこれら三角形の中心点を表す。ここで加重係数

を乗算することで、ユーザによって抽出される構造の境界面のほうに変位された表面三角形については他の表面三角形よりも大きな許容が付与される。

また別の実施例においては、更に加重係数
（外４）

によって手動で変位された表面三角形の中心点と候補点との間の距離について許容を付与することが可能である。この場合例えば加重係数は以下の等式から算出されうる。

これにより手動で変位された表面三角形のうち抽出される構造の境界面の近くに位置づけられたものに、より遠くに位置づけられた表面三角形に比べて大きな許容が付与される。

等式（４）に従ってエネルギーを最小化することによって変形されたモデルの表面三角形の中心点ｘ_ｉが確定されると、新たなスケーリングファクタｓ及び新たな回転マトリックスＲが確定される。ここでスケーリングファクタ及び回転マトリックスは現在の中心点ｘ_ｉを考慮しながら内部エネルギーが最小化されるよう設定される。また別の実施例によると、総合エネルギーＥを確定する際にスケーリングファクタ及び加点マトリックスをも変数とすることで、中心点ｘ_ｉ、スケーリングファクタｓ、及び回転マトリックスウＲを同時に確定することが可能である。

ステップ１０５において変形可能モデルが抽出される構造と合致（マッチ）されると、次にステップ１０６において停止条件が満たされたか否かの確認が行われる。この停止条件は例えばステップ１０３〜１０５の所定繰り返し回数や、許容の限界に近い位置までのノードの変位などに相当しうる。停止条件が満たされると、抽出処理はステップ１０７において終了される。一方で、停止条件が満たされなかった場合、処理はステップ１０３に戻って続行される。また、別の実施例においては処理をステップ１０４から続行させることも可能である。

上記抽出方法によって得られたモデルは記憶され、モニタに表示されることが可能である。このモデルは３次元データセット内の抽出される構造を表す。

また別の実施例によると、ステップ１０４及び１０５をステップ１０３と入れ替えることが可能である。この場合まず候補点が確定され、これら候補点に基づいて外部エネルギー及び内部エネルギーが最小化されつつモデルが変形される。そして次のステップにおいてユーザは変形可能モデルにおける個々の表面三角形又はノードを変位させることができる。そして確認ステップにおいて停止条件が満たされていないことが判明すると、新たな候補点が確定され、モデルはエネルギーＥ_ｕｓｅｒを含めた総合エネルギーを最小化しつつ再度変形される。

また更に別の実施例によると、上記ステップ１０３と１０４との間に変形ステップ１０５を挿入することが可能である。これにより候補点及び変位された表面三角形それぞれがモデルの変形に対して及ぼす効果を確認することが可能である。

以下において本発明による方法から得られる効果を図４〜７を参照しながら説明する。これらの図は３次元データセットの２次元サジタル断面を示す。なお、このデータセットはコンピュータ断層撮影装置によって生成されたものとする。図示される例では変形可能モデルＭが脊柱４の胸椎６の周囲に位置付けられる。図４はマッチ処理が実行される前におけるこの位置関係を示す。図５は本願の序文において記載される方法によって得られるモデルＭの変形状態の典型例を示す。この例では、モデルＭの右側部分８の領域において抽出エラーが発生している。というのはこのモデルの部分８は下側に隣接する胸椎９の一部も含んだ状態となっている。図６はモデルの部分８を変形させることによってこの抽出エラーを手動で概略的に修正した状態、すなわちモデルの一部を右側に移動させた状態を示す。この概略的な修正の結果、モデルの部分８の左側エッジ１１領域は抽出される構造の境界面とうまく合致しているが、このモデルの部分８の右側エッジ領域１３はそれ程うまく抽出される構造の境界面と合致していない。図７は本発明による方法が実施された後、すなわち等式（４）に基づいて総合エネルギーが最小化された結果得られるモデルＭの状態を示す。この図において左側エッジ領域１１には変化はそれほど見られないが、右側エッジ領域１３はより精密に変形されていて抽出される構造の境界面とうまく合致するように処理されている。このように手動で変更されたエッジ部分１１及び１３がそれぞれ異なる処理を施される理由は、等式（８）又は（９）における加重係数
（外５）

にある。すなわちエッジ部分１１は抽出される構造の境界面近辺に位置していて、それゆえにその対応エッジ検出関数
（外６）

は大きな値をとり、よって大きな加重係数が付与された。これに対してエッジ部分１３は抽出される構造の境界面から離れた位置にあって、それゆえにその対応エッジ関数
（外７）

は低い値をとり、よって加重係数は小さく、あるいはゼロとなる。したがってエッジ部分１３を抽出される構造に合致（マッチ）させる処理はエネルギー

を最小化するだけで実施されることとなる。

このように手動で変位されたノードを評価することによって、手動で変位されたノードや表面三角形すべてについてそれぞれ抽出される構造の境界面に可能な限り接近させる庶路を行う必要がなくなる。したがってこのような評価を行うことによって時間的観点からみて低コストでユーザ修正が実現されうる。

本発明による方法を実行するのに適した画像処理機構を示す図である。本発明による方法を示すフローチャートである。胸椎の変形可能モデルを示す図である。胸椎に変形可能モデルが位置づけられた状態の脊柱の一部を示す図である。一般的なマッチ処理が実施された後の胸椎に位置づけられた変形可能モデルの状態を示す図である。手動修正が行われた後の胸椎に位置づけられた変形可能モデルの状態を示す図である。本発明による方法が実行された後の胸椎に位置づけられた変形可能モデルの状態を示す図である。

符号の説明

Ｍ変形可能モデル
１画像処理・制御プロセッサ
２メモリ
３光ファイバーケーブル
４モニタ
５キーボード
６胸椎（抽出される構造）
７脊柱
８変形可能モデルの部分
９胸椎
１１，１３部分８のエッジ

Claims

ユーザによる修正を可能としながら医療用データセットを含む３次元データセットから３次元構造をセグメント化する方法において、プロセッサが、
（ａ）３次元変形可能モデルであり、該３次元変形可能モデルの表面にあるノードを接続するメッシュのネットワークによって形成される表面を有する３次元変形可能モデルを提供するステップ、
（ｂ）上記セグメント化される構造が位置する３次元データセットにおける箇所に上記モデルを位置づけるステップ、
（ｃ）上記ノードの手動による変位を許容するステップ、及び、
（ｄ）上記手動で変位されたノードのエネルギー関数における寄与を増大させたうえで、該エネルギー関数に基づいて上記モデルのノードの位置を再算出するステップ、を実行するよう構成される、
ことを特徴とする方法。
前記プロセッサは、上記ステップ（ｄ）において、
上記モデルのメッシュによって定義されるサブ表面のそれぞれに対して、該サブ表面の法線上に位置する候補点を確定するステップ、
上記変位されたノードと上記セグメント化される構造の境界面との間の距離が小さいほど大きな値をとるような加重係数を上記変位されたノードのそれぞれに付与するステップ、
上記確定された候補点、上記変位されたノード、及び上記付与された加重係数を考慮したうえで上記モデルのノードの位置を再算出するステップ、を実行するよう構成される、
ことを特徴とする請求項１に記載の方法。
前記プロセッサは、上記ステップ（ｄ）において、外部エネルギーと、内部エネルギーと、上記手動で変位されたノードを考慮するエネルギーとの加重和を最小化することによって上記ノードの位置を再算出するよう構成される、
ことを特徴とする請求項１に記載の方法。
請求項1に記載の方法を実行する画像処理機構であって、
変形可能モデルであり、該変形可能モデルの表面にあるノードを接続するメッシュのネットワークによって形成される表面を有する変形可能モデルと、医療用データセットを含む３次元データセットとを格納するメモリ部と、
プロセッサであり、
セグメント化される構造及び上記変形可能モデルを再生し、
エネルギー関数に基づいて上記モデルのノードの位置を再算出し、
上記セグメント化される構造が位置する上記３次元データセットにおける箇所に上記モデルを位置づけ、且つ、
上記メモリ部を制御するプロセッサと、を有し、
前記プロセッサは更に、
（ａ）３次元変形可能モデルであり、該３次元変形可能モデルの表面にあるノードを接続するメッシュのネットワークによって形成される表面を有する３次元変形可能モデルを提供するステップ、
（ｂ）上記セグメント化される構造が位置する３次元データセットにおける箇所に上記モデルを位置づけるステップ、
（ｃ）上記ノードの手動による変位を許容するステップ、及び、
（ｄ）上記手動で変位されたノードの前記エネルギー関数における寄与を増大させたうえで、前記エネルギー関数に基づいて上記モデルのノードの位置を再算出するステップ、を実行するよう構成される、
ことを特徴とする画像処理機構。
（ａ）３次元変形可能モデルであり、該３次元変形可能モデルの表面にあるノードを接続するメッシュのネットワークによって形成される表面を有する３次元変形可能モデルを提供するステップ、
（ｂ）上記セグメント化される構造が位置する３次元データセットにおける箇所に上記モデルを位置づけるステップ、
（ｃ）上記ノードの手動による変位を許容するステップ、及び、
（ｄ）上記手動で変位されたノードのエネルギー関数における寄与を増大させたうえで、該エネルギー関数に基づいて上記モデルのノードの位置を再算出するステップ、に従って請求項1に記載の方法を実行する、プロセッサを有する画像処理機構用のコンピュータプログラム。