JP5317805B2 - 軟部組織塊を追跡するシステム及びコンピュータにより実施されるその方法 - Google Patents

軟部組織塊を追跡するシステム及びコンピュータにより実施されるその方法 Download PDF

Info

Publication number
JP5317805B2
JP5317805B2 JP2009091750A JP2009091750A JP5317805B2 JP 5317805 B2 JP5317805 B2 JP 5317805B2 JP 2009091750 A JP2009091750 A JP 2009091750A JP 2009091750 A JP2009091750 A JP 2009091750A JP 5317805 B2 JP5317805 B2 JP 5317805B2
Authority
JP
Japan
Prior art keywords
tracking
soft tissue
computer
implemented method
tissue mass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009091750A
Other languages
English (en)
Other versions
JP2009247907A (ja
Inventor
ファティー・エム・ポリクリ
クアン・ユアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2009247907A publication Critical patent/JP2009247907A/ja
Application granted granted Critical
Publication of JP5317805B2 publication Critical patent/JP5317805B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、包括的には軟部組織を追跡することに関し、より詳細には、有向グラフを用いて軟部組織塊を追跡することに関する。
超音波画像形成
超音波は、人間の聴覚の上限よりも高い周波数、約20kHzの周波数を有する音響信号である。軟部組織に入り込み、反射信号を測定することによって、超音波は、組織の構造を明らかにすることができる。
医療用超音波検査は、筋、腱及び多数の他の内臓のような解剖学的構造を視覚化するために用いられる、超音波に基づく診断用医療画像形成技法である。その視覚化によって、その構造の大きさ、形状及び病理状態が明らかにされる。また、超音波は、妊婦管理中に胎児を視覚化するためにも用いられる。
医療用超音波検査は、近代医療において最も広く使用される診断手段のうちの1つである。その技術は、相対的に安価であり、且つ可搬性がある。現時点で医療環境において適用されるときに、超音波は、わかっている限りでは、患者への危険性はない。超音波検査は、癌及び染色体切断のような危害を加える電離放射線を使用しないので、一般的に安全な試験と評されている。
典型的には、超音波信号は、プローブに入れられている圧電変換器によって生成される。超音波スキャナからの強く、短い電気パルスによって、変換器が所望の周波数で振動する。その周波数は、2〜15MHzのどの周波数に設定することもできる。その音波は、変換器の形状、変換器の前方にあるレンズまたは超音波スキャナからの一連の複雑な制御パルスによって集束される。この集束は、変換器の表面から、弧状の音波を生成する。その波は、体内に進行し、所望の深さにおいて焦点が合う(合焦する)。さらに新しい技術による変換器は、フェーズドアレイ技法を用いて、超音波検査スキャナが方向及び焦点深度を変更することを可能にしている。大部分の圧電変換器は、セラミックから形成される。変換器の表面上にある材料によって、その音波を、体内に効率的に伝搬させることができる。たとえば、典型的には、皮膚とプローブとの間に水性ジェルが塗布される。
その音波は、異なる密度を有する組織から部分的に反射される。具体的には、音波は、体内において密度が変化するあらゆる場所から、たとえば、血漿中の血球、臓器内の小構造、及び他の体液で反射される。反射した音波のうちの或る量は、変換器に戻る。反射した音波は変換器を振動させ、変換器はその振動を電気パルスに変換し、その電気パルスは超音波スキャナまで進み、そこで、それらのパルスは処理されて画像に変換される。
音波は、通常、特定の搬送波周波数を有する短いパルスであることに留意されたい。動いている物体は、反射時にこの周波数を変化させ、それによって、周波数をシフトするドップラ効果を使用することができる。それゆえ、超音波検査スキャナは、以下のように動作する。まず、信号強度、及び信号の送信時と受信時との間の時間長が測定される。これから、フェーズドアレイのための焦点距離が推定され、特定の深さにおける合焦画像を描画することができる。この画像は、カラーにすることもできる。
従来の超音波スキャナは、身体の薄く、平坦な断面として画像を表示する。超音波技術の進歩は、3次元(3D)超音波を含み、それによれば、超音波データが3D画像にフォーマットされる。4次元(4D)超音波は、動きを伴う3D超音波である。医療用画像形成では、4つの異なる超音波モードが用いられる。
1.Aモード:Aモードは、最も簡単なタイプの超音波である。単一の変換器が身体内を通じて1つの線を走査し、そのエコーが深さの関数として画面上にプロットされる。特定の腫瘍または結石に向けられる治療用超音波もAモードであり、破壊的な音波エネルギーの焦点を正確に合わせることができる。
2.Bモード:Bモード超音波では、複数の変換器からなる線形アレイが、身体を通じて1つの面を同時に走査し、それを画面上で2次元画像として視認することができる。
3.Mモード:Mは動きを表す。Mモードでは、一連の迅速なBモード走査によって、画像が画面上に次々に現れ、反射を引き起こす臓器境界がプローブに対して動くのに応じて、ユーザが動きの範囲を確認し、測定することができる。
4.ドップラモード:このモードは、ドップラ効果を使用する。
ドップラ超音波は、たとえば、腹、腕、脚及び首の主な動脈及び静脈内の血流を評価する特殊な超音波技法である。3つのタイプのドップラ超音波がある。
1.カラードップラは、コンピュータを用いて、ドップラ測定値を一連の色に変換し、血管の中を流れる血流の速さ及び方向を視覚化する。
2.パワードップラは、より新しい技術であり、カラードップラよりも感度が良く、特に臓器内に位置する血管内の血流に関するより細かい情報を提供することができる。しかしながら、パワードップラは、状況によっては重要になる血流の方向をユーザが特定するのに役立たない。
3.スペクトルドップラは、ドップラ測定値を視覚的に表示する代わりに、単位時間当たりの移動距離に関して、血流測定値をグラフィック表示する。
超音波画像形成には、いくつかの利点がある。それは、筋及び軟部組織の画像を十分に形成し、特に固体及び流体で満たされた空間との間の境界の輪郭を描くのに役に立つ。それは、画像をリアルタイムに描画することができ、ユーザは、変化を診断し、実証するのに最も有用な断面を動的に選択することができ、それによって多くの場合に迅速に診断することができる。また、それは、臓器の構造も表示する。
不都合な点として、超音波検査は、骨にあまり十分に入り込まない。それゆえ、脳の超音波検査は、極めて限られる。さらに、超音波検査は、変換器と対象となる臓器との間に気体が存在するとき、音波インピーダンスに極端な差があることに起因して、性能が大きく劣化する。たとえば、消化管内の過剰な気体は、多くの場合に膵臓の超音波走査を難しくし、また、胸水の境界を定めることを別として、肺の画像を形成することはできない。骨または空気が存在しない場合であっても、超音波が入り込む深さは限られており、身体内、特に肥満体の患者の身体内深くの構造を画像化するのを難しくしている。
有向グラフ
グラフGは、以下の2つの条件を前提としている順序対G:=(V,E)である。
1.Vは、その要素が頂点またはノードと呼ばれる1組の点である。
2.Eは、ノード対を接続する1組のエッジである。
1つのエッジに属する頂点は、そのエッジの端部、端点または端頂点と呼ばれる。グラフの次数は|V|、すなわち頂点の数である。グラフの大きさは|E|、すなわちエッジの数である。頂点の度数は、複数のエッジによってその頂点に接続される他の頂点の数である。
グラフには大きく分けて2つのカテゴリ、有向グラフ(ダイグラフ)及び無向グラフがある。有向グラフまたはグラフGは、順序対G:=(V,A)である。ただし、Aは頂点の1組の順序対であり、有向エッジと呼ばれる。エッジ(v,w)が存在する場合には、ノードwはノードvに隣接する。各エッジに正の数(重み)が割り当てられる場合には、グラフは重み付けされたグラフである。そのような重みは、たとえば、コスト、長さまたは容量を表すことができる。グラフの重みは、全てのエッジに割り当てられる重みの和である。有向グラフ内の1つのエッジの重みは、多くの場合に、その長さと考えられる。パス<v0,v1,・・・,vn>の長さは、全ての構成要素エッジ<vi,vi+1>の長さの和である。
呼吸サイクル推定
特許文献1は、持続的気道陽圧法(CPAP)治療において呼吸(呼吸作用)を推定する方法を示している。典型的には、CPAP装置は、気体供給管を介して、マスクに空気を供給するための空気流発生器を備える。空気流を変更すると、空気流発生器の速さ及び/または駆動電流が、制御回路によって定義されるように変化する。モータ速度及び電流の測定値から信号を導出することができ、これらの信号は患者の呼吸に合わせて周期的に変化する。呼吸以外の成分を除去するためにフィルタリングすることによって、結果として生成された信号を利用して、患者が息を吸い始める時点及び吐き始める時点を判定することができる。フィルタリングされた信号は、空気流発生器の圧力/流量/速度特性について予め知られている情報を用いて線形化することもでき、それによって、空気流の容積測定値を導出することができる。
非特許文献1は、インダクタンスプレチスモグラフィ(容積変動測定法:inductance plethysmography)(RIP)によって測定される胸郭呼吸信号と腹式呼吸信号との間の位相関係を自動的に推定する手順を示している。その推定は、線形フィルタ、2値変換器及び排他的論理和ゲートを用いて実行される。そのフィルタは、患者の呼吸のスペクトルに関する事前の情報からオフラインで設計され、計算の複雑性を低減し、オンライン処理能力を与える。シミュレートされた時系列及び初期呼吸データに基づくいくつかの数値結果が与えられており、その方法が、胸部−腹部非同期の評価に一般的に用いられるピアソン相関法よりも偏りが小さいことがわかる。
非特許文献2は、4DCT画像から呼吸運動を捕捉するモデルに基づく方法の精度を評価するために、時空情報を組み込む判定基準を示している。その評価は、4DCT画像内の目印の特定及び追跡に依拠する。
放射線療法
放射線療法は、健康な組織に害を加えないようにしながら、腫瘍に高エネルギー電離放射線を照射することを試みる。放射線治療の1つの形は、粒子線治療であり、その治療では、最大照射線量の深さを制御することができる。
放射線療法は、癌治療の一部として、電離放射線を使用して、悪性細胞を抑制する。それは、治療的または術後補助的な癌治療のために用いられることがある。その療法は、治癒が不可能であり、局部的な疾患の抑制や症状の軽減を目的とする緩和的な処置として用いられるか、または、その治療が生き延びる上で有利に働き、治癒効果がある治療的な処置として用いられる。放射線療法は、悪性腫瘍の治療のために用いられ、一次療法として用いられることがある。放射線療法と、手術、化学療法、ホルモン療法、またはそれら3つのうちのいくつかの組み合わせとを組み合わせることも一般的である。
一般的に、放射線療法は、腫瘍に対して主に適用される。放射線照射野は、臨床的に腫瘍に関連する場合、または無症状性の悪性腫瘍蔓延の危険性があると考えられる場合には、隣接するリンパ節を含むこともある。それは、患者の配置が不確定であること、及び内部で腫瘍が動くことを考慮して、腫瘍の周囲の正常な組織の周縁部を含む必要がある。
治療間で患者が回復することができるように、典型的には、放射線療法は、数週間、たとえば3週間または4週間にわたって施されることに留意されたい。したがって、同一の配置を達成するのは難しい。それゆえ、治療装置に対して患者を如何に配置するかを放射線治療技師に指示するために、治療計画中に、通常、患者の皮膚は、消えないインクでマークされる。放射線源と同じ場所に配置される光ビームを用いて、配置中にビームの照準を定めて、コリメータを調整することができる。
配置が不確定であることは、内部の動き、たとえば呼吸及び嚢充満、並びに腫瘍位置に対して外部の皮膚マークが動くことによって引き起こされることもある。
皮膚や臓器のような正常な組織に害を加えず、腫瘍を治療するための放射線がこれらの組織を通り抜けて腫瘍において交差するように、いくつかの照射角から、整形された放射線ビームが向けられ、周囲にある健康な組織内よりも、腫瘍においてはるかに大きく吸収されるようにする。典型的には、放射線源は、患者の周囲を回転するガントリ上に配置される。その目的は、円の中心に腫瘍を配置し、ビームが常に腫瘍を通り抜けるようにし、健康な組織には、はるかに通る頻度を少なくすることである。
米国特許第6,237,593号明細書
Motto他著「Automated estimation of the phase between thoracic and abdominal movement signals」,IEEE Transactions on Biomedical Engineering,Volume 52,Issue 4,pp.614−621,April,2005 Sarrut他著「A Comparison Framework for Breathing Motion Estimation Methods From 4−D Imaging」,IEEE Transactions on Medical Imaging,Volume 26,Issue 12,pp.1636−1648,December,2007
しかしながら、特に肝臓、肺、胃及び心臓のような臓器の近くにある腫瘍の位置は、隔膜が出入りするのに応じて、治療中に著しく変化することがある。それゆえ、放射線ビームを適当に制御することができるように、腫瘍及び臓器の位置及び形状の変化を測定することが望ましい。
軟部組織塊に対応する対象領域(ROI)は、超音波検査によって捕捉されるトレーニングビデオにおいて追跡される。ROIの位置は、有向グラフを構成するために用いられ、有向グラフにおいて、各ノードは追跡されるROIの位置を表し、エッジはROIの時間的な関係を表す。また、軟部組織塊は、そのグラフを用いて追跡することができる。
この発明によれば、適当な治療を実現することができる。
本発明の実施の形態1による、動いている腫瘍の位置を特定する方法及びシステムを示すブロック図である。 本発明の実施の形態1による、有向グラフを構成する手順を示すブロック図である。 本発明の実施の形態1による、標本を選択する手順を示すブロック図である。 本発明の実施の形態1による、標本を選択する手順を示すブロック図である。 本発明の実施の形態1による、標本を選択する手順を示すブロック図である。 本発明の実施の形態1による、選択された標本をグラフ内に配置する手順を示すブロック図である。 本発明の実施の形態1による、選択された標本をグラフ内に配置する手順を示すブロック図である。 本発明の実施の形態1による、位相を推定する手順を示すブロック図である。 本発明の実施の形態1による、位相を推定する手順を示すブロック図である。 本発明の実施の形態1による、位相を推定する手順を示すブロック図である。
実施の形態1.
図1に示されるように、本発明の実施の形態1は、身体内152の軟部組織塊151を追跡する方法及びシステム100を提供する。実施の形態1では、軟部組織塊は腫瘍であり、その動きは、呼吸の周期的挙動、または心臓の脈動と相関付けられる。したがって、その動きは、正確に予測することができる。さらに、呼吸サイクル情報を用いて、放射線ビーム153を制御し、腫瘍に向けることができる。
また、実施の形態1を用いて、再構成された超音波画像、及び超音波データから導出される他の3D/4D表現を精緻化するか、またはそれ以外の方法で改善することができる。呼吸サイクルを推定することによって、実施の形態1では、同じ位相に対応する一連の画像を登録する。これによって、実施の形態1では、より高い解像度の超音波画像及び3D/4D表現を得ることができる。さらに、同じ位相画像のそのような集合体を用いて、超音波データ内の雑音を低減することができる。
トレーニングビデオ101、すなわち、一連の超音波画像または画像は、超音波検査154を用いて軟部組織塊から捕捉される。たとえば、トレーニングビデオは、放射線療法のための治療計画中に得られる。ドップラ超音波信号155の場合、各画像はフロー情報を含む。3D及び4D超音波データの場合、各画像は、それぞれ3Dまたは4D(3D+動きベクトル)表現を含む。実施の形態1は、超音波データに時間的な時系列解析を適用する。
対象領域(ROI)は、物体検出のような手動または自動いずれかの手法を用いて、トレーニングビデオの第1の画像内にマークされる。そのマーキングは、軟部組織塊、たとえば腫瘍151の位置及び形状を概略的に示すことができる。代替的に、何もマークされなくてもよい。画像全体、またはその画像内の一群の選択された部分領域がROIとして割り当てられる。その選択はランダムにすることができる。
その後、ROIの位置及び形状が経時的に追跡され、治療中に照合するための標本が求められる。超音波画像強度値は、内臓の動き、変換器雑音、画像形成雑音等に起因して変化するので、それらの画像は最初に正規化される。これは、ピクセルの強度値の平均を減算し、その標準偏差で除算することによって、画像毎に行なわれる。その後、その照合は、正規化相互相関または残差二乗和基準(sum−of−squared difference metric)を用いて行なわれる。
時間的な制約を課すことができるようにするため、且つ治療中にリアルタイムに追跡を実行するために、標本は、ノード及びエッジから成る有向グラフ111の中に編成される。そのグラフは、メモリ112に格納される。ノードは標本を表し、グラフ内の有向エッジは、標本間の時間的な遷移関係を表す。エッジは、現在のノードから子ノードに行なわれる遷移の正規化された数、及び照合スコアに従って重み付けされる。
トレーニング中に標本の有向グラフ111を構成するために、現在の画像内の標本を以前に特定された一群の標本ノードに一致させることができない場合に、そのグラフに新たな標本が追加される。同時に、時間的な関係及び照合の予想される精度を示すために、隣接する標本間で、有向の、重み付けされたエッジが収集される。
動作方法
トレーニング
トレーニング段階は、図1に示されるように進行する。超音波検査154を用いて、軟部組織塊からトレーニングビデオ101が捕捉される。たとえば、トレーニングビデオは、治療計画中に患者の身体から捕捉される。追跡されるべき軟部組織塊を含む対象領域(ROI)が、トレーニングビデオの第1の画像において、現在のROIとしてマークされる。そのマーキングは、軟部組織塊の位置及び近似的な形状を示す。代替的に、何もマークされなくてもよい。画像全体、または画像内の一群の選択された部分領域がROIとして割り当てられる。その選択はランダムに行うことができる。
実施の形態1では、トレーニングビデオ101を用いて、重み付けされた有向グラフ(WDG)111を構成する(110)。このグラフは、治療超音波ビデオ102を入力として用いて、重み付けされた有向グラフ111において軟部組織塊を追跡する(120)ことによって、治療時間中に軟部組織塊(腫瘍)の位置及び形状を見つけるために用いられる。その後、その位置及び形状121を用いて、放射線ビーム153が誘導されて制御される(130)。
超音波画像が対象領域、たとえば腫瘍または他の軟部組織塊領域を描写するように、超音波変換器154が患者の身体上に配置された後に、短いビデオが記録され、それをトレーニングビデオ101として用いて、グラフ111が構成される(110)。この過程は、治療に対する患者の準備ができたときにも同様に、リアルタイムに行なうことができる。数回の呼吸サイクルが記録される。通常、これは約1分程度である。しかしながら、患者の呼吸運動によって、トレーニングビデオの持続時間は、はるかに短くすることも、長くすることもできる。
トレーニングビデオを用いてグラフ111を構成すること(110)が図2に示される。実施の形態1では、超音波トレーニングビデオ101の画像を順次処理する。実施の形態1では最初に、グラフ111内の現在の位置を用いて、トレーニングビデオ101から標本250を選択する(210)。標本250が、現在の有向グラフ111内に入れられる(220)。続いて、エッジ遷移重みが更新され(230)、グラフ内の現在の位置が更新される(240)。
標本250を選択する(210)ために、数多くの異なる方法を実施することができる。
方法1
図3に示される方法では、トレーニングビデオの1組の連続した画像がバッファ370に格納される。各画像ステップにおいて、新たな画像が、バッファ内の画像と比較される(310)。新たな画像とバッファリングされた画像との間の類似性スコアが求められる(320)。このスコアは、新たな画像と、バッファリングされた画像のそれぞれとの間の個々の類似性スコアのうちの最小値にするか、または新たな画像とバッファ内の代表的な画像との間の類似性スコアにすることができる。
実施の形態1では、画像を示すために、ROIとして、追跡されるROI若しくは画像全体が用いられるか、または画像内の1組の追跡される領域若しくは静的に選択される領域が用いられることに留意されたい。以下の説明では、「画像」は、一般的に、これらの定義のうちのいずれかを指している。
さらに、各画像(ROI)は記述子、たとえば、強度テンプレート、ヒストグラム、共分散行列、ガボールフィルタ、ハールウェーブレット、ガウス関数の混合関数、テクストン、エッジレット、有向勾配のヒストグラムによって表される。
新たな画像と、バッファ320内の画像との間の類似性スコアが求められる(320)。たとえば、新たな画像が、正規化相互相関を用いて、バッファ記述子と照合され、類似性スコアが求められる。
このスコアがしきい値Tsよりも高い場合には、新たな画像は、既にバッファリングされた画像に類似であると見なされ、新たな画像がバッファ370に含められる(340)。たとえば、画像記述子の重み付け平均をとることによって、バッファ代表値が更新される(350)。
類似性スコアがしきい値Tsよりも低い場合には、新たな画像は、バッファリングされた画像とは大きく異なることを示し、バッファ代表値が、現在の標本250として割り当てられ(330)、バッファ370が空にされる(360)。すなわち、バッファから画像が除去される。また、空にされたバッファ内に新たな画像が追加され、新たな画像からバッファ代表値が設定され、次の画像で処理が続けられる。
方法2
代替的に、図4に示されるように、最初に、バッファ370内にK個の画像401が収集される(410)。Kは、所定の数にしてもよいし、またはデータから適応的に学習されてもよい。数Kは、バッファ内の画像の最小数を決定する。代替的に、Kは、以下に記述される距離比較ステップ430を用いずに、定数に設定してもよい。Kの値を適応させるために、画像差スコア、動きフィールド等を用いることができる。
バッファ内にK個の画像が格納されているとき、これらのバッファリングされた画像がクラスタ化され(420)、各クラスタが連続した画像を含むように2つのクラスタが作成される。その後、クラスタ間距離が求められる(440)。クラスタ間距離は、2つの個別のクラスタ記述子間の平均距離を近似する。「クラスタ間距離」は、クラスタ間の差を示す。その距離がしきい値Td430よりも大きい場合には、2つのクラスタ間の境界画像が求められ(450)、第2のクラスタよりも時間的に先行する第1のクラスタのための記述子が求められる(460)。次に、その記述子が標本として割り当てられ(470)、バッファ370から第1のクラスタが除去される(480)。「クラスタ間距離」がしきい値よりも小さい場合には、トレーニングビデオ101から画像が収集し続けられる(410)。トレーニングデータ内の全ての画像が処理されるまで、標本選択が続けられる。
方法3
図5に示されるように、同時に多数の標本を選択することもできる。この場合、トレーニングビデオ101からK個の連続した画像401が収集される(510)。この数は、その最後の画像が次の隣接する画像と大きく異なるビデオセグメントを分割するように割り当てられる。
K個の画像がバッファリングされた後に、各係数がバッファ内の一対の画像間の類似性に対応する、類似度行列が求められる(520)。類似度行列の次元は、バッファリングされた画像の数(K)である。固有ベクトル分解530によって、クラスタリングが達成され、固有ベクトルクラスタリングにおいて、クラスタの全数が与えられる。この数は、2から最大数までインクリメントされる(540)。クラスタの全数毎に、妥当性スコアが求められる(550)。
最大全クラスタ数に達したとき、最大妥当性スコア及び対応する全クラスタ数が求められる(560)。その後、類似度行列を用いて、対応する全クラスタ数のための時間的に連続したクラスタが求められる(570)。クラスタ毎に、クラスタ代表値が求められ(580)、これら全ての代表値が標本として割り当てられる(250)。
上記の方法は、標本250を得る代替的な方法を示している。標本を見つけた後に、実施の形態1では、標本220をグラフ111に入れて、エッジ遷移重みを更新し(230)、最も遅い位置を更新する。その位置は先行ノードと呼ばれる。
図6に示されるような最も簡単な事例では、各画像が1つの標本として設定される。また、先行ノード601がある。グラフ111を用いて、1組の候補ノードが求められる(610)。それは、先行ノードと、異なるグラフの深さにある、先行ノードの子ノードとを含む。言い換えると、1組の候補一致ノードは、先行ノードから出て行くエッジを通って到達することができるノードを含む。また、エッジ重みを関連付けて、「弱い」ノード、すなわち弱い遷移を有するノードをフィルタリングすることもできる。
グラフ111内に標本を入れること(220)は、以下のようにして行なわれる。上記で選択された標本250に関して、照合セット内のノードからの距離が求められる(620)。また、最小距離を有するノードが求められる(640)。最小距離がしきい値Tm未満である場合には(670)、トレーニング段階においてノード毎に記録された、対応するノード選択カウント730が更新される(645)。図7を参照されたい。この数は、そのノードと照合された標本の数を示す。現在のグラフ111のエッジ重みが更新され、候補選択カウント730が修正され、次の標本650の処理が続けられる。
最小距離がしきい値以上である場合には、その標本は、ノードと見なされる。また、上記で得られた最小距離を有する照合ノードの子として、新たなノードが割り当てられる(680)。そして、グラフが更新される。
エッジ遷移重みを更新すること(230)が図7に示される。先行するステージから、最小距離を有するノード710(すなわち、新たなノード720が標本からの子として接続される親ノード)、新たなノード720、親ノードのノード選択カウント730、及び最小距離の逆数である一致信頼度740が得られている。
新たなノード割当てが行なわれる場合には(750)、新たなノードと親ノードとの間に新たなエッジが確立され(760)、親ノードから出て行くエッジの重みが更新される。そうでない場合には、最小ノードの自己ループエッジの重みが増やされ、それに応じて、最小ノードの残りの出て行くエッジの重みが減らされる(770)。
トレーニングの出力は、画像(またはROI、または画像領域等)の有向グラフ111である。トレーニング手順は、第1の画像が選択された後、またはROIがマークされた後において、完全に自動的である。しかしながら、ユーザは、トレーニング中及び治療中の両方において、任意のROIを手動でマークすることができる。
腫瘍に放射線を当てる場合、患者は治療中に動かないように指示される。拘束具を用いて、腫瘍が位置する身体の部分を固定することもできる。したがって、腫瘍の動きは、主に呼吸運動に起因する。呼吸サイクルは、個々の人について、ペース及び深さの両方において、時間にわたって概ね規則的であるので、実施の形態1のグラフ内の上記の時間的な有向エッジは、呼吸の周期性を捕らえることができ、相対的に小さなサイズのグラフを用いて、腫瘍の動きを正確に予測することができる。呼吸の周期性または位相は、ノードが互いにループバックすることによって、有向グラフ111において観測される。
位相推定及び追跡
治療中に、治療超音波ビデオ102が捕捉される。取り込まれる各画像がグラフ内のノードと照合される。そのグラフはノード間の時間的な関係を示すので、現在のノードが次の画像と一致しない場合には、有向グラフの横型探索を用いて、時間順に従って一致するものを探すことができる。
このグラフは、呼吸サイクルに対応する。そのような繰返し運動の場合に、このグラフは、息を吸うノードと息を吐くノードとの間のノードにおいて潰される可能性がある。言い換えると、息を吸うノード及び息を吐くノードを求めることができるだけでなく、たとえば、スペクトルクラスタリングを用いて、ノード間距離を試験することによって、そのグラフから自動的にそれらのノード間の呼吸位相を求めることができる。これも、グラフが構成された後に、手動でラベルを付けることができる。
位相推定手順
現在のノードが存在しない場合には、実施の形態1では、一致するノードを見つけるために全てのノードを探し、現在のノードがこの一致するノードになるように設定される。一致するノードを見つけることができない場合には、有効な一致が得られるまで、現在のノードは空になるように設定される。照合しきい値を調整することによって、または最小距離を有するノードを常に選択することによって、現在のノードを設定することができる。
そうでない場合には、図8に示されるように、上記の測定基準を用いて、入力される画像、たとえば現在の画像805と現在のノードとが比較される(810)。先行するノード840及びグラフ111に基づいて、横型探索のための1組の候補ノード830が構成される。候補ノードは、或る一定の深さまでの、先行するノードの子ノードを含む。
距離を比較及び判定した後に、最小距離を有するノードが、現在の画像に最も良く一致するノード、すなわち現在のノード850として割り当てられる(820)。また、先行するノードが、現在のノード850として更新される(840)。現在のノードは、グラフ内の入力画像の対応する画像を表す。グラフ及び現在のノードを用いて、現在の画像805の場合の現在の呼吸位相が見いだされる。
入力画像内の全てのピクセルを使用する代わりに、図9に示されるように、目標領域905、たとえばROI、または一群の部分領域を用いることができる。これらの事例では、ROIまたは一群の領域を追跡して(910)、与えられた画像においても目標領域を確実に検出することができるようにする。代替的に、静的な領域が用いられ、追跡は用いられなくてもよい。現在の画像内のROIが追跡によって得られることを除いて、上記のトレーニング及び位相推定は類似である。ROIの追跡910は、正規化相互相関距離、残差二乗和距離(sum−of−squared distance)、または限定はしないが、全数探索、回帰追跡、平均シフト追跡、勾配探索、粒子追跡等を含む、標準的な追跡方法の中の任意の他の領域比較測定基準を用いて行うことができる。
画像のためにROIが用いられる場合には、上記の手順は、各画像内の一致するノードと、そのROI位置121とを出力するか、または一致するROIを見つけることができないことを示す。ROIの位置121は、初期ROIが軟部組織塊を取り囲む場合には、その組織塊の位置に対応する。
結果として、放射線療法ビームを、動いている腫瘍の位置を追跡するように向けることができる(130)。また、代替的に、腫瘍の位置を特定することができないときには、ビームをオフにすることができる。腫瘍の形状も追跡される場合には、ビームのためのコリメータを調整して、治療が実施されているときに、リアルタイムに腫瘍の形状を照合することもできる。
上記のトレーニング及び推定手順は、呼吸位相推定には限定されないことに留意されたい。たとえば、超音波は、心膜内にある心臓の画像を形成することができる。したがって、観測される繰返し運動及び対応するグラフは、心臓の拍動毎の動脈の律動的な収縮及び膨張に対応する。
放射線療法または他の治療プロトコルにおいて、腫瘍及び他の組織を追跡すること以外の用途のために、呼吸サイクル位相推定を用いることができる。1つの用途は、グラフを用いて同じ位相に対応する多数の画像を収集する。その後、同じノードの1組の画像を「融合して」、雑音が少なく、解像度がより高いデータ(2D画像、3D表面、より高解像度の動きフィールド等)を得ることができる。
上記の方法は、入力データとして、2D超音波ビデオには限定されない。たとえば、実施の形態1では、3Dビデオ及び4Dビデオを用いることができる。観測結果、画像、時間的に抽出されるサンプル、3D表面、動きを伴う4D表面、2Dドップラ、3Dドップラ等を、ベクトル空間内またはマニホルド上で、任意の形を有する標本表現に変換することができる。
本発明は、特定の好ましい実施形態を参照しながら説明されてきたが、本発明の精神及び範囲内で、種々の他の改変及び変更を行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような、全ての変形及び変更を包含することである。

Claims (25)

  1. 軟部組織塊を追跡するためにコンピュータによって実施される方法であって、
    超音波検査を用いて、身体内の軟部組織塊の、一連の画像を含むトレーニングビデオを捕捉するステップと、
    前記トレーニングビデオの第1のフレームにおいて、前記軟部組織塊の位置に対応する対象領域(ROI)をマークするステップと、
    前記トレーニングビデオの前記一連の画像の各画像内の前記ROIを追跡しながら、メモリ内に、それぞれが前記追跡されるROIの位置を表すノード、及び前記ROIの時間的な関係を表すエッジから成る有向グラフを構成するステップと、
    前記超音波検査を用いて、前記軟部組織塊の治療ビデオを捕捉するステップと、
    前記有向グラフに従って、前記治療ビデオ内の前記軟部組織塊を追跡するステップと、
    を含むことを特徴とする軟部組織塊を追跡するためにコンピュータによって実施される方法。
  2. 前記軟部組織塊の位置が追跡されることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  3. 前記軟部組織塊の形状が追跡されることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  4. 前記位置は、呼吸の周期的挙動に相関付けられることを特徴とする請求項2に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  5. 前記位置は、心臓の脈動に相関付けられることを特徴とする請求項2に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  6. 前記軟部組織塊は腫瘍であり、前記追跡するステップは、前記腫瘍に向けられる放射線ビームを制御するために用いられることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  7. 前記追跡するステップに従って、前記画像の解像度を高めるステップをさらに含むことを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  8. 前記追跡するステップに従って、前記画像内の雑音を減らすステップをさらに含むことを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  9. 前記超音波検査は、ドップラ超音波信号を使用することを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  10. 前記ROIは、画像全体であることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  11. 前記画像は、正規化されることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  12. 前記追跡するステップは、正規化相互相関を用いて、各画像を前記グラフ内に表される前記ROIと照合し、照合スコアを得ることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  13. 前記追跡するステップは、残差二乗和基準を用いて、各画像を前記グラフ内に表される前記ROIと照合することを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  14. 前記エッジは、それぞれ現在のノードから子ノードに行なわれる遷移の正規化された数、及び前記照合スコアに従って重み付けされることを特徴とする請求項12に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  15. 前記画像は、メモリ内のバッファに格納されることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  16. 各前記画像を記述子で表すステップをさらに含むことを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  17. 前記記述子は、ヒストグラム、共分散行列、ガボールフィルタ、ハールウェーブレット、ガウス関数の混合関数、テクストン、エッジレット、または有向勾配のヒストグラムであることを特徴とする請求項16に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  18. 前記バッファに格納される画像は、類似性スコアに従って置き換えられることを特徴とする請求項15に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  19. 前記画像は、前記バッファ内にクラスタとして格納され、前記クラスタ内の前記画像は、クラスタ距離に従って置き換えられることを特徴とする請求項15に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  20. 前記画像は、類似度行列及び固有ベクトル分解を用いて、前記バッファ内にクラスタとして格納されることを特徴とする請求項15に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  21. 前記追跡するステップは、前記グラフの横型探索を用いることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  22. 前記追跡するステップは、正規化相互相関距離、残差二乗和距離、全数探索、回帰追跡、平均シフト追跡、勾配探索または粒子追跡を用いることを特徴とする請求項1に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  23. 前記制御は、前記ビームをオン及びオフすることを特徴とする請求項6に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  24. 最大照射線量の深さが制御されることを特徴とする請求項6に記載の軟部組織塊を追跡するためにコンピュータによって実施される方法。
  25. 軟部組織塊を追跡するシステムであって、
    超音波検査を用いて、身体内の軟部組織塊の、一連の画像を含むトレーニングビデオを捕捉する手段と、
    前記トレーニングビデオの第1のフレームにおいて、前記軟部組織塊の位置に対応する対象領域(ROI)をマークする手段と、
    前記トレーニングビデオの前記一連の画像の各画像内の前記ROIを追跡しながら、メモリ内に、それぞれが前記追跡されるROIの位置を表すノード、及び前記ROIの時間的な関係を表すエッジから成る有向グラフを構成する手段と、
    前記超音波検査を用いて、前記軟部組織塊の治療ビデオを捕捉する手段と、
    前記有向グラフに従って、前記治療ビデオ内の前記軟部組織塊を追跡する手段と、
    を備えることを特徴とする軟部組織塊を追跡するシステム。
JP2009091750A 2008-04-07 2009-04-06 軟部組織塊を追跡するシステム及びコンピュータにより実施されるその方法 Active JP5317805B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/098,522 US8121669B2 (en) 2008-04-07 2008-04-07 Method for tracking soft tissue masses in images using directed graphs
US12/098,522 2008-04-07

Publications (2)

Publication Number Publication Date
JP2009247907A JP2009247907A (ja) 2009-10-29
JP5317805B2 true JP5317805B2 (ja) 2013-10-16

Family

ID=41133600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009091750A Active JP5317805B2 (ja) 2008-04-07 2009-04-06 軟部組織塊を追跡するシステム及びコンピュータにより実施されるその方法

Country Status (2)

Country Link
US (1) US8121669B2 (ja)
JP (1) JP5317805B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10166066B2 (en) 2007-03-13 2019-01-01 University Of Virginia Patent Foundation Epicardial ablation catheter and method of use
US8282565B2 (en) 2007-03-19 2012-10-09 University Of Virginia Patent Foundation Access needle pressure sensor device and method of use
US9468396B2 (en) 2007-03-19 2016-10-18 University Of Virginia Patent Foundation Systems and methods for determining location of an access needle in a subject
US11058354B2 (en) 2007-03-19 2021-07-13 University Of Virginia Patent Foundation Access needle with direct visualization and related methods
WO2009062061A1 (en) 2007-11-09 2009-05-14 University Of Virginia Patent Foundation Steerable epicardial pacing catheter system placed via the subxiphoid process
US9642534B2 (en) 2009-09-11 2017-05-09 University Of Virginia Patent Foundation Systems and methods for determining location of an access needle in a subject
CA2790328C (en) * 2010-02-18 2017-04-18 University Of Virginia Patent Foundation System, method, and computer program product for simulating epicardial electrophysiology procedures
US20120226152A1 (en) * 2011-03-03 2012-09-06 Porikli Fatih M Tumor Tracking System and Method for Radiotherapy
WO2012142031A1 (en) * 2011-04-12 2012-10-18 Brigham And Women's Hospital, Inc. System and method for motion tracking using unique ultrasound echo signatures
US9764160B2 (en) 2011-12-27 2017-09-19 HJ Laboratories, LLC Reducing absorption of radiation by healthy cells from an external radiation source
US20140266860A1 (en) * 2013-03-14 2014-09-18 Gaddi BLUMROSEN Method and system for activity detection and classification
CN105144237B (zh) 2013-03-15 2018-09-18 卢米耐克斯公司 微球的实时跟踪和关联
WO2015153211A1 (en) * 2014-03-30 2015-10-08 Digital Signal Corporation System and method for detecting potential matches between a candidate biometric and a dataset of biometrics
US9911365B2 (en) * 2014-06-09 2018-03-06 Bijan SIASSI Virtual neonatal echocardiographic training system
WO2019096943A1 (en) 2017-11-16 2019-05-23 Ebamed Sa Heart arrhythmia non-invasive treatment device and method
CN110279429B (zh) * 2019-06-13 2021-02-09 北京理工大学 四维超声重建方法及装置
CN112089438B (zh) * 2020-08-31 2021-07-30 北京理工大学 基于二维超声图像的四维重建方法及装置
CN113616942B (zh) * 2021-08-18 2024-06-14 苏州雷泰医疗科技有限公司 一种肺部肿瘤实时追踪方法、装置及放射治疗设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220922A (en) 1992-03-05 1993-06-22 Barany Laszlo P Ultrasonic non-contact motion monitoring system
US5462059A (en) 1994-05-25 1995-10-31 The Regents Of The University Of California Method for assessing and displaying vascular architecture using ultrasound
US5628321A (en) 1995-12-18 1997-05-13 Diasonics Ultrasound, Inc. Processing velocity information in an ultrasonic system
US6708055B2 (en) * 1998-08-25 2004-03-16 University Of Florida Method for automated analysis of apical four-chamber images of the heart
IL127254A0 (en) * 1998-11-25 1999-09-22 Univ Ramot Method and system for automatic classification and quantitative evaluation of adnexal masses bases on a cross-sectional or projectional images of the adnex
JP2000237205A (ja) * 1999-02-17 2000-09-05 Toshiba Corp 超音波治療装置
US6797257B2 (en) * 2001-06-26 2004-09-28 The Board Of Trustees Of The University Of Illinois Paramagnetic polymerized protein microspheres and methods of preparation thereof
US6858011B2 (en) * 2001-09-21 2005-02-22 Trustees Of The University Of Pennsylvania Method and apparatus to control microbubble destruction during contrast-enhanced ultrasound imaging, and uses therefor
US20080269607A1 (en) * 2004-06-11 2008-10-30 Kazunari Ishida Ultrasonic Treatment Apparatus
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
US8358819B2 (en) * 2005-06-24 2013-01-22 University Of Iowa Research Foundation System and methods for image segmentation in N-dimensional space
US20080077015A1 (en) 2006-05-17 2008-03-27 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with multiple receiver Doppler radar systems
US20080299177A1 (en) * 2007-06-06 2008-12-04 Biovaluation & Analysis, Inc. Supramolecular Complexes for Use in Acoustically Mediated Intracellular Drug Delivery in vivo

Also Published As

Publication number Publication date
US8121669B2 (en) 2012-02-21
JP2009247907A (ja) 2009-10-29
US20090253102A1 (en) 2009-10-08

Similar Documents

Publication Publication Date Title
JP5317805B2 (ja) 軟部組織塊を追跡するシステム及びコンピュータにより実施されるその方法
US10929951B2 (en) Anatomically intelligent echocardiography for point-of-care
CN105392428B (zh) 用于映射超声剪切波弹性成像测量的***和方法
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
KR102070427B1 (ko) 종양의 위치를 추적하는 방법 및 장치
KR102369652B1 (ko) 의료영상 장치, 영상 처리 장치 및 영상 융합 방법
JP6489637B2 (ja) 生体内運動追跡装置
CN105025807B (zh) 用来对静止流体池进行识别和定界的扫描
BR112020014733A2 (pt) Método implementado por computador para a obtenção de medições anatômicas em uma imagem de ultrassom, meios de programa de computador, dispositivo de análise de imagem e método de imageamento por ultrassom
WO2020187700A1 (en) Device and method for analyzing optoacoustic data, optoacoustic system and computer program
JP5235103B2 (ja) 超音波診断装置
JP6739318B2 (ja) 超音波診断装置
JP2018143416A (ja) 生体内運動追跡装置
WO2016065710A1 (zh) 基于平面波超声成像的声带振动成像与测量***及方法
Yeh et al. Shear-wave elasticity imaging of a liver fibrosis mouse model using high-frequency ultrasound
US20230054588A1 (en) Systems and methods for detecting tissue and shear waves within the tissue
JP2019502445A (ja) 被験者の組織を特徴付ける装置及び方法
US11497475B2 (en) Ultrasound image acquisition optimization according to different respiration modes
CN209644941U (zh) 一种基于ctlm与超声波技术的乳腺成像装置
Zhou et al. Ultrasound bio-microscopic image segmentation for evaluation of zebrafish cardiac function
Shanmuganathan et al. Image registration for multi-view three-dimensional echocardiography sequences
Benjamin 3D organ property mapping using freehand ultrasound scans
Bard Multimodality 3D Lung Imaging
Nordenfur Advancing cardiovascular shear wave elastography and image registration: method development and safety evaluation
Hu et al. Lesion Size Assessment on Multi-Frequency Single Transducer-Harmonic Motion Imaging Using Convolutional Neural Network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5317805

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350