JP6453857B2 - 超音波画像の３ｄ取得のためのシステムおよび方法 - Google Patents

Description

本発明は、生体軟組織の超音波（ＵＳ：ｕｌｔｒａｓｏｕｎｄ）イメージングに用いられる方法およびシステムに関する。より具体的には、本発明は、ユーザへのインタラクティブなリアルタイム・フィードバックを用いたＵＳ取得プロトコルに関する。本方法は、以下には限定はされないが、画像誘導による外科または診断介入のための、かつそれらの間の対象となる特定の解剖学的構造、特に肝臓のような内臓の迅速かつ正確なイメージングおよび局在化を可能にする。そのうえ、本発明は、特に診断、セグメント化（例えば、血管などのようなイメージングされる被検体の特徴に対応する２つ以上の領域へのデジタル画像の区分化）およびレジストレーションのためのさらなる画像処理のために満足のいく画像コンテンツを確保する。

３次元（３Ｄ）超音波イメージングは、解剖学的構造の３Ｄ表現に基づく用途のその高い可能性のため、臨床環境での使用が増加し、広く実施されるようになりつつある。従来の２次元（２Ｄ）超音波イメージングでは、医師は、超音波トランスデューサを手で動かしながら、対象となる領域上で一連の画像を取得する。用いられるコンテンツおよび動きパターンに基づいて、医師は、次に、基礎をなす解剖学的形態の３Ｄ再構成を頭の中で行う。この頭の中でのプロセスは、様々な不利点を有する、すなわち、定量的な情報（解剖学的構造間の距離、他の臓器に対する厳密な位置など）が失われ、結果として生じる３Ｄ情報は、走査を行う医師に左右され、かつこの医師に知られるに過ぎない。

３Ｄ超音波（ＵＳ）イメージングおよび然るべき画像データ処理を用いると、上述の不利点を除くのに大いに役立つ。３Ｄ超音波検査のさらなる利益は、次の通りである、すなわち、３Ｄボリュームにおいていわゆる２Ｄスライスの間の空間的な関係が確保され、他の医師によって予め記録された超音波画像のオフライン調査が可能になる。いわゆる任意面スライシング技術を用いると、患者の他の構造により課された幾何学的制約のために取得できない像平面を今や容易に描出できる。さらにまた、ボリューム視覚化および正確なボリューム推定によって診断タスクを大いに改善することができる［非特許文献１］。

３Ｄ ＵＳ画像は、高性能の超音波システムを用いて取得され、様々な特許出願にこれらのシステムが記載される。３Ｄデータを得るために主として２つのアプローチがあり、一方は、対象となるボリュームの走査を可能にする２Ｄフェーズドアレイ・プローブの使用であり、他方は、対象となる領域にわたって動く標準的な超音波を用いて取得された一連の２Ｄ画像からの３Ｄボリュームの再構成である。

２Ｄフェーズドアレイ・プローブ技術は、圧電素子の２次元アレイを利用する。ボリュームは、アレイ素子を電子的に操舵することにより走査される。専用３Ｄ ＵＳプローブは、主として産科および心臓のイメージングにおけるリアルタイム３Ｄボリューム取得のために導入された。典型的なデバイスの例は、Ｖｏｌｕｓｏｎ（登録商標）７３０（ＧＥメディカルシステムズ（ＧＥ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ）およびｉＵ２２（登録商標）（フィリップスメディカルシステムズ（Ｐｈｉｌｉｐｓ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ）、ボセル（Ｂｏｔｈｅｌｌ）、ワシントン州、米国）である。両システムは、典型的に毎秒４０ボリュームの高取得レートで高品質の３Ｄ ＵＳ画像をすべての空間方向（軸、横および仰角方向）に生成することを目指す。この技術を用いると、完全に埋め込まれた３Ｄボリュームを得ることができる。

この技術の主な不利点は、視野がプローブのサイズによって制限され、かつかかるプローブが高価であり、ハイエンド超音波デバイスにおいてのみ利用可能なことである。代替手段は、非特許文献２、非特許文献３に提案されるように、一連の２Ｄ画像からの３Ｄスイープをコンパウンド処理することである。この技術は、標準的な超音波プローブ（１Ｄ圧電アレイ）、および対象となる領域を走査する種々の方法（プローブ並進、プローブ回転、プローブ位置追跡を伴うフリーハンド走査）を用いる。３Ｄ画像に用いられる超音波システム、プローブおよび方法は、最先端であり、非特許文献４〜１０に記載される。いわゆるフリーハンド超音波プローブの場合には、正確なフリーハンド超音波の較正が必要とされる［非特許文献１１］。均一かつ完全に埋め込まれた３Ｄボリュームを確保するために、データ取得は、非特許文献６に記載されるように、均一な速度、等しい方向および角度で行われるべきである。取得アーチファクトの課題を克服するために、高性能の再構成およびコンパウンド処理アルゴリズムが、例えば、特許文献１および非特許文献１２に記載された。

３Ｄ超音波の最先端の用途は、ナビゲーション軟組織手術におけるレジストレーションのためのその使用である。手術ナビゲーション・システムは、３Ｄ画像データに基づいて医師を誘導するために用いられ、このデータは、通常、術前にコンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｒ ｔｏｍｏｇｒａｐｈｙ）または磁気共鳴イメージング（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）で取得される。軟組織は、イメージングと手術との間に経時的に変形し動く可能性があるので、術前画像データを手術している患者へワープさせる（レジストレーションを行う）ために追加の術中情報データが必要である。超音波イメージングは、リアルタイム、非侵襲であり、かつ一般に利用できるため、かかる術中データを取得するのに有望なモダリティである。上述のように、とりわけ３Ｄ超音波イメージングは、臓器の動きおよび変形に関するかかる情報を取得するのによく適する。

すべての３Ｄ超音波取得技術に共通の課題は、画像品質のばらつき、および取得されたデータがさらなる画像処理（例えば、診断、セグメント化およびレジストレーション）のために十分であるかどうかを示す尺度の欠如である。さらなる処理に対する画像データの適否は、画像コンテンツ、対象となる構造と背景との間のコントラスト、画像に存在するアーチファクトの量、ならびに画像の均一性およびボリューム走査の密度に依存する。走査を行うユーザは、通常、走査が一旦完了すると、またはさらなる処理の結果をレビューした（例えば、ナビゲーション手術において、３Ｄデータセットが取得されて、レジストレーションが試みられ、レジストレーション結果が解析された）後、すべてのこれらの因子を評価する。走査の結果が不十分であれば、取得プロセス全体を繰り返す必要があり−これは、時間がかかり、走査の繰り返しがより良好な結果に繋がるかどうか確かではないのでうんざりする可能性がある。

超音波取得の間の誘導／フィードバックに利用可能な最新技術は、以下の節において考察されるように、
−所望の画像コンテンツを得るための誘導
−規則的なトランスデューサの動きのための誘導
−解剖学的形態の一般的なモデルに基づく３Ｄイメージングの誘導
に分類できる。

所望の画像コンテンツを得るための誘導
特許文献２では、解剖学的構造の所望のビューの取得に関してユーザを訓練するために、取得されたＢモードのコンテンツが所望の画像のモデルと比較される。取得された画像ごとに所望の目標画像へのフィット品質の尺度が計算されて、ユーザに表示される。ユーザは、次に、十分にフィットした画像が得られるまで超音波プローブを動かす。この方法は、２Ｄ画像の画像品質についてフィードバックを提供するが、画像品質をどのように改善するかについて明示的な命令を提供せず、さらなる処理に対する画像の有用性についても指標を与えない。

特許文献３では、イメージング・プロセスのための一般的なインタラクティブ・アシスタントが提示される。アシスタントは、取得された画像を予め記憶された目標画像と比較する。取得された画像と目標画像との間の類似性が十分でなければ、アシスタントは、画像品質を改善するための処置を推奨しようと試みる。

先に考察された特許におけるように、さらなる処理ステップを何も考慮せずに直接的に２つの画像の画像コンテンツが比較される。

規則的なトランスデューサの動きのための誘導
特許文献４では、フリーハンド３Ｄスイープを誘導するためのシステムが記載される。方法は、２Ｄ超音波画像の規則的な間隔のセットを得るために、所望の対象領域にわたって規則的な速度で動くようにユーザを訓練し、これらの画像は、次に３Ｄボリューム中へコンパウンド処理される。提供されるフィードバックは、コンパウンド処理に用いた（ｕｓｅｒ）画像バッファの埋め込み量を図式的に示すが、画像品質を調べず、生成された３Ｄ画像ボリュームについても情報を何も与えない。

特許文献５では、弾性イメージングのために正しいプローブの動きを行うようにユーザを指導するための方法が記載される。センサ、例えば、ＵＳプローブ内の加速度計を用いることによりその動きが測定されて、弾性イメージングのための所望の動きパターンと比較される。システムは、次に、正しい動きを容易にするために、視覚的または聴覚的なフィードバックをオペレータに提供する。このシステムは、トランスデューサの空間での動きの感知に限られ、画像コンテンツの品質についてはフィードバックを何も提供しない。

特許文献６では、腹腔鏡超音波イメージングの間に走査プロセスを視覚化するための方法が記載される。トランスデューサの位置測定結果に基づいて、取得された超音波画像が３Ｄで表示され、走査にギャップが存在するか、または走査速度が速すぎるか遅すぎた場合には、超音波画像の周りのフレームがハイライトされる。これによって、ユーザは、欠落したエリアを再走査でき、かつ規則的なプローブの動きを確実に達成できる。上記の特許におけるように、画像コンテンツについてのフィードバックは、何も提供されない。

解剖学的形態の一般的なモデルに基づく３Ｄイメージングの誘導
特許文献７では、心臓超音波の取得を誘導するためのデバイスが記載される。システムは、心臓に関するデータ取得における進捗を評価するために、ＵＳ像面と３Ｄ解剖学的モデルとの交差部を特に表示する。基礎をなす解析は、それゆえに、画像のこの幾何学的な部位に限られ、画像データのその後の使用に関する追加の判定基準を含まない。

特許文献８では、ＵＳ走査用の誘導画像を形成するための機器が提示される。取得された一連の画像に基づいて、ベストフィット３Ｄ形状モデルが選択され、ユーザに表示される。この３Ｄ形状モデルは、次に、同じ構造の後続イメージングのための誘導画像としての役割を果たす。これによって重要な解剖学的特徴の局在化および系統的な走査が可能になる。この機器は、超音波走査をある目標部位へ誘導することを目指すが、望ましい所定の品質の３Ｄボリューム画像を得ることには注目しない。

米国特許第６０１２４５８Ａ号 米国特許出願公開第２０１２０６５５１０号 米国特許出願公開第２００７０１６０１６号 米国特許第００５６４５０６６号 米国特許出願公開第２０１２１０８９６５号 米国特許出願公開第２００９００３６７７５号 欧州特許出願第１９２９９５６号 米国特許出願公開第２００８０１８７１９３号

Ｒ．サン ホセ−エステパ（Ｓａｎ Ｊｏｓｅ−Ｅｓｔｅｐａｒ）、Ｍ．マーティン−フェルナンデス（Ｍａｒｔｉｎ−Ｆｅｒｎａｎｄｅｚ）、Ｐ．Ｐ．カバリェロ−マルティネス（Ｃａｂａｌｌｅｒｏ−Ｍａｒｔｉｎｅｚ、Ｃ．アルベロラ−ロペス（Ａｌｂｅｒｏｌａ−Ｌｏｐｅｚ）およびＪ．ルイス−アルーゾラ（Ｒｕｉｚ−Ａｌｚｏｌａ）、「不規則にサンプリングされたデータからの３次元超音波再構成への理論的な枠組み（Ａ ｔｈｅｏｒｅｔｉｃａｌ ｆｒａｍｅｗｏｒｋ ｔｏ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｕｌｔｒａｓｏｕｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｉｒｒｅｇｕｌａｒｌｙ ｓａｍｐｌｅｄ ｄａｔａ）」、Ｕｌｔｒａｓｏｕｎｄ ｉｎ Ｍｅｄｉｃｉｎｅ ＆ Ｂｉｏｌｏｇｙ、ｖｏｌ．２９．ｎｏ．２、ｐｐ．２５５−２６９、２００３年２月。 Ｔ．Ｃ．プーン（Ｐｏｏｎ）およびＲ．Ｎ．ローリング（Ｒｏｈｌｉｎｇ）、「三次元拡張視野の超音波（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｅｘｔｅｎｄｅｄ ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ ｕｌｔｒａｓｏｕｎｄ）」、Ｕｌｔｒａｓｏｕｎｄ ｉｎ ｍｅｄｉｃｉｎｅ ＆ ｂｉｏｌｏｇｙ、ｖｏｌ．３２．ｎｏ．３、ｐｐ．３５７−６９、２００６年３月。 Ｃ．ヤオ（Ｙａｏ）、Ｊ．Ｍ．シンプソン（Ｓｉｍｐｓｏｎ）、Ｔ．シェフター（Ｓｃｈａｅｆｆｔｅｒ）およびＧ．Ｐ．ペニー（Ｐｅｎｎｅｙ）、「特徴整合性を用いた多数のマルチビュー３Ｄ心エコー画面の空間コンパウンド処理（Ｓｐａｔｉａｌ ｃｏｍｐｏｕｎｄｉｎｇ ｏｆ ｌａｒｇｅ ｎｕｍｂｅｒｓ ｏｆ ｍｕｌｔｉ−ｖｉｅｗ ３Ｄ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ ｉｍａｇｅｓ ｕｓｉｎｇ ｆｅａｔｕｒｅ ｃｏｎｓｉｓｔｅｎｃｙ）」、２０１０ ＩＥＥＥ Ｉｍｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ：Ｆｒｏｍ Ｎａｏ ｔｏ Ｍａｃｒｏ、ｐｐ．９６８−９７１、２０１０年。 Ａ．ジー（Ｇｅｅ）、Ｒ．プレイジャー（Ｐｒａｇｅｒ）、Ｇ．トリース（Ｔｒｅｅｃｅ）およびＬ．バーマン（Ｂｅｒｍａｎ）、「フリーハンド３Ｄ超音波システムのエンジニアリング（Ｅｎｇｉｎｅｅｒｉｎｇ ａ ｆｒｅｅｈａｎｄ ３Ｄ ｕｌｔｒａｓｏｕｎｄ ｓｙｓｔｅｍ）」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ、ｖｏｌ．２４、ｎｏ．４−５、ｐｐ．７５７−７７７、２００３年２月。 Ｐ．ツーンクム（Ｔｏｏｎｋｕｍ）、Ｎ．Ｃ．スワンウェラ（Ｓｕｗａｎｗｅｌａ）およびＣ．チンルンレン（Ｃｈｉｎｒｕｎｇｒｕｅｎｇ）、「周期的正則化サビツキー・ゴーレー・フィルタに基づく３Ｄ超音波画像の再構成（Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ３Ｄ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ Ｃｙｃｌｉｃ Ｒｅｇｕｌａｒｉｚｅｄ Ｓａｖｉｔｚｋｙ−Ｇｏｌａｙ ｆｉｌｔｅｒｓ）」、Ｕｌｔｒａｓｏｎｉｃｓ、ｖｏｌ．５１、ｎｏ．２、ｐｐ．１３６−４７、２０１１年２月。 Ｃ．Ｏ．ローラ（Ｌａｕｒａ）、Ｋ．ドレクスラー（Ｄｒｅｃｈｓｌｅｒ）、Ｍ．エルト（Ｅｒｄｔ）、Ｍ．カイル（Ｋｅｉｌ）、Ｍ．ノル（Ｎｏｌｌ）、Ｓ．Ｄ．ベニ（Ｂｅｎｉ）、Ｇ．サカス（Ｓａｋａｓ）およびＬ．ソルビアッティ（Ｓｏｌｂｉａｔｉ）、「肝腫瘍切除のために（ｆｏｒ Ｌｉｖｅｒ Ｔｕｍｏｒ Ａｂｌａｔｉｏｎ）」、ｐｐ．１３３−１４０、２０１２年。 Ｒ．ローリング（Ｒｏｈｌｉｎｇ）、Ａ．ジー（ａ Ｇｅｅ）、およびＬ．バーマン（Ｂｅｒｍａｎ）、「フリーハンド３次元超音波再構成技術の比較（Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｆｒｅｅｈａｎｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｕｌｔｒａｓｏｕｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）」、Ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ、ｖｏｌ．３、ｎｏ．４、ｐｐ．３３９−５９、１９９９年１２月。 Ｐ．ヘリヤー（Ｈｅｌｌｉｅｒ）、Ｎ．アザブー（Ａｚｚａｂｏｕ）およびＣ．バリヨ（Ｂａｒｉｌｌｏｔ）、「３Ｄフリーハンド超音波再構成（３Ｄ Ｆｒｅｅｈａｎｄ Ｕｌｔｒａｓｏｕｎｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）」、ｐｐ．５９７−６０４、２００５年。 Ｃ．−Ｈ．リン（Ｌｉｎ）、Ｃ．−Ｍ．ウェン（Ｗｅｎｇ）およびＹ．−Ｎ．スン（Ｓｕｎ）、「動き補償に基づく超音波画像コンパウンド処理（Ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅ ｃｏｍｐｏｕｎｄｉｎｇ ｂａｓｅｄ ｏｎ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）」、ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ年次国際会議会報、ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ。Ｃｏｎｆｅｒｅｎｃｅ、ｖｏｌ６、ｐｐ．６４４５−８、２００５年１月。 Ａ．フェンスター（ａ Ｆｅｎｓｔｅｒ）およびＤ．Ｂ．ダウニー（Ｄｏｗｎｅｙ）、「３次元超音波イメージング（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｉｎｇ）」、Ａｎｎｕａｌ ｒｅｖｉｅｗ ｏｆ ｂｉｏｍｅｄｉｃａｌ ｅｎｇｉｎｅｅｒｉｎｇ、ｖｏｌ．２、ｐｐ．４５７−７５、２０００年１月。 Ｌ．メルシェ（Ｍｅｒｃｉｅｒ）、Ｔ．ランゴ（Ｌａｎｇｏ）、Ｆ．リンドセット（Ｌｉｎｄｓｅｔｈ）、Ｌ．Ｄ．コリンズ（Ｃｏｌｌｉｎｓ）、「フリーハンド３Ｄ超音波システムのための較正技術のレビュー（Ａ ｒｅｖｉｅｗ ｏｆ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｆｒｅｅｈａｎｄ ３−Ｄ ｕｌｔｒａｓｏｕｎｄ ｓｙｓｔｅｍｓ）」、Ｕｌｔｒａｓｏｕｎｄ ｉｎ ｍｅｄｉｃｉｎｅ ＆ ｂｉｏｌｏｇｙ、ｖｏｌ３１、ｎｏ．２、ｐｐ．１４３−６５、２００５年２月。 Ｏ．Ｖ．ソルバーグ（Ｓｏｌｂｅｒｇ）、Ｆ．リンドセット（Ｌｉｎｄｓｅｔｈ）、Ｈ．トープ（Ｔｏｒｐ）、Ｒ．Ｅ．ブレーク（Ｂｌａｋｅ）、およびＴ．Ａ．ナーゲルフス ヘメス（Ｎａｇｅｌｈｕｓ Ｈｅｍｅｓ）、「フリーハンド３Ｄ超音波再構成アルゴリズム−レビュー（Ｆｒｅｅｈａｎｄ ３Ｄ ｕｌｔｒａｓｏｕｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ−ａ ｒｅｉｅｗ）」、Ｕｌｔｒａｓｏｕｎｄ ｉｎ ｍｅｄｉｃｉｎｅ ＆ ｂｉｏｌｏｇｙ、ｖｏｌ．３３、ｎｏ．７、ｐｐ．９９１−１００９、２００７年７月。

上記に基づいて、本発明の基礎をなす課題は、３Ｄ超音波データセット、すなわち、被検体（例えば、患者の体または体の一部、特に肝臓のような臓器）の対象となるボリュームの３Ｄモデルの取得を容易にし、かつ取得された３Ｄモデルのさらなる特定の使用を保証できるように、取得された３Ｄモデルの品質をチェックすることを特に可能にする方法およびシステムを提供することである。

この課題は、請求項１の特徴を有する方法ならびに請求項１５の特徴を有するシステムによって解決される。好ましい実施形態は、それぞれ対応する従属請求項に明記され、以下に記載される。

請求項１によれば、本発明による方法は、被検体の（例えば、人／患者の体または体の一部、例として肝臓のような臓器の）事前取得３Ｄ画像またはモデル（すなわち、対応するデータセット）を提供するステップと、前記事前取得画像をディスプレイ（例えば、コンピュータのグラフィカルユーザインターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ））上に表示するステップと、（例えば、ディスプレイに接続されたコンピュータのＧＵＩの助けを借りてディスプレイ上で）前記事前取得画像における被検体の対象となるボリュームを選択する（すなわち、被検体のあるボリュームが検査されるものとする）ステップ、および超音波（ＵＳ）プローブを被検体に対して（例えば、患者の体の上に）相応に配置することによって、前記対象となるボリュームの前記事前取得画像（例えば、その局所座標系）に対する空間位置を特に調整するステップと、前記ディスプレイ上の前記対象となるボリューム（ＶＯＩ：ｖｏｌｕｍｅ ｏｆ ｉｎｔｅｒｅｓｔとも表される）の前記事前取得画像に対する現在の空間位置を、特にリアルタイムで、特に視覚化するステップ、および、超音波プローブにより対象となるボリュームにおいて取得された現在の（例えば、２Ｄ）超音波画像を前記ディスプレイ上にリアルタイムで特に表示するステップであって、特に対象となるボリュームの視覚化は、表示された事前取得３Ｄ画像上にオーバーレイされる、表示するステップ、ならびに、前記ディスプレイ上の対象となるボリュームの視覚化を前記超音波プローブの現在の空間位置を用いて特に更新するステップであって、（例えば、いわゆる部屋固定、患者固定またはカメラの座標系での）超音波プローブのその現在の空間位置が追跡システムを用いて特に確定される、更新するステップとを備える。

次に、対象となるボリュームの空間位置が意図通りに選択または調整された（従って、ＶＯＩがそれ以上は調整されないという意味で静止したままである）ときに、前記対象となるボリュームにおける前記被検体の３Ｄモデル（すなわち、モデルを表す対応するデータセット、または代わりに３Ｄ超音波画像）を生成するために、前記対象となるボリュームにおける超音波画像の取得（記録）がトリガされ、前記トリガするステップは、前記超音波プローブにより、特に（例えば、対象となるボリューム上での）被検体に対する超音波プローブの特定の動きもしくはそれを用いた明確なジェスチャにより、または所定の時間間隔にわたって超音波プローブを動かさないことにより、あるいは自動的に行われ、超音波プローブを前記被検体にわたって対象となるボリュームに沿って、または対象となるボリュームにわたって動かす（例えば、好ましくは、被検体のＶＯＩにおいて画像が取得できる被検体上で／被検体にわたって超音波プローブが動かされる）間に、前記３Ｄモデルを生成するために、対象となるボリュームにおいて（特に手術中に）複数の超音波画像を前記超音波プローブによって取得するステップであって、現在の画像がリアルタイムで前記ディスプレイ上に特に表示され、特に現在の画像が前記ディスプレイ上に２次元で、および／または（例えば、ディスプレイ上に示された３Ｄビュアに）３次元で表示され、前記３次元で表示される現在の超音波画像は、表示された事前取得画像上に特にオーバーレイされる、取得するステップと、現在の超音波画像が対象となるボリューム中に少なくともピクセルを有するかどうかを自動的に判定するステップであって、現在の画像が対象となるボリューム中に画素を何も有さない場合には、現在の画像が自動的に破棄され（すなわち、３Ｄモデル／超音波画像中へコンパウンド処理されず）、そうでない場合（すなわち、画像がＶＯＩ中にピクセルまたはボクセルを有するとき）には、現在の超音波画像がセグメント化されて、生成されることになる前記３Ｄモデル中へコンパウンド処理され、これがリアルタイムでディスプレイ上に表示されて、表示された事前取得画像上に特にオーバーレイされ、特に新しい現在の超音波画像が３Ｄモデル中へコンパウンド処理される場合には、ディスプレイ上に表示される３Ｄモデルが更新される、判定するステップと、前記超音波画像の前記取得のときに生成されることになる３Ｄモデルに関して品質尺度を自動的に確定するステップであって、前記超音波画像の前記取得は、前記品質尺度が所定のレベルに一旦到達すると終了され、特に前記品質尺度は、対象となるボリューム内で走査された単一（２Ｄ）超音波画像の数、対象となるボリューム内で取得された超音波画像の（３Ｄ）密度（例えば、走査されたピクセルまたはボクセルとＶＯＩのピクセルまたはボクセルの数、すなわちＶＯＩボリュームとの比）、特定の画像特徴の数および／または分布、特に対象となるボリュームにおける（例えば、腫瘍、血管などのような）セグメント化された解剖学的構造の数、ならびに超音波画像を走査するために用いられた時間、のうちの少なくとも１つである、確定するステップとを備える。他の判定基準が適用されてもよい。

例えば、取得は、取得された（２Ｄ）超音波画像の数が所定の数を超える場合に停止されるか、もしくは取得は、ＶＯＩにおける２Ｄ超音波画像の密度が所定の密度値を超える場合に停止されるか、または取得は、特定の画像特徴のある数および／または分布が検出された場合に停止されるか、あるいは取得は、所定の時間間隔後に（ＶＯＩがこの時間間隔内に十分サンプリングされたと仮定して）停止される。

超音波画像の取得後に、生成された３Ｄモデルは、好ましくは、事前取得３Ｄ画像へのレジストレーションが行われる。

従って、特に、本方法は、画像レジストレーション、すなわち、画像モダリティの間のフュージョンを目的として、超音波画像をインタラクティブに取得することを可能にする。かかるフュージョンのおかげで、処置中に取得できる画像を処置室外で取得されたはるかに詳細な情報を用いて強化できる（例えば、検出された小血管がより少なく、コントラストがより低い処置中の超音波画像が、高解像度の術前ＣＴまたはＭＲＩとフュージョンされる）。特に、本発明は、患者の高解像度画像の取得を単に目指すのではなく、前記フュージョンを可能にする技術情報の取得を目的とした画像取得フレームワークの構築を目指す。好ましくは、（通常、超音波に比べて詳細なレベルの他のモダリティからの）術前データからの患者特有のアプリオリな知識を用いて、ユーザは、事前取得データと取得される現在のデータとの間のレジストレーションを行うために必要な画像／特徴を取得するように誘導される。

好ましい実施形態によれば、前記提供される事前取得３Ｄ画像が第１のセッションで取得される一方で、前記複数の超音波画像は、後で実施される別の第２のセッションで取得される。第１のセションは、第２のセション、例えば、手術／介入の数時間／数日／数週間前とすることができる。特に、２つのセッション間の時間間隔は、少なくとも１時間、少なくとも１２時間、少なくとも１日、または少なくとも１週間である。

本発明による方法のさらなる実施形態によれば、前記提供される事前取得３Ｄ画像は、超音波以外のイメージング方法を用いて取得される。

本発明による方法のさらなる実施形態によれば、前記品質尺度は、前記事前取得３Ｄ画像からの患者特有のデータに基づく判定基準である。

本発明による方法のさらなる実施形態によれば、前記数および／または分布は、対象となるボリュームにおける患者特有の解剖学的形態に依存して選択される。

本発明のさらなる実施形態によれば、前記複数の超音波画像を取得するユーザは、生成される３Ｄモデルの事前取得３Ｄ画像へのレジストレーションを行うのに十分なデータセットを特に提供するために、事前取得３Ｄ画像に基づいて、超音波プローブを画像特徴が予想される部位へ動かすように誘導される。

本発明の実施形態によれば、ＶＯＩは、必ずしも超音波プローブでナビゲーションされるわけではないが、ＵＳプローブをある部位に配置することによって定義される。

さらにまた、超音波（ＵＳ）画像を事前取得３Ｄ画像またはモデル上に「オーバーレイすること」は、ＵＳ画像のコンテンツまたは特徴が事前取得画像の対応するコンテンツまたは特徴とアラインメントされるか、または一致するように、前記ＵＳ画像またはＵＳ画像の少なくとも一部分が事前取得画像におけるある１つの位置に表示されることを特に意味する。ＵＳ画像は、それによって、事前取得画像の特徴またはコンテンツを補完してもよく、またはその逆であってもよい。さらにまた、ＵＳ画像は、それによって、事前取得３Ｄ画像の複数の部分をカバーしてもよい。ＶＯＩの場合、オーバーレイすることは、ＶＯＩの視覚化（例えば、３Ｄボックスなど）が、事前取得３Ｄ画像中に、特に部屋固定（もしくは患者固定またはカメラ）座標系での超音波プローブの位置に、例として、対応する適切な位置に表示されることを特に意味する。

このように、本明細書に記載される発明は、さらなる処理の必要条件を満たす３Ｄ超音波モデル／データセットを取得するようにユーザを誘導する。誘導は、オンライン、リアルタイム解析および取得された３Ｄモデルの表示を通じて、ならびに後続処理の必要条件に関する画像品質／コンテンツの定量評価を通じて提供される。

前記対象となるボリュームの前記事前取得画像に対する空間位置の前記調整、ならびに対象となるボリュームの表示された事前取得画像上の視覚化のオーバーレイ、ならびに前記３次元で表示された現在の超音波画像の表示された事前取得画像上のオーバーレイを達成するために、または、現在の超音波画像が対象となるボリューム中に少なくとも１つのピクセルを有するかどうかのチェック、ならびに３Ｄモデルの表示された事前取得画像上のオーバーレイを達成するために、好ましくは（少なくとも粗いアラインメントをもたらす）初期レジストレーションが行われる。これによって、表示されるＵＳ画像の特徴またはコンテンツが事前取得３Ｄ画像またはモデルの対応する特徴またはコンテンツとアラインメントするように、ＵＳ画像、ＶＯＩなどを事前取得３Ｄ画像の中または上に正しい位置で（少なくとも近似的に）表示することが可能になる。

特に初期レジストレーションは、ユーザが（カメラ、患者固定もしくは部屋固定座標系での複数点を取得するために）事前取得３Ｄ画像（例えば、仮想肝臓モデル）における、例えば、４点を選択し、次に、追跡ツールでそれらに触れる、ランドマーク・ベースのレジストレーションとすることができる。適切なアルゴリズムが、次に、レジストレーション変換を自動的に計算する。

代わりに、または組み合わせで、ユーザが超音波プローブを配置することを望む事前取得３Ｄ画像（例えば、仮想肝臓表面）における１点を選択する、超音波ベースの初期レジストレーションを利用することができる。次に、その部位で予想される超音波画像が事前取得３Ｄ画像を用いてシミュレーションされ、ユーザは、患者において（従って、カメラ、患者固定もしくは部屋固定の座標系で）同じ画像を取得するために、較正された超音波プローブを患者（被検体）に対して用いる。シミュレーションされた虚像および取得された実像に基づいて、初期レジストレーション変換が自動的に算出される。その際、較正された超音波プローブとは、部屋固定（もしくは患者固定、またはカメラ）座標系で取得された画像の位置と、超音波プローブ（の位置センサ）の位置との間の関係が知られた超音波プローブであり、従って、超音波プローブの位置を知ることは、取得された超音波画像の部屋固定（もしくは患者固定またはカメラ）座標系での位置を知ることを意味する。

本発明による方法の好ましい実施形態において、生成された３Ｄモデルは、部屋固定（もしくは患者固定またはカメラ）座標系でのその座標が超音波プローブを追跡することにより取得される、生成された３Ｄモデルの１つまたはいくつかの特徴を、事前取得３Ｄ画像の対応する１つまたはいくつかの特徴と特に一致させることによって、および、それぞれの座標系での前記特徴および前記対応する特徴の座標を用いて、事前取得３Ｄ画像の座標系と、超音波プローブの部屋固定（もしくは患者固定またはカメラ）座標系との間のレジストレーション変換を特に自動的に確定することによって、事前取得の、特に術前取得の３Ｄ画像へのレジストレーションが自動的に行われる。

言い換えれば、本発明による方法の文脈では、ユーザが対象となるボリューム（ＶＯＩ）を定義し、レジストレーションは、ＶＯＩで行われるものとする。ＶＯＩの定義は、仮想モデル（すなわち、事前取得画像）をクリックするか、または上述のように超音波プローブによるジェスチャを用いてＶＯＩをインタラクティブに配置するかのいずれかによって行われる（ジェスチャを用いる場合、上述の初期レジストレーションまたはアラインメントは、プローブの位置を仮想モデル上に表示するために用いられる（すなわち、仮想モデルがカメラまたは部屋固定もしくは患者固定の座標系へマッピングされる））。上述の初期レジストレーションにおいて選択されたランドマークに基づいて（ランドマークの周りに）ＶＯＩを定義することもできる。ＶＯＩが一旦定義されると、自動的に、またはジェスチャによるかのいずれかで取得が開始される。上述のようなボックス（ＶＯＩ）における超音波画像の取得をフィードバックループが誘導する。十分なデータが一旦取得されると、レジストレーションが算出される。

この超音波ベースのレジストレーションが一旦完了すると、事前取得３Ｄ画像の、すなわち、仮想３Ｄモデルの部屋固定（もしくは患者固定またはカメラ）座標系に対する位置が知られる。それゆえに、部屋固定（もしくは患者固定またはカメラ）座標系でその位置が追跡されるツール、例えば、手術ツールを事前取得３Ｄ画像（仮想モデル）上に表示することができる。

本発明による方法の好ましい実施形態によれば、対象となるボリュームは、その空間寸法についてボクセル（高さ、幅および奥行き）の単位で予め定義され、いくつかの特徴または特性に関して、特にその空間分解能、検出またはセグメント化された構造の密度、および／または均一性（すなわち、その空間密度、この意味で至るところ一様にサンプリングされた事前取得画像におけるＶＯＩが好ましい）、あるいはアーチファクトの数（すなわち、低雑音レベルのみならず、できるだけ少ない数のアーチファクトを有し、好ましくはアーチファクトを何も有さないＶＯＩが好ましい）に関して、さらに予め定義されるか、または選択される。

さらにまた、本発明による方法の好ましい実施形態において、アーチファクト検出は、破棄されない現在の超音波画像に対して、少なくとも１つのフィルタ・アルゴリズム、特にハフ（Ｈｏｕｇｈ）変換および／またはローパスフィルタ処理を特に用いて自動的に実施され、特に現在の超音波画像においてアーチファクトが検出された場合には、この現在の超音波画像が破棄され、特にアーチファクト確率は、事前取得３Ｄ画像の患者特有の特徴に基づいて算出される。

さらにまた、本発明による方法の好ましい実施形態において、個々の現在の超音波画像の前記セグメント化は、対象となるボリュームにおける被検体の特定の解剖学的構造、特に血管、腫瘍、臓器境界、胆管、および／または他の解剖学的形態のセグメント化を提供する少なくとも１つの（例えば、決定性）アルゴリズムを用いて自動的に実施され、特に前記アルゴリズムは、事前取得３Ｄ画像の患者特有の特徴に依存して選択される。

さらにまた、本発明による方法の好ましい実施形態において、個々の現在の超音波画像の前記セグメント化は、特に臓器境界、実質臓器、および／または血管系のような画像特徴の確率的評価を用いて自動的に実施され、前記確率的評価は、好ましくは、事前取得３Ｄ画像の患者特有の特徴を用いる。

さらにまた、本発明による方法の好ましい実施形態では、ＵＳボリューム再構成アルゴリズムが２つの並列プロセス・ステップを適用し、１つは、異なる２Ｄ ＵＳ画像からの情報のセグメント化のためであり、１つは、２Ｄ ＵＳ画像コンテンツを直接に用いることによって、あるいは強調結果、すなわち（例えば、画像のセグメント化後に）検出されたＵＳ画像の特徴または構造に基づいて、画像アーチファクトに関する試験を行うためである。言い換えれば、前記アーチファクト検出および前記セグメント化は、好ましくは並行して実施され、特に前記アーチファクト検出は、現在の超音波画像の個々のコンテンツまたは前記現在の超音波の検出された１つのコンテンツを直接に用い、特にそれぞれのアルゴリズムが互いに繰り返して相互作用する。

好ましくは、（アーチファクトを何も有さない）個々の現在の２Ｄ超音波画像において検出された画像特徴は、次に、一連の（現在の）２Ｄ超音波画像の取得のときに逐次的に生成される３Ｄモデルを表す（コンパウンド処理とも表される）３Ｄボリューム・データセットへ自動的に組み合わされる。

さらにまた、本発明による方法の好ましい実施形態において、対象となるボリュームの空間位置を前記初期調整すべく超音波プローブを配置する間に、および／または、複数の超音波画像の前記取得の間に超音波プローブを動かすときに、ユーザを前記ＵＳプローブの配置および／または移動の際に補助および／または誘導するために、誘導情報が前記ディスプレイ上に表示されるか、および／または、ユーザに、特に言葉で、聴覚的に提供される。

好ましくは、前記誘導情報は、前記事前取得３Ｄ画像および取得された３Ｄモデルの特徴に基づくフィードバックを通じて提供される。

好ましくは、超音波プローブは、光学的、電気機械的もしくは機械的測定原理に基づく座標測定システムを用いて（すなわち、部屋固定、患者固定またはカメラの座標系での）空間画像座標を導出することによって、および／または、後続画像における画像特徴の相対的なシフトを解析することにより相対的な画像座標を導出することによって追跡される。

そのうえ、好ましくは、前記誘導情報は、前記ディスプレイ上の少なくとも１つまたはいくつかの立方グリッドの視覚化を備え、特に定義された組織構造および／または解剖学的構造を特定の色が表す。そのうえ、好ましくは、前記グリッド（単数または複数）は、事前取得３Ｄ画像上に表示される。

さらにまた、本発明による方法の好ましい実施形態において、特に前記セグメント化のときに、現在の超音波画像に欠落した情報は、アプリオリな情報（すなわち、先験的な情報）に基づいて、または被検体（例えば、臓器）についてのアプリオリな情報もしくは事前取得３Ｄ画像からの患者特有の特徴を用いて、自動的に補間される。さらにまた、前記セグメント化のときに、現在の超音波画像（４０１、４０２）に欠落した情報は、被検体、被検体の部分または病変、および／または他の既知の解剖学的構造における血管構造の分布、対象となる解剖学的構造の幾何学形状についてのコホート特有情報（すなわち、属性を同一にする集団に特有の情報）および／または統計情報を用いて補間することができる。

好ましくは、対象となるボリュームは、診断、視覚化、セグメント化、および／またはレジストレーションに向けてさらなる処理を可能にするのに十分な画像情報を含むように選ばれる。

さらにまた、本発明による方法の好ましい実施形態において、生成された３Ｄモデルは、特に事前に取得されるか、または動的にリフレッシュされた情報コンテンツに関して、特に均一性（上記を参照）および／または解像度のようなパラメータに関して、３Ｄモデル生成の進捗の現在のレベルを表示するために、特に超音波以外のイメージング方法に基づき、かつ特に３Ｄモデルと比較して異なる座標系に基づく事前取得３Ｄ画像と、例えば、自動的にアラインメントされる。

さらにまた、好ましくは、ディスプレイ上の３Ｄモデルの視覚化は、現在検出されて解析される解剖学的構造を特に示す、ユーザ定義された静的または動的色マッピングを用いる。

さらにまた、本発明による方法の好ましい実施形態において、超音波画像取得プロセスの成功裏の完了は、スピーカを通じて特に聴覚的に、および／または前記ディスプレイを通じて図式的にユーザへ信号伝達される。

好ましくは、事前取得３Ｄ画像は、超音波画像、コンピュータ断層撮影画像、または磁気共鳴画像である。

そのうえ、本発明による課題は、本発明による方法を実施するために特に設計された請求項３０の特徴を有するシステムによって解決され、前記システムは、データ処理システムに接続された超音波プローブを備え、データ処理システムは、前記超音波プローブの制御のための制御ユニット、ＵＳ画像の取得および解析のための計算手段（例えば、コンピュータ、例えば、ＰＣまたはワークステーションなど）、ならびに情報、特にユーザのための情報（例えば、誘導情報）のみならずＵＳ画像および事前取得画像を表示するために前記コンピュータに接続されたディスプレイを特に備える。さらにまた、システムは、超音波プローブの空間位置を（例えば、部屋固定、患者固定またはカメラの座標系に対して）追跡するための追跡システムを備え、追跡システムは、前記座標系での超音波プローブの空間位置を検出するために超音波プローブ上に配列されるか、またはそれに一体化された１つまたはいくつかの位置センサを備え、前記追跡システム（座標測定システムとも表される）は、超音波プローブの位置を光学的、電気機械的、もしくは機械的に検知するように特に設計され、すなわち、前記追跡システムは、超音波プローブの位置追跡のための光学的、電気機械的もしくは機械的測定原理に基づく。

好ましくは、追跡システムは、カメラ、特に立体カメラのような追跡デバイスを備え、位置センサ（単数または複数）の位置をカメラ（または追跡デバイス）とともに存するカメラ座標系で検出して追跡するように設計される。追跡デバイスは、通常、患者が位置する部屋に対して静止するか、または患者に対して静止しているので、かかる座標系は、部屋固定もしくは患者固定座標系と表されてもよい。

好ましくは、データ処理システムは、超音波プローブを用いて取得された被検体の現在の超音波画像が、被検体の事前取得３Ｄ画像の対象となる事前選択ボリューム中に少なくとも１つのピクセルを有するかどうかを自動的にチェックするように設計され、現在の画像が対象となるボリューム中にピクセルを何も有さない場合には、データ処理システムは、現在の画像を破棄するように設計され、そうでない場合には（すなわち、画像がＶＯＩ中にピクセル／ボクセルを有するとき）、データ処理システムは、現在の超音波画像を自動的にセグメント化して、それを３Ｄモデル中へコンパウンド処理するように設計され、データ処理システムは、特に超音波プローブを用いた超音波画像の取得のときに、生成されることになる３Ｄモデルに関して品質尺度を確定するように設計され、データ処理システムは、前記品質尺度が所定のレベルまたは動的に定義されたレベルに一旦到達すると、３Ｄモデルに関する超音波画像の取得を終了するように設計され、特に前記品質尺度は、対象となるボリューム内で走査された単一超音波画像の数、対象となるボリューム内で取得された超音波画像の密度、特定の画像特徴の数および／または分布、特に対象となるボリュームにおけるセグメント化された解剖学的構造の数、または特に予想される特徴の患者特有の数、ならびに超音波画像の取得のために必要とされた時間（上記も参照）のうちの少なくとも１つである。

さらにまた、データ処理システムは、生成された３Ｄモデルの事前取得３Ｄ画像へのレジストレーションを自動的に行うように特に設計され、逆もまた同様である。

システムは、聴覚情報、特に言語情報（例えば、誘導情報、上記も参照）をユーザに提供するためのスピーカをさらに備えてもよい。

本発明によるシステムは、本明細書に記載される発明による方法の特徴によってさらに特徴付けることができる。

さらにまた、本発明の別の態様によれば、プログラム命令を備えるコンピュータプログラムが提供され、このプログラム命令は、コンピュータプログラムがコンピュータに読み込まれるか、またはコンピュータによって実行されるときに、本発明による（例えば、請求項１による）方法をコンピュータ（例えば、前記データ処理システムまたはデータ処理システムの前記コンピュータ）に実施させる。本明細書では、特に、事前取得３Ｄ画像、超音波プローブを用いて取得された現在の（２Ｄ）超音波画像、および／またはＶＯＩが入力としてコンピュータプログラムに入力される。

特に、本発明の態様によれば、現在の超音波画像が対象となるボリューム中に少なくとも１つのピクセルを有するかどうかをコンピュータ（例えば、前記データ処理システムまたはデータ処理システムの前記コンピュータ）にチェックさせるプログラム命令を備えるコンピュータプログラムが提供され、現在の画像が対象となるボリューム中にピクセルを何も有さない場合には、現在の画像が破棄され、そうでない場合には、現在の画像がセグメント化されて、生成されることのなる３Ｄモデル中へコンパウンド処理され、それがリアルタイムで（例えば、前記コンピュータに接続された）ディスプレイ上に特に表示されて、表示された事前取得画像上に特にオーバーレイされ、特に新しい現在の超音波画像が３Ｄモデル中へコンパウンド処理される場合には、特に前記超音波画像の取得のときに、生成されることになる３Ｄモデルに関して品質尺度を確定するために、ディスプレイ上に表示された３Ｄモデルが更新され、前記超音波画像の取得は、前記品質尺度が所定のレベルに一旦達すると終了され、特に前記品質尺度は、対象となるボリューム内で走査された単一超音波画像の数、対象となるボリューム内で取得された超音波画像の密度、特定の画像特徴の数および／または分布、特に対象となるボリュームにおけるセグメント化された解剖学的構造の数、ならびに超音波画像を走査するために必要とされた時間（上記も参照）のうちの少なくとも１つである。

さらにまた、本発明の別の態様は、超音波プローブを臓器の表面上に配置すべくユーザが対象となるボリュームの適切な位置を局在化および特定するのを補助する、誘導情報のリアルタイム生成および視覚化のための方法である。

その際、超音波プローブの追跡は、好ましくは、光学的、電気機械的もしくは機械的測定原理に基づく座標測定システムを用いて絶対空間画像座標を導出することによって、および／または、後続画像における画像特徴の相対的なシフトを解析することにより相対的な画像座標を導出することによって可能になる。

さらにまた、その際、ユーザのための誘導情報は、好ましくは、定義された組織構造、特に解剖学的構造を特定の色が表す、グラフイックユーザインターフェースのディスプレイでの立方グリッドの仮想的な視覚化を備える。

さらにまた、その際、ユーザのための誘導情報は、好ましくは、聴覚または言葉（例えば、記録された話し言葉または人工音声）による。

本発明のさらに別の態様によれば、事前に取得されるか、または動的にリフレッシュされた情報コンテンツに関して、特に、以下には限定されないが、均一性（上記を参照）および／または解像度のようなパラメータに関して、３Ｄボリューム画像取得の進捗の現在のレベルを表示すべく、取得された３Ｄ超音波画像を事前取得３Ｄ画像データセットとアラインメントするためにレジストレーション方法が提供される。

その際、３Ｄ超音波画像データセットの視覚化は、好ましくは、現在検出されて解析される解剖学的構造を示す特定のユーザ定義された静的または動的色マッピングを利用する。

さらにまた、その際、画像取得プロセスの成功裏の完了は、好ましくは、ＧＵＩおよび／または聴覚インターフェース、特にスピーカの手段によって聴覚的および／または図式的にユーザへ信号伝達される。

さらにまた、その際、事前取得画像は、好ましくは、特に不均一な品質および画像コンテンツの超音波画像、ＣＴ画像またはＭＲ画像である。

本発明のさらなる特徴および利点が図面を参照して実施形態の詳細な記載によって説明されるであろう。

３Ｄ超音波（ＵＳ）画像取得の典型的な実施形態を示す。 ＵＳ画像取得プロセスの初期化を概略図で示す。 対象となるボリューム（ＶＯＩ）の解剖学的構造および視覚化を示す。ＶＯＩの図式的な表現および超音波画像が３Ｄ解剖学的形態上にオーバーレイされる。 対象となるボリューム（ＶＯＩ）の解剖学的形態および視覚化を示す。ＶＯＩの視覚化を２Ｄ ＵＳ画像とともに示す。 ３Ｄ超音波画像取得の間の視覚化を示す。 アーチファクト検出および画像セグメント化を含むＵＳ画像取得プロセスを示す。 ＵＳ画像におけるアーチファクトの典型的な写真を示す。 さらなる画像処理に適した画像データを取得するためにユーザを誘導するリアルタイム・フィードバックを用いた取得アルゴリズムを示す。

特に、本発明による方法およびシステムは、ＵＳ画像の、特にＵＳ、ＣＴおよび／またはＭＲからの事前取得（例えば３Ｄ）画像とのリアルタイム・レジストレーションを改善することを主たる目的（ｐｒｉｎｃｉｐｌｅ ａｉｍ）として、３Ｄ ＵＳ画像の取得を最適化するために役立つ。オンラインまたはリアルタイム３Ｄ画像解析ループおよびＵＳ画像の取得の間のリアルタイム・フィードバックを利用することによって、本システム／方法は、さらなるデータ処理、すなわち、診断、視覚化、セグメント化、およびレジストレーションに適した３Ｄ ＵＳ画像／モデルの画像コンテンツを確保することを目指す。

本発明は、ナビゲーション軟組織手術のための画像レジストレーションに関して特に記載されるが、この用途には限定されない。

システム・セットアップ
例示的な実施形態によれば、本発明による方法は、次の構成要素、すなわち、ＵＳプローブ１０３を制御するための制御ユニット１０７を備えるデータ処理システムまたはユニット１０５に接続された３Ｄまたは２Ｄ超音波（ＵＳ）プローブ１０３、および画像および他の関連するユーザ情報を表示するためのグラフイックユーザインターフェース（ＧＵＩ）１０１をもつコンピュータ（ワークステーションまたはＰＣ）１０６を特に用いる。ディスプレイ１０１は、画面表示部（ＬＣＤまたは類似物）ならびにユーザ１００に情報を図式的および／または視覚的に表示する他の手段からなってもよい。さらに、コンピュータ１０６またはＧＵＩ１０１にスピーカが取り付けられてもよい。

ＵＳプローブ１０３は、例えば、市販の追跡システム１０２によって追跡される。ＵＳプローブ１０３は較正され、位置センサ１０８とも表される、装着もしくは一体化された受動または能動型の追跡センサあるいはリフレクタ１０８を有する。

特に、適切な画像コンテンツを取得するためのフィードバックおよび誘導は、取得された画像の対象となる所望のボリュームに対する幾何学的情報、ならび３Ｄで得られた情報コンテンツの尺度に基づく。かかる尺度は、取得された画像のセグメント化から導出され、定性的な３Ｄ表示として、または定量的な品質指標によってユーザに提供できる。３Ｄ画像取得の間にオンライン・フィードバックを提供することによって、オペレータは、欠落した走査部位へＵＳプローブを動かして、イメージング・パラメータを正しく調整して、最終的に後続の処理のために十分なデータが確実に取得されるように誘導される。取得プロセスの間に画像品質を制御することによって、イメージング・プロセス全体のうんざりする繰り返しを回避することができる。

ＶＯＩ調整、視覚化および選択
ユーザ１００は、システムのＧＵＩのディスプレイ１０１に表示された、超音波（ＵＳ）、コンピュータ断層撮影（ＣＴ）または磁気共鳴（ＭＲ）イメージングからの事前取得画像におけるいわゆる対象となるボリュームＶＯＩ３０１を選択する。ＶＯＩ３０１を選択する前に、事前に取得された解剖学的画像またはモデルを追跡座標系（部屋固定座標系）と概略的にアラインメントするために、１つまたはいくつかのランドマーク点に基づく初期レジストレーションが行われてもよい。次に、ユーザがＵＳプローブ１０３を対象となる臓器１１０の表面上に配置することによりＶＯＩ３０１の位置が調整される。現在のＶＯＩ３０１がＧＵＩ１０１に表示され、リアルタイムの追跡情報に基づいて更新される。ユーザ１００は、それによって、ＧＵＩ１０１上でリアルタイムの視覚的なフィードバックを受け取り、然るべきＶＯＩ３０１、すなわち対象となる解剖学的構造３０２をインタラクティブに選択できる。ＶＯＩ３０１の調整のためのアルゴリズムが図２に示される。

調整フェーズの間に、ＶＯＩ３０１が線に特定の色がついた仮想的な立方グリッドとして第１のＵＳ画像（図３Ｂ）とともにＧＵＩ１０１上に視覚化される。ＶＯＩ３０１は、追跡されるＵＳプローブ１０３の仮想モデルの下方に配置され、ＶＯＩ３０１の位置は、プローブ１０３の動きとともに更新される。仮想的なＶＯＩ３０１を対象となる解剖学的形態（図３Ａ）の事前取得画像またはモデル３０５上へオーバーレイすることによって、ユーザは、選択されたＶＯＩ３０１の部位および方位を、特に対象となる解剖学的構造がＶＯＩ３０１内にあるかどうかを仮想的に解析することが可能になる。ユーザ１００は、ＶＯＩ３０１の空間的な配置に満足がいくまで、ＵＳプローブ１０３を臓器１１０の表面にわたって動かす。

ＶＯＩ３０１の正しい配置が一旦達成されると、プローブ１０３を依然として所望の部位上に保持して、またはユーザ１００が届く範囲内の他のインタラクション手段によって（例えば、ＧＵＩ１０１上で確認ボタンを押すことによって、または音声命令を用いることによって）、ＶＯＩ３０１が選択される。

ＶＯＩ３０１のサイズは、次のパラメータ、すなわち、ＵＳプローブ１０３の長さ、画像深度、および予想される対象となる解剖学的構造によって確定される。例えば、肝臓のような内臓のＶＯＩ３０１は、典型的に、血管系の分岐、機能セグメント、腫瘍または腫瘍の集積、臓器境界、胆管および／または実質臓器を伴う。さらにまた、この構造は、臓器境界のような予想される特徴の確率的表現（ある領域内に臓器境界がある確率）であってもよい。典型的なＶＯＩ３０１の寸法は、およそ４０ｍｍ（長さ）×８０ｍｍ（幅）×９０ｍｍ（奥行き）である。図３Ａおよび３Ｂは、典型的なＶＯＩ３０１を示す。

ＶＯＩにおける超音波画像の取得
ＶＯＩ３０１の選択が一旦完了すると、３Ｄデータ取得が開始される。ユーザが画像取得プロセスの間にイメージングのためにプローブ１０３をＶＯＩ３０１外の領域に置いた場合、ＧＵＩ１０１を通じて聴覚的および／または視覚的に通知される。この情報は、色つきの矢印または手のような特定の記号／絵文字によって表示されてもよく、および／または、（例えば、周波数もしくは振幅変調、ビープの長さによって）音に符号化されてもよい。聴覚情報は、１つ以上のスピーカによって与えられる言葉によるユーザ１００への指示を備えてもよい。

個々に取得された現在の（例えば、２Ｄ）ＵＳ画像４０１、４０２は、リアルタイムでＧＵＩ１０１上に表示される。このように、ユーザ１００は、対象となる解剖学的構造をＵＳ画像中で視認できるかどうかをインタラクティブに、視覚的にチェックできる。視覚化は、標準的な２Ｄ超音波画像４０２として提供でき、３Ｄビュア４０１でも提供できる。３Ｄビュアは、超音波画像およびＶＯＩ３０１内のその部位のみを表示でき（図３Ｂと同様）、あるいは取得された画像を事前取得画像からの対応する３Ｄ情報と重ねることができる（図３Ａと同様）。

オンライン画像品質チェック、セグメント化およびコンパウンド処理
画像取得の間に、自動的なオンライン画像品質チェックおよび解析が行われる。画像評価アルゴリズムに関する例が図５に示される。このアルゴリズムは、取得された（現在の）ＵＳ画像を受け取り、画像の部位が選択されたＶＯＩ３０１内にあるかどうかをチェックする。画像が選択されたＶＯＩ３０１内になければ、次の取得された（現在の）画像が解析される。この自動プロセスは、追跡システム１０２およびＵＳプローブ１０３に装着された追跡センサ（単数または複数）１０８からの空間情報を用いる。追跡情報およびＵＳ較正変換（すなわち、ＵＳプローブ１０３の位置、例えば、プローブ１０３に装着もしくは一体化された位置センサの位置を、プローブを用いて生成されたＵＳ画像の位置へリンクする変換、従って、部屋固定、患者固定またはカメラの座標系でのＵＳプローブ１０３の位置を知ることは、この座標系でのＵＳ画像の位置を知ることを意味する）から、ＵＳ画像の３Ｄ空間位置が計算されて、ＶＯＩ３０１の３Ｄ空間位置と比較される。ＵＳ画像のピクセルがＶＯＩ３０１内に位置しなければ、ＵＳ画像は、ＶＯＩ３０１の外部にあると見做される。そうでない場合には、画像が有効であると見做され、アーチファクト除去およびセグメント化を含むさらなる処理に用いられる。アーチファクト除去プロセスは、画像における大きい黒縞（図５Ｂ）のようなＵＳ特有のアーチファクトを検出する。これらは、ＵＳプローブ１０９の能動センシング・エリアと、患者１１０の生体組織／臓器との間の不十分な接触、または全ＵＳ信号を反射する堅い構造に由来する。画像の縦線に沿ったハフ変換、ローパスフィルタ処理または強度解析のような方法を用いることによって自動的に黒縞が検出される。

アーチファクト検出プロセスと並行して、画像がセグメント化されて、アーチファクト検出が完了するまでバッファに入れられる（図５を参照）。アーチファクトが何も存在しなければ、セグメント化された画像が保持され、３Ｄ ＵＳ画像／モデルにおいてコンパウンド処理される。セグメント化は、画像における対象となる構造（典型的に、血管、腫瘍、または臓器境界）を自動的に検出し、それらをオーバーレイとして２Ｄ画像４０４上へ表示する。新しいＵＳ画像が３Ｄ ＵＳボリューム中へコンパウンド処理される場合、ＧＵＩ１０１上の３Ｄ情報４０３が更新されて、ユーザ１００に表示される。解析の結果をリアルタイムで２Ｄ画像上に表示することによって、ユーザ１００は、セグメント化アルゴリズムが現在の画像上で関連情報を首尾よく検出するかどうかをインタラクティブに判定できる。最近取得されたデータを用いて３Ｄ視覚化を更新することによって、ユーザ１００は、全取得プロセスに関するフィードバックをさらに得て、情報が欠落した部位があるかどうかを判断でき、対象となる解剖学的形態の十分な表現が取得されたかどうかを最終的に判定できる。

取得された画像コンテンツに関する情報に加えて、ＧＵＩ１０１は、すべての取得画像平面も表示でき、それによって、複数の超音波画像によるＶＯＩ３０１の埋め込みに関する視覚的なフィードバックを提供できる。これにより、ユーザ１００は、画像データが何も取得されなかった部位を理解して、超音波プローブ１０３をこれらの部位上にインタラクティブに配置することができる。

セグメント化に用いられるアルゴリズムは、対象となる解剖学的構造に従って選ばれる。典型的な例は、血管検出のため、および臓器表面検出のためのアルゴリズムである。最先端技術では広範囲のＵＳセグメント化アルゴリズムが利用可能である［１６］。

利用される画像コンパウンド処理の方法は、よく知られており、次の通りピクセル最近接（ＰＮＮ：ｐｉｘｅｌ ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒ）、ボクセル最近接（ＶＮＮ：ｖｏｘｅｌ ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒ）、距離加重（ＤＷ：ｄｉｓｔａｎｃｅ−ｗｅｉｇｈｔｅｄ）補間、非剛体レジストレーション、動径基底関数（ＲＢＦ：ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）補間、および強度分布に関するレイリー（Ｒａｙｌｅｉｇｈ）モデルがあるが、それらには限定されない。これらは、非特許文献１２に記載される。

情報コンテンツの定量的尺度
ユーザに提供される視覚的なフィードバックに加えて、画像取得と並行して作動するプロセスは、ＵＳ画像データの自動的な定量解析を行う。かかる尺度は、画像コンテンツがさらなる処理に適することを保証し、かつユーザ１００に追加のリアルタイム・フィードバックを提供する。ナビゲーション軟組織手術のためのレジストレーションの文脈における典型的な品質尺度は、超音波プローブ１０３を用いて走査されたＶＯＩ３０１のパーセンテージ（例えば、走査されたのが（ｗｈｅｒｅ ｓｃａｎｎｅｄ）ＶＯＩ中のボクセルのうちの１０％）、または解剖学的データ（例えば、セグメント化された血管／腫瘍／境界の数）が検出されたボクセルの量を含む。予想される／必要とされる画像コンテンツは、事前取得ボリュメトリック画像データから知られるので、現在取得された情報コンテンツの尺度をさらなる処理に必要なデータと関連付けることができる。ナビゲーション肝臓手術の場合、システムは、次にレジストレーションに用いられる血管系の分岐を検出することを目指す。血管系の寸法（および予想される血管ピクセルの数）が術前イメージングから知られ、フィードバックループは、それゆえに、術中超音波を用いて検出された血管のパーセンテージとすることができる。術前および術中データセットの両方が同様のデータ量であれば、確固とした正確なレジストレーションに繋がると予想される。

フィードバックループ
図５は、上述のすべての構成要素を組み込んだ３Ｄ画像取得一式を示す。プロセスは、計画されたＶＯＩ３０１の仮想表示を用いたインタラクティブなＶＯＩ３０１の定義から開始され、ナビゲーション超音波プローブ１０３がＶＯＩ３０１に接続される。

ＶＯＩ３０１が一旦定義されると、システムはループに入り、このループでは新しく取得された各画像がＶＯＩ３０１内の構造を描写するか、アーチファクトを何も含まないかどうかを判定するために解析される。画像がＶＯＩ３０１外にあるか、またはアーチファクトを含めば、アルゴリズムが画像取得へ戻る。そうでなければ、画像がセグメント化されて、コンパウンド処理され、結果として生じたデータがＧＵＩ１０１上でユーザ１００に表示される。

ＧＵＩ１０１上の視覚的なフィードバックおよび情報コンテンツの定量的尺度に基づいて、ＵＳ取得を停止するための判定基準が評価される。画像取得を停止するための判定基準は、取得プロセスの前または間に定義され、解析されることになる臓器または組織１１０とともに変化する。一般に、判定基準に関する定義の３つの基本的なオプション、すなわち、（ａ）ユーザによる視覚的な定義、（ｂ）取得されたＵＳデータに基づく静的な定義（例えば、取得された有効な画像の数、埋め込まれたボリュームのパーセンテージ、セグメント化されたボクセルのパーセンテージ）、および（ｃ）予想される画像コンテンツに基づく動的な判定基準（例えば、術前画像データおよびＶＯＩ選択に基づいて予想される術中血管ピクセルの数の予測）がある。従って、ユーザ１００または取得アルゴリズムのいずれかが、取得された画像コンテンツが所望の用途（診断、視覚化、セグメント化、レジストレーション）に対して十分か、または追加の画像を取得する必要があるかどうかを決定する。十分なデータが利用可能であれば、取得が停止され、そうでない場合には、必要な追加の画像コンテンツに関するフィードバックがユーザ１００に提供される。

ユーザ１００へのフィードバックは、必要とされる画像品質を得るために必要な処置（例えば、ＶＯＩ３０１の他のエリアへのプローブの動き、解剖学的構造の探索、イメージング・パラメータにおける変更）についての視覚的または聴覚的な指示を含む。このフィードバックに基づいて、ユーザが次の画像を取得し、フィードバックループが最初から開始される。

最後に、以下では、本発明のさらなる態様が、請求項としても定式化できる、複数の項目として明記される。

項目１：３Ｄ超音波画像取得のための方法が提案され、この方法は、
−被検体（１１０）の事前取得３Ｄ画像（３０５）を提供するステップと、
−前記事前取得画像（３０５）をディスプレイ（１０１）上に表示するステップと、
−前記事前取得画像（３０５）における被検体（１１０）の対象となるボリューム（３０１）を選択するステップ、および超音波プローブ（１０３）を被検体（１１０）に対して相応に配置することによって、前記対象となるボリューム（３０１）の前記事前取得画像（３０５）に対する空間位置を特に調整するステップと、
−前記ディスプレイ（１０１）上の前記対象となるボリューム（３０１）の前記事前取得画像（３０５）に対する現在の空間位置を、特にリアルタイムで、特に視覚化するステップ、および超音波プローブ（１０３）により対象となるボリューム（３０１）において取得された現在の超音波画像（４０１、４０２）を前記ディスプレイ（１０１）上にリアルタイムで特に表示するステップであって、特に対象となるボリューム（３０１）の視覚化は、表示された事前取得３Ｄ画像（３０５）上にオーバーレイされる、表示するステップ、ならびに前記ディスプレイ（１０１）上の対象となるボリューム（３０１）の視覚化を前記超音波プローブ（１０３）の現在の空間位置を用いて特に更新するステップであって、超音波プローブ（１０３）のその現在の空間位置は、追跡システム（１０２）を用いて特に確定される、更新するステップと、
−対象となるボリューム（３０１）の空間位置が意図通りに選択または調整されたときに、前記対象となるボリューム（３０１）に前記被検体（１１０）の３Ｄモデル（４０３）を生成するために、前記対象となるボリューム（３０１）における超音波画像（４０１、４０２）の取得をトリガするステップであって、前記トリガするステップは、前記超音波プローブ（１０３）により、特に被検体（１１０）の表面上の超音波プローブ（１０３）の特定の動きもしくはそれを用いた明確なジェスチャにより特に行われる、トリガするステップと、
−超音波プローブ（１０３）を前記被検体（１１０）に対して対象となるボリューム（３０１）に沿って動かす間に、前記３Ｄモデル（４０３）を生成するために、対象となるボリューム（３０１）において複数の超音波画像（４０１、４０２）を前記超音波プローブ（１０３）により取得するステップであって、特に現在の画像（４０１、４０２）がリアルタイムで前記ディスプレイ（１０１）上に表示され、特に現在の画像が前記ディスプレイ上に２次元で（４０２）、および／または３次元で（４０１）表示され、前記３次元で表示される現在の超音波画像は、表示された事前取得画像（３０５）上に特にオーバーレイされる、取得するステップと、
−現在の超音波画像（４０１、４０２）が対象となるボリューム（３０１）中に少なくとも１つのピクセルを有するかどうかをチェックするステップであって、現在の画像（４０１、４０２）が対象となるボリューム（３０１）中にピクセルを何も有さない場合には、現在の画像（４０１、４０２）が破棄され、そうでない場合には、現在の超音波画像（４０１、４０２）がセグメント化されて、生成されることになる前記３Ｄモデル（４０３）中へコンパウンド処理され、これがリアルタイムでディスプレイ（１０１）上に特に表示されて、表示された事前取得画像（３０５）上に特にオーバーレイされ、特に新しい現在の超音波画像（４０１、４０２）が３Ｄモデル（４０３）中へコンパウンド処理される場合には、ディスプレイ（１０１）上に表示された３Ｄモデル（４０３）が更新される、チェックするステップと、
−前記超音波画像（４０１、４０２）の前記取得のときに生成されることになる３Ｄモデル（４０３）に関して品質尺度を確定するステップであって、前記超音波画像（４０１、４０２）の前記取得は、前記品質尺度が所定のレベルに一旦到達すると終了され、特に前記品質尺度は、
−対象となるボリューム（３０１）内で走査された単一超音波画像（４０１、４０２）の数、
−対象となるボリューム（３０１）内で取得された超音波画像（４０１、４０２）の密度、
−特定の画像特徴の数および／または分布、特に対象となるボリューム（３０１）におけるセグメント化された解剖学的構造の数、ならびに
−超音波画像（４０１、４０２）を走査するために必要とされた時間のうちの少なくとも１つである、確定するステップと
を備える。

項目２：対象となるボリューム（３０１）の位置、取得された現在の超音波画像（４０１、４０２）、および／または３Ｄモデル（４０３）を事前取得画像（３０５）に対してディスプレイ（１０１）上に特に正しく表示するために初期レジストレーションが行われ、特に初期レジストレーションは、事前取得画像（３０５）の座標系での複数点、特に４点を選択するステップ、追跡ツールの部屋固定もしくは患者固定座標系での対応する点を取得するために、ツールを用いて被検体（１１０）の前記対応する点に触れるステップ、ならびに、事前取得画像の座標系での前記点からの前記座標系と、ツールの部屋固定（もしくは患者固定）座標系でのそれらに対応する点との間のレジストレーション変換を確定するステップを伴うか、および／または、特に初期レジストレーションは、事前取得画像（３０５）の座標系での１点を選択するステップ、この部位において予想される超音波画像を算出するステップ、超音波プローブ（１０３）の部屋固定もしくは患者固定座標系で追跡される超音波プローブ（１０３）を用いて被検体（１１０）の対応する超音波画像（４０１、４０２）を取得するステップ、ならびに、予想される超音波画像および取得された超音波画像（４０１、４０２）を用いて、前記座標系の間のレジストレーション変換を確定するステップを伴う、項目１に記載の方法。

項目３：生成された３Ｄモデル（４０３）は、部屋固定もしくは患者固定座標系でのその座標が超音波プローブ（１０３）を追跡することにより取得される生成された３Ｄモデル（４０３）の少なくとも１つの特徴を事前取得３Ｄ画像（３０５）の対応する特徴と特に一致させることによって、および、部屋固定もしくは患者固定座標系での前記少なくとも１つの特徴の座標と事前取得３Ｄ画像（３０５）の座標系での前記対応する特徴の座標とを用いて事前取得３Ｄ画像（３０５）の座標系と超音波プローブ（１０３）の部屋固定もしくは患者固定座標系との間のレジストレーション変換を特に確定することによって、事前取得の、特に術前取得の３Ｄ画像（３０５）へのレジストレーションが行われる、項目１または２に記載の方法。

項目４：アーチファクト検出は、破棄されない現在の超音波画像（４０１、４０２）に対して、少なくとも１つのフィルタ・アルゴリズム、特にハウ変換および／またはローパスフィルタ処理を特に用いて実施され、特に現在の超音波画像においてアーチファクトが検出された場合には、この現在の超音波画像が破棄される、項目１〜３のいずれか１項に記載の方法。

項目５：個々の現在の超音波画像（４０１、４０２）の前記セグメント化は、対象となるボリュームにおける被検体の特定の解剖学的構造、特に血管、腫瘍、臓器境界、胆管、および／または他の解剖学的形態のセグメント化を提供する少なくとも１つの決定性アルゴリズムを用いて実施される、項目１〜４のいずれか１項に記載の方法。

項目６：個々の現在の超音波画像（４０１、４０２）の前記セグメント化は、特に臓器境界、実質臓器、および／または血管系のような、画像特徴の確率的評価を用いて実施される、項目１〜５のいずれか１項に記載の方法。

項目７：前記アーチファクト検出および前記セグメント化は、並行して実施され、特に前記アーチファクト検出は、現在の超音波画像（４０１、４０２）の個々のコンテンツまたは前記現在の超音波の検出されたコンテンツを直接に用いる、項目１〜６のいずれか１項に記載の方法。

項目８：対象となるボリューム（３０１）の空間位置の前記調整のために超音波プローブ（１０３）を配置すると、および／または、複数の超音波画像（４０１、４０２）の前記取得の間に超音波プローブ（１０３）を動かすと、超音波プローブ（１０３）の配置および／または移動に関してユーザ（１００）を補助および／または誘導するために、誘導情報が前記ディスプレイ（１０１）上に表示されるか、および／または、ユーザ（１００）に、特に言葉で、聴覚的に提供される、項目１〜７のいずれか１項に記載の方法。

項目９：超音波プローブ（１０３）は、光学的、電気機械的もしくは機械的測定原理に基づく座標測定システムを用いて絶対空間画像座標を導出することによって、および／または、後続画像における画像特徴の相対的なシフトを解析することにより相対的な画像座標を導出することによって追跡される、項目１〜８のいずれか１項に記載の方法。

項目１０：前記誘導情報は、前記ディスプレイ（１０１）上の少なくとも１つまたはいくつかの立方グリッドの仮想的な視覚化を備え、特に特定の色が定義された組織構造および／または解剖学的構造を表す、項目８に記載の方法。

項目１１：前記セグメント化のときに、現在の超音波画像（４０１、４０２）に欠落した情報は、被検体（１１０）についてのアプリオリな情報、特に被検体、被検体の部分または病変、および／または他の既知の解剖学的構造における血管構造の分布、対象となる解剖学的構造の幾何学形状についてのコホート特有情報および／または統計情報に基づいて補間される、項目１〜１０のいずれか１項に記載の方法。

項目１２：生成された３Ｄモデル（４０３）は、特に事前に取得されるか、または動的にリフレッシュされた情報コンテンツに関して、特に均一性および／または解像度のようなパラメータに関して、３Ｄモデル生成の進捗の現在のレベルを表示するために、事前取得３Ｄ画像（３０５）とアラインメントされる、項目１〜１１のいずれか１項に記載の方法。

項目１３：ディスプレイ（１０１）上の３Ｄモデル（４０３）の視覚化は、現在検出されて解析される解剖学的構造を特に示す、ユーザ定義された静的または動的色マッピングを用いる、項目１〜１２のいずれか１項に記載の方法。

項目１４：事前取得３Ｄ画像（３０５）は、超音波画像、コンピュータ断層撮影画像、または磁気共鳴画像である、項目１〜１３のいずれか１項に記載の方法。

項目１５：項目１〜１４のいずれか１項による方法を実施するためのシステムであって、前記システムは、
−超音波プローブ（１０３）の制御のための制御ユニット（１０７）、コンピュータ（１０６）、および情報を表示するために前記コンピュータ（１０６）に接続されたディスプレイ（１０１）を特に備えるデータ処理システム（１０５）に接続された前記超音波プローブ（１０３）、および
−超音波プローブ（１０３）の空間位置を追跡するための追跡システム（１０２）であって、超音波プローブ（１０３）の空間位置を検出するために超音波プローブ（１０３）の上または中に配列された１つまたはいくつかの位置センサ（１０８）を備える、追跡システム（１０２）
を備え、
−データ処理システム（１０５）は、超音波プローブ（１０３）を用いて取得された被検体（１１０）の現在の超音波画像（４０１、４０２）が、被検体（１１０）の事前取得３Ｄ画像の事前に選択された対象となるボリューム（３０１）中に少なくとも１つのピクセルを有するかどうかを自動的にチェックするように設計され、現在の画像（４０１、４０２）が対象となるボリューム（３０１）中にピクセルを何も有さない場合には、データ処理システム（１０５）は、現在の画像（４０１、４０２）を破棄するように設計され、そうでない場合には、データ処理システム（１０５）は、現在の超音波画像（４０１、４０２）を自動的にセグメント化して、それを３Ｄモデル（４０３）中へコンパウンド処理するように設計され、データ処理システム（１０５）は、特に超音波プローブ（１０３）を用いた超音波画像（４０１、４０２）の取得のときに、生成されることになる３Ｄモデル（４０３）に関する品質尺度を確定するように設計され、データ処理システム（１０５）は、前記品質尺度が所定のレベルに一旦到達すると、３Ｄモデルに関する超音波画像の取得を終了するように設計され、特に前記品質尺度は、対象となるボリューム（３０１）内で走査された単一超音波画像（４０１、４０２）の数、対象となるボリューム（３０１）内で取得された超音波画像（４０１、４０２）の密度、特定の画像特徴の数および／または分布、特に対象となるボリューム（３０１）におけるセグメント化された解剖学的構造の数、ならびに超音波画像（４０１、４０２）の取得のために必要とされた時間のうちの少なくとも１つである、
システム。

参考
［１３］Ｓ．Ｔ．ミアーズ（ＭＥａｉｒｓ）、Ｊ．Ｅ．Ｎ．Ｓ．バイアー（Ｂ．Ｅｙｅｒ）およびＭ．Ｉ．ヘネリッチ（ＨＥｎｎｅｒｉｃｉ）、「原著論文−脳血管用途のための不規則にサンプリングされた３および４次元超音波データの再構成および視覚化（ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＡＮＤ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＩＲＲＥＧＵＬＡＲＬＹ ＳＡＭＰＬＥＤ ＴＨＲＥＥ− ＡＮＤ ＦＯＵＲ−ＤＩＭＥＮＳＩＯＮＡＬ ＵＬＴＲＡＳＯＵＮＤ ＤＡＴＡ ＦＯＲ ＣＥＲＥＢＲＯＶＡＳＣＵＬＡＲ ＡＰＰＬＩＣＡＴＩＯＮＳ）」、ｖｏｌ．２６、ｎｏ．２、ｐｐ．２６３−２７２、２０００年。
［１４］Ｃ．Ｏ．ローラ（Ｌａｕｒａ）、Ｋ．ドレクスラー（Ｄｒｅｃｈｓｌｅｒ）、Ｍ．エルト（Ｅｒｄｔ）、Ｍ．カイル（Ｋｅｉｌ）、Ｍ．ノル（Ｎｏｌｌ）、Ｓ．Ｄ．ベニ（Ｂｅｎｉ）、Ｇ．サカス（Ｓａｋａｓ）およびＬ．ソルビアッティ（Ｓｏｌｂｉａｔｉ）、「肝腫瘍切除のために（ｆｏｒ Ｌｉｖｅｒ Ｔｕｍｏｒ Ａｂｌａｔｉｏｎ）」、ｐｐ．１３３−１４０、２０１２年。
［１５］Ｃ．アグ（Ａｇ）、「画像誘導された肝臓手術（Ｉｍａｇｅ ｇｕｉｄｅｄ ｌｉｖｅｒ ｓｕｒｇｅｒｙ）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｒａｄｉｏｌｏｇｙ ａｎｄ Ｓｕｒｇｅｒｙ、ｖｏｌ７、ｎｏ．Ｓ１、ｐｐ．１４１−１４５、２０１２年５月。
［１６］Ｊ．Ａ．ノーブル（Ｎｏｂｌｅ）およびＤ．ブーケルイ（Ｂｏｕｋｅｒｒｏｕｉ）、「超音波画像セグメント化：調査（Ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ：ａ ｓｕｒｖｅｙ）」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、ｖｏｌ．２５、ｎｏ．８、ｐｐ．９８７−１０１０、２００６年８月。

Claims (30)

1. ３Ｄ超音波画像取得および事前取得３Ｄ画像への３Ｄモデルのレジストレーションのための方法であって、
   −被検体（１１０）の事前取得３Ｄ画像（３０５）を提供するステップと、
   −前記事前取得画像（３０５）をディスプレイ（１０１）上に表示するステップと、
   −前記事前取得画像（３０５）における前記被検体（１１０）の対象となるボリューム（３０１）を選択するステップと、
   −前記対象となるボリューム（３０１）の空間位置が意図通りに選択または調整された後に、前記対象となるボリューム（３０１）において前記被検体（１１０）の３Ｄモデル（４０３）を生成するために、前記対象となるボリューム（３０１）における超音波画像（４０１、４０２）の前記取得をトリガするステップと、
   −前記超音波プローブ（１０３）を前記被検体（１１０）に対して前記対象となるボリューム（３０１）に沿って動かす間に、前記対象となるボリューム（３０１）において前記超音波プローブ（１０３）によって、前記３Ｄモデル（４０３）を生成するための複数の超音波画像（４０１、４０２）を取得するステップと、
   −現在の前記超音波画像（４０１、４０２）が前記対象となるボリューム（３０１）中に少なくとも１つのピクセルを有するかどうかをチェックするステップであって、前記現在の超音波画像（４０１、４０２）が前記対象となるボリューム（３０１）中にピクセルを何も有さない場合には、前記現在の画像（４０１、４０２）が破棄され、そうでない場合には、前記現在の超音波画像（４０１、４０２）がセグメント化されて、生成されることになる前記３Ｄモデル（４０３）中へコンパウンド処理される、チェックするステップと、
   −前記超音波画像（４０１、４０２）の前記取得に際して生成されることになる前記３Ｄモデル（４０３）に関する品質尺度を確定するステップであって、前記超音波画像（４０１、４０２）の前記取得は、前記品質尺度が一旦満たされるか、または所定のレベルに到達すると終了される、確定するステップと、
   −前記事前取得３Ｄ画像（３０５）への前記生成された３Ｄモデル（４０３）のレジストレーションを行うステップと、
   を含む、方法。
2. 前記提供される事前取得３Ｄ画像は、第１のセッションにおいて取得され、前記複数の超音波画像は、後で実施される別の第２のセッションにおいて取得される、請求項１に記載の方法。
3. 前記提供される事前取得３Ｄ画像は、超音波以外のイメージング方法を用いて取得される、請求項１または２に記載の方法。
4. 前記品質尺度は、前記事前取得３Ｄ画像からの患者特有のデータに基づく判定基準である、請求項１〜３のいずれか１項に記載の方法。
5. 特に前記品質尺度は、
   −前記対象となるボリューム（３０１）内で走査された単一超音波画像（４０１、４０２）の数、
   −前記対象となるボリューム（３０１）内の前記取得された超音波画像（４０１、４０２）の密度、
   −画像特徴の数および／または分布、特に前記対象となるボリューム（３０１）におけるセグメント化された解剖学的構造の数、
   −前記超音波画像（４０１、４０２）を走査するための必要とされた時間、
   のうちの少なくとも１つである、請求項１〜４のいずれか１項に記載の方法。
6. 前記数および／または分布は、前記対象となるボリューム（３０１）における患者特有の解剖学的形態に依存して選択される、請求項５に記載の方法。
7. 前記複数の超音波画像を取得するユーザは、前記事前取得３Ｄ画像（３０５）への前記生成された３Ｄモデルのレジストレーションを行うのに十分なデータセットを特に提供するために、前記事前取得３Ｄ画像に基づいて画像特徴が予想される部位へ前記超音波プローブ（１０３）を動かすように誘導される、請求項１〜６のいずれか１項に記載の方法。
8. 前記対象となるボリューム（３０１）の前記位置、前記取得された現在の超音波画像（４０１、４０２）、および／または前記３Ｄモデル（４０３）を前記事前取得画像（３０５）に対して前記ディスプレイ（１０１）上に正しく表示するために、初期レジストレーションが行われ、前記初期レジストレーションは、前記事前取得画像（３０５）の座標系での１点を選択するステップ、この部位において予想される超音波画像を算出するステップ、前記超音波プローブ（１０３）の部屋固定もしくは患者固定座標系で追跡される前記超音波プローブ（１０３）を用いて前記被検体（１１０）の対応する超音波画像（４０１、４０２）を取得するステップ、ならびに前記予想される超音波画像および前記取得された超音波画像（４０１、４０２）を用いて、前記座標系の間のレジストレーション変換を確定するステップ、を含むことを特徴とする、請求項１〜７のいずれか１項に記載の方法。
9. 前記生成された３Ｄモデル（４０３）は、前記部屋固定もしくは患者固定座標系でのその座標が前記超音波プローブ（１０３）を追跡することにより取得される、前記生成された３Ｄモデル（４０３）の少なくとも１つの特徴を、前記事前取得３Ｄ画像（３０５）の対応する特徴と一致させることによって、ならびに、前記部屋固定もしくは患者固定座標系での前記少なくとも１つの特徴の前記座標および前記事前取得３Ｄ画像（３０５）の前記座標系での前記対応する特徴の前記座標を用いて、前記事前取得３Ｄ画像（３０５）の前記座標系と、前記超音波プローブ（１０３）の前記部屋固定もしくは患者固定座標系との間のレジストレーション変換を特に確定することによって、前記事前取得の、特に術前取得の３Ｄ画像（３０５）へのレジストレーションが行われることを特徴とする、請求項１〜８のいずれか１項に記載の方法。
10. 前記トリガするステップは、前記超音波プローブ（１０３）により、特に前記被検体（１１０）の表面上の前記超音波プローブ（１０３）の特定の動きまたはそれを用いた明確なジェスチャにより行われる、請求項１〜９のいずれか１項に記載の方法。
11. 前記現在の画像（４０１、４０２）は、前記ディスプレイ（１０１）上にリアルタイムで表示され、特に前記現在の画像は、前記ディスプレイ上に２次元で（４０２）、および／または３次元で（４０１）表示され、前記３次元で表示された現在の超音波画像は、前記表示された事前取得画像（３０５）上に特にオーバーレイされるか、または前記事前取得３Ｄ画像のコンテンツは、前記現在の２次元画像上に特にオーバーレイされる、請求項１〜１０のいずれか１項に記載の方法。
12. 前記事前取得３Ｄ画像（３０５）への前記３Ｄモデル（４０３）のレジストレーションを行うために用いられるか、または用いられることになる前記３Ｄモデルの特徴は、前記ディスプレイ（１０１）上にリアルタイムで表示される、請求項１〜１１のいずれか１項に記載の方法。
13. 前記３Ｄモデルは、前記ディスプレイ（１０１）上にリアルタイムで表示され、前記表示された事前取得画像（３０５）上に特にオーバーレイされ、特に新しい現在の画像（４０１、４０２）が前記３Ｄモデル（４０３）中へコンパウンド処理される場合には、前記ディスプレイ（１０１）上の前記表示された３Ｄモデル（４０３）が更新される、請求項１〜１２のいずれか１項に記載の方法。
14. アーチファクト検出は、破棄されない現在の超音波画像（４０１、４０２）に対して実施され、特に前記現在の超音波画像においてアーチファクトが検出された場合には、この現在の超音波画像が破棄され、特にアーチファクト確率は、前記事前取得３Ｄ画像の患者特有の特徴に基づいて算出されることを特徴とする、請求項１〜１３のいずれか１項に記載の方法。
15. 前記個々の現在の超音波画像（４０１、４０２）の前記セグメント化は、前記対象となるボリュームにおける前記被検体の特定の解剖学的構造、特に血管、腫瘍、臓器境界、胆管、および／または他の解剖学的形態のセグメント化を提供する少なくとも１つのアルゴリズムを用いて実施され、特に前記アルゴリズムは、前記事前取得３Ｄ画像の患者特有の特徴に依存して選択されることを特徴とする、請求項１〜１４のいずれか１項に記載の方法。
16. 前記個々の現在の超音波画像（４０１、４０２）の前記セグメント化は、特に臓器境界、実質臓器、および／または血管系のような、画像特徴の確率的評価を用いて実施され、前記確率的評価は、前記事前取得３Ｄ画像の患者特有の特徴を用いることを特徴とする、請求項１〜１５のいずれか１項に記載の方法。
17. 前記アーチファクト検出および前記セグメント化は、並行して実施され、特に前記アーチファクト検出は、前記現在の超音波画像（４０１、４０２）の前記個々のコンテンツまたは前記現在の超音波の１つの検出されたコンテンツを直接に用い、特に前記それぞれのアルゴリズムは、互いに繰り返して相互作用することを特徴とする、請求項１４〜１６のいずれか１項に記載の方法。
18. 前記超音波プローブ（１０３）の位置決めおよび／または移動に関して前記ユーザ（１００）を補助および／または誘導するために、誘導情報が前記ディスプレイ（１０１）上に表示されるか、および／または、前記ユーザ（１００）に、特に言葉で、聴覚的に提供され、特に前記誘導情報は、前記事前取得３Ｄ画像および前記３Ｄモデルの取得された特徴に基づくフィードバックを通じて提供されることを特徴とする、請求項１〜１７のいずれか１項に記載の方法。
19. 前記超音波プローブ（１０３）は、光学的、電気機械的もしくは機械的測定原理に基づく座標測定システムを用いて絶対空間画像座標を導出することによって、および／または、後続画像における画像特徴の相対的なシフトを解析することにより相対的な画像座標を導出することによって、追跡されることを特徴とする、請求項１〜１８のいずれか１項に記載の方法。
20. 前記事前取得画像（３０５）における前記被検体（１１０）の対象となるボリューム（３０１）を選択した後に、前記事前取得画像（３０５）に対する前記対象となるボリューム（３０１）の前記空間位置は、前記被検体（１１０）に対して超音波プローブ（１０３）を相応に配置することによって調整される、請求項１〜１９のいずれか１項に記載の方法。
21. 前記事前取得画像（３０５）に対する前記ディスプレイ（１０１）上の前記対象となるボリューム（３０１）の前記現在の空間位置は、特にリアルタイムで、視覚化される、請求項１〜２０のいずれか１項に記載の方法。
22. 前記対象となるボリューム（３０１）の前記視覚化は、前記表示された事前取得画像（３０５）上にオーバーレイされる、請求項２１に記載の方法。
23. 前記ディスプレイ（１０１）上の前記対象となるボリューム（３０１）の前記視覚化は、前記超音波プローブ（１０３）の前記現在の空間位置を用いて更新され、前記超音波プローブ（１０３）のその現在の空間位置は、追跡システム（１０２）を用いて特に確定される、請求項２１または２２に記載の方法。
24. 前記誘導情報は、前記ディスプレイ（１０１）上の少なくとも１つまたはいくつかの立方グリッドの仮想的な視覚化を含み、その１つまたは複数のグリッドは、前記事前取得３Ｄ画像上に表示され、特に特定の色が定義された組織構造および／または解剖学的構造を表すことを特徴とする、請求項１８に記載の方法。
25. 特に前記セグメント化に際して、前記現在の超音波画像（４０１、４０２）に欠落した情報は、前記被検体（１１０）についてのアプリオリな情報、または特に前記事前取得３Ｄ画像からの患者特有の特徴を用いて補間されることを特徴とする、請求項１〜２４のいずれか１項に記載の方法。
26. 前記セグメント化に際して、前記現在の超音波画像（４０１、４０２）に欠落した情報は、前記被検体、被検体の部分または病変、および／または他の既知の解剖学的構造における血管構造の分布、対象となる前記解剖学的構造の幾何学形状についてのコホート特有情報および／または統計情報を用いて補間される、請求項１〜２５のいずれか１項に記載の方法。
27. 前記生成された３Ｄモデル（４０３）は、特に事前に取得されるか、または動的にリフレッシュされた情報コンテンツに関して、特に均一性および／または解像度のようなパラメータに関して、前記３Ｄモデル生成の進捗の前記現在のレベルを表示するために、特に超音波以外のイメージング方法に基づく、かつ特に前記３Ｄモデルと比較して異なる座標系に基づく事前取得３Ｄ画像（３０５）とアラインメントされることを特徴とする、請求項１〜２６のいずれか１項に記載の方法。
28. 前記ディスプレイ（１０１）上の前記３Ｄモデル（４０３）の前記視覚化は、現在検出されて解析される解剖学的構造を特に示すか、または前記３ｄ画像のあるエリアにおける情報密度および予期される特徴を示す、静的または動的色マッピングを用いることを特徴とする、請求項１〜２７のいずれか１項に記載の方法。
29. 前記事前取得３Ｄ画像（３０５）は、コンピュータ断層撮影画像、または磁気共鳴画像である、請求項１〜２８のいずれか１項に記載の方法。
30. 請求項１〜２９のいずれか１項による方法を実施するためのシステムであって、
    −超音波プローブ（１０３）の制御のための制御ユニット（１０７）、コンピュータ（１０６）、および情報を表示するための前記コンピュータ（１０６）に接続されたディスプレイ（１０１）を特に備えるデータ処理システム（１０５）に接続された前記超音波プローブ（１０３）、および、
    −前記超音波プローブ（１０３）の前記空間位置を追跡するための追跡システム（１０２）であって、前記追跡システム（１０２）は、前記超音波プローブ（１０３）の前記空間位置を検出するための、前記超音波プローブ（１０３）の上または中に配列された１つまたはいくつかの位置センサ（１０８）を備える、追跡システム（１０２）、
    を備え、
    −前記データ処理システム（１０５）は、前記超音波プローブ（１０３）を用いて取得された被検体（１１０）の現在の超音波画像（４０１、４０２）が、前記被検体（１１０）の事前取得３Ｄ画像の事前に選択された対象となるボリューム（３０１）中に少なくともピクセルを有するかどうかを自動的にチェックするように設計され、前記現在の画像（４０１、４０２）が前記対象となるボリューム（３０１）中にピクセルを何も有さない場合には、前記データ処理システム（１０５）は、前記現在の画像（４０１、４０２）を破棄するように設計され、そうでない場合には、前記データ処理システム（１０５）は、前記現在の超音波画像（４０１、４０２）を自動的にセグメント化して、それを３Ｄモデル（４０３）中へコンパウンド処理するように設計され、前記データ処理システム（１０５）は、特に前記超音波プローブ（１０３）を用いた超音波画像（４０１、４０２）の取得に際して、生成されることになる前記３Ｄモデル（４０３）に関する品質尺度を確定するように設計され、前記データ処理システム（１０５）は、前記品質尺度が所定のレベルまたは動的に定義されたレベルに一旦到達すると、前記３Ｄモデルに関する超音波画像の前記取得を終了するように設計され、特に前記品質尺度は、前記対象となるボリューム（３０１）内で走査された単一超音波画像（４０１、４０２）の数、前記対象となるボリューム（３０１）内の前記取得された超音波画像（４０１、４０２）の密度、特定の画像特徴の数および／または分布、特に前記対象となるボリューム（３０１）におけるセグメント化された解剖学的構造の数、または特に予想される特徴の患者特有の数、ならびに、前記超音波画像（４０１、４０２）の前記取得のために必要とされた時間、のうちの少なくとも１つである、
    システム。

Images