JP2018514352A - 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法 - Google Patents

Abstract

【課題】予め撮像された二次画像データ（ＣＴスキャン３Ｄ画像等）と手術中に撮像されるリアルタイム撮像データ（カメラで撮像した２Ｄ画像等）を融合した強調画像を生成するシステムおよび方法を提供する。【解決手段】画像処理ユニット１１０、カメラ１００、およびハンドヘルドのリアルタイム撮像コンポーネント１６０またはハンドヘルドディスプレイ２３０を含む画像誘導のためのシステムおよび方法であって、カメラ１００は、患者１５０、器具１３０、または他のコンポーネント上の視覚的特徴を観察し、画像処理ユニット１１０は、観察結果を二次画像データ１７０と動的に位置合わせし、二次画像データ１７０、位置データ、およびリアルタイム撮像データの１つまたは複数の組み合わせに基づいて強調画像を計算するように構成されている。【選択図】図１

Description

本発明の現在主張されている実施形態の分野は、撮像装置に関し、より詳細には、患者および１つ以上の器具を観察および追跡するための１つ以上のセンサを有する撮像装置に関する。

画像誘導介入の分野においては、手術中の撮像装置および医療器具の追跡および位置特定は非常に重要であり、画像誘導手術（ＩＧＳ）システムにおける主な実現技術と考えられている。大部分の追跡技術は、１）能動型ロボット（例えば、ＤａＶｉｎｃｉロボット）および受動的にコード化された機械式アーム（例えば、Ｆａｒｏ機構アーム）を含む機械ベースの追跡、２）光学ベースの追跡、３）音響ベースの追跡、および４）電磁気（ＥＭ）ベースの追跡に分類される。

超音波は、切除処置、生検、放射線療法および外科手術を含む画像誘導介入のための１つの有用なイメージング様式である。文献および研究によれば、超音波誘導介入研究は、追跡システム（光学またはＥＭ方法のいずれか）と超音波（ＵＳ）撮像システムとを統合することによって、例えば、肝臓アブレーションを追跡し誘導するために、または外部ビーム放射線療法において、実行されている。[ＥＭボーター、Ｍ．デオリビエラ、Ｍ．Ｃｈｏｔｉ、Ｒ．Ｇｈａｎｅｍ、ＲＨテイラー、Ｇ．ヘイガー、Ｇ．Ｆｉｃｈｔｉｎｇｅｒ、"変形モデルと形状Ｐｒｉｏｒｓを介して組織アブレーションの超音波モニタリング"、医療画像コンピューティングとコンピュータ支援介入に関する国際会議、ＭＩＣＣＡＩ ２００６； Ｈ．Ｌｉｖａｚ、Ｉ．Ｆｌｅｍｉｎｇ、Ｌ．Ａｓｓｕｍｐｃａｏ、Ｇ．Ｆｉｃｈｔｉｎｇｅｒ、Ｕ．Ｈａｍｐｅｒ、Ｍ．Ｃｈｏｔｉ、Ｇ．Ｈａｇｅｒ、およびＥ．Ｂｏｃｔｏｒ、「エラストグラフィによるアブレーションモニタリング：２Ｄインビボおよび３Ｄエクスビボ研究」、国際画像医学会議とコンピュータ支援介入、ＭＩＣＣＡＩ ２００８； Ｈ．Ｒｉｖａｚ、Ｐ．Ｆｏｒｏｕｇｈｉ、Ｉ．Ｆｌｅｍｉｎｇ、Ｒ．Ｚｅｌｌａｒｓ、Ｅ．Ｂｏｃｔｏｒ、およびＧ．Ｈａｇｅｒ、「***放射線療法を標的とするための追跡された規則的な超音波エラストグラフィ」、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）２００９］。現在の商用システムの中には、ＥＭトラッキング装置をハイエンドカートベースの超音波（ＵＳ）システムに組み込んだものが見られる。小型ＥＭセンサは、超音波プローブの中に統合されてもよく、同様のセンサが関心介入器具に取り付けられ固定されてもよい。

研究および商業的側面の両方における現在のアプローチの限界は、利用可能な追跡技術と、これらのシステムを統合し臨床環境で使用する実現性と、に起因すると考えられている。例えば、機械ベースのトラッカーは高価で押しつけがましい解決策であると考えられている。すなわち、それらは大きなスペースを必要とし、ユーザーの動きを制限する。一方、音響トラッキングは、十分なナビゲーション精度を提供しない。光およびＥＭ追跡技術は、基本カメラ（光学追跡方法の場合）または基準ＥＭ送信機（ＥＭ方法の場合）を用いた押しつけがましい設定を必要とする。さらに、光学剛体またはＥＭセンサは、像装置および必要なすべての器具に取り付けなければならず、したがって、オフライン較正および滅菌ステップが必要である。さらに、これらのシステムのいずれも、マルチモダリティ融合位置合わせ（例えば、術前ＣＴ／ＭＲＩ計画と術中超音波との間の）をネイティブにサポートせず、直接的または拡張された視覚化にも寄与しない。したがって、画像誘導手術で使用するための改善された複合画像形成装置および位置合わせ装置が必要とされている。

本発明の態様は、システム、器具、および方法を含むことができる。

本発明のいくつかの実施形態では、医療用画像誘導システムが提供される。当該システムは、画像処理システム、１つ以上のカメラ、ディスプレイを含み、患者の表面および器具の２次画像データおよび視覚的特徴の観察を利用することができる。当該システムにおいては、ディスプレイは、二次画像データおよび観察結果から、位置合わせの計算および二次画像データ、カメラ、患者、および器具間の追跡情報の計算をすることによって画像処理システムによって決定された１台以上のカメラ、ディスプレイ、患者および器具の相対的位置に基づいて導出された強調画像を表示する。二次画像データ中に存在するマーカーの異なる組合せ、医学的介入前に付けられたマーカー、およびカメラによって観察されるマーカーは、前記位置合わせおよび追跡情報を逐次的に計算するために使用され得る。

さらに別の実施形態では、医療用画像誘導のための方法を提示することができる。この方法は、画像処理システムによって、１台以上のカメラから、１人または複数人の患者の画像、人工のマーカー（マーカーは、自己識別マーカーまたはマルチモダリティマーカーであってよい）、自然の特徴、および介入器具を含む入力の観察結果を受信する工程と、前記観察結果に基づいて、現在および以前に観察されたエンティティ間の相対位置を計算する工程と、決定された位置に基づいて、エンティティ間の位置合わせを計算する工程と、リアルタイム画像データ、二次画像データ、および観察結果のうちの少なくとも１つから導出され、画像処理システムによって決定されたディスプレイ、患者、および器具の相対的位置に基づいて、強調画像を表示する工程と、を有する。当該方法は、さらに、前記観察に基づいて、現在観察された表面特徴と以前に観察された表面特徴との間の相対的な変形を計算する工程と、推定された表面変形に基づいて、二次画像データの変形を計算する工程と、画像処理システムによって決定された、変形された二次画像データおよびリアルタイム画像データのうちの少なくとも一つから得られた強調画像を表示する工程とを含む。

更なる目的および利点は、説明、図面及び実施例の考察から明らかになるであろう。

図１は、本発明の一実施形態による撮像システムの実施形態を示す図である。

図２は、本発明の一実施形態による機能を実行する撮像システムの別の実施形態を示す図である。

図３は、本発明の一実施形態による撮像システムの別の実施形態を示す図である。

図４は、本発明の一実施形態による撮像システムの別の実施形態を示す図である。

図５は、本発明の一実施形態による機能を実行する撮像システムの別の実施形態を示す。

図６は、本発明の一実施形態による機能を実行する撮像コンポーネントを示す、撮像システムのマーカーコンポーネントの実施形態を示す図である。

図７は、本発明の一実施形態による機能を実行する撮像システムの別の実施形態を示す図である。

図８は、本発明の一実施形態による機能を実行する撮像システムの別の実施形態を示す図である。

図９は、本発明の一実施形態によるサンプル位置合わせワークフローを示す図である。

図１０は、本発明の一実施形態によるワークフローの一例を示す図である。

図１１は、本発明の例示的な実施形態を実装する際に使用され得る例示的なコンピュータシステムを示す。

本発明の実施形態を以下に詳細に説明する。実施形態を説明する際には、明確性のために特定の用語を使用する。しかし、本発明は、そのように選択された特定の用語に限定されることを意図するものではない。当業者は、本発明の広範な概念から逸脱することなく他の等価な構成要素を使用することができ、他の方法を開発できることを認識するであろう。本明細書中のいずれの箇所に引用されている全ての参考文献も、それぞれが個別に組み込まれているかのように参照により組み込まれる。

本発明のいくつかの実施形態は、ＩＧＩ（画像誘導介入）を可能にする「プラットフォーム技術」の形態をとる。この技術は、コンピュータ画像を用いた針の識別および追跡に関連する技術（とりわけ、直交イメージングモダリティの新規な組み合わせによるマルチモダリティ位置合わせ、局所的な検知手法を用いた撮像装置の追跡）を統合することによって、追跡、位置合わせ、視覚化および誘導の限界を同時に克服する。ＩＧＩの例は、「Ｌｏｗ−ｃｏｓｔ ｉｍａｇｅ−ｇｕｉｄｅｄ ｎａｖｉｇａｔｉｏｎ ａｎｄ ｉｎｔｅｒｖｅｎｔｉｏｎ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｃｏｏｐｅｒａｔｉｖｅ ｓｅｔ ｏｆ ｌｏｃａｌ ｓｅｎｓｏｒｓ」と題し、米国特許出願公開第２０１３／００１６１８５号として公開された米国特許出願第１３／５１１，１０１号に記載されており、その内容は、参照によりその全体が本明細書に組み込まれる。

本発明は、一般的なイメージング、視覚、および局所感知に使用されるコンポーネントおよび方法の密接に統合された共通のコアを共有する広範な異なる実施形態をカバーする。

発明のいくつかの実施形態は、例えば、エラーを大幅に低減し、患者の予期した結果を増加させる可能性がある医用イメージング装置の追跡を可能にすることができる局所感知アプローチを提供する補完技術のグループを組み合わせることを目的とする。このアプローチは、本発明のいくつかの実施形態による、ディスプレイ、超音波プローブ、または他の撮像装置、介入指導、または情報視覚化の追跡のためのプラットフォーム技術を提供することができる。本発明のいくつかの実施形態によれば、リアルタイム光学イメージングと画像分析アルゴリズムおよび独立した光学慣性センサとを組み合わせることにより、現在の動きを徐々に追跡し、ディスプレイ、患者、手術針の位置および軌道を再構成することができる、および他の器具または対象物を含むことができ、これらの全ては、この追跡データに基づいて異なる撮像モダリティにも位置合わせすることができる。

本発明のいくつかの実施形態は、（視覚、超音波および／または他の画像化および位置特定モダリティを使用して）表面、マーカー、針および他の器具のセグメント化および追跡を可能にし、これにより、例えば、完成された追跡・画像誘導介入システムへの統合を可能にしている。

本発明のいくつかの実施形態は、現在の技術水準と比較して改善された感度および特異性を有する撮像手順を可能にする。これにより、従来、有害なＸ線／ＣＴ、高価なＭＲＩ撮像、外部追跡、高価で不正確で時間がかかり、または実際的でないハードウェア設定、またはこれらの組み合わせを必要としていたいくつかのアプリケーションシナリオが実現可能になり、また、生検、ＲＦ／ＨＩＦＵ切除、２次元または３次元超音波ベースの針配置、近接照射療法、追跡された画像および追跡された器具に依拠する他のアプリケーション、または神経ブロックおよび硬膜外麻酔のための麻酔針の配置のような画像なしで行われる介入といった、単に正確さと成功の保証が本来的に欠如していたことに悩まされていた手法が実現可能になる。

本発明の実施形態は、即時の超音波−ＣＴ／ＭＲＩ位置合わせ（超音波容量の厄介な収集またはマーカーの正確なデモンストレーションを必要としない）、即時のＣＴ／ＭＲＩの患者との位置合わせ、患者、器具、およびディスプレイの低コスト追跡、繰り返し撮像の必要性の低減、ならびに患者の解剖学的構造上の器具および標的の直接的な可視化の組み合わせなどの既存の技術に対する様々な利点を提供する。本発明は、ローカル、コンパクトかつ非侵入的ソリューション、すなわち、ハンドヘルドシステムおよび小型超音波システムのみならず、主に介入およびポイント・ツー・ポイント・モニタリングに使用されるＣＴ、ＭＲＩ、フルオロ、またはＣＢＣＴシステム、さらに、一般的な針／器具追跡のための理想的な追跡システムを実現する。

例えば、本発明のいくつかの実施形態は、超音波プローブ、ディスプレイ、または他の撮像装置を追跡するための装置および方法に関するものである。ハンドヘルド撮像、イメージ分析アルゴリズムおよびプローブ上、ディスプレイ上、または別々に取り付けられたカメラを組み合わせることにより、本発明の一実施形態に従って現時点での動きを段階的に追跡することによって、器具（例えば、外科用器具、外科用針など）、患者、ディスプレイなどの位置および軌道を再構成することができる。これにより、超音波ベースの３Ｄニードルガイダンスや、以前は高価で不正確で非現実的なハードウェアの設定が必要だったリアルタイムＤＲＲや、他の視覚化を示すトラッキングされたディスプレイを使用した静止画像データの動的再投影といったいくつかのアプリケーションシナリオが実現可能になる。

現在の超音波検査法は、スキャンされた３Ｄボリューム（「関心領域」（ＲＯＩ））を介して平面画像スライスを返すハンドヘルド２Ｄ超音波（ＵＳ）プローブを主に採用している。器具誘導を必要とする経皮的介入の場合、器具軌道の予測は、遠位（外部）器具端に取り付けられた追跡センサおよび／または軌道の精神的外挿に基づいていることが多い。３Ｄイメージング、器具トラッキング、器具軌道予測、対話的ユーザガイダンスを備えた統合システムは非常に有益である。

ＣＴ誘導された介入、ＭＲＩ誘導された介入、フルオロベースの針配置、または手術中のＣＢＣＴ誘導介入のような他の既存の画像誘導処置は、高放射線被曝、患者ストレス、準最適な人間工学またはワークフロー、および／またはコストを削減できる。器具誘導を必要とする経皮的介入の場合、器具軌道の予測は、通常、器具を適切な位置に達成するために器具を再配置する方法において、適切な器具を用いた繰り返し術中撮像および操作者の「推測航法」に基づいている。あるいは、器具軌道は、遠位（外部）器具端に取り付けられた追跡センサと外挿された経路のシステムサポートディスプレイに基づいて計算することができる。しかしながら、このアプローチは、前述した面倒な位置合わせを必要とする。

二次画像データとの位置合わせを確立し、維持するためのマーカーの単純かつ最適な適用に関連する、画像誘導介入のワークフローへの改良に本発明の中心が寄与する。前記マーカーおよび患者表面のリアルタイム取得および再構成;前記マーカー及び前記表面を利用する自動位置合わせ方法と、操作者が前記位置合わせを初期化することを可能にする最小相互作用方法と、プローブ、器具、患者およびディスプレイを画像化するための追跡方法;および追跡された物体によって誘発される変形の推定のための方法に関する。

提案された発明は、１つ以上のカメラを備えたカメラモジュールによるリアルタイムの光検知を、画像誘導介入システムに統合することができる。これらのカメラモジュールの機能は、マーカーおよび他の表面機能、介入器具、および／またはディスプレイの取得および追跡を含む。これらのタイプの追跡された対象物の全てについて、リアルタイムポーズ情報は、画像処理ユニットによって抽出されてもよく、リアルタイム画像データからの情報（これには、１つ以上の画像化本発明のいくつかの実施形態では、カメラモジュールの位置に基づいて、対応する二次画像データからの情報との、超音波、ＳＰＥＣＴなどの光学的検知以外のモダリティ）を含む。カメラは、光学カメラ、赤外線カメラ、UV感受性カメラ、ライトフィールドセンサ、プレノプティックカメラ、または反射屈折型カメラの１つ以上の組み合わせを含むことができる。

画像処理ユニットは、リアルタイム撮像センサと通信し、二次データを受信することにより、二次的であるかリアルタイムであるかにかかわらず、すべての入力画像データを処理することができる。追跡関連情報は、これらが１つ以上のマーカー、既存の特徴、または表面構造を含むか否かにかかわらず、これらの入力に基づいてセグメント化することによって抽出することができる。リアルタイムイメージングデータは、介入器具を追跡するために画像処理ユニットによって使用されてもよい。本発明のいくつかの実施形態では、画像処理ユニットは、入力画像データセット間の位置合わせ、および画像データセットと追跡情報との結果として得られる組み合わせからの強調画像の計算をさらに担当することができる。本発明の実施形態に依存して、それらが有線または無線でユニットに接続されているか、ローカルエリアネットワークを介して通信しているかに関係なく、計算、記憶、または通信などの画像処理機能のいくつかは、（例えば、リモートサーバーやクラウドサービスとして）ネットワーク全体に分散されている。逆に、このような機能は、オール・イン・ワン・コンピュータまたはタブレット型のシステム構成要素に統合されてもよい。

カメラは、器具と患者（このセクションでは一緒に「対象物」と呼ぶ）を直接追跡、観察することを可能にする主な入力モダリティ（様式）として機能することができる。しかし、修正されていない対象物は、特に、例えば、これらの状況下でシステムが正しく動作するように、追加のマーカーを環境に取り入れることができる。本発明の実施形態に応じて、これらのマーカーは、自己識別機能を有するスティック・オン・マーカー（例えば、バーコード、ＱＲコード（登録商標）、またはエイプリルタグ）、マルチ・モダリティ・タグ（可視ＣＴ、ＭＲＩ、フルオロ、ＰＥＴ／ＳＰＥＣＴなどの第２の撮像様式で可視）のマーカー、物体に貼り付けることができ、主に線形を提供するパターン化された可撓性または剛性のテープ形状のマーカー（ドレープおよびカバーのような）模様付き被覆、（模様にぴったり合う下着シャツまたは織物に施されたマーキングを有する類似のものなどの）模様付き衣類、または目に見える解剖学的目印、肌の質感および／または毛髪のうちの少なくとも一つを有することができる。

追跡のために使用される視覚的マーカーは、前述したような人工的マーカーと、毛髪、肌の傷跡、解剖学的特徴などの自然の特徴の両方であり得る。関心領域の周りを連続的に追跡することを可能にするために、マーカーは、多数の異なる方向から見えるように配置されてもよい。本発明のいくつかの実施形態では、その後、これらを誘導システムによって連続的に収集し、既知のマーカーに対してカメラモジュールを局所化し、ジオメトリ（幾何学形状）を新たに検出されたマーカーに拡張することによって相対位置を再構築する。そのような拡張集合に沿った再構成誤差を最小にするために、反復最適化手順は、結果として得られるマーカー・関係グラフにおけるループを検出し、これらのループの周辺の固有誤差を算出し、適切に調整された視覚的マーカーメッシュを生成するために、ＳＬＡＭアプローチにおける「ループ閉鎖」に類似する相対的位置の予測の改善を行う。

マーカーはまた、二次画像データセットに含まれてもよい。自動位置合わせには必須ではないが、これらのマーカーは自動的に抽出されることもある。既知のマーカー形状（形状）およびマーカー位置（患者の表面上）の強力な先例を用いて、画像データを分析して、マーカーの配置および方向を探索することができる。マーカーは、二次画像モダリティにおいて識別可能な含有情報によって自己識別することができる。放射線不透過性、放射放出、音響吸収、音響反射率、または磁気共鳴応答のうちの１つ以上のバリエーションとして、対応する視覚的識別符号を含む自己識別マーカーの場合、視覚データおよび二次画像データセットの両方の観察結果を関連させて明白な位置合わせを確立することができる。このような明示的な関連付けがない場合、本発明のいくつかの実施形態では、例えば、ＲＡＮＳＡＣ方式で２次マーカーの組み合わせを繰り返しランダムに選択し、それらをビジュアルマーカーの組み合わせ（またはその逆）と幾何学的に一致させることによって、または、可能なマーカーの数が比較的少なければ、すべての可能な組み合わせをしらみつぶし的に試して、対応関係を自動的に計算する。

二次画像データにマーカーが存在しない状況では、初期位置合わせを提供して、本発明のいくつかの実施形態の位置合わせ処理を改善することができる。これらの場合には、（マーカーの方向の回復を可能にする）「アンカーマーカー」を使用することができ、システムは、発見的（ヒューリスティック）にマーカーの配置を操作者に対し提案し、後で操作者がアンカーマーカーの患者における実際の位置と提案されたマーカーと精密に対応するようにアンカーマーカーを配置することを期待して、後続する位置合わせ微調整肯定を開始する。操作者は、視認性の制約や、患者の関連する解剖学的構造の位置を表す適切な位置に関する事前知識（例えば、剛性骨構造に近い位置など）のような、術中の要件により良く適合させるために、アンカーマーカーの提案された配置を修正することができる。

異なる追跡関連データの利用可能性に応じて、本発明の実施形態は、共通の順次位置合わせアプローチの変形を使用することができる。図９は、本発明の一実施形態によるサンプル位置合わせワークフローを示しており、アプローチの基本機能に対するオプションのステップを示している。９００において、二次３Ｄ画像データ１７０を読み取ることができる。 ９００から、フローは９１０に移動することがあります。

９１０では、早期に取り付けられたマーカー（または「早期マーカー」）２２０が二次データ１７０から抽出され得る。フローは、９１０から９２０に移動する。

９２０において、早期マーカー２２０が識別され、早期アンカーマーカー１９０が二次データ１７０から発見または検出されてもよい。フローは、９２０から９３０に移動する。

９３０において、操作者は、患者の表面（例えば、皮膚、衣類、包帯など）に「後期に付随するマーカー」（「後期マーカー」）を取り付けることができる。後期マーカーは、関心領域の周りに集中していてもよい。フローは、９３０から９４０に移動する。

９４０において、アンカーマーカー位置を決定し、操作者に提案することができる。提案されたアンカーマーカー位置は、二次的なデータから発見的（ヒューリスティック）に計算され、および／または検出され得る。提案されたアンカーマーカー位置は、提案されたアンカーマーカー位置の手動修正が可能である。フローは、９４０から９４５に移動する。

９４５において、早期アンカーマーカーが検出された場合、フローは９５０に移動し、早期アンカーマーカーが検出されなかった場合には、フローは９５５に移動する。

９５０において、操作者は、早期アンカーマーカーを調節して、例えば、以前に提案された位置をより良くマッチさせることができる。フローは、９５０から９６０に移動する。

９５５において、操作者は、例えば、以前に提案された位置の近くまたはその位置に、患者表面に後期アンカーマーカーを取り付けることができる。 フローは、９５５から９６０に移動する。

９６０において、患者１５０は、カメラ１００で視覚的に走査されてもよい。システムは、１つ以上の早期マーカー、後期マーカー、アンカーマーカー、または自然特徴から適切な視覚的マーカーメッシュを収集することができる。システムは、これらの観察から患者表面を再構成することができる。フローは、９６０から９７０に移動する。

９７０では、９６０で収集されたデータを使用してアンカーマーカーを特定することができる。フローは、９７０から９７５に移動する。

９７５において、アンカーマーカーが検出された場合、フローは９８０に移動する。アンカーマーカーが検出されない場合、フローは９９０に移動する。

９８０において、位置合わせは、すべてのモダリティにおけるアンカーマーカーに基づいて初期化されてもよい。例えば、患者の表面および第２の画像データは、すべての様式においてアンカーマーカーを整列させることによって最初に（粗く）位置合わせされてもよい。フローは、９８０から９９０に移動する。

９９０において、全てのモダリティは、マーカー及び表面に基づいて位置合わせされてもよい。例えば、おそらく粗い初期位置合わせから開始して、患者表面および第２の画像データは、１つ以上のマーカーまたは表面を使用して細かく位置合わせされてもよい。

位置合わせは、本発明のいくつかの実施形態のためにマーカー位置が視覚的に確立された直後に開始されてもよい。これにより、観察されたマーカーメッシュにさらなる視覚マーカーの継続的な収集および統合が可能になる一方、マーカー収集が進行中の直観的ではないにしても、位置合わせ動作が直感的になる。

カメラ位置は、本発明の実施形態に応じてカメラ座標内にマーカーを局在化する（したがって、観察されたマーカーセットに対してカメラをローカライズする）ことにより、および／または観察されたマーカーを収集することによって、少なくとも２つの異なる方法で計算することができるそれを第２の画像データに位置合わせする（したがって前記画像データに対してカメラをローカライズする）。第２の撮像装置またはディスプレイ上に搭載されたカメラの場合、これにより、マーカーまたは位置合わせされた第２の画像データに対する前記装置またはディスプレイの位置特定も可能になる。

カメラは、本発明のいくつかの実施形態において、器具を追跡する役目を果たすこともできる。環境のリアルタイム観察を使用して、既知の幾何学的形状（針など）を有する器具および／または既知のマーカーを担持する器具をカメラに対して追跡することができ、そこから座標をハンドヘルド撮像、ディスプレイ、および／または二次画像データの座標に変換することができる。既知のジオメトリまたはパターンを有する器具は、それぞれの器具先端部および／または関心のあるポイントを含めて追跡することができる。

画像処理ユニットは、位置合わせされたデータから計算された強調画像をディスプレイ上に表示する。ディスプレイは、本発明の実施形態に応じて、画像処理ユニットに直接的に接続されていてもよく、ポータブルであってもよく、画像処理ユニットに無線接続されているスマートディスプレイであってもよく、画像処理ユニット自体を包含するスマートディスプレイであってもよく、または、ネットワークを介して接続された画像処理コンポーネントと通信するコンポーネントを含むスマートディスプレイであってもよい。強調画像の種類には、デジタル的に再構成された放射線写真（ＤＲＲ：Ｄｉｇｉｔａｌｌｙ Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｒａｄｉｏｇｒａｐｈｓ）、マルチプレーンまたは可変平面再構成（ＭＰＲ／ＶＰＲ：Ｍｕｌｔｉ−ｐｌａｎｅ ｏｒ Ｖａｒｉａｂｌｅ−ｐｌａｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎｓ）、二次データおよび/またはリアルタイム画像からの情報の位置合わせされた拡張現実感オーバーレイ（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、異なる画像タイプと位置合わせされた標的のオーバーレイ、位置合わせされた融合画像、およびオーバーレイ、追跡された画像の異なる画像タイプへのオーバーレイなどがある。

カメラは、本発明のいくつかの実施形態のディスプレイの観点から患者および／または器具のリアルタイム撮像および／または追跡を可能にするハンドヘルドディスプレイに含まれてもよい。さらに、カメラは、ディスプレイおよび潜在的な二次撮像装置の外部に配置されてもよく、また、ディスプレイおよび／または撮像装置および／または器具を、本発明のいくつかの実施形態に応じて、別個の位置から追跡することもできる。

１台以上のカメラを含むリアルタイム撮像モジュールは、本発明のいくつかの実施形態において、さらに、超音波（ＵＳ）プローブ、ハンドヘルドＳＰＥＣＴプローブ、オキシメータセンサなどの二次撮像センサを備えることができる。これらの二次撮像センサは、（精密な位置合わせ関係とより正確な追跡を保証するため）カメラに物理的に結合されていてもよく、（よりよい操作性とコンパクト性を考慮して）着脱可能であってもよい。

標的は、二次画像データで定義されてもよいし、操作者によって対話的に二次データ上またはリアルタイム画像データ上に定義されてもよい。本発明のいくつかの実施形態では、これ（標的の定義）は、２Ｄデータ上でなされてもよく（例えば、表示された画像への直接入力（例えば、立体的データセットから超音波画像、または平面画像へのタップまたはクリック））、または３Ｄデータ上でなされてもよい（例えば、一方のビュー方向から２Ｄポイントを経たエピポーラ定義を通じて、別のビュー方向から３Ｄラインとして再表示され、そのラインの上または近くに別のポイントを定義することによって精緻化される）。標的は、環境から区別される場合、または入力画像モダリティの任意の組み合わせからそれらの位置を推定することができる場合、両方の種類の画像データから自動的にセグメント化することができる。

本発明のいくつかの実施形態では、カメラは、二次データに対する患者の表面の変形を観察することができる（そのような変形は、例えば、構造化された光、シェーディングによる形状、飛翔時間、または直接立体音響から観察することができ、または観察されたマーカーの動きから推測することができる）。表面変形の推定は、既知のハンドヘルド撮像プローブまたは追跡された器具または既知の形状および位置を有する他の物体との衝突をモデル化することによって、観察結果に対して実行または改善されてもよい。次いで、画像処理ユニットは、観察結果または推測された変形を第２の画像データの表面に伝搬させることによって、得られた第２のデータの初期変形を計算することができる。患者の表面が最初の構成に対してさらに変形された場合、画像処理ユニットは同様に、得られた二次データのリアルタイム変形を同様に計算することができる。さらに、表面変形は、例えば、有限要素モデル（ＦＥＭ：Ｆｉｎｉｔｅ−ｅｌｅｍｅｎｔ ｍｏｄｅｌ）または前記画像データから得られたばねマスモデル（ばねと質量でモデル化された単純な動解析モデル）に従って、二次撮像またはリアルタイム撮像に現される組織内に伝搬させることができる。結果として生じた組織の変形を用いれば、更新された結果として生じた定義された標的の変形を計算することができる。

次に、本発明のいくつかの実施形態は、結果として生じた入力画像データの変形に従って、リアルタイムで強調された変形画像を計算し、結果として生じる変形画像を、更新された目標位置とともに表示することができる。

本発明のいくつかの実施形態には、更新された追跡、変形、および／または強調画像の計算を容易にするための「推測航法」追跡を可能にする目的で現在の方向および移動の推定値を提供するために、リアルタイム撮像ユニット、モバイルディスプレイ、および／または１つ以上の慣性測定ユニット（加速度計またはジャイロスコープなどのＩＭＵ）または磁力計を有する１つ以上の検知装置が含まれている。

リアルタイム撮像が悪いマーカー構成（例えば、同一線上のタグ配列、アンカーマーカー、介入領域、明確な湾曲を有する患者表面領域、標的位置などの関心領域周辺のマーカーの密度不足、アンカーマーカーの不正確な配置など）を示す場合には、本発明のいくつかの実施形態においては、画像処理ユニットが操作者に対して改善された構成を計算し提案することができる。

図１は、本発明の一実施形態による撮像システムの実施形態を示す。ハンドヘルドユニット１６０は、１つ以上のカメラ１００、ディスプレイ２３０、および画像処理ユニット１１０を有する。ハンドヘルドユニット１６０は、例えば、タブレット、ノートブック、またはスマートフォンとすることができ、１台以上のカメラ１００および画像処理ユニット１１０は、ハンドヘルドユニット１６０の内部構成要素とすることができる。しかし、本発明の広範な概念は、この例にのみ限定されない。図１の例では、１つ以上のカメラ１００は、１つ以上のカメラ１００の１つ以上のビューイングコーン１２０内の患者１５０または患者１５０のセクションを観察する。ビューイングコーン内には、１つ以上のマーカー２２０または介入器具１３０が含まれうる。マーカー２２０は、自己識別視覚マーカー６３０、マルチモダリティマーカー６４０、マーカーストリップ６５０、または髪、母斑、解剖学的特徴などの視覚により識別可能な固有の特徴のうちの１つ以上のものであってもよく、マーカー２２０は、患者に取り付けられるものであってもあらかじめ存在しているものであってもよい。一定の状況においては、カメラと環境との間の幾何学的変形１４０は、例えば、１つ以上のカメラ１００から受信したデータを含む入力データから決定することができる。

図１はまた、画像処理ユニット１１０がハンドヘルドユニット１６０と結合されているか、または画像処理ユニット１１０がネットワークを介して接続された追加の遠隔コンポーネントを備えるか、または通信する本発明の異なる実施形態を示す。画像処理部１１０の機能は「クラウド」内で遠隔操作される。

患者１５０の二次３Ｄ画像データセット１７０は、収集されてもよく、事前定義された標的１８０および／または早期マーカーの表示を含むことができ、早期アンカーマーカー１９０の表示を含むことができる（アンカーマーカーは、方位情報の抽出を可能にする）。かかる二次画像データ１７０は、さらなる処理および／または例えばディスプレイ２３０上の表示のために画像処理ユニットに転送されてもよい。

本発明の実施形態に応じて、画像処理ユニット１１０は、１つ以上の集積回路および／またはマイクロプロセッサを含むことができる。画像処理ユニット１１０は、マーカー、針、および／または外科器具（例えば、介入器具１３０）を追跡するための命令を実行することができる。画像処理ユニット１１０は、二次３Ｄ画像１７０から標的選択１８０（例えば、腫瘍、血管、疑わしい病変または他の臨床的に関連する部位）を受信することができ、または、１つ以上のカメラ１００から得られた画像から直接的に新しい標的選択を受信することができる。新しい標的選択は、例えば、画像を表示するタッチスクリーンディスプレイ２３０から受け取ることができる。画像処理ユニット１１０は、器具を追跡し、器具の追跡中にディスプレイ２３０に器具を表示し、（例えば、１つ以上の垂直線、尖った線配置、および／または色の変化を用いて）ディスプレイ２３０の器具先端部を示し、器具先端部と標的との間の距離を算出し、器具先端部と標的との間の算出された距離に基づいて変化する音声を出力し、器具追跡の性質に関する視覚的手がかりを出力し、および／または音声または視覚的手がかりによる器具追跡の喪失を示すこともできる。画像処理ユニット１１０は、さらに、追跡対象の器具を線として表示するか、または追跡対象の器具の観察された長さの関数として器具追跡の性質を表示するようにディスプレイ２３０に指示することができる。カメラ１００の観察領域を横切る追跡された器具１３０の特定の例については、領域内に物理的に含まれる器具１３０の特定のセグメントがある。このセグメントの定義された目標に対する方向は、カメラ１００、器具１３０、および／または二次３Ｄ画像データ１７０の間の追跡情報および位置合わせ情報に基づいて画像処理ユニット１１０によって計算され、器具追跡のための入力として使用され得る。

図２は、本発明の一実施形態による画像誘導手順のステップを説明する、本発明の実施形態による画像処理システムの実施形態を示す。二次３Ｄ画像データ１７０から、画像処理ユニット１１０が患者表面２７０を抽出することができる。前記二次３Ｄ画像データ１７０内で、前記画像処理ユニット１１０は、提案された後アンカーマーカー位置２８０を計算することができる。次に、遅いマーカー位置の表示２９０と共にディスプレイ２３０上に表示することができる。

図３は、本発明の一実施形態による画像誘導手順のステップを説明する図であり、本発明の実施形態による画像処理システムの実施形態を示す。二次画像データ１７０ならびに介入器具および／または撮像装置３４０の影響による患者１５０表面３５０の変形の１台以上のカメラ１００による観察結果から、画像処理ユニット１１０は、例えば、バイナリ閾値化された二次３Ｄ画像データセット１７０の規則的なメッシュを作成し、それに引き続いて前記画像データセットからのボクセル強度に応じてモデルパラメータをパラメータ化することにより、例えば、二次３Ｄ画像データ１７０から発見的（ヒューリスティック）に導出された質量ばねモデルまたは有限要素モデルに、表面の変形を初期境界条件として組み入れることにより、二次画像データ１７０の変形された変化３２０を計算することができる。前記画像処理ユニット１１０は、二次画像データ１７０の変形された変化３２０から、予め定義された標的１８０の変形３８０を計算することができる。前記変形された画像データ３２０は、次に、前記標的３８０と共にディスプレイ２３０に表示される。

図４は、本発明の一実施形態による誘導システムの実施形態を示す。外部カメラ１００は、マーカー２２０が取り付けられた患者１５０と、マーカー４２０が取り付けられている可能性があるディスプレイ２３０とを観察することができる。表面およびマーカーの観察結果は、例えば、周知のＡｒｕｎまたはＨｏｒｎ位置合わせ方法（対応する自己識別マーカーを使用する場合）、ＲＡＮＳＡＣバリエーション（自己識別マーカーがなく、または、対応不明の場合）、またはＩＣＰ位置合わせ（対応がない場合）を用いて、あるいは、単一マーカーの視覚的な基準追跡（Ｅ．Ｏｌｓｏｎ：「Ａ Ｒｏｂｕｓｔ ａｎｄ ｆｌｅｘｉｂｌｅ ｖｉｓｕａｌ ｆｉｄｕｃｉａｌ ｓｙｓｔｅｍ」、ＩＥＥＥ ＩＣＲＡ２０１１）を用いて、表面およびマーカーについての事前知識または表面およびマーカーの観察結果と幾何学的に一致させることができる。この幾何学的一致は、基準姿勢と現観測姿勢との間の位置合わせ変形である。画像処理ユニット１１０は、患者に対するディスプレイのかかる位置合わせ変形４５０（ディスプレイ対カメラの変形と患者対カメラの逆変形の組み合わせ）に基づいて、ディスプレイ２３０の姿勢に応じた情報を含む強調画像を計算することができる。

図５は、本発明の一実施形態による画像誘導手順の工程を説明する、本発明の実施形態による画像処理システムの実施形態の態様を示す。 １台以上のカメラ１００が患者１５０に対して１つ以上の姿勢を取りながら移動している間に、患者表面マーカー２２０の異なるサブセットが観察されてもよい。画像処理ユニット１１０は、例えば、一対観察の結果から、継続的に、部分的なまたは完全なマーカー位置グラフ５００を再構築することにより、マーカーの姿勢を決定することができる。前段落で述べたとおり、本発明のいくつかの実施形態では、グラフ５００のもとになっているこのマーカーセットは、後に、視覚的追跡、二次画像データから得られる早期マーカー５１０を用いた二次３Ｄ画像データ１７０への位置合わせ、二次画像データから生成された表面２７０を用いた二次データ１７０への位置合わせのために用いられてもよい。

図６は、本発明の異なる実施形態のバリエーションの側面を示す。画像処理ユニット１１０は、１台以上のカメラ１００のモジュールに接続されてもよい。これらのカメラの各々は、患者１５０を観察するように構成されてもよい。当該患者の表面３５０には、自己識別ビジュアルマーカー６３０、マルチモダリティマーカー６４０、マーカーストリップ６５０、または視覚的に識別可能な自然の特徴、例えば、天然の解剖学的特徴、皮膚の特徴、または毛髪のうちの少なくとも一つが、取り付けられてもよく、パターンシートまたはパターン被覆に結合されてもよく、あるいは、あらかじめ存在していてもよい。

図７は、本発明の一実施形態による画像誘導手順の工程を説明する例示的なワークフローを示す。画像処理ユニット１１０に接続された１台以上のカメラ１００は、患者１５０上の複数の患者マーカー２２０を同時にまたは連続的に観察するように構成されてもよい。画像処理ユニット１１０は、マーカーの最適でない構成、例えばマーカーが一直線上に配列された構成７２０を検出し、接続されたディスプレイ２３に提案された改良された構成７４０を表示するように構成されてもよい。

図８は、本発明の一実施形態による誘導システムの実施形態を示す。外部カメラ１００は、取り付けられたマーカー２２０を有する患者１５０を観察することができる。追跡されたカメラの患者に対する姿勢４５０に基づいて、画像処理ユニット１１０は、カメラの姿勢に応じた情報を含む強調画像８１０を計算し、この画像を接続されたディスプレイ２３０に表示する。

本発明の一実施形態では、器具１３０（例えば、針または外科用器具）の追跡は、器具上の１つ以上の目に見える特徴を介して達成することができる。（基本的な器具追跡の技術は、本発明の発明者であるＳｔｏｌｋａらの「Ｎａｖｉｇａｔｉｏｎ ｗｈｉｔｈ ｌｏｋａｌ ｓｅｎｓｏｒｓ ｉｎ ｈａｎｄｈｅｌｄ ３Ｄ ｕｌｔｒａｓｏｕｎｄ： ｉｎｉｔｉａｌ ｉｎ−ｖｉｖｏ ｅｘｐｅｒｉｅｎｃｅ．」、フロリダ州レイクブエナビスタのＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１１、ｐｐ．７９６８１Ｊ−７９６８１Ｊ、２０１１年国際光学学会、Ｗａｎｇらの「Ｔｈｅ Ｋｉｎｅｃｔ ａｓ ａｎ ｉｎｔｅｒｖｅｎｔｉｏｎａｌ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ；」ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、カリフォルニア州Ｓａｎ Ｄｉｅｇｏ、ｐｐ．８３１６０Ｕ−８３１６０Ｕ、２０１２年国際光学学会、Ｈａｇｅｒと富山の「Ｔｈｅ ＸＶｉｓｉｏｎ Ｓｙｓｔｅｍ： Ａ Ｇｅｎｅｒａｌ・Ｐｕｒｐｏｓｅ Ｓｕｂｓｔｒａｔｅ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｒｅａｌ・Ｔｉｍｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ６９（１）ｐｐ．２３−３７、などの既刊の刊行物に記載されており、その内容は、参照によりその全体が本明細書に組み込まれる）。目に見える特徴としては、擬似ランダムバイナリシーケンス、より一般的にはデブリュインシーケンスを使用して最初に作成された検出可能なパターンを含むことができ、パターンは刻印され、印刷され、エッチングされ、または器具に付される（Ｓｔｏｌｋａらの米国特許第８，８８０，１５１号「Ｓｕｒｇｉｃａｌ ｎｅｅｄｌｅ ｆｏｒ ａ ｓｕｒｇｉｃａｌ ｓｙｓｔｅｍ ｗｉｔｈ ｏｐｔｉｃａｌ ｒｅｃｏｇｎｉｔｉｏｎ」）。パターンは、人体または動物の体内への器具の挿入深さを検出するために使用できる。あるいは、可視的な特徴は、器具に取り付けられたリングのようなアタッチメントが含まれる。リングは、反射性を帯び、および／または円筒形またはハンドル形状であってもよい。リングは、器具の先端の挿入深さを計算する際に使用される検出可能なパターンを含むことができ、検出可能なパターンは、最初に擬似ランダムバイナリシーケンスを使用して作成されてもよい。撮像システム１１０は、リングから器具の先端までの距離を最初に計算し、この計算された距離を使用して、器具追跡のために撮像システムを較正することができる。

［実施例システム１（「ムーンライト」）］
画像に基づく医療における１つの永続的な課題は、介入状況への位置合わせのための明確な規定なしに取得される二次３Ｄ画像データ１７０の使用である。これには、ＣＴ、ＭＲＩ、ＰＥＴ、ＳＰＥＣＴ、またはＣＢＣＴスキャンなどの既存の三次元測定だけでなく、介入状況と空間的および時間的に近傍で取得されるＸ線透視または一般的なＸ線投影などの２Ｄ画像データもある。これらの二次画像データセットのいずれも、位置合わせに使用することができるマーカー、例えば、有色のディスク上に小さな放射線不透過性の球を特徴とする周知の標準的なマルチモダリティ・スティック・オン・マーカーを含んでも含まなくてもよい。そのような二次画像データセットの場合、関連する画像部分と実際の患者状況との整合は困難で時間がかかる。操作者は、しばしば、正しい解剖学的一致を頭の中で再構築し、介入期間中を通して重要な特徴を記憶していなければならない。

画像処理ユニット１１０によれば、特定の方向から観察したときに、解剖学的特徴の相対的な向きなどの介入状況の特定の側面を目立たせまたは対応させることが可能な二次画像データセット１７０から強調画像を計算することが可能である。二次画像データセット１７０は、１つ以上の記憶媒体、通信ネットワーク、または撮像装置への接続の組み合わせを通じて画像処理ユニット１１０にインポートすることができる。次いで、画像処理ユニット１１０は、強調画像８１０を示すディスプレイ２３０と通信することができる。

１つ以上のカメラ１００または他の光感受性デバイスを使用することにより、患者１５０または介入器具１３０を含む可能性がある介入環境を観察することがき、患者１５０または介入器具１３０には、これらとの関係では相対的に静止している状態にあるマーカー２２０または他の可視的特徴２２０が取り付けられている。かかる対象（マーカー２２０）または特徴（可視的特徴２２０）の観察結果に基づいて、カメラの位置４５０は、基準位置から測定された対象または特徴の座標系の中で追跡することができる。

このような１台以上のカメラ１１０または他の感光装置がハンドヘルドディスプレイ２３０または統合ハンドヘルドユニット１６０に取り付けられている場合、それらが取り込む画像は、画像処理ユニット１１０のプログラムに入力され、これにより当該プログラムは、患者１５０に対するディスプレイ２３０の位置を効率的に決定することができる。かかるディスプレイ２３０の位置は、強調画像の計算のための、二次画像データセット１７０からの前述の視線方向として解釈されてもよい。さらに、そのような１台以上のカメラ１１０または他の光感受性デバイスは、器具１３０または他の対象物のビューを捕捉するために使用され、その位置は、患者に対して既知であることが望ましい。これらのビューは、画像処理ユニット１１０によって処理されて、前記器具位置を決定することもできる。最後に、これらの器具位置を使用して、器具位置の２次元投影に対応する線、ボックス、円柱、点、または円のうちの１つ以上を強調画像上に描画して、器具および２次画像データセットの相対的な姿勢を示すことにより、強調画像上に重ね合わされた誘導情報を提供することができる。

当明細書に記載の実施態様のいくつかを実施する本発明（「ムーンライト」）の１つの例示的な実施形態は、以下のように機能し得る。このようなシステムの特性は、本明細書に記載されているが、動作の原理に影響を及ぼすことなく、他の特性の様々な組み合わせを伴ってもよい。タブレット、ノートブックまたはスマートフォンなどのハンドヘルドコンピュータ１６０は、ディスプレイ２３０と、画像処理ユニット機能（「画像処理ユニット」）を実行する中央処理ユニット１１０と、カメラモジュール１００（１つ以上のカメラを含み、表示または物理的に分離する）、記憶装置およびデータ接続を含む。この実施形態の一般的な機能は、ハンドヘルドカメラ１００を使用する３Ｄ画像データセット１７０を介した誘導であり、画像処理ユニット１１０は、３Ｄ画像データセット１７０からの強調画像８１０をリアルタイムで、ハンドヘルドの視点からハンドヘルドカメラ１００と一体化されているか、またはそのカメラ１００に接続され、強調画像８１０を表示しているディスプレイ２３０を有する。環境（患者１５０またはワークピースなど）に対するハンドヘルドカメラ１００の位置は、その環境の観察結果に基づいて３Ｄ画像データセット１７０に表される画像が計算される。カメラ１００と環境との間の変形４５０（位置合わせとも呼ばれる）は、観察され計算された表面情報２７０、マーカー２２０、または自然の目印または解剖学的目印の１つまたは複数に基づいて、画像処理ユニット１１０によって計算される。介入器具１３０は、カメラ１００でそれらを観察し、画像処理ユニット１１０によってそれらを検出することによって能動的に追跡することもできる。画像処理ユニット１１０は、必要な計算が説明された機能を達成することを可能にするようにプログラムされる。以下、詳細に説明する。なお、処理の特定のステップは、記載された順序で実行する必要はない。

図１０は、本発明の一実施形態によるサンプルワークフローを示す。 １０１０において、二次３Ｄ画像データセット１７０（例えば、ＣＴまたはＭＲＩ）は、記憶媒体または他の通信相手から画像処理ユニット１１０によって読み取られる。次に、フローは１０１０から１０２０に移動する。

１０２０において、二次３Ｄ画像データセット１７０は、患者表面２７０を抽出するために処理される。次に、フローは１０２０から１０３０に移動する。

１０３０において、二次３Ｄ画像データセット１７０は、その中に含まれる可能性があるマーカー２２０または他の表面特徴ならびにあらかじめ定義されている可能性がある標的１８０を抽出するために処理される。４つのデータ要素（ボリューム１７０、表面２７０、マーカー２２０、および標的１８０）が存在する場合、これらは、さらなる処理のために保持することができる。次に、フローは１０３０から１０４０に移動する。

１０４０において、画像処理ユニット１１０は、正しい位置合わせの初期化を可能にするために、提案されたアンカーマーカー位置２８０を計算し、患者１５０における対応する表面位置の最終的な方向および位置をおおまかに定義する画面上のアンカーマーカー２９０のための仮想位置を設定することができる。このアンカーマーカーの位置は、（「早期マーカー」として存在する場合）３Ｄ画像データセット１７０から抽出されるか、または、後で操作者が（後期マーカーとして）アンカーマーカーを患者に取り付けるため、発見的（ヒューリスティック）に（例えば、「患者の上部中央」の位置に）初期化され得る。次に、フローは１０４０から１０４５に移動する。

１０４５において、早期アンカーマーカー１９０が検出された場合、フローは１０５０に移動し、そうでなければ、処理は１０５５に移動する。

１０５０において、操作者は１０４０の処理結果に従って早期アンカーマーカー１９０を調節することができる。次に、フローは１０５０から１０６０に移動する。

１０５５において、操作者は、１０４０の処理結果に従って、後期アンカーマーカーを適用することができる。 次に、フローは１０５５から１０６０に移動する。

１０６０において、操作者は、カメラ１００で患者１５０をスキャンすることができる。操作者は、マーカー２２０を収集してメッシュ５００に結合することができる。次に、フローは１０６０から１０７０に移動する。

１０７０において、アンカーマーカーは、１０６０で収集されたデータから特定することができる。次に、フローは１０７０から１０７５に移動する。

１０７５において、アンカーマーカーが検出された場合、フローは１０８０に移動し、そうでなければ、フローは１０９０に移動する。

１０８０において、メッシュ５００および患者表面２７０の位置合わせは、すべてのモダリティにおけるアンカーマーカーに基づいて初期化されてもよい。 次に、フローは１０８０から１０９０に移動する。

１０９０において、全てのモダリティは、１０３０で保存されたマーカー２２０、１０６０で収集されたマーカー２２０及び表面２７０に基づいて位置合わせすることができる。次に、フローは１０９０から１０９２に移動する。

１０９２において、マーカー２２０が観察され続けてもよく、カメラ１００およびディスプレイ２３０の相対位置が計算されてもよい。次に、フローは１０９２から１０９４に移動する。

１０９４において、カメラ１００に対する器具１３０の位置は、引き続き観察され得る。次に、フローは１０９４から１０９６に移動する。

１０９６において、画像データ１７０およびマーカー／カメラ／器具の位置に基づいて強調画像８１０を計算することができる。

１０９６の処理結果と並行して、第２の結果として、１台以上のカメラ１００を介してリアルタイムの状況情報が取得される。最初に、操作者は、追加の後期マーカー２２０（これだけに限定されるわけではないが、患者１５０における向きおよび位置が、画面上のアンカーマーカー２９０の向きおよび二次３Ｄ画像データ１７０の表面２７０上の位置とほぼ一致するはずの実際のアンカーマーカーを含む。）を患者１５０に取り付けることができる。操作者による後期マーカーの取り付けは必須ではないが、特に、初期マーカーが二次３Ｄ画像データ１７０に存在しない場合には、今後の追跡のため、より多くの明確に検出可能な特徴が提供される。１台以上のカメラ１００は、移動され、環境を観察し、画像処理ユニット１１０による後続の処理のためのリアルタイム撮像データを取得する。画像処理部１１０は、引き続きリアルタイム画像を解析してマーカー２２０または患者１５０の表面上の他の特徴を検出する。画像処理ユニット１１０は、これらの観察されたマーカー２２０または特徴を、それらの相対的な姿勢を含む最適な観察されたマーカーメッシュ５００に結合する。二次３Ｄ画像データセット１７０から抽出されたマーカーまたは特徴の存在に応じて、このマーカーメッシュ５００は、画像処理ユニット１１０によって患者表面２７０または抽出されたマーカー２２０またはフィーチャの１つ以上と位置合わせされる。この位置合わせは、アンカーマーカーが使用されている場合、画面上のアンカーマーカー２９０を、実際に観察されたアンカーマーカー２２０と一致させることによって初期化される。それ以外の場合、初期化は実行されない。対応する早期マーカー２２０が３Ｄ画像データセット１７０と観察されたマーカーメッシュ５００の両方に存在する場合、マーカーセットは厳密に位置合わせされることができる（例えば、Ａｒｕｎらの「Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎ ｏｆ Ｔｗｏ ３Ｄ Ｐｏｉｎｔ Ｓｅｔｓ」、１９８７ ＩＥＥＥ、あるいは、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ（ＩＣＰ）Ｐａｕ／ＭｃＫａｙ、「三次元形状の位置合わせ方法」、ＩＥＥＥ １９９２）のアルゴリズムを使用して、１つ以上のマーカーまたは表面を使用して最適な局所位置合わせを見つけることができる。このような局所的最適化による位置合わせが（例えば、後述するように結果として得られるオーバーレイ位置に基づいて）後で操作者によって不正確であると判定された場合、仮想アンカーマーカー２９０の画面上の修正によって、実際のアンカーマーカー２２０の位置合わせの再初期化を行ってもよい。画像処理ユニット１１０により引き続きカメラ画像内のマーカーまたは特徴が検出されることによって、マーカー２２０または特徴、マーカーメッシュ５００、および位置合わせされた二次３Ｄ画像データセット１７０に対する１台以上のカメラ１００の位置が特定される。画像処理ユニット１１０は、（例えば、Ｓｔｏｌｋら「ハンドヘルド３Ｄ超音波におけるローカルセンサによるナビゲーション：初期生体内経験」ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ２０１１に記載の技術により）取得されたカメラ画像内の器具１３０およびその姿勢を検出することができる。画像処理ユニット１１０は、カメラ１００の位置に対して既知である１台以上のカメラ１００の位置、ディスプレイ２３０の位置、または器具１３０の位置に応じて、２次３Ｄ画像データセット１７０から強調画像８１０を生成する。当該強調画像８１０は、例えば、デジタル的に再構成された放射線写真、またはカメラ／ディスプレイ／器具位置、または他の臨床的に関連する変形に基づく単一以上の平面再構成の形態をとることができる。かかる強調画像８１０は、観察された器具１３０と変形された標的１８０の位置のオーバーレイを含むこともできる。さらに、この手順中、標的１８０は、ディスプレイ２３０が異なる視野位置に保持されたときディスプレイ２３０をタップすることによって、光線交差位置で標的を識別するエピポーラ幾何学を画定することにより、対話的に作成されてもよい。

このシステムは、ハンドヘルドディスプレイ２３０またはカメラ１００を「ウィンドウ」として画像データ１７０中に配置することによって、二次３Ｄ画像データセット１７０を通した誘導を可能にする。重要なことは、前述のとおり、患者１５０の画像データ１７０との位置合わせが、１つ以上の表面２７０および表面マーカー２２０または特徴をリアルタイムで取得し、これらを二次３Ｄ画像データセットと即時に位置合わせすることによって、操作者によるさらなる操作を必要とすることなく、達成される点にある。表面およびマーカーまたは特徴の視覚的観察により、動的な大規模（長距離）位置合わせおよび連続的な小規模（短距離）追跡の両方が可能になる。器具１３０の姿勢および変形された標的１８０の位置は、ディスプレイ２３０上の画像データ１７０に直接重ね合わされ、長時間の手動初期化ステップを必要とせずに、表面下の解剖学的構造に対して器具の効果的な位置決めを可能にする。表面マーカー２２０または特徴は、患者１５０が二次３Ｄ画像データ１７０と位置合わせされるために存在し、使用されてもよいが、介入の時点までは患者に存在する必要はない。

［実施例システム２（「Ｍｏｏｎｌａｎｄｅｒ」）］
実施例システム１の動作原理は、カメラ画像を超える二次医療リアルタイム画像データを含むように拡張することができる。これは、異なる解像度、機能的または材料的または時間的撮像特性を有する異なる医用撮像様式を組み合わせるのに役立ち得る。ハンドヘルド二次センサの例は、超音波プローブ、ＳＰＥＣＴプローブ、オキシメータ、光学血管視覚化装置であり、静止二次センサの例は、Ｃアーム、Ｏアーム、蛍光透視装置、または超音波断層撮影装置を含む。このように、本発明の別の例示的な実施形態（「Ｍｏｏｎｌａｎｄｅｒ」）は、リアルタイムのハンドヘルド超音波撮像を組み込むことができる。このようなシステムの特性は、本明細書に記載されているが、動作の原理に影響を及ぼすことなく、他の特性の様々な組み合わせを伴ってもよい。このシステムは、実施例システム１（「ムーンライト」）に基づくものであるが、さらに、ステレオカメラコンポーネント１００がしっかりと取り付けられ調節されたハンドヘルドプローブ３４０を用いた撮像によって直接的に、または他の超音波システムを介して間接的に、超音波画像データ３００を受信する。ハンドヘルド超音波プローブ３４０およびステレオカメラ構成要素１００を組み合わせれば、リアルタイム撮像モジュールが形成される。システムディスプレイ２３０は、ハンドヘルドディスプレイ１６０である必要はない。位置合わせされた二次的３Ｄ画像データセットに対する超音波プローブの位置を追跡することによって、リアルタイム超音波画像と、二次３Ｄ画像データは、両方のモダリティ（様式）をリアルタイムで一緒に表示するように設定され、操作者が単一のモダリティで発見することが困難な画像の側面を識別するのに役立つ。位置合わせされた二次３Ｄ画像データセットに対する追跡された超音波プローブおよび器具位置がわかれば、前記画像データの変形をさらに可能にし、前記変形に基づいて幾何学的に調整された情報を表示することができる。

大部分の動作特性および手順ステップは実施例システム１のものと同様であるが、画像処理ユニット１１０はさらに超音波画像データ３００を受信することができる。このデータは、例えば、それを平面的再構成または３Ｄ画像データセット１７０の３Ｄ視覚化画像と重ね合わせることによって、強調画像８１０の計算に使用することができる。

ハンドヘルドプローブ３４０の位置および形状を（それぞれ、追跡およびモデリングから）知ることができれば、二次３Ｄ画像データ１７０またはそれから抽出された表面２７０との衝突を間接的に検出することができ、衝突の幾何学形状（ジオミトリ）は、（例えば、画像データ１７０とプローブ３４０のモデルとの交点を計算することによって、または表面２７０の要素をプローブ３４０の画像データ１７０または表面２７０への侵入深さの分だけずらすことによって）計算され得る。これらの衝突は組織変形を誘発し、その伝搬は、二次３Ｄ画像データ１７０および推定された組織特性に基づいて予め作成された機械的変形モデルを用いて画像処理ユニット１１０によって推定され得る。そのような推定は、例えば、アトラスまたは強度ベースのセグメンテーションに基づくものであってよい。衝突はまた、表面変形３５０またはマーカーメッシュ変形を直接観察することによって独立して推測されてもよい。次いで、変形モデルに伝播された変形は、二次３Ｄ画像データ１７０の変形３２０、または、おそらく事前定義された標的１８０の変形３８０を含む前述データから得られた強調画像８１０の変形３２０を教示することができる。

画像誘導のための実施例システム２は、手動で目印を定義したり、術前データ中に存在するはずのマーカーを見分けたり、あるいはこれらと同様の工程を行うなどといった、通常必要とされる位置合わせに関連した対話的操作をすることなく、３Ｄ画像と超音波データとの画像融合を可能にする。他の誘導システムとは異なり、提案された本発明は、別個の基準または感知ベースユニットの存在を必要とせず、また、１台以上のカメラ１００による表面または表面特徴の観察以外の追加のセットアップ工程も必要としない。

［例示的なコンピュータシステム］
図１１は、本発明の例示的な実施形態を実施する際に使用され得る例示的なコンピュータシステムを示す。具体的には、図１１は、例えば、スタンドアロンまたはクライアントまたはサーバ装置などの電算装置で使用することができるコンピュータシステム１１００の例示的な実施形態を示す。本発明（またはその任意の部分または機能）は、ハードウェア、ソフトウェア、またはソフトウェアを使用して実装されてもよく、ファームウェア、またはそれらの組み合わせを含み、１つ以上のコンピュータシステムまたは他の処理システムで実施されてもよい。実際、１つの例示的な実施形態では、本発明は、本明細書で説明される機能を実行することができる１つ以上のコンピュータシステムにより実現されうる。本発明を実施するのに有用な例示的なコンピュータシステムのブロック図の例示的な実施形態を示す、コンピュータシステム１１００の一例を図１１に示す。具体的には、図１１に示す例示的な実施形態では、例えば、（限定するものではないが）ＭＩＣＲＯＳＯＦＴ（登録商標）などのオペレーティングシステムを実行するパーソナルコンピュータ（ＰＣ）システム、米国ワシントン州レドモンドのＭＩＣＲＯＳＯＦＴ（登録商標）Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）ＮＴ／９８／２０００／ＸＰ／Ｖｉｓｔａ／Ｗｉｎｄｏｗｓ（登録商標）／Ｗｉｎｄｏｗｓ（登録商標）８など、米国カリフォルニア州クパチーノのＡｐｐｌｅ（登録商標）のＭＡＣ（登録商標）ＯＳ、ＯＳ Ｘ、またはＬｉｎｕｘ（登録商標）または他のＵＮＩＸ（登録商標）系のコンピュータを使用している。しかしながら、本発明はこれらのプラットフォームに限定されず、本発明は、任意の適切なオペレーティングシステムを実行する任意の適切なコンピュータシステム上で実施されてもよい。１つの例示的な実施形態では、本発明は、本明細書で説明するように動作するコンピュータシステム上で実施することができる。例示的なコンピュータシステムであるコンピュータ１１００が図１１に示されている。例えば、コンピューティングデバイス、通信デバイス、電話、パーソナルデジタルアシスタント（ＰＤＡ）、パーソナルデジタルアシスタント、ｉＰｈｏｎｅ（登録商標）、ｉＰａｄ（登録商標）、Ｓｕｒｆａｃｅ、およびＡｎｄｒｏｉｄデバイス、３Ｇ／４Ｇワイヤレスデバイス、ＬＴＥデバイス、ワイヤレスデバイス、パーソナルコンピュータ（ＰＣ）、ハンドヘルドＰＣ、ラップトップコンピュータ、スマートフォン、モバイルデバイス、（ｉＴＶ）、デジタルビデオレコーダー（ＤＶＲ）、クライアントワークステーション、シンクライアント、シッククライアント、ファットクライアント、プロキシサーバー、ネットワーク通信サーバー、リモートアクセス装置、クライアントコンピュータ、サーバコンピュータ、ピアツーピアデバイス、ルータ、ウェブサーバ、データ、メディア、オーディオ、ビデオ、電話またはストリーミング技術サーバなども、図１１に示すようなコンピュータを使用して実装することができる。例示的な実施形態では、例えば、対話型テレビ装置（ｉＴＶ）、ビデオ・オン・デマンド・システム（ＶＯＤ）、デジタル・ビデオ・レコーダ（ＤＶＲ）および／または他のオンデマンド視聴システムを介して、オン・デマンドでサービスが提供される。コンピュータシステム１１００および／またはコンピュータシステム１１００の一部は、例えば、画像処理ユニット１１０、ハンドヘルドユニット１６０、ディスプレイ２３０および／または１台以上のカメラ１００などの図１−８に記載されたネットワーク、処理装置、および／またはコンポーネントを実装するために使用することができる。

コンピュータシステム１１００は、これに限定されないが、例えばプロセッサ１１０４などの１つ以上のプロセッサを含むことができる。プロセッサ１１０４は、通信インフラストラクチャ１１０６（例えば、これらに限定されないが、通信バス、クロスオーバ・バー、相互接続、またはネットワークなど）を含むことができる。プロセッサ１１０４は、命令（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））を解釈し実行することができる任意のタイプのプロセッサ、マイクロプロセッサ、または処理ロジックを含むことができる。プロセッサ１１０４は、単一のデバイス（例えば、単一コア）および／またはデバイスのグループ（例えば、マルチコアプロセッサまたはグラフィックス／並列プロセッサ）を備えることができる。プロセッサ１１０４は、１つ以上の実施形態を実装するように構成されたコンピュータ実行可能命令を実行するように構成されたロジックを含むことができる。命令は、主メモリ１１０８または二次メモリ１１１０に存在してもよい。プロセッサ１１０４は、デュアルコアプロセッサまたはマルチコアプロセッサなどの複数の独立したコアも含むことができる。プロセッサ１１０４はまた、専用グラフィックスカード、統合グラフィックスソリューション、および／またはハイブリッドグラフィックスソリューションの形態であってもよい１つ以上のグラフィックス処理ユニット（ＧＰＵ）を含むことができる。様々な例示的なソフトウェアの実施形態を、この例示的なコンピュータシステムに関して説明することができる。この説明を読めば、他のコンピュータシステムおよび／またはアーキテクチャを使用して本発明をどのように実施するかは当業者には明らかになるであろう。

コンピュータシステム１１００は、通信インフラストラクチャ１１０６（または、図示しないフレームバッファなど）から、グラフィックス、テキスト、およびその他のデータなどを表示部２３０に転送することができるディスプレイインターフェイス１１０２を含むことができる。表示部２３０は、例えば、データを表示するためのＬＣＤまたは他の画面（例えば、携帯電話またはタブレット画面）であってもよい。出力はまた、スピーカを介して音声として提供されてもよい。

コンピュータシステム１１００は、さらに、例えば、主メモリ１１０８、ランダムアクセスメモリ（ＲＡＭ）、および二次メモリ１１１０などを含むことができるが、これらに限定されない。主メモリ１１０８、ランダムアクセスメモリ（ＲＡＭ）および二次メモリ１１１０などは、１つ以上の実施形態を実装するように構成された命令を格納するように構成されたコンピュータ可読媒体であってもよく、また、ダイナミックＲＡＭ（ＤＲＡＭ）装置、フラッシュメモリ装置、スタティックＲＡＭ（ＳＲＡＭ）装置などのランダムアクセスメモリ（ＲＡＭ）を備えてもよい。

二次メモリ１１１０には、例えば、フロッピー（登録商標）ディスケットドライブ、磁気テープドライブ、光ディスクドライブ、コンパクトディスクドライブＣＤ−ＲＯＭ、フラッシュメモリなどによって代表されるハードディスクドライブまたはソリッドステートドライブとしてのストレージデバイス１１１２および／またはリムーバブルストレージドライブ１１１４が含まれるが、これらに限定されない。磁気リムーバブルストレージドライブ１１１４は、例えば、よく知られている方法で、リムーバブルストレージユニット１１１８からの読出しおよび／またはリムーバブルストレージユニット１１１８への書込みを行うことができるが、これに限定されるものではない。プログラム記憶装置またはコンピュータプログラム製品とも呼ばれる取り外し可能な記憶装置１１１８は、フロッピーディスク、磁気テープ、光ディスク、コンパクトディスクなどによって代表されるが、これらに限定されるものではない。以上のとおり、リムーバブル記憶装置１１１８は、コンピュータソフトウェアおよび／またはデータを記憶したコンピュータ使用可能記憶媒体を含むことができることが理解できる。

他の例示的な実施形態では、二次メモリ１１１０は、コンピュータプログラムまたは他の命令がコンピュータシステム１１００にロードされることを可能にする他の同様の装置を含むことができる。そのような装置としては、リムーバブルストレージユニット１１２２およびインタフェース１１２０があり、そのようなものの例としては、プログラムカートリッジおよびカートリッジインタフェース（例えば、限定するものではないが、ビデオゲーム装置に見られるもの）、リムーバブルメモリチップ（例えば、これに限定されるものではないが、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ））、これらに関連するソケット、リムーバブルストレージユニット１１２２からコンピュータシステム１１００にソフトウェアおよびデータを転送することを可能にする他のリムーバブルストレージユニット１１２２およびインタフェース１１２０が含まれる。メインメモリ１１０９および／または二次メモリ１１１０は、少なくとも、例えば、図９−１０に記載されたワークフローを実行するための非一時的な命令を含むことができる。

コンピュータシステム１１００は、さらに、情報が、例えばユーザからコンピュータシステム１１００に入力されることを可能にする任意の機構または機構の組み合わせを含み得る入力装置１１０３を含むことができる。入力装置１１０３は、コンピュータシステム１１００のための情報を、例えば、ユーザーから受け取るように構成されたロジックを含んでもよい。入力装置１１０３の例は、例えば、マウス、ペンベースのポインティングデバイス、またはデジタイザ、タッチセンシティブディスプレイデバイス、および／またはキーボードまたは他の（ラベルが付けられていない）データ入力デバイスを含むが、これらに限定されない。他の入力装置１１０３は、例えば、バイオメトリック入力装置、ビデオソース、オーディオソース、マイクロフォン、加速度計またはジャイロスコープなどの慣性センサ、磁力計、ウェブカム、ビデオカメラ、および／または他のカメラ１００を含む。

コンピュータシステム１１００は、さらに、コンピュータシステム１１００から情報を出力することができる任意の機構または機構の組み合わせを含む出力装置１１１５を含むことができる。出力装置１１１５は、コンピュータシステム１１００から情報を出力するように構成された論理（ロジック）を含むことができる。出力装置１１１５の実施形態は、ディスプレイ、プリンタ、スピーカ、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）などを含むディスプレイ２３０、およびディスプレイインタフェース１１０２を含むが、プリンタ、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）なども含まれる。コンピュータシステム１１００は、例えば入力置１１０３、通信インタフェース１１２４、ケーブル１１２８および通信経路１１２６などを含むことができる。これらのデバイスは、例えば、ネットワークインタフェースカードおよび／またはモデムを含むことができるが、これに限定されない。

通信インタフェース１１２４は、ソフトウェアおよびデータがコンピュータシステム１１００と外部装置との間で転送されることを可能にすることができる。

当明細書では、「コンピュータプログラム媒体」および「コンピュータ可読媒体」という用語は、例えば、リムーバブルストレージドライブ１１１４、ハードディスクまたはソリッドステート記憶装置１１１２にインストールされたディスク、フラッシュメモリ、リムーバブルディスク、非リムーバブルディスクなどが含まれるが、これらに限定されるものではない。加えて、無線通信、導線（例えば、ツイストペア、ＣＡＴ５などであるが、これに限定されない）または光媒体（例えば、これに限定されないが、光ファイバーなど）を介して伝送される電気通信などの様々な電磁放射は、コンピュータ実行可能命令を搬送するように符号化されてもよいことに注意すべきである。プロセッサ内で実行するためのコンピュータ実行可能命令を含むコンピュータ読み取り可能媒体は、本発明の様々な実施形態を格納するように構成されてもよい。「一実施形態」、「実施形態」、「例示的実施形態」、「様々な実施形態」などの言及は、そのように記載された本発明の実施形態が特定の特徴、構造、または特性を含むことを示すが、すべての実施形態が必ずしも特定の特徴、構造、または特性を含むわけではない。

さらに、「一実施形態では」または「例示的実施形態で」という語句の繰り返しの使用は、必ずしも同じ実施形態を指しているとは限らないが、そうでなくてもよい。本明細書に記載された様々な実施形態を組み合わせることができ、および／または実施形態の特徴を組み合わせて新しい実施形態を形成することができる。

特に断りのない限り、以下の説明から明らかなように、明細書全体を通して、「処理する」、「計算する」、「算出する」、「決定する」などの用語を使用する議論は、コンピューティングシステムのレジスタおよび／またはメモリ内の物理量、例えば電子量として表されるデータを同様に物理的に表現される他のデータに変換および／または変換するコンピュータまたはコンピューティングシステムまたは同様の電子コンピューティングデバイスの動作および／計算システムのメモリ、レジスタまたは他のそのような情報記憶装置、伝送装置または表示装置内の量を含む。

同様に、「プロセッサ」という用語は、レジスタおよび／またはメモリから電子データを処理してその電子データをレジスタおよび／またはメモリに格納され得る他の電子データに変換するデバイスの任意のデバイスまたは部分を指してもよい。「コンピューティングプラットフォーム」は、１つ以上のプロセッサを備えることができる。

本発明の実施形態は、ソフトウェアコンポーネントとして多くの異なる方法で具体化されてもよい。例えば、スタンドアロンのソフトウェアパッケージであってもよく、あるいは、例えば科学的モデリング製品などのより大きなソフトウェア製品に「ツール」として組み込まれたソフトウェアパッケージであってもよい。これは、ネットワーク（例えば、ウェブサイト）から、スタンドアロン製品として、または既存のソフトウェアアプリケーションにインストールするためのアドインパッケージとしてダウンロードすることができる。また、クライアント／サーバーソフトウェアアプリケーションとして、またはＷｅｂ対応ソフトウェアアプリケーションとして利用できる。また、ネットワークカバレッジと応答性を検出するシステムの一部である場合もありる。汎用コンピュータは、１つ以上のプロセッサが本明細書に示された技術および、例えば、ステップを実行することを可能にするプログラミングロジックを記憶することによって、特殊化することができる。

本発明の実施形態は、本明細書の動作を実行するための装置を含むことができる。該装置は、所望の目的のために特別に構成することができ、または装置に格納されたプログラムによって選択的に起動または再構成された汎用装置を含むことができる。

本発明の様々な実施形態について上述したが、これらの実施形態は単なる例示であり、限定するものではないと解されるべきである。したがって、本発明の範囲は、上記の例示的な実施形態のいずれかによって限定されるべきではなく、むしろ、添付の特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。

Claims (31)

1. 画像処理システムと、
   １台以上のカメラを有し前記画像処理システムと通信する第１撮像モジュールと、を備えた画像誘導システムであって、
   前記画像処理システムは、
   第２撮像装置から二次画像データを受信し、
   第１関心表面を決定するために前記二次画像データを区分し、
   前記第１撮像モジュールからリアルタイム撮像データを受信するように構成され、
   前記１台以上のカメラからの前記リアルタイム撮像データには、第２関心表面およびアンカーマーカーのうちの少なくとも一つの画像が含まれ、
   前記アンカーマーカーは、前記第２関心表面、複数の早期または後期マーカーおよび器具の位置と方向を提供し、
   前記画像処理システムは、さらに、
   前記アンカーマーカー、前記複数の早期または後期マーカー、および前記第２関心表面のうちの少なくとも一つを用いて、前記第２関心表面に対する前記第１関心表面の位置合わせ調整量を算出し、
   前記アンカーマーカー、前記複数の早期または後期マーカー、前記第２関心表面および前記第２関心表面の特徴のうちの少なくとも一つを用いて、前記第１関心表面に対する前記第１撮像モジュールの追跡位置を算出し、
   前記リアルタイム撮像データから得られる情報を、前記第１撮像モジュールの位置に基づいて、前記二次画像データから計算された対応する情報と結合することにより、強調画像を作成するように構成されていることを特徴とする画像誘導システム。
2. 前記画像処理システムと通信する表示手段をさらに備え、
   前記画像処理システムは、さらに、
   前記表示手段に前記強調画像を表示するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
3. 前記表示手段は、タブレットおよびスマートフォンのうちの少なくとも一つを備えることを特徴とする請求項２に記載の画像誘導システム。
4. 前記画像処理システムは、さらに、
   前記表示手段に取り付けられた前記複数のマーカーおよび前記表示手段の特徴のうちの少なくとも一つを用いて、前記表示手段に対する前記第１撮像モジュールの追跡位置を算出し、
   前記第１撮像モジュールおよび前記表示手段の位置に基づいて、前記リアルタイム撮像データから得られる情報を、一つ以上の対応する二次画像セグメントから得られる情報と結合することにより、強調画像を作成することを特徴とする請求項２に記載の画像誘導システム。
5. 前記画像処理システムは、さらに、
   後期アンカーマーカーを前記第１関心表面上に配置する提案位置を算出し、受信し、または二次画像セグメントから抽出し、
   前記第１関心表面上の前記提案位置に基づいて、前記後期アンカーマーカーが前記第２関心表面上に配置されるように、前記第１関心表面および前記後期アンカーマーカーの提案位置を前記表示手段に表示するように構成されていることを特徴とする請求項２に記載の画像誘導システム。
6. 前記画像処理システムは、計算、データ保管およびデータ送信のうちの少なくとも一つを実行する追加の遠隔システムコンポーネントと通信するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
7. 前記強調画像は、デジタル再構成放射線写真、マルチプレーン再構成、前記追跡された第１撮像モジュールからの画像、および前記二次画像データから計算された対応する画像、カメラ観察に基づいて計算された位置における器具、および前記二次画像データからの所定の標的と操作者から直接得られた所定の標的のうちの少なくとも一つの標的位置のうちの少なくとも一つが結合したものであることを特徴とする請求項１に記載の画像誘導システム。
8. 前記二次画像データに少なくとも一つの前記早期マーカーが含まれ、
   前記画像処理システムは、さらに、
   当該少なくとも一つの前記早期マーカーを自動的に区分するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
9. 前記二次画像データに少なくとも一つの早期第２のマーカーが含まれ、
   前記画像処理システムは、さらに、
   前記少なくとも一つの早期第２のマーカーと前記第１撮像モジュールからの前記リアルタイム撮像データからの前記複数の早期または後期マーカーの画像との間の対応関係を計算するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
10. 前記二次画像データには少なくとも一つの前記早期マーカーが含まれており、
    前記画像処理システムは、さらに、
    前記第１の関心表面および前記第２の関心表面の両方において知られている前記早期または後期マーカーを用いて前記第１の関心表面を前記第２の関心表面と初期位置合わせし、前記第２関心表面を用いて前記初期位置合わせを微調整するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
11. 前記画像処理システムは、さらに、
    観察されまたは見積もられた変形であって、前記第２の関心表面または前記複数の早期または後期マーカーのうちの少なくとも一つに加えられた変形であって、前記第２関心表面に当接する前記第１撮像モジュール、器具またはその他の対象のうちの少なくとも一つにより加えられた変形に起因する前記第１の関心表面の変形を算出するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
12. 前記画像処理システムは、さらに、
    前記二次画像データ中の予め選択された標的および操作者により直接選択された標的の少なくとも一つから選択された標的位置を受信し、
    前記第１の関心表面に加えられた前記変形に基づいて前記標的位置を再算出するように構成されていることを特徴とする請求項１１に記載の画像誘導システム。
13. 前記画像処理システムは、さらに、
    前記算出された変形を前記一つ以上の対応する二次画像セグメントから得られる情報に加えつつ、前記第１撮像モジュールの位置に基づいて、前記リアルタイム撮像データから得られる情報を、前記二次画像データから計算された対応する情報と結合することにより、変形強調画像を作成するように構成されていることを特徴とする請求項１１に記載の画像誘導システム。
14. 感知装置をさらに備え、前記感知装置は、前記複数の早期または後期マーカーのうちの少なくとも一つが前記１台以上のカメラにより撮像できない場合には、前記感知装置の現在の方向および変位の推定値を提供するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
15. 前記感知装置は、加速度計、ジャイロスコープ、または磁力計のうちの少なくとも一つを含むことを特徴とする請求項１４に記載の画像誘導システム。
16. 前記感知装置は、前記第１撮像モジュールおよび前記画像処理システムと通信する表示手段のうちの少なくとも一つに接続されることを特徴とする請求項１４に記載の画像誘導システム。
17. 前記画像処理システムは、さらに、
    受信した前記リアルタイム撮像データに基づいて、継続的に、前記第２関心表面および前記複数の早期または後期マーカーの相対的位置を再構築するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
18. 前記画像処理システムは、さらに、
    受信した前記早期または後期マーカーの画像、前記二次画像データから抽出された表面情報、前記二次画像データおよび標的位置のうちの少なくとも一つに基づいて、前記早期または後期マーカーの悪い構成を決定し、
    前記複数の早期または後期マーカーの改善された構成を計算し、
    前記改善された構成は、前記アンカーマーカーの位置、他の前記早期または後期マーカーの位置、前記第２関心表面の画像、前記二次画像データおよび標的位置のうちの少なくとも一つに基づくものであり、
    前記画像処理システムは、さらに、
    前記改善された構成を送信するように構成されていることを特徴とする請求項１に記載の画像誘導システム。
19. 前記アンカーマーカーまたは前記複数の早期または後期マーカーは、自己識別タグ、マルチモダリティマーカー、マーカーストリップ、パターンシート、パターン被覆、天然の解剖学的特徴、皮膚の特徴、または毛髪のうちの少なくとも一つを備えることを特徴とする請求項１に記載の画像誘導システム。
20. 前記第１撮像モジュールは、１つ以上の二次センサを有し、前記二次センサは、超音波プローブ、ＳＰＥＣＴプローブ、オキシメータ、および光学血管視覚化装置のうちの少なくとも一つを有することを特徴とする請求項１に記載の画像誘導システム。
21. 前記１台以上のカメラは、前記1つ以上の前記２次センサから物理的に切り離されることを特徴とする請求項２０に記載の画像誘導システム。
22. 前記１台以上のカメラは、光学カメラ、赤外線カメラ、ＵＶ感受性カメラ、光視野センサ、プレノプティックカメラ、および反射屈折カメラのうちの少なくとも一つを備えることを特徴とする請求項１に記載の画像誘導システム。
23. 前記二次画像データは、ＣＴスキャン、ＣＢＣＴスキャン、Ｘ線画像、蛍光透視画像、ＭＲＩスキャン、ＰＥＴスキャン、およびＳＰＥＣＴスキャンのうちの少なくとも一つからのデータを備えることを特徴とする請求項１に記載の画像誘導システム。
24. １台以上のプロセッサーにより、二次撮像装置から二次画像データを受信する工程と、
    前記１台以上のプロセッサーにより、第１関心表面を決定するために、前記二次画像データを区分する工程と、
    前記１台以上のプロセッサーにより、第１撮像モジュールから、カメラからの視覚データであって、第２関心表面、早期または後期アンカーマーカーの画像および複数の早期または後期二次マーカーの画像のうちの少なくとも一つを有する視覚データを含むリアルタイム撮像データを受信する工程と、
    前記１台以上のプロセッサーにより、前記早期または後期アンカーマーカー、前記早期または後期二次マーカーおよび前記第２関心表面のうちの少なくとも一つを用いて、前記第１関心表面を前記第２関心表面と位置合わせする工程と、
    前記１台以上のプロセッサーにより、前記早期または後期アンカーマーカー、前記複数の早期または後期二次マーカー、前記第２関心表面および前記第２関心表面の特徴のうちの少なくとも一つを用いて、前記第１関心表面に対する前記第１撮像モジュールの位置を算出する工程と、
    前記１台以上のプロセッサーにより、前記第１撮像モジュールの位置に基づいて、前記第１撮像モジュールからの前記リアルタイム撮像データを、対応する前記第２撮像装置からの対応する二次画像と結合することにより、強調画像を作成する工程と、を含む誘導方法。
25. 前記強調画像を表示手段に表示する工程をさらに含むことを特徴とする請求項２４に記載の誘導方法。
26. 前記１台以上のプロセッサーにより、前記表示手段に貼付された複数のマーカーおよび前記表示手段の特徴のうちの少なくとも一つを用いて、前記表示手段に対する前記第１撮像モジュールの位置を算出する工程と、
    前記１台以上のプロセッサーにより、前記第１撮像モジュールおよび前記表示手段の位置に基づいて、前記第１撮像モジュールからの前記リアルタイム撮像データを、対応する前記第２撮像装置からの対応する二次画像と結合することにより、強調画像を作成する工程と、
    前記強調画像を前記表示手段に表示する工程をさらに含むことを特徴とする請求項２５に記載の誘導方法。
27. 前記１台以上のプロセッサーにより、前記第１関心表面における前記後期アンカーマーカーを配置する提案位置を算出する工程と、
    前記第１関心表面と前記後期アンカーマーカーを配置する前記提案位置を表示手段に表示する工程をさらに含むことを特徴とする請求項２４に記載の誘導方法。
28. 前記二次画像データに含まれる早期マーカーを自動的に区分する工程をさらに含むことを特徴とする請求項２４に記載の誘導方法。
29. 前記二次画像データに含まれる早期マーカーと前記第１撮像モジュールによって観察される前記複数の早期または後期二次マーカーとの間の対応関係を自動的に計算する工程をさらに含むことを特徴とする請求項２４に記載の誘導方法。
30. 前記第１撮像モジュールからの前記リアルタイム撮像データまたは前記カメラからのリアルタイム視覚データに基づいて、前記第１関心表面の変形を算出する工程と、
    前記算出された変形に基づいて、二次画像および標的を変更する工程と、をさらに含むことを特徴とする請求項２４に記載の誘導方法。
31. 前記１台以上のプロセッサーにより、変更された第１関心領域を決定するために、前記変更された二次画像を区分する工程と、
    前記１台以上のプロセッサーにより、前記早期または後期アンカーマーカー、前記複数の早期または後期二次マーカー、前記第２関心表面の特徴および前記第２関心表面のうちの少なくとも一つを用いて、前記変更された第１の関心表面を前記第２の関心表面と順次位置合わせする工程と、をさらに含むことを特徴とする請求項３０に記載の誘導方法。

Images