JP2019519257A - 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法 - Google Patents

Abstract

画像処理して解剖学的部分の三次元（３Ｄ）ビューを生成するためのシステム及び方法の様々な態様が本明細書に開示されている。このシステムは、解剖学的部分に関連付けられ各々が第１の視野（ＦＯＶ）値を有する、複数の２次元（２Ｄ）画像を受け取るように構成された画像処理装置を含む。第２の視野値を有する解剖学的部分の第１の三次元ビューは、解剖学的部分の三次元再構成から生成される。三次元再構成は、受け取った複数の二次元画像から選択された一連の二次元画像フレームの使用によって取得される。第２の視野値は、解剖学的部分の複数の二次元画像のそれぞれの第１の視野値よりも大きい。生成された第１の三次元ビューと、解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューが生成される。【選択図】 図３

Description

［関連出願との相互参照／参照による組み込み］
[0001] 本出願は、２０１６年３月１１日に出願された米国仮特許出願第６２／３０６，８１７号の優先権を主張し、この米国仮特許出願の内容全体が参照により本明細書に組み込まれる。

[0002] 本開示の様々な実施形態は、画像処理のためのシステム及び方法に関する。より具体的には、本開示の様々な実施形態は、画像処理して解剖学的部分の三次元ビューを生成するためのシステム及び方法に関する。

[0003] 医療用画像計算の分野における最近の発展は、様々な画像処理技術の進歩につながっており、そこでは医療用画像の次元が重要なパラメータである。一般的に、磁気共鳴映像法（ＭＲＩ）／コンピュータ断層撮影（ＣＴ）のような画像誘導手術手順の前に、患者（又は「被験者」）データが取り込まれる。画像誘導手術手順の間、被験者は手術被験室（ＯＲ）に位置決めされる。その後、被験者の位置合わせが行なわれて、ＭＲＩ／ＣＴデータを手術ナビゲーションシステム内に持っていくことができる。

[0004] このような被験者位置合わせを行うために、基準マーカー、頭部マスク、表面追跡子、解剖学的目標物、又は追加のＭＲＩ／ＣＴデータなどの従来の取り組みが利用される。このような場合、位置合わせはレーザーを利用し及び／又は統合した道具に基づき行う。従って、被験者の解剖学的部分の表面をたどることができ、解剖学的部分のたどった表面上にマスクをマッピングすることができる。しかしながら、従来の取り組みを用いて行うこのような被験者位置合わせは、手術中に使用する解剖学的部分の高次元ビューを生成するのに十分なほどエラーに強くないことがある。従って、手術中に使用することができ、被験者の解剖学的部分の強まった視界（view）を素早く生成するための先進の技術が望まれることがある。

[0005] 従来の及び伝統的な取り組みのさらなる制限及び欠点が、本出願の残りの部分に記述されかつ図面を参照する記載されたシステムと、本開示のいくつかの態様との比較を通して、当業者に明らかになる。

[0006] 画像処理して解剖学的部分の三次元（３Ｄ）ビューを生成するためのシステム及び方法が、図面の少なくとも１つの図に示され及び／又はこれに関連して記載され、請求項により完全に記述されて、実質的に提供される。

[0007]本開示のこれらの及び他の特徴及び利点は、本開示の以下の詳細な説明を添付の図面とともに再検討することによって理解することができ、添付の図面では、全体を通じて同様の参照番号が同様の部分を指している。

本開示の実施形態による、画像処理して解剖学的部分の三次元（３Ｄ）ビューを生成するためのシステムネットワークを図示するブロック図である。 本開示の実施形態による、解剖学的部分の三次元ビューを生成する典型的な画像処理装置を図示する詳細なブロック図である。 本開示の実施形態による、画像処理して解剖学的部分の三次元ビューを生成するための開示されたシステム及び方法を実施するための、典型的なシナリオを図示する詳細なブロック図である。 本開示の実施形態による、画像処理して解剖学的部分の三次元ビューを生成するための典型的な方法を示すフローチャートである。

[0012] 画像処理して解剖学的部分の三次元ビューを生成するためのシステム及び／又は方法において、様々な実施が見出される。本開示の典型的な態様は、画像処理装置によって、解剖学的部分の手術中状態と関連付けた複数の二次元（２Ｄ）画像を受け取る方法を含むことができる。複数の二次元画像の各々は、第１の視野（ＦＯＶ）値を有することができる。特定された基準に基づき、第２の視野値を持つ解剖学的部分の第１の三次元ビューが、解剖学的部分の三次元再構成から生成できる。
三次元再構成は、受け取った複数の二次元画像から選択された、一連の二次元画像フレームの使用によって取得することができる。解剖学的部分の第１の三次元ビューの第２の視野値は、解剖学的部分の複数の二次元画像の各々の第１の視野値よりも大きくても良い。生成された第１の三次元ビューと、解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューが生成できる。

[0013] 実施形態によれば、複数の二次元画像は、手術中状態にある解剖学的部分の周りの複数の位置から取り込むことができる。実施形態によれば、解剖学的部分の受け取った複数の二次元画像から一連の二次元画像フレームを選択するための具体的な基準は、撮像装置によってカバーされる相対距離とすることができる。撮像装置は、カメラ、顕微鏡撮像装置、立体鏡撮像装置及び／又は腹腔鏡撮像装置に対応することができる。実施形態によれば、解剖学的部分の三次元再構成は、受け取った複数の二次元画像から選択された、一連の二次元画像フレームからフレームごとに行なうことができる。

[0014] 実施形態によれば、解剖学的部分の取得した三次元再構成から関心領域（ＲＯＩ）が抽出できる。実施形態によれば、解剖学的部分の三次元姿勢は、解剖学的部分の取得した三次元再構成及び抽出した関心領域から推定することができる。

[0015] 実施形態によれば、第１の座標空間にある解剖学的部分の生成された第１の三次元ビューの第１の三次元点群は、第２の座標空間にある解剖学的部分の三次元データの第２の三次元点群と位置合わせすることができる。実施形態によれば、手術計画に関する生成された第２の三次元ビューの座標変換は、解剖学的部分の手術前状態と関連付けた三次元データに基づき、一連の変換パラメータの使用によることができる。解剖学的部分の手術前状態と関連付けた三次元データは、解剖学的部分の磁気共鳴映像法（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像、又はポジトロン放出断層撮影（ＰＥＴ）走査に対応することができる。

[0016] 図１は、本開示の実施形態による、画像処理して解剖学的部分の三次元ビューを生成するためのシステムのネットワーク図を図示するブロック図である。図１を参照すると、ネットワークシステム１００が示されている。ネットワークシステム１００は、画像処理装置１０２、撮像装置１０４、三次元データソース１０６、表示装置１０８及び通信ネットワーク１１０を含むことができる。画像処理装置１０２は、通信ネットワーク１１０を介して、撮像装置１０４、三次元データソース１０６及び表示装置１０８に通信可能に結合することができる。

[0017] 画像処理装置１０２は、適切な論理、回路、インターフェース、及び／又はコードを備え、それらは、通信ネットワーク１１０を介して撮像装置１０４から複数の二次元画像を受け取るように構成できる。複数の二次元画像は、被験者の解剖学的部分の手術中状態と関連付けることができる。複数の二次元画像の各々は、第１の視野（ＦＯＶ）値、例えば狭い視野を有することができる。画像処理装置１０２の機能は、ローカル装置（医療診断装置又は高速演算装置など）、又は遠隔装置（アプリケーションサーバー又は図形画像処理サーバーなど）で実施することができる。画像処理装置１０２の例は、限定されないが、スマートガラス又は頭部装着型装置などのウェアラブルデバイス、演算装置、サーバー、拡張現実感表示装置、コンピュータワークステーション、メインフレーム機械及び／又は他の画像処理装置を含むことができる。

[0018] 実施形態によれば、解剖学的部分は、解剖学的領域及び／又は人間被験者のような被験者の器官とすることができる。解剖学的部分は、複数の異種解剖学的表面構造を含むことができる。実施形態によれば、解剖学的部分は、被験者の脳（頭蓋領域）、又は脳の少なくとも部分とすることができる。そのような実施形態では、複数の異種表面構造は、脳の皮質、血管又は動脈とすることができる。複数の表面構造は、被験者の脳内に腫瘍構造をさらに含むことができる。実施形態によれば、解剖学的部分は、同様に異種の解剖学的表面構造を含む心臓（心臓領域）とすることができる。

[0019] 当業者であれば、本開示の範囲は、人間被験者の解剖学的部分の手術を補助するための、開示されたシステム及び方法の実施に限定されないことを理解する。実施形態によれば、開示されたシステム及び方法は、被験動物の解剖学的部分又は解剖学的領域の手術を支援するために使用できる。さらに、開示されたシステム及び方法は、上述したように、解剖学的部分、或いは脳又は心臓以外の領域の手術を支援するために有用であることができる。

[0020] 撮像装置１０４は、解剖学的部分の手術中状態に関連する複数の二次元画像を取り込むように構成できる適切な論理、回路、インターフェース及び／又はコードを含むことができる。複数の二次元画像は、手術中状態にある解剖学的部分の周囲の複数の位置から撮像装置１０４によって取り込むことができる。複数の二次元画像は、狭い視野のような第１の視野値を持つ二次元立体画像に対応することができる。さらに、撮像装置１０４は、取り込んだ複数の二次元画像を、画像処理装置１０２に通信ネットワーク１１０を介して送るように構成できる。立体画像対などの複数の二次元画像は、異なる視点からの複数のカメラ、単一の立体カメラの複数のカメラレンズ、又は単一の移動カメラの使用によって取り込むことができる。撮像装置１０４の例は、限定されないが、カメラ、顕微鏡撮像装置、立体鏡撮像装置、内視鏡撮像装置及び腹腔鏡撮像装置を含む。例えば、撮像装置１０４は、顕微鏡手術を行うために使用する外科用顕微鏡に取り付けることができる。

[0021] 三次元データソース１０６は、適切な論理、回路、インターフェース及び／又はコードを備え、これらは、解剖学的部分の手術前状態と関連付けた三次元データを生成するように構成できる。三次元データソース１０６は、生成された三次元データを画像処理装置１０２に通信ネットワーク１１０を介して送るようにさらに構成できる。解剖学的部分の手術前状態と関連付けた三次元データは、生成された第１の三次元ビューと位置合わせされて、解剖学的部分の第２の三次元ビューを生成することができる。解剖学的部分の手術前状態と関連付けた三次元データは、解剖学的部分のＭＲＩ、ＣＴ及び／又はＰＥＴ画像に対応することができる。三次元データソース１０６は、磁気共鳴映像法（ＭＲＩ）スキャナ、三次元データを記憶するサーバー、又はＭＲＩスキャナを含み得る複数のモーダルソースを含む。解剖学的部分の手術前状態に関連付けた三次元データを得るために使用する複数のモーダルソースの例は、限定されないが、Ｘ線コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴映像法（ＭＲＩ）スキャナ、磁気共鳴血管造影（ＭＲＡ）スキャナ、流体を薄める反転回復（ＦＬＡＩＲ）ベーススキャナ、及び／又はポジトロン放出断層撮影（ＰＥＴ）スキャナを含むことができる。

[0022] 表示装置１０８は、解剖学的部分の生成された第２の三次元ビューを表示するように構成できる、適切な論理、回路、インターフェース及び／又はコードを備えることができる。表示装置１０８はまた、解剖学的部分の手術中状態に関連付けられた、受け取った複数の二次元画像を表示するように構成できる。表示装置１０８の例は、限定されないが、表示画面、テレビ受像機（ＴＶ）、ノート型パソコン、卓上コンピュータ、スマートフォン及び／又は光学頭部装着型表示装置を含むことができる。実施形態によれば、画像処理装置１０２、撮像装置１０４及び表示装置１０８は、コンピュータ支援の手術システムの一部とすることができる。

[0023] 通信ネットワーク１１０は媒体を含み、媒体を通して画像処理装置１０２、撮像装置１０４、三次元データソース０６及び表示装置１０８が互いに通信することができる。通信ネットワーク１１０の例は、限定されないが、インターネット、クラウドネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ）ネットワーク、無線パーソナルエリアネットワーク（ＷＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）、電話回線（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って、通信ネットワーク１１０につながるように動作可能とすることができる。ネットワーク環境１００は、ネットワークシステム１００と呼ぶこともできる。このような有線及び無線通信プロトコルの例は、限定されないが、転送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ハイパーテキスト転送プロトコルセキュア（ＨＴＴＰＳ）、ファイル転送プロトコル（ＦＴＰ）、ジグビー、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ８０２．１１、８０２．１６、移動体通信プロトコル、及び／又はブルートゥース（ＢＴ）通信プロトコルを含むことができる。

[0001] 動作時に、画像処理装置１０２（又は別の演算装置（図示しない））は、ＭＲＩスキャナから解剖学的部分に関連付けられた、少なくとも１つのデータセットを受け取るように構成できる。データセットは、被験者の頭蓋骨を通る薄片のような、解剖学的部分の体積を介して撮影された薄片面を表す多数の二次元画像を含むことができる。データセットは、外科手術前に撮影されたＭＲＩデータであっても良い。画像処理装置１０２（又は他の演算装置）は、解剖学的部分に関連付けられた、受け取ったデータセットを登録するように構成できる。

[0002] 実施形態によれば、画像処理装置１０２は、複数のモーダルソースから解剖学的部分に関連する複数のデータセットを受け取るように構成できる。実施形態によれば、ＣＴ及びＭＲＩのような異なる複数のモーダルソースから来る解剖学的部分に関連付けた複数のデータセットを登録するために、複数のデータセットは、重複したコンテンツを有する必要がある。このような実施形態では、画像処理装置１０２は、解剖学的部分に関連付けられた受け取った複数のデータセットを、重複したコンテンツの識別に基づき登録するように構成できる。ＭＲＩスキャナ又は複数のモーダルソースから受け取った１つ以上のデータセットに基づき、画像処理装置１０２（又は他の演算装置）は、解剖学的部分の複数の表面構造を登録に基づき再構成するように構成できる。例えば、解剖学的部分が脳であるとき、小脳皮質、大脳皮質、脳血管構造及び／又は心室のような脳表面構造が再構築される。

[0003] 実施形態によれば、画像処理装置１０２は、二次元から三次元への幾何学的処理に基づき、手術前状態にある解剖学的部分の三次元データを生成するように構成できる。二次元から三次元への幾何学的処理は、メッシュ幾何学的処理又はグリッド幾何学的処理であっても良い。生成された三次元データは、再構成された複数の表面構造を含み得る三次元構造（又は手術前状態にある三次元モデル）に対応することができる。表示装置１０８は、外科手術前に解剖学的部分の生成された三次元データの１つ以上の視界を表示するように構成できる。外科医は、解剖学的部分の三次元構造の表示された１つ以上の視界に基づき、解剖学的部分に実施すべき外科手術を計画することができる。手術計画を練り上げる間に、器官モデル、血管マップ、神経マップ、筋肉及び腱マップ、組織構造、或いはそれらの組み合わせなどの物理モデルが、外科手術中に、手術用道具の侵入を許す最適なアクセス経路及び安全領域を持つ、外科手術戦略を練り上げることができる。手術計画は、入った場合に危険をもたらす可能性がある手術の領域、又は外科医（図示しない）がアクセスするのが許される計画された外科手術の安全領域を強調することができる。

[0024] 実施形態によれば、手術中状態（手術が行われるとき）において、撮像装置１０４は、解剖学的部分の複数の二次元画像を取り込むように構成できる。撮像装置１０４は、複数の二次元画像を多視点画像のような複数の位置で異なる角度から取り込むように構成できる。実施形態によれば、撮像装置１０４は、画像処理装置１０２に組み込むことができる。代替的に、実施形態によれば、撮像装置１０４は、画像処理装置１０２に内蔵しなくても良い。このような実施形態では、撮像装置１０４は、取り込んだ複数の二次元画像を、通信ネットワーク１１０を介して画像処理装置１０２に送るように構成できる。

[0025] 実施形態によれば、画像処理装置１０２は、解剖学的部分の手術中状態と関連付けた複数の二次元画像を、撮像装置１０４から通信ネットワーク１１０を介して受け取るように構成できる。受け取った複数の二次元画像の各々は、第１の視野値を持つことができる。受け取った複数の二次元画像の各々の第１の視野値は、狭い視野などの所定の閾値未満であっても良い。画像処理装置１０２は、受け取った複数の二次元画像を、通信ネットワーク１１０を介して表示装置１０８にさらに送ることができる。表示装置１０８は、画像処理装置１０２から受け取った複数の二次元画像を表示するように構成できる。

[0026] 実施形態によれば、画像処理装置１０２は、受け取った複数の二次元画像から特定の基準に基づき一連の二次元画像フレームを選択するように構成できる。複数の二次元画像が取り込まれたとき、特定の基準は、撮像装置１０４によって包囲される相対距離に対応することができる。

[0027] 実施形態によれば、画像処理装置１０２は、一連の二次元画像フレームから、解剖学的部分の三次元再構成を実行するようにさらに構成でき、一連の二次元画像フレームは、受け取った複数の二次元画像から特定の基準に基づき選択される。解剖学的部分の三次元再構成は、二次元画像フレームの外科手術中に選択されたセットから、フレームごとに実行することができる。三次元再構成は、解剖学的部分のポイントセットデータ又は三次元モデルに対応することができる。

[0028] 実施形態によれば、画像処理装置１０２は、解剖学的部分の取得した三次元再構成から１つ以上の関心領域（ＲＯＩ）を抽出するようにさらに構成できる。画像処理装置１０２は、解剖学的部分の再構成された三次元再構成及び／又は抽出された１つ以上の関心領域に基づき、解剖学的部分の三次元姿勢を推定するようにさらに構成できる。

[0029] 解剖学的部分の推定された三次元姿勢に基づき、画像処理装置１０２は、解剖学的部分の第１の三次元ビューを再構成するようにさらに構成できる。解剖学的部分の生成された第１の三次元ビューは、広い視野データのような第２の視野値を有することができる。解剖学的部分の生成された第１の三次元ビューの第２の視野値は、解剖学的部分の受け取った複数の二次元画像の各々の第１の視野値よりも大きくても良い。画像処理装置１０２は、患者座標空間のような第１の座標空間で生成された第１の三次元ビューに対応する、第１の三次元点群を決定するようにさらに構成できる。

[0030] 実施形態によれば、画像処理装置１０２は、三次元データに対応する第２の三次元点群を、三次元データソース１０６から通信ネットワーク１１０を介してさらに受け取ることができる。三次元データの第２の三次元点群は、解剖学的部分の手術前状態に関連付けることができる。三次元データに対応する第２の三次元点群は、画像座標空間などの第２の座標空間内に存在することができる。

[0031] 実施形態によれば、画像処理装置１０２は、位置合わせされたデータセットに基づき、第２の三次元ビューを生成するように構成できる。位置合わせされたデータセットは、生成された第１の三次元ビューと、解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに対応することができる。位置合わせは、第１の座標空間（患者座標空間）内にある第１の三次元点群と、第２の座標空間（画像座標空間）内にある解剖学的部分の第２の三次元点群との位置合わせに基づくことができる。解剖学的部分の生成された第２の三次元ビューはまた、所望の三次元出力のために構築され得る三次元モデルによって表わすことができる。この構築された視界は、当技術分野で公知の三次元表面表示又はサンプリング技術に基づくことができる。三次元モデルは、ユーザ選択に応じて、三次元点群又は三次元表面によって表すことができる。

[0032] 実施形態によれば、位置合わせの間、画像処理装置１０２は、生成された第２の三次元ビューの座標変換を実行するように構成できる。座標変換は、解剖学的部分の手術前状態と関連付けられた生成された三次元データ（又は構造）に基づき、一連の変換パラメータを使用して行うことができる。結果として、画像処理装置１０２は、解剖学的部分の最終的な三次元ビューを生成することができ、最終的な三次元ビューは、外科医が提供する手術計画に従って解剖学的部分の三次元データ上に重畳された、生成された第２の三次元ビューを含むことができる。解剖学的部分の最終的な三次元ビューは、外科医が提供した手術計画に基づき高解像度でかつ詳細な目標とされた手術中ビューである。

[0033] 画像処画面理装置１０２は、解剖学的部分の最終的な三次元ビューを、表示画面などの出力装置上に表示するように構成できる。実施形態によれば、画像処理装置１０２は、解剖学的部分の生成された最終的な三次元ビューを、通信ネットワーク１１０を介して表示装置１０８に送るように構成できる。表示装置１０８は、解剖学的部分の解剖学的部分の受け取った最終的な三次元ビューを表示画面上に表示するように構成できる。実施形態によれば、表示画面は、画像処理装置１０２が頭部装着型装置又は着用可能な装置であるとき、画像処理装置１０２と一体化することができ、これは、手術中のナビゲーションを容易にし、人又は動物の身体の解剖学的部分又は身体の他の領域の外科手術を援助するためである。

[0034] 上述したように、撮像装置１０４は、十分なデータを取り込むために、狭い視野を有することができる。実施形態によれば、使用される撮像装置１０４が顕微鏡のように狭い視野を有し、カメラを周りに移動させることによって正確な患者の位置合わせのために十分なデータを取り込むとき、患者空間とＭＲＩ／ＣＴ空間との間で患者位置合わせを正確に行うのは困難なことがある。従って、開示されたシステム及び方法は、撮像装置１０４などの撮像装置によって取り込まれた二次元立体画像入力を用いて、三次元における広い視野（第２の三次元ビューのような）を自動的に再構成し、撮像装置１０４は、表面の十分なかつ詳細なデータを取り込むために狭い視野を有することができる。この三次元における広い視野(第２の三次元ビューのような)により、患者空間とＭＲＩ／ＣＴ空間との間で正確な患者位置合わせが可能になり、その理由は、主要な一意的に識別可能な特徴が撮像装置１０４によって取り込まれたとき、位置合わせは最もエラーに強くかつうまくいくからである。従って、開示されたシステム及び方法は、剛性の患者の位置合わせを必要とする、神経外科における頭部又は整形外科における骨などの剛性の解剖学的構造、或いは他の外科手術を位置合わせするために使用できる。実施形態によれば、軟組織の位置合わせも可能になる。

[0035] 図２は、本開示の実施形態による、解剖学的部分の三次元ビューを生成する典型的な画像処理装置を図示するブロック図である。図２は、図１の構成要素とともに説明する。図２を参照して、画像処理装置１０２は、画像処理装置２０２、メモリ２０４、入出力装置２０６のような１つ以上の入出力装置、感知装置２０８及びネットワークインターフェース（図示しない）を含むことができる。ブロック図は、様々の専門化された処理ユニットをさらに含むことができ、それらは、三次元再構成ユニット２０２ａ、三次元姿勢推定ユニット２０２ｂ、広い視野統合ユニット２０２ｃ、位置合わせ及び登録ユニット２０２ｄ並びに座標変換ユニット２０２ｅなどである。感知装置２０８は、画像センサ２１２をさらに含むことができる。

[0036] 画像処理装置２０２は、メモリ２０４、入出力装置２０６、感知装置２０８及びネットワークインターフェース２１０に通信可能に結合することができる。ネットワークインターフェース２１０は、通信ネットワーク１１０を介して画像処理装置２０２の制御のもとで撮像装置１０４、三次元データソース１０６、及び表示装置１０８と通信することができる。

[0037] 画像処理装置２０２は、適切な論理、回路、インターフェース及び／又はコードを含むことができ、これらは、メモリ２０４内に記憶された一連の命令を実行するように動作可能である。画像処理装置２０２は、１つ以上の専門化されたユニットに命令を供給し、１つ以上の特定の動作を実行するように構成できる。画像処理装置２０２は、複数の二次元画像から専門化された基準に基づき、一連の二次元画像フレームの選択を実行するようにさらに構成できる。画像処理装置２０２は、選択された一連の二次元画像フレームの画像修正及び視差推定を実行するようにさらに構成できる。画像処理装置２０２は、当技術分野で公知の多くの処理技術に基づき実施することができる。画像処理装置２０２の例は、Ｘ８６ベースの処理装置、図形処理ユニット（ＧＰＵ）、縮小命令セット（ＲＩＳＣ）処理装置、特定用途向け集積回路（ＡＳＩＣ）処理装置、複数命令セットコンピュータ（ＣＩＳＣ）処理装置、マイクロコントローラ、中央処理装置（ＣＰＵ）及び／又は他の制御回路とすることができる。

[0038] 三次元再構成ユニット２０２ａは、適切な論理、回路、インターフェース及び／又はコードを備えることができ、これらは、一連の二次元画像フレームから解剖学的部分の三次元再構成を実行するように構成できる。三次元再構成ユニット２０２ａは、数値近似アルゴリズム及び両眼立体映像アルゴリズムなど当技術分野で公知の１つ以上のアルゴリズムに基づき、三次元再構成を実行することができる。

[0039] 三次元姿勢推定ユニット２０２ｂは、適切な論理、回路、インターフェース及び／又はコードを備えることができ、これらは、解剖学的部分の三次元再構成及び撮像装置１０４の焦点距離に基づき、解剖学的部分の三次元姿勢を推定するように構成できる。解剖学的部分の三次元姿勢の推定は、解剖学的部分の取得した三次元再構成から抽出された１つ以上の関心領域にさらに基づくことができる。三次元姿勢推定ユニット２０２ｂは、当技術分野で公知の１つ以上の姿勢推定アルゴリズム、例えばＰＯＳＩＴ及びＳｏｌｖｅＰｎＰに基づき、三次元姿勢を推定することができ、姿勢推定アルゴリズムは、反復手順及び近似投影パラダイムに依存する。

[0040] 広い視野統合ユニット２０２ｃは、適切な論理、回路、インターフェース及び／又はコードを備えることができ、これらは、解剖学的部分の第１の三次元ビューを再構成するように構成できる。第１の三次元ビューは、三次元姿勢推定ユニット２０２ｂから受け取った、変換されたデータセットの順次統合、例えば推定された三次元姿勢に基づき再構成することができる。広い視野統合ユニット２０２ｃは、三次元表面表示及び／又は三次元サンプリングのような１つ以上の技術をさらに利用して、患者座標空間に三次元表面及び／又は三次元点群を生成することができる。

[0041] 位置合わせ及び登録ユニット２０２ｄは、適切な論理、回路、インターフェース及び／又はコードを備えることができ、これらは、生成された第１の三次元ビューと、解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューを生成するように構成できる。より具体的には、第１の座標空間内にある生成された第１の三次元ビューの第１の三次元点群は、第２の座標空間内にある解剖学的部分の三次元データの第２の三次元点群に位置合わせすることができる。このような位置合わせは、形状特徴選択アルゴリズム、調和アルゴリズム及び最適化アルゴリズムのような、当技術分野で公知の１つ以上のアルゴリズムに基づくことができる。

[0042] 座標変換ユニット２０２ｅは、適切なロジック、回路、インターフェース及び／又はコードを備えることができ、これらは、三次元データソース１０６から受け取った三次元データに基づき、生成された第２の三次元ビューと手術計画との間の位置的相関を維持するように構成できる。換言すれば、手術計画に関する座標変換は、第２の三次元ビュー上で、解剖学的部分の手術前状態と関連付けた三次元データに基づき、一連の変換パラメータを使用して実行することができる。

[0043] 実施形態では、外科医は、解剖学的部分の三次元データに基づき手術計画を準備することができる。手術戦略により、外科手術中に手術道具の侵入を受け入れ可能な、最適な退出経路及び安全領域が識別される。手術計画は、外科手術の必要条件の広範な詳細をさらに提供することができる。手術の外科的詳細は、解剖学的部分の安全領域、入口経路、場所、形状及びサイズの識別、並びに入った場合に患者に危害を及ぼす可能性がある危険区域を含むことができる。外科医は、外科手術中に患者の解剖学的部分上で手術計画を実行することができる。その結果、座標変換部２０２ｅは、解剖学的部分の最終的な三次元ビューを生成することができ、最終的な三次元ビューは、外科医が提供する手術計画に従って解剖学的部分の三次元データ上に重畳された、生成された第２の三次元ビューを含むことができる。

[0044] 図２を参照して、１つ以上の専門化された処理ユニットは、画像処理装置１０２内の別個の処理装置又は回路として実施することができる。実施形態では、１つ以上の専門化された処理ユニット及び画像処理装置２０２は、１つ以上の専門化された処理ユニット及び画像処理装置２０２の機能を共同で実行する、統合された処理装置又は一群の処理装置として実施することができる。実施形態では、１つ以上の専門化された処理ユニットは、メモリ２０４に記憶された一連の命令として実施することができ、一連の命令は、画像処理装置２０２による実施時に、画像処理装置１０２の機能及び動作を実行することができる。

[0045] メモリ２０４は、機械コード及び／又は命令集合を記憶するように構成できる、適切な論理、回路及び／又はインターフェースを備えることができ、機械コード及び／又は命令集合は、画像処理装置２０２、三次元再構成ユニット２０２ａ、三次元姿勢推定ユニット２０２ｂ、広い視野統合ユニット２０２ｃ、位置合わせ及び登録ユニット２０２ｄ、並びに座標変換ユニット２０２ｅによって実施可能である。メモリ２０４は、解剖学的部分の手術中状態と関連付けた複数の二次元画像を、受け取った複数の二次元画像から選択された一連の二次元画像フレーム及び一連の二次元画像フレームが対応する第１の視野値に記憶するように構成できる。メモリ２０４は、一連の二次元画像フレーム、解剖学的部分の三次元再構成、解剖学的部分の手術前状態と関連付けた三次元データ、及び解剖学的部分の生成された第２の三次元ビューを選択するための特定の基準を記憶するようにさらに構成できる。メモリ２０４は、解剖学的部分の生成された第２の三次元ビューの第２の視野値と、位置合わせされたデータセットに基づく一連の変換パラメータとを記憶するようにさらに構成できる。メモリ２０４の実施の例は、限定されないが、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）、ＣＰＵキャッシュメモリ及び／又はセキュアデジタル（ＳＤ）カードを含むことができる。

[0046] 入出力装置２０６は、適切な論理、回路、インターフェース及び／又はコードを備えることができ、これらは、外科医又は患者のような１人又は複数人のユーザから入力を受け取るように構成できる。入出力装置２０６は、１人又は複数人のユーザに出力を供給するようにさらに構成できる。入出力装置２０６は、画像処理装置２０２と通信するように動作可能な様々な入力装置及び出力装置を備えることができる。入力装置の例は、限定されないが、タッチスクリーン、身体的入力ボタン、ジョイスティック、マイクロホン及び／又はドッキングステーションを含むことができる。出力装置の例は、限定されないが、一体型表示画面、タッチ画面表示装置及び／又はスピーカーを含むことができる。

[0047] 感知装置２０８は、適切な論理、回路、インターフェース及び／コードを備えることができ、これらは、生物学的、物理的及び／又は化学的パラメータにおける出来事又は変化を検出／測定して、対応する出力を一般に電気信号又は光信号として供給するように構成できる。例えば、画像センサ２１２により、画像処理装置１０２は複数の二次元画像を取り込むことが可能になる。感知装置２０８の他の例は、限定されないが、圧力センサ、温度センサ及び湿度センサを含み、これらは、麻酔機械、人工呼吸器（Respirator）及び人工呼吸器（Ventilator）において、気体流量及びガス状態を監視及び調整することができる。

[0048] ネットワークインターフェース２１０は、適切な論理、回路、インターフェース及び／又はコードを備えることができ、これらは、通信ネットワーク１１０を介して、表示装置１０８などの外部装置と接続及び通信するように構成できる。ネットワークインターフェース２１０は、公知の技術を実施して、通信ネットワーク１１０との有線通信又は無線通信をサポートすることができる。ネットワークインターフェース２１０は、限定されないが、アンテナ、周波数変調（ＦＭ）ネットワークインターフェース、無線周波数（ＲＦ）ネットワークインターフェース、１つ以上の増幅器、チューナ、１つ以上の発振器、デジタル信号処理装置、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード及び／又はローカルバッファを含むことができる。ネットワークインターフェース２１０は、無線通信を介して、インターネット、イントラネットなどのネットワーク及び／又は携帯電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワーク並びに／或いはメトロポリタンエリアネットワーク（ＭＡＮ）と通信することができる。無線通信は、複数の通信標準、プロトコル及び技術を使用することができ、例えばロングタームエボリューション（ＬＴＥ）、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、高まったデータＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、コード分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、ブルートゥース、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ）（ｅ．１２０ｇ、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、語りインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール、インスタントメッセージ及び／又はショートメッセージサービス（ＳＭＳ）用のプロトコルを含む。

[0049] 動作中、感知装置２０８の画像センサ２１２は、手術室（ＯＲ）内にいる患者の解剖学的部分の表面の複数の二次元画像（立体画像など）を取り込むように構成できる。複数の二次元画像は、解剖学的部分の手術中状態に対応することができ、基準に対して異なる角度から取り込まれた解剖学的部分の複数の画像を含むことができる。取り込まれた複数の二次元画像の各々は、第１の視野を有することができる。複数の二次元画像は、看護師、医師及び他の医療関係者などのユーザから受け取った入力信号に基づき、画像センサ２１２によって取り込むことができる。入力信号は、ユーザインターフェース上に表示されたグラフィックボタン、又は画像処理装置１０２において利用可能なハードウェアボタンのボタン押しイベントでの選択を介して、ユーザによって供給することができる。

[0050] 実施形態によれば、画像処理装置２０２は、ネットワークインターフェース２１０とともに、外部データベース（図示しない）から通信ネットワーク１１０を介して複数の二次元画像を読み出すことができる。実施形態によれば、画像処理装置１０２は、ネットワークインターフェース２１０とともに、撮像装置１０４から通信ネットワーク１１０を介して複数の二次元画像を受け取ることができる。この場合、撮像装置１０４は、複数の二次元画像を取り込むように構成された、１つ以上の画像センサを備えることができる。撮像装置１０４の例は、限定されないが、カメラ、顕微鏡撮像装置、立体鏡撮像装置及び腹腔鏡撮像装置を含むことができる。

[0051] 実施形態によれば、画像処理装置２０２は、複数の二次元画像を三次元再構成ユニット２０２ａに連絡することができる。外科医は、一連の二次元画像フレームを速いペースで見るのを望むことがある。そのような場合、画像処理装置２０２は、受け取った複数の二次元画像から速いペースで見るための特定された基準に基づき、一連の二次元画像フレームを選択するように構成できる。特定された基準は、画像センサ２１２によって包囲された相対距離に対応して、複数の二次元画像を取り込むことができる。画像処理装置２０２は、選択された一連の二次元画像フレームの画像修正を実行するようにさらに構成できる。画像修正は、選択された一連の二次元画像フレームを共通の画像平面（又は共通のマップ座標系）へ変換することを含む。画像修正は、その後の三次元再構成に必要とされる選択された一連の二次元画像フレーム間の調和点の識別を助長することができる。画像処理装置２０２は、立体画像に対応する、一連の選択された二次元画像フレームにおける視差を推定するようにさらに構成できる。視差は、一連の修正された二次元画像フレームの一対の立体画像フレーム間の明らかな画素差又は動きに対応することができる。視差推定は、後続の三次元再構成に必要とされる選択された一連の二次元画像フレームに対する視差マップの決定を助長する。画像処理装置２０２は、選択された一連の二次元画像フレームの調和点及び視差マップを三次元再構成ユニット２０２ａに連絡することができる。

[0052] 三次元再構成ユニット２０２ａは、選択された一連の二次元画像フレームから、画像処理装置２０２から受け取った調和点及び視差マップに基づき、解剖学的部分の三次元再構成を実行するように構成できる。解剖学的部分の三次元再構成は、選択された一連の二次元画像フレームからフレームごとに実行することができる。解剖学的部分の三次元再構成は、数値近似アルゴリズムのような当技術分野で公知の１つ以上のアルゴリズムに基づき実行することができる。三次元再構成ユニット２０２ａは、解剖学的部分の取得した三次元再構成を画像処理装置２０２に連絡するように構成できる。実施形態によれば、三次元再構成ユニット２０２ａは、画像処理装置２０２とともに、取得した三次元再構成から、１つ以上の不正確な、外れ値及び／又はノイズを伴うフレーム／データを決定するように構成できる。三次元再構成ユニット２０２ａは、解剖学的部分のノイズがない三次元再構成を三次元姿勢推定ユニット２０２ｂに連絡するように構成できる。

[0053] 実施形態によれば、画像処理装置２０２は、解剖学的部分の取得した三次元再構成から関心領域を抽出するように構成できる。画像処理装置２０２は、二次元追跡を実行して一連の二次元特徴を決定するように構成でき、一連の二次元特徴は、例えば解剖学的部分の三次元再構成の抽出された関心領域における、複数の画素のオプティカルフローである。画像処理装置２０２は、決定された二次元特徴を三次元姿勢推定ユニット２０２ｂに連絡するように構成できる。

[0054] 実施形態によれば、三次元姿勢推定ユニット２０２ｂは、解剖学的部分の抽出された関心領域の三次元姿勢を推定するようにさらに構成できる。三次元姿勢推定は、画像処理装置２０２によって決定された二次元特徴と、三次元再構成ユニット２０２ａによって生成されたノイズがない三次元再構成とに基づき実行することができる。

[0055] 実施形態によれば、三次元姿勢は、三次元再構成の三次元座標上にマッピングされた決定した二次元特徴によって、ランダムサンプル合意（ＲＡＮＳＡＣ）アルゴリズムのような公知技術を介して、解剖学的部分の物理的構造に基づく所定のモデルに基づき推定することができる。実施形態によれば、ＲＡＮＳＡＣアルゴリズムは、三次元剛体変換（回転、平行移動又は他の変換推定など）に適合しない、範囲外にある調和を除去するために利用できる。ＲＡＮＳＡＣアルゴリズムは、外れ値を含む一連の測定値から数学的モデルのパラメータを推定するための非決定性的反復法である。実施形態によれば、ＲＡＮＳＡＣアルゴリズムは、フレームモデル登録のエラーチェックに基づき修正することができる。三次元姿勢推定ユニット２０２ｂは、推定された三次元姿勢を広い視野統合ユニット２０２ｃに連絡することができる。

[0056] 実施形態によれば、広い視野統合ユニット２０２ｃは、解剖学的部分の抽出された関心領域の三次元姿勢推定に基づき、解剖学的部分の第１の三次元ビューを生成するように構成できる。第１の三次元ビューは、三次元姿勢推定ユニット２０２ｂから受け取った、推定された三次元姿勢などの変換されたデータセットを順次統合することに基づき生成することができる。広い視野統合ユニット２０２ｃは、解剖学的部分の第１の三次元ビューの三次元表面及び／又は三次元点群を決定するようにさらに構成できる。解剖学的部分の生成された第１の三次元ビューは、より多い細目を持つ広い視野のような第２の視野値を有することができる。解剖学的部分の生成された第１の三次元ビューの第２の視野値は、解剖学的部分の受け取った複数の二次元画像の各々の第１の視野値よりも大きくても良い。広い視野統合ユニット２０２ｃは、三次元表面表示及び／又は三次元サンプリングなどの１つ以上の技術をさらに利用して、患者の座標空間内で三次元表面及び／又は三次元点群（又は第１の三次元点群）を生成することができる。広い視野統合ユニット２０２ｃは、患者座標空間内の三次元点群を、位置合わせ及び登録ユニット２０２ｄに連絡することができる。

[0057] 実施形態によれば、位置合わせ及び登録ユニット２０２ｄは、画像処理装置２０２とともに、患者座標空間内にある生成された第１の三次元ビュー（手術中状態）の三次元点群を、画像座標空間にある解剖学的部分の三次元データ（手術前状態）に対応する別の三次元点群と位置合わせすることができる。画像処理装置２０２は、画像座標空間内にある解剖学的部分の三次元データの三次元点群を、ＭＲＩ又はＣＴ走査装置などの外部装置から受け取るように構成できる。解剖学的部分のＭＲＩデータ又はＣＴデータに対応する三次走査元データは、解剖学的部分の手術前状態と関連付けることができる。このような位置合わせは、形状特徴選択アルゴリズム、調和アルゴリズム及び最適化アルゴリズムのような、当技術分野で公知の１つ以上のアルゴリズムに基づくことができる。解剖学的部分の生成された第２の三次元ビューはまた、三次元モデルによって表わすことができ、三次元モデルは、当技術分野で公知の三次元表面表示又はサンプリング技術に基づき、所望の三次元出力のために構築することができる。

[0058] 実施形態によれば、位置合わせ及び登録ユニット２０２ｄ内の点登録モジュールは、必要に応じて微調整を実行して、生成された第１の三次元ビューの三次元点群と三次元データの三次元点群とをさらに位置合わせすることができる。患者座標空間内の生成された第１の三次元ビューの三次元座標点群の三次元点群と、画像座標空間内の解剖学的部分の三次元データの三次元点群との位置合わせに基づき、位置合わせ及び登録部２０２ｄは、解剖学的部分の第２の三次元ビューと、関連する位置合わせされたデータセットとを生成するように構成できる。第２の三次元ビューは、１つ以上の変換パラメータと関連付けることができる。位置合わせ及び登録ユニット２０２ｄは、解剖学的部分の１つ以上の変換パラメータ及び／又は生成された第２の三次元ビューを、座標変換ユニット２０２ｅに連絡することができる。

[0059] 座標変換ユニット２０２ｅは、解剖学的部分の第２の三次元ビュー、手術計画、及び手術前医療走査からの三次元データなどの歴史的な三次元データをまとめて処理して、第２の三次元ビューに基づき病歴データを自動的に位置合わせする。より具体的には、座標変換ユニット２０２ｅは、画像処理装置２０２とともに、２つの三次元点群に対して位置合わせされたデータセットが関連付けられた点群の座標変換を実行することができる。１つの点群は、三次元データの歴史的な三次元点群に対応し、履歴三次元点群は、第２の座標空間における解剖学的部分の歴史的な画像データである。歴史的な三次元点群は、手術計画が意図したアクセス領域をカバーする皮膚の外層を表すことができる。歴史的な三次元データは、手術計画によって表される予定された外科手術の数日前までに取り込むことができる。その結果、座標変換ユニット２０２ｅは、解剖学的部分の最終的な三次元ビューを生成することができ、最終的な三次元ビューは、外科医が提供する外科手術計画に従って解剖学的部分の三次元データ上に重ね合せた、生成された第２の三次元ビューを含む。最終的な三次元ビューは、患者に位置合わせした情報などのメタデータに関連付けることができる。最終的な三次元ビューは、画像処理装置２０２によって管理される拡張現実感（ＡＲ）表示に結合することができる。最終的な三次元ビューの現在の表面画像は、拡張現実感表示に結合されて患者座標空間を形成し、患者座標空間における最終的な三次元ビューは画像処理装置２０２によって表示できる。

[0060] 実施形態によれば、画像処理装置２０２は、解剖学的部分の最終的な三次元ビューの１つ以上の部分に、１つ以上の拡張現実感タグを含むことができる。画像処理装置２０２は、外科手順中に最終的なビューで手術道具の追跡をさらに行うことができる。実施形態によれば、最終三次元ビューは、第２の三次元ビューと位置相関にあることができ、それにより拡張現実感表示装置は、手術計画を実行するために使用される外科手術道具の実際の位置を実時間で提示することが可能になる。画像処理装置２０２は、患者の解剖学的部分の最終的な三次元ビューに基づき、実時間解析をさらに実行して医学的及び／又は診断的忠告を与えることができる。

[0061] 図３は、本開示の実施形態による、解剖学的部分の三次元ビューを生成する画像処理のための開示されたシステム及び方法を実施するための、典型的なシナリオを図示する詳細なブロック図である。図３は、図１及び図２の構成要素と関連して説明する。図３を参照すると、複数の位置に立体カメラ３０２が示されている。立体カメラ３０２は、撮像装置１０４（図１）に対応することができる。ブロック図は、図１及び図２で説明したような、様々な装置及び１つ以上の専門化されたユニットをさらに示している。画像処理装置１０２は、通信ネットワーク１１０を介して、立体カメラ３０２、三次元データソース１０６及び表示装置１０８に通信可能に結合することができる。

[0062] 手術中、頭部領域３０４のような解剖学的部分の画像誘導手術手順の前に、解剖学的部分のＭＲＩ、ＣＴ及び／又はＰＥＴスキャンが実行される。走査技術の結果に基づき、手術前三次元データが取り込まれて三次元データソース１０６に記憶することができる。さらに、外科医は、手術前の三次元データを利用して、手術計画３２０を準備することができ、準備は、頭部領域３０４上の画像誘導手術手順の間に実行される。

[0063] 手術前三次元データは、手術前三次元データから抽出された関心表面の歴史的な三次元点群を決定するためにさらに利用できる。そのような歴史的な三次元点群は、手術計画３２０に従ってアクセスが意図されている、関心表面の領域を覆う皮膚の外層を表すことができる。手術計画３２０は、画像誘導された手術手順を実行する際に外科医を助けることができる、関心表面における安全区域及び危険区域を示すことができる。手術前三次元データは、手術計画３２０が表わす予定された画像誘導手術手順の数日前までに取り込むことができる。

[0064] 画像誘導手術手順の間、患者は一定の手術位置におり、手術位置は、手術前の三次元データを取り込むために使用する位置とは実質的に異なる位置とすることができる。立体カメラ３０２は、患者の頭部領域３０４の手術中状態と関連付けた複数の二次元画像３０８を取り込むように構成できる。立体カメラ３０２は、頭部領域３０４の周りに回転して、基準に対して異なる角度で異なる位置から複数の二次元画像３０８を取り込むように構成できる。取り込まれた複数の二次元画像３０８の各々は、第１の視野値を有する頭部領域３０４の手術中状態と関連付けることができる。立体カメラ３０２は、取り込んだ複数の二次元画像３０８を、通信ネットワーク１１０を介して画像処理装置１０２にさらに送ることができる。画像処理装置１０２は、受け取った複数の二次元画像を、通信ネットワーク１１０を介して表示装置１０８にさらに送ることができる。表示装置１０８は、画像処理装置１０２から受け取った複数の二次元画像を表示するように構成できる。

[0065] 画像処理装置２０２は、ネットワークインターフェース２１０とともに、立体カメラ３０２から複数の二次元画像３０８を受け取り、複数の二次元画像３０８から特定された基準に基づき一連の二次元画像フレーム３１０を選択することができる。特定された基準は、複数の二次元画像３０８を取り込むために立体カメラ３０２によって包囲される相対距離に対応することができる。画像処理装置２０２は、選択された一連の二次元画像フレーム３１０に対する画像修正を実行するようにさらに構成できる。画像修正は、選択された一連の二次元画像フレーム３１０を共通マップ座標系に変換することを含む。画像修正は、その後の三次元再構成に必要な、選択された一連の二次元画像フレーム３１０間の調和点の識別を助長することができる。画像処理装置２０２は、立体画像に対応する選択された一連の二次元画像フレーム３１０における視差を推定するようにさらに構成できる。視差は、修正されかつ選択された一連の二次元画像フレーム３１０からの一対の立体画像フレーム間の明らかな画素差又は動きに対応することができる。視差推定は、三次元再構成のその後の再構成に必要とされる、選択された一連の二次元画像フレーム３１０のための視差マップの決定を助長することができる。画像処理装置２０２は、選択された一連の二次元画像フレーム３１０の調和点及び視差マップを、三次元再構成ユニット２０２ａに連絡することができる。

[0066] 三次元再構成ユニット２０２ａは、選択された一連の二次元画像フレーム３１０から、画像処理装置２０２から受け取った調和点及び視差マップに基づき、頭側領域３０４の三次元再構成３１２を実行するように構成できる。三次元再構成ユニット２０２ａは、取得した三次元再構成３１２を画像処理装置２０２に連絡するように構成できる。実施形態によれば、三次元再構成ユニット２０２ａは、画像処理装置２０２とともに、取得した三次元再構成から、１つ以上の不正確な、外れ値の及び／又はノイズを伴うフレームを決定するように構成できる。三次元再構成ユニット２０２ａは、ノイズがない三次元再構成３１２ａを、三次元姿勢推定ユニット２０２ｂに連絡するように構成できる。

[0067] 実施形態によれば、画像処理装置２０２は、頭部領域３０４の三次元再構成から関心領域を抽出するように構成できる。関心領域は、表面の細目を識別するために抽出され、関心領域の表面から望ましくない領域、例えば毛髪を計算手順上で除去する。実施形態では、画像処理装置２０２は、抽出された関心領域のための現在の三次元点群を生成することができる。画像処理装置２０２は、二次元追跡を実行して、頭部領域３０４の取得した三次元再構成の抽出された関心領域内の複数の画素のオプティカルフローなどの、一連の二次元特徴を決定するように構成できる。画像処理装置２０２は、決定された二次元特徴を三次元姿勢推定ユニット２０２ｂに連絡するように構成できる。

[0068] 実施形態によれば、三次元姿勢推定ユニット２０２ｂは、頭部領域３０４の抽出された関心領域の三次元姿勢を推定するようにさらに構成できる。三次元姿勢推定は、画像処理部２０２が決定した二次元特徴と、三次元再構成部２０２ａが取得したノイズがない三次元再構成３１２ａとに基づき実行することができる。三次元姿勢推定部２０２ｂは、推定された三次元姿勢を広い視野統合ユニット２０２ｃに連絡することができる。

[0069] 実施形態によれば、広い視野統合ユニット２０２ｃは、頭部領域３０４の第１の三次元ビュー３１４を、頭部領域３０４の抽出された関心領域の三次元姿勢推定に基づき再構成するように構成できる。第１の三次元ビュー３１４は、三次元姿勢推定ユニット２０２ｂから受け取った、推定された三次元姿勢のような変換されたデータセットを順次統合することに基づき再構成することができる。広い視野統合ユニット２０２ｃは、頭部領域３０４の第１の三次元ビュー３１４の第１の三次元表面及び／又は第１の三次元点群３１４ａを決定するようにさらに構成できる。頭部領域３０４の生成された第１の三次元ビュー３１４は、第２の視野値を有することができる。頭部領域３０４の生成された第１の三次元ビュー３１４の第２の視野値は、頭部領域３０４の受け取った複数の二次元画像３０８の各々の第１の視野値よりも大きくても良い。広い視野統合ユニット２０２ｃは、三次元表面表示及び／又は三次元サンプリングなどの１つ以上の技術をさらに利用して、患者の座標空間内に第１の三次元表面及び／又は第１の三次元点群３１４ａを生成することができる。広い視野統合ユニット２０２ｃは、患者座標空間内の第１の三次元点群３１４ａを位置合わせ及び登録ユニット２０２ｄに連絡することができる。

[0070] 実施形態によれば、位置合わせ及び登録ユニット２０２ｄは、画像処理装置２０２とともに、生成された第１の三次元ビュー３１４の第１の三次元点群３１４ａと、頭部領域３０４の手術前三次元データの第２の三次元点群３０４ａとの特徴毎の位置合わせを実行する。第１の三次元点群３１４ａは患者座標空間内にあることができ、第２の三次元点群３０４ａは画像座標空間内にあることができる。

[0071] 位置合わせ及び登録ユニット２０２ｄは、画像座標空間にある頭部領域３０４の三次元データの第２の三次元点群３０４ａを、ＭＲＩ走査装置又はＣＴ走査装置のような外部装置から受け取るように構成できる。頭部領域３０４のＭＲＩデータ又はＣＴデータに対応する手術前の三次元データは、頭部領域３０４の手術前状態と関連付けることができる。そのような位置合わせは、形状特徴選択アルゴリズム、調和アルゴリズム及び最適化アルゴリズムのような、当技術分野で公知の１つ以上のアルゴリズムに基づくことができる。

[0072] 実施形態によれば、位置合わせ及び登録ユニット２０２ｄ内の点登録モジュールは、必要に応じて再調整を実行して、生成された第１の三次元ビュー３１４の第１の三次元点群３１４ａと、手術前三次元データの第２の三次元点群３０４ａとをさらに位置合わせすることができる。患者座標空間にある生成された第１の三次元ビュー３１４の第１の三次元点群３１４ａと、画像座標空間にある頭部領域３０４の三次元データの三次元点群との位置合わせに基づき、位置合わせ及び登録部２０２ｄは、頭部領域３０４の第２の三次元ビュー３１６と、関連する位置合わせされたデータセットとを生成するように構成できる。第２の三次元ビューは、１つ以上の変換パラメータに関連付けることができる。

[0073] 位置合わせ及び登録ユニット２０２ｄは、平行移動、回転及び拡大縮小などの三次元変換パラメータを決定することができ、第２の三次元点群３０４ａを第１の三次元点群３１４ａに位置合わせすることができる。第２の三次元ビュー３１６は変換情報を含むことができ、変換情報は、手術前の三次元データを適切な位置合わせに位置決めして、抽出された関心領域に対応する現在の点群と一致させるために必要なことがある。従って、患者の頭部領域３０４の実際位置が表示できる。

[0074] 第２の三次元ビュー３１６は三次元モデルによって表すこともでき、三次元モデルは、当技術分野で公知の三次元表面表示又はサンプリング技術に基づき、所望の三次元出力のために構築することができる。位置合わせ及び登録ユニット２０２ｄは、１つ以上の変換パラメータ及び／又は頭部領域３０４の生成された第２の三次元ビュー３１６を座標変換ユニット２０２ｅに連絡することができる。

[0075] 座標変換ユニット２０２ｅは、第２の三次元ビュー３１６及び手術計画３２０からの平行移動、回転及び拡大縮小などの変換パラメータを手術前三次元データに適用する。座標変換ユニット２０２ｅは、手術計画３２０からの強調された情報を手術前三次元データと合併して、ＡＲ表示装置に結合された最終的な三次元ビュー３１８ａに提供することができる。座標変換ユニット２０２ｅは、別の最終的な三次元ビュー３１８ｂのような最終的な三次元ビュー３１８ａの様々な表現を提供するようにも構成できる。座標変換部２０２ｅは、手術前三次元データに基づき、第２の三次元ビュー３１６と手術計画３２０との間の位置的な相関関係を維持する。座標変換ユニット２０２ｅは、手動による治療介入なしで、最終的な三次元ビュー３１８ａ及び３１８ｂを連続的に更新することができる。

[0076] 実施形態によれば、画像処理装置２０２は、頭部領域３０４の最終的な三次元ビュー３１８ａ及び３１８ｂの１つ以上の部分への１つ以上のＡＲタグを含むことができる。画像処理装置２０２は、手術手順中に最終的な三次元ビュー３１８ａ及び３１８ｂにおいて手術道具の追跡をさらに行うことができる。実施形態によれば、最終的な三次元ビュー３１８ａ及び３１８ｂは、第２の三次元ビュー３１６と位置的な相関関係にあり、それによりＡＲ表示装置は、手術計画３２０を実行するために使用する手術道具の実際の位置を実時間で提示することが可能になる。画像処理装置２０２は、患者の頭部領域３０４の最終的な三次元ビュー３１８ａ及び３１８ｂに基づき、実時間分析をさらに実行して医学的及び／又は診断的忠告を提示することができる。

[0077] 図４は、本開示の実施形態による、解剖学的部分の三次元ビューを生成するための画像処理の方法を示すフローチャートである。図４を参照すると、フローチャート４００が示されている。フローチャート４００は、図１、図２及び図３とともに説明される。画像処理装置１０２で実施されるこの方法は、４０２で始まり４２２へ進む。

[0078] ４０４にて、解剖学的部分の手術中状態と関連付けた複数の二次元画像が、通信ネットワーク１１０を介して画像処理装置１０２によって受け取られる。解剖学的部分の手術中状態と関連付けた複数の二次元画像は、感知装置２０８の画像センサ２１２から画像処理装置１０２によって受け取られる。受け取った複数の二次元画像の各々は、第１の視野値を有することができる。４０６にて、解剖学的部分の受け取った複数の二次元画像から一連の二次元画像フレームが、特定された基準に基づき画像処理装置２０２によって選択される。

[0079] ４０８にて、受け取った複数の二次元画像から選択された一連の二次元画像フレームから、解剖学的部分の三次元再構成が、三次元再構成ユニット２０２ａによって取得される。４１０にて、解剖学的部分の取得した三次元再構成から関心領域が、画像処理装置２０２を介して抽出される。

[0080] ４１２にて、解剖学的部分の取得した三次元再構成及び抽出した関心領域から、解剖学的部分の三次元姿勢が、三次元姿勢推定ユニット２０２ｂによって推定される。４１４にて、推定された三次元姿勢に基づき、第１の三次元ビューが、広い視野統合ユニット２０２ｃによって生成される。解剖学的部分の生成された第１の三次元ビューは、広い視野のような第２の視野値を有することができる。解剖学的部分の生成された第１の三次元ビューの第２の視野値は、解剖学的部分の受け取った複数の二次元画像の各々の第１の視野値よりも大きくても良い。

[0081] ４１６にて、生成された第１の三次元ビューと解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューが、位置合わせ及び登録ユニット２０２ｄによって生成できる。より具体的には、第１の座標空間にある取得した三次元再構成の第１の三次元点群は、第２の座標空間にある解剖学的部分の三次元データの第２の三次元点群に位置合わせすることができる。

[0082] ４１８にて、座標変換ユニット２０２ｅによって解剖学的部分の最終的な三次元ビューが生成され、生成は、生成された第２の三次元ビューを解剖学的部分の三次元データへ座標変換することに基づき、外科医によって提供される手術計画及び手術前の三次元データに関する１つ以上の変換パラメータを使用する。４２０にて、解剖学的部分の最終的な三次元ビューは、画像処理装置２０２によって管理される表示装置１０８の使用によって表示できる。制御は終了４２２へ進む。

[0083] 本開示の実施形態によれば、三次元ビューを生成する画像処理のためのシステムは１つ以上の回路を備え、回路は、解剖学的部分の手術中状態に関連付けられかつ各々が第１の視野値を有する複数の二次元画像を、画像処理装置１０２を介して撮像装置１０４から受け取るように構成できる。解剖学的部分の第２の視野値を有する第１の三次元ビューが、画像処理装置１０２の専門化された処理ユニットの１つ、広い視野統合ユニット２０２ｃによって生成される。第１の三次元ビューは三次元再構成から生成することができ、三次元再構成は、受け取った複数の二次元画像から、特定された基準に基づき、三次元再構成ユニット２０２ａによって選択された一連の二次元画像フレームの使用によって取得される。解剖学的部分の第１の三次元ビューの第２の視野値は、解剖学的部分の複数の二次元画像の各々の第１の視野値よりも大きくても良い。さらに、生成された第１の三次元ビューと、解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューが、画像処理装置１０２の位置合わせ及び登録ユニット２０２ｄによって生成される。

[0084] 撮像装置１０４は、十分なデータを取り込むために、より狭い視野を有することができる。実施形態によれば、使用される撮像装置１０４が顕微鏡のように狭い視野を有し、カメラを周りに移動させることによって正確な患者の位置合わせのために十分なデータを取り込むとき、患者空間とＭＲＩ／ＣＴ空間との間で患者位置合わせを正確に行うのは困難なことがある。従って、開示されたシステム及び方法は、撮像装置１０４などの撮像装置によって取り込まれた二次元立体画像入力を用いて、三次元における広い視野（第２の三次元ビューのような）を自動的にかつ速い演算速度で再構成し、撮像装置１０４は、表面の十分なかつ詳細なデータを取り込むために狭い視野を有することができる。この三次元における広い視野(第２の三次元ビューのような)により、患者空間とＭＲＩ／ＣＴ空間との間で正確な患者位置合わせが可能になり、その理由は、主要な一意的に識別可能な特徴が撮像装置１０４によって取り込まれたとき、位置合わせは最もエラーに強くかつうまくいくからである。

[0085] 従来の取り組みを用いて行われる被験者の位置合わせは、手術中に使用される解剖学的部分の高次元ビューを生成するほど十分にエラーに強くないことがある。従って、開示されたシステム及び方法は、被験者の解剖学的部分の高まった視界を、手術中に使用し得るより速い演算時間で生成するための改良された技術を提供する。医療機器及びコンピュータ支援手術の分野に適用されるデジタル画像処理、画像取り込み及び三次元視覚化の技術における改良が提供され、これは、手術中の被験者の解剖学的部分の高まった視界が素早く生成される結果である。開示されたシステム及び方法は、剛性の患者の位置合わせを必要とする、神経外科における頭部又は整形外科における骨などの剛性の解剖学的構造、或いは他の外科手術を位置合わせするために使用することができる。実施形態によれば、軟組織の位置合わせも、開示されたシステム及び方法によって実行することができる。

[0086] 本開示の様々な実施形態は、非一時的なコンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又はそれに記憶される記憶媒体、機械コード及び／又はコンピュータプログラムに、画像処理を行うために機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを提供して、三次元ビューを生成する。少なくとも１つのコードセクションにより、機械及び／又はコンピュータが工程を実行し、工程は、解剖学的部分の手術中状態に関連付けられかつ各々が第１の視野値を持つ、複数の二次元画像を撮像装置から画像処理装置によって受け取る工程を備える。解剖学的部分の第２の視野値を持つ第１の三次元ビューは、画像処理装置によって再構成することができる。第１の三次元ビューは三次元再構成から生成することができ、三次元再構成は、受け取った複数の二次元画像から特定された基準に基づき選択された一連の二次元画像フレームの使用によって取得される。解剖学的部分の第１の三次元ビューの第２の視野値は、解剖学的部分の複数の二次元画像の各々の第１の視野値よりも大きくても良い。さらに、第２の三次元ビューは、生成された第１の三次元ビューと、解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、画像処理装置によって生成することができる。

[0087] 本開示は、ハードウェア、又はハードウェアとソフトウェアとの組み合わせで実現することができる。本開示は、少なくとも１つのコンピュータシステムにおいて集中型で、又は異なる要素が複数の相互接続されたコンピュータシステムにわたって広がっている分散方式で実現することができる。本明細書に記載した方法を実行するように適合されたコンピュータシステム又は他の装置が適切なことがある。ハードウェアとソフトウェアとの組み合わせは、コンピュータプログラムを持つ汎用コンピュータシステムとすることができ、コンピュータプログラムは、ロードされ実行されたとき、コンピュータシステムを、それが本明細書に記載した方法を実施するように制御する。コンピュータシステムによって実行される様々な動作は、コンピュータシステム自体の機能を改善し、しかも患者空間とＭＲＩ／ＣＴ空間との間での正確な、エラーに強い、うまくいく患者の位置合わせを可能にする。本開示は、他の機能も実行する集積回路の一部を備えるハードウェアで実現することができる。

[0088] 本開示はまた、コンピュータプログラムに埋め込むことができ、コンピュータプログラムは、本明細書に記載した方法の実施を可能にする全ての特徴を備え、コンピュータプログラムは、コンピュータシステムにロードされたとき、これらの方法を実施可能である。コンピュータプログラムは、文脈において、意図した一連の命令の任意の言語、コード又は表記法による任意の表現を意味し、情報処理能力を持つシステムが、直接的に、又は次に述べるａ）別の言語、コード又は表記法への変換、ｂ）異なる材料形態での再生、の何れか又は両方の後に、特定の機能を実行することが可能になる。

[0089] 所定の実施形態を参照して本開示が説明されたが、当業者であれば、本開示の範囲から逸脱することなく様々な変更がなされ、均等物が置換されることを理解する。さらに、特定の状況又は材料を本開示の教示に適合させるために、多くの修正が本発明の範囲から逸脱することなくなされる。従って、本開示は、開示された特定の実施形態に限定されず、むしろ本開示は、添付の特許請求の範囲内に属する全ての実施形態を含むことを意図している。

１０２ 画像処理装置
１０６ 三次元データソース
１０８ 表示装置
２０２ 画像処理装置 ２０２ａ 三次元再構成ユニット
２０２ｂ 三次元姿勢推定ユニット
２０２ｃ 広い視野統合ユニット
２０２ｄ 位置合わせ及び登録ユニット
２０２ｅ 座標変換ユニット ３０４ａ 第２の三次元点群
３０２ 立体カメラ
３０４ 頭部領域
３０８ 二次元画像
３１４ 第１の三次元ビュー
３１４ａ 第１の三次元点群 ３２０ 手術計画
３１６ 第２の三次元ビュー
３１８ａ 最終的な三次元ビュー
３１８ｂ 最終的な三次元ビュー

Claims (20)

1. 画像処理して三次元（３Ｄ）ビューを生成するシステムであって、
   画像処理装置内に１つ以上の回路を備え、前記回路は、
   解剖学的部分の手術中状態に関連付けられ各々が第１の視野（ＦＯＶ）値を有する、複数の二次元（２Ｄ）画像を撮像装置から受け取り、
   前記解剖学的部分の三次元再構成から、第２の視野値を持つ前記解剖学的部分の第１の三次元ビューを生成し、前記三次元再構成は、前記受け取った複数の二次元画像から特定された基準に基づき選択された一連の二次元画像フレームの使用によって取得し、前記解剖学的部分の前記第１の三次元ビューの前記第２の視野値は、前記解剖学的部分の前記複数の二次元画像の各々の前記第１の視野値よりも大きく、
   前記生成された第１の三次元ビューと、前記解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューを生成するように構成されていることを特徴とするシステム。
2. 前記複数の二次元画像は、前記手術中状態にある前記解剖学的部分の周りの複数の位置から取り込まれる、請求項１に記載のシステム。
3. 前記解剖学的部分の前記受け取った複数の二次元画像から前記一連の前記二次元画像フレームを選択する前記特定の基準は、前記撮像装置によってカバーされる相対距離である、請求項１に記載のシステム。
4. 前記解剖学的部分の前記三次元再構成は、前記受け取った複数の二次元画像から選択された前記一連の前記二次元画像フレームからフレームごとに実行される、請求項１に記載のシステム。
5. 前記１つ以上の回路は、前記解剖学的部分の前記三次元再構成から関心領域（ＲＯＩ）を抽出するようにさらに構成されている、請求項１に記載のシステム。
6. 前記１つ以上の回路は、前記解剖学的部分の前記三次元再構成及び前記抽出された関心領域から、前記解剖学的部分の三次元姿勢を推定するようにさらに構成されている、請求項５に記載のシステム。
7. 前記１つ以上の回路は、第１の座標空間内にある前記解剖学的部分の前記生成された第１の三次元ビューの第１の三次元点群を、第２の座標空間内にある前記解剖学的部分の前記三次元データに関連付けた第２の三次元点群と位置合わせするようにさらに構成されている、請求項１に記載システム。
8. 前記１つ以上の回路は、手術計画に関する前記生成された第２の三次元ビューの座標変換が、前記解剖学的部分の前記手術前状態と関連付けた前記三次元データに基づき、一連の変換パラメータを用いて実行されるようにさらに構成されている、請求項７に記載のシステム。
9. 前記解剖学的部分の前記手術前状態と関連付けた前記三次元データは、前記解剖学的部分の磁気共鳴映像法（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）画像に対応する、請求項１に記載のシステム。
10. 前記１つ以上の回路は、前記解剖学的部分の前記第２の三次元ビューを、表示装置を用いて表示するようにさらに構成されている、請求項１に記載のシステム。
11. 前記撮像装置は、カメラ、顕微鏡撮像装置、立体鏡撮像装置及び腹腔鏡撮像装置のうちの１つに対応する、請求項１に記載のシステム。
12. 画像処理して三次元（３Ｄ）ビューを生成する方法であって、
    画像処理装置の１つ以上の回路によって、解剖学的部分の手術中状態と関連付けられ各々が第１の視野（ＦＯＶ）値を有する、複数の２次元（２Ｄ）画像を撮像装置から受け取る工程と、
    前記１つ以上の回路によって、三次元再構成から、第２の視野値を持つ前記解剖学的部分の第１の三次元ビューを生成する工程であって、前記三次元再構成は、前記受け取った複数の二次元画像から特定された基準に基づき選択された一連の二次元画像フレームの使用によって取得し、前記解剖学的部分の前記第１の三次元ビューの前記第２の視野値は、前記解剖学的部分の前記複数の二次元画像の各々の前記第１の視野値よりも大きい工程と、
    前記１つ以上の回路によって、前記生成された第１の三次元ビューと、前記解剖学的部分の手術前状態と関連付けた三次元データとの位置合わせに基づき、第２の三次元ビューを生成する工程とを備えることを特徴とする方法。
13. 前記複数の二次元画像は、前記手術中状態にある前記解剖学的部分の周りの複数の位置から取り込まれる、請求項１２に記載の方法。
14. 前記解剖学的部分の前記受け取った複数の二次元画像から前記一連の前記二次元画像フレームを選択する前記特定の基準は、前記撮像装置によってカバーされる相対距離である、請求項１２に記載の方法。
15. 前記１つ以上の回路によって、前記解剖学的部分の前記三次元再構成から関心領域（ＲＯＩ）を抽出する工程をさらに備える、請求項１２に記載の方法。
16. 前記１つ以上の回路によって、前記解剖学的部分の前記三次元再構成及び前記抽出された関心領域から、前記解剖学的部分の三次元姿勢を推定する工程をさらに備える、請求項１５に記載の方法。
17. 前記１つ以上の回路によって、第１の座標空間内にある前記解剖学的部分の前記生成された第１の三次元ビューの第１の三次元点群を、第２の座標空間内にある前記解剖学的部分の前記三次元データの第２の三次元点群と位置合わせする工程をさらに備える、請求項１２に記載の方法。
18. 前記１つ以上の回路によって、手術計画に関する前記生成された第２の三次元ビューの座標変換を、前記解剖学的部分の前記手術前状態と関連付けた前記三次元データに基づき、一連の変換パラメータを用いて実行する工程をさらに備える、請求項１７に記載の方法。
19. 前記解剖学的部分の前記手術前状態と関連付けた前記三次元データは、前記解剖学的部分の磁気共鳴映像法（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）画像に対応する、請求項１２に記載の方法。
20. 前記１つ以上の回路によって、前記解剖学的部分の前記第２の三次元ビューの表示を、表示装置を用いて制御する工程をさらに備える、請求項１２に記載の方法。