JP7277967B2 - 超音波画像データの三次元撮像およびモデリング - Google Patents

Description

関連出願の相互参照
本出願は、「Ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ ｏｆ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｅ Ｄａｔａ（超音波画像データの三次元撮像およびモデリング）」と題する、２０１８年１月８日付で提出された米国特許仮出願第６２／６１４，５５９号に対して優先権を主張するものであり、当該出願はこの参照により本明細書に組み込まれる。

連邦政府の資金による研究
本発明は、アメリカ国立衛生研究所の医学生物工学研究所に賞が与えられたＲ４４ ＥＢ０２４３８４の下に政府支援によりなされたものである。政府は本発明に特定の権利を有している。

本発明は、一般的に、超音波により得られる骨画像の三次元レンダリングに関する。

医用超音波は、注射針の挿入または中心静脈ライン留置や種々の脊髄麻酔手順などのプローブ挿入手順を簡便化するのに一般的に使用される。一般的に使用されている技術には、超音波画像法を用いて解剖学的目印（例えば、血管や骨構造）の位置を特定し、その後、超音波トランスデューサの近くにある外科用マーカーを用いて患者の皮膚に印を付ける工程などが含まれる。トランスデューサはその後除去され、注射針がマーキング部位に相対する位置に配置され挿入される。

注射針の挿入、プローブの留置、および治療提供には、治療器具を正確な位置に確実に配置するにあたり、基礎となる三次元解剖学の理解が必要である。しかし、既存の医用超音波システムは、基礎解剖学の二次元断面図のみを提供するように構成されているのがほとんどである。その結果、二次元断面図のみの解剖学的図を参照して治療用器具を三次元的に誘導するのは技術的に困難である。更に、治療用装置が解剖学的標的部位に整列しているか否かを医師が決定するにあたり、可視的なヒントを提供する医用超音波システムはほとんど存在しない。医療供給者が、他の３Ｄ画像診断法の画像（ＣＴ／ＭＲＩ）への複雑な登録なしに、治療用装置が解剖学的標的部位に整列しているか否かを決定できる視線誘導を現在のシステムは提供していない。

既存の医用超音波システムの限界のため、医師は、リアルタイムの三次元画像誘導情報の欠如を補うため、広範囲な訓練を受けなければならない。斯かる訓練がもたらす負担の故に、介入手順を実施する資格のある有能な医師が不足している。
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１７／０３６７７６６号明細書
（特許文献２） 米国特許出願公開第２００３／０１３５１１９号明細書
（特許文献３） 米国特許出願公開第２０１０／０２９８７０５号明細書
（特許文献４） 米国特許出願公開第２０１１／００２１９１４号明細書
（特許文献５） 米国特許出願公開第２０１０／０２９８７０４号明細書

本明細書に記載する例示的な実施形態は進歩性のある特徴を有するものであり、当該実施形態のいずれも必要不可欠ではなく、所望の特質についてのみ関与するものである。以下の記載および図面は、本開示の特定かつ例示的な実施形態を詳細に説明するものであり、当該実施形態は、本開示の様々な原理を実施する上でのいくつかの例示的な方法を示すものである。しかしながら例示的な実施例は、本開示における多数の可能な実施形態を包含するものではない。本概要において有利な特徴の一部について要約するが、これは特許請求の範囲を限定するものではない。本発明のその他の目的、利点、および新規性を有する特徴については、本発明を例示的に説明することを意図し、限定するものではない図面とともに以下の本開示の詳細な説明において説明する。

本発明の１観点は超音波撮像および治療誘導システムに関し、このシステムは、超音波ビーム生成して位置調整することにより、被験者の解剖学的骨構造の三次元画像データを取得する超音波プローブと、前記超音波プローブの現在の位置および現在の向きを検出するように構成された物体追跡装置と、前記被験者に治療を行うための治療用器具と、前記超音波プローブおよび前記治療用器具に連結され、前記超音波プローブに対する前記治療用器具の所定の相対位置を設定する機械装置と、プロセッサと、前記プロセッサに動作可能に接続された非一時的なコンピュータメモリとを有する。前記非一時的なコンピュータメモリは、コンピュータ可読命令を有し、このコンピュータ可読命令は、前記プロセッサに、前記三次元画像データおよび前記超音波プローブの前記現在の位置および前記現在の向きに少なくとも部分的に基づいて、三次元骨表面部位の位置および向きを検出する工程と、前記三次元骨表面部位に対する標的治療部位を自動検出する工程と、前記標的治療部位に対する治療に要求される、前記治療用器具の適切な位置および向きを決定する工程と、表示データを生成する工程とを実行させる。前記システムは、さらに、前記プロセッサと電気通信し、前記表示データに基づいて画像を生成する表示装置を含み、前記画像は、前記三次元骨表面部位の表示と、即時に取得された二次元超音波画像フレームであって、現在の位置および現在の向きにおける前記治療用器具の潜在的治療領域と相互に位置合わせされているものである、前記二次元超音波画像フレームと、前記三次元骨表面部位に対する前記標的治療部位の表示と、前記標的治療部位および潜在的治療領域が整合しているどうかを示す画像インジケーターとを有する。

１若しくはそれ以上の実施形態において、前記コンピュータ可読命令は、さらに、前記プロセッサに、ニューラルネットワークを利用して、前記三次元骨表面部位に対する前記標的治療部位を自動検出する工程を実行させる。１若しくはそれ以上の実施形態において、前記コンピュータ可読命令は、さらに、前記プロセッサに、前記三次元画像データを三次元骨モデルにフィッティングさせることにより、前記三次元骨表面部位の位置および向きを検出する工程を実行させる。１若しくはそれ以上の実施形態において、前記表示装置によって生成された画像は、さらに、目印となる骨部位を含む。１若しくはそれ以上の実施形態において、前記コンピュータ可読命令は、さらに、前記プロセッサに、三次元骨モデルを利用して、前記標的治療部位を自動検出する工程を実行させる。

１若しくはそれ以上の実施形態において、前記三次元骨表面部位の前記表示は、符号化された第三次元を有する二次元骨表面画像として表示されることで、前記第三次元に沿った骨表面部位が示される。１若しくはそれ以上の実施形態において、前記第三次元は画像として符号化されることで、前記第三次元に沿った骨表面部位が示される。１若しくはそれ以上の実施形態において、前記第三次元は色符号化されることで、前記第三次元に沿った骨表面部位が示される。

１若しくはそれ以上の実施形態において、前記治療用器具の前記適切な位置および向きは、前記超音波プローブに対する前記治療用器具の所定の相対位置に少なくとも部分的に基づいて決定される。１若しくはそれ以上の実施形態において、前記物体追跡装置は、前記治療用器具の現在の位置および現在の向きを検出するように構成されているものであり、前記治療用器具の前記適切な位置および向きは、前記治療用器具の前記現在の位置および現在の向きに少なくとも部分的に基づいて決定される。

１若しくはそれ以上の実施形態において、前記表示装置によって生成された前記画像は、さらに、前記潜在的な治療領域の現在の位置および現在の向きを含む。１若しくはそれ以上の実施形態において、前記表示装置によって生成された前記画像は、さらに、前記治療用器具の現在の位置および現在の向きを含む。１若しくはそれ以上の実施形態において、前記表示装置によって生成された前記画像は、さらに、前記三次元骨表面部位に基づいて計算された、解剖学的骨構造の寸法および向きに関する情報を含む。

１若しくはそれ以上の実施形態において、前記治療用器具は、針ガイド部、注射針、焼灼器具および／または高密度焦点式超音波トランスデューサを有する。１若しくはそれ以上の実施形態において、前記標的治療部位は、硬膜外腔、髄腔、または内側神経枝を含む。１若しくはそれ以上の実施形態において、前記超音波プローブは、ユーザーによって手動で位置調整されるように構成されている。１若しくはそれ以上の実施形態において、前記超音波プローブは、機械的電動機構により自動的に位置調整されるように構成されている。

１若しくはそれ以上の実施形態において、前記物体追跡装置は、誘導型近接センサを含む。１若しくはそれ以上の実施形態において、前記物体追跡装置は、超音波画像処理回路を含む。１若しくはそれ以上の実施形態において、前記超音波画像処理回路は、前記三次元画像データにおける連続的に取得された超音波画像を比較することにより、前記超音波プローブの現在の位置の相対的変化を決定するように構成されている。

１若しくはそれ以上の実施形態において、前記物体追跡装置は光学センサを含む。１若しくはそれ以上の実施形態において、前記光学センサは、固定光送信機と、前記光学センサによって検出される掃引レーザとを含み、前記超音波プローブ上に配置される。１若しくはそれ以上の実施形態において、前記物体追跡装置は一体化された位置センサを含む。１若しくはそれ以上の実施形態において、前記一体化された位置センサは、電気機械式ポテンショメーター、線形可変差動変圧器、誘導型近接センサ、ロータリーエンコーダ、インクリメンタルエンコーダ、加速度計および／またはジャイロスコープを含む。１若しくはそれ以上の実施形態において、前記三次元骨表面部位は、三次元脊椎骨を含む。

１若しくはそれ以上の実施形態において、前記位置調整された超音波ビームは、前記超音波プローブを機械的に移動させることにより、および／または前記超音波ビームを電気的に操作することによって位置調整される。

本発明の別の観点は治療用器具を誘導する方法に関し、この方法は、被験者の解剖学的骨構造の三次元画像データを取得するために超音波プローブによって生成された超音波ビームを被験者の身体上で位置調整する工程と、前記超音波ビームが位置調整される間に、物体追跡装置により前記超音波プローブの現在の位置および現在の向きを検出する工程と、前記三次元画像データおよび前記超音波プローブの前記現在の位置および前記現在の向きに少なくとも部分的に基づいて、三次元骨表面部位の位置および向きを検出する工程と、前記三次元骨表面部位に対する標的治療部位を自動検出する工程と、前記標的治療部位に対する治療に要求される、前記治療用器具の適切な位置および向きを決定する工程と、コンピュータと電気通信する表示装置上に画像を表示する工程であって、前記画像は、前記三次元骨表面部位の表示と、即時に取得された二次元超音波画像フレームであって、現在の位置および現在の向きにおける治療用器具の潜在的治療領域と相互に位置合わせされているものである、前記二次元超音波画像フレームと、前記三次元骨表面部位に対する前記標的治療部位の表示と、前記標的治療部位および潜在的治療領域が整合しているどうかを示す画像インジケーターとを有するものである、前記画像を表示する工程と、を有する。

１若しくはそれ以上の実施形態において、前記方法は、さらに、コンピュータ内のニューラルネットワークを利用して、前記三次元骨表面部位に対する前記標的治療部位を自動検出する工程を有する。

１若しくはそれ以上の実施形態において、前記方法は、さらに、前記三次元画像データを三次元骨モデルにフィッティングさせる工程を有する。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記三次元骨モデルを利用して、前記三次元骨表面部位の位置および向きを検出する工程を有する。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記三次元骨モデルを利用して、目印となる骨部位を特定する工程を有する。１若しくはそれ以上の実施形態において、前記画像は前記目印となる骨部位を含む。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記三次元骨モデルを利用して、前記標的治療部位を自動検出する工程を有する。

１若しくはそれ以上の実施形態において、前記三次元骨表面部位の前記表示は、符号化された第三次元を有する二次元骨表面画像として表示されることで、前記第三次元に沿った骨表面部位が示される。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記第三次元に沿った骨表面部位を示すために前記第三次元を画像として符号化する工程を有する。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記第三次元に沿った骨表面部位を示すために前記第三次元を色符号化する工程を有する。

１若しくはそれ以上の実施形態において、前記方法は、さらに、前記超音波プローブおよび前記治療用器具に機械装置を機械的に連結する工程を有し、前記機械装置は、前記超音波プローブに対する前記治療用器具の所定の相対位置を設定する。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記超音波プローブに対する前記治療用器具の前記所定の相対位置に少なくとも部分的に基づいて、前記治療用器具の適切な位置および向きを決定する工程を有する。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記物体追跡装置により、前記治療用器具の現在の位置および現在の向きを検出する工程と、前記治療用器具の前記現在の位置および現在の向きに少なくとも部分的に基づいて、前記治療用器具の前記適切な位置および向きを決定する工程と、を有する。

１若しくはそれ以上の実施形態において、前記画像は、さらに、前記潜在的な治療領域の現在の位置および現在の向きを含む。１若しくはそれ以上の実施形態において、前記画像は、さらに、前記治療用器具の現在の位置および現在の向きを含む。１若しくはそれ以上の実施形態において、前記画像は、さらに、前記三次元骨表面部位に基づいて計算された、解剖学的骨構造の寸法および向きに関する情報を含む。

１若しくはそれ以上の実施形態において、前記治療用器具は、針ガイド部、注射針、焼灼器具および／または高密度焦点式超音波トランスデューサを有する。１若しくはそれ以上の実施形態において、前記標的治療部位は、硬膜外腔、髄腔、または内側神経枝を含む。１若しくはそれ以上の実施形態において、前記超音波ビームを位置調整する工程は、前記超音波プローブを機械的に移動させる工程を有する。

１若しくはそれ以上の実施形態において、前記方法は、さらに、前記超音波プローブを機械的電動機構により位置調整する工程を有する。１若しくはそれ以上の実施形態において、前記超音波ビームを位置調整する工程は、前記超音波ビームを電子走査する工程を有する。

１若しくはそれ以上の実施形態において、前記物体追跡装置は、誘導型近接センサを含む。１若しくはそれ以上の実施形態において、前記物体追跡装置は、超音波画像処理回路を含む。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記超音波画像処理回路により、前記三次元画像データにおける連続的に取得された超音波画像を比較して、前記超音波プローブの現在の位置の相対的変化を決定する工程を有する。

１若しくはそれ以上の実施形態において、前記物体追跡装置は光学センサを含む。１若しくはそれ以上の実施形態において、前記光学センサは、固定光送信機と、前記光学センサによって検出される掃引レーザとを含み、前記超音波プローブ上に配置される。１若しくはそれ以上の実施形態において、前記物体追跡装置は一体化された位置センサを含む。１若しくはそれ以上の実施形態において、前記一体化された位置センサは、電気機械式ポテンショメーター、線形可変差動変圧器、誘導型近接センサ、ロータリーエンコーダ、インクリメンタルエンコーダ、加速度計および／またはジャイロスコープを含む。

１若しくはそれ以上の実施形態において、前記三次元骨表面部位は、三次元脊椎骨を含む。１若しくはそれ以上の実施形態において、前記超音波プローブの現在の位置および現在の向きは、前記物体追跡装置を利用して検出される。

１若しくはそれ以上の実施形態において、前記方法は、さらに、前記解剖学的骨構造の二次元超音波画像を複数の超音波プローブ位置において取得する工程と、前記二次元超音波画像および前記複数の超音波プローブ位置を結合して前記三次元画像データを形成する工程と、を有する。１若しくはそれ以上の実施形態において、前記二次元超音波画像はピクセルを含み、この方法は、さらに、前記複数の超音波プローブ位置に基づいて、各ピクセルの三次元位置を決定する工程を有する。１若しくはそれ以上の実施形態において、前記方法は、さらに、前記超音波画像における任意の骨および／または骨の特徴を強調するために骨強調処理を実行する工程を有する。

１若しくはそれ以上の実施形態において、さらに、ユーザーインターフェースイベントを受信する工程と、前記ユーザーインターフェースイベントが受信された時点に基づいて前記超音波プローブの基準点を記録する工程と、を有する。

本発明の概念の性質および特長を更に詳細に理解するにあたり、好ましい実施形態に関する以下の詳細な記載および添付の図面を参照されたい。
図１は、１若しくはそれ以上の実施形態による超音波プローブおよび治療用器具を誘導するシステムのブロック図である。 図２は、１若しくはそれ以上の実施形態による超音波プローブおよび治療用器具を追跡および／または誘導する方法を示すフローチャートである。 図２は、１若しくはそれ以上の実施形態による超音波プローブおよび治療用器具を追跡および／または誘導する方法を示すフローチャートである。 図３は、超音波プローブで十分に走査されなかった領域を図で特定する表示装置の代表的図である。 図４は、硬膜外注射を誘導するための、例示的な３Ｄ脊椎モデルまたは３Ｄ脊椎モデルに基づくアナリティクス（重ね合わされた脊椎のアナリティクス）を有する例示的な脊椎データの表示である。 図５は、適切な針跡に沿って注射針を誘導するための、１若しくはそれ以上の実施形態による表示を示す。 図６は、超音波プローブおよび注射針に機械的に連結された機械装置を含む機械システムの斜視図である。 図７は、背腹視線に沿った脊椎解剖の三次元表示の一例である。 図８は、治療部位を有する潜在的治療領域のアラインメントに関する二次元表示である。

本発明の態様は、解剖学的評価および／または（例えば、エネルギーベースの切除中に注射針および／または装置などを誘導する）手順ガイダンスを目的として、極めて正確な骨表面レンダリングを可能にする三次元（３Ｄ）位置追跡法と組み合わされた超音波システムに関する。いくつかの実施形態において、本発明は以下の（ａ）～（ｅ）のうち１つ以上を含むものである。他の実施形態は、追加の特徴、より少ない特徴、および／または異なる特徴を有していてもよい。

特徴（ａ）において、３Ｄ骨画像は、（例えば、標的領域に近い骨解剖所見の画像データを取得するため）対象の標的領域に近い位置に調整された超音波プローブの空間位置および任意に向き（ｏｒｉｅｎｔａｔｉｏｎ）を（例えば、位置追跡システムにより）追跡することにより生成できる。３Ｄ骨画像は、例えば、関節部位または骨質の特徴の表示、骨折位置の表示、注射針挿入に関する最適角度の表示、注射針または治療に関する可能部位の表示、および／または脊柱側弯症および／または他の骨解剖所見の異常の表示および程度を提供することにより、自動的に注釈を付すことができる。

特徴（ｂ）において、３Ｄ骨画像は標的解剖学モデルに適合させてもよいし、モデルは任意に実際の骨の位置と一緒に表示されてもよい。

特徴（ｃ）において、再建された骨の３Ｄ表示を注釈および／またはモデル適合情報と合わせて提供するのに必要な全ての位置および／または向きにおいて標的領域近くの３Ｄ解剖所見が走査されるように、リアルタイムのフィードバックが、超音波プローブで走査中（例えば、３Ｄ骨画像の取得中）にユーザーに提供されてもよい。

特徴（ｄ）において、位置追跡システムが、超音波トランスデューサに加えて、治療用器具を追跡する。３Ｄ骨情報が構築された後、当該システムは、治療用器具のリアルタイム誘導を望ましい位置に提供してもよい。治療用器具は、例えば、注射針、針ガイド部、カテーテル、（針ガイド部を有するまたは有さない）超音波システムまたはプローブ、無線周波切除プローブ、または高密度焦点式超音波（ＨＩＦＵ）トランスデューサであってもよい。望ましい治療部位は、硬膜外腔、脊椎間関節、または仙腸骨関節であってもよい。いくつかの実施形態において、リアルタイム誘導には、治療が施されている間（例えば、エネルギーベースの除去中）に治療用器具を誘導する工程が含まれていてもよい。望ましい部位は、ユーザーが治療が施されるべき３Ｄ骨再建上の位置を示すことにより特定する部位であってもよい。次に、治療用器具が起動された際に望ましい治療部位に対して治療が行われるように、当該システムにより治療用器具が必要な部位へ誘導される。あるいは、斯かる部位はシステムによって自動的に提供されてもよい。斯かる部位は、望ましい治療部位へ治療を正確に提供するための、治療用器具にとって最適の部位であってもよいし、あるいは最適な部位に関していくつかの選択（例えば、異なる脊椎間空間）が提供されてもよい。

特徴（ｅ）において、超音波システム、３Ｄ骨部位、および／または治療用器具は、仮想現実（ＶＲ）環境で示されてもよいし、拡張現実（ＡＲ）環境で示されてもよいし、あるいは複合現実（ＭＲ）環境で示されてもよい。斯かる環境のいずれも、ＶＲヘッドセット、および／または従来のコンピュータ画面、および／または超音波プローブに接続された画面、および／または治療用器具に接続された画面上に表示されてもよい。

ＶＲでは、ヘッドマウント型立体表示装置および／または他の何らかの視覚刺激方法を使用して奥行きの錯覚を生じさせることで、３Ｄ模擬環境をユーザーに提供することができる。表示装置が奥行き情報を伝達する機能を有していない場合、当該ＶＲ表示装置は単に二次元（２Ｄ）表示装置（例えば、モニター）上に提供される３Ｄ仮想環境にすぎない。斯かる表示限界はＡＲおよびＭＲシステムに関する以下の定義にも適用される。

ＡＲにおいて、可視環境に重ね合わされた２Ｄまたは３Ｄの模擬（「仮想」）データを有する特定のバージョンの現実がユーザーへ提供されてもよい。実際のコンテンツおよび仮想コンテンツの組み合わせが実際のコンテンツを取得するカメラを用いて達成されてもよいし、および／または透明画面および／または可視情報をユーザーの視野へ提供する他の方法を用いて、仮想コンテンツとユーザーの通常の視野を組み合わせることによりそれを行ってもよい。可視環境には、３Ｄ模擬環境、またはＶＲに関して上述した３Ｄ仮想環境が含まれてもよい。

ＭＲはＡＲに類似しており、実際のコンテンツおよび模擬コンテンツがシームレスにユーザーへ提供されるものであるが、この方法においては、仮想実体および拡張実体がリアルアイムで相互に影響を及ぼし合ってもよい。例えば、仮想ボールが実際の物理的壁で跳ね返ってもよいし、物理的物体の位置（例えば、皮膚表面）が感知されると、拡張された解剖学的情報が空間を移動するものであってもよい。斯かるアプリケーションにおいては、ＡＲはサブセットとしてＭＲを包含する。

図１は、１若しくはそれ以上の実施形態による超音波プローブおよび治療用器具を誘導するシステム１０のブロック図である。システム１０には、任意選択の機械装置１０２、超音波プローブ１０４、任意選択のプローブ表示装置１０８、物体追跡システム１１２、任意選択の治療用器具１１６、任意選択の治療用器具表示装置１１８、基準点１２４、カメラ１３０、主処理装置１３６、表示装置１４０、コンピュータメモリ１５０、およびユーザーインターフェース装置１６０が含まれる。

超音波プローブ１０４には、対象の標的解剖領域を撮像するための１若しくはそれ以上の超音波トランスデューサが含まれる。例示的な超音波トランスデューサは、単一要素のトランスデューサであってもよいし、あるいは線形アレイ、曲線アレイ、二次元アレイ、容量型マイクロマシン超音波トランスデューサ（ＣＭＵＴ）であってもよいが、これら全ては商業的に入手可能であり、当業者にとっては周知である。操作中、ユーザーは、例えば処置手順（例えば、硬膜外麻酔手順、超音波療法手順、外科手術手順など）の前に、あるいは診断手順（例えば、脊椎解剖分析）の一環として、超音波プローブ１０４を標的解剖領域近くの対象の皮膚上に配置する。次にユーザーは、位置調整装置を用いて超音波プローブ１０４を標的解剖領域近くの対象の皮膚に沿って（例えば、機械的または電子工学的に）移動または走査し、標的解剖領域の超音波画像を取得する。超音波プローブ１０４の位置を調整することにより、超音波画像を生成するのに使用される超音波ビームの位置も調整される。二次元アレイトランスデューサが使用される別の例示的実施形態では、超音波トランスデューサによって生成される超音波ビームは、時間遅延を二次元アレイの特定の要素に適用する（例えば、駆動信号の相対位相を二次元アレイの特定の要素に調整する）プログラム可能伝送回路を用いて、その位置が電子的に調整されてもよい。機械的移動を必要とすることなく三次元超音波画像データを生成するための、二次元トランスデューサアレイの斯かる操作は、当業者には周知であり、商業的にいつでも入手可能である。この同じ実施形態において、例えば、参照として本明細書に援用される、「二次元および三次元撮像用の２Ｄ超音波トランスデューサアレイ」と題する米国特許第６，４１９，６３３号および「二次元アレイ超音波トランスデューサ」と題する米国特許第５，３２９，４９６号に開示されるように、超音波ビームの位置調整は、二次元アレイ内の要素に適用される時間遅延の知識を用いて追跡される。取得された超音波画像は、（超音波プローブ１０４に配置または一体化されている）任意選択のプローブ表示装置１０８および／または表示装置１４０上に表示されてもよい。

超音波プローブ１０４は、超音波撮像中、物体追跡システム１１２によって三次元空間で追跡される。物体追跡システム１１２は、一般的に、種々の方法を用いて超音波プローブ１０４を三次元空間で追跡可能である。例えば、３Ｄ追跡は、超音波プローブ１０４上の２若しくはそれ以上の部位を追跡することにより可能とされてもよく、いくつかの実施形態では、超音波プローブ１０４の剛性部分上の２若しくはそれ以上の部位がそれに包含される。商業的に入手可能な三次元ウォブラー超音波トランスデューサで実施されるように、機械フレームまたはガイドで他の次元が機械的に拘束されている場合には、物体追跡システム１１２は一次元または二次元だけに沿って超音波プローブ１０４を追跡してもよい。加えてまたはその代わりに、物体追跡システム１１２は、（例えば、３垂直軸上に重力を加える）一体化した位置センサを用いて位置および向きを追跡することにより、三次元空間で超音波プローブ１０４を追跡してもよい。加えて、物体追跡システム１１２は、任意選択的に超音波データ処理回路を活用し、当業界で周知の技術であるスペックル追跡および／または画像類似性追跡技術を用いて連続的に取得された２Ｄ画像および／または３Ｄ体積を比較することにより、位置の相対的変化を計算するようにしてもよい。例えば、斯かる技術は、この参照により本明細書に組み込まれる、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｔｒａｃｋｉｎｇ Ｓｃａｎ Ｐｌａｎｅ Ｍｏｔｉｏｎ ｉｎ Ｆｒｅｅ ｈａｎｄ Ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ Ｕｌｔｒａｓｏｕｎｄ Ｓｃａｎｎｉｎｇ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｓｐｅｃｋｌｅ Ｃｏｒｒｅｌａｔｉｏｎ（適応スペックル相関を用いてフリーハンド三次元超音波走査で走査平面運動を追跡するための方法および装置）」と題する米国特許第６，０１２，４５８号および「Ｄｙｎａｍｉｃ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｏｂｊｅｃｔ Ｐａｒａｍｅｔｅｒｓ（オブジェクトパラメータの動的測定）」と題する米国特許第６，７２８，３９４号に記載されている。

物体追跡システム１１２は、光学追跡システム、磁気ベースの追跡システム、無線または音響追跡システム、カメラベースの追跡システム、位置センサ、および／または超音波画像処理回路を用いて、超音波プローブ１０４の位置および向きを決定できる。光学追跡システムには、標的装置（すなわち超音波プローブ１０４）上の光学センサにより逐次検出される光学同期パルス並びに掃引レーザを有する１若しくはそれ以上の固定光送信機も含まれる。斯かる光学追跡システムの一例は、台湾のＨＴＣ社から入手可能なＨＴＣ Ｖｉｖｅ（登録商標） Ｌｉｇｈｔｈｏｕｓｅである。

磁気ベースの追跡システムには複数対の固定および可動コイルまたは他の磁場センサが含まれるが、それらは、固定および可動コイルの各対の可変相互インダクタンスに基づく可動コイルの相対位置、またはセンサによって測定される磁場を決定するのに使用できる。相互インダクタンスまたは磁場値は、固定および可動コイルの各対間またはセンサ間の分離距離の関数である。磁場３Ｄ追跡システムの例には、参照として本明細書に援用される「磁気追跡システム」と題する米国特許第６，７７４，６２４号に記載されるシステム、並びにＰｏｌｈｅｍｕｓ（米国バーモント州コルチェスター）およびＮＤＩ Ｍｅｄｉｃａｌ， ＬＬＣ（カナダ、オンタリオ州）が販売する追跡製品記載のステムが含まれる。

無線または音響追跡システムは、固定送信機および可動式受信機（および／または固定受信機および可動式送信機）間の飛行時間を用いて小規模で物体の位置を追跡できるが、これには任意選択で、距離推定を微調整する相関方法の使用も含まれる。送信機は無線周波数信号または音響エネルギーを送信でき、一般的に受信波の飛行時間遅延および／または変動を使用して位置および／または向きを推定するものであるが、感知範囲および正確度は基本的に信号対雑音比によって拘束されるにすぎない。いくつかの実施形態においては、無線または音響追跡システムは全地球測位システム（ＧＰＳ）と類似の機能を有していてもよい。

カメラベースの追跡システムには、固定および可動物体のいずれかまたは両方に接続された１若しくはそれ以上のカメラが含まれる。カメラ（複数も可）からの画像は分析され、カメラ（複数も可）の視野内の固定および可動構造物または物体の相対位置を決定するようになっていてもよい。

いくつかの実施形態において、位置センサは超音波プローブ１０４上または物体内（例えば、超音波プローブ１０４のハウジング内）に一体化または配置されていてもよいし、あるいは超音波プローブ１０４は斯かる位置センサを含む物体に接続または固定されていてもよい（例えば、センサに一体化されていてもよいし、物体上または物体内に配置されていてもよい）（その場合、物体と超音波プローブ１０４との間の距離は既知である）。位置センサは、３Ｄ空間を通して超音波プローブの相対運動を追跡可能である。位置センサの例には、電気機械式ポテンショメーター、線形可変差動変圧器、誘導型近接センサ、ロータリーエンコーダ、インクリメンタルエンコーダ、および一体化された加速度計およびジャイロスコープを用いた慣性追跡が含まれる。

加えてまたはその代わりに、超音波プローブ１０４の２Ｄおよび／または３Ｄ位置は、スペックル追跡または連続的に取得されたデータセットの動き追跡（例えば、ブロック追跡）を行う、他の画像処理ベースのアプローチを用いて追跡されてもよい。斯かる超音波画像ベースの追跡は、少なくとも部分的には、物体追跡システム１１２に配置された、またはそれに作動的に接続された超音波画像処理回路によって実行されてもよい。

いくつかの実施形態において、任意選択の機械装置１０２は、治療用器具１１６の位置を拘束するのに使用できる。この機械装置１０２は、超音波プローブ１０４の位置を治療用器具１１６に対して設定する。機械装置の正確な寸法が既知であれば、超音波プローブに対する治療用器具の正確な位置も既知である。斯かる機械装置の一例は、一般使用の超音波針ガイド部に統合された装置である。斯かる針ガイド部は、針ガイド部の位置を超音波プローブに対して固定するクランプまたは類似の機械機構を有している。他の例は、超音波プローブ１０４および高密度焦点式超音波（ＨＩＦＵ）治療用器具１１６である。

図６は、超音波プローブ６１０および注射針６２０に機械的に連結された機械装置６００を含む機械システム６０の斜視図である。機械装置は、（例えば、クランプ、スクリュー、または他の取付機構に）着脱可能に接続された第１および第２の部分６０２、６０４を含んでいる。第１および第２の部分６０２、６０４は超音波プローブ６１０の周りに配置され、超音波プローブ６１０をその間に強固に保持している。注射針６２０は、機械装置６００の第１の部分６０２のアーム６０８内に画成された孔６０６を通過している。したがって、機械装置６００は、超音波装置６１０および注射針６２０の相対位置および向きを設定する。注射針６２０は、他の実施形態においては、別の治療用器具（例えば、治療用器具１１６）であってもよい点は注目されたい。

再び図１に戻ると、超音波プローブ１０４および物体追跡システム１１２のデータ出力は、主処理装置１３６を有するコンピュータに提供される。主処理装置１３６はこのデータを処理し、本明細書に記載されるように、画像データを表示装置１４０および／または任意選択のプローブ表示装置１０８へ出力する。表示装置１４０は、二次元表示装置（例えば、コンピュータモニター）であってもよいし、ユーザーが着用可能な仮想現実ヘッドセットなどの三次元表示装置であってもよい。

物体追跡システム１１２は、三次元空間で、任意選択の治療用器具１１６および／または基準マーカー（複数も可）１２４も追跡できる。物体追跡システム１１２は、三次元空間において、超音波プローブ１０４を追跡するのと同じやり方または実質的に同じやり方で治療用器具１１６を追跡できる。基準マーカー（複数も可）１２４は、絶対空間において対象のその後の動きとは独立のマーカーであってもよいし、および／または物体（例えば、超音波プローブ１０４および／または治療用器具１１６）に物理的に接続されており、したがってその後基準マーカーの動きに合わせて追跡可能なマーカーであってもよい。いくつかの実施形態においては、基準マーカー（複数も可）は対象に物理的に接続されていてもよい。物体追跡システム１１２は、更に以下に記載されるように、三次元空間において、基準マーカー（複数も可）１２４の三次元位置および任意選択の向きを追跡可能である。

カメラ１３０は、主処理装置１３６と電気通信状態にある。カメラ１３０は静的（すなわち固定位置に取り付けられたカメラ）であってもよいし、位置が３Ｄ空間で追跡されるように動的（仮想現実ヘッドセット（ＨＴＣ Ｖｉｖｅ（登録商標）ヘッドセットなど）の一部を構成するフロントフェーシングのカメラなどの、ユーザー装着用カメラ）であってもよい。カメラ１３０は、被験者および／または装置のユーザーの画像を取得するように使用可能なので、例えば、仮想現実のヘッドセットが被験者の背部の治療において使用された場合、他の情報（例えば、特に、３Ｄ脊椎モデルフィッティング、３Ｄ骨複合物画像、基準点（複数も可）１２４、アナリティクス、および／または治療用器具１１６）に加えて、被験者の背部が、治療用器具１１６を保持する装置のユーザーの腕と一緒に表示できる。

あるいは、治療用器具１１６は統合型位置センサを含んでいてもよいし、あるいは３Ｄ空間を通した治療用器具１１６の位置並びに超音波プローブ１０４に対する治療用器具１１６の相対位置を追跡可能な統合型位置センサを含む機構に固定されていてもよい。一例として、治療用器具１１６は、超音波プローブ１０４にしっかりと取り付けられた針ガイド部に固定された注射針であってもよい。針ガイド部は、針跡の角度が超音波プローブに対して測定可能なロータリーエンコーダ機構を有していてもよい。加えて、針ガイド部から対象への注射針の線形移動が、針ガイド部に統合された線形可変差動変圧器によって測定されてもよい。

コンピュータメモリ１５０は、主処理装置１３６に作動的に連結された非一時的コンピュータメモリを含む。メモリ１５０は、主処理装置１３６が本明細書記載の機能を実行出来るようにするコンピュータプログラムまたはアプリケーション、命令、および／またはデータセットを記憶していてもよい。

ユーザーインターフェース装置１６０には、マウス、タッチスクリーン、仮想ボタン、機械式ボタン、（例えば、音声コマンドを受けるための）マイクロホン、またはユーザーがコンピュータと相互作用するのを可能にする他の装置が含まれてもよい。

システム１０の他の態様が、１若しくはそれ以上の実施形態による超音波プローブおよび治療用器具を追跡および／または誘導する方法を示す図２のフローチャートとの関連して以下に説明する。

工程２０４において、超音波プローブ１０４のユーザーが当該プローブを標的解剖領域の近くの対象の皮膚上に配置すると、および／または当該対象の皮膚に沿って移動させると、超音波プローブ１０４の三次元位置および向き（ｏｒｉｅｎｔａｔｉｏｎ）が追跡される。超音波プローブ１０４の三次元位置および向きは、上述したように、物体追跡システム１１２を用いて追跡可能である。

工程２０８において、主処理装置１３６は超音波画像ピクセルの三次元位置を計算する。一次元（１Ｄ）、二次元（２Ｄ）、または三次元（３Ｄ）空間における超音波画像ピクセルの位置は、特定の瞬間に、超音波プローブ１０４（例えば、超音波トランスデューサ）の位置および向きに対する空間関係を有している。例えば、ある瞬間において、超音波プローブの位置および向きは三次元位置ベクトル（例えば、ｘ、ｙ、ｚ軸においてｒ_０＝［０．５ｍ、１．０ｍ、１．０ｍ］）および３つの直交単位ベクトル（例えば、ｉ、ｊ、ｋ）で記述することができ、（合計Ｎの中の）個別の各超音波「ｎ」はｒ_ｎ＝ｒ_０＋ａ_ｎｉ＋ｂ_ｎｊ＋ｃ_ｎｋで記述される空間位置を有している（この場合、ａ_ｎ、ｂ_ｎ、ｃ_ｎは、任意であるが固定された３つの直交軸において、プローブに対するピクセル位置を記述する）。斯かる情報を用いて、３Ｄ空間の線形変換が構築され、１Ｄ、２Ｄ、または３Ｄ超音波画像用に、各超音波画像ピクセルの即時な位置が計算できる。

撮像視野および超音波画像ピクセル（例えば、「ｎ」）は、超音波トランスデューサ要素から推測される既知の空間領域を占有できる。プローブと視野との間の空間関係は、超音波プローブデザインに固有の既知の幾何学的関係から誘導できる。いくつかの実施形態においては、超音波プローブはそのままで３Ｄ画像を作成できる。他の実施形態においては、超音波プローブは個別の２Ｄ画像を組み合わせることにより３Ｄ画像を形成する。

工程２１２において、超音波プローブ１０４は、第１の位置で、標的解剖領域（骨および／または骨の特徴を含む）の超音波画像を取得する。超音波画像が取得された後、主処理装置１３６は、超音波画像における任意の骨および／または骨の特徴を強調するため、工程２１４において、骨強調処理を実行する。骨強調処理は、当業界における任意の既知の方法、例えば、同一の骨表面からもたらされる隣接超音波エコー間の位相コヒーレンス、方向性ログガボールフィルター、やはり骨反射を強調するランク削減方法などを用いて実行できる。別の例では、例えば、参照として本明細書に援用される、２０１６年１月１４日公表の「超音波撮像のシステムおよび方法」と題する米国特許出願公開第２０１６／００１２５８２号、２０１６年９月１日付で公開された「骨構造物を含む領域の超音波撮像のシステムおよび方法」と題する米国特許出願公開第２０１６／０２４９８７９号、および／または２０１７年８月１８日付で公開された「超音波脊椎シャドー特徴検出およびその撮像に関するシステムおよび方法」と題する国際出願番号第ＰＣＴ／ＵＳ１７／４７４７２号に記載されているように、骨シェーディング、骨シャドーイング、および骨構造物との音響／超音波相互作用に関する他の物理的側面が、骨の特徴を強調するのに使用できる。

任意選択の工程２２６において、基準マーカー（複数も可）１２４が生成され、追跡される。患者との選択的な接触において、工程２０４の追跡された超音波プローブ１０４を用い、ユーザーインターフェースイベントを使用して、超音波プローブ１０４の特定の末端が（例えば、基準マーカー１２４として）基準位置に一致するように超音波プローブ１０４の瞬間位置および向きを記録してもよい。例えば、超音波プローブ１０４の先端を仙骨あるいは臀裂上の骨突起に配置し、次にユーザーインターフェースボタンを押して、超音波プローブ１０４の先端の（例えば、基準マーカー１２４としての）基準位置を記録してもよい。加えて、単一物体に関連したいくつかまたは多くの基準マーカー１２４を取得することにより、表面、例えば背中の皮膚表面、または超音波プローブ１０４の長さを取得してもよい。

一例において、物体追跡システム１１２および／または静的カメラ（例えば、カメラ１３０）を用いて、基準マーカー（複数も可）１２４および／または基準位置（複数も可）の三次元位置が追跡される。基準マーカー（複数も可）１２４および／または基準位置（複数も可）の三次元位置は、工程２０４の超音波プローブ１０４追跡に類似の方法を用いて追跡できる。上述したように、ユーザーインターフェースボタンを起動すれば、物体追跡システム１１２および／または静的カメラ（例えば、カメラ１３０）により追跡可能な基準マーカー１２４の空間位置を示すことができる。

別の例では、基準マーカー（複数も可）１２４および／または基準位置（複数も可）の三次元位置は、工程２０４の超音波プローブ１０４追跡に類似の方法を用いて追跡できる。追跡可能物体を対象の皮膚に付着させ、その追跡可能物体をリアルタイムで対象の動きを追跡する永続的基準マーカー１２４として使用してもよい。

更に別の例では、基準マーカー１２４として機能し対象の皮膚に付着される追跡可能物体または位置固定物体の三次元位置（複数も可）をカメラ（例えば、カメラ１３０）および／または物体追跡システム１１２で追跡してもよい。いくつかの実施形態においては、対象の皮膚に付着された物体は、部分的に符号化された識別子および／または色分け識別子を有するステッカーを有していてもよい。部分的に符号化された識別子および／または色分け識別子は追跡物体（例えば、ステッカー）の瞬間位置を決定するのに使用できるし、カメラ画像の幾何学に関する知識は、対象および物体（複数も可）が移動するのに合わせてリアルタイムで基準位置（複数も可）を追跡するのに使用できる。

工程２１８において、画像および位置情報が組み合わされて３Ｄ複合画像が形成される。当該工程では、工程２１４および工程２０８（それぞれ、連続的に取得による骨強調超音波データセットおよび各取得による各ピクセルの３Ｄ位置）が組み合わされて骨強調超音波ピクセルのセットが生成されるが、各ピクセルは３Ｄ空間の特定位置に対応または登録されている。斯かる処理は、超音波プローブ１０４、３Ｄ物体追跡システム１１２、主処理装置１３６、および任意選択の基準マーカー（複数も可）１２４によって実行されてもよいし、および／またはそれらに関係付けられていてもよい。位置情報は、任意選択の基準位置に加えて、骨強調超音波データも含んでいる。工程２１８は、一般的に、超音波業界の当業者によって「フリーハンド」３Ｄ撮像と呼ばれる。

いくつかの実施形態においては、工程２１８は、超音波プローブ１０４の物体追跡システム１１２によって提供される３Ｄ情報を用いて超音波画像データの２Ｄフレームを３Ｄ体積に総登録する工程を有していてもよい。いくつかの実施形態では、その精度は約１ｍｍであってもよい。

加えてまたはその代わりに、工程２１８は、超音波画像データの２Ｄフレームの特徴を３Ｄ体積に整列させる工程の改善のため、データ依存フレームツーフレーム登録操作（例えば、スペックル追跡）を有していてもよい。これは、画像特徴間の空間関係を保存するものであるが、登録エラーを約サブミリメーターのエラーまで減少させる、反復されるセミリジッドの登録操作である。

加えてまたはその代わりに、工程２１８は、サンプリングを複数回実行する体積領域において骨特徴検出の特異性を改善するため、ある種の持続性マッピングまたは他の方法を適用する工程を有していてもよい。持続性マッピングまたは他の方法は、同一領域の全サンプルに存在していない誤検知の骨特徴を排除できる。

画像および位置情報を組み合わせて３Ｄ複合画像を生成する技術は、以下の文書、すなわち、（１）Ｒ． Ｒｏｈｌｉｎｇ， Ａ． Ｇｅｅ， Ｌ． Ｂｅｒｍａｎ， "Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｆｒｅｅｈａｎｄ ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｕｌｔｒａｓｏｕｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ，" Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ， ３（４）： ３３９－３５９， １９９９、および（２）Ｏ． Ｖ． Ｓｏｌｂｅｒｇ， Ｆ． Ｌｉｎｄｓｅｔｈ， Ｈ． Ｔｏｒｐ， Ｒ． Ｅ． Ｂｌａｋｅ， Ｔ． Ａ． Ｎ． Ｈｅｒｎｅｓ， "Ｆｒｅｅｈａｎｄ ３Ｄ ｕｌｔｒａｓｏｕｎｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ － ａ ｒｅｖｉｅｗ，" Ｕｌｔｒａｓｏｕｎｄ ｉｎ Ｍｅｄｉｃｉｎｅ & Ｂｉｏｌｏｇｙ， ３３（７）： ９９１－１００９、２００７に記載されている。

以下の例で示されるように、工程２１８で３Ｄ複合画像を生成する方法は更にいくつか存在するが、それらは単体で使用されてもよいし、任意のいくつかの組み合わせで使用されてもよい。例えば、各骨強調超音波取得からのデータセット（例えば、工程２１４の出力）は、将来の処理工程で検索および分析可能な３Ｄサンプルのスタンドアローンサブセットとして処理可能である。別の例では、各骨強調超音波取得からのデータセットが３Ｄ空間に置かれたスカラー値として処理される場合、均一または非均一３Ｄスカラー場が生成されて更なる分析が単純化されるように、データセットの空間周波数特性がＮｙｑｕｉｓｔ－Ｓｈａｎｎｏｎサンプリング理論に沿って用いられ、３Ｄデータをサンプリングし直すことも可能である。

更に別の例では、個別の超音波フレームからの各スカラー値が音響伝播理論によって与えられる対応音響波面に関連付けられた方向性を有しているので、各骨強調超音波取得からのデータセットはベクトル値として処理できる。工程２１４からの骨強調ピクセル値は、音響波面と骨表面との間に生じる角度に基づいて種々の感度を有するものである。これは、３Ｄ空間におけるベクトルデータセットが、以後の分析を改善するのに使用できるより豊富な情報を含んでいることを意味する。

各骨強調超音波取得からのデータセット（例えば、工程２１４の出力）は、以下の例（ａ）～（ｃ）などのいくつかの方法（それらは単体で使用されてもよいし、任意のいくつかの組み合わせで使用されてもよい）を用いて、以前の２Ｄ走査から生じる３Ｄデータセットと組み合わされてもよい。

例（ａ）は、例えば３Ｄ空間における「密度」機能を支援する３Ｄデータの追加組み合わせを含んでいる。

例（ｂ）は、既存の３Ｄデータを空間の三次元骨表面部位の「事前」確率として使用する工程を含む。個別走査からのデータは、空間における３Ｄ骨表面確率関数を反復的に更新するのに使用できる。更に、（例えば、超音波プローブ接触ロスによって生じる）「誤検知」骨表面を除去するため、３Ｄ骨表面の確率体積関数は「年齢」パラメーターを有していてもよい。年齢パラメーターは、特定の時間内（例えば、特定数の走査内）に（確率を高める）以後の走査によっては強化されないかなり低確率（例えば、２５％未満）の骨表面位置を破棄するのに使用できる。斯かる確率データは数回の走査乃至多数の走査によって構成される実際の骨表面の正確性を改善するものであり、空間位置および骨検出が、数多くの部分的に独立した測定に関して平均化または合成される。合成された骨確率の取り扱いは、既存の確率および新しい走査の確率、並びに既存の確率を形成した走査の履歴の非線形関数であってもよい。

例（ｃ）は、他の骨事前確率を使用する工程を含む。例えば、皮膚表面基準マーカーおよびいくつかの骨基準マーカー（例えば、腰の解剖所見）が特定された場合、それらは空間における骨尤度を修正するのに使用できる。同様に、任意選択の工程２３０の３Ｄモデルが少なくとも部分的に構築されたならば、これも例えば、骨表面をモデルによって棘突起として特定される解剖所見に近いものとし、モデルによって椎間腔として特定される解剖所見からは遠いものとするように、骨確率を修正できる。

工程２２２において、超音波画像が、次の部位またはその後の部位において（すなわち、超音波画像が工程２１２における第１の部位で取得された後に）取得される。超音波プローブ１０４は、連続位置および連続時間において超音波データセットを取得可能であるが、その場合、（例えば、工程２０８および２１８において）空間に登録が可能となるように、データセットが取得される時間に関する何等かのコントロールおよび／または報告がなされる。これは、例えば、データ取得のタイミングを物理的位置に一致させるようにコントロールすることにより、あるいはサンプルの瞬間を追跡する動きに対してタイミングを正確に記録するとともに、超音波フレームを連続的に反復取得することにより達成できる。超音波プローブ１０４、物体追跡システム１１２、および主処理装置２３６が、斯かる処理工程に関与していてもよい。

工程２３０において、モデルベースまたはデータベースのアルゴリズムにより、目印となる解剖学的構造が自動的に検出される。１つの実施形態において、これは、参照として本明細書に援用される、「超音波撮像のためのシステムおよび方法」と題する米国特許第１０，１３４，１２５号に開示されているように、複合３Ｄ画像（例えば、工程２１８の出力）を３Ｄモデルに一致させるようなモデルフィッティングアルゴリズムを有していてもよい。いくつかの実施形態においては、工程２１８で形成される３Ｄ複合画像は、特定の拘束を満たすように最適化されて３Ｄモデルに適合させられる。斯かる拘束には、撮像された解剖学的構造体、例えば腰椎、胸椎、または他の特定の解剖学的骨構造に関する事前の知識が含まれていてもよい。

したがって、形状モデルベースのアプローチが使用されてもよい。形状モデルは、通常、画像中の関心点（例えば、骨の先端または表面）を特定し、例えば既知の解剖学的特徴の形状に一致する先端または表面における１若しくはそれ以上の原型セット（例えば、テンプレート）とそれらを比較する。線形および／または非線形変換が、形状またはテンプレートにパラメーター的に適用され、画像の関心点と一致させるのに使用されてもよく、その場合、適合の良好性が、画像が特定の解剖学的構造に一致するか否かの決定基準として使用される。更なる拘束には、基準マーカー１２４としてタグ付けされ（工程２２６で追跡された）解剖学的構造の一部（例えば、特定の脊椎（複数も可）、骨盤肢など）が含まれていてもよい。加えて、標的解剖学的構造および機械的拘束に関する事前の統計的知識、例えば、脊椎寸法の統計的分布、骨間（例えば、隣接した脊椎骨）の分離距離、および／または脊椎間曲げ角を用いて、３Ｄモデルフィッティングをサポートしてもよい。

モデルフィッティングおよび登録技術は、超音波および／または画像処理分野の当業者には周知である。例えば、特に、米国国立医学図書館で利用可能なＩｎｓｉｇｈｔ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｏｏｌｋｉｔ（ｈｔｔｐ：／／ｉｔｋ．ｏｒｇ／）などのオープンソースソフトウェアが、ポイントセット登録などのアルゴリズムを用いて、３Ｄ登録ソフトウェアへのアクセスを提供する。更に、任意の様式の既存の画像を用いて３Ｄモデルフィッティングを拘束してもよい（例えば、３Ｄモデルパラメーターを拘束するのに、ＣＴおよび／またはＭＲＩデータセットを適用してもよい）。

３Ｄモデルフィッティングの最適化処理で使用可能な方法が、例えば最適化例（１）～（３）のように数多く存在する。

最適化処理（１）にはパラメータ空間検索が含まれる。例えば、工程２１８からの観察データに最小二乗法的に良好な適合が存在するまで、脊椎位置、サイズ、および／または向きなどのパラメータを変化させることにより、３Ｄモデル用のパラメータ空間のヒューリスティック、線形、および／または適応検索が行われる。

最適化処理（２）には、事前知識およびベイズ解析を用いる最大尤度モデルフィッティングが含まれる。斯かる例は、（複数脊椎などの）拘束３Ｄモデルのパラメータ空間を探索し、任意の所定のパラメータセットの事前尤度が存在する場合に、（工程２１８からの）入力データセットが所定の３Ｄモデルパラメータセットから生じる確率を最大にするパラメータ（例えば、各脊椎の位置、向き、および／またはサイズパラメータ）のセットを見つけることにより実行できる。

最適化処理（３）には、種々のデザインの深層学習アプローチ（例えば、ニューラルネットワーク、畳み込みニューラルネットワーク、および／またはベイズ推定畳み込みニューラルネットワークなど）が含まれる。斯かる深層学習アプローチは、観察データを特定の解剖学的構造（例えば、腰椎、仙骨など）に属するものとして分類し、訓練セットに基づいて観測データの「良好適合」に一致する個別の２Ｄおよび／または３Ｄ特徴を観察データ内に特定するため、深層学習分析を実行するための十分な訓練を受けた後に使用可能である。

工程２３０において、骨の解剖学的構造の３Ｄ骨モデルフィッティングおよび３Ｄ画像が、その近辺の柔組織解剖学的構造への二次的モデルフィッティング用の事前確率モデルとして任意選択で使用される場合もある。いくつかの実施形態において、柔組織構造は治療介入の標的（例えば、肩滑液包）である場合もあるし、別の場合には、医療手順を助けるための追加の解剖学的情報（例えば、肺の位置）に過ぎない場合もある。工程２１２で取得される２Ｄ超音波画像に含まれる柔組織情報は、２Ｄまたは３Ｄモデルに適合させられる前に、特定の拘束を満足させるための最適化を施して、画像特徴（例えば、端検出、形状検出）を抽出するために後処理されてもよい。斯かる拘束には、骨の解剖学的構造の３Ｄ骨モデルフィッティングおよび３Ｄ画像に含まれる解剖学的情報が含まれていてもよい。加えて、拘束には、撮像されたある種のタイプの解剖学的構造、例えば肩関節、胸椎、胸郭、または他の特定の骨の解剖学的構造の事前知識が含まれていてもよい。更なる拘束には、基準マーカー（複数も可）１２４によってタグ付けされ（工程２２６で追跡された）解剖学的構造の一部（例えば、特定の脊椎、骨盤肢、関節位置など）が含まれていてもよい。加えて、標的解剖学的構造および機械的拘束に関する事前の統計的知識、例えば、肋骨または脊椎の寸法の統計的分布、骨間（例えば、隣接した脊椎骨）の分離距離、および／または脊椎間曲げ角を用いて、３Ｄモデルフィッティングをサポートしてもよい。更に、任意の様式の既存の画像を用いて３Ｄモデルフィッティングを拘束してもよい（例えば、３Ｄモデルパラメーターを拘束するのに、ＣＴおよび／またはＭＲＩデータセットを適用してもよい）。３Ｄモデルフィッティングの最適化処理で使用可能な方法が、上述の例のように数多く存在する。

工程２３２において、ユーザーは画像データに注釈付けできる。画像データは、人が読むことのできる形体であって、ユーザーが３Ｄモデルの３Ｄ位置、線、面積、および／または体積に注釈付けできるように、画面を操作する機能（ズーム、パン、回転、投影の変更など）を有する状態で表示されるのが好ましい。ユーザーが付した注釈はいずれも、後の処理工程で斯かる注釈が他のデータ源と共にシームレスに使用できるように、３Ｄ画像データおよび／または３Ｄモデルと共に共同登録される。

工程２３４（フローチャート２０のプレースホルダーＡを経由）において、画像および／またはモデルの３Ｄレンダリングが、表示装置（例えば、表示装置１４０および／または任意選択のプローブ表示装置１０８）に表示されるように生成される。この工程において、ユーザーが３Ｄ登録データセットの全体またはそのサブセットを有効に見ることができるように、工程２１８で形成された３Ｄ複合画像、工程２３０からの３Ｄモデル、および／または工程２３２からのユーザー注釈が、ユーザーのコントロール（ズーム、パン、回転など）の下に行われる。表示装置（例えば、表示装置１４０および／または任意選択のプローブ表示装置１０８）の異なるコンポーネントが、例えば以下の方法に例示されるように、３Ｄレンダリングにおける最新技術に矛盾しない種々の異なる方法で実行できる。

一般的に、３Ｄレンダリングを達成する最も簡単な方法は、（Ｔｈｅ Ｋｒｏｎｏｓ Ｇｒｏｕｐ Ｉｎｃ．から入手可能な）ＯｐｅｎＧＬ（登録）、（Ｕｎｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＡｐＳから入手可能な）Ｕｎｉｔｙ（登録）、（Ｅｐｉｃ Ｇａｍｅｓ， Ｉｎｃ．から入手可能な）Ｕｎｒｅａｌ（登録）、またはカスタマイズされたテクスチャ、照明などで３Ｄ空間の表面、先端、および物体をレンダリングするように最適化された類似の製品の３Ｄレンダリングフレームワークを使用することである。種々の３Ｄレンダリングアルゴリズムおよびツールキットが、超音波および／または画像処理の当業者にとって周知であり、容易に利用可能である。それには、Ｔｈｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｔｏｏｌｋｉｔ（登録）（ｈｔｔｐ：／／ｗｗｗ.ｖｔｋ.ｏｒｇ／）なども含まれる。

上述したように、３Ｄレンダリングは、ユーザーが全体積をズームしたり、パンしたり、回転したりできる完全に双方向的な３Ｄ体積の形体を有していてもよい。３Ｄ体積は、特定の有利な観点から見るように、例えば脊椎の解剖学的構造を見る場合には、背腹視線に沿って見て、脊柱を「俯瞰」するように構成されていてもよい。この場合、３Ｄ体積は斯かる平面内の最大値投影法としてレンダリングされていてもよいし、あるいは二次元画像であって、三次元は当該三次元の各骨表面値を示すように符号化されるようにレンダリングされていてもよい。例えば、三次元は、例えば、カラーマッピング、輪郭、または当該三次元の各骨表面値に帰せられる他のグラフィックによって明瞭に符号化されていてもよい。

図７は、背腹視線に沿った、脊椎の解剖学的構造７００の三次元表示７０の一例を示すものである。図示されている表示７０において、第三次元は患者の皮膚から骨表面までの深さに対応する。患者の皮膚から骨表面までの深さは、骨表面の色によって二次元表示７０に示されている。例えば、深さは、骨表面７１０の明るい色（皮膚表面に近い）から、骨表面７２０の暗い色（皮膚表面から遠い）へ進むように図示されている。骨表面７３０は中間の色であるが、これは表面７１０と７２０との間の深さに位置していることを示している。加えて、表示７０は、自動的に検出された治療部位を示す任意選択の十字線および任意選択の自動的に検出された治療用器具７５０（治療器具１１６と同一であってよい）を示している。

工程２１８で生成される複合画像は、任意選択の透明性を有する表面セット（好みに合わせて、メッシュや多角形など）として、あるいは好みに合わせて可変性の点サイズおよび透明性を有する点群として、工程２３４でレンダリングされてもよい。工程２３０で生成された３Ｄ適合モデルは、空間における一連の３Ｄ物体として工程２３４で最も簡単にレンダリングされるものであり、この場合、表面テクスチャは３Ｄ物体の各特性およびユーザーが考える重要性に依存している。

加えて、工程２１８において、工程２３２からのユーザー注釈は、空間における他の項目と共に共同登録された３Ｄ空間の点、物体、面積、線、または体積として、レンダリングされた複合画像および／またはレンダリングされた３Ｄ適合モデルと一緒に表示されてもよい。

工程２３８（フローチャート２０のプレースホルダーＡを経由）において、３Ｄ画像および／またはモデルのアナリティクス（ａｎａｌｙｔｉｃｓ）が計算される。この工程において、（工程２３０からの）３Ｄモデル、（工程２１８からの）複合画像、および／または（工程２３２からの）ユーザー注釈が分析され、１若しくはそれ以上の目的のために有用な情報が生成される。例えば、計算されたアナリティクスを用いて、疾病状態、疾病の進行、または１若しくはそれ以上の入力（例えば、工程２３０、２１８、および／または２３２からの出力）から推定可能な他の健康基準を診断してもよい。斯かるアナリティクスの例には、脊椎の寸法、脊椎間距離、脊椎間回転、脊柱側弯症、側弯症の経時的進行、および他の疾病または健康マーカーが含まれる。

別の例において、計算されたアナリティクスを用いて、注射針挿入またはエネルギーベースの治療などの治療プロセスのプラニングおよび／またはガイダンスのサポートをしてもよい。斯かるアナリティクスの例には、特定の脊椎間空間に挿入された注射針による、最も近い骨表面からの（その部位における脊髄軸麻酔の導入困難性を示す可能性がある）クリアランスの測定、適切な注射針挿入部位および追跡／軌道（線）の特定、または特定の解剖学的特徴の皮膚（例えば、硬膜外腔）からの深さの特定などが含まれる。

更に別の例では、計算されたアナリティクスは、３Ｄ空間のリアルタイムガイダンスに使用できる。斯かるリアルタイムガイダンスの例には、基準マーカーへの近接性、注釈および／または脊椎正中線などの３Ｄモデル位置、外部物体（例えば、治療用器具１１６）から適切な注射針挿入追跡への相対角度などのデータに関してユーザーフィードバックを与える工程も含まれる。

工程２４２（フローチャート２０のプレースホルダーＡを経由）において、追加の走査情報を必要とする３Ｄ構造物の位置が決定および／または特定される。この工程において、目的の解剖学的構造に対応する３Ｄ空間の異なる部分が（超音波プローブ１０４からの）超音波ビームによってどの程度適切にサンプリングされているかを推定するのに、工程２１８の３Ｄ複合画像の現在の状態および／または工程２３０からの３Ｄモデルの全部または一部が使用される。超音波ビームが標的解剖学的構造の領域を急速に移動すると、撮像システムの既知の空間解像度に基づいて、ナイキストサンプリングを満たすのに十分なその領域のサンプリング、または十分なオーバーサンプリングを保証するのに十分なその領域のサンプリング、および／またはその後の処理にとって適切な信号対雑音比を提供するのに十分なその領域のサンプリングは存在しないかもしれない。

一例として、工程２４２は、３Ｄ空間に関して体積密度機能を維持し、超音波平面または体積の通過に合わせて追加的に体積密度を充填することにより実行可能である。体積密度の現在の状態が双方向的に（例えば、図形、音声などにより）ユーザーに示されてもよい。体積の現在の状態には、サンプリングが十分であるか、サンプリングは十分に行われていないかが含まれていてもよい。十分な体積サンプリングを決定する方法は数多く存在する。１つの方法は、体積当たりの３Ｄ超音波ピクセル（例えば、１立方センチメーターまたは他の体積セル当たり２５ピクセル）の最少サンプリングを強調することである。他の更に優れたサンプリング基準には、適切にサンプリングされた既存の体積との連続性（例えば、ギャップは示すが、制限された体積範囲ではない）、あるいは位置次第、並びに骨表面密度、体積セルの情報（例えば、エントロピー）コンテンツまたはデータ統計値、体積セルが含んでいる解剖学的構造の種類の推定値などの変数次第で適応させることができる体積サンプリング閾値が含まれていてもよい。斯かる方法を使用することにより、ユーザーは、スキャニングまたは追加のスキャニングが必要であることを示して、欠損している領域を「描き加えたり」、サンプリングが不十分な領域を「消し去ったり」できる。このアプローチは図３に示されているが、この図は、超音波プローブで十分にスキャニングされていない対象３１０における、サンプリング不足の領域３００を図形表示した代表例である。超音波プローブ１０４がサンプリング不足の領域３００に関して十分なデータを取得したならば、サンプリング不足の領域３００は表示から除去される。

加えてまたはその代わりに、工程２４２は、サンプリングの生産性を最大にするには超音波プローブ１０４をどこに移動（例えば、現在の位置から左、上、下などに移動）すればよいかを示す視覚インジケーターをユーザーに提供することにより実施されてもよい。サンプリングの生産性は、単位時間当たりに適切にサンプリング可能な体積量として定義される。

加えてまたはその代わりに、工程２４２は、体積密度を使用することにより（例えば、上述したように、３Ｄ空間に関して体積密度関数を維持することにより）、あるいはサンプリングの進行を詳細に示すリアルタイム３Ｄレンダリングをユーザーに提供する他のサンプリング状態インジケーターを使用することにより実施されてもよい。これは、サンプリング不足の領域をぼかし、適切にサンプリングされた領域には高い解像度を与えることにより、あるいはカラーコーディング、またはユーザーによってサンプル空間が充填されるのをサポートする他の視覚インジケーターを使用することにより達成できる。

加えてまたはその代わりに、工程２４２は、 ３Ｄモデル表示によってユーザーにサンプリングの進行に関するフィードバックを提供することにより実施されてもよい。例えば、サンプリング不足の脊椎は適切にサンプリングされた脊椎とは異なる様相（色、解像度など）を有していてもよく、これによりユーザーはサンプリング不足の脊椎に関して更なるデータを取得するように導かれる。

工程２４６において、治療用器具１１６の３Ｄ位置が追跡される。この工程は、追跡対象の物体が治療用器具、例えば針ガイド部、または標的にエネルギーを向けることのできる物体（例えば、無線周波数アブレータ、高密度焦点式超音波（すなわちＨＩＦＵ）要素）であると言う点を除いて、工程２０４と同じまたは実質的に同じである。治療用器具１１６の３Ｄ位置および向きを追跡するのに、物体追跡システム１１２が使用できる。

工程２５０において、３Ｄ画像構造物に対する望ましい治療適用は、（例えば、マウス、タッチスクリーン、キーボードなどのユーザーインターフェース、または他のユーザーインターフェースなどを通して）ユーザーによって入力される。３Ｄ複合画像（工程２１８）、３Ｄモデルフィッティング（工程２３０）、アナリティクス（工程２３２）、および／またはユーザー注釈（工程１３８）が生成されると、ユーザーは治療が適用されるべき位置、線、面積、および／または体積を示すことができる。治療を適用すべき部位を示す方法のいくつかの例には、（１）注射針先端標的を示す点標的、面積、または僅かな体積、（２）注射針挿入点標的を示す点標的、面積、または僅かな体積、（３）斯かる点を示す線、注射針の挿入角度、および／または最終的な注射針先端標的、および／または（４）麻酔またはエネルギー療法が適用されるべき体積または面積が含まれる。

工程２５４において、以下の内容、すなわち対象（またはその一部、例えば、解剖学的構造の関連領域）、装置操作者（またはその一部、例えば、操作者の腕または手）、超音波トランスデューサ／プローブ１０４（またはその一部、例えば、超音波プローブ１０４）、現在の（例えば、即時に取得された）超音波画像フレーム（複数も可）、２Ｄ蛍光透視法様の骨構造画像、２Ｄまたは３Ｄの奥行が符号化された複合骨構造画像、３Ｄ複合骨構造画像、骨構造の３Ｄモデル、追加のスキャニングデータを必要とする骨構造の位置、３Ｄ画像またはモデルからの計算済みアナリティクス、治療用器具の現在の位置、治療用器具を望ましい位置へ誘導するための方向指示、潜在的治療領域の記述、基準マーカー、および／またはユーザー注釈のうち１つ以上が、ユーザー（例えば、表示装置１４０、および／または任意選択の治療用器具１１６上に配置または統合された任意選択の治療用器具表示装置１１８）に表示される。

適切な治療適用追跡が以前に指定されている場合、これは治療を誘導するための方向インジケーターとして、例えば、適切な針跡、皮膚進入点、および／または注射針の最終標的点用の線分を示す図形として、アナリティクス（例えば、注射針角の方位角および／または高さ方向のエラー、注射針の遠位先端が標的先端位置にあるか否か、および／または治療要因（例えば、麻酔、方向性のあるエネルギー適用など）の有効予測領域）と共に示されてもよい。２つの線分（例えば、適切な針跡および現在の標的追跡）は最終的に一致すべきであると言う意図性を有して、治療用器具の現在の標的追跡が示されてもよい。現在の治療用器具が交差する骨または他の解剖学的構造の領域はリアルタイムで強調されてもよい。斯かる表示の例が図７に示してある。

いくつかの実施形態において、表示装置は、（ａ）現在取得されているまたは即時に取得された二次元超音波画像フレームおよび（ｂ）現在の位置および現在の向きにおける治療用器具用の潜在的治療領域に関する相互位置合わせを表示できる。

現在の超音波画像フレーム、例えば任意選択の骨強調を有する２Ｄ画像は、超音波スキャニング面の正確な向きおよび平面によって３Ｄ画像内に表示できるし、あるいは３Ｄシーンにおける任意のユーザ―設定可能位置に平坦画像としても表示できる（あらゆる場合に、任意の透明性および／またはカスタマイズ可能な透明性を有する）。治療用器具１１６（例えば、注射針、無線周波数の焼灼用注射針など）は、２Ｄ超音波画像と交差すると、３Ｄ体積および超音波面に対して正確な向きで具体的に検出およびレンダリングできる。更に、注射物が注射針から排出され、２Ｄ超音波面が注射物の経路と交差すると、斯かる注射物は、３Ｄ体積および超音波面に対して正確な向きで検出およびレンダリングできる。注射針の代わりにエネルギー療法装置（例えば、無線周波数焼灼またはＨＩＦＵ）が使用されると、斯かる装置のエネルギー場（例えば、エネルギー効果の予期される空間範囲）も同様にレンダリングされる。潜在的な治療領域には、注射物の予期される経路、およびエネルギー治療装置からのエネルギー効果の予期される空間範囲も含まれてよい。（工程２４２に示されるように）追加のスキャニングデータを必要とする部位は３Ｄ分野の実際の部位に示すことができるし、特に仮想現実ヘッドセットが使用される場合、追加のスキャニングを必要とする領域は、対象の実際の画像上に重ね合わされた拡張表示として直覚的に示すことができる。

超音波プローブに表示装置（例えば、任意選択のプローブ表示装置１０８）が装着されている場合、および／または任意選択の治療用器具（例えば、任意選択の治療用器具表示装置１１８）に表示装置が装着されている場合、斯かる画面のいずれかまたは両方が、単独で、あるいは外付け２Ｄまたは仮想現実表示装置に加えて、リアルタイムで（例えば、即時に取得されて）上述の２Ｄおよび／または３Ｄデータのいずれをも表示するように使用できる。装着された表示装置は、超音波プローブ１０４と標的位置（複数も可）との相対位置に関する情報を表示するのに使用されてもよい。仮想現実ヘッドセットが使用される場合、１若しくはそれ以上の仮想２Ｄ表示装置が３Ｄ仮想現実空間に生成できるが、斯かる表示装置はヘッドセットおよび／またはプローブに関連する位置あるいは３Ｄ空間に静的に配置できる。

図８は、治療部位を有する潜在的治療領域のアラインメントに関する二次元表示装置８０である。表示装置８０において、自動検出の治療用器具８００が標的解剖学的特徴８１０（例えば、骨表面、器官など）の方向に延びているものとして図示されている。システムは、本明細書記載の発明の態様を用いて、（例えば、物体追跡システム１１２を用いることにより）治療用器具８００の位置および向きを自動的に決定し、並びに（例えば、フローチャート２０に関して上述したように）脊椎正中線８２０などの骨解剖学的構造の三次元位置を自動的に決定するが、この場合、脊椎正中線は、解剖学的参照面として機能する（すなわち、脊椎正中線８２０は物理的な解剖学的構造の一部としては存在せず、むしろ物理的な解剖学的特徴に関して参照として機能する想像上の線である）。図８に示されるように、治療用器具８００の潜在的治療領域８０５が標的解剖学的特徴８１０とアラインメントを形成した場合、システムは斯かるアラインメントを視覚的および／または音声により（例えば、標的解剖学的特徴８１０の色を変えたり、光を点滅させたり、音声を発したりして）表示してもよい。

例Ａ－硬膜外麻酔手順
この例において、目標は、長期麻酔を提供するカテーテル留置のため、患者の腰椎の硬膜外腔にチューヒー針を誘導することである。現在の標準的な治療は、脊椎の解剖学的構造を触診して脊椎間空間を特定し、針を挿入した後、「抵抗消失」技術（針が標的硬膜外腔に達した場合に、注射器を用いて減少した圧力を感知する技術）を行うものである。この手順の正確性の改善を達成するため、ユーザーは装着画面１０８を有する超音波プローブ１０４を用いて患者を走査するが、それと同時に、プローブは物体追跡システム１１２によって追跡される。ユーザーが走査すると、骨強調（工程２１４）３Ｄ複合画像が編集され（工程２１８）、中間３Ｄモデルフィッティング（工程２３０）およびスキャニング密度の十分さの指標が計算され（工程２４２）、これら全てが、リアルタイムで、表示装置１４０（例えば、ラップトップ表示装置、外付け表示装置、仮想現実ヘッドセットなど）および／または任意選択のプローブ表示装置１０８上の３Ｄに示される（工程２５４）。ある領域のスキャニングが十分な密度であることを示すのに、スキャニング密度指標は、カラーコードを用いて、青（または他の色）の度合いにより標的解剖学的構造を強調する。

プローブ先端が左右骨盤肢および／または臀裂の上部の骨突起と一致する場合、例えば、超音波プローブ上のユーザーインターフェースの相互作用により、任意選択的に１若しくはそれ以上の基準１２４が作成および追跡される（工程２２６）。斯かる基準１２４は、表示装置１４０および／または任意選択の治療用器具表示装置１１８上の組み合わせ画像（工程２５４）へ追加される。

標的解剖学的構造（例えば、腰椎）に関して十分レベルのスキャニング密度が達成されると、３Ｄモデルフィッティング（工程２３０）が腰椎を特定し、脊椎間空間の寸法、各候補の腰椎間空間における硬膜外腔への適切な針跡、硬膜外腔までの深さ、および各針跡に関する骨表面までの最小クリアランスなどの３Ｄフィッティングに基づいて、脊椎間空間がアナリティクス（工程２３８）に沿って強調される。図４は、硬膜外注射を誘導するための、例示的３Ｄ脊椎モデルまたは３Ｄ脊椎モデルに基づいて脊椎アナリティクス上に重ねられたアナリティクスを有する例示的３Ｄ脊椎データの表示４０である。表示４０は二次元的に図示されてはいるが、表示４０は同じ情報を三次元的にも図示できることは注目されたい。

図５は、１若しくはそれ以上の実施形態において、適切で、満足のいく、ユーザーが選択した、または自動的に選択された針跡５００（総称的に「適切な針跡」）に沿って注射針を誘導するための表示５０を示す。いくつかの実施形態において、適切な針跡５００は、標的治療部位に治療を提供するのに必要な、以後および／または将来の針跡である。ユーザーは、表示装置１４０および／または任意選択の治療用器具表示装置１１８、および斯かる手順に特有のアナリティクス（例えば、図４に示されるアナリティクス）を用いて、適切な針跡５００を特定できる。例えば、現在の治療用器具１１６の位置において、器具の下にある脊椎（例えば、Ｌ１～Ｌ５）、脊椎正中線までの横方向距離、および／または硬膜外腔深さ５３０などのアナリティクスが表示できる。表示５０は二次元的に図示されてはいるが、表示５０は同じ情報を三次元的にも図示できることは注目されたい。

適切な針跡５００が特定されたら、注射針５１０を望ましい適切な針跡５００へ誘導するのに、追跡された（工程２４６で追跡された）治療用器具１１６が使用できる。治療用器具１１６（この場合、追跡された針ガイド部５１６）が移動されると、現在の（または予測された）針跡５２０が、現在の皮膚進入点５２２および現在の（または予測される）注射針末端５２４を含めて、表示装置５０（表示装置１４０および／または任意選択の治療用器具表示装置１１８を含む）に表示できる（工程２５４）。表示装置５０は、適切な皮膚進入点５０２および適切な注射針末端５０４を含む適切な針跡５００も示す。斯かるデータおよび画像の表示により、操作者は、適切な針跡５００を実現するように、治療用器具１１６を移動および／または方向付けできる。いくつかの実施形態において、表示５０は、現在の針跡５２０と適切な針跡５００とを整列させるため、治療用器具１１６を移動および／または回転させる方向を示す矢印を含んでいてもよい。例えば、表示５０は、適切な針跡５００を達成するために治療用器具１１６を移動させる方向を示す第１の矢印５４０と、適切な針跡５００を達成するために治療用器具１１６を回転させる方向を示す第２の矢印５４０とを含んでいてもよい。各矢印は、ユーザーの混乱を避けるため、異なる色付けまたは表示方法を用いてもよい。（現在の針跡５２０が適切な針跡５００からずれる次元数に基づいて）追加の矢印または少ない矢印を提供してもよい。プローブを標的プローブ角と角度的に整列させるためのシステムおよび方法の例は、参照として本明細書に援用される、２０１８年１月８日出願の「標的位置におけるプローブの角度アラインメントのためのシステムおよび方法」と題する米国特許出願番号１５／８６４，３９５に開示されている。

この時点で、注射針挿入のため、従来の抵抗消失技術が使用できる。機械的に可能であれば、任意選択として、治療用器具１１６は注射針の遠位端を追跡することにより注射針挿入深さをリアルタイムで追跡でき、しかもラップトップから視覚および／または音声フィードバックを得ることもできる。治療用器具１１６はいくつかの方法で注射針の末端を追跡できる。１つの方法は、治療用器具１１６の位置および向きが既知であり、注射針が剛性（曲がらない）であれば、幾何学を用いて注射針の先端位置を計算することである。

任意選択により、手順のいくつかの部分または全部分中に、表示装置１４０として（または表示装置１４０に加えて）、仮想現実のヘッドセットを使用してもよい。３Ｄスキャニング中、超音波画像平面および工程２５４の他の側面と共にプローブおよび患者を示すのに、ヘッドセットカメラが使用できる。治療適用中、ユーザーは、仮想現実ヘッドセットを用いて、頭を治療用器具１１６の周りに回転させることにより、予測された針跡および適切な針跡を見ることができる。種々の仮想ヘッドアップ表示装置を現場の周りに配置することにより、あらゆる種類の望ましい手順フィードバックが提供できる。

超音波プローブ１０４および／または治療用器具１１６は、ユーザーからの直接の入力に基づき、または本明細書に提供される情報に基づいてアルゴリズム的に、ロボットアクチュエーターなどの機械を通して位置付けが可能であることに注目されたい。例えば、人間のユーザーではなくロボットが、当該技術からの出力に基づいて、望ましい標的に到達するのに適していると考えられる部位へ、治療用器具１１６を自動的に移動できる。

例Ｂ－疾病状態評価のための脊椎の解剖学的分析
この例では、目標は、電離放射線（例えば、Ｘ線、ＣＴスキャンなど）や高価な手順（例えば、ＭＲＩ）を必要とせずに可視化を達成するため、患者を走査し、その患者の脊椎の解剖学的構造の３Ｄモデルを構築することである。３Ｄ脊椎モデルは、アナリティクスを抽出し、疾病状態の存在または範囲を評価するのに使用できる。斯かる技術の使用例の１つは、少年少女の側弯症の進行を診断または追跡することである。斯かる種類の診断に現在使用される主な道具はＸ線撮像である。しかし、子供達をＸ線に反復曝露するのは望ましいことではないし、一次医療提供者はＸ線機械に簡単にはアクセスできず、代わりに正確度に制限のある他の方法（例えば、外部脊椎角度測定）を使用している。したがって、この例で記載されるような低価格で正確な脊椎分析システムは、現在の治療基準を改善するものとなるであろう。

本実施形態において、３Ｄ脊椎の解剖学的構造モデルを構築するため、主処理装置１３６（例えば、ラップトップなどのコンピュータ）は、超音波プローブ１０４を仙骨へ移動し、骨強調モード（工程２１４）でスキャニングを開始するようにユーザーを導くであろう。ユーザーは、スキャニング密度の十分性（工程２４２）の表示と一緒に、表示装置１４０（例えば、コンピュータ／ラップトップ表示装置）および／または任意選択のプローブ表示装置１０８上にリアルタイムで構築される３Ｄ複合画像（工程２１８）および３Ｄ中間モデル（工程２３０）を見るであろう。十分なスキャニング密度が仙骨の近くに構築されたら、コンピュータは、一番下の脊椎Ｌ５へ移動してそれを走査するようにユーザーを導くであろう。更に、十分なスキャニング密度が構築されたならば、次の脊椎Ｌ４へ移動するようにユーザーは導かれるであろうし、それは特定数の脊椎が十分に走査されるまで継続されるであろう。

この時点で、３Ｄ複合画像（工程２１８）は、脊椎関連のアナリティクス（工程２３８）と共に、完全な脊椎３Ｄモデル（工程２３０）を開発するのに十分であるべきである。完全な脊椎モデルに関係するアナリティクスには、脊椎の相対位置、脊椎間空間、１若しくはそれ以上の軸における脊椎湾曲の測定が含まれる。加えて、経時的な脊椎変化の進行および疾病状態を示すため、以前の経時的なスキャニングからのデータの導入もこれに含むことができる。

この段階で、表示装置１４０および／または任意選択のプローブ表示装置１０８を用いて、３Ｄ空間における組み合わされた脊椎モデルを、それから導かれるアナリティクスと共に示すことができるし、更に、任意選択として、以前のスキャニングおよび／または経時的に変化し解析的に導出された測定値の進展を含む動画を示すこともできる。

仮想現実ヘッドセットが利用可能な場合、現在の例の任意の段階または全段階中に（例えば、表示装置１４０として、または表示装置１４０に加えて）それを使用することができる。まず、スキャニング中、ヘッドセットがフロントフェーシングカメラ１３０を使用することにより、ユーザーは、複合３Ｄ画像（工程２１８）、３Ｄモデル（工程２３０）、および工程２５４に列挙された、および／またはその関係で上述された３Ｄ表示装置の他の部分に加えて、スキャニング中の患者の背中も見ることができる。この段階中、仮想現実表示装置は、既に走査された脊椎および走査される可能性の高い次の脊椎の位置を強調し、スキャニングの進行を別の方向に導くこともできる。スキャニングが完了すると、ユーザーは、患者の周りを歩き回ることにより、患者の「内部」を示す任意の角度からの（工程２５４で表示される）完全な３Ｄ表示を見ることができる。加えて、患者はユーザーが見ている内容を見ることができるし、および／またはスキャニング後に、経時的動画および／または解析情報の注釈を含む以前の他のスキャニングと共に、仮想現実環境での脊椎スキャニングも見ることができる。

骨解剖学的構造の３Ｄ分析に関する斯かる一般的な疾病状態診断方法は、２若しくはそれ以上のスキャニングを行うことにより拡張することもでき、その場合、患者は後のスキャニングで何らかの動作範囲（例えば、後屈または前屈み）を行うように要求される。２若しくはそれ以上のスキャニングは、骨解剖学的構造が可能な動作範囲を評価するのに使用できるが、疾病状態の進行を評価するための病歴の一環として用いたり、種々の治療の効果に関してフィードバックを提供したりするのにも使用できる。

例Ｃ－後の評価のために標準形式で３Ｄに骨解剖学的構造を記録する工程
この例では、目標は、患者を走査して骨および他の解剖学的構造の３Ｄモデルを構築し、異なる人および異なる部位での後の評価のため、この走査情報を記憶させることである。斯かる方法は、技術者が患者を走査することにより解剖学的モデルを取得し、後に一人以上の有能な医療専門家が任意の部位で双方向的に斯かるモデルデータを解釈できると言う特長を有している。解剖学的モデルデータが、標準の体積形式、表面形式、あるいは例えばＤｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）標準（ｈｔｔｐ：／／ｗｗｗ.ｄｉｃｏｍｓｔａｎｄａｒｄ．ｏｒｇ／で入手可能）が提供する他の形式に記憶させるならば、そのデータに関する任意の消費者が、既存のツールまたは新しいツールを用いて、例えばＰＡＣＳシステム（画像保管および電送システム）を用いて、データを検索したり、電送したり、記憶したりするのが可能となる。

データセットが本質的に３Ｄであるので、データを誘導したり、アナリティクスや表示をコントロールしたり、データに注釈を付したりするのに仮想現実システムを容易に利用できる。あるいは、非仮想現実ツールを用いて、データを検索したりデータに注釈を付したりも可能である。可能性のある１例では、複数のユーザーが、共同医療分析用のネットワーク通信を用いて、表示された３Ｄデータをリアルタイムで見たり、それに注釈を付したり、あるいはそれをコントロールしたりできる。この例は、音波検査者が心臓のスキャニングから大量のデータを回収し、それを心臓専門医が後にＰＡＣＳシステムおよび標準ツールを用いて検査する、心臓超音波検査のワークフローに似ている。同様に、技術者が本開示記載の方法により骨強調技術および３Ｄ位置追跡を有する超音波システムを用いて患者から３Ｄ解剖学的モデルを取得し、次に整形外科医または他の医療専門医がそのデータをＰＡＣＳシステムを用いて解析および検査を行ってもよい。

例示的な実施形態の例
例１．超音波撮像および治療誘導システムは、超音波ビーム生成して位置調整することにより、被験者の解剖学的骨構造の三次元画像データを取得する超音波プローブと、前記超音波プローブの現在の位置および現在の向きを検出するように構成された物体追跡装置と、前記被験者に治療を行うための治療用器具と、前記超音波プローブおよび前記治療用器具に連結され、前記超音波プローブに対する前記治療用器具の所定の相対位置を設定する機械装置と、プロセッサと、前記プロセッサに動作可能に接続された非一時的なコンピュータメモリとを有する。前記非一時的なコンピュータメモリは、コンピュータ可読命令を有し、このコンピュータ可読命令は、前記プロセッサに、前記三次元画像データおよび前記超音波プローブの前記現在の位置および前記現在の向きに少なくとも部分的に基づいて、三次元骨表面部位の位置および向きを検出する工程と、前記三次元骨表面部位に対する標的治療部位を自動検出する工程と、前記標的治療部位に対する治療に要求される、前記治療用器具の適切な位置および向きを決定する工程と、表示データを生成する工程とを実行させる。前記システムは、さらに、前記プロセッサと電気通信し、前記表示データに基づいて画像を生成する表示装置を含み、前記画像は、前記三次元骨表面部位の表示と、即時に取得された二次元超音波画像フレームであって、現在の位置および現在の向きにおける前記治療用器具の潜在的治療領域と相互に位置合わせされているものである、前記二次元超音波画像フレームと、前記三次元骨表面部位に対する前記標的治療部位の表示と、前記標的治療部位および潜在的治療領域が整合しているどうかを示す画像インジケーターとを有する。

例２．例１記載のシステムにおいて、前記コンピュータ可読命令は、さらに、前記プロセッサに、ニューラルネットワークを利用して、前記三次元骨表面部位に対する前記標的治療部位を自動検出する工程を実行させるものである、システム。

例３．例１または２記載のシステムにおいて、前記コンピュータ可読命令は、さらに、前記プロセッサに、前記三次元画像データを三次元骨モデルにフィッティングさせることにより、前記三次元骨表面部位の位置および向きを検出する工程を実行させるものである、システム。

例４．例１～３のいずれか１つに記載のシステムにおいて、前記表示装置によって生成された画像は、さらに、目印となる骨部位を含むものである、システム。

例５．例１～４のいずれか１つに記載のシステムにおいて、前記コンピュータ可読命令は、さらに、前記プロセッサに、三次元骨モデルを利用して、前記標的治療部位を自動検出する工程を実行させるものである、システム。

例６．例１～４のいずれか１つに記載のシステムにおいて、前記三次元骨表面部位の前記表示は、符号化された第三次元を有する二次元骨表面画像として表示されることで、前記第三次元に沿った骨表面部位が示されるものである、システム。

例７．例６記載のシステムにおいて、前記第三次元は画像として符号化されることで、前記第三次元に沿った骨表面部位が示されるものである、システム。

例８．例６または７記載のシステムにおいて、前記第三次元は色符号化されることで、前記第三次元に沿った骨表面部位が示されるものである、システム。

例９．例１～８のいずれか１つに記載のシステムにおいて、前記治療用器具の前記適切な位置および向きは、前記超音波プローブに対する前記治療用器具の所定の相対位置に少なくとも部分的に基づいて決定されるもである、システム。

例１０．例１～９のいずれか１つに記載のシステムにおいて、前記物体追跡装置は、前記治療用器具の現在の位置および現在の向きを検出するように構成されているものであり、前記治療用器具の前記適切な位置および向きは、前記治療用器具の前記現在の位置および現在の向きに少なくとも部分的に基づいて決定されるもである、システム。

例１１．例１～１０のいずれか１つに記載のシステムにおいて、前記表示装置によって生成された前記画像は、さらに、前記潜在的な治療領域の現在の位置および現在の向きを含むものである、システム。

例１２．例１～１１のいずれか１つに記載のシステムにおいて、前記表示装置によって生成された前記画像は、さらに、前記治療用器具の現在の位置および現在の向きを含むものである、システム。

例１３．例１～１２のいずれか１つに記載のシステムにおいて、前記表示装置によって生成された前記画像は、さらに、前記三次元骨表面部位に基づいて計算された、解剖学的骨構造の寸法および向きに関する情報を含むものである、システム。

例１４．例１～１３のいずれか１つに記載のシステムにおいて、前記治療用器具は、針ガイド部、注射針、焼灼器具および／または高密度焦点式超音波トランスデューサを有するものである、システム。

例１５．例１～１４のいずれか１つに記載のシステムにおいて、前記標的治療部位は、硬膜外腔、髄腔、または内側神経枝を含むものである、システム。

例１６．例１～１５のいずれか１つに記載のシステムにおいて、前記超音波プローブは、ユーザーによって手動で位置調整されるように構成されているものである、システム。

例１７．例１～１６のいずれか１つに記載のシステムにおいて、前記超音波プローブは、機械的電動機構により自動的に位置調整されるように構成されているものである、システム。

例１８．例１～１７のいずれか１つに記載のシステムにおいて、前記物体追跡装置は、誘導型近接センサを含むものである、システム。

例１９．例１～１８のいずれか１つに記載のシステムにおいて、前記物体追跡装置は、超音波画像処理回路を含むものである、システム。

例２０．例１９記載のシステムにおいて、前記超音波画像処理回路は、前記三次元画像データにおける連続的に取得された超音波画像を比較することにより、前記超音波プローブの現在の位置の相対的変化を決定するように構成されているものである、システム。

例２１．例１～２０のいずれか１つに記載のシステムにおいて、前記物体追跡装置は光学センサを含むものである、システム。

例２２．例２１記載のシステムにおいて、前記光学センサは、固定光送信機と、前記光学センサによって検出される掃引レーザとを含み、前記超音波プローブ上に配置されるものである、システム。

例２３．例１～２２のいずれか１つに記載のシステムにおいて、前記物体追跡装置は一体化された位置センサを含むものである、システム。

例２４．例２３記載のシステムにおいて、前記一体化された位置センサは、電気機械式ポテンショメーター、線形可変差動変圧器、誘導型近接センサ、ロータリーエンコーダ、インクリメンタルエンコーダ、加速度計および／またはジャイロスコープを含むものである、システム。

例２５．例１～２５のいずれか１つに記載のシステムにおいて、前記三次元骨表面部位は、三次元脊椎骨を含むものである、システム。

例２６．例１～２６のいずれか１つに記載のシステムにおいて、前記位置調整された超音波ビームは、前記超音波プローブを機械的に移動させることにより、および／または前記超音波ビームを電気的に操作することによって位置調整されるものである、システム。

例２７．治療用器具を誘導する方法であって、被験者の解剖学的骨構造の三次元画像データを取得するために超音波プローブによって生成された超音波ビームを被験者の身体上で位置調整する工程と、前記超音波ビームが位置調整される間に、物体追跡装置により前記超音波プローブの現在の位置および現在の向きを検出する工程と、前記三次元画像データおよび前記超音波プローブの前記現在の位置および前記現在の向きに少なくとも部分的に基づいて、三次元骨表面部位の位置および向きを検出する工程と、前記三次元骨表面部位に対する標的治療部位を自動検出する工程と、前記標的治療部位に対する治療に要求される、前記治療用器具の適切な位置および向きを決定する工程と、コンピュータと電気通信する表示装置上に画像を表示する工程であって、前記画像は、前記三次元骨表面部位の表示と、即時に取得された二次元超音波画像フレームであって、現在の位置および現在の向きにおける治療用器具の潜在的治療領域と相互に位置合わせされているものである、前記二次元超音波画像フレームと、前記三次元骨表面部位に対する前記標的治療部位の表示と、前記標的治療部位および潜在的治療領域が整合しているどうかを示す画像インジケーターとを有するものである、前記画像を表示する工程と、を有する、方法。

例２８．例２７記載の方法において、さらに、コンピュータ内のニューラルネットワークを利用して、前記三次元骨表面部位に対する前記標的治療部位を自動検出する工程を有する、方法。

例２９．例２７または２８記載の方法において、さらに、前記三次元画像データを三次元骨モデルにフィッティングさせる工程を有する、方法。

例３０．例２９記載の方法において、さらに、前記三次元骨モデルを利用して、前記三次元骨表面部位の位置および向きを検出する工程を有する、方法。

例３１．例２９または３０記載の方法において、さらに、前記三次元骨モデルを利用して、目印となる骨部位を特定する工程を有する、方法。

例３２．請求項３１記載の方法において、前記画像は前記目印となる骨部位を含むものである、方法。

例３３．例３０～３２のいずれか１つに記載の方法において、さらに、前記三次元骨モデルを利用して、前記標的治療部位を自動検出する工程を有する、方法。

例３４．例２７～３３のいずれか１つに記載の方法において、前記三次元骨表面部位の前記表示は、符号化された第三次元を有する二次元骨表面画像として表示されることで、前記第三次元に沿った骨表面部位が示されるものである、方法。

例３５．例３４記載の方法において、さらに、前記第三次元に沿った骨表面部位を示すために前記第三次元を画像として符号化する工程を有する、方法。

例３６．例３４または３５記載の方法において、さらに、前記第三次元に沿った骨表面部位を示すために前記第三次元を色符号化する工程を有する、方法。

例３７．例２７～３６のいずれか１つに記載の方法において、さらに、前記超音波プローブおよび前記治療用器具に機械装置を機械的に連結する工程を有し、前記機械装置は、前記超音波プローブに対する前記治療用器具の所定の相対位置を設定するものである、方法。

例３８．例３７記載の方法において、さらに、前記超音波プローブに対する前記治療用器具の前記所定の相対位置に少なくとも部分的に基づいて、前記治療用器具の適切な位置および向きを決定する工程を有する、方法。

例３９．例２７～３８のいずれか１つに記載の方法において、さらに、前記物体追跡装置により、前記治療用器具の現在の位置および現在の向きを検出する工程と、前記治療用器具の前記現在の位置および現在の向きに少なくとも部分的に基づいて、前記治療用器具の前記適切な位置および向きを決定する工程と、を有する、方法。

例４０．例２７～３９のいずれか１つに記載の方法において、前記画像は、さらに、前記潜在的な治療領域の現在の位置および現在の向きを含むものである、方法。

例４１．例２７～４０のいずれか１つに記載の方法において、前記画像は、さらに、前記治療用器具の現在の位置および現在の向きを含むものである、方法。

例４２．例２７～４１のいずれか１つに記載の方法において、前記画像は、さらに、前記三次元骨表面部位に基づいて計算された、解剖学的骨構造の寸法および向きに関する情報を含むものである、方法。

例４３．例２７～４２のいずれか１つに記載の方法において、前記治療用器具は、針ガイド部、注射針、焼灼器具および／または高密度焦点式超音波トランスデューサを有するものである、方法。

例４４．例２７～４３のいずれか１つに記載の方法において、前記標的治療部位は、硬膜外腔、髄腔、または内側神経枝を含むものである、方法。

例４５．例２７～４４のいずれか１つに記載の方法において、前記超音波ビームを位置調整する工程は、前記超音波プローブを機械的に移動させる工程を有する、方法。

例４６．例２７～４５のいずれか１つに記載の方法において、さらに、前記超音波プローブを機械的電動機構により位置調整する工程を有する、方法。

例４７．例２７～４６のいずれか１つに記載の方法において、前記超音波ビームを位置調整する工程は、前記超音波ビームを電子走査する工程を有する、方法。

例４８．例２７～４７のいずれか１つに記載の方法において、前記物体追跡装置は、誘導型近接センサを含むものである、方法。

例４９．例２７～４８のいずれか１つに記載の方法において、前記物体追跡装置は、超音波画像処理回路を含むものである、方法。

例５０．例４９記載の方法において、さらに、前記超音波画像処理回路により、前記三次元画像データにおける連続的に取得された超音波画像を比較して、前記超音波プローブの現在の位置の相対的変化を決定する工程を有する、方法。

例５１．例２７～５０のいずれか１つに記載の方法において、前記物体追跡装置は光学センサを含むものである、方法。

例５２．例５１記載の方法において、前記光学センサは、固定光送信機と、前記光学センサによって検出される掃引レーザとを含み、前記超音波プローブ上に配置されるものである、方法。

例５３．例２７～５２のいずれか１つに記載の方法において、前記物体追跡装置は一体化された位置センサを含むものである、方法。

例５４．例５３記載の方法において、前記一体化された位置センサは、電気機械式ポテンショメーター、線形可変差動変圧器、誘導型近接センサ、ロータリーエンコーダ、インクリメンタルエンコーダ、加速度計および／またはジャイロスコープを含むものである、方法。

例５５．例２７～５４のいずれか１つに記載の方法において、前記三次元骨表面部位は、三次元脊椎骨を含むものである、方法。

例５６．例２７～５５のいずれか１つに記載の方法において、前記超音波プローブの現在の位置および現在の向きは、前記物体追跡装置を利用して検出されるものである、方法。

例５７．例２７～５６のいずれか１つに記載の方法において、さらに、前記解剖学的骨構造の二次元超音波画像を複数の超音波プローブ位置において取得する工程と、前記二次元超音波画像および前記複数の超音波プローブ位置を結合して前記三次元画像データを形成する工程と、を有する、方法。

例５８．例２７～５７のいずれか１つに記載の方法において、前記二次元超音波画像はピクセルを含み、この方法は、さらに、前記複数の超音波プローブ位置に基づいて、各ピクセルの三次元位置を決定する工程を有する、方法。

例５９．例２７～５８のいずれか１つに記載の方法において、さらに、前記超音波画像における任意の骨および／または骨の特徴を強調するために骨強調処理を実行する工程を有する、方法。

例６０．例２７～６０のいずれか１つに記載の方法において、さらに、ユーザーインターフェースイベントを受信する工程と、前記ユーザーインターフェースイベントが受信された時点に基づいて前記超音波プローブの基準点を記録する工程と、を有する、方法。

本発明の観点および実施形態の一部について説明してきたが、当業者であれば、様々な代替実施形態、変更、および改良を容易になすことできると考えられる。そのような代替実施形態、変更、および改良は、本出願に記載する本発明の要旨および範囲内であることを意図している。例えば、当業者であれば、本明細書に記載する機能を実行するおよび／または結果を得るための他の様々な手段および／または構造、および／または１若しくはそれ以上の利点を容易に想到できるものであり、そのような変形および／または変更は、本明細書で記載する実施形態の範囲内であるものとする。

当業者であれば、本明細書に記載された特定の実施形態について多くの均等物があることを理解する。したがって、上記の実施形態は例示のみの目的で提供されているものであり、進歩性を有する本実施形態は、本明細書で記載した特定の態様とは異なる態様で実施することが可能である。さらに、本明細書で記載した特徴、システム、物品、材料、キットおよび／または方法の２若しくはそれ以上の任意の組み合わせは、そのような特徴、システム、物品、材料、キットおよび／または方法が互いに相容れないものでない限り、本明細書で記載した実施形態の範囲内であるものとする。

上記で説明した実施形態は様々な方法で実施可能である。工程または方法の実行を含む、本出願の１若しくはそれ以上の態様および実施形態においては、装置（例えば、コンピュータ、ハードウェアプロセッサ、またはその他の装置）によって実行可能なプログラム命令を使用して、そのような工程または方法を実行または制御することが可能である。

この点において、進歩性を有する様々な概念は、実行されると、１若しくはそれ以上のコンピュータまたはその他のプロセッサに、上述した様々な実施形態の１若しくはそれ以上を実施する方法を実行させる１若しくはそれ以上のプログラムプログラムで符号化された、非一時的なコンピュータメモリおよび／または非一時的なコンピュータ可読記憶媒体（または複数の非一時的なコンピュータ可読記憶媒体）（例えば、コンピュータメモリ、１若しくはそれ以上のフロッピーディスク（登録商標）、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイにおける回路構成、またはその他の半導体装置、またはその他の有形コンピュータ記憶媒体）として具現化することができる。

前記コンピュータメモリまたはコンピュータ媒体は可搬式であり、当該メモリまたは媒体に格納されたプログラムまたは複数のプログラムは１若しくはそれ以上の異なるコンピュータまたはプロセッサに搭載され、上述した様々な態様のうち１若しくはそれ以上の態様を実施する。前記非一時的なコンピュータメモリまたは媒体は、動作可能にハードウェアプロセッサに接続でき、本発明の１若しくはそれ以上の態様を実行する命令を含むこととができる。

本明細書で使用する「プログラム」、「ソフトウェア」、「アプリケーション」、「アプリ」という用語は広義として、コンピュータまたはその他のプロセッサをプログラムして上述した様々な態様を実施するために採用することができる任意のタイプのコンピュータコードまたはコンピュータ実行可能命令を指す。さらに、１観点によると、実行されると、本出願の方法を実施する１若しくはそれ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサに搭載される必要はなく、モジュール式に複数の異なるコンピュータまたはプロセッサに分散させて搭載することで、本発明の様々な態様を実施してもよい。

コンピュータ実行可能命令は、１若しくはそれ以上のコンピュータまたはその他の装置によって実行されるプログラムモジュールなどの多数の形態であってもよい。通常、プログラムモジュールは、特定のタスクを実行する、若しくは特定の抽象データ型を実施する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。プログラムモジュールの機能は、様々な実施形態の必要性に応じて組み合わせるか、若しくは分散させてもよい。

また、データ構造は、任意の適切な形態でコンピュータ可読媒体に格納することができる。簡単な例を言うと、データ構造は、当該データ構造内の位置を通じて関連付けられたフィールドを含むように表現することができる。同様に、このような関係は、フィールド間の関係を示す位置を含むフィールドのための記憶領域をコンピュータ可読媒体に割り当てることにより達成可能である。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を含む、任意の適切な機構を使用してデータ構造のフィールド内の情報間の関係を確立してもよい。

また、上述したように、いくつかの観点は、１若しくはそれ以上の方法として具現化することができる。方法の一部として実行される工程は任意の適した順番で行うことができる。したがって、例示した順番とは異なる順番で工程が実行される実施形態を構成してもよく、このような場合、例示的な実施形態において連続した工程として示されている場合においても、工程の一部を同時に実行することを含む可能性がある。

Claims (18)

1. 超音波撮像および治療誘導システムであって、
   超音波プローブであって、
   二次元超音波画像フレーム、および
   超音波ビームであって、機械的電動機構により自動調整されることで位置調整されるように構成されており、これにより被験者の解剖学的骨構造の三次元画像データが取得されるものである、前記超音波ビーム
   の双方を生成するものである、前記超音波プローブと、
   前記超音波プローブの三次元空間における現在の位置および現在の向きを検出するように構成された物体追跡装置と、
   前記被験者に治療を行うための治療用器具と、
   前記超音波プローブおよび前記治療用器具に連結され、前記超音波プローブに対する前記治療用器具の所定の相対位置を設定する機械装置と、
   プロセッサと、
   前記プロセッサに動作可能に接続された非一時的なコンピュータメモリであって、コンピュータ可読命令を有し、このコンピュータ可読命令は、前記プロセッサに、
   前記三次元画像データおよび前記超音波プローブの三次元空間における現在の位置および現在の向きに少なくとも部分的に基づいて、三次元骨表面部位の位置および向きを検出する工程と、
   前記三次元骨表面部位に対する標的治療部位を自動検出する工程と、
   前記標的治療部位に治療を行うために必要とされる、前記治療用器具の三次元空間における位置および向きを決定する工程と、
   表示データを生成する工程と、
   を実行させるものである、前記コンピュータメモリと
   前記プロセッサと電気通信し、前記表示データに基づいて画像を生成する表示装置であって、前記画像は、
   前記三次元骨表面部位の表示と、
   前記治療用器具の三次元空間における現在の位置および現在の向きに基づいた潜在的治療領域と位置合わせされた前記二次元超音波画像フレームと、
   前記三次元骨表面部位に対する前記標的治療部位の表示と、
   前記標的治療部位および前記潜在的治療領域が整合しているどうかを示す三次元画像インジケーターと
   を有するものである、前記表示装置と
   を有する、システム。
2. 請求項１記載のシステムにおいて、前記コンピュータ可読命令は、さらに、前記プロセッサに、ニューラルネットワークを利用して、前記三次元骨表面部位に対する前記標的治療部位を自動検出する工程を実行させるものである、システム。
3. 請求項１記載のシステムにおいて、前記コンピュータ可読命令は、さらに、前記プロセッサに、前記三次元画像データを三次元骨モデルにフィッティングさせることにより、前記三次元骨表面部位の位置および向きを検出する工程を実行させるものである、システム。
4. 請求項１記載のシステムにおいて、前記三次元骨表面部位の前記表示は、符号化された第三次元を有する二次元骨表面画像として表示されることで、前記第三次元に沿った骨表面部位が示されるものである、システム。
5. 請求項４記載のシステムにおいて、前記第三次元は画像として符号化されることで、前記第三次元に沿った骨表面部位が示されるものである、システム。
6. 請求項５記載のシステムにおいて、前記第三次元は色符号化されることで、前記第三次元に沿った骨表面部位が示されるものである、システム。
7. 請求項１記載のシステムにおいて、前記治療用器具の三次元空間における位置および向きは、前記超音波プローブに対する前記治療用器具の所定の相対位置に少なくとも部分的に基づいて決定されるもである、システム。
8. 請求項１または７記載のシステムにおいて、
   前記物体追跡装置は、前記治療用器具の三次元空間における現在の位置および現在の向きを検出するように構成されているものであり、
   前記標的治療部位に治療を行うために必要とされる、前記治療用器具の三次元空間における位置および向きは、前記治療用器具の前記現在の位置および現在の向きに少なくとも部分的に基づいて決定されるもである、システム。
9. 請求項１記載のシステムにおいて、前記表示装置によって生成された前記画像は、さらに、前記潜在的な治療領域の現在の位置および現在の向きを含むものである、システム。
10. 請求項１記載のシステムにおいて、前記表示装置によって生成された前記画像は、さらに、前記治療用器具の現在の位置および現在の向きを含むものである、システム。
11. 請求項１記載のシステムにおいて、前記表示装置によって生成された前記画像は、さらに、前記三次元骨表面部位に基づいて計算された、解剖学的骨構造の寸法および向きに関する情報を含むものである、システム。
12. 請求項１記載のシステムにおいて、前記治療用器具は、針ガイド部、注射針、焼灼器具、または高密度焦点式超音波トランスデューサのうちの少なくとも１つを有するものである、システム。
13. 請求項１記載のシステムにおいて、前記標的治療部位は、硬膜外腔、髄腔、または内側神経枝を含むものである、システム。
14. 請求項１記載のシステムにおいて、前記超音波プローブは、ユーザーによって手動で位置調整されるように構成されているものである、システム。
15. 請求項１記載のシステムにおいて、前記超音波プローブは、機械的電動機構により自動的に位置調整されるように構成されているものである、システム。
16. 請求項１記載のシステムにおいて、前記物体追跡装置は、誘導型近接センサを含むものである、システム。
17. 請求項１記載のシステムにおいて、前記物体追跡装置は、超音波画像処理回路を含むものである、システム。
18. 請求項１７記載のシステムにおいて、前記超音波画像処理回路は、前記三次元画像データにおける連続的に取得された超音波画像を比較することにより、前記超音波プローブの現在の位置の相対的変化を決定するように構成されているものである、システム。

Images