JP2021521900A - 追跡される手順のためのシステムおよび方法 - Google Patents

Abstract

ナビゲーションシステムが開示される。このナビゲーションシステムは、少なくとも手順を支援するために使用されてもよい。このシステムは、物体を輪郭描写し、かつ／または画像要素の物理的境界を判断するのを支援してもよい。このシステムは、手順の計画および／またはワークフローを支援してもよい。

Description

関連出願の相互参照
[0001]本出願は、２０１８年４月２７日出願の米国特許出願第１５／９６５，３２０号（代理人整理番号５０７４Ａ−０００１８９−ＵＳ）に関する主題を含む。上記出願の開示内容全体が、参照により本出願に組み込まれる。

[0002]対象となる開示は一般に、空間内において対象物に対する部材の場所および配向を含む位置を判定し、画像内の特徴およびワークフロー効率を識別するためのシステムおよび方法に関する。

[0003]この節では、必ずしも先行技術とは限らない、本開示に関する背景情報を提供する。
[0004]手術手順、アセンブリ手順などの様々な手順のためのナビゲーションシステムでは、器具または物体が追跡されることがある。器具は、センサコイルに対する磁場の影響を測定すること、および／または光センサで場所を判定することなどにより、様々な動作モードの１つまたは複数の追跡システムによって追跡されてもよい。センサコイルは、導電材料を含んでもよく、この導電材料が磁場の中に配置され、ここでセンサコイルに電流が誘導される。測定された誘導電流を使用して、器具または物体の位置を識別または判定することができる。

[0005]直交するように配置された３つのコイルなど複数のコイルを用いて、電磁場が生成されてもよい。様々なトランスミッタまたは磁場生成システムは、コロラド州ルイビル所在のＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ社により市販されているＡｘｉＥＭ（商標）電磁ナビゲーションシステムを含む。ＡｘｉＥＭ（商標）電磁ナビゲーションシステムは、電磁場を生成するために使用される複数のコイルを含んでもよく、この電磁場が、センサコイルとすることができる追跡装置によって検知されて、ＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）手術ナビゲーションシステムなどのナビゲーションシステムを使用して器具の位置を追跡しかつ／または追跡された器具の位置を示すことができるようになる。

[0006]追跡システムはさらに、または代替的に、光学追跡システムを含んでもよい。光学追跡システムは、ＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）Ｓ７（登録商標）追跡システムなどのシステムを含む。光学追跡システムは、器具の位置を三角測量するための視野を有するカメラのセットを含む。

本願発明の一実施例は、例えば、追跡される手順のためのシステムおよび方法に関する。

[0007]この節は、本開示の全体的な概要を提供するものであり、その全範囲またはその特徴すべてを完全に開示するものではない。
[0008]手順を実行するためのシステムが開示される。この手順は、動物、人間、または他の選択された患者など、生体の被検体に対しても実行されることがある。この手順は、無生物物体（たとえば、密閉構造、機体、シャシーなど）に対して実行されるものなど、任意の適切なタイプの手順を含んでもよい。それでも、この手順は、選択された１つまたは複数のアイテムを追跡システムが追跡できるナビゲーションシステムを使用して、実行されてもよい。

[0009]ナビゲーションシステムは、被検者に対して器具をナビゲーションして、手順を実行するために使用されてもよい。様々な実施形態では、この手順は、選択された埋込みのシステムまたはアセンブリを用いて２つ以上の椎骨が互いに連結される脊椎融合など、脊椎に対する手順を含んでもよい。埋込みシステムは、選択されたタイミングで相互連結される２つ以上の構成要素を含んでもよい。スクリューなどの埋込みシステムの一部分を位置決めすることは、椎骨を含む骨構造に対して実行されてもよい。スクリューは、選択された軌道に沿って椎骨内に、この軌道に沿った椎骨内の選択された深さまで、位置決めされてもよい。上の例に加えて、脊椎または他の適切な場所に関してかつ／またはそれに対して、他の適切な手順も実行されることがある。

[0010]手順を実行する、かつ／または手順を計画するなどの選択されたタイミングで、被検者の画像データが取得されてもよい。画像データを使用して、表示装置に表示される画像が生成されてもよい。画像データは、コンピュータ断層撮影画像データ、磁気共鳴画像データ、（たとえば、ｘ線コーンビーム撮像装置を用いた）Ｘ線コーンビーム画像データなど、任意の適切な画像データを含んでもよい。さらに、撮像装置は、本明細書でさらに検討するように、Ｏ−ａｒｍ（登録商標）撮像システムなどの任意の適切な撮像装置であってもよい。コンピュータビジョンアルゴリズムなど、選択された命令のセットを使用して、個々の椎骨などの画像データ内の一部分が識別されてもよい。命令は、椎骨の境界を判定するようにプログラムされた、ニューラルネットワークシステムなどの機械学習の技法またはプロセスを含んでもよい。画像データは、ニューラルネットワーク内で、実質的にまたは全体的に自動で分析されて、椎骨の境界が判定されてもよい。

[0011]選択されたワークフローを使用して、効率的かつ効果的に手順が実行されてもよい。ワークフローは、特定の椎骨をセグメント化することなど、画像内の選択された部分または特徴を判定および／またはセグメント化するための、画像データの分析または参照を含んでもよい。ワークフローを使用して、自動でナビゲーションシステムを動作させて、臨床医または外科医などのユーザに手順の実行中に情報が提供されてもよい。選択された特徴（たとえば、椎骨または椎骨部分）の境界が識別された画像データは、手順を実行するための軌道、特定の椎骨に位置決めするための特定の埋入物、および手順の他の部分をシステムが自動的に識別するのを支援してもよく、またはそれらを可能にしてもよい。したがって、ワークフローは、選択された手順の選択された部分および／または標準的な部分を実行する際に、自動化されてもよく、またはより減少したインタラクションもしくはより高速のインタラクションなど、選択されたユーザインタラクションを有してもよい。

[0012]さらなる適用分野は、本明細書に記載の説明から明らかになろう。この概要における説明および具体的な例は、例証のみを目的としたものであり、本開示の範囲を限定するためのものではない。

[0013]本明細書に記載の図面は、考えられるすべての実装形態ではなく選ばれた実施形態の図解のみを目的としており、本開示の範囲を限定するものではない。

[0014]ナビゲーションシステムの環境を示す図である。 [0015]セグメント化プロセスの概略的なフローチャートである。 [0016]畳み込み演算子の概略図である。 [0017]様々な実施形態による、ＣＮＮの概略図である。 [0018]様々な実施形態による、ＣＮＮを訓練するためのフローチャートである。 [0019]様々な実施形態による、前に訓練されたＣＮＮを用いて画像をセグメント化するためのフローチャートである。 [0020]様々な実施形態による、手術ナビゲーションシステムのワークフローおよび動作のフローチャートである。 様々な実施形態による、手術ナビゲーションシステムのワークフローおよび動作のフローチャートである。 [0021]器具の投影を追跡し表示する環境およびディスプレイを示す図である。 [0022]器具の投影を用いて提案または計画された手順を示すディスプレイの図である。 [0023]器具の投影を用いて部分的に完了した計画手順を示すディスプレイの図である。 [0024]完了した計画手順および逆投影を示すディスプレイの図である。 [0025]計画としての逆投影、および埋入物の追跡ビューを示すディスプレイの図である。

[0026]対応する参照番号は、複数の図面全体を通して対応する部分を指す。
[0027]次に添付図面を参照しながら、例示的な実施形態をさらに全面的に説明する。
[0028]最初に図１を参照すると、ナビゲーションシステム１０が図示してある。ナビゲーションシステム１０は、ユーザ１２など、１人または複数人のユーザによって様々な目的または手順のために使用されてもよい。ナビゲーションシステム１０を使用して、ボリューム内における器具１６の位置が判定または追跡されてもよい。この位置は、３次元Ｘ、Ｙ、Ｚの場所と配向の両方を含んでもよい。配向は、３自由度など、１つまたは複数の自由度を含んでもよい。しかし、６自由度未満の位置情報など、任意の適切な自由度の位置情報が判定され、かつ／またはユーザ１２に提示されてもよいことが理解される。

[0029]器具１６の位置を追跡することにより、器具１６がユーザ１２には直接見えない場合でも、ユーザ１２が器具１６の位置を判定するのを支援することができる。ロボットシステムなどの無生物システムの修理またはアセンブリを実行すること、機体または自動車の一部分をアセンブリすることなど、様々な手順により、ユーザ１２の視界が遮られることがある。他の様々な手順には、脊椎手順、神経学的手順、脳深部刺激プローブの位置決め、または生体の被検体に対する他の手術手順などの手術手順が含まれてもよい。様々な実施形態では、たとえば生体の被検体は、人間の被検者２０であってもよく、手順は、人間の被検者２０に対して実行されてもよい。しかし、器具１６は、任意の適切な手順について任意の被検体に対して追跡および／またはナビゲーションされてもよいことが理解される。手術手順などの手順について、人間または生体の被検体に対して器具を追跡またはナビゲーションすることは、単なる例示である。

[0030]それでも、様々な実施形態において、本明細書でさらに検討する手術ナビゲーションシステム１０は、米国再発行特許第ＲＥ４４，３０５号、７，６９７，９７２号、８，６４４，９０７号、および８，８４２，８９３号、ならびに米国特許出願公開第２００４／０１９９０７２号に開示されているものなど、様々な部分またはシステムを組み込んでもよく、これらの特許文献はすべて参照により本明細書に組み込まれる。手術ナビゲーションシステム１０の構成要素とともに、またはそのような構成要素として使用されてもよい様々な構成要素は、Ｏ−ａｒｍ（登録商標）撮像システム、磁気共鳴撮像（ＭＲＩ）システム、コンピュータ断層撮影システムなど、被検者２０を撮像するように動作可能な撮像システム２４を含んでもよい。被検者支持体２６を使用して、撮像中および／または手順中に被検者２０が支持または保持されてもよい。手順の異なる部分に、同じ支持体が使用されてもよく、または異なる支持体が使用されてもよい。

[0031]様々な実施形態では、撮像システム２４は供給源２４ｓを含んでもよい。供給源は、Ｘ線を放出および／または生成してもよい。Ｘ線は、被検者２０にぶつかるコーンビームなどのコーン２４ｃを形成してもよい。Ｘ線の一部は被検者２０を通過し、一部は被検者によって減衰される。撮像システム２４はさらに、被検者２０によって完全に減衰されなかった、または遮断されなかったＸ線を検出するための検出器２４ｄを含んでもよい。したがって、画像データは、Ｘ線画像データを含んでもよい。さらに、画像データは、２次元（２Ｄ）画像データであってもよい。

[0032]画像データは、上で検討した撮像システムのうちの１つまたは複数などを用いて、手術手順中に取得されてもよく、または手術手順の前に取得されて、表示装置３２に画像３０が表示されてもよい。様々な実施形態では、画像データが２Ｄ画像データであっても、取得した画像データを使用して、３次元ボリュームなどの選択されたタイプの画像データが形成または再構築されてもよい。器具１６は、追跡可能なボリューム内またはナビゲーションボリューム内で、１つまたは複数の追跡システムによって追跡されてもよい。追跡システムは、１つまたは複数の追跡システムを含んでもよく、これらは同一のやり方もしくはモードで動作し、かつ／または異なるやり方もしくはモードで動作する。たとえば、追跡システムは、図１に示すように、電磁（ＥＭ）ローカライザ４０を含んでもよい。様々な実施形態では、光学式、レーダ式、超音波式などを含む他の適切な追跡システムが使用されてもよいことが、当業者には理解される。本明細書におけるＥＭローカライザ４０および追跡システムの検討は、ナビゲーションシステム１０とともに動作可能な追跡システムの単なる例示である。器具１６の位置は、追跡ボリューム内で被検者２０に対して追跡されてもよく、次いで表示装置３２を用いて、アイコンとも呼ばれるグラフィカル表示１６ｉとして示されてもよい。様々な実施形態では、アイコン１６ｉは、画像３０に重ねられてもよく、かつ／または画像３０に隣接していてもよい。本明細書で検討するように、ナビゲーションシステム１０は表示装置３０を組み込んでいてもよく、選択された画像データからの画像３０をレンダリングすること、画像３０を表示すること、器具１６の位置を判定すること、アイコン１６ｉの位置を判定することなどをおこなうように動作してもよい。

[0033]図１を参照すると、ＥＭローカライザ４０は、ローカライザ４０に組み込まれている送信コイルアレイ（ＴＣＡ）４２を用いて電磁場を生成するように動作可能である。ＴＣＡ４２は、コイルの１つまたは複数のグループまたはアレイを含んでもよい。様々な実施形態では、２つ以上のグループが含まれ、それぞれのグループが３つのコイルを含んでもよく、トリオまたはトリプルとも呼ばれる。コイルは給電されて、コイルグループのコイルに電流を流すことによって、電磁場を生成または形成してもよい。コイルを通るように電流が流されると、生成された電磁場はコイル４２から離れるように延び、頭部２０ｈ、脊椎椎骨２０ｖ、または他の適切な部分の全体または一部を囲むものなど、ナビゲーションのドメインまたはボリューム５０を形成する。コイルは、ＴＣＡコントローラおよび／または電力供給部５２により給電されてもよい。しかし、２つ以上のＥＭローカライザ４０が提供されてもよく、それぞれが、異なる選択された場所に配置されてもよいことが理解される。

[0034]ナビゲーションのドメインまたはボリューム５０は、全般的にナビゲーション空間または患者空間を画成する。当技術分野では一般に理解されるように、ドリル、リードなどの器具１６は、患者または被検者２０に対してナビゲーションドメインによって画成されるナビゲーション空間において、器具追跡装置５６を用いて追跡されてもよい。たとえば、器具１６は、動的参照フレーム（ＤＲＦ）に対して、または被検者２０に対して固定された患者参照フレーム追跡装置６０に対して、ユーザ１２などによって自由に移動可能であってもよい。両方の追跡装置５６、６０は、追跡部分を含んでもよく、この追跡部分は、磁場強度を検知しそれを測定するために使用される検知コイル（たとえばコイルに形成または配置された導電材料）、光学リフレクタ、超音波エミッタなどの適切な追跡システムを用いて追跡する。ＤＲＦ６０に対して、追跡装置５６が器具１６に接続され、または関連付けられているので、ナビゲーションシステム１０を使用して、ＤＲＦ６０に対する装置１６の位置が判定されてもよい。

[0035]ナビゲーションボリュームまたは患者空間は、被検者２０の画像３０によって画成される画像空間に登録されてもよく、器具１６を表すアイコン１６ｉは、ナビゲーションされ（たとえば判定され）追跡された位置において、画像３０に重ねられるなどして、表示装置３２によって示されてもよい。患者空間を画像空間に登録すること、およびＤＲＦ６０などのＤＲＦに対する、追跡装置５６などの追跡装置の位置を判定することは、米国再発行特許第ＲＥ４４，３０５号、７，６９７，９７２号、８，６４４，９０７号、および８，８４２，８９３号、ならびに米国特許出願公開第２００４／０１９９０７２号に開示されているものを含め、当技術分野で一般に知られているとおりに実行されてもよく、これらの特許文献はすべて参照により本明細書に組み込まれる。

[0036]ナビゲーションシステム１０はさらに、ナビゲーションプロセッサシステム６６を含んでもよい。ナビゲーションプロセッサシステム６６は、表示装置３２、ＴＣＡ４０、ＴＣＡコントローラ５２、ならびに他の部分および／もしくは接続を含んでもよい。たとえば、ＴＣＡコントローラ５２とナビゲーション処理ユニット７０の間にワイヤ接続が提供されてもよい。さらに、ナビゲーションプロセッサシステム６６は、キーボード７２など１つまたは複数のユーザ制御入力部を有してもよく、かつ／または一体型のもしくは通信システムを介した１つまたは複数のメモリシステム７４との通信などからの、追加の入力部を有してもよい。様々な実施形態によれば、ナビゲーションプロセッサシステム６６は、参照により本明細書にすべて組み込まれる米国再発行特許第ＲＥ４４，３０５号、７，６９７，９７２号、８，６４４，９０７号、および８，８４２，８９３号、ならびに米国特許出願公開第２００４／０１９９０７２号に開示されているものを含んでもよく、または、コロラド州ルイビル所在のＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ社により販売されている市販のＳｔｅａｌｔｈＳｔａｔｉｏｎ（登録商標）またはＦｕｓｉｏｎ（商標）の手術ナビゲーションシステムを含んでもよい。

[0037]追跡装置５６、６０で検知した磁場に関する情報を含む追跡情報は、追跡装置のコントローラ５２とすることもできるＴＣＡコントローラなどの通信システムを介して、ナビゲーションプロセッサ７０を含むナビゲーションプロセッサシステム６６に送達されてもよい。こうして、器具１６の追跡された位置が、画像３０に対してアイコン１６ｉとして示されてもよい。ナビゲーションプロセッサ７０および／または撮像処理ユニット７６と通信するメモリシステム７２を含む様々な他のメモリおよび処理のシステムも、プロセッサシステム６６と併せて、かつ／またはそれと通信するように提供されてもよい。

[0038]画像処理ユニット７６は、上で検討したＯ−ａｒｍ（登録商標）撮像システムなどの撮像システム２４に組み込まれてもよい。したがって、撮像システム２４は、ガントリ７８内で移動可能な供給源およびＸ線検出器など、様々な部分を含んでもよい。また撮像システム２４は、追跡装置８０によって追跡されてもよい。しかし、撮像システム２４は、器具追跡装置５６を含む追跡装置の追跡中に存在しなくてもよいことが理解される。また、撮像システム２４は、ＭＲＩ、ＣＴなどを含む任意の適切な撮像システムであってもよい。

[0039]様々な実施形態では、追跡システムは光学ローカライザ８２を含んでもよい。光学ローカライザ８２は、ナビゲーションボリューム５０を見る、またはナビゲーションボリューム５０を画成もしくは包囲する視野を有する１つまたは複数のカメラを含んでもよい。光学ローカライザ８２は、光（たとえば、赤外線または紫外線）の入力を受信して、位置を判定し、または器具追跡装置５６などの追跡装置を追跡してもよい。光学ローカライザ８２は、器具１６を追跡するためのＥＭローカライザ４０とともに、かつ／またはＥＭローカライザ４０の代わりに使用されてもよいことが理解される。

[0040]すべての追跡装置からの情報は、ナビゲーションプロセッサ７０に通信されて、追跡された部分の互いに対する位置が判定されてもよく、かつ／または画像３０に対して器具１６が位置特定されてもよい。撮像システム２４を使用して、被検者２０の画像３０を生成または作成するための画像データが取得されてもよい。しかし、他の適切な撮像システムも使用できることが理解される。上述したように、ＴＣＡコントローラ５２を使用して、ＥＭローカライザ４０を操作しそれに給電してもよい。

[0041]表示装置３２で表示される画像３０は、様々なやり方で取得される被検者２０の画像データに基づいてもよい。たとえば、撮像システム２４を使用して、画像データ３０を生成するために使用される画像データを取得してもよい。しかし、選択された撮像システムで取得した画像データを使用して画像３０を生成するために、他の適切な撮像システムが使用されてもよいことが理解される。撮像システムは、磁気共鳴撮像装置、コンピュータ断層撮影撮像装置、および他の適切な撮像システムを含んでもよい。さらに、取得した画像データは２次元であっても３次元であってもよく、心拍リズム中および／または呼吸サイクル中に患者を撮像するなど、時間的に変化する成分を有してもよい。

[0042]様々な実施形態では、画像データは、コーンビームを用いて生成される２Ｄ画像データである。２Ｄ画像データを生成するために使用されるコーンビームは、Ｏ−ａｒｍ（登録商標）撮像システムなどの撮像システムの一部であってもよい。次いで２Ｄ画像データを使用して、患者２０など、撮像された被検者の３Ｄ画像またはモデルが再構築されてもよい。再構築された３Ｄ画像、および／または２Ｄ画像データに基づく画像が表示されてもよい。したがって、画像３０は、選択された画像データを使用して生成されてもよいことが、当業者には理解される。

[0043]さらに、器具１６の追跡された位置として判定されるアイコン１６ｉは、表示装置３２上に画像３０に対して表示されてもよい。さらに、画像３０は、本明細書でさらに検討する目的を含む様々な目的のために、セグメント化されてもよい。画像３０のセグメント化を使用して、画像内の物体または部分が判定および／または輪郭描写されてもよい。輪郭は、ディスプレイに表示されるマスクを含んでもよく、またはそのようなマスクとして作られてもよい。この表示は、アイコンとも呼ばれることがあるマスクのグラフィックオーバーレイなどによって、ディスプレイ上に示されてもよい。アイコンは、セグメント化されたマスクであってもよく、いかなるやり方でも単純化されなくてもよい。様々な実施形態では、輪郭を使用して、撮像された患者の１つまたは複数の構造部、たとえば椎骨２０ｖなどの境界など、画像３０内の様々な部分の境界が識別されてもよい。したがって、画像３０は、第１の椎骨２０ｖｉおよび第２の椎骨２０ｖｉｉなど、椎骨２０ｖのうちの１つまたは複数の椎骨の画像を含んでもよい。本明細書においてさらに検討するように、第１および第２の椎骨２０ｖｉ、２０ｖｉｉなどの椎骨は、画像内で輪郭描写されてもよく、この輪郭描写は、３Ｄおよび２Ｄの画像などの画像において境界を判定することを含んでもよく、かつ／またはそのような境界を判定することを支援してもよい。様々な実施形態では、輪郭は、アイコン２０ｖｉ’または第２のアイコン２０ｖｉｉ’などによって表されてもよい。境界２０ｖｉ’、２０ｖｉｉ’は、適切なやり方で様々な目的のために判定されてもよく、これについても本明細書においてさらに検討する。さらに、アイコンを使用して、物体、境界などの輪郭を含む、本明細書において検討する選択された項目が表現されて、表示されてもよい。

[0044]様々な実施形態によれば、画像３０は、実質的に自動でセグメント化されてもよい。様々な実施形態では、自動セグメント化は、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークに組み込まれてもよい。様々な実施形態によれば、ＣＮＮは、様々な特徴を、ある確率またはある予測を用いて判定するように教育されてもよく、またはそのように学習してもよい。様々な特徴は、物体（たとえば、椎骨）、または物体の部位もしくは一部分（たとえば、椎弓根）、およびこうした物体もしくはその一部分のセグメント化もしくは境界を含んでもよい。選択されたセグメント化は、第１の椎骨２０ｖｉおよび第２の椎骨２０ｖｉｉなど、選択された椎骨のセグメント化を識別することを含んでもよい。選択されたセグメント化は、セグメント化のアイコンまたは表示２０ｖｉ’および２０ｖｉｉ’など、選択されたグラフィカル表示とともに表示されて、表示装置３２に表示されてもよい。

[0045]アイコンは、外科医または他の適切な臨床医とすることができるユーザ１２などの選ばれたユーザが見られるように、ディスプレイ３２上に単体で表示され、かつ／または画像３０に重ねられる。さらに、アイコンとして表示されているかどうかに関わらず、境界または他の適切な部分は、識別されると、様々な目的のために使用されてもよい。境界は、椎骨の物理的寸法、空間における椎骨の位置（すなわち、上で検討したように、被検者２０に対して画像３０を登録することにより得られる）、考えられる識別される軌道（たとえば、埋入物の配置のため）などを識別してもよい。したがって、アイコン２０ｖｉ’、２０ｖｉｉ’が表示されていても、または境界の幾何学的形状だけが判定されておりアイコンとして表示されていなくても、手順の計画および／または実行に画像３０が使用されてもよい。

[0046]図２を参照すると、画像のセグメント化とも呼ばれる、画像の一部分を識別するためのプロセスまたは方法が、フローチャート１００に示してある。フローチャート１００は全体的なフローチャートであり、ＣＮＮなどのより具体的なプロセスについては、本明細書においてさらに詳細に検討することになる。しかし全体的に、セグメント化プロセスは、画像データの入力で始まる。画像データは、コンピュータ断層撮影画像データ、磁気共鳴画像データ、Ｘ線コーンビーム画像データなど、任意の適切な画像データを含んでもよい。さらに、撮像装置は、本明細書で検討するように、Ｏ−ａｒｍ（登録商標）撮像システムなどの任意の適切な撮像装置とすることができる。Ｏ−ａｒｍ（登録商標）撮像システムは、被検者の周りで３６０度の画像データを取得し、２Ｄ画像データ、および／または２Ｄ画像データに基づく３Ｄ再構成を含むように構成されてもよい。さらに、Ｏ−ａｒｍ（登録商標）撮像システムは、Ｘ線コーンビームを用いて画像を生成してもよい。

[0047]ブロック１０４において、画像データは、２Ｄ画像データ、または２Ｄ画像データから再構築された３Ｄモデルを含んでもよい。２Ｄ画像データまたは再構築された３Ｄ画像データは、撮像システム２４などの撮像システムから得られてもよい。撮像システム２４は、上で検討したように、Ｏ−ａｒｍ（登録商標）撮像システムを含んでもよい。撮像システム２４は、複数の２次元画像データを生成してもよく、これらのデータを使用して、椎骨２０ｖのうちの１つまたは複数を含む被検者２０の３次元モデルが再構築されてもよい。また入力画像データは、図１に具体的に示してあるように、手術室においてではなく、診断中または計画段階など、任意の適切なタイミングで取得されてもよい。それでも、被検者２０の画像データは、撮像システム２４を用いて取得されてもよく、ブロック１０４において入力またはアクセスされてもよい。

[0048]撮像システム２４を用いて取得された画像データは、椎骨２０ｖなどの画像部分の様々な境界を識別するのが難しい選択された画像品質のものである場合がある。それでも、本明細書においてさらに検討するように、ニューラルネットワークを使用して、撮像部分の境界を自動的に識別して、画像データがセグメント化されてもよい。

[0049]ブロック１０４からの画像データは、ブロック１０６において、ニューラルネットワークまたは人工ニューラルネットワークなどの選択されたシステムを用いて処理されてもよい。人工ニューラルネットワーク（ＡＮＮ）は、畳み込みニューラルネットワーク（ＣＮＮ）など、選択された適切なタイプの人工ニューラルネットワークであってもよい。ＣＮＮは、ブロック１０４からの入力画像データを分析して、画像データの選択された部分をセグメント化するように教育されてもよく、またはそのように学習してもよい。たとえば、上で検討したように、ブロック１０６のＣＮＮを使用して、ブロック１０４からの画像データにおいて椎骨本体の境界が識別されてもよい。上で検討したように、椎骨本体の境界は、単体でおよび／または画像３０と組み合わされて、表示装置３２に表示されてもよい。したがって、ブロック１１０において、セグメント化された画像データの出力、またはセグメント化されたデータの出力がおこなわれる。出力されたセグメント化済みデータは、ナビゲーションメモリ７４またはセグメント化済み画像メモリ１１２（図１を参照）など、選択されたメモリシステムに記憶されてもよい。出力されたセグメント化済み画像データは、上で検討したように、椎骨２０ｖなどの選択された部分を、様々な目的のためにセグメント化してもよい。

[0050]したがって、フローチャート１００は、ブロック１０２で開始することができ、次いでブロック１０４において画像データにアクセス、またはそれを入力して、ブロック１１０においてセグメント化済み画像データ（および／またはセグメント化マスク）を出力し、ブロック１１４において、セグメント化済み画像データを表示または記憶することができる。次いでこのプロセスは、本明細書においてさらに検討するように、ブロック１１８において終了してもよく、かつ／またはさらなる処理またはワークフローを可能にしてもよい。しかし、フローチャートまたはプロセス１００の選択された部分は、上に検討したものに加えて複数の追加ステップを含んでもよいことが理解される。たとえば、ＣＮＮを進化させてもよく、次いでブロック１０４からアクセスまたは入力される画像データの選択された部分を効率的にかつ／または高速にセグメント化できるように、ＣＮＮが教育されてもよい。セグメント化は、椎骨を識別するなど、専用のものであってもよく、または選択された境界を識別する、もしくは画像データのコントラストを変更するなど、汎用のものであってもよい。

[0051]図３を参照すると、上で簡単に検討し、本明細書においてさらに検討するように、ブロック１０６において使用されるＣＮＮを進化させてもよく教育してもよい。このＣＮＮは、参照により本明細書に組み込まれるＯｚｇｕｎ Ｃｉｃｅｋ、Ａｈｍｅｄ Ａｂｄｕｌｋａｄｉｒ、Ｓｏｅｒｅｎ Ｓ． Ｌｉｅｎｋａｍｐ、Ｔｈｏｍａｓ Ｂｒｏｘ、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒの「３Ｄ Ｕ−Ｎｅｔ： Ｌｅａｒｎｉｎｇ Ｄｅｎｓｅ Ｖｏｌｕｍｅｔｒｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｆｒｏｍ Ｓｐａｒｓｅ Ａｎｎｏｔａｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ、Ｓｐｒｉｎｇｅｒ、Ｃｈａｍ、ｐｐ．４２４−４３２（２０１６）（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６０６．０６６５０．ｐｄｆ（２０１６））に開示されているものなど、一般に知られている畳み込みニューラルネットワークに基づいている。画像データを分析し、人工ニューロンの励起を生じさせて、選択された学習済み部分の判定または計算を新規入力においておこなうことによって、ＣＮＮは、画像の選択された部分を効率的に識別するように進化してもよい。したがって、本明細書においてさらに検討するように、ブロック１０４からの入力画像データは、ＣＮＮの教育に基づき、ブロック１０６においてＣＮＮを用いて分析または処理されてもよい。

[0052]引き続き図３を参照すると、ＣＮＮは全体的に、ブロック１０４でアクセスされる画像データなどの画像データにおいて画像特徴を識別するように、ＣＮＮを教育することができる。たとえば、選択された次元のカーネルＫまたはフィルタが、ＣＮＮによって事前に定義および／または学習されてもよい。次いで、フィルタを１度に１ピクセルまたは１ボクセル移動させるなどして、カーネルまたはフィルタＫが段階的に画像Ｉに適用されてもよい。フィルタＫは、層状に配置され相互接続された数百または数千のフィルタから構成されることがあるＣＮＮのうちの単一の成分である。本明細書において検討するように、第１の層のフィルタは、画像Ｉに対して動作し、次の層のフィルタは、前の層の出力に対して動作する。すなわち、図３に示すように、選択されたサイズのカーネルＫが、１ピクセルまたは１ボクセルなど、選択された次元で段階的に、画像全体にわたって動かされてもよい。フィルタＫは、画像の選択された部分または「関心」部分を識別するように学習してもよく、使用されてもよい。図３に示すように、フィルタまたはカーネル（Ｋ）が、画像（たとえば２次元画像）に適用される。次いで、積または積和（カーネルＫと画像Ｉの一部分のドット積など）が、さらなる層のために畳み込み積マトリックスＩ＊Ｋとして保存または記憶されてもよい。フィルタのサイズおよび選択されたストライドを考慮すると、積マトリックスは入力よりも小さい次元を持つことになる。２次元での和は、式１（式１）によって示され、または定義される。

式１は、選択されたアレイの画像データＩを含む（すなわち、ピクセルまたはボクセルを含む）。Ｋは、フィルタが高さおよび幅を有する場合の（すなわち、２次元画像データに関する２次元カーネルにおける）カーネルまたはフィルタを表し、畳み込みマトリックスの出力Ｉ＊Ｋは、式１による入力画像ＩとカーネルＫの和ドット積である。

[0053]本明細書においてさらに検討するように、畳み込みは、入力画像上でカーネルを移動させて活性化マップを生成することを含み、Ｉ＊Ｋはその一部である。図３および図４に示してあるように、活性化マップ層は、各フィルタを画像に適用することによって形成される。次いで、ＣＮＮによって学習されてもよい複数のフィルタが重ねられて、入力画像データのセグメント化を生成する（たとえば３次元画像データの）出力ボリュームが生成されてもよい。こうして、ＣＮＮは、画像データのセグメント化を含むまたはそのセグメント化である３次元（３Ｄ）出力画像またはモデルを出力してもよい。

[0054]選択された画像の効率的なセグメント化を判定し生成するのを支援するための、当技術分野で知られている特徴、および／または追加的な特徴を含む様々な特徴が、ＣＮＮに組み込まれてもよい。たとえば、連結性の量は、選択されたフィルタまたはカーネルのサイズに等しい局所的連結性を含んでもよい。カーネルサイズは、入力画像の解像度、選択された処理スピードなどに基づき選択されてもよいことが理解される。様々な実施形態では、カーネルサイズは、ピクセル寸法などのサイズが約３×３×３になるように選択されてもよい。しかし、異なるカーネルサイズが選択されてもよいことが理解される。

[0055]出力のサイズも、出力ボリュームを選ぶまたは選択するように選択された様々なパラメータに応じて異なってもよい。たとえば、様々なパラメータは、深さ、ストライド、およびゼロパディングまたは任意の適切なパディングを含んでもよい。深さは、層内で畳み込まれる個別の異なるカーネルの数を含む。たとえば、図３に示すように、カーネルは、選択された畳み込み演算のアレイ（すなわち、１またはゼロのアレイ）を含む。異なる演算アレイをカーネルが含むＣＮＮの各層に、複数の異なるフィルタが適用されてもよいことが理解される。ストライドとは、１ステップごとに入力画像内でフィルタが動く量を決める要素（たとえば、ピクセル、ボクセル、または他の選択された画像要素）の数を指す。画像内でのカーネルのストライディングに起因して出力画像のサイズが小さくなるのを補うために、任意の特定の層において、パディングがさらに入力画像に加えられてもよい。図３に示すように、１ピクセルに等しいストライドでカーネルを移動させると、出力マトリックスが２ピクセル寸法だけ小さくなる（たとえば、ストライド１でカーネル３×３を有する入力７×７は、５×５のマトリックスを出力することになる）入力をパディングしてゼロの画像データまたはピクセルを増やすことによって、ボリュームまたは画像の入力サイズに等しくなるように出力サイズを維持することができる。

[0056]ＣＮＮでは、上で検討したように、フィルタのサイズおよびフィルタの特徴を含む畳み込みに加えて、さらなる演算が発生してもよい。たとえば、ＣＮＮでは、プーリング層を加えて出力をダウンサンプリングしてもよい。たとえば、最大プーリングなどのプーリング演算は、パラメータの数を低減し、過剰適合を低減または制御しようとしてもよい。最大プーリングは、フィルタサイズ内の最大ボリューム（たとえば、ピクセルまたはボクセルの最大値）だけを識別または選択して出力してもよい。たとえば、最大プーリングフィルタは、２×２のフィルタを含んでもよく、これが、２次元画像などの選択された寸法に沿って、ストライド２で２次元画像に適用される。最大プーリングは、フィルタ領域から出力までの最大値のピクセルだけを取る。

[0057]また、追加的な演算は、参照により本明細書に組み込まれるＳｅｒｇｅｙ Ｉｏｆｆｅ、Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：Ａｃｃｅｌｅｒａｔｉｎｇ Ｄｅｅｐ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ ｂｙ Ｒｅｄｕｃｉｎｇ Ｉｎｔｅｒｎａｌ Ｃｏｖａｒｉａｔｅ Ｓｈｉｆｔ」、ＩＣＭＬ、２０１５（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５０２．０３１６７（２０１５））に記載されているものなどのバッチ正規化を含んでもよい。バッチ正規化は、最初の層または各畳み込み層の後など、ＣＮＮの選択された点または層において適用されてもよい。バッチ正規化は、訓練の開始点など、訓練の選択された点において、単位ガウス分布などの選択された分布を実現するために、ＣＮＮ全体にわたって活性化を生じさせてもよく、またはそれを生じさせることになる。バッチ正規化により、ネットワークの深さを増大させ、訓練を加速し、初期化に堅牢性を与えることができる。

[0058]層内のニューロンからの出力は、加重和を計算することを含んでもよく、次いで、活性化関数にバイアスを加えることが、入力およびバイアスに適用されて、出力が生成される。ニューロンまたは層の出力からの重みが、さらに分析されてもよく、またはＣＮＮに組み込まれてもよい。選択された出力を実現するために、ニューロンからの出力は、重み付き損失関数を有して、ニューロンの選択された活性化関数の影響を活性化する、または低減するのを支援してもよい。重み付き損失関数は、ある特定の特性、たとえば物体の境界と非境界などに基づき、異なるラベルに異なる重要度を与える。

[0059]ニューロンからの出力は、ソフトマックス活性化関数である出力層の関数を除き、正規化線形関数である活性化関数を含む。活性化関数は、ソフトマックス関数、または当技術分野で一般に知られている正規化指数関数などの関数を含んでもよい。正規化線形関数は、ｆ（ｘ）＝ｍａｘ（０，ｘ）として一般に定義される関数である。したがって、正規化線形関数は、正規化線形活性化関数が選択された閾値よりも大きいときに、ＣＮＮにおいてニューロンの活性化を実現することができる。正規化関数では、関数の正の成分だけが閾値と比較される。出力層では、出力確率マップが、３５％などの選択された閾値確率を上回る場合に、選択された物体として識別された、入力画像の選択された部分のマスクまたは輪郭（ラベルとも呼ばれ、たとえば椎骨またはその一部分）が判定される。様々な実施形態では、選択された物体として識別される、入力画像の一部分のマスクまたは輪郭は、選択された閾値または単なる選択された閾値とは異なり、最高の確率を有するラベルである。

[0060]３次元画像のカーネルは、高さ、幅、および深さを含んでもよい。次いで、上述したように、カーネルまたはフィルタが画像に引き継がれて、ニューロンが活性化しているかどうかが判定され、その活性化の有無に基づき活性化マップが生成されてもよい。次いで、エッジまたは他の識別された部分など、選択された特徴に基づき活性化するように、フィルタまたはカーネルＫが判定または構築されてもよい。現在のシステムでは、上で検討したように椎骨の輪郭などの選択された部分またはゴールドスタンダードの部分を識別するフィルタまたはカーネルをＣＮＮに教え込むために、ゴールドスタンダード、または画像セットの学習が使用されてもよい。画像データ上でフィルタを移動させる際に、フィルタまたはカーネルＫに基づき画像データを畳み込むまたは評価することが知られている。

[0061]畳み込み層およびダウンサンプリング層に加えて、逆畳み込み層が適用されてもよい。逆畳み込み層は、最終的なセグメント化マップを元の画像の解像度にアップサンプリングするために適用される。様々な実施形態では、逆畳み込み層は、スパースな活性化を密にしてもよい。また逆畳み込み層は、参照により本明細書に組み込まれるＡ ｇｕｉｄｅ ｔｏ ｃｏｎｖｏｌｕｔｉｏｎ ａｒｉｔｈｍｅｔｉｃ ｆｏｒ ｄｅｅｐ ｌｅａｒｎｉｎｇ、Ｖ Ｄｕｍｏｕｌｉｎ、Ｆ Ｖｉｓｉｎ − ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０３．０７２８５、ａｒｘｉｖ．ｏｒｇ（２０１６）に記載されているように、転置畳み込みと呼ばれてもよい。

[0062]上記に照らし、図３を参照すると、ＣＮＮネットワークアーキテクチャが図３に概略的に示してある。ＣＮＮの概略的なアーキテクチャ１５０は、選択された学習済みフィルタにより画像を最初に畳み込み分析するためのものであるエンコーダの部位または部分を含むように、例示的に示されている。次いで畳み込まれたデータは、その後の逆畳み込みを使用して拡張またはデコードされて、完全な解像度の出力１５４が生成されてもよい。上で検討したように、画像入力１０４は、ＣＮＮおよび訓練済みモデルを生成するための（すなわち、ゴールドスタンダードまたはユーザ指定の境界を入力するときの）入力であってもよく、かつ／または画像データ内の様々な部分を識別するためにセグメント化を試みられることになる画像データに関連してもよく、これについては本明細書においてさらに検討する。図４では、概略的なアーキテクチャは、複数の層を含む深層学習ＣＮＮを示す。

[0063]引き続き図４を参照すると、３×３×３のフィルタの畳み込みまたは１つもしくは複数の畳み込み（たとえば２つの畳み込み）によって、入力データ１０４が最初に引き込まれ、または分析されてもよい。畳み込みの後、（上で検討した）バッチ正規化が適用され、そして正規化線形関数が適用されてもよい。これは最初にプロセス１５２において適用されてもよく、３２個のフィルタを用いて第１の分析ブロック１６０を生成してもよい。プロセス１６１は、プロセス１５２と同じステップを含んでもよく、６４個のフィルタを用いて第２の分析ブロック１６４を生成してもよい。第１の残余ブロック１７４にストライド２で２×２×２の最大プーリングを適用することによって、最大プーリングのステップ、すなわちプロセス１７０が実行される。次いで、第１の残余ブロック１７４は、プロセス１７６において適用される２つの畳み込み、バッチ正規化、および正規化線形関数を有して、第３の分析ブロック１８０が生成されてもよい。次いで第３の分析ブロック１８０は、プロセス１８２において再び３×３×３の２つの畳み込みを有し、それに続いてバッチ正規化、および正規化線形関数を有して、第４の分析ブロック１８６が出力されてもよい。第１の残余ブロック１７４の追加のプロセス１８８が、第４の分析ブロック１８６に加えられる。これにより、第２の残余ブロック１９２が生成されてもよい。

[0064]最大プーリングのプロセスまたは演算１９０は、第２の残余ブロック１９２に対して実行され、次いで追加層において、第２の残余ブロック１９２が、プロセスステップ１９６において３×３×３の２つの畳み込みによって畳み込まれて、第５のブロック２００が生成される。再び、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数のプロセス２０４が第５のブロック２００に対して実行されて、第６のブロック２０４が生成され、その後再び、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数がプロセス２０８において実行されて、第７のブロック２１２が形成される。追加プロセス２１６において、第７のブロック２１２に第５のブロック２００が加えられてもよい。第７のブロック２１２に、最大プーリングプロセス２１４が適用されて、第３の最大プーリング済みブロック２２０が出力される。

[0065]第３の最大プーリング済みブロック２２０は、プロセス２２２において３×３×３の２つの畳み込みを用いて畳み込みされて、第８のブロック２２４が形成されてもよい。次いで第８のブロック２２４は、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数のプロセス２２６を有して、第９のブロック２２８が形成されてもよい。第９のブロック２２８も、プロセス２３２で適用される３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数を有して、第１０のブロック２４０が形成されてもよい。第８のブロック２２４が、追加プロセス２４２において残余として第１０のブロック２４０に加えられる。

[0066]統合プロセスでは、第１０のブロック２４０が、逆畳み込みプロセス２４６において逆畳み込みされ、プロセス２４８において第７のブロック２１２が連結されて、第１の統合ブロック２５０が形成される。次いで第１の統合ブロック２５０も、それに適用される３×３×３の２つの畳み込み、バッチ正規化、および正規化線形層のプロセス２５４を有して、第２の統合ブロック２５８が生成されてもよい。再び、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数のプロセス２６０がおこなわれて、第３の統合ブロック２６２が生成されてもよく、これに対して、逆畳み込みプロセス２６６が適用されて、第４の統合ブロック２６８が生成され、これに対して連結プロセス２７２において、第４の分析ブロック１８６が加えられる。

[0067]次いで、第４の分析ブロック１８６と第４の統合ブロック２６８の組合せが、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数のプロセス２７４を有して、第５の統合ブロック２７６が生成される。第５の統合ブロック２７６は、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数の活性化プロセス２７８を有して、第６の統合ブロック２８２が生成される。第６の統合ブロック２８２は、逆畳み込みプロセス２８４において逆畳み込みされて、第７の統合ブロック２８８が形成され、これに対して、連結プロセス２９２により第２の分析ブロック１６２が連結される。次いでこの組合せブロックにさらに、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数のプロセス２９６が適用されて、第８の統合ブロック３００が形成され、３×３×３の２つの畳み込み、バッチ正規化、および正規化線形関数のプロセスであるプロセス３０６の後で、第９の統合ブロック３０４が生成される。

[0068]最後に、１×１×１の畳み込みプロセス３１０が第９の統合ブロックに適用される。畳み込みプロセス３１０は、上で検討したようにソフトマックス活性化を含んでもよい。プロセス３１０は出力１５４を生成し、これは、図２に示すように、セグメント化済みの出力画像データ１１０であってもよい。出力は、プロセス３１０においてソフトマックス活性化により実現することができる２つのチャネルなど、選択された数のチャネルを含んでもよい。さらに、出力１５４は、ユーザ１２が見られるように表示することができる３Ｄモデルまたは画像を含んでもよい。さらに、図４に示すように、各演算において適用されるフィルタの総数が示され、ＣＮＮ１５０については総数おそらく２，４００個を含んでもよい。しかし、適切な選択された数のフィルタは、２，４００個とは異なってもよく、約１００個〜約２０，０００，０００個を含んでもよいことが理解される。したがって、本明細書においてさらに検討するセグメント化などのために、効率的で高速のＣＮＮ１５０を実現するものとして、本明細書では２，４００個のフィルタが開示される。

[0069]次いで、図４に示す概略的なアーキテクチャが、訓練および／もしくは試験、または選択された画像のセグメント化に適用されてもよい。様々な実施形態において、図５を参照すると、訓練段階プロセス３５０が示される。訓練段階プロセス３５０は入力でスタートしてもよく、画像データ３５２を含んでもよく、このデータは、ブロック１０４において上で検討した画像データなどの適切な画像データであってもよい。入力はさらに、バイナリセグメント化マスク３５６などのセグメント化マスクを含んでもよい。セグメント化マスク３５６は、ゴールドスタンダード、またはユーザが決定したセグメント化など、標準的なセグメント化であってもよく、または訓練データのセグメント化であってもよい。たとえば、バイナリセグメント化マスクは、椎骨２０ｖを含む椎骨などの選択された構造のユーザ（たとえば、外科医など訓練された専門家）セグメント化を含んでもよい。

[0070]画像データ３５２およびマスク３５６を含む入力後、選択された事前処理を含む選択されたステップが発生してもよい。たとえば、ブロック３６０の任意選択のリサイズステップが発生して、画像データを適切なまたは選択されたサイズにリサイズしてもよい。様々な実施形態では、ボクセルが、約１．５ｍｍ×１．５ｍｍ×１．５ｍｍなどの特定の解像度にリサンプリングされてもよい。さらなる事前処理は、ブロック３６４においてゼロパディングを含んでもよい。上で検討したように、ゼロパディングは、ＣＮＮプロセス後、またはＣＮＮプロセス中に、画像サイズが達成されることを保証できるようにするとともに、選択された拡張により、画像の境界内にあるすべての画像データが維持されるのを保証できるようにしてもよい。

[0071]また選択された拡張は、ブロック３６８において画像データに選択的に適用されてもよい。ブロック３６８の拡張は、入力データの拡張など選択された拡張であってもよく、これはオンラインとオフラインの両方であってもよく、またはそのうちの１つのみであってもよい。選択されたオフライン拡張は、選択された軸に沿って、選択された倍率により画像をランダムに拡大縮小することを含んでもよい。倍率は、約０．９〜約１．１を含んでもよいが、他の適切な倍率を含んでもよい。さらに、画像は、選択された軸を中心として選択された量でランダムに回転されてもよい。この場合も、選択された量の回転は、約−１０度〜約＋１０度などを含んでもよい。オンライン拡張は、異なる軸に沿って画像をランダムに裏返すこと、または画像チャネルを転置することを含んでもよい。ブロック３６８における拡張は、画像データセット自体によって提供されるものよりも高い入力画像データ３５２の変動性を提供することによって、ＣＮＮの訓練を支援してもよい。上で検討したように、また当技術分野では一般に知られているように、ユーザから追加の入力なしに画像データ内で椎骨の境界をセグメント化することなど、選択された特徴の自動検出を可能にするフィルタを、ＣＮＮに生成させることが、試みられる。したがって、最初の画像データによって提供されるものよりも、よりランダム化された、またはさらに高度にランダム化されたデータを含めることにより、ＣＮＮは、適切なフィルタをよりよく学習することができ、またはより効率的に学習することができる。

[0072]次いで、ブロック２７２において画像データが正規化されてもよい。画像データの正規化では、ゼロ平均および単位分散を有するように変数が標準化される。これは、平均を引き、次いで変数をそれらの標準偏差で割ることによって実行される。

[0073]ブロック３８０において、クロッピング、またはパッチごとのプロセスがおこなわれてもよい。訓練時間の短縮、必要メモリの低減、および／またはより細かい粒度の詳細学習など、選択された結果を実現するための様々な実施形態では、選択されたクロッピングがおこなわれてもよい。たとえば、選択されたサイズの画像データが、半分などにクロッピングされて、一度に訓練される画像の量が低減されてもよい。ブロック３５６のセグメント化マスクの対応する部分もクロッピングされ、ブロック３８０の画像およびマスクに提供される。次いでクロッピングされた部分が組み合わされて、最終的な出力が達成される。また、ブロック３８０のクロッピングのプロセスは、選択された画像データセットを用いた分析および／または訓練に必要なメモリも少なくすることができる。

[0074]次いで、クロッピングされているかどうかに関わらず、プロセス３８０からの画像データが、ブロック３８４においてＣＮＮに入力されてもよい。次いでブロック３８４のＣＮＮが、たとえば図４において上で検討したように、出力１５４を実現するためのフィルタを判定するように作用してもよい。図５に示すように、出力１５４は、確率マップ３８８および訓練済みモデル３９０を含んでもよい。確率マップ３８８は、入力画像内の選択された部分、ラベル付けされた部分、または輪郭描写された部分、たとえば椎骨、椎骨の一部分、スクリュー、または他の選択された部分に属する各ボクセル、または他の選択された画像要素の確率である。入力画像は、椎骨、複数の椎骨、スクリューなどの様々な選択可能な部分を含んでもよいことが、当業者には理解される。閾値確率は、様々な実施形態において、選択された画像部分が選択された部分またはラベルであることを識別もしくは判定するように選択されてもよい。しかし、閾値が必要とされず、確率マップは、セグメント化のために、選択された確率を出力において出力してもよいことが理解される。

[0075]訓練済みモデル３９０は、上で検討したカーネルＫとして適用されてもよい定義済みフィルタを含み、確率マップ３８８に基づいてもよい。同じく上で検討したように、定義済みフィルタは様々な層で使用されて、画像の重要なまたは有意な部分を識別して、画像のセグメント化など様々な目的を可能にする。したがって、訓練済みモデル３９０は、入力画像３５２およびバイナリセグメント化マスク３５６に基づき訓練されてもよい。次いで訓練済みモデルが、ナビゲーションメモリ７２を含むメモリシステムなどに記憶または保存され、画像メモリ１１２および／またはナビゲーションメモリ７４などにおいてさらにアクセスまたは実装されてもよい。訓練プロセス３５０は、パディングの量、または選択されたボクセルサイズなど、様々な入力を含んでもよいが、ナビゲーションプロセッサシステム７０など、選択された命令を実行するプロセッサシステムによって概ね実行される。たとえば、ブロック３８４におけるＣＮＮの訓練および訓練モデル３８４は、実質的にプロセッサシステムによって実行されてもよい。

[0076]しかし、訓練済みモデルは、選択されたタイミングでアクセスされ使用されることになる別個のメモリおよび／または処理システムに提供されてもよいことが理解される。たとえば、訓練済みモデルは、手順の計画段階中、および／または埋込み手順中に被検者２０が手術室にいるときの手順中に使用されてもよい。

[0077]さらに図５を参照しながら、図６を参照すると、訓練段階３５０から得られる訓練済みモデル３９０は、セグメント化段階４００において、被検者２０の画像などの画像のセグメント化を判定しようとするときの入力として使用されてもよい。したがって、様々な実施形態によれば、被検者の画像データ４０２は、訓練済みモデル３９０とともに入力されてもよい。上で検討したように、画像データ４０２および訓練済みモデル３９０を入力することは、上で検討したものなどの選択されたメモリに記憶された画像データと訓練済みモデルの両方に、ナビゲーションプロセッサシステム７０を含むプロセッサシステムのうちの１つまたは複数からアクセスすることを含んでもよい。

[0078]画像データ４０２は、訓練段階３５０の間に事前処理される画像データと同様のやり方で事前処理されてもよい。たとえば、画像データ４０２は、訓練済みモデル３９０が訓練されるのと同じやり方で事前処理される。上で検討したように、様々な事前処理ステップは任意選択であり、訓練段階中に画像データ３５０に対して実行されてもよい。セグメント化段階４００の間、画像データ４０２は同様のやり方で選択的に事前処理されてもよく、またはそのように事前処理される。したがって、画像データ４０２は、ブロック３６０’においてリサイズされてもよく、ブロック３６４’においてゼロパディングが加えられてもよく、ブロック３７２’において画像データが正規化されてもよい。様々な事前処理ステップが選択されてもよく、訓練段階３５０の間に実行される場合には、セグメント化段階４００の間に選ばれてもよいことが理解される。セグメント化画像データは、訓練画像データと同じタイプである。

[0079]ブロック３６０’、３６４’、および３７２’において適切な事前処理が実行された後、画像データ４０２は、ブロック４１０において分割またはクロッピングされてもよい。ブロック４１０において画像を分割することも任意選択であり、処理時間、メモリの利用可能性、または他の適切な特徴に基づき選択されてもよい。それでも、画像４０２は、選択された軸に沿ってなど、選択されたやり方で分割されてもよい。セグメント化がおこなわれると、次いで事後処理ステップ４１４などにおいて、画像データが併合されてもよい。

[0080]選択されたとおりに画像データが事前処理されると、学習済みの重みおよび／またはフィルタを有するＣＮＮ３８４を使用して、画像データ４０２がセグメント化されてもよい。ＣＮＮ３８４による画像データ４０２のセグメント化は、出力４２２における確率マップ４１６およびバイナリセグメント化マスクなどの選択されたマスクを含む出力４２０を生成してもよい。出力４２０は、椎骨２０ｖまたは他の選択された特徴など、セグメント化された部分の選択された幾何学的形状の識別であってもよい。選択された特徴および重みを教育されたまたは学習したＣＮＮ３８４は、椎骨などの画像データの部分をセグメント化してもよい。

[0081]出力４２０において、確率マップ４１６は、脊椎、椎骨、複数の椎骨、スクリューなどの選択されたラベルもしくは部分に属する各ボクセル、または画像の他の要素もしくは部分の確率である。バイナリセグメント化４２２は、閾値よりも大きい確率を有するボクセルまたは他の画像部分をすべて選択することにより、確率マップ４１６から生成される。閾値は、約３５％を含め約３０％〜約９９％など、任意の選択された量であってもよい。しかし、確率マップ４１６に基づきバイナリセグメント化４２２を実行するために、閾値は必要とされなくてもよいことがさらに理解される。

[0082]セグメント化プロセス４００は、パディングの量、または選択されたボクセルサイズなどの様々な入力を含んでもよいが、ナビゲーションプロセッサシステム７０など、選択された命令を実行するプロセッサシステムによって概ね実行される。たとえば、ブロック３８４におけるＣＮＮを用いたセグメント化、およびブロック４２０における出力セグメント化は、実質的にプロセッサシステムによって実行されてもよい。したがって、セグメント化プロセス４００またはそのかなりの部分は、選択された命令を実行するプロセッサシステムを用いて実質的に自動で実行されてもよい。

[0083]次いで出力４２０は、撮像メモリ１１２および／またはナビゲーションメモリ７４などの選択されたメモリに記憶されてもよい。本明細書においてさらに検討するように、様々な実施形態では、セグメント化出力４２０は、様々なワークフローで使用するためにナビゲーションメモリ７４に保存されてもよい。さらに、出力は、セグメント化された椎骨の幾何学的形状を表す１つまたは複数のアイコンなどのグラフィカル表示として出力されてもよい。図１に示してあるように、セグメント化された部分は、単体で表示されてもよく、または椎骨アイコンまたはマスク２０ｖｉ’および２０ｖｉｉ’などの画像３０に重ねられてもよい。任意の適切な数のセグメント化がおこなわれてもよく、図１の２つの椎骨の図は単なる例示であることが理解される。たとえば、画像データ４０２は、脊椎全体であってもよく、または被検者２０のすべての椎骨であってもよい。したがって、セグメント化マスクは、それぞれの椎骨の識別を含んでもよい。さらに、セグメント化は３次元セグメント化であってもよく、それにより、椎骨の全体的な３次元の幾何学的形状および構成が出力４２０において判定されてもよく、ディスプレイ３２で示すことなどの様々な目的のために使用されてもよいことが理解される。

[0084]図１に示してあるように、ナビゲーションシステム１０は、被検者２０に対して手順を実行することなど、様々な目的のために使用されてもよい。様々な実施形態では、この手順は、埋入物を被検者内に位置決めすること、たとえば椎骨２０ｖのうちの１つまたは複数などの被検者２０の体内に椎弓根スクリューを固定することなどを含んでもよい。この手順を実行する際、ツール１６は、スクリューなどの埋入物とすることができる。埋入を実行するため、または埋入物を配置するために、被検者２０の軟組織にカニューレを通す、椎骨２０ｖに穴を開ける、椎骨２０ｖの穴にタップを切る、または他の適切な手順など、様々な準備ステップが必要になりうることが理解される。さらに、この手順の様々な部分を実行するために使用されるアイテムのいずれかが、ツール１６であってもよく、またツール１６は埋入物であってもよいことが理解される。これらの部分のいずれか（たとえば埋入物、またはツール、または器具）が、関連する追跡システムで、たとえば同時にまたは順番に追跡され、ナビゲーションシステム１０でナビゲーションされてもよい。ナビゲーション中、ナビゲーションシステム１０は、ツール１６の一部分をアイコン１６ｉとしてディスプレイ３２に表示してもよい。同様に、他の器具が、器具１６と同時にナビゲーションされてもよく、それにより器具１６は、複数の器具を含んでもよく、ユーザ１２からの指示などの指示により、すべてまたは１つが、個々にまたは複合的に表示装置３２に表示されてもよい。

[0085]したがって、ナビゲーションシステム１０は、ユーザ１２が被検者２０に対して手順を実行するために使用されてもよい。さらに、ナビゲーション処理ユニット７０を含むナビゲーションシステム１０は、被検者２０に対して手順を実行するため、またはユーザ１２が被検者２０に対して手順を実行するのを支援するために、ナビゲーションメモリ７４などの選択されたメモリに記憶された命令を実行してもよい。図７Ａおよび図７Ｂに示してあるものなど、様々な実施形態によれば。図７Ａおよび図７Ｂに示してあるように、ワークフロー図４５０は様々な特徴およびステップを含み、これらの特徴およびステップはユーザによって、もしくはユーザ１２の指示で実行されてもよく、かつ／または、ユーザ１２の命令に基づき、もしくは前のステップに照らして、ナビゲーションプロセッサシステム７０を含むプロセッサシステムによって命令を実行することにより、実質的に自動で実行されてもよい。

[0086]ワークフロー４５０は、ブロック４５６においてＯ−ａｒｍ（登録商標）撮像システムなどの撮像システム２４を操作して、ブロック４６０において被検者の画像スキャンまたは画像データを取得することを含むデータ取得またはデータアクセスのステップまたは部分を含んでもよい。次いで接続または通信４６２を介して画像データにアクセスされてもよく、または画像データが受信されてもよい。図２に関連して上で検討したように、画像データはブロック１０４においてアクセスされてもよい。ブロック１０４において画像データなどのデータにアクセスすること、またはそれを入力することは、プロセッサがデータにアクセスすること４６２と同様または同じであってもよい。同様に、本明細書においてさらに検討するように、画像データは、図６に示す自動セグメント化プロセス４００などを用いて分析およびセグメント化されてもよい。いずれにせよ、画像データ４６０は、ナビゲーションプロセッサシステム７０によって取得またはアクセスされて、ワークフロー４５０を含むワークフローをおこなうことが可能になってもよい。ワークフロー４５０はさらに、画像データ４６０を分析することおよび／または手順の一部分を実行することを含む自動または半自動のワークフロー部分４７０を含んでもよい。

[0087]上で検討したように、プロセス４６２は、選択されたナビゲーションプロセッサシステム４７０に従って、ブロック４６０からの画像データを、ナビゲーションプロセッサシステム７０によって使用できるようにする。手術ナビゲーションシステム４７０は、いずれかの（たとえば、所定のアルゴリズムに従って命令を実行するプロセッサ、深層学習またはニューラルネットワークシステムを実行するプロセッサシステムなどによって実行される）完全に自動の部分、または手動入力と自動判定の組合せである部分を含んでもよい。本明細書においてさらに検討するように、様々な要素または部分は、手動部分を含んでいると識別されない限り、実質的に自動とすることができる。しかし、本明細書においてさらに検討するように、手動部分が含まれなくてもよいことが理解される。

[0088]手術ナビゲーションプロセス４７０では、ブロック４７４において、ナビゲーションシステム１０が開始またはスタートされてもよい。ブロック４７４においてナビゲーションシステムをスタートすることは、ユーザ１２がナビゲーションシステム１０をオンにする、またはスタートさせることなどにより、実質的に手動であってもよい。しかし、ナビゲーションシステム１０はまた、手術室などの選択された場所に入るときなどに、実質的に自動で始まってもよいことが理解される。ブロック４７４においてナビゲーションシステムを開始またはスタートした後に、ブロック４７６において外科医の選択がおこなわれてもよく、ブロック４７８において手順の選択がおこなわれてもよい。ブロック４７６における外科医の選択は、任意選択であってもよいことが理解される。それでも、ナビゲーションメモリ７４は、ユーザ１２など個々の外科医に固有の、選択され保存された外科医の基本設定および／または動作を有していてもよい。したがって、ブロック４７６において外科医を選択することにより、ナビゲーション処理ユニット７０がメモリ７４にアクセスして、ブロック４７６において外科医の選択に基づき、ユーザ１２向けの基本設定を選択または判定してもよい。特定の外科医は、以下の項目、すなわち選択された手順のために準備すべき特定の器具、選択された解剖学的構造に適した埋入物のサイズなどのうちの１つまたは複数を強調することができる基本設定を有してもよい。たとえば様々な実施形態では、選択された外科医は、椎骨の境界から３ｍｍのクリアランスを有する椎弓根スクリューなどの埋入物を含めることを選択することがあり、一方別の外科医は、５ｍｍのクリアランスを有する椎弓根スクリューを含めることを選択することがある。したがって、識別された基本設定を有する選択された外科医は、プロセス４７０を実行する際にプロセッサシステムによって使用されて、ナビゲーション中に器具が選択されかつ／または選択された器具が識別されてもよい。

[0089]ブロック４７６において外科医を選択し、ブロック４７８において手順を選択することは、ナビゲーション処理ユニット７０への入力７２または任意の適切な手動入力７２を使用するなど、実質的に手動入力であってもよい。ユーザ１２は、ブロック４７６における外科医の選択と、ブロック４７８における手順の選択の両方を手動で入力してもよく、またはブロック４７６および４７８における選択がおこなわれるように指示してもよいことが理解される。それでも、ブロック４７６における外科医の選択と、ブロック４７８における手順の選択は、実質的に手動であってもよいことが理解される。

[0090]ナビゲーションプロセス４７０は、ブロック４７８で選択された手順またはブロック４７６で選択された外科医のうちの一方または両方に基づき、器具セットを自動的に提案してもよい。ブロック４８２において器具セットを自動的に提案することは、器具ツール、埋入物などを選択すること、または提案することを含んでもよい。たとえば、椎弓根スクリューの配置に関しては、ナビゲーションプロセス４７０は、器具（たとえば、プローブ、きり、ドライバ、ドリル先、およびタップ）、ならびに／または埋入物のタイプおよび／または幾何学的形状およびサイズ（たとえば、スクリューのサイズおよび長さ）を提案してもよい。ブロック４８２において器具および／または埋入物のセットを提案することは、考えられる手順のデータベースにアクセスしそこからツールを識別する選択されたアルゴリズムに基づいてもよい。さらに、選択された外科医が異なる器具を選択するかもしれず、かつ／または外科医の基本設定（たとえば椎弓根スクリューのサイズ）が変わるかもしれず、または選択される器具セットが変更されるかもしれないので、手順および外科医などの様々な入力に基づき器具セットを識別するために、機械学習システムが使用されてもよい。また器具の選択は、入力の１つとしてのセグメント化に基づき、発見的手法によりおこなわれてもよく、またはそれにより支援されてもよい。ブロック４８２において器具セットが自動的に提案されるかどうかに関わらず、ブロック４８４において器具が検証されてもよい。器具の検証は、器具が手術室にあることを保証し、かつ／またはそれらをナビゲーションシステム１０に入力することであってもよい。たとえば、ナビゲーションシステム１０は、選択された器具のセットまたは器具のタイプを識別するように命令され、または使用されてもよい。

[0091]ナビゲーションされた手順における器具は、選択された追跡システムを使用して全体的に追跡される。上で検討したように、光学追跡システムまたはＥＭ追跡システムなどの適切な追跡システムが使用されてもよいことが理解される。したがって、様々な実施形態では、ブロック４８６において器具追跡装置が識別されてもよい。器具追跡装置の識別は、光学ローカライザ８２などの選択された追跡システムによって識別される追跡装置に基づき、実質的に自動であってもよい。たとえば、光学ローカライザを使用して、器具追跡装置５６などの追跡装置が識別、または「視認」されてもよい。複数の器具が、それぞれの器具に固有の複数の追跡装置を有してもよく、したがって、選択された追跡装置を視認することは、器具に対する追跡装置を識別するために使用されてもよいことが理解される。しかし、追跡装置は変更可能であってもよく、したがって自動検出は不可能であってもよく、したがって器具追跡装置の手動識別が選択されてもよいことが理解される。

[0092]選択された器具に関連付けられた先端部が、ブロック４９０において自動的に識別されてもよい。上で検討したように、先端部の自動識別は、光学ローカライザ８２を用いて先端部を「視認する」ことによって使用されてもよい。したがって、ナビゲーションプロセッサ７０は、ＣＮＮなどの深層学習システムを使用して、器具に対する先端部および／またはブロック４８６で識別される追跡装置を識別してもよい。先端部を識別することにより、選択された特徴を識別する際に、手順のプロセスおよびユーザが支援されてもよい。特徴は、ナビゲーション中および表示装置３２での表示中に、器具アイコン１６ｉなどにより使用される先端の幾何学的形状を含んでもよい。しかし、先端は、選択された手順において手動で入力されてもよく、または識別されてもよいことが理解される。

[0093]ナビゲーションされた手順において、患者２０はＤＲＦ６０によっても追跡されることがある。ブロック４９６において、ＤＲＦ６０が患者２０に配置されてもよく、または患者２０上で識別されてもよい。ＤＲＦ６０を患者に配置することは、全般的に、ユーザ１２によってまたはユーザ１２の命令で実行される実質的に手動の手順であることが理解される。それでも、ＤＲＦ６０を配置することは、ナビゲーションプロセス４７０においてＤＲＦ６０を識別または追跡することも含むことができる。したがって、ナビゲーションプロセス４７０は、ＤＲＦが患者２０に配置されるとそれを追跡することを含んでもよい。ＤＲＦは、画像データ４６０からプロセス４６４を介して入力された画像データへの登録を、ブロック４９８において可能にする。登録は、上で検討したように、当技術分野において一般に知られているものなどを含む任意の適切な登録プロセスによるものであってもよい。

[0094]登録は、被検者または被検者２０によって画成される物理空間を、画像データに登録できるようにし、それにより画像データ内のすべての点が、物理的な場所に関連付けられるようになる。したがって、器具の追跡された場所が、画像３０に対して表示装置３２に表示されてもよい。さらに、登録は、セグメント化された部分などの画像部分を患者に登録できるようにする。

[0095]セグメント化される部分は、ブロック５０２においてセグメント化されてもよく（たとえば椎骨）、セグメント化は、ブロック５０４において表示装置に表示されてもよい。上で検討したように、椎骨などの選択された画像部分のセグメント化は、上で検討したようにＣＮＮ１５０などの選択されたシステムにより実質的に自動的に実行されてもよい。しかし、上で検討したように、このセグメント化に加えて、またはその代わりに、画像部分のセグメント化は、ユーザ１２が、追跡されるプローブなどの選択された器具を表示装置上で用いて、画像３０上で物理的になぞることなどにより、手動とされてもよい。しかし、ナビゲーションプロセス４７０における（たとえばセグメント化プロセス４００による）自動セグメント化は、ユーザ１２が、手術時間または計画時間を椎骨のセグメント化に使用しなくてもよいようにし、より高速でより効率的な手順を可能にする。様々なソフトウェアの特徴を含むナビゲーションシステム１０を用いて、たとえば、セグメント化に基づき正しいツール投影を自動的に選択することにより、外科医が手動のやりとりをする時間を節約することによって、より高速でより効率のよい手順が実現される。

[0096]また、ブロック５０４におけるセグメント化の表示など、セグメント化されたアイコン２０ｖｉ’および２０ｖｉｉ’の表示を含め、セグメント化が表示されてもよい。セグメント化アイコンは、ユーザ１２によって視認されてもよく、それらのアイコンが選択された椎骨に重なっていることを検証されてもよい。検証に加えて、または検証の一部分として、ブロック５０８において画像部分も識別および／またはラベル付けされてもよい。画像部分のラベル付けは、ユーザ１２が、セグメント化された部分を含む画像３０内で、それぞれの椎骨を選択しラベル付けするなど、手動であってもよい。椎骨のラベル付けおよび／または識別は、ユーザ１２が画像内の１つの椎骨またはすべてに満たない椎骨を識別し、ナビゲーションプロセッサ７０が、それに関する他の椎骨のすべてにラベル付けすることなどにより、半自動であってもよい。最後に、ブロック５０８における椎骨の識別およびそのラベル付けは、実質的に自動であってもよく、ここでナビゲーションプロセッサ７０は、ＣＮＮ１５０などに基づき命令を実行して、画像３０内の選択されたかつ／またはすべての椎骨を識別し、したがって、セグメント化アイコン２０ｖｉ’、および２０ｖｉｉ’など、セグメント化された部分に対してラベルを表示する。

[0097]ナビゲーションプロセスシステム４７０は、手順段階中または計画段階中に、ブロック５１２において、サイズ（たとえば長さおよび幅）などの埋入物パラメータも自動的に選択してもよい。上で検討したように、選択された手順に従って、ブロック５０２において椎骨がセグメント化されてもよい。椎骨がセグメント化されると、サイズおよび形状を含む３次元の幾何学的形状を含め、椎骨の寸法を知ることができる。これにより、椎骨のセグメント化されたサイズまたは判定されたサイズに基づき、埋入物のサイズを選択するのを支援することができる。また、ブロック４７６において選択された外科医に基づき、選択された外科医の基本設定に基づいて、埋入物に対する椎骨のサイズも知ることができ、したがって、特定のサイズに対する埋入物のパラメータを自動的に選択するのも支援することになる。サイズは、ユーザ１２によって選択および／または確認できるようにディスプレイ３２などに出力されてもよい。したがって、サイズまたは他の幾何学的形状を含む埋入物のパラメータを選択することは、プロセスシステム４７０によっておこなわれてもよい。

[0098]次いで手順４７０は、選択された埋入物の準備および／または配置を支援することに進んでもよい。椎弓根スクリューなどの埋入物を配置するために、患者２０への入口点が、椎骨２０ｖに対して判定されてもよい。引き続き図７Ａおよび図７Ｂを参照し、さらに図８を参照すると、器具１６は、追跡装置５６（たとえば光学追跡装置）を有するプローブ１６ｐを含んでもよい。プローブ１６ｐは、被検者２０を穿孔などすることなく被検者２０に対して動かされてもよい。

[0099]ブロック５１６において入口点を判定しようとする際に、プローブ１６ｐは椎骨２０ｖに対して動かされてもよい。椎骨２０ｖは、ブロック５０８において識別されかつ／またはラベル付けされているので、プローブ５６からの、たとえばプローブの追跡される遠位端部５２０などからの投影に基づき、識別されてもよい。プローブ端部５２０は、被検者２０の皮膚などの軟組織を穿孔する必要はなく、むしろ投影は、図８に示すように、表示装置３２上に器具アイコン１６ｉなどにより、判定および／または表示されてもよい。器具アイコン１６ｉは、選択された器具に基づき変更されてもよく、プローブの投影として表示されてもよく、または椎骨２０ｖに対するプローブ１６ｐの位置に基づき単に軌道として表示されてもよい。プローブの投影に基づき、表示装置３２上で画像３０内の椎骨２０ｖｉなどの椎骨が識別されてもよい。表示装置３２は、中央の図または軸方向の図など様々なやり方で、画像３０を表示してもよい。

[0100]器具１６ｉの投影は、ブロック５０２における椎骨のセグメント化に基づくなど、椎骨２０ｖの境界に基づいてもよい。セグメント化は、手動、半手動、または（たとえば、セグメント化プロセス４００を用いて）実質的に自動であってもよい。それでも、投影アイコン１６ｉは、椎骨２０ｖの境界に限定されてもよく、単体で表示されてもよく、または椎骨アイコン２０ｖｉと組み合わされて表示されてもよい。投影１６ｉは、ドリルなど、選択されたツールの幾何学的形状に基づいてもよく、それによりユーザ１２は、画像３０およびセグメント化された椎骨２０ｖｉ’に対するドリルの物理的範囲を見ることができ、ドリルが椎骨内に充分な穴を開けられるようにすることが、さらに理解される。

[0101]上で検討したように、ナビゲーションプロセス４７０は、実質的にナビゲーションプロセッサ７０単体でおこなわれる部分、またはナビゲーションプロセッサ７０とユーザ１２による動作との組合せでおこなわれる部分を含んでもよい。様々な実施形態では、入口点を見つけるという特徴は、次いで被検者２０の皮膚の点を識別する、またはその点に印付けするために使用されてもよい。切開点に印付けすることは、必須ではないことが理解される。しかし、上で検討したように、切開を実行して、他の器具が被検者２０体内に入れるようにすることが、入口点を見つけた後におこなわれてもよい。切開がおこなわれると、ツールを追跡し、ツールの位置を表示装置３２に示すことなどにより、ブロック５２６においてツールがナビゲーションされてもよい。たとえば、最初の切開を形成した後に、ブロック５１６において、識別した椎骨に向かってきりをナビゲーションすることがおこなわれてもよい。またツールは、器具と呼ばれてもよい。

[0102]椎骨に対してきりをナビゲーションする際、きりは皮膚の切開部を通って椎骨に接触してもよい。きりを表すアイコン、またはきりの追跡された場所からの投影は、椎骨までの選択された距離（たとえば、約５ｍｍを含む約１ｍｍ〜約６ｍｍ未満）の中にきりが入ったときなど、選択されたタイミングにおいて椎骨に対して示されてもよい。したがって、ツールを表すアイコンは、ブロック５２８において、表示装置３２上の画像３０に重ねられたアイコンなどの選択された埋入物のサイズを自動表示してもよい。

[0103]埋入物のサイズまたはツールのサイズもしくは位置を自動的に表示することは、ブロック５０２のセグメント化された椎骨の境界に基づき埋入物のサイズを判定することを含んでもよい。ナビゲーションプロセス４７０は、セグメント化された画像の幾何学的形状（たとえば、サイズおよび形を含む）に基づき埋入物が自動的に選択され、表示装置に表示されることが可能な命令を実行してもよい。椎骨に対して選択された位置にきりがくると、自動的に選択された埋入物を表示するステップによって、ユーザ１２は、選択された可能性または選択された埋入物を見られるようになる。埋入物を自動的に選択するステップにより、ユーザ１２は、椎骨を別途測定する、かつ／または椎骨に対して様々な埋入物を試す必要がなくなる。それでも、ユーザ１２は、ブロック５３２において埋入物のサイズを確認および／または変更してもよい。選択された場合には、次いで異なるサイズの埋入物が、椎骨画像２０ｖｉおよび／またはセグメント化２０ｖｉ’に対して表示されてもよい。次いでユーザ１２は、ブロック５２８において自動的に表示された埋入物のサイズ、および／またはブロック５３２において変更または確認されたサイズを見ることができる。

[0104]さらにユーザ１２は、追跡されたきりを椎骨２０ｖに対して移動させて、椎骨２０ｖに対する埋入物の位置を選択してもよい。たとえば、椎骨２０ｖに対するきりの位置が異なることにより、システム４７０は、異なるサイズの埋入物を判定または計算してもよい（すなわち、椎骨の前境界が遠くなる）。ユーザ１２が適切な軌道または選択された軌道を選択したら、その軌道が保存されてもよい。軌道は、入力装置７２などを使用して、ユーザ１２によって保存されてもよい。しかし、入力装置は、音声入力用の口頭コマンド、ジェスチャ、フットスイッチなど、適切な装置であってもよいことが理解される。さらに、ユーザの選択は、ブロック４７６において選択された外科医に基づき、さらに参照できるようにまたは将来参照できるように保存されてもよい。

[0105]投影は、将来使用できるように保存されてもよく、椎骨２０ｖのタップ切りの案内を可能にするために、選択されたとおりに表示および／または非表示にされてもよい。引き続き図７を参照し、さらに図９Ａ、図９Ｂ、および図９Ｃを参照すると、タップがナビゲーションされるときに表示装置３２を見ながら、タップを用いて椎骨２０ｖにタップが切られてもよい。タップは、ユーザ１２により椎骨２０ｖに対して移動されるときに、ナビゲーションされてもよい。タップは、画像３０に対して表示装置３２上にアイコン１６ｉとして表示されてもよい。さらに、ブロック５４０においてタップを椎骨２０ｖに対してナビゲーションしているときに、タップが椎骨２０ｖの近くにきたとき、またはそれに接触したときなどの選択されたタイミングで、タップを切られた幾何学的形状の投影５４２が、椎骨２０ｖｉを含む画像３０に対して表示されてもよく、投影５４２においてタップの切られた領域またはボリュームを表示することにより、ユーザ１２は、椎骨に入り込むタップの投影に基づき、タップを切られた選択されたボリュームが、埋入物の投影またはブロック５３６からの保存済みの埋入物の投影と一致することを確認できるようになる。

[0106]タップの投影５４２が、５３６からの保存済みの埋入物投影に一致することが確認されると、図９Ｂに示すようにタップは椎骨２０ｖの中に駆動されてもよい。ブロック５４６において、縮小または収縮したタップの投影５４４により、ユーザ１２は、投影または選択されたタップ長さのボリュームに対して、タップ切りの範囲を見ることができるようになる。ブロック５４６における収縮したタップの幾何学的形状５４４により、ユーザ１２（図９Ｂ）は、これまでに実行されたタップ切りの範囲、および残りの自動タップ切りの範囲を理解することができる。したがって、ユーザは、初期の期間には高速で効率的なタップ切りを可能にしながら、選択された期間には、椎骨に入るタップの駆動を遅くしてもよい。

[0107]処理システム７０は、椎骨２０ｖに対するタップのナビゲーションに基づき、実質的に自動的に、ブロック５４６の収縮したタップの投影５４４など、タップの切られた投影を収縮させてもよいことが理解される。タップの投影は、最初、ブロック５２８の自動的に選択された埋入物などの埋入物に基づき、ブロック５３６からの選択された埋入物の投影に基づく。したがって、ナビゲーションプロセス４７０は、プロセス中のタップ切りを見てタップ切りがいつ完了するかをユーザ１２が確認できるようにすることにより、椎骨２０ｖの効率的なタップ切りを可能にすることができる。

[0108]タップ切りが完了すると、ブロック５５２において逆投影５５０が自動的に判定および表示されてもよい。逆投影５５０は、椎骨２０ｖ内へのタップ切りの深さに実質的に等しくまたは同じであってもよく、ユーザ１２によるタップ切りの量またはタップ切りの深さに基づいてもよい。さらに、逆投影５５０は、図９Ａに示すように、最初のタップ切り投影５４２と実質的に等しくてもよい。タップの逆投影５５０は、椎骨２０ｖ内に埋入物を位置決めするために、椎骨２０ｖｉに対して表示装置３２上でユーザ１２が見られるように維持されてもよい。さらに、器具アイコン１６ｉは、器具部分と、今では固定されているまたは常置されたタップ切り投影５４２’との両方を組み合わせたものであってもよい。固定投影５４２’は、最初は逆投影５５０と等しくてもよく、器具１６ｉに対するタップ切りされたボリューム（たとえば、幅および／または深さ）と、椎骨画像２０ｖｉとの両方１２をユーザが見られるようにする。

[0109]埋入物を案内またはナビゲーションすることに関して上で検討したように、逆投影は、様々な目的のためにブロック５６０において保存されてもよい。さらに、保存済みの逆投影は、タップ切りされた位置に等しくてもよく、また、さらに参照できるようにかつ／または将来参照できるように、選択された外科医７６の下に保存されてもよい。

[0110]椎骨のタップ切りが実行されると、埋入物が椎骨２０ｖに配置されてもよい。引き続き図７Ａおよび図７Ｂを参照し、さらに図１０を参照すると、埋入物は、椎骨内に位置決めされた椎弓根スクリューなどのスクリューを含んでもよい。スクリューおよびドライバは、画像３０および椎骨２０ｖｉに対して、表示装置３２上でアイコン１６ｉとして示されてもよい。逆投影５５０は、ブロック５６２においても表示されて、ブロック５６６において埋入物のナビゲーションが支援されてもよい。図１０に示すように、埋入物は、少なくともアイコン１６ｉの一部として示されてもよく、それにより、アイコン１６ｉは逆投影５５０と位置合わせされて、逆投影５５０によって示されるタップ切りされた軌道およびボリュームに沿って、椎骨２０ｖの中にスクリューを駆動または配置できるようになる。したがって、ブロック５６６において埋入物をナビゲーションすることにより、椎骨２０ｖの、選択されタップ切りされた場所に、ユーザ１２は埋入物を位置決めできるようになってもよい。

[0111]また、椎骨２０ｖに入るスクリューを追跡することにより、スクリューの追跡された位置を、ブロック４７６において選択された外科医が将来使用できるように、ブロック５７０において保存できるようになる。したがって、スクリューのタップ切りされた場所および最終位置の位置決めなどの様々な特徴を、スクリューの幾何学的形状およびサイズなどの他の様々な特徴とともに保存して、選択された外科医が参照して将来使用してもよい。

[0112]ブロック５６６において埋入物をナビゲーションすることによりスクリューを位置決めし、かつ／またはブロック５７０において追跡されたスクリュー位置を保存した後に、スクリューをさらに配置する必要があるかどうかの判断が、ブロック５７４においておこなわれてもよい。追加の埋入物が配置されない場合には、いいえの経路５７６をたどり、ブロック５７８において手順が完了してもよい。手順を完了することは、椎骨の圧迫を解放すること、器具を被検者２０から除去すること、切開部を閉じること、または他の適切な特徴を含んでもよい。

[0113]ブロック５７４においてスクリューをさらに埋め込むことが決定したら、はいの経路５８２をたどってもよい。追加のスクリューを配置するかどうかの決定は、ブロック４７８において選択された手順に基づいてもよく、またはユーザ１２からのユーザ入力に基づいてもよいことが理解される。したがって、さらなる埋入物を位置決めするかどうかをブロック５７４において決定することは、実質的に自動であってもよく、または手動であってもよい。

[0114]さらなる埋入物が必要かどうかを決定する手順とは無関係に、はいの経路５８２をたどる場合には、ブロック５９０においてさらなる画像部分への自動切替えが、任意選択でおこなわれてもよい。たとえば、第１のスクリューがＬ５椎骨に配置される場合、第２のスクリューは、Ｌ５椎骨の第２の側に配置されてもよい。椎骨の別の画像またはビュー部分に自動的に切り替えることにより、ユーザ１２を支援してもよい。さらに、第２の埋入物がＬ５椎骨に位置決めされ、選択された手順が、Ｌ５とＬ４の椎骨を融合することである場合には、さらなる手順ステップのためにＬ４椎骨を表示、またはより近くで表示するように、画像３０が自動的に切り替わってもよい。したがって、ブロック５９０における別の画像部分への自動切替えは、ユーザ１２が手順を効率的に実行するのを支援することができる。

[0115]追加の画像に自動的に切り替わる任意選択のステップが実行されるか否かに関わらず、さらなる埋入物が配置されるという決定により、ナビゲーションプロセス４７０は、ブロック５１２に戻って、次の埋入物のパラメータを自動的に選択し、そこから手順を継続できるようにすることができる。器具または先端を識別する（たとえば、ブロック４８６および４９０）など、様々な他の部分が繰り返されてもよいが、特に第１の埋入物と追加の埋入物とで器具が維持される、または同じままである場合には、この応用例は必要ない場合があることが理解される。それでも、さらなる埋入物が不要である、またはさらなる埋入物はこの手順の一部ではないと決定され、いいえの経路５７６をたどることができるようになるまで、ブロック５１２から決定ブロック５７４までのプロセスを続けることにより、選択された数の埋入物が、被検者１２に位置決めされてもよい。

[0116]したがって、上記に照らして、ナビゲーションプロセス４７０を使用して、ユーザ１２が様々な手順を実行する、かつ／または、埋入物の幾何学的形状および／または位置決めなど手順の様々な部分を選択するのを、プロセッサシステムが自動で支援できるようにすることにより、脊椎埋入物などの埋入物が、選択された効率的なやり方で被検者２０に配置されてもよい。次いでユーザ１２は、この選択を最初の開始点として使用してもよく、または提案が適切であることを確認し、この手順を継続してもよい。したがって、ユーザ１２が手順を実行するのに、準備なしの、すなわち「白紙状態」は必要ない。

[0117]例示的な実施形態は、本開示が充分なものになるよう、かつ当業者に範囲を完全に伝えるように、提供されている。具体的な構成要素、装置、および方法の例など、多数の具体的な詳細事項は、本開示の実施形態の完全な理解を実現するために記載されている。具体的な詳細事項は採用されなくてもよいこと、例示的な実施形態は、多くの異なる形で具体化されてもよいこと、およびいずれも本開示の範囲を限定すると解釈されるべきではないことが、当業者には明らかであろう。いくつかの例示的な実施形態では、よく知られているプロセス、よく知られている装置構造、およびよく知られている技術は、詳細に説明されていない。

[0118]実施形態の上記説明は、例証および説明を目的として提供されている。網羅的であること、または本開示を限定することは意図していない。特定の実施形態の個々の要素または特徴は、全体的に特定の実施形態に限定されず、適用可能な場合には、入替え可能であり、具体的に図示または説明されていなくても、選択された実施形態で使用されてもよい。特定の実施形態の個々の要素または特徴は、多くのやり方で異なっていてもよい。こうした変形形態は本開示からの逸脱とはみなされず、こうした修正形態はすべて、本開示の範囲内に含まれるものとする。

Claims (37)

1. 手順において動作するように構成された手術ナビゲーションシステムであって、
   メモリシステムであって、中に
   （ｉ）画像データを分析するように構成された畳み込みニューラルネットワーク（ＣＮＮ）、
   （ｉｉ）前記ＣＮＮとともに使用するための、前記画像データにおいて少なくとも１つの脊椎椎骨(spinal vertebrae)をセグメント化するように訓練された訓練済みモデル
   を記憶しており、
   （ｉｉｉ）ここで前記画像データが、取得された被検者の画像を含む
   メモリシステムと、
   プロセッサシステムであって、
   前記メモリシステムにアクセスして、前記ＣＮＮおよび前記訓練済みモデルを実行して前記画像データをセグメント化し、
   前記セグメント化の３次元（３Ｄ）画像データを出力し、
   前記出力された３Ｄ画像データに基づき、手術手順に関するワークフロー手順部分を自動的に出力する
   ように構成されたプロセッサシステムと
   を備え、
   前記ＣＮＮが、正確なセグメント化の確率を増加させるための、限られた数のパラメータまたはパラメータの選択された重みのうちの少なくとも１つを含む、システム。
2. 前記画像データが、ｘ線コーンビーム(cone-beam)撮像装置を用いて取得され、
   前記ＣＮＮが、多層ニューラルネットワークである、請求項１に記載のシステム。
3. 前記ＣＮＮがさらに、同じ層内で、分析ステップから統合ステップに含まれる残余ブロックを含む、請求項２に記載のシステム。
4. 前記セグメント化が、前記画像データ内の前記椎骨のうちの少なくとも１つを輪郭描写する、請求項１から３のいずれか一項に記載のシステム。
5. 前記セグメント化が、前記画像データ内の前記椎骨のすべてを輪郭描写する、請求項１から３のいずれか一項に記載のシステム。
6. 表示するための表示装置をさらに備え、
   前記プロセッサが、前記出力３Ｄ画像データのセグメント化を表示するように構成された、請求項１から５のいずれか一項に記載のシステム。
7. 前記表示された出力３Ｄ画像データのセグメント化は、前記画像データから生成された画像に重ねられたグラフィカル表示として表示される少なくとも１つのマスクを含む、請求項６に記載のシステム。
8. 前記プロセッサが、前記出力３Ｄ画像データのセグメント化における少なくとも１つの脊椎椎骨の判定されたサイズに基づき、手術のための適切なツールの少なくとも１つの特徴を自動的に計算するための命令を実行するようにさらに構成された、請求項１から７のいずれか一項に記載のシステム。
9. 前記少なくとも１つの特徴が、物理的寸法を含む、請求項８に記載のシステム。
10. 前記プロセッサシステムが、スクリューサイズおよび自動的に判定されたサイズに関連して表示されるスクリューアイコン、ツール範囲および自動的に判定されたツール範囲に関連して表示されるツールアイコンのうちの少なくとも１つをさら自動的に判定するように構成された、請求項１から９のいずれか一項に記載のシステム。
11. 前記画面に表示される前記ツールアイコンが、前記ツールの追跡される遠位端部(distal tip)から前記画像の一部分に対する投影(projection)を含み、
    前記投影が、前記出力３Ｄ画像データのセグメント化に基づき、前記ツールの前記追跡される遠位端部から、自動的に判定および表示される、請求項１０に記載のシステム。
12. 前記出力３Ｄ画像データのセグメント化が、少なくとも１つの脊椎椎骨の輪郭描写された(delineated)領域を含む、請求項１１に記載のシステム。
13. 前記プロセッサが、前記出力３Ｄ画像データのセグメント化に基づき、適切な埋入物(implant)の少なくとも１つの特徴を自動的に計算および出力するようにさらに構成され、
    前記出力３Ｄ画像データのセグメント化が、前記出力３Ｄ画像データのセグメント化に存在する解剖学的部分のサイズのうちの少なくとも１つを含む、請求項１から１２のいずれか一項に記載のシステム。
14. 前記サイズが、椎弓根(pedicle)スクリューの長さまたは幅のうちの少なくとも１つを含む、請求項１３に記載のシステム。
15. 前記プロセッサが、少なくとも前記出力３Ｄ画像データのセグメント化に基づき、前記表示装置に表示するためのアイコンのサイズを自動的に判定するようにさらに構成された、請求項１から１４のいずれか一項に記載のシステム。
16. 前記プロセッサが、前記出力３Ｄ画像データのセグメント化およびプローブの追跡された位置に基づき、複数の椎骨(vertebrae)のうちの選択された１つの椎骨の識別を自動的に判定するようにさらに構成され、
    前記プローブが、ユーザによって動かされるように構成された、請求項１から１５のいずれか一項に記載のシステム。
17. 前記プロセッサが、脊椎の椎骨の前記出力３Ｄ画像データのセグメント化に関連する少なくとも１つの椎骨のタップ切りの逆投影(reverse projection)を、自動的に判定するようにさらに構成され、
    前記逆投影は、埋入物の埋込み中に前記埋入物の配置を案内するために、ユーザが見るアイコンとして表示される、請求項１から１６のいずれか一項に記載のシステム。
18. 前記プロセッサが、第１の椎骨に第１の埋入物を配置することが完了した後、第２の埋入物を配置するための少なくとも第２の椎骨を自動的に判定するようにさらに構成された、請求項１から１７のいずれか一項に記載のシステム。
19. 手順において動作するように構成された手術ナビゲーションシステムであって、
    少なくとも患者追跡装置および器具追跡装置を追跡するように構成された追跡システムと、
    メモリシステムであって、中に
    （ｉ）少なくとも第１の椎骨の画像データ、
    （ｉｉ）前記少なくとも第１の椎骨のセグメント化の３次元（３Ｄ）画像データ
    を記憶しているメモリシステムと、
    少なくとも第１の椎骨の画像データまたは前記少なくとも第１の椎骨の前記セグメント化の前記３Ｄ画像データのうちの少なくとも１つを表示するための表示装置と、
    プロセッサシステムであって、
    前記器具追跡装置の追跡に基づき、器具の位置を判定し、
    前記画像データを患者空間に登録し、
    前記器具からの軌道の少なくとも投影を表すアイコンを、前記表示装置に表示し、
    前記セグメント化の前記出力３Ｄ画像データに基づき、手術手順のためのワークフロー手順部分を自動的に出力する
    ように構成されたプロセッサシステムと
    を備えるシステム。
20. 前記セグメント化の前記出力３Ｄ画像データが、前記表示装置で表示されるように構成された画像を含む、請求項１９に記載のシステム。
21. 前記セグメント化の前記出力３Ｄ画像データが、少なくとも前記第１の椎骨を輪郭描写するように訓練されている畳み込みニューラルネットワークによって自動的に判定される、請求項２０に記載のシステム。
22. 前記セグメント化の前記出力３Ｄ画像データが、前記画像データ内の前記椎骨のすべてを輪郭描写する、請求項１９から２１のいずれか一項に記載のシステム。
23. 前記プロセッサが、前記セグメント化の前記出力３Ｄ画像データ内の少なくとも第１の椎骨の判定された軌道および判定されたサイズに基づき、前記投影の長さを自動的に判定するようにさらに構成された、請求項１９から２２のいずれか一項に記載のシステム。
24. 前記プロセッサシステムが、ツールサイズ、および自動的に判定された前記ツールサイズに関連して表示されるツールアイコンを、さらに自動的に判定するように構成され、
    前記自動的に判定されたツールサイズが、前記セグメント化の前記出力３Ｄ画像データに基づいている、請求項１９から２３のいずれか一項に記載のシステム。
25. 前記画面に表示される前記ツールアイコンが、前記器具の追跡される遠位端部から前記画像の一部分に対する投影を含み、
    前記投影が、前記器具の前記追跡される遠位端部から、前記出力３Ｄ画像データのセグメント化に基づき、自動的に判定および表示される、請求項２４に記載のシステム。
26. 前記プロセッサシステムが、前記セグメント化の前記出力３Ｄ画像データに基づき、埋入物の少なくとも１つの特徴を自動的に判定および出力するようにさらに構成され、
    前記セグメント化の前記出力３Ｄ画像データが、前記セグメント化の前記出力３Ｄ画像データに存在する解剖学的部分のサイズまたは形状のうちの少なくとも１つを含む、請求項１９から２５のいずれか一項に記載のシステム。
27. 前記プロセッサシステムが、前記セグメント化の前記出力３Ｄ画像データおよびプローブの追跡された位置に基づき、少なくとも前記第１の椎骨の識別を自動的に判定するようにさらに構成され、
    前記プローブが、ユーザによって動かされるように構成された、請求項１９から２６のいずれか一項に記載のシステム。
28. 前記プロセッサシステムが、脊椎の椎骨の前記セグメント化の前記出力３Ｄ画像データに関連する少なくとも前記第１の椎骨内で前記器具を追跡することに基づき、逆投影を自動的に判定するようにさらに構成され、
    前記逆投影が、埋入物の埋込み中に前記埋入物の配置を案内するために、ユーザが見るアイコンとして表示される、請求項１９から２７のいずれか一項に記載のシステム。
29. 前記プロセッサシステムが、第１の椎骨に第１の埋入物を配置することが完了した後、第２の埋入物を配置するための少なくとも第２の椎骨を自動的に判定するようにさらに構成された、請求項１９から２８のいずれか一項に記載のシステム。
30. 手術ナビゲーションシステムを使用する方法であって、
    メモリシステムから訓練済みモデルにアクセスするステップと、
    被検者の画像データにアクセスするステップであって、前記画像データが、コーンビームのコンピュータ断層撮影を含む、ステップと、
    前記訓練済みモデルを用いて画像データを分析するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を用いて、前記アクセスした画像データを分析するステップと、
    前記ＣＮＮを用いた前記画像データの前記分析に基づき、セグメント化の３次元（３Ｄ）画像データを出力するステップと、
    前記セグメント化の前記出力３Ｄ画像データに基づき、手術手順のためのワークフロー手順部分を自動的に出力するステップと
    を含み、
    前記ＣＮＮが、正確なセグメント化の確率を増加させるための、限られた数のパラメータまたはパラメータの選択された重みのうちの少なくとも１つを含む、方法。
31. 前記セグメント化の前記出力３Ｄ画像データが、前記表示装置を用いて表示されるように構成された画像を含む、請求項３０に記載の方法。
32. 前記セグメント化の前記出力３Ｄ画像データが、少なくとも第１の椎骨を輪郭描写するように訓練されている畳み込みニューラルネットワークによって自動的に判定される、請求項３１に記載のシステム。
33. 少なくとも前記輪郭描写された第１の椎骨に関して表示装置で表示するための投影の長さを、自動的に判定するステップをさらに含み、
    前記投影の前記長さが、前記セグメント化の前記出力３Ｄ画像データ内の少なくとも前記輪郭描写された第１の椎骨の判定された軌道および判定されたサイズに基づいている、請求項３２に記載の方法。
34. 埋入物のサイズを自動的に判定するステップと、
    前記自動的に判定された埋入物のサイズを、前記セグメント化の前記出力３Ｄ画像データに基づき、前記被検者の画像に対して前記表示装置を用いて表示するステップと
    を含み、
    前記自動的に判定された埋入物のサイズが、前記セグメント化の前記出力３Ｄ画像データに基づいている、請求項３０から３３のいずれか一項に記載のシステム。
35. 前記セグメント化の前記出力３Ｄ画像データおよびプローブの追跡された位置において、少なくとも前記輪郭描写された第１の椎骨の識別を自動的に判定するステップをさらに含み、
    前記プローブが、ユーザによって動かされるように構成された、請求項３０から３４のいずれか一項に記載のシステム。
36. 前記セグメント化の前記出力３Ｄ画像データ内の、少なくとも前記輪郭描写された第１の椎骨に関連する少なくとも前記第１の椎骨内で器具を追跡することに基づき、逆投影を自動的に判定するステップをさらに含み、
    前記逆投影が、埋入物の埋込み中に前記埋入物の配置を案内するために、ユーザが見るアイコンとして表示される、請求項３０から３５のいずれか一項に記載のシステム。
37. 前記プロセッサシステムが、前記セグメント化の前記出力３Ｄ画像データ内の少なくとも前記輪郭描写された第１の椎骨に第１の埋入物を配置することが完了した後、第２の埋入物を配置するための少なくとも第２の椎骨を自動的に判定するようにさらに構成された、請求項３０から３６のいずれか一項に記載のシステム。

Images