JP2018047240A - 手術支援端末及びプログラム - Google Patents

Abstract

【課題】外科手術の術中支援を高精度で、且つ、低コストで行う。【解決手段】第１手術支援端末２であって、中央制御部２０１のＣＰＵは、患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、基準画像に基づく三次元モデル上での骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段、患者の骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、逐次取得された撮像画像と取得された基準画像とを照合して、撮像画像内での骨の姿勢を推定する推定手段、推定された撮像画像内での骨の姿勢と、取得された治具情報とに基づいて、逐次取得された撮像画像に治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部２０６に表示させる第１表示制御手段、として機能する。【選択図】図４

Description

本発明は、外科手術、特に、患者の体内に整形外科用のインプラントを取付ける整形外科手術を支援する手術支援端末及びプログラムに関する。

従来、膝関節や股関節などを金属やセラミックス製の人工関節に置き換える置換手術が知られている。また、脊椎の固定、矯正及び安定化等のために脊椎ケージや人工椎体などを取付け固定する外科手術も知られている。
これらのインプラントを体内の所定位置に取付ける場合、患者に最適の形状及び寸法のものを最適の角度及び位置で設置することが重要である。

そこで、近年では、患者のインプラントの取付部位の医療用断層画像を用いて、取付け予定のインプラントの形状や寸法や取付角度、必要に応じて骨切り量や骨切り位置等をシミュレーションする術前計画が行われるようになっている（例えば、特許文献１参照）。
また、術中に、患者の骨などに固定されたマーカの位置を光学的に追跡し、当該マーカの絶対座標を利用して骨切り量や骨切り位置等を指示するナビゲーションシステムも開発されている。

特開２００９−８２４４４号公報

しかしながら、ナビゲーションシステムでは、マーカの着脱作業が必要となるために手術時間がより長時間化してしまい、さらに、患者の骨の手術する部位とは異なる部位にマーカのピンを刺入するために侵襲部位が増大してしまうといった問題がある。

さらに、ナビゲーションシステムは、高額で装置自体も大きく、普及率が高くないといった問題もある。なお、例えば、三次元空間の一つの軸方向（例えば、Ｚ軸方向等）の精度を犠牲することで比較的安いコストで導入可能な簡易型のナビゲーションシステムも開発されているが、このシステムでは、術中に高精度での手術支援を実現することは困難である。例えば、膝関節を人工膝関節に置換する手術の場合、脛骨の回旋方向を適正に特定することができないために、骨切りやインプラントの取付けを案内する治具の取付け精度が低下し、結果として、インプラントの取付け精度が低下してしまう。

加えて、上記のシステムでは、術前に撮像された患者のインプラントの取付部位の医療用断層画像を用いて計画されたデータを基に、術中に手術支援を行うようになっているため、例えば、骨切りが行われる手術では、術中に骨切り後の骨の状態を反映させて手術支援を行うことができないといった問題もある。

本発明は、このような問題に鑑みてなされたものであり、外科手術の術中支援を高精度で、且つ、低コストで行うことを課題とする。

上記課題を解決するため、本発明の一態様の手術支援端末は、
患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段と、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段と、
を備えることを特徴としている。

また、本発明の一態様の手術支援端末は、
患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段と、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段と、
を備えることを特徴としている。

本発明の一態様のプログラムは、
手術支援端末のコンピュータを、
患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段、
として機能させることを特徴としている。

本発明の一態様のプログラムは、
手術支援端末のコンピュータを、
患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段、
患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段、
として機能させることを特徴としている。

本発明によれば、外科手術の術中支援を高精度で、且つ、低コストで行うことができる。

本発明を適用した実施形態１の手術支援システムの概略構成を模式的に示す図である。 図１の手術支援システムが用いられる人工膝関節置換術を説明するための斜視図である。 図１の手術支援システムを構成する病院端末の機能的構成を示すブロック図である。 図１の手術支援システムを構成する第１手術支援端末の機能的構成を示すブロック図である。 図４の第１手術支援端末による第１術中支援処理に係る動作の一例を示すフローチャートである。 図５の第１術中支援処理における第１手術支援端末の表示画面の一例を模式的に示す図である。 本発明を適用した実施形態２の手術支援システムが用いられる人工股関節置換術を説明するための斜視図である。 図７の手術支援システムを構成する第２手術支援端末の機能的構成を示すブロック図である。 図８の第２手術支援端末による第２術中支援処理に係る動作の一例を示すフローチャートである。 図９の第２術中支援処理における第２手術支援端末の表示画面の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
以下に、本発明を適用した実施形態１の手術支援システム１００について、図１〜図６を参照して説明する。
図１は、実施形態１の手術支援システム１００の概略構成を模式的に示す図である。また、図２は、手術支援システム１００が用いられる人工膝関節置換術を説明するための斜視図である。
なお、図２及び後述する図７には、手術台Ｔ上での患者Ｐが固定されていない状態を表しているが、医者が外科手術を施術し易くなるように固定されていても良い。

実施形態１の手術支援システム１００は、人工膝関節置換術（図２参照）に用いられるシステムであり、具体的には、図１に示すように、病院内に設置された病院端末１と、外科手術の術中支援を行う第１手術支援端末２とを備えている。また、病院端末１と第１手術支援端末２とは、無線通信回線（例えば、無線ＬＡＮ（Local Area Network）等）を介して情報通信可能に接続されている。

＜病院端末＞
先ず、病院端末１について、図３を参照して詳細に説明する。図３は、病院端末１の機能的構成を示すブロック図である。
病院端末１は、例えば、ＰＣ（Personal Computer）等から構成され、人工膝関節置換術の術前計画を行うためのものである。具体的には、図３に示すように、病院端末１は、中央制御部１０１と、メモリ１０２と、記憶部１０３と、表示部１０４と、操作部１０５と、通信制御部１０６とを備えている。また、病院端末１の各部は、バス１０７を介して接続されている。

中央制御部１０１は、当該病院端末１の各部を制御するものである。すなわち、中央制御部１０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）を備え、ＣＰＵは、記憶部１０３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、メモリ１０２のワークエリアに展開し、当該プログラムに従って各種処理を実行する。その際に、中央制御部１０１のＣＰＵは、メモリ１０２内に各種処理結果を格納させ、必要に応じてその処理結果を表示部１０４に表示させる。

メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１のＣＰＵにより読み出された各種のプログラムやデータを一時的に格納するワークエリアを有している。

記憶部１０３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＨＤＤ（Hard Disk Drive）等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。
具体的には、記憶部１０３は、断層画像データＩ、術前計画用プログラム１０３ａ等を記憶している。

断層画像データＩは、例えば、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging system）装置などの医療用断層画像診断装置（図示略）により患者Ｐの人工関節により置換される患部が撮像された画像データである。すなわち、断層画像データＩは、例えば、人工膝関節置換術前に、医療用断層画像診断装置により患者Ｐの膝関節を構成する脛骨Ｂ１ａ及び大腿骨Ｂ１ｂが撮像された画像データである。
なお、断層画像データＩは、医療用断層画像診断装置から院内ＬＡＮ等のネットワークを介して病院端末１に送信されたものであっても良いし、メモリカード等の記憶媒体を介して病院端末１により取得されたものであっても良い。

術前計画用プログラム１０３ａは、人工関節置換術の術前計画処理に係る機能を実現させるプログラムである。
すなわち、中央制御部１０１のＣＰＵは、記憶部１０３から術前計画用プログラム１０３ａを読み出して、この術前計画用プログラム１０３ａに従って、取付け予定の人工膝関節（脛骨側部材や大腿骨側部材等の人工関節構成部材）の形状や寸法、脛骨Ｂ１ａに刺入される脛骨髄内ロッドの向き及び刺入点の位置、脛骨Ｂ１ａの骨切り位置、大腿骨Ｂ１ｂに刺入される大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨Ｂ１ｂの骨切り位置等をシミュレーションにより特定する。

なお、術前計画処理は、公知の技術であり、ここでは詳細な説明は省略するが、例えば、中央制御部１０１のＣＰＵは、上記した断層画像データＩから患者Ｐの脛骨Ｂ１ａや大腿骨Ｂ１ｂの三次元形状を表す画像データを生成する。そして、中央制御部１０１のＣＰＵは、表示部１０４に表示された脛骨Ｂ１ａや大腿骨Ｂ１ｂの三次元モデル上で座標系を構築し、人工膝関節を構成する脛骨側部材や大腿骨側部材（人工関節構成部材）の設置予定位置等をシミュレーションして特定する。

また、中央制御部１０１のＣＰＵは、断層画像データＩに基づいて表示部１０４に表示された脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元モデル上での、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する脛骨側部材や大腿骨側部材の取付けを案内支援するための治具の適切な向き及び位置のうちの少なくとも一方を含む治具情報をシミュレーションして生成する。この治具情報は、シミュレーションにより自動的に生成されても良いし、医者による操作部１０５の所定操作に基づいて治具の向きや位置の微調整が行われても良い。

具体的には、治具情報には、例えば、脛骨Ｂ１ａに対する脛骨側部材の取付けを案内支援するために脛骨Ｂ１ａに刺入される脛骨髄内ロッドの向き及び刺入点の位置、脛骨髄内ロッドを基準として脛骨Ｂ１ａの骨切りを案内する脛骨骨切り案内部材の向き及び設置位置、大腿骨Ｂ１ｂに対する大腿骨側部材の取付けを案内支援するために大腿骨Ｂ１ｂに刺入される大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨髄内ロッドを基準として大腿骨Ｂ１ｂの骨切りを案内する大腿骨骨切り案内部材の向き及び設置位置等が含まれる。

また、中央制御部１０１のＣＰＵは、下肢の機能軸、大腿骨Ｂ１ｂの骨頭中心の位置、大腿骨Ｂ１ｂの機能軸、大腿骨Ｂ１ｂの前方皮質近似平面、脛骨Ｂ１ａの機能軸、内／外反角、屈曲・伸展角、回旋角等の各種の術中支援パラメータを生成しても良い。

表示部１０４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等から構成されている。また、表示部１０４には、中央制御部１０１のＣＰＵから出力されて入力される表示信号の指示に従って、各種画面を表示する。

操作部１０５は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備えている。そして、操作部１０５は、これらキーボードやマウスの操作に応じて所定の操作信号を中央制御部１０１に出力する。

通信制御部１０６は、第１手術支援端末２との間で情報通信を行う。
すなわち、通信制御部１０６は、例えば、無線ＬＡＮモジュール等を有し、外部のアクセスポイント（固定基地局）を経由せずに直接第１手術支援端末２の通信制御部２０８との間で無線通信回線を構築するPeer to Peer（アドホックモード）で動作する。例えば、通信制御部１０６は、無線通信回線の通信方式、暗号化情報、チャンネル、ＩＰアドレス等の各種情報を無線通信可能範囲内に存する第１手術支援端末２の通信制御部２０８に送信して、この第１手術支援端末２の通信制御部２０８との間で無線ＬＡＮ等の無線通信回線を構築して信号の送受信を行う。
具体的には、通信制御部１０６は、患者Ｐの断層画像データＩや、術前計画処理により生成された術前計画データＤ（図４参照）を第１手術支援端末２の通信制御部２０８に送信する。

なお、通信制御部１０６は、例えば、無線通信可能範囲内に存するアクセスポイントとの間で無線通信回線を構築して、当該無線通信回線を介して第１手術支援端末２の通信制御部２０８との間で信号の送受信を行うインフラストラクチャモードで動作しても良い。

＜第１手術支援端末＞
次に、第１手術支援端末２について、図４を参照して詳細に説明する。図４は、第１手術支援端末２の機能的構成を示すブロック図である。
第１手術支援端末２は、例えば、スマートフォン、タブレット等から構成され、人工膝関節置換術の術中支援を行うためのものである。具体的には、図４に示すように、第１手術支援端末２は、中央制御部２０１と、メモリ２０２と、記憶部２０３と、撮像部２０４と、信号処理部２０５と、表示部２０６と、操作部２０７と、通信制御部２０８とを備えている。また、第１手術支援端末２の各部は、バス２０９を介して接続されている。

中央制御部２０１は、当該第１手術支援端末２の各部を制御するものである。すなわち、中央制御部２０１は、図示は省略するが、ＣＰＵを備え、ＣＰＵは、記憶部２０３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出し、メモリ２０２のワークエリアに展開し、当該プログラムに従って各種処理を実行する。その際に、中央制御部２０１のＣＰＵは、メモリ２０２内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０６に表示させる。

メモリ２０２は、例えば、ＤＲＡＭ等により構成され、中央制御部２０１のＣＰＵにより読み出された各種のプログラムやデータを一時的に格納するワークエリアを有している。

記憶部２０３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ等により構成され、データ及びプログラムを書き込み及び読み出し可能な記憶部である。
具体的には、記憶部２０３は、第１取得プログラム２０３ａ、撮像画像取得プログラム２０３ｂ、推定プログラム２０３ｃ、第１特定プログラム２０３ｄ、第１表示制御プログラム２０３ｅ、断層画像データＩ、術前計画データＤ等を記憶している。

第１取得プログラム２０３ａは、基準画像及び治具情報を取得する第１取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１取得プログラム２０３ａを読み出して、この第１取得プログラム２０３ａに従って、第１取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ａとの協働により、第１取得手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている断層画像データＩ、すなわち、人工膝関節置換術前に医療用断層画像診断装置により撮像された断層画像データＩを記憶部２０３から読み出して取得する。そして、中央制御部２０１のＣＰＵは、患者Ｐの人工膝関節が取り付けられる予定の脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元形状を表す基準画像の画像データを生成して取得する。

また、中央制御部２０１のＣＰＵは、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている術前計画データＤを記憶部２０３から読み出して取得する。すなわち、中央制御部２０１のＣＰＵは、断層画像データＩに基づく脛骨Ｂ１ａや大腿骨Ｂ１ｂの三次元モデル上での、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する脛骨側部材や大腿骨側部材の取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報を含む術前計画データＤを取得する。

撮像画像取得プログラム２０３ｂは、撮像画像Ｆ（図６（ａ）等参照）を逐次取得する撮像画像取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から撮像画像取得プログラム２０３ｂを読み出して、この撮像画像取得プログラム２０３ｂに従って、撮像画像取得処理を行う。ここで、中央制御部２０１のＣＰＵは、撮像画像取得プログラム２０３ｂとの協働により、撮像画像取得手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、手術台Ｔ上の患者Ｐの骨Ｂの表面が撮像された撮像画像Ｆを取得する。例えば、人工膝関節置換術中に、手術台Ｔ上の患者Ｐの脛骨Ｂ１ａや大腿骨Ｂ１ｂが内側部側から膝関節の関節面が写るように撮像部２０４により撮像されると、撮像部２０４の撮像制御部は、電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部２０５に出力させる。このとき、脛骨Ｂ１ａや大腿骨Ｂ１ｂが画角内の所定位置（例えば、略中央等）に存し、且つ、所定の大きさで写るように撮像部２０４により撮像されるのが好ましい。そして、信号処理部２０５は、フレーム画像のアナログ値の信号に対して各種の画像信号処理を施して、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成してメモリ２０２に出力する。中央制御部２０１のＣＰＵは、メモリ２０２からフレーム画像（撮像画像Ｆ）のデジタル値の画像データ（ＹＵＶデータ）を逐次取得する。

なお、撮像画像Ｆは、後述するように、脛骨Ｂ１ａや大腿骨Ｂ１ｂ等の骨Ｂの少なくとも基準画像との照合に用いられる特徴点に対応する一部分（例えば、脛骨近位前方内側部や大腿骨遠位前方内側部等）が撮像されていれば良い。

推定プログラム２０３ｃは、撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する推定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から推定プログラム２０３ｃを読み出して、この推定プログラム２０３ｃに従って、推定処理を行う。ここで、中央制御部２０１のＣＰＵは、推定プログラム２０３ｃとの協働により、推定手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、撮像画像取得処理により逐次取得された撮像画像Ｆ（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂの表面形状を表す撮像画像Ｆ等）を第１取得処理により取得された基準画像（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂを表す基準画像等）と照合して、その照合結果に基づいて撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する。

ここで、撮像画像Ｆと基準画像とを照合する手法は、公知の技術であるので、詳細な説明を省略するが、例えば、中央制御部２０１のＣＰＵは、骨Ｂの三次元形状を表す基準画像を任意の二次元平面に投影した画像（３Ｄ／２Ｄ変換画像）を複数生成し、撮像画像Ｆ内から抽出した特徴点の特徴量（例えば、ＳＩＦＴ（Scale-Invariant Features Transform）特徴量やＳＵＲＦ（Speeded Up Robust Features）特徴量等）の類似度が最も高くなる画像を探索する。このとき、必要に応じて３Ｄ／２Ｄ変換画像や撮像画像Ｆの拡大縮小を行っても良い。

また、中央制御部２０１のＣＰＵは、類似度が最も高くなった画像に対応する骨Ｂの三次元モデル上での当該骨Ｂを構成する各点の座標位置、撮像画像Ｆ内での患者Ｐの骨Ｂを構成する各点の座標位置等に基づいて、所定の座標変換式を解いて、当該第１手術支援端末２に対する患者Ｐの骨Ｂの姿勢及び位置関係を表す行列を推定する。このとき、画像からの幾何学的なモデルのパラメータの推定精度を向上させるためのバンドル調整を行っても良い。

なお、撮像画像Ｆとして、患者Ｐの骨Ｂが画角内の所定位置（例えば、略中央等）に存し、且つ、所定の大きさで写るように撮像部２０４により撮像された撮像画像Ｆを用いる場合、必ずしも撮像画像Ｆ内での骨Ｂの位置を推定する必要はないと考えられるが、当該推定結果を利用する各種処理（第１特定処理や第１表示制御処理等；後述）をより適正に行う上では、撮像画像Ｆ内での骨Ｂの姿勢及び位置の推定を行うのが好ましい。

また、撮像画像Ｆと基準画像との照合において、例えば、撮像対象となる骨Ｂの形状や状態、撮像する際の第１手術支援端末２の向きや位置、撮像環境の明るさや光の方向等によっては、特徴点や特徴量の抽出を適正に行うことができない虞がある。そこで、予め骨Ｂの特徴的な形状部分（例えば、脛骨近位前方内側部や大腿骨遠位前方内側部等）を基準画像内で指定して登録（レジストレーション）しておき、撮像部２０４による骨Ｂの撮像の際に、当該特徴的な形状部分を所定の指示棒（図示略）などを用いて指示することで、特徴点や特徴量の抽出をより適正に行うことができるようにしても良い。

また、特徴点の特徴量を用いた撮像画像Ｆと基準画像との照合に換えて、或いは、併用して、例えば、レーザーメスなどを用いて予め骨Ｂの所定位置（例えば、骨切りにより切除される位置等）に位置合わせ用のマーカを付けておき、当該マーカを撮像してその姿勢を推定し、推定結果から患者Ｐの骨Ｂの姿勢を推定するようにしても良い。

第１特定プログラム２０３ｄは、治具（図示略）の向きや位置を特定する第１特定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１特定プログラム２０３ｄを読み出して、この第１特定プログラム２０３ｄに従って、第１特定処理を行う。ここで、中央制御部２０１のＣＰＵは、第１特定プログラム２０３ｄとの協働により、第１特定手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での患者Ｐの骨Ｂ（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂ等）の姿勢（好ましくは、姿勢及び位置）と、第１取得処理により取得された治具情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の患者Ｐの骨Ｂに対する治具の向き及び位置のうちの少なくとも一方を特定する。

例えば、脛骨Ｂ１ａの場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での脛骨Ｂ１ａの姿勢と、治具情報に含まれる脛骨Ｂ１ａの三次元モデル上での脛骨Ｂ１ａに刺入される脛骨髄内ロッドの向き及び刺入点の位置とに基づいて、撮像画像Ｆ内の脛骨Ｂ１ａの座標系と当該脛骨Ｂ１ａの三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の脛骨Ｂ１ａの座標系での当該脛骨Ｂ１ａに対する脛骨髄内ロッドの向き及び刺入点の位置を特定する。また、例えば、脛骨Ｂ１ａに対して脛骨髄内ロッドが刺入された場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での脛骨Ｂ１ａの姿勢と、治具情報に含まれる脛骨Ｂ１ａの三次元モデル上での脛骨骨切り案内部材の向き及び設置位置とに基づいて、撮像画像Ｆ内の脛骨Ｂ１ａの座標系と当該脛骨Ｂ１ａの三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨骨切り案内部材の向き及び設置位置を特定する。

また、大腿骨Ｂ１ｂの場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、大腿骨髄内ロッドの向き及び刺入点の位置、大腿骨骨切り案内部材の向き及び設置位置の特定に、例えば、撮像画像Ｆ内の大腿骨Ｂ１ｂの座標系での当該大腿骨Ｂ１ｂの骨頭中心の位置が必要となる場合がある。
この場合、例えば、第１手術支援端末２を患者Ｐの大腿骨Ｂ１ｂの遠位端側の所定位置に所定の固定機構を介して固定（例えば、骨切りにより切除される位置に螺合したり、切除されない位置をクランプしたりして固定；図示略）し、この状態で、当該大腿骨Ｂ１ｂの遠位端側を回動させた際の角速度や角加速度等を第１手術支援端末２の角速度センサ（図示略）を用いて測定することで、当該大腿骨Ｂ１ｂの骨頭中心の位置の絶対座標を算出する。そして、算出された大腿骨Ｂ１ｂの骨頭中心の位置の絶対座標から撮像画像Ｆ内の大腿骨Ｂ１ｂの座標系での当該大腿骨Ｂ１の骨頭中心の位置を特定するようにしても良い。

なお、この手法による撮像画像Ｆ内の大腿骨Ｂ１ｂの座標系での当該大腿骨Ｂ１ｂの骨頭中心の位置の特定は、上記した推定処理における撮像画像Ｆと基準画像との照合の際に行っても良く、これにより、撮像画像Ｆ内での大腿骨Ｂ１ｂの姿勢の推定をより適正に行うことができる。

第１表示制御プログラム２０３ｅは、拡張現実（augmented reality:ＡＲ）技術を用いて、表示部２０６の表示パネル２０６ａに拡張現実画像を表示させる第１表示制御処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第１表示制御プログラム２０３ｅを読み出して、この第１表示制御プログラム２０３ｅに従って、第１表示制御処理を行う。ここで、中央制御部２０１のＣＰＵは、第１表示制御プログラム２０３ｅとの協働により、第１表示制御手段として機能する。
具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での骨Ｂ（例えば、脛骨Ｂ１ａや大腿骨Ｂ１ｂ等）の姿勢（好ましくは、姿勢及び位置）と、第１取得処理により取得された治具情報とに基づいて、撮像画像取得処理により逐次取得された撮像画像Ｆに、治具の向き及び位置のうちの少なくとも一方を拡張現実技術を用いて仮想的に表す第１拡張現実画像ＡＲ１を重畳させて表示パネル２０６ａに表示させる（図６（ａ）及び図６（ｂ）参照）。より具体的には、中央制御部２０１のＣＰＵは、第１特定処理により特定された撮像画像Ｆ内の患者Ｐの骨Ｂに対する治具の向き及び位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。

例えば、脛骨Ｂ１ａの場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨髄内ロッドの向き及び当該脛骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図６（ａ）参照）。また、例えば、脛骨Ｂ１ａに対して脛骨髄内ロッドが刺入されると、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨骨切り案内部材の向き及び位置を仮想的に表す第１拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。

また、大腿骨Ｂ１ｂの場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、例えば、図６（ｂ）に示すように、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の大腿骨Ｂ１ｂに対する大腿骨髄内ロッドの向き及び当該大腿骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。

第１拡張現実画像ＡＲ１としては、図６（ａ）及び図６（ｂ）に示すように、長尺な円柱形状のものを例示したが、一例であってこれに限られるものではなく、形状や寸法は適宜任意に変更可能である。また、第１拡張現実画像ＡＲ１は、撮像画像Ｆに重畳表示されるものであるため、図６（ａ）や図６（ｂ）に示すような半透過の状態か、或いは、外形のみが識別可能に表示された透過状態として、ユーザ（例えば、医者等）による当該撮像画像Ｆ内での骨Ｂの視認を妨げないようにするのが好ましい。

なお、図６（ａ）にあっては、患者Ｐの脛骨Ｂ１ａ以外の部分の図示は省略し、同様に、図６（ｂ）にあっては、患者Ｐの大腿骨Ｂ１ｂ以外の部分の図示は省略しているが、実際には、脛骨Ｂ１ａや大腿骨Ｂ１ｂの周囲の組織（例えば、軟骨、腱、靱帯、皮膚等）も撮像部２０４により撮像されて表示パネル２０６ａに表示された状態となる。

撮像部２０４は、手術台Ｔ上の患者Ｐの骨Ｂの表面を撮像する。具体的には、撮像部２０４は、例えば、図示は省略するが、レンズ部と、電子撮像部と、撮像制御部とを備えている。

レンズ部は、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ（図示略）から構成されている。
電子撮像部は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（図示略）から構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部は、タイミング発生器やドライバ（図示略）等により電子撮像部を走査駆動して、所定周期毎にレンズ部により結像された光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部２０５に出力させる。

信号処理部２０５は、電子撮像部から転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。
具体的には、信号処理部２０５は、例えば、フレーム画像のアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整し、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、信号処理部２０５は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２０２に出力する。

表示部２０６は、例えば、中央制御部２０１のＣＰＵの制御下にて各種情報を表示領域内に表示する。具体的には、表示部２０６は、例えば、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダ等を備え、中央制御部２０１のＣＰＵによる各種のアプリケーションプログラムの実行に基づいて、アプリケーション画面を生成し、生成されたアプリケーション画面のデータを表示パネル２０６ａに出力する。
なお、表示パネル２０６ａは、例えば、液晶表示パネルや有機ＥＬ表示パネル等から構成されている。

操作部２０７は、当該第１手術支援端末２の所定操作を行うためのものである。具体的には、操作部２０７は、電源のＯＮ／ＯＦＦ操作に係る電源ボタン、撮像指示に係るシャッタボタン、各種のモードや機能等の選択指示に係るボタン等（何れも図示略）を備えている。そして、ユーザにより各種ボタンが操作されると、操作部２０７は、操作されたボタンに応じた操作指示を中央制御部２０１に出力する。中央制御部２０１は、操作部２０７から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像等）を各部に実行させる。
なお、操作部２０７は、表示部２０６の表示パネル２０６ａと一体となって設けられたタッチパネル（図示略）を有していても良い。

通信制御部２０８は、病院端末１との間で情報通信を行う。
すなわち、通信制御部２０８は、例えば、病院端末１の通信制御部１０６と略同様に、無線ＬＡＮモジュール等を有し、Peer to Peer（アドホックモード）やインフラストラクチャモードで動作する。
具体的には、通信制御部２０８は、病院端末１の通信制御部１０６から送信された患者Ｐの断層画像データＩや術前計画データＤを受信する。なお、通信制御部２０８により受信された断層画像データＩや術前計画データＤは、記憶部２０３に出力されて当該記憶部２０３に記憶される。

＜第１術中支援処理＞
以下に、人工膝関節置換術における第１術中支援処理について、図５及び図６を参照して説明する。
図５は、第１手術支援端末２を用いた第１術中支援処理に係る動作の一例を示すフローチャートである。また、図６（ａ）及び図６（ｂ）は、第１術中支援処理にて第１手術支援端末２の表示パネル２０６ａに表示される表示画面の一例を模式的に示す図である。

なお、以下の説明では、予め病院端末１にて人工膝関節置換術の術前計画処理が行われて、当該病院端末１から断層画像データＩ及び術前計画データＤが第１手術支援端末２に送信されて、記憶部２０３に記憶されているものとする。

図５に示すように、先ず、中央制御部２０１のＣＰＵは、患者Ｐの人工膝関節が取り付けられる予定の脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元形状を表す基準画像、並びに、治具情報を含む術前計画データＤを取得する（ステップＳ１；第１取得処理）。
具体的には、中央制御部２０１のＣＰＵは、第１取得プログラム２０３ａに従って、記憶部２０３から断層画像データＩを読み出して取得し、患者Ｐの脛骨Ｂ１ａ及び大腿骨Ｂ１ｂの三次元形状を表す基準画像の画像データを生成して取得する。また、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する人工関節構成部材の取付けを案内支援するための脛骨髄内ロッド、脛骨骨切り案内部材、大腿骨髄内ロッド、大腿骨骨切り案内部材等の治具に係る治具情報を含む術前計画データＤを取得する。

次に、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａ及び大腿骨Ｂ１ｂのうち、ユーザによる操作部２０７の所定操作に基づいて指定された一方の骨Ｂ（例えば、脛骨Ｂ１ａ等）を第１術中支援処理の対象となる対象骨として指定する（ステップＳ２）。

続けて、中央制御部２０１のＣＰＵは、患者Ｐの対象骨の表面が撮像された撮像画像Ｆを逐次取得する（ステップＳ３；撮像画像取得処理）。
具体的には、手術台Ｔ上の患者Ｐの対象骨（例えば、脛骨Ｂ１ａ等）の撮像部２０４による撮像が開始されると、信号処理部２０５は、対象骨の表面が撮像されたフレーム画像（撮像画像Ｆ）のデジタル値の画像データ（ＹＵＶデータ）を逐次生成してメモリ２０２に出力する。中央制御部２０１のＣＰＵは、撮像画像取得プログラム２０３ｂに従って、信号処理部２０５により逐次生成された撮像画像Ｆの画像データをメモリ２０２から逐次取得する。

その後、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での患者Ｐの対象骨の姿勢を推定する（ステップＳ４；推定処理）。
具体的には、中央制御部２０１のＣＰＵは、推定プログラム２０３ｃに従って、撮像画像取得処理により逐次取得された撮像画像Ｆ（例えば、脛骨Ｂ１ａの表面形状を表す撮像画像Ｆ等）を第１取得処理により取得された基準画像（例えば、脛骨Ｂ１ａを表す基準画像等）と照合して、第１手術支援端末２に対する患者Ｐの対象骨（例えば、脛骨Ｂ１ａ等）の姿勢及び位置関係を表す行列を推定する。

次に、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の患者Ｐの対象骨に対する治具の向き及び位置を特定する（ステップＳ５；第１特定処理）。
具体的には、中央制御部２０１のＣＰＵは、第１特定プログラム２０３ｄに従って、推定処理により推定された撮像画像Ｆ内での対象骨（例えば、脛骨Ｂ１ａ等）の姿勢と、第１取得処理により取得された治具情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の対象骨の座標系での当該対象骨に対する治具の向き及び位置（例えば、脛骨髄内ロッドの向き及び刺入点の位置等）を特定する。

続けて、中央制御部２０１のＣＰＵは、撮像画像Ｆに対象骨に対する治具の向き及び位置を拡張現実技術を用いて仮想的に表す第１拡張現実画像ＡＲ１を重畳させて表示パネル２０６ａに表示させる（ステップＳ６；第１表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、第１表示制御プログラム２０３ｅに従って、第１特定処理により特定された撮像画像Ｆ内の患者Ｐの対象骨（例えば、脛骨Ｂ１ａ等）に対する治具の向き及び位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。

例えば、対象骨が脛骨Ｂ１ａの場合、中央制御部２０１のＣＰＵは、脛骨髄内ロッドの刺入前には、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨髄内ロッドの向き及び当該脛骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させ（図６（ａ）参照）、また、脛骨髄内ロッドの刺入後には、撮像画像Ｆ内の脛骨Ｂ１ａに対する脛骨骨切り案内部材の向き及び位置を仮想的に表す第１拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。
これにより、医者は第１拡張現実画像ＡＲ１を視認して、脛骨Ｂ１ａに対する脛骨髄内ロッドの向きや刺入点の位置、脛骨骨切り案内部材の向き及び位置を把握することができる。

その後、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａ及び大腿骨Ｂ１ｂのうち、対象骨となる骨Ｂが他にあるか否かを判定する（ステップＳ７）。
ここで、対象骨となる骨Ｂが他にあると判定されると（ステップＳ７；ＹＥＳ）、中央制御部２０１のＣＰＵは、脛骨Ｂ１ａ及び大腿骨Ｂ１ｂのうち、前回対象骨として指定されていない他方の骨Ｂ（例えば、大腿骨Ｂ１ｂ等）を新たな対象骨として指定した後（ステップＳ８）、処理をステップＳ３に戻す。

そして、中央制御部２０１のＣＰＵは、ステップＳ３〜Ｓ６の各処理を上記と略同様にして行い、ステップＳ６の第１表示制御処理にて、撮像画像Ｆ内の患者Ｐの対象骨（例えば、大腿骨Ｂ１ｂ等）に対する治具の向き及び位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。

例えば、対象骨が大腿骨Ｂ１ｂの場合、中央制御部２０１のＣＰＵは、大腿骨髄内ロッドの刺入前には、撮像画像Ｆ内の大腿骨Ｂ１ｂに対する大腿骨髄内ロッドの向き及び当該大腿骨髄内ロッドの刺入点の位置を仮想的に表す第１拡張現実画像ＡＲ１を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させ（図６（ｂ）参照）、また、大腿骨髄内ロッドの刺入後では、撮像画像Ｆ内の大腿骨Ｂ１ｂに対する大腿骨骨切り案内部材の向き及び位置を仮想的に表す第１拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。
これにより、医者は第１拡張現実画像ＡＲ１を視認して、大腿骨Ｂ１ｂに対する大腿骨髄内ロッドの向きや刺入点の位置、大腿骨骨切り案内部材の向き及び位置を把握することができる。

一方、ステップＳ７にて、対象骨となる骨Ｂが他にないと判定されると（ステップＳ７；ＮＯ）、中央制御部２０１のＣＰＵは、当該第１術中支援処理を終了する。

以上のように、実施形態１の手術支援システム１００によれば、第１手術支援端末２は、人工膝関節置換術の術中に、患者Ｐのインプラント（例えば、人工膝関節等）が取り付けられる予定の骨Ｂの表面が撮像された撮像画像Ｆを逐次取得して、この撮像画像Ｆ内での骨Ｂの姿勢を推定し、推定された撮像画像Ｆ内での骨Ｂの姿勢と、骨Ｂの基準画像に基づく三次元モデル上での当該骨Ｂに対するインプラントの取付けを案内支援するための治具（例えば、髄内ロッドや骨切り案内部材等）の向きや位置を含む治具情報とに基づいて、逐次取得された撮像画像Ｆに治具の向きや位置を仮想的に表す第１拡張現実画像ＡＲ１を重畳させて表示部２０６に表示させるので、従来のように、高額なナビゲーションシステムを用いなくとも、医者が表示部２０６に表示されている第１拡張現実画像ＡＲ１を視認するだけで骨Ｂに対する治具の向きや位置を適正に把握することができ、外科手術の術中支援を高精度で、且つ、低コストで行うことができる。つまり、手術台Ｔ上での患者Ｐの***の状態に応じて変化する骨Ｂの向きや位置（特に、回旋等）を考慮して当該骨Ｂに対する治具の向きや位置を医者が逐次把握することができ、結果として、より正確に人工膝関節の取付けを行うことができるようになる。
特に、第１手術支援端末２としては、例えば、スマートフォンやタブレット等の一般的な端末を適用することができ、当該手術支援システム１００の導入コストをより低下させることができる。
さらに、ナビゲーションシステムでは必要なマーカが不要となり、手術時間をより短時間化することができるだけでなく、人工膝関節置換術をより低侵襲で行うことができる。

［実施形態２］
以下に、本発明を適用した実施形態２の手術支援システム１００について、図７〜図１０を参照して説明する。
なお、以下に説明する以外の点は、上記実施形態１と略同様であり、詳細な説明は省略する。

図７は、実施形態２の手術支援システム１００が用いられる人工膝関節置換術を説明するための斜視図である。
実施形態２の手術支援システム１００は、図７に示すように、人工股関節置換術に用いられるシステムであり、実施形態１と同様に、無線通信回線を介して情報通信可能に接続された病院端末１と、第２手術支援端末２Ａ（図８参照）とを備えている。
なお、図７には、手術台Ｔ上にて側臥位状態の患者Ｐを例示したが、一例であってこれに限られるものではなく、例えば、患者Ｐは仰臥位状態であっても良い。

＜病院端末＞
病院端末１は、人工股関節置換術の術前計画を行うためのものである以外の点は、上記実施形態１と略同様である。
すなわち、病院端末１の記憶部１０３は、例えば、人工股関節置換術前に、医療用断層画像診断装置により患者Ｐの股関節を構成する骨盤（図示略）及び大腿骨Ｂ２が撮像された断層画像データＩと、人工股関節置換術の術前計画処理用の術前計画用プログラム１０３ａとを記憶している。

術前計画用プログラム１０３ａは、人工股関節置換術の術前計画処理に係る機能を実現させるプログラムである。
すなわち、中央制御部１０１のＣＰＵは、記憶部１０３から術前計画用プログラム１０３ａを読み出して、この術前計画用プログラム１０３ａに従って、取付け予定の人工股関節（骨盤側部材（臼蓋カップ）や大腿骨側部材（大腿骨ステム）等の人工関節構成部材）の形状や寸法、臼蓋のリーミング位置やリーミング量、大腿骨Ｂ２の骨切り位置等をシミュレーションにより特定する。

具体的には、上記実施形態１と略同様に、中央制御部１０１のＣＰＵは、上記した断層画像データＩから患者Ｐの骨盤や大腿骨Ｂ２の三次元形状を表す画像データを生成する。そして、中央制御部１０１のＣＰＵは、表示部１０４に表示された骨盤や大腿骨Ｂ２の三次元モデル上で座標系を構築し、人工股関節を構成する骨盤側部材や大腿骨側部材（人工関節構成部材）の設置予定位置等をシミュレーションして特定する。

また、中央制御部１０１のＣＰＵは、断層画像データＩに基づいて表示部１０４に表示された骨盤や大腿骨Ｂ２の三次元モデル上での、骨盤や大腿骨Ｂ２に対する一の骨加工（骨切りや切削）の適切な向き及び位置のうちの少なくとも一方を含む骨加工情報をシミュレーションして生成する。さらに、骨加工情報には、表示部１０４に表示され、仮想的に一の骨加工が施された状態の大腿骨Ｂ２の三次元モデル上での、一の骨加工後の大腿骨Ｂ２に対する大腿骨側部材の取付けのための他の骨加工の向き及び位置のうちの少なくとも一方が含まれる。この骨加工情報は、シミュレーションにより自動的に生成されても良いし、医者による操作部１０５の所定操作に基づいて一の骨加工や他の骨加工の向きや位置の微調整が行われても良い。

具体的には、一の骨加工としては、例えば、骨盤の臼蓋のリーミング、大腿骨Ｂ２の骨頭の骨切り等が挙げられ、他の骨加工としては、例えば、大腿骨Ｂ２のリーミングが挙げられる。
また、中央制御部１０１のＣＰＵは、骨盤の前骨盤平面の傾き、臼蓋の寸法や向き、大腿骨Ｂ２の骨頭中心の位置、大腿骨Ｂ２の解剖軸等の各種の術中支援パラメータを生成しても良い。

＜第２手術支援端末＞
次に、第２手術支援端末２Ａについて、図８を参照して詳細に説明する。図８は、第２手術支援端末２Ａの機能的構成を示すブロック図である。
第２手術支援端末２Ａは、人工股関節置換術の術中支援を行うためのものである以外の点は、上記実施形態１と略同様である。具体的には、図８に示すように、第２手術支援端末２Ａの記憶部２０３は、第２取得プログラム２０３ｆ、撮像画像取得プログラム２０３ｂ、推定プログラム２０３ｃ、第２特定プログラム２０３ｇ、第２表示制御プログラム２０３ｈ、断層画像データＩ、術前計画データＤ等を記憶している。

第２取得プログラム２０３ｆは、基準画像及び骨加工情報を取得する第２取得処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２取得プログラム２０３ｆを読み出して、この第２取得プログラム２０３ｆに従って、第２取得処理を行う。ここで、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｆとの協働により、第２取得手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、上記実施形態１の第１取得処理と略同様に、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている断層画像データＩ、すなわち、人工股関節置換術前に医療用断層画像診断装置により撮像された断層画像データＩを記憶部２０３から読み出して取得する。そして、中央制御部２０１のＣＰＵは、患者Ｐの人工股関節が取り付けられる予定の骨盤及び大腿骨Ｂ２の三次元形状を表す基準画像の画像データを生成して取得する。この基準画像は、後述する骨加工情報に基づいて骨Ｂ（例えば、大腿骨Ｂ２）に対して仮想的に一の骨加工が施された状態の三次元形状に係る基準画像を含んでいる。

また、中央制御部２０１のＣＰＵは、病院端末１から送信されて通信制御部２０８により受信され、記憶部２０３に記憶されている術前計画データＤを記憶部２０３から読み出して取得する。すなわち、中央制御部２０１のＣＰＵは、断層画像データＩに基づく骨盤や大腿骨Ｂ２の三次元モデル上での、骨盤や大腿骨Ｂ２に対する一の骨加工の向き及び位置のうちの少なくとも一方、並びに、仮想的に一の骨加工が施された状態の大腿骨Ｂ２の三次元モデル上での、大腿骨Ｂ２に対する他の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報を含む術前計画データＤを取得する。

撮像画像取得プログラム２０３ｂは、上記実施形態１と略同様に、撮像画像Ｆ（図１０（ａ）等参照）を逐次取得する撮像画像取得処理に係る機能を実現させるプログラムである。
すなわち、例えば、人工股関節置換術中に、手術台Ｔ上の患者Ｐの骨盤や大腿骨Ｂ２が撮像部２０４により撮像されると、撮像部２０４の撮像制御部は、電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して信号処理部２０５に出力させる。信号処理部２０５は、フレーム画像のアナログ値の信号に対して各種の画像信号処理を施して、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成してメモリ２０２に出力する。中央制御部２０１のＣＰＵは、メモリ２０２からフレーム画像（撮像画像Ｆ）のデジタル値の画像データ（ＹＵＶデータ）を逐次取得する。

また、患者Ｐの骨Ｂに対して一の骨加工が行われた後は、中央制御部２０１のＣＰＵは、撮像画像取得処理にて、一の骨加工後の骨Ｂが撮像された撮像画像Ｆの画像データを逐次取得する。

推定プログラム２０３ｃは、上記実施形態１と略同様に、撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する推定処理に係る機能を実現させるプログラムである。
すなわち、具体的には、中央制御部２０１のＣＰＵは、撮像画像取得処理により逐次取得された撮像画像Ｆ（例えば、骨盤や大腿骨Ｂ２の表面形状を表す撮像画像Ｆ等）を第２取得処理により取得された基準画像（例えば、骨盤や大腿骨Ｂ２を表す基準画像等）と照合して、その照合結果に基づいて撮像画像Ｆ内での患者Ｐの骨Ｂの姿勢を推定する。

また、患者Ｐの骨Ｂに対して一の骨加工が行われた後は、中央制御部２０１のＣＰＵは、撮像画像取得処理により逐次取得された撮像画像Ｆと第２取得処理により取得された基準画像とを照合して、撮像画像Ｆ内での一の骨加工後の骨Ｂの姿勢を推定する。ここで、一の骨加工後の骨Ｂの姿勢を推定する処理は、上記した一の骨加工前の骨Ｂの姿勢を推定する処理と略同様であり、ここでは詳細な説明は省略するが、例えば、中央制御部２０１のＣＰＵは、骨加工情報に基づいて骨Ｂ（例えば、大腿骨Ｂ２）に対して仮想的に一の骨加工が施された状態の三次元形状を表す基準画像を任意の二次元平面に投影した画像を複数生成して、撮像画像Ｆとの照合を行うようになっている。

第２特定プログラム２０３ｇは、骨加工の向きや位置を特定する第２特定処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２特定プログラム２０３ｇを読み出して、この第２特定プログラム２０３ｇに従って、第２特定処理を行う。ここで、中央制御部２０１のＣＰＵは、第２特定プログラム２０３ｇとの協働により、第２特定手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での患者Ｐの骨Ｂ（例えば、骨盤や大腿骨Ｂ２等）の姿勢（好ましくは、姿勢及び位置）と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の患者Ｐの骨Ｂに対する一の骨加工の向き及び位置のうちの少なくとも一方を特定する。例えば、大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での大腿骨Ｂ２の姿勢と、骨加工情報に含まれる大腿骨Ｂ２の三次元モデル上での当該大腿骨Ｂ２に対する骨切り（一の骨加工）の向き及び位置とに基づいて、撮像画像Ｆ内の大腿骨Ｂ２の座標系と当該大腿骨Ｂ２の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の大腿骨Ｂ２の座標系での当該大腿骨Ｂ２の骨頭の骨切りの向き及び位置を特定する。

また、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での一の骨加工後の骨Ｂ（例えば、大腿骨Ｂ２等）の姿勢と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の一の骨加工後の骨Ｂに対する他の骨加工の向き及び位置のうちの少なくとも一方を特定する。例えば、大腿骨Ｂ２の骨頭の骨切りが一の骨加工として行われた場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での骨切り後の大腿骨Ｂ２の姿勢と、骨加工情報に含まれる仮想的に一の骨加工が施された状態の大腿骨Ｂ２の三次元モデル上での一の骨加工後の大腿骨Ｂ２に対する大腿骨側部材の取付けのためのリーミング（他の骨加工）の向き及び位置とに基づいて、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２の座標系と当該大腿骨Ｂ２の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２の座標系での当該大腿骨Ｂ２のリーミングの向き及び位置を特定する。

また、骨盤の場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、中央制御部２０１のＣＰＵは、撮像画像Ｆ内での骨盤の姿勢と、骨加工情報に含まれる骨盤の三次元モデル上での当該骨盤の臼蓋のリーミング（一の骨加工）の向き及び位置とに基づいて、撮像画像Ｆ内の骨盤の座標系と当該骨盤の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の骨盤の座標系での当該骨盤の臼蓋のリーミングの向き及び位置を特定する。

第２表示制御プログラム２０３ｈは、拡張現実技術を用いて、表示部２０６の表示パネル２０６ａに拡張現実画像を表示させる第２表示制御処理に係る機能を実現させるプログラムである。
すなわち、中央制御部２０１のＣＰＵは、記憶部２０３から第２表示制御プログラム２０３ｈを読み出して、この第２表示制御プログラム２０３ｈに従って、第２表示制御処理を行う。ここで、中央制御部２０１のＣＰＵは、第２表示制御プログラム２０３ｈとの協働により、第２表示制御手段として機能する。

具体的には、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での骨Ｂ（例えば、骨盤や大腿骨Ｂ２等）の姿勢（好ましくは、姿勢及び位置）と、第２取得処理により取得された骨加工情報とに基づいて、撮像画像取得処理により逐次取得された撮像画像Ｆに、一の骨加工の向き及び位置のうちの少なくとも一方を拡張現実技術を用いて仮想的に表す第２拡張現実画像ＡＲ２を重畳させて表示パネル２０６ａに表示させる。より具体的には、中央制御部２０１のＣＰＵは、第２特定処理により特定された撮像画像Ｆ内の骨Ｂに対する一の骨加工の向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の大腿骨Ｂ２の骨頭の骨切りの向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ａ）参照）。

また、中央制御部２０１のＣＰＵは、推定処理により推定された撮像画像Ｆ内での一の骨加工後の骨Ｂ（例えば、大腿骨Ｂ２等）の姿勢（好ましくは、姿勢及び位置）と、第２取得処理により取得された骨加工情報とに基づいて、撮像画像取得処理により逐次取得された撮像画像Ｆに、他の骨加工の向き及び位置のうちの少なくとも一方を拡張現実技術を用いて仮想的に表す第３拡張現実画像ＡＲ３を重畳させて表示パネル２０６ａに表示させる。より具体的には、中央制御部２０１のＣＰＵは、第２特定処理により特定された撮像画像Ｆ内の一の骨加工後の骨Ｂに対する他の骨加工の向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、大腿骨Ｂ２の骨頭の骨切りが一の骨加工として行われた場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２に対する大腿骨側部材の取付けのための当該大腿骨Ｂ２のリーミングの向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ｂ）参照）。

また、骨盤の場合も処理内容は略同様であり、ここでは詳細な説明は省略するが、例えば、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨盤の臼蓋のリーミングの向き及び位置を仮想的に表す第２拡張現実画像（図示略）を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。

第２拡張現実画像ＡＲ２として、骨切り面を表す平面状のものを例示し（図１０（ａ）参照）、第３拡張現実画像ＡＲ３として、長尺な円柱形状のものを例示したが（図１０（ｂ）参照）、一例であってこれらに限られるものではなく、形状や寸法は適宜任意に変更可能である。また、第２拡張現実画像ＡＲ２及び第３拡張現実画像ＡＲ２は、第１拡張現実画像ＡＲ１と同様に、半透過の状態か、或いは、外形のみが識別可能に表示された透過状態とするのが好ましい。

なお、図１０（ａ）及び図１０（ｂ）にあっては、患者Ｐの大腿骨Ｂ２以外の部分の図示は省略しているが、実際には、大腿骨Ｂ２の周囲の組織も撮像部２０４により撮像されて表示パネル２０６ａに表示された状態となる。

＜第２術中支援処理＞
以下に、人工股関節置換術における第２術中支援処理について、図９及び図１０を参照して説明する。
図９は、第２手術支援端末２Ａを用いた第２術中支援処理に係る動作の一例を示すフローチャートである。また、図１０（ａ）及び図１０（ｂ）は、第２術中支援処理にて第２手術支援端末２Ａの表示パネル２０６ａに表示される表示画面の一例を模式的に示す図である。

図９に示すように、先ず、中央制御部２０１のＣＰＵは、患者Ｐの人工股関節が取り付けられる予定の骨盤及び大腿骨Ｂ２の三次元形状を表す基準画像、並びに、骨加工情報を含む術前計画データＤを取得する（ステップＳ１１；第２取得処理）。
具体的には、中央制御部２０１のＣＰＵは、第２取得プログラム２０３ｆに従って、記憶部２０３から断層画像データＩを読み出して取得し、患者Ｐの骨盤及び大腿骨Ｂ２の三次元形状を表す基準画像の画像データを生成して取得する。また、中央制御部２０１のＣＰＵは、骨盤や大腿骨Ｂ２一の骨加工の向き及び位置、並びに、一の骨加工後の大腿骨Ｂ２に対する大腿骨側部材の取付けのための他の骨加工の向き及び位置に係る骨加工情報を含む術前計画データＤを取得する。

次に、中央制御部２０１のＣＰＵは、骨盤及び大腿骨Ｂ２のうち、ユーザによる操作部２０７の所定操作に基づいて指定された一方の骨Ｂ（例えば、大腿骨Ｂ２等）を第２術中支援処理の対象となる対象骨として指定する（ステップＳ１２）。

続けて、中央制御部２０１のＣＰＵは、実施形態１の第１術中支援処理のステップＳ３と略同様に、患者Ｐの対象骨の表面が撮像された撮像画像Ｆを逐次取得し（ステップＳ１３；撮像画像取得処理）、実施形態１の第１術中支援処理のステップＳ４と略同様に、撮像画像Ｆ内での患者Ｐの対象骨の姿勢を推定する（ステップＳ１４；推定処理）。

次に、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の患者Ｐの対象骨に対する一の骨加工の向き及び位置を特定する（ステップＳ１５；第２特定処理）。
具体的には、中央制御部２０１のＣＰＵは、第２特定プログラム２０３ｇに従って、推定処理により推定された撮像画像Ｆ内での対象骨（例えば、大腿骨Ｂ２等）の姿勢と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の対象骨の座標系での当該対象骨に対する一の骨加工（例えば、大腿骨Ｂ２の骨切り等）の向き及び位置を特定する。

続けて、中央制御部２０１のＣＰＵは、撮像画像Ｆに対象骨に対する一の骨加工の向き及び位置を拡張現実技術を用いて仮想的に表す第２拡張現実画像ＡＲ２を重畳させて表示パネル２０６ａに表示させる（ステップＳ１６；第２表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、第２表示制御プログラム２０３ｈに従って、第２特定処理により特定された撮像画像Ｆ内の患者Ｐの対象骨（例えば、大腿骨Ｂ２等）に対する一の骨加工の向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、対象骨が大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の大腿骨Ｂ２の骨頭の骨切りの向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ａ）参照）。
これにより、医者は第２拡張現実画像ＡＲ２を視認して、大腿骨Ｂ２の骨頭の骨切りの向き及び位置を把握することができる。

その後、中央制御部２０１のＣＰＵは、例えば、術前計画データＤに基づいて、患者Ｐの対象骨に対するインプラントの取付けのための他の骨加工が必要であるか否かを判定する（ステップＳ１７）。
ここで、他の骨加工が必要であると判定されると（ステップＳ１７；ＹＥＳ）、中央制御部２０１のＣＰＵは、ステップＳ１３と略同様に、一の骨加工後の対象骨の表面が撮像された撮像画像Ｆを逐次取得する（ステップＳ１８；撮像画像取得処理）。続けて、中央制御部２０１のＣＰＵは、ステップＳ１４と略同様に、撮像画像Ｆ内での一の骨加工後の対象骨の姿勢を推定する（ステップＳ１９；推定処理）。

その後、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の一の骨加工後の対象骨に対する他の骨加工の向き及び位置を特定する（ステップＳ２０；第２特定処理）。
具体的には、中央制御部２０１のＣＰＵは、第２特定プログラム２０３ｇに従って、推定処理により推定された撮像画像Ｆ内での一の骨加工後の対象骨（例えば、大腿骨Ｂ２等）の姿勢と、第２取得処理により取得された骨加工情報を含む術前計画データＤとに基づいて、撮像画像Ｆ内の一の骨加工後の対象骨の座標系と当該対象骨の三次元モデルの座標系の位置合わせを行って、撮像画像Ｆ内の一の骨加工後の対象骨の座標系での当該対象骨に対する他の骨加工（例えば、大腿骨Ｂ２のリーミング等）の向き及び位置を特定する。

続けて、中央制御部２０１のＣＰＵは、撮像画像Ｆに一の骨加工後の対象骨に対する他の骨加工の向き及び位置を拡張現実技術を用いて仮想的に表す第３拡張現実画像ＡＲ３を重畳させて表示パネル２０６ａに表示させる（ステップＳ２１；第２表示制御処理）。
具体的には、中央制御部２０１のＣＰＵは、第２表示制御プログラム２０３ｈに従って、第２特定処理により特定された撮像画像Ｆ内の一の骨加工後の対象骨（例えば、大腿骨Ｂ２等）に対する他の骨加工の向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、対象骨が大腿骨Ｂ２の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨切り後の大腿骨Ｂ２のリーミングの向き及び位置を仮想的に表す第３拡張現実画像ＡＲ３を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる（図１０（ｂ）参照）。
これにより、医者は第３拡張現実画像ＡＲ３を視認して、大腿骨Ｂ２のリーミングの向き及び位置を把握することができる。

その後、中央制御部２０１のＣＰＵは、骨盤及び大腿骨Ｂ２のうち、対象骨となる骨Ｂが他にあるか否かを判定する（ステップＳ２２）。また、ステップＳ１７にて、他の骨加工が必要でないと判定された場合（ステップＳ１７；ＮＯ）にも、中央制御部２０１のＣＰＵは、処理をステップＳ２２に移行し、対象骨となる骨Ｂが他にあるか否かを判定する。

ステップＳ２２にて、対象骨となる骨Ｂが他にあると判定されると（ステップＳ２２；ＹＥＳ）、中央制御部２０１のＣＰＵは、骨盤及び大腿骨Ｂ２のうち、前回対象骨として指定されていない他方の骨Ｂ（例えば、骨盤等）を新たな対象骨として指定した後（ステップＳ２３）、処理をステップＳ１３に戻す。

そして、中央制御部２０１のＣＰＵは、ステップＳ１３〜Ｓ１６の各処理を上記と略同様にして行い、ステップＳ１６の第２表示制御処理にて、撮像画像Ｆ内の患者Ｐの対象骨（例えば、骨盤等）に対する一の骨加工の向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。例えば、対象骨が骨盤の場合、中央制御部２０１のＣＰＵは、撮像画像Ｆ内の骨盤の臼蓋のリーミングの向き及び位置を仮想的に表す第２拡張現実画像ＡＲ２を撮像画像Ｆに重畳させて表示パネル２０６ａに表示させる。
これにより、医者は第２拡張現実画像ＡＲ２を視認して、骨盤の臼蓋のリーミングの向き及び位置を把握することができる。

その後、ステップＳ１７にて、中央制御部２０１のＣＰＵは、患者Ｐの対象骨に対するインプラントの取付けのための他の骨加工が必要であるか否かを判定する。例えば、対象骨が骨盤の場合、臼蓋のリーミング以外の他の骨加工が不要であることから、中央制御部２０１のＣＰＵは、他の骨加工が必要でないと判定して（ステップＳ１７；ＮＯ）、処理をステップＳ２２に移行する。

一方、ステップＳ２２にて、対象骨となる骨Ｂが他にないと判定されると（ステップＳ２２；ＮＯ）、中央制御部２０１のＣＰＵは、当該第２術中支援処理を終了する。

以上のように、実施形態２の手術支援システム１００によれば、第２手術支援端末２Ａは、人工股関節置換術の術中に、患者Ｐの骨加工される予定の骨Ｂの表面が撮像された撮像画像Ｆを逐次取得して、この撮像画像Ｆ内での骨Ｂの姿勢を推定し、推定された撮像画像Ｆ内での骨Ｂの姿勢と、骨Ｂの基準画像に基づく三次元モデル上での当該骨Ｂに対する一の骨加工の向きや位置を含む骨加工情報とに基づいて、逐次取得された撮像画像Ｆに一の骨加工の向きや位置を仮想的に表す第２拡張現実画像ＡＲ２を重畳させて表示部２０６に表示させるので、従来のように、高額なナビゲーションシステムを用いなくとも、医者が表示部２０６に表示されている第２拡張現実画像ＡＲ２を視認するだけで骨Ｂに対する一の骨加工の向きや位置を適正に把握することができ、外科手術の術中支援を高精度で、且つ、低コストで行うことができる。つまり、手術台Ｔ上での患者Ｐの***の状態に応じて変化する骨Ｂの向きや位置（特に、回旋等）を考慮して当該骨Ｂに対する一の骨加工の向きや位置を医者が逐次把握することができ、結果として、より正確に一の骨加工を行うことができるようになる。

さらに、一の骨加工後には、当該一の骨加工後の骨Ｂが撮像された撮像画像Ｆを逐次取得し、逐次取得された撮像画像Ｆと骨Ｂに対して仮想的に一の骨加工が施された状態の三次元形状に係る基準画像とを照合して、この撮像画像Ｆ内での一の骨加工後の骨Ｂの姿勢を推定し、推定された撮像画像Ｆ内での一の骨加工後の骨Ｂの姿勢と、骨Ｂの基準画像に基づく三次元モデル上での当該一の骨加工後の骨Ｂに対するインプラントの取付けのための他の骨加工の向きや位置を含む骨加工情報とに基づいて、逐次取得された撮像画像Ｆに他の骨加工の向きや位置を仮想的に表す第３拡張現実画像ＡＲ３を重畳させて表示部２０６に表示させるので、骨Ｂに対して一の骨加工が施された状態でも、医者が表示部２０６に表示されている第３拡張現実画像ＡＲ３を視認するだけで一の骨加工後の骨Ｂに対する他の骨加工の向きや位置を適正に把握することができる。

なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、インプラントとして、人工膝関節や人工股関節を例示したが、一例であってこれに限られるものではなく、例えば、脊椎ケージや人工椎体など適宜任意に変更可能である。また、例えば、人工膝関節置換術においては、実施形態１のように、髄内ロッドや骨切り案内部材（治具）を用いずに、実施形態２のように、脛骨Ｂ１ａや大腿骨Ｂ１ｂに対する骨加工の向きや位置を拡張現実技術を用いて仮想的に表すようにしても良い。このとき、骨Ｂに対する骨加工が複数回行われる場合には、実施形態２のように、一の骨加工後の骨Ｂの姿勢を推定し、他の骨加工の向きや位置を拡張現実技術を用いて仮想的に表すようにしても良い。

また、上記実施形態１にあっては、第１拡張現実画像ＡＲ１として、脛骨髄内ロッドや大腿骨髄内ロッド等の治具の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該治具の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。さらに、第１拡張現実画像ＡＲ１は、治具の向きや位置を直接的に表すものに変えて、或いは、加えて、治具の向きや位置を間接的に表し、当該治具の向きや位置の調整の基準となる位置（例えば、脛骨Ｂ１ａの場合、後十字靭帯付着部、脛骨結節内縁等）を表すものであっても良い。

また、上記実施形態２にあっては、第２拡張現実画像ＡＲ２として、一の骨加工の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該一の骨加工の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。同様に、第３拡張現実画像ＡＲ３として、インプラントの取付けのための他の骨加工の向き及び位置の両方を仮想的に表すものを例示したが、一例であってこれに限られるものではなく、例えば、当該他の骨加工の向き及び位置のうち、何れか一方を仮想的に表すものであっても良い。さらに、第２拡張現実画像ＡＲ２や第３拡張現実画像ＡＲ３は、一の骨加工や他の骨加工の向きや位置を直接的に表すものに変えて、或いは、加えて、一の骨加工や他の骨加工の向きや位置を間接的に表し、当該一の骨加工や他の骨加工の向きや位置の調整の基準となる位置（例えば、大腿骨Ｂ２の場合、骨軸等）を表すものであっても良い。
また、第１〜第３拡張現実画像ＡＲ１〜ＡＲ３を表示する際に、撮像画像Ｆと基準画像との照合状態を表すために骨Ｂの三次元モデルも併せて表示パネル２０６ａに表示するようにしても良い。

さらに、上記実施形態１、２にあっては、例えば、予め人種、年齢及び性別などの人の身体的特徴の各々に対応する標準的な骨Ｂの三次元形状を表す画像データを複数用意しておき、患者Ｐの骨Ｂの断層画像データＩがない場合には、当該患者Ｐの身体的特徴に合致する画像データを基準画像として利用しても良い。

また、上記実施形態１、２にあっては、手術支援システム１００として、病院端末１と第１手術支援端末２や第２手術支援端末２Ａとが無線通信回線を介して接続された構成を例示したが、一例であってこれに限られるものではなく、例えば、有線ケーブル（図示略）を用いて情報通信可能に接続されていても良い。また、無線通信回線として、無線ＬＡＮを例示したが、一例であってこれに限られるものではなく、例えば、Bluetooth（登録商標）を用いても良い。

さらに、第１手術支援端末２及び第２手術支援端末２Ａの構成は、一例であってこれらに限られるものではない。例えば、術前計画処理を病院端末１にて行うようにしたが、一例であってこれに限られるものではなく、例えば、第１手術支援端末２及び第２手術支援端末２Ａが行っても良く、この場合には、断層画像データＩ及び術前計画データＤのうち、少なくとも断層画像データＩを取得すれば良い。また、第１手術支援端末２及び第２手術支援端末２Ａは、断層画像データＩや術前計画データＤをメモリカード等の記憶媒体を介して病院端末１から取得しても良い。さらに、第１手術支援端末２及び第２手術支援端末２Ａとしては、例えば、ウェアラブルコンピューターデバイス、特に、頭部装着型コンピューターデバイス（ヘッドマウンティドディスプレイ）を用いても良い。

また、上記実施形態１の第１手術支援端末２にあっては、第１取得手段、撮像画像取得手段、推定手段及び第１表示制御手段等としての機能が、中央制御部２０１のＣＰＵにより所定のプログラム等が実行されることにより実現されるようにしたが、所定のロジック回路により実現されても良い。
同様に、上記実施形態２の第２手術支援端末２Ａにあっては、第２取得手段、撮像画像取得手段、推定手段及び第２表示制御手段等としての機能が、中央制御部２０１のＣＰＵにより所定のプログラム等が実行されることにより実現されるようにしたが、所定のロジック回路により実現されても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

加えて、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１００ 手術支援システム
１ 病院端末
２ 第１手術支援端末
２Ａ 第２手術支援端末
２０１ 中央制御部（第１取得手段、撮像画像取得手段、推定手段、第１表示制御手段、第１特定手段、第２取得手段、第２表示制御手段、第２特定手段）
２０３ 記憶部
２０４ 撮像部
２０６ 表示部
２０６ａ 表示パネル
ＡＲ１〜ＡＲ３ 第１〜第３拡張現実画像
Ｂ 骨
Ｂ１ａ 脛骨
Ｂ１ｂ、Ｂ２ 大腿骨
Ｆ 撮像画像

Claims (10)

1. 患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段と、
   患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
   前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
   前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段と、
   を備えることを特徴とする手術支援端末。
2. 前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像内の前記骨に対する前記治具の向き及び位置のうちの少なくとも一方を特定する第１特定手段を更に備え、
   前記第１表示制御手段は、前記第１特定手段により特定された前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す前記第１拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項１に記載の手術支援端末。
3. 前記インプラントは、関節を構成する二つの骨のうち、一の骨に対応する人工関節構成部材を含み、
   前記治具は、前記一の骨にその関節面側から刺入される髄内ロッドを含み、
   前記第１表示制御手段は、前記第１特定手段により特定された前記髄内ロッドの向き及び当該髄内ロッドの刺入点の位置のうちの少なくとも一方を仮想的に表す前記第１拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項２に記載の手術支援端末。
4. 前記インプラントは、関節を構成する二つの骨のうち、一の骨に対応し、当該一の骨の骨切り後に取り付けられる人工関節構成部材を含み、
   前記治具は、前記一の骨に取り付けられ、当該一の骨の骨切りを案内する骨切り案内部材を含み、
   前記第１表示制御手段は、前記第１特定手段により特定された前記骨切り案内部材の向き及び位置のうちの少なくとも一方を仮想的に表す前記第１拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項２に記載の手術支援端末。
5. 患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段と、
   患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段と、
   前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段と、
   前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段と、
   を備えることを特徴とする手術支援端末。
6. 前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像内の前記骨に対する前記一の骨加工の向き及び位置のうちの少なくとも一方を特定する第２特定手段を更に備え、
   前記第２表示制御手段は、前記第２特定手段により特定された前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す前記第２拡張現実画像を前記撮像画像に重畳させて前記表示部に表示させることを特徴とする請求項５に記載の手術支援端末。
7. 前記基準画像は、前記第２取得手段により取得された前記骨加工情報に基づいて前記骨に対して仮想的に前記一の骨加工が施された状態の三次元形状に係る基準画像を含み、
   前記撮像画像取得手段は、前記一の骨加工後の骨が撮像された撮像画像を逐次取得し、
   前記推定手段は、前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記一の骨加工後の骨の姿勢を推定することを特徴とする請求項５又は６に記載の手術支援端末。
8. 前記骨加工情報は、前記基準画像に基づく三次元モデル上での前記一の骨加工後の骨に対するインプラントの取付けのための他の骨加工の向き及び位置のうちの少なくとも一方を含み、
   前記第２表示制御手段は、更に、前記推定手段により推定された前記撮像画像内での前記一の骨加工後の骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記他の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第３拡張現実画像を重畳させて前記表示部に表示させることを特徴とする請求項７に記載の手術支援端末。
9. 手術支援端末のコンピュータを、
   患者のインプラントが取付けられる予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対するインプラントの取付けを案内支援するための治具の向き及び位置のうちの少なくとも一方を含む治具情報とを取得する第１取得手段、
   患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
   前記撮像画像取得手段により逐次取得された撮像画像と前記第１取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
   前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第１取得手段により取得された前記治具情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記治具の向き及び位置のうちの少なくとも一方を仮想的に表す第１拡張現実画像を重畳させて表示部に表示させる第１表示制御手段、
   として機能させることを特徴とするプログラム。
10. 手術支援端末のコンピュータを、
    患者の骨加工される予定の骨の三次元形状に係る基準画像と、前記基準画像に基づく三次元モデル上での前記骨に対する一の骨加工の向き及び位置のうちの少なくとも一方を含む骨加工情報とを取得する第２取得手段、
    患者の前記骨の表面が撮像された撮像画像を逐次取得する撮像画像取得手段、
    前記撮像画像取得手段により逐次取得された撮像画像と前記第２取得手段により取得された基準画像とを照合して、前記撮像画像内での前記骨の姿勢を推定する推定手段、
    前記推定手段により推定された前記撮像画像内での前記骨の姿勢と、前記第２取得手段により取得された前記骨加工情報とに基づいて、前記撮像画像取得手段により逐次取得された撮像画像に前記一の骨加工の向き及び位置のうちの少なくとも一方を仮想的に表す第２拡張現実画像を重畳させて表示部に表示させる第２表示制御手段、
    として機能させることを特徴とするプログラム。

Images