JP6463038B2 - 画像位置合せ装置、方法およびプログラム - Google Patents

Description

本発明は、手術中に撮影した手術の対象部位を含む術中画像に、対象部位の手術に関連するシミュレーション情報を位置合せして重畳表示する画像位置合せ装置、方法およびプログラムに関するものである。

近年、３次元医用画像を用いた手術シミュレーションが盛んに行われている。手術シミュレーションとは、医用画像から手術対象となる組織、臓器およびその周辺構造を可視化し、実際の手術で行われる手技をシミュレーションするものである。例えば、肝臓の部分切除シミュレーションでは、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（magnetic resonance imaging）画像の断層画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化して、手術時の術野から見たシミュレーション画像を生成する。その後、シミュレーション画像を用いて、肝臓内にある腫瘍を切除する範囲をコンピュータで計算して、手術計画を立てて手術を行う。

一方、シミュレーション画像を、手術中に参照したいという要求がある。このため、シミュレーション画像を紙に印刷して手術室に持ち込んだり、手術室に設置されたディスプレイに表示したりすることが行われている。そして医師は、実際の患者の術部を見ながら、確認のために紙に印刷したあるいはディスプレイに表示したシミュレーション画像を見ながら手術を行う。

しかしながら、患者とシミュレーション画像とを交互に見ながら手術を行うことは、非常に煩わしい。このため、手術中に手術の対象部位を撮影して術中画像を取得し、術中画像にシミュレーション画像を重畳して表示する手法が提案されている。例えば、特許文献１には、光学センサあるいは磁気センサを、術部を撮影するカメラ、術具等、もしくは臓器に直接取り付け、それらの相対位置関係をキャリブレーションし、キャリブレーション後のカメラの位置および向きの変更、並びに臓器の移動に対して、シミュレーション画像を移動させることにより、手術の対象となる部位とシミュレーション画像とを位置合せして重畳表示する手法が提案されている。

また、手術の対象となる部位にマーカを配置し、マーカの位置をセンサにより検出して、手術の対象部位とシミュレーション画像とを位置合せし、ヘッドマウントディスプレイに表示する手法（特許文献２参照）、および手術の対象部位にマーカを埋め込み、これをセンサにより検出して手術の対象部位とシミュレーション画像とを位置合せし、モニタに表示する手法も提案されている（特許文献３参照）。

しかしながら、特許文献１〜３に記載された手法は、高価なセンサを使用する必要がある。また、手術室にはスペースに限りがあるため、手術室にセンサを設定することは容易ではない。また、対象部位にマーカを配置すると、手術の邪魔となる可能性もある。

一方、センサ等を用いることなく、撮影された患者の画像とシミュレーション画像とを位置合せする手法も提案されている。例えば、特許文献４においては、３次元画像から臓器モデルを生成し、超音波画像にリアルタイムで臓器モデルを重畳させて表示する際に、超音波画像の各フレームと臓器モデルと間のアフィン変換関数を求め、これに基づいて臓器モデルを変換して超音波画像に重畳させる手法が提案されている。また、医用画像を対象とするものではないが、ユーザの顔をリアルタイムで撮影しながら、眉毛等のテンプレートをユーザの顔画像に重畳表示し、ユーザの顔の角度の変化および拡大縮小を検出し、それに追従させてテンプレートを移動および拡大縮小させる手法も提案されている（特許文献５参照）。

特開２０１３−２０２３１３号公報 特開２０１０−２５９４９７号公報 特開２０１０−２００８９４号公報 特開２０１０−２０５８９９号公報 特開２０１１−００８３９７号公報

しかしながら、特許文献４に記載された手法はセンサを使用しないものの、超音波画像の各フレームと臓器モデルとの間のアフィン変換係数を求めて、各フレームと臓器モデルとを位置合せしている。このため、臓器モデルの変形が必要となることから、位置合せのための演算量が多くなる。一方、特許文献５に記載された手法は、ユーザの顔に眉毛テンプレートを重ねるものである。ユーザの顔は重ね合せられる眉毛が似合うかどうかを確認するために、様々な方向を向いたり、拡大縮小されたりする。このように、刻一刻と変化する顔に対してテンプレートを重ね合せるには、顔の全体について、フレーム間の位置合せを行う必要があるため、位置合せのための演算量が多くなる。このため、特許文献４，５に記載された手法を、手術中の画像とシミュレーション画像との位置合せに適用した場合、演算量が多くなり、手術中の画像とシミュレーション画像との位置合せを迅速に行うことができない。

本発明は上記事情に鑑みなされたものであり、手術中の人体に含まれる手術の対象部位を撮影した術中画像と、シミュレーション画像等のシミュレーション情報との位置合せを迅速に行うことができるようにすることを目的とする。

本発明による画像位置合せ装置は、手術中の人体に含まれる、手術の対象部位を含む術中画像を順次取得する画像取得手段と、
対象部位の手術に関連するシミュレーション情報を取得する情報取得手段と、
術中画像とシミュレーション情報との初期位置合せをする初期位置合せ手段と、
術中画像に含まれる、手術中における不変位置に基づいて、初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得する位置情報取得手段と、
位置情報に基づいて、シミュレーション情報と新たな術中画像とを位置合せして表示手段に重畳表示する重畳表示手段とを備えたことを特徴とするものである。

「シミュレーション情報」とは、手術の対象部位に関連する任意の情報を意味し、例えば、対象部位の３次元形状を表す画像、対象部位および対象部位に含まれる構造物の３次元形状を表す画像、対象部位および構造物の輪郭を表す画像、あるいはＰＥＴ（Positron Emission Tomography）検査またはＮＭ（nuclear medical）検査（核医学検査）等により取得される機能３次元画像等の画像情報をシミュレーション情報として用いることができる。また、対象部位の名称および対象部位に含まれる構造物の名称等の文字情報、あるいは対象部位の切除位置を示す線や矢印等の記号もシミュレーション情報として用いることができる。

「手術中における不変位置」とは、手術が進行しても変動しない位置を意味し、例えば、開腹した部分を固定する鉗子等の手術用具、および術中画像に含まれる対象部位以外の部位が存在する位置が挙げられる。また、対象部位の一部を切除する場合においては、対象部位における切除により残る部分を手術中における不変位置として用いることもできる。

なお、本発明による画像位置合せ装置においては、不変位置の指定を受け付ける入力手段をさらに備えるものとしてもよい。

また、本発明による画像位置合せ装置においては、シミュレーション情報取得手段を、対象部位についての３次元画像を取得し、３次元画像に基づいてシミュレーション情報を生成する手段としてもよい。

また、本発明による画像位置合せ装置においては、対象部位が少なくとも１つの構造物を含む場合、シミュレーション情報を、対象部位および少なくとも１つの構造物の３次元形状を表す画像としてもよい。

この場合、３次元形状を表す画像を、対象部位および少なくとも１つの構造物の輪郭のみを含むものとしてもよい。

また、３次元形状を表す画像を、対象部位および少なくとも１つの構造物毎に異なる透明度が設定されてなるものとしてもよい。

また、３次元形状を表す画像を、対象部位および少なくとも１つの構造物毎に異なる色が設定されてなるものとしてもよい。

また、本発明による画像位置合せ装置においては、シミュレーション情報を、対象部位の３次元形状を表す画像としてもよい。

この場合、３次元形状を表す画像を、対象部位の輪郭のみを含むものとしてもよい。

また、本発明による画像位置合せ装置においては、シミュレーション情報を、対象部位についての機能３次元画像としてもよい。

また、本発明による画像位置合せ装置においては、位置情報取得手段を、初期位置合せされた術中画像と新たに取得された術中画像との平行移動成分、回転成分および拡大率の少なくとも１つを位置情報として取得する手段としてもよい。

また、本発明による画像位置合せ装置においては、情報取得手段を、対象部位における手術中に移動する部分に関連する追加のシミュレーション情報を取得する手段とし、
初期位置合せ手段を、さらに術中画像と追加のシミュレーション情報との初期位置合せをする手段とし、
位置情報取得手段を、追加のシミュレーション情報に関して、手術中に移動する部分に含まれる変動位置に基づいて、初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す追加の位置情報をさらに取得する手段とし、
重畳表示手段を、追加の位置情報に基づいて、追加のシミュレーション情報と新たな術中画像とを位置合せして表示手段にさらに重畳表示する手段としてもよい。

本発明による画像位置合せ方法は、手術中の人体に含まれる、手術の対象部位を含む術中画像を順次取得し、
対象部位の手術に関連するシミュレーション情報を取得し、
術中画像とシミュレーション情報との初期位置合せをし、
術中画像に含まれる、手術中における不変位置に基づいて、初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、
位置情報に基づいて、シミュレーション情報と新たな術中画像とを位置合せして表示手段に重畳表示することを特徴とするものである。

なお、本発明による画像位置合せ方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、術中画像およびシミュレーション情報が取得され、術中画像とシミュレーション情報との初期位置合せが行われる。次いで、術中画像に含まれる、手術中における不変位置に基づいて、初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報が取得される。そして、位置情報に基づいて、シミュレーション情報と新たな術中画像とが位置合せされて表示手段に重畳表示される。このように、本発明においては、位置情報は、術中画像に含まれる不変位置に基づいて取得されるため、位置合せのために必要な情報は、術中画像の全体から取得されないこととなる。したがって、少ない演算量により位置情報を求めることができ、その結果、術中画像とシミュレーション情報とを迅速に位置合せして重畳表示することができる。

本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図 タブレット端末に画像位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図 シミュレーション情報を示す図 本実施形態において行われる処理を示すフローチャート 初期位置合せの際にディスプレイに表示される画像を示す図 不変位置を中心とした領域の設定を説明するための図 現在表示されている術中画像の初期術中画像に対する位置のずれを説明するための図 シミュレーション情報と術中画像との重畳表示を説明するための図 ２つのシミュレーション情報を示す図 切除された肝臓の右葉および左葉のそれぞれに、シミュレーション情報を重畳表示した状態を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による画像位置合せ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

３次元画像撮影装置２は、被検体７の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体７の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、腹部の３次元画像Ｖ０が生成されるものとする。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。

画像位置合せ装置１は、１台のコンピュータに、本発明の画像位置合せプログラムをインストールしたものである。本実施形態においては、コンピュータは、診断を行う医師が直接操作するネットワーク４と無線接続されたタブレット端末である。画像位置合せプログラムは、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体からタブレット端末にインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてタブレット端末にダウンロードされ、インストールされる。

図２はタブレット端末に画像位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図である。図２に示すように、画像位置合せ装置１は、標準的なタブレット端末の構成として、ＣＰＵ１１、メモリ１２、ストレージ１３、カメラ１４、液晶等のディスプレイ１５、およびタッチパネル式の入力部１６を備えている。

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０および画像位置合せ装置１での処理によって生成された画像を含む各種情報が記憶されている。

カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。医師は画像位置合せ装置１、すなわちタブレット端末のカメラ１４を用いて、手術中の被検体７における手術の対象部位である、開腹された被検体７の肝臓を撮影することにより、肝臓を含む術中画像Ｔ０を取得する。術中画像Ｔ０は所定のフレームレートを有する動画像となる。

また、メモリ１２には、画像位置合せプログラムが記憶されている。画像位置合せプログラムは、ＣＰＵ１１に実行させる処理として、３次元画像撮影装置２が取得した３次元画像Ｖ０およびカメラ１４が取得した術中画像Ｔ０の画像取得処理、対象部位の手術に関連するシミュレーション情報を取得するシミュレーション情報取得処理、術中画像Ｔ０とシミュレーション情報との初期位置合せをする初期位置合せ処理、術中画像に含まれる、手術中における不変位置に基づいて、初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得する位置情報取得処理、および位置情報に基づいて、シミュレーション情報と新たな術中画像とを位置合せしてディスプレイ１５に重畳表示する重畳表示処理を規定している。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、タブレット端末は、画像取得部２１、シミュレーション情報取得部２２、初期位置合せ部２３、位置情報取得部２４および重畳表示部２５として機能する。なお、画像位置合せ装置１は、画像取得処理、初期位置合せ処理、位置情報取得処理および重畳表示処理をそれぞれ行うＣＰＵを備えるものであってもよい。

画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された手術中の被写体の対象部位を含む術中画像Ｔ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、術中画像Ｔ０は、開腹された被検体７の上方から医師が肝臓を撮影することにより取得される。

シミュレーション情報取得部２２は、術の対象部位である肝臓のシミュレーション情報を生成する。このため、シミュレーション情報取得部２２は、まず３次元画像Ｖ０から手術の対象部位である肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を抽出する。シミュレーション情報取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。シミュレーション情報取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。

そして、シミュレーション情報取得部２２は、肝臓等の３次元形状を表す画像をシミュレーション情報Ｓ０として生成する。具体的には、抽出した肝臓等をあらかじめ定めた投影面に投影した投影像を、シミュレーション情報Ｓ０として生成する。ここで、投影面としては、例えば、被検体７の肝臓を正面から臨む面とすればよい。なお、投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる。

この際、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色を定義してシミュレーション情報Ｓ０を生成してもよく、異なる透明度を定義してシミュレーション情報Ｓ０を生成してもよい。例えば、肝動脈を赤色、肝静脈を青色、病変を緑色としたり、肝臓の不透明度を０．１、肝動脈および肝静脈の不透明度を０．５、病変の不透明度を０．８としたりしてもよい。これにより、図３に示すようなシミュレーション情報Ｓ０が生成される。このように、シミュレーション情報Ｓ０において、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を容易に識別することができる。なお、異なる色および異なる透明度の双方を定義してシミュレーション情報Ｓ０を生成してもよい。生成されたシミュレーション情報Ｓ０はストレージ１３に保存される。

また、シミュレーション情報Ｓ０は、肝臓等の輪郭のみを含むものであってもよい。これにより、後述するようにシミュレーション情報Ｓ０と術中画像Ｔ０とを重畳表示した際に、ディスプレイ１５において術野が見にくくなることを防止できる。

以下、初期位置合せ部２３、位置情報取得部２４および重畳表示部２５の説明と併せて、本実施形態において行われる処理について説明する。

図４は本実施形態において行われる処理を示すフローチャートである。なお、シミュレーション情報Ｓ０はすでに生成されて、ストレージ１３に保存されているものとする。まず、被検体７の手術対象部位が撮影されて術中画像Ｔ０が取得される（ステップＳＴ１）。なお、術中画像Ｔ０は所定のフレームレートにより順次取得されるものとする。そして、初期位置合せ部２３が、術中画像Ｔ０とシミュレーション情報Ｓ０との初期位置合せを行う（ステップＳＴ２）。具体的には、入力部１６により受け付けられた操作に応じて、術中画像Ｔ０とシミュレーション情報Ｓ０との初期位置合せを行う。

図５は初期位置合せの際にディスプレイに表示される画像を示す図である。初期位置合せ時においては、初期位置合せ部２３は、初期位置合せのために、術中画像Ｔ０にシミュレーション情報Ｓ０を重畳して、ディスプレイ１５に表示する。なお、この段階においては、シミュレーション情報Ｓ０はディスプレイ１５におけるあらかじめ定められた位置に表示される。ここで、表示されたシミュレーション情報Ｓ０は、入力部１６の操作、すなわちディスプレイ１５へのタッチ操作により、平行移動、回転および拡大縮小が可能となっている。なお、画像が存在する平面にｘ軸およびｙ軸を、画像に直交する方向にｚ軸を設定した場合、回転は３軸の任意の方向に可能となっている。なお、ｘｙ平面における回転以外の回転、すなわちｘ軸および／またはｙ軸の周りの回転がなされた場合、シミュレーション情報Ｓ０の投影面が変化する。このため、シミュレーション情報取得部２２は、投影面が変化した場合、シミュレーション情報Ｓ０を改めて生成する。

また、初期位置合せ時に表示される術中画像Ｔ０は動画像および静止画像のいずれであってもよいが、本実施形態においては動画像であるものとする。また、初期位置合せ時には、できるだけ術野全体が術中画像に含まれるように、タブレット端末の位置を調整することが好ましい。

医師は、ディスプレイ１５に表示された術中画像Ｔ０およびシミュレーション情報Ｓ０を見ながら、シミュレーション情報Ｓ０の位置が、術中画像Ｔ０に含まれる肝臓の位置と一致するように、シミュレーション情報Ｓ０を平行移動、回転および拡大縮小する。そして、シミュレーション情報Ｓ０の位置が、術中画像Ｔ０に含まれる肝臓の位置と一致した時点で、入力部１６を用いて初期位置合せ終了の指示を行うことにより、初期位置合せが完了する。なお、初期位置合せ終了の指示は、入力部１６の操作により、終了指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。これにより、初期位置合せ終了時にディスプレイ１５に表示されていた術中画像Ｔ０が初期術中画像Ｔ１としてストレージ１３に保存される。

なお、本実施形態においては、手術の対象部位は肝臓であり、手術中に肝臓は切除されて移動する可能性がある。このため、本実施形態においては、初期位置合せ時には、ディスプレイ１５に表示された術中画像Ｔ０において、手術中に移動しない不変位置の指定を受け付ける。例えば、図６に示す術中画像Ｔ０において、鉗子３０等の手術用具が存在する部位は手術中には移動しない。また、肝臓の左葉を切除する場合、肝臓の右葉は手術中には移動しない。このため、本実施形態においては、入力部１６により鉗子３０のエッジ上の位置Ｏ１あるいは肝臓の右葉の位置Ｏ２等、手術中に移動しない不変位置の指定を受け付け、不変位置をストレージ１３に保存しておく。

初期位置合せ後、医師は手術を進める。手術中、医師はタブレット端末を被検体７の上方に保持しておくことはできないため、タブレット端末による対象部位の撮影は一時的に中断され、その後、病変の位置の確認等、必要な時にタブレット端末を用いての対象部位の撮影が行われる。この際、タブレット端末の位置は初期位置合せを行った位置から移動され、対象部位の撮影が再度行われることとなる。このような状況においては、カメラ１４は、初期術中画像Ｔ１を取得したときとは位置がずれるため、ディスプレイ１５に表示される術中画像Ｔ０は、図７に示すように、初期術中画像Ｔ１に対して位置がずれることとなる。位置情報取得部２４は、術中画像Ｔ０に含まれる、手術中における不変位置に基づいて、初期術中画像Ｔ１と新たに取得された術中画像Ｔ０との相対的な位置の相違を表す位置情報を取得する（ステップＳＴ３）。

まず、位置情報取得部２４は、位置情報Ｐ０を取得するために、不変位置を基準として、術中画像Ｔ０と初期術中画像Ｔ１とのテンプレートマッチングを行う。なお、テンプレートマッチングの手法としては、図６に示すように不変位置Ｏ１，Ｏ２を中心とした領域Ａ１，Ａ２を初期術中画像Ｔ１に設定し、領域Ａ１、Ａ２と術中画像Ｔ０との対応関係に基づいて、術中画像Ｔ０の初期術中画像Ｔ１に対する平行移動成分、回転成分および拡大率の少なくとも１つを位置情報Ｐ０として算出する手法を用いることができる。なお、回転とは、上記ｚ軸の周り（すなわちｘｙ平面における）２次元的な回転を意味する。

ここで、位置情報Ｐ０は、現在表示されている術中画像Ｔ０の初期術中画像Ｔ１に対する相対的な位置の相違を表すものである。このため、位置情報Ｐ０は、現在のカメラ１４の位置と、初期位置合せ時のカメラ１４の位置との相対的な位置の相違に相当するものとなる。

また、テンプレートマッチングの手法としてはこれに限定されるものではなく、術中画像Ｔ０において初期術中画像Ｔ１と似た位置をマッチングする高速テンプレートマッチング法「 J.P. Lewis, Fast Template Matching, Vision Interface 95, Canadian Image Processing and Pattern Recognition Society, Quebec City, Canada, May 15-19, 1995, p. 120-123. (Also see the expanded and corrected version "Fast Normalized Cross-Correlation").」、マッチングの際に回転成分に不変な特徴量を利用する手法「D.G.Lowe, "Distinctive image features from scaleinvariant keypoints", Internal Journal of Computer Vision（IJCV）, Vol.60, No.2, pp.91-110, 2004.」、およびテンプレートマッチングのロバスト性を高めるために特定の画像情報を用いて符号化する手法「F.Ullah, S.Kaneko, and S.Igarashi, "Orientation Code Matching for Robust Object Search", IEICE Transactions on Information and Systems,Vol.E84-D, No.8, pp.999-1006, 2001.」等、任意の手法を用いることができる。

このようにして位置情報Ｐ０が取得されると、重畳表示部２５が、位置情報Ｐ０に基づいてシミュレーション情報Ｓ０を現在の術中画像Ｔ０に位置合せして重畳表示し（ステップＳＴ４）、ステップＳＴ３にリターンする。この際、シミュレーション情報Ｓ０は、位置情報Ｐ０に基づいて、平行移動、回転および／または拡大縮小される。これにより、図８に示すように、シミュレーション情報Ｓ０は、初期術中画像Ｔ１と位置合せした位置と同様の位置において、術中画像Ｔ０に重畳表示されることとなる。

このように、本実施形態によれば、術中画像Ｔ０と初期術中画像Ｔ１との相対的な位置の相違を表す位置情報Ｐ０を取得し、位置情報Ｐ０に基づいてシミュレーション情報Ｓ０と術中画像Ｔ０とを位置合せして重畳表示するようにしたものである。ここで、位置情報Ｐ０は、術中画像Ｔ０に含まれる不変位置に基づいて取得されるため、位置合せのために必要な情報は、術中画像Ｔ０の全体から取得されないこととなる。したがって、少ない演算量により位置情報Ｐ０を求めることができ、その結果、術中画像Ｔ０とシミュレーション情報Ｓ０とを迅速に位置合せして重畳表示することができる。

なお、上記実施形態においては、不変位置の指定を受け付け、不変位置に基づいてテンプレートマッチングを行って位置情報Ｐ０を取得しているが、不変位置を自動で検出するようにしてもよい。例えば、初期術中画像Ｔ１から手術対象部位である肝臓を抽出し、抽出した肝臓を除いた肝臓以外の領域に含まれる部位のエッジ等の特徴点を不変位置として検出してもよい。この場合、検出した特徴点を用いてテンプレートマッチングを行って位置情報Ｐ０を取得すれよい。

ここで、特徴点は位置情報Ｐ０を取得する都度検出してもよいが、撮影時においては、タブレット端末は急激に移動されるものではない。このため、位置情報Ｐ０の取得の際には、前回の位置情報Ｐ０の算出時に使用した特徴点を用いるようにすることが好ましい。これにより、演算量を低減して迅速に位置合せ情報を算出することができる。

また、上記実施形態において、手術室の照明の影響により、術中画像Ｔ０が一瞬白飛びする場合がある。このような場合、そのフレームの術中画像Ｔ０を用いたのでは、位置情報Ｐ０を取得することができない。ここで、撮影時においては、タブレット端末は急激に移動されるものではない。このため、術中画像Ｔ０を用いての位置情報Ｐ０の取得ができない場合には、その１つ前のフレームの術中画像Ｔ０を用いて算出した位置情報Ｐ０を用いて、シミュレーション情報Ｓ０と術中画像Ｔ０との位置合せを行うようにしてもよい。これにより、一瞬でもシミュレーション情報Ｓ０がディスプレイ１５に表示されなくなってしまうことを防止できる。

また、上記実施形態においては１つのシミュレーション情報Ｓ０を生成しているが、複数のシミュレーション情報Ｓ０を生成してもよい。例えば、手術対象部位が肝臓である場合において、肝臓の左葉を切除する場合がある。このため、シミュレーション情報取得部２２は、図９に示すように、右葉シミュレーション情報ＳＲおよび左葉シミュレーション情報ＳＬという２つのシミュレーション情報を取得してもよい。この場合、初期位置合せは、術中画像Ｔ０と、右葉シミュレーション情報ＳＲおよび左葉シミュレーション情報ＳＬのそれぞれとにおいて行われる。具体的には、右葉シミュレーション情報ＳＲは、術中画像Ｔ０における右葉と位置合せされ、左葉シミュレーション情報ＳＬは、術中画像Ｔ０における左葉と位置合せされるように、初期位置合せが行われる。

手術中に肝臓の左葉を切除すると、左葉は手術前の位置から移動する。このため、切除される左葉用のシミュレーション情報ＳＬについては、不変位置ではなく、左葉のエッジ等、手術中に移動する変動位置の指定を受け付ける。そして、指定された変動位置に基づいて、左葉シミュレーション情報ＳＬと術中画像Ｔ０とを位置合せする。

この場合、位置情報取得部２４は、右葉シミュレーション情報ＳＲおよび左葉シミュレーション情報ＳＬのそれぞれに対して、位置情報ＰＲ，ＰＬを取得する。右葉用の位置情報ＰＲについては、上記実施形態と同様に不変位置に基づいて取得する。左葉用の位置情報ＰＬについては、変動位置に基づいて取得する。なお、左葉用の位置情報ＰＬが追加の位置情報に対応する。

そして、重畳表示部２５は、位置情報ＰＲ，ＰＬに基づいて、シミュレーション情報ＳＲ，ＳＬと術中画像Ｔ０との位置合せを行う。この場合、右葉用のシミュレーション情報ＳＲは、不変位置に基づいて取得された位置情報ＰＲを用いて位置合せが行われ、上記実施形態と同様に、シミュレーション情報ＳＲは右葉の位置に重畳表示される。一方、左葉用のシミュレーション情報ＳＬは、変動位置に基づいて取得された位置情報ＰＬを用いて位置合せが行われる。このため、切除により左葉の位置が変動した場合、その変動に追従して、シミュレーション情報ＳＬが術中画像Ｔ０に重畳される。したがって、図１０に示すように、切除された肝臓の右葉および左葉のそれぞれに、シミュレーション情報ＳＲ，ＳＬを重畳表示することができる。

また、上記実施形態においては、タブレット端末に術中画像Ｔ０およびシミュレーション情報Ｓ０を重畳表示しているが、術中画像をヘッドマウントディスプレイに表示する際のシミュレーション情報Ｓ０との位置合せを行う場合にも本発明を適用できる。また、術中画像Ｔ０を、手術台の上部に設置されたカメラにより撮影し、撮影により取得した画像を手術室内あるいは手術室外のディスプレイに表示する際のシミュレーション情報Ｓ０との位置合せを行う場合にも本発明を適用できる。この場合、本実施形態による画像位置合せ装置１はコンピュータにインストールされ、コンピュータにおいて術中画像Ｔ０とシミュレーション情報Ｓ０との位置合せが行われ、コンピュータに接続されたヘッドマウントディスプレイおよびディスプレイはコンピュータに、術中画像Ｔ０とシミュレーション情報Ｓ０とが重畳表示される。

また、上記実施形態においては、シミュレーション情報Ｓ０として、３次元画像Ｖ０から抽出した肝臓の投影像を用いているが、これに限定されるものではなく、ＰＥＴ検査またはＮＭ検査（核医学検査）等により取得される機能３次元画像をシミュレーション情報として用いてもよい。また、シミュレーション情報Ｓ０としては、画像情報に限定されるものではなく、切除位置を表す線、矢印等の記号、あるいは切除位置周囲の部位および組織名等の文字情報を用いてもよい。また、画像情報、記号および文字情報を併せてシミュレーション情報として用いるようにしてもよい。

また、上記実施形態においては、シミュレーション情報取得部２２においてシミュレーション情報Ｓ０を生成しているが、画像位置合せ装置１とは別個に設けられたシミュレーション情報取得装置において、シミュレーション情報Ｓ０を生成するようにしてもよい。この場合、画像位置合せ装置には、シミュレーション情報取得部２２が不要となるため、装置の構成を簡易なものとすることができる。

また、上記実施形態においては、シミュレーション情報Ｓ０を移動および変形して初期位置合せを行っているが、各種方向を向いた複数のシミュレーション情報を用意しておき、初期位置合せ時の術中画像Ｔ０に含まれる対象部位の方向に最も適したシミュレーション情報を選択して初期位置合せを行うようにしてもよい。

また、上記実施形態においては、肝臓に含まれる肝動脈等を抽出してシミュレーション情報Ｓ０に含めるようにしているが、手術の対象部位である肝臓のみを抽出し、肝臓のみの３次元形状を表す画像をシミュレーション情報Ｓ０として用いるようにしてもよい。この場合においても、シミュレーション情報Ｓ０は、肝臓の輪郭のみを含むものであってもよい。

また、上記実施形態においては、手術対象部位として肝臓を用いているが、これに限定されるものではなく、任意の部位を手術の対象とする場合における、術中画像Ｔ０とシミュレーション情報Ｓ０とを重畳表示する際に、本発明を適用することができる。

１ 画像位置合せ装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
２１ 画像取得部
２２ シミュレーション情報取得部
２３ 初期位置合せ部
２４ 位置情報取得部
２５ 重畳表示部

Claims (13)

1. 手術中の人体に含まれる、該手術の対象部位を含む術中画像を順次取得する画像取得手段と、
   前記対象部位の前記手術に関連するシミュレーション情報を取得するシミュレーション情報取得手段と、
   前記術中画像と前記シミュレーション情報との初期位置合せをする初期位置合せ手段と、
   前記対象部位の一部を切除する場合における切除により残る部分に含まれる不変位置に基づいて、前記初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得する位置情報取得手段と、
   前記位置情報に基づいて、前記シミュレーション情報と前記新たな術中画像とを位置合せして表示手段に重畳表示する重畳表示手段とを備え、
   前記シミュレーション情報取得手段は、前記シミュレーション情報に加えて、前記対象部位における前記手術中に移動する部分に関連する追加のシミュレーション情報を取得する手段であり、
   前記初期位置合せ手段は、さらに前記術中画像と前記追加のシミュレーション情報との初期位置合せをする手段であり、
   前記位置情報取得手段は、前記追加のシミュレーション情報に関して、前記手術中に移動する部分に含まれる変動位置に基づいて、前記初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す追加の位置情報をさらに取得する手段であり、
   前記重畳表示手段は、前記追加の位置情報に基づいて、前記追加のシミュレーション情報と前記新たな術中画像とを位置合せして前記表示手段にさらに重畳表示する手段であることを特徴とする画像位置合せ装置。
2. 前記不変位置の指定を受け付ける入力手段をさらに備えた請求項１記載の画像位置合せ装置。
3. 前記シミュレーション情報取得手段は、前記対象部位についての３次元画像を取得し、該３次元画像に基づいて前記シミュレーション情報を生成する手段である請求項１または２記載の画像位置合せ装置。
4. 前記対象部位が少なくとも１つの構造物を含む場合、前記シミュレーション情報は、前記対象部位および前記少なくとも１つの構造物の３次元形状を表す画像である請求項１から３のいずれか１項記載の画像位置合せ装置。
5. 前記３次元形状を表す画像は、前記対象部位および前記少なくとも１つの構造物の輪郭のみを含む請求項４記載の画像位置合せ装置。
6. 前記３次元形状を表す画像は、前記対象部位および前記少なくとも１つの構造物毎に異なる透明度が設定されてなる請求項４または５記載の画像位置合せ装置。
7. 前記３次元形状を表す画像は、前記対象部位および前記少なくとも１つの構造物毎に異なる色が設定されてなる請求項４から６のいずれか１項記載の画像位置合せ装置。
8. 前記シミュレーション情報は、前記対象部位の３次元形状を表す画像である請求項１から３のいずれか１項記載の画像位置合せ装置。
9. 前記３次元形状を表す画像は、前記対象部位の輪郭のみを含む請求項８記載の画像位置合せ装置。
10. 前記シミュレーション情報は、前記対象部位についての機能３次元画像である請求項１から３のいずれか１項記載の画像位置合せ装置。
11. 前記位置情報取得手段は、前記初期位置合せされた術中画像と前記新たに取得された術中画像との平行移動成分、回転成分および拡大率の少なくとも１つを前記位置情報として取得する手段である請求項１から１０のいずれか１項記載の画像位置合せ装置。
12. 画像取得手段、シミュレーション情報取得手段、初期位置合せ手段、位置情報取得手段、および重畳表示手段を備えた画像位置合せ装置の作動方法であって、
    前記画像取得手段が、手術中の人体に含まれる、該手術の対象部位を含む術中画像を順次取得し、
    前記シミュレーション情報取得手段が、前記対象部位の前記手術に関連するシミュレーション情報を取得し、
    前記初期位置合せ手段が、入力手段により受け付けられた操作に応じて、前記術中画像と前記シミュレーション情報との初期位置合せをし、
    前記位置情報取得手段が、前記対象部位の一部を切除する場合における切除により残る部分に含まれる不変位置に基づいて、前記初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、
    前記重畳表示手段が、前記位置情報に基づいて、前記シミュレーション情報と前記新たな術中画像とを位置合せして表示手段に重畳表示し、
    前記シミュレーション情報取得手段が、前記シミュレーション情報に加えて、前記対象部位における前記手術中に移動する部分に関連する追加のシミュレーション情報を取得し、
    前記初期位置合せ手段が、さらに前記術中画像と前記追加のシミュレーション情報との初期位置合せをし、
    前記位置情報取得手段が、前記追加のシミュレーション情報に関して、前記手術中に移動する部分に含まれる変動位置に基づいて、前記初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す追加の位置情報をさらに取得し、
    前記重畳表示手段が、前記追加の位置情報に基づいて、前記追加のシミュレーション情報と前記新たな術中画像とを位置合せして前記表示手段にさらに重畳表示することを特徴とする画像位置合せ装置の作動方法。
13. 手術中の人体に含まれる、該手術の対象部位を含む術中画像を順次取得する手順と、
    前記対象部位の前記手術に関連するシミュレーション情報を取得する手順と、
    前記術中画像と前記シミュレーション情報との初期位置合せをする手順と、
    前記対象部位の一部を切除する場合における切除により残る部分に含まれる不変位置に基づいて、前記初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得する手順と、
    前記位置情報に基づいて、前記シミュレーション情報と前記新たな術中画像とを位置合せして表示手段に重畳表示する手順と、
    前記シミュレーション情報に加えて、前記対象部位における前記手術中に移動する部分に関連する追加のシミュレーション情報を取得する手順と、
    さらに前記術中画像と前記追加のシミュレーション情報との初期位置合せをする手順と、
    前記追加のシミュレーション情報に関して、前記手術中に移動する部分に含まれる変動位置に基づいて、前記初期位置合せされた術中画像と新たに取得された術中画像との相対的な位置の相違を表す追加の位置情報をさらに取得する手順と、
    前記追加の位置情報に基づいて、前記追加のシミュレーション情報と前記新たな術中画像とを位置合せして前記表示手段にさらに重畳表示する手順とをコンピュータに実行させることを特徴とする画像位置合せプログラム。