JP6461024B2 - 画像位置合せ装置、方法およびプログラム - Google Patents

Description

本発明は、映像に含まれる対象物と対象物に関連する関連画像との位置合せを行う画像位置合せ装置、方法およびプログラムに関するものである。

近年、３次元医用画像を用いた手術シミュレーションが盛んに行われている。手術シミュレーションとは、医用画像から手術対象となる組織、臓器およびその周辺構造を可視化し、実際の手術で行われる手技をシミュレーションするものである。例えば、肝臓の部分切除シミュレーションでは、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像の断層画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化した画像を生成し、その画像を用いて、例えば肝臓内にある腫瘍を含む肝臓領域を切除する範囲をコンピュータで計算する等して、手術計画を立てる。

一方、上述したような手術シミュレーションに用いた画像（以下、シミュレーション画像とする）を、手術中に参照したいという要求がある。このため、シミュレーション画像を紙に印刷して手術室に持ち込んだり、手術室に設置されたディスプレイに表示したりすることが行われている。そして医師は、実際の患者の術部を見ながら、確認のために紙に印刷したあるいはディスプレイに表示したシミュレーション画像を見ながら手術を行う。

しかしながら、患者とシミュレーション画像とを交互に見ながら手術を行うことは、非常に煩わしく、実際の手術対象にシミュレーション画像を重畳させて確認したいという要望がある。このため、手術中に手術の対象部位を撮影して複数の画像からなる映像を取得し、映像にシミュレーション画像を重畳して表示する手法が提案されている。例えば、特許文献１には、光学センサあるいは磁気センサを、術部を撮影するカメラ、術具、もしくは臓器に直接取り付け、それらの相対位置関係をキャリブレーション、すなわち初期位置合せし、初期位置合せ後のカメラの位置および向きの変更、並びに臓器の移動に対して、シミュレーション画像を移動させることにより、手術の対象となる部位とシミュレーション画像とを位置合せして重畳表示する手法が提案されている。

また、手術の対象となる部位にマーカを配置し、マーカの位置をセンサにより検出して、手術の対象部位とシミュレーション画像とを位置合せし、ヘッドマウントディスプレイに表示する手法（特許文献２参照）、および手術の対象部位にマーカを埋め込み、これをセンサにより検出して手術の対象部位とシミュレーション画像とを位置合せし、モニタに表示する手法も提案されている（特許文献３参照）。

一方、センサ等を用いることなく、撮影された患者の画像とシミュレーション画像とを位置合せする手法も提案されている。例えば、特許文献４においては、３次元画像から臓器モデルを生成し、超音波画像にリアルタイムで臓器モデルを重畳させて表示する際に、超音波画像の各フレームと臓器モデルとの間のアフィン変換関数を求め、これに基づいて臓器モデルを変換して超音波画像に重畳させる手法が提案されている。

また、取得した画像を見やすくするために、画像を拡大して表示することが行われている。例えば、特許文献５においては、外科手術システムにおいて、取得した白黒画像に同時に取得した蛍光画像を重畳して拡大表示する手法が提案されている。

特開２０１３−２０２３１３号公報 特開２０１０−２５９４９７号公報 特開２０１０−２００８９４号公報 特開２０１２−２０５８９９号公報 特表２０１３−５３１５３８号公報

上述したように、映像にシミュレーション画像を重畳して表示する等の、撮影の対象物を含む映像に対象物に関連する関連画像を表示する場合にも、映像および関連画像における対象部位を拡大することにより、対象部位の確認が容易となる。しかしながら、映像および関連画像を拡大すると、位置合せに必要な情報が映像中に少なくなる。このように位置合せに必要な情報が少なくなると、映像と関連画像とを精度よく位置合せすることができない。

本発明は上記事情に鑑みなされたものであり、撮影の対象物に関連する関連画像が重畳された映像を見やすくでき、かつ位置合せを精度よく行うことができるようにすることを目的とする。

本発明による画像位置合せ装置は、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する画像取得手段と、
対象物に関連する関連画像を取得する関連画像取得手段と、
映像および関連を表示手段に表示する表示制御手段と、
第１の位置合せの指示により、映像に含まれる対象物と関連画像との第１の位置合せを行う第１の位置合せ手段と、
第１の位置合せの結果に基づいて、映像に含まれる対象物と関連画像との第２の位置合せを行う第２の位置合せ手段とを備え、
表示制御手段は、少なくとも第２の位置合せが行われている間、映像に含まれる対象物と関連画像とを重畳し、かつ関連画像が重畳された映像の部分領域を拡大して表示手段に表示し、
第２の位置合せ手段は、映像の部分領域の拡大表示中、映像における部分領域よりも大きい領域を用いて第２の位置合せを行うことを特徴とするものである。

「関連画像」とは、映像に含まれる対象物に関連する任意の画像を意味し、例えば、ＣＴ画像またはＭＲＩ画像から生成した対象物の３次元形状を表す画像、ＣＴ画像またはＭＲＩ画像から生成した対象物および対象物に含まれる構造物の３次元形状を表す画像、構造物の３次元形状を表す画像上において決定された対象物の切除位置を表す線若しくは矢印等の記号（すなわち手術シミュレーション画像）、またはＰＥＴ（Positron Emission Tomography）検査若しくはＮＭ（Nuclear Medical）検査（核医学検査）等により取得される機能３次元画像等の画像情報を関連画像として用いることができる。また、対象物の名称および対象物に含まれる構造物の名称等の文字情報を画像化したものも、表示手段に表示する場合には画像と見なせるため、関連画像として用いることができる。

「第１の位置合せの指示」とは、関連画像を平行移動、回転移動、拡大縮小および向きの少なくとも１つを変更して、映像に含まれる対象物に関連画像を一致させる指示を意味する。なお、「向きを変更する」とは、表示手段の表示面に平行なあるいは表示面に沿った軸の周りに関連画像を回転させることを意味する。一方、「回転移動」とは、表示手段の表示面に直交する軸の回りの回転を意味する。

「少なくとも第２の位置合せが行われている間」とは、第２の位置合せが行われている間のみならず、第１の位置合せが行われている間も含む。

「部分領域よりも大きい領域」とは、部分領域よりも大きければよく、必ずしも部分領域を含んでいる必要はない。

なお、本発明による画像位置合せ装置においては、部分領域の指定を受け付ける入力手段をさらに備えるものとしてもよい。

この場合、表示制御手段は、映像から指定された部分領域を抽出し、抽出された部分領域のみを拡大して表示手段に表示するものであってもよい。

画像取得手段は対象物を含むように撮影を行うが、撮影を続けている間に撮影範囲が変化する場合がある。「映像から指定された部分領域を抽出する」とは、映像を構成する、順次取得される画像から部分領域に対応する領域を抽出し、撮影範囲が変化しても、指定された部分領域の画像と同一の画像が拡大されて表示手段に表示されるようにすることを意味する。

また、本発明による画像位置合せ装置においては、第２の位置合せ手段は、映像の部分領域の拡大表示中、映像の全領域を用いて第２の位置合せを行うものであってもよい。

また、本発明による画像位置合せ装置においては、対象物が少なくとも１つの構造物を含む場合、関連画像は、対象物および少なくとも１つの構造物の３次元形状を表す画像であってもよい。

本発明による画像位置合せ方法は、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得するステップと、
対象物に関連する関連画像を取得するステップと、
映像および関連画像を表示手段に表示するステップと、
第１の位置合せの指示により、映像に含まれる対象物と関連画像との第１の位置合せを行うステップと、
第１の位置合せの結果に基づいて、映像に含まれる対象物と関連画像との第２の位置合せを行うステップと、
少なくとも第２の位置合せが行われている間、映像に含まれる対象物と関連画像とを重畳し、かつ関連画像が重畳された映像の部分領域を拡大して表示手段に表示するステップと、
映像の部分領域の拡大表示中、映像における部分領域よりも大きい領域を用いて第２の位置合せを行うステップとを有することを特徴とするものである。

なお、本発明による画像位置合せ方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、映像および関連画像が表示手段に重畳表示され、映像に含まれる対象物と関連画像との第１の位置合せが行われる。第１の位置合せの終了後、第１の位置合せの結果に基づいて、関連画像と映像に含まれる対象物との第２の位置合せが行われる。そして、少なくとも第２の位置合せが行われている間、映像に含まれる対象物と関連画像とが重畳され、かつ関連画像が重畳された映像の部分領域が拡大されて表示される。さらに、映像の部分領域の拡大表示中、映像における部分領域よりも大きい領域を用いて第２の位置合せが行われる。このように、拡大表示された部分領域を表示することにより、関連画像が重畳された映像を見やすくすることができる。また、第２の位置合せは、部分領域よりも大きい領域を用いて行われるため、部分領域のみを用いる場合よりも、位置合せのために必要な情報を多くすることができ、これにより、第２の位置合せを精度よく行うことができる。

本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図 タブレット端末に位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図 関連画像の一例を示す図 本実施形態において行われる処理を示すフローチャート 第１の位置合せの際にディスプレイに表示される初期術中画像を示す図 不変位置を中心とした領域の設定を説明するための図 現在表示されている術中画像の初期術中画像に対する位置のずれを説明するための図 関連画像と術中映像との重畳表示を説明するための図 部分領域の指定を説明するための図 ディスプレイに表示される拡大された部分領域を示す図 関連画像の他の例を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による画像位置合せ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

３次元画像撮影装置２は、被検体７の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体７の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、被検体７の腹部の３次元画像Ｖ０が生成されるものとする。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。

画像位置合せ装置１は、１台のコンピュータに、本発明の画像位置合せプログラムをインストールしたものである。本実施形態においては、コンピュータは、装置の操作者である医師が直接操作するネットワーク４と無線接続されたタブレット端末である。位置合せプログラムは、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からタブレット端末にインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてタブレット端末にダウンロードされ、インストールされる。

図２はタブレット端末に画像位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図である。図２に示すように、画像位置合せ装置１は、標準的なタブレット端末の構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、液晶等のディスプレイ１５、タッチパネル式の入力部１６、およびモーションセンサ１７を備えている。

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０および画像位置合せ装置１での処理によって生成された画像を含む各種情報が記憶されている。

カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。医師は画像位置合せ装置１、すなわちタブレット端末のカメラ１４を用いて、手術中の被検体７における手術の対象部位である、開腹された被検体７の肝臓を撮影することにより、撮影時刻が異なる２以上の画像からなる、肝臓を含む術中の術中映像Ｌ０を取得する。なお、本実施形態においては、肝臓が撮影の対象物となる。術中映像Ｌ０は３０ｆｐｓ等の所定のフレームレートによる術中画像が連続する動画像となる。

モーションセンサ１７は、タブレット端末のある位置を基準としたｘ軸、ｙ軸およびｚ軸の３軸の加速度、３軸の角速度および３軸の傾きを検出する９軸のモーションセンサである。これにより、モーションセンサ１７は、タブレット端末の動き、すなわちカメラ１４の動きを検出する。モーションセンサ１７が検出した加速度、角速度および傾きは動き情報としてＣＰＵ１１に出力され、必要な処理に使用される。

また、メモリ１２には、画像位置合せプログラムが記憶されている。画像位置合せプログラムは、ＣＰＵ１１に実行させる処理として、撮影の対象物である肝臓を含む術中映像Ｌ０および３次元画像Ｖ０を取得する画像取得処理、術中映像Ｌ０に含まれる対象物である肝臓に関連する関連画像Ｓ０を取得する関連画像取得処理、術中映像Ｌ０に含まれる肝臓と関連画像Ｓ０とを初期位置合せである第１の位置合せをする第１の位置合せ処理、術中映像Ｌ０に含まれる肝臓と関連画像Ｓ０とを位置合せする第２の位置合せ処理、および少なくとも第２の位置合せが行われている間、術中映像Ｌ０に含まれる肝臓と関連画像Ｓ０とを重畳し、かつ関連画像Ｓ０が重畳された術中映像Ｌ０の部分領域を拡大してディスプレイ１５に表示する表示制御処理を規定している。なお、第２の位置合せ処理は、術中映像Ｌ０の部分領域の拡大表示中、術中映像Ｌ０における部分領域よりも大きい領域を用いて第２の位置合せを行う。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、タブレット端末は、画像取得部２１、関連画像取得部２２、第１の位置合せ部２３、第２の位置合せ部２４、および表示制御部２５として機能する。なお、画像位置合せ装置１は、画像取得処理、関連画像取得処理、第１の位置合せ処理、第２の位置合せ処理および表示制御処理をそれぞれ行うプロセッサを備えるものであってもよい。

画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された手術中の被検体７の対象部位を含む術中映像Ｌ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、本実施形態においては、術中映像Ｌ０は、開腹された被検体７の上方から医師が肝臓を撮影することにより取得される。

関連画像取得部２２は、肝臓の手術のシミュレーション画像を関連画像Ｓ０として生成する。このため、関連画像取得部２２は、まず３次元画像Ｖ０から肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を抽出する。関連画像取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。関連画像取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。

そして、関連画像取得部２２は、肝臓等の３次元形状を表す画像を関連画像Ｓ０として生成する。具体的には、抽出した肝臓等をあらかじめ定めた投影面に投影した投影像を、関連画像Ｓ０として生成する。ここで、投影面としては、例えば、被検体７の肝臓を正面から臨む面とすればよい。なお、投影の具体的な方法としては、例えば、公知のボリュームレンダリングの手法等を用いる。

この際、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色を定義して関連画像Ｓ０を生成してもよく、異なる透明度を定義して関連画像Ｓ０を生成してもよい。例えば、肝動脈を赤色、肝静脈を青色、病変を緑色としたり、肝臓の不透明度を０．１、肝動脈および肝静脈の不透明度を０．５、病変の不透明度を０．８としたりしてもよい。これにより、図３に示すような関連画像Ｓ０が生成される。このように、関連画像Ｓ０において、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を容易に識別することができる。なお、異なる色および異なる透明度の双方を定義して関連画像Ｓ０を生成してもよい。生成された関連画像Ｓ０はストレージ１３に保存される。

以下、第１および第２の位置合せ部２３，２４および表示制御部２５の説明と併せて、本実施形態において行われる処理について説明する。

図４は本実施形態において行われる処理を示すフローチャートである。なお、関連画像Ｓ０は既に生成されて、ストレージ１３に保存されているものとする。まず、被検体７の肝臓が撮影されて術中映像Ｌ０が取得される（ステップＳＴ１）。そして、表示制御部２５が関連画像Ｓ０を術中映像Ｌ０に重畳してディスプレイ１５に表示する（ステップＳＴ２）。なお、この段階においては、関連画像Ｓ０はディスプレイ１５におけるあらかじめ定められた位置に表示される。

続いて、第１の位置合せ部２３が、第１の位置合せの指示がなされたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、第１の位置合せ部２３が、医師による第１の位置合せの指示を受け付ける（ステップＳＴ４）。これにより、第１の位置合せ部２３が初期位置合せである第１の位置合せを行う。

図５は第１の位置合せの際にディスプレイ１５に表示される画像を示す図である。上述したように表示された関連画像Ｓ０は、入力部１６の操作、すなわちディスプレイ１５へのタッチ操作により、平行移動、回転および拡大縮小が可能となっている。なお、ディスプレイ１５の表示面にｘ軸およびｙ軸を、表示面に直交する方向にｚ軸を設定した場合、回転は３軸の任意の方向に可能となっている。本実施形態における回転とは、ｚ軸の周りの回転を意味する。また、関連画像Ｓ０に対してｚ軸の周りの回転以外の回転、すなわちｘ軸および／またはｙ軸の周りの回転がなされた場合、関連画像Ｓ０の向きが変更される。本実施形態においては、関連画像Ｓ０のｘ軸および／またはｙ軸の周りの回転を向きの変更と定義する。

ここで、関連画像Ｓ０の向きが変更された場合、関連画像Ｓ０の投影面が変化する。このため、関連画像取得部２２は、関連画像Ｓ０の向きが変更されて投影面が変化した場合、関連画像Ｓ０を改めて生成する。

医師は、ディスプレイ１５に表示された術中映像Ｌ０および関連画像Ｓ０を見ながら、関連画像の位置が、術中映像Ｌ０に含まれる肝臓の位置と一致するように、関連画像Ｓ０を平行移動、回転および拡大縮小する。また、必要であれば、関連画像Ｓ０の向きを変更する。この際、関連画像Ｓ０の透明度を変更するようにしてもよい。関連画像Ｓ０の透明度の変更は、入力部１６からの指示によるものであってもよく、第１の位置合せのために、医師がディスプレイ１５にタッチ操作を行ったときに、透明度を変更するようにしてもよい。

そして、関連画像Ｓ０の位置が、術中映像Ｌ０に含まれる肝臓の位置と一致した時点で、入力部１６を用いて第１の位置合せ終了の指示を行うことにより、第１の位置合せが完了する。なお、第１の位置合せ終了の指示は、入力部１６の操作により、終了指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。これにより、第１の位置合せ終了時にディスプレイ１５に表示されていた術中映像Ｌ０の１つのフレームである術中画像が初期術中画像Ｔｆとしてストレージ１３に保存される。

なお、本実施形態においては、手術の対象部位は肝臓であり、手術中に肝臓は切除されて移動する可能性がある。このため、本実施形態においては、第１の位置合せ終了時にディスプレイ１５に、術中映像Ｌ０の１つのフレームである初期術中画像Ｔｆを表示しておき、手術中に移動しない不変位置の指定を受け付ける。例えば、図６に示す初期術中画像Ｔｆにおいて、鉗子３０等の手術用具が存在する部位は手術中には移動しない。また、肝臓の左葉を切除する場合、肝臓の右葉は手術中には移動しない。このため、本実施形態においては、入力部１６により鉗子３０のエッジ上の位置Ｏ１あるいは肝臓の右葉の位置Ｏ２等、手術中に移動しない不変位置の指定を受け付け、不変位置をストレージ１３に保存しておく。

続いて、第１の位置合せ部２３は、第１の位置合せ終了の指示がなされたか否かを判断する（ステップＳＴ５）。なお、ステップＳＴ５の処理は第２の位置合せ部２４が行うようにしてもよい。ステップＳＴ５が否定されるとステップＳＴ４に戻り、引き続き第１の位置合せの指示が受け付けられる。ステップＳＴ５が肯定されると、第２の位置合せ部２４が第２の位置合せを行う（ステップＳＴ６）。

第１の位置合せ後、医師は手術を進める。手術中、医師はタブレット端末を被検体７の上方に常時保持しておくことはできないため、タブレット端末による対象部位の撮影は一時的に中断され、その後、病変の位置の確認等、必要なときにタブレット端末を用いての対象物である肝臓の撮影が行われる。この際、タブレット端末の位置は第１の位置合せを行った位置から移動され、肝臓の撮影が再度行われることとなる。このような状況においては、カメラ１４は、初期術中画像Ｔｆとは位置がずれるため、ディスプレイ１５に表示される術中映像Ｌ０は、図７に示すように、初期術中画像Ｔｆに対して位置がずれることとなる。また、タブレット端末を被検体７の上方に保持しておく場合においても、タブレット端末を手で持っている限り、タブレット端末は動いてしまい、ディスプレイ１５に表示される術中映像Ｌ０は初期術中画像Ｔｆに対して位置がずれることとなる。

第２の位置合せ部２４は、上述した不変位置に基づいて、初期術中画像Ｔｆと、第１の位置合せの終了後に取得される、術中映像Ｌ０を構成する術中画像（Ｔ１とする）との相対的な位置の相違を表す位置情報を取得する。なお、術中画像Ｔ１は、第１の位置合せの終了直後に取得されるものであってもよく、関連画像Ｓ０と術中映像Ｌ０に含まれる肝臓とが重畳表示された状態の観察に支障がない程度、第１の位置合せの終了時から遅れて取得されるものであってもよい。

まず、第２の位置合せ部２４は、位置情報を取得するために、不変位置を基準として、術中画像Ｔ１と初期術中画像Ｔｆとのテンプレートマッチングを行う。なお、テンプレートマッチングの手法としては、図６に示すように不変位置Ｏ１，Ｏ２を中心とした領域Ａ１，Ａ２を初期術中画像Ｔｆに設定し、領域Ａ１、Ａ２と術中画像Ｔ１との対応関係に基づいて、術中画像Ｔ１の初期術中画像Ｔｆに対する平行移動成分、回転成分および拡大率の少なくとも１つを位置情報として算出する手法を用いることができる。なお、回転とは、上記ｚ軸の周り（すなわちｘｙ平面における）２次元的な回転を意味する。

ここで、位置情報は、現在表示されている術中画像Ｔ１の初期術中画像Ｔｆに対する相対的な位置の相違を表すものである。このため、位置情報は、現在のカメラ１４の位置と、第１の位置合せ時のカメラ１４の位置との相対的な位置の相違に相当するものとなる。

第２の位置合せ部２４は、位置情報を用いて初期術中画像Ｔｆと術中画像Ｔ１とを位置合せし、この位置合せの結果を用いて第２の位置合せを行う。すなわち、位置合せされた術中画像Ｔ１に関連画像Ｓ０を重畳表示する。この際、関連画像Ｓ０は、位置情報に基づいて、平行移動、回転および／または拡大縮小される。これにより、図８に示すように、関連画像Ｓ０は、初期術中画像Ｔｆと位置合せした位置と同様の位置において、術中映像Ｌ０に重畳表示されることとなる。

次いで、表示制御部２５が、医師による術中映像Ｌ０の部分領域が指定されたか否かを判定する（ステップＳＴ７）。ステップＳＴ７が否定されるとステップＳＴ６に戻り、引き続き第２の位置合せが行われる。ステップＳＴ６が肯定されると、表示制御部２５は、指定された部分領域をディスプレイ１５に拡大表示し（ステップＳＴ８）、ステップＳＴ６に戻る。

図９は部分領域の指定を説明するための図である。図９に示すように、医師が拡大したい部分領域Ｂ０を、関連画像Ｓ０が重畳表示されている術中映像Ｌ０において指定する。なお、部分領域Ｂ０の指定は、入力部１６を用いてディスプレイ１５上に領域を指示することにより行う。具体的にはディスプレイ１５上において、矩形の領域を指でなぞって指定したり、対角線の両端を指定したりすることにより、部分領域Ｂ０の指定を行う。これにより、表示制御部２５は、術中映像Ｌ０から部分領域Ｂ０を切り出して、図１０に示すように、部分領域Ｂ０をディスプレイ１５に拡大表示する。

ここで、部分領域Ｂ０を拡大表示した後の第２の位置合せは、部分領域Ｂ０を用いて行うことが考えられる。しかしながら、部分領域Ｂ０には、初期術中画像Ｔｆに含まれる不変位置が含まれないか、含まれるとしても位置合せを行うには不十分な数しか含まれない。このため、部分領域Ｂ０を用いたのでは第２の位置合せを精度よく行うことができない。本実施形態においては、部分領域Ｂ０を拡大表示した後の第２の位置合せは、術中映像Ｌ０において部分領域Ｂ０よりも大きい領域を用いて行われる。部分領域Ｂ０よりも大きい領域としては、術中映像Ｌ０の全体を用いればよいが、これに限定されるものではない。また、部分領域Ｂ０よりも大きい領域には、部分領域Ｂ０の全体が含まれていても、部分領域Ｂ０の一部の領域のみが含まれていてもよい。また、部分領域Ｂ０を含まないものであってもよい。

このように、本実施形態においては、部分領域Ｂ０の拡大表示中、術中映像Ｌ０における部分領域Ｂ０よりも大きい領域を用いて第２の位置合せを行うようにしたものである。このため、拡大表示された部分領域Ｂ０を表示することにより、関連画像Ｓ０が重畳された術中映像Ｌ０を見やすくすることができる。また、第２の位置合せは、部分領域Ｂ０よりも大きい領域を用いて行われるため、部分領域Ｂ０のみを用いる場合よりも、位置合せのために必要な情報を多くすることができ、これにより、第２の位置合せを精度よく行うことができる。

ここで、タブレット端末を被検体７の上方に保持しておく場合、タブレット端末を手で持っている限り、タブレット端末は動いてしまい、ディスプレイ１５に表示される術中映像Ｌ０は初期術中画像Ｔｆに対して位置がずれることとなる。この場合、拡大表示される部分領域Ｂ０は、タブレット端末の移動に応じて移動するように表示してもよいが、指定された部分領域Ｂ０に対応する領域を順次取得される術中映像Ｌ０から抽出することにより、タブレット端末が移動しても、拡大表示される部分領域Ｂ０がディスプレイ１５上において移動しないようにすることができる。これにより、表示される部分領域Ｂ０が手ぶれ等によりぶれて見にくくなることを防止できる。

なお、上記実施形態においては、第２の位置合せ時に部分領域を拡大表示しているが、第１の位置合せ時に部分領域の指定を受け付けて、指定された部分領域を拡大表示してもよい。

また、上記実施形態においては、関連画像Ｓ０として、ＣＴ装置等のモダリティにより生成した３次元画像Ｖ０から抽出した肝臓の投影像を用いているが、これに限定されるものではなく、ＰＥＴ検査または核医学検査等により取得される機能３次元画像を関連画像として用いてもよい。また、関連画像Ｓ０としては、画像情報に限定されるものではなく、図１１に示すような切除位置を表す線、すなわち切除ライン４０を含むシミュレーション画像Ｓ０、矢印等の記号、または切除位置周囲の部位および組織名等の文字情報を用いてもよい。また、画像情報、記号および文字情報を併せて関連画像として用いるようにしてもよい。

また、上記実施形態においては、医師による部分領域Ｂ０の指定を受け付けているが、術中映像Ｌ０に含まれる肝臓における病変を含む領域、あるいは関連画像Ｓ０における手術の際の切除ラインを含む領域を部分領域Ｂ０として自動で抽出し、抽出した部分領域Ｂ０を拡大表示するようにしてもよい。

また、上記実施形態において、モーションセンサ１７によりタブレット端末、すなわちカメラ１４の動きを検出し、検出した動きを用いて第２の位置合せを行うようにしてもよい。この場合、モーションセンサ１７により検出するタブレット端末、すなわちカメラ１４の動きは、第１の位置合せの開始時と第２の位置合せを行う現時点との間の動きであってもよく、現時点で取得した術中画像とその前に取得した術中画像との間の動きであってもよい。前者の場合、モーションセンサ１７が検出した動きは、現時点での術中画像と初期術中画像Ｔｆとの平行移動量、回転移動量および拡大縮小量を表すものとなる。このため、モーションセンサ１７が検出した動きに基づいて、関連画像Ｓ０を第１の位置合せ時から、平行移動、回転移動および拡大縮小して術中映像Ｌ０に重畳することにより、第２の位置合せが行われる。後者の場合、モーションセンサ１７が検出した動きに基づいて、関連画像Ｓ０を前回の第２の位置合せ時から、平行移動、回転移動および拡大縮小して術中映像Ｌ０に重畳することにより、第２の位置合せが行われる。

また、上記実施形態においては、初期術中画像Ｔｆをディスプレイ１５に表示して、操作者が手動で関連画像Ｓ０との第１の位置合せを行っているが、初期術中画像Ｔｆに含まれる肝臓と関連画像Ｓ０とを自動で初期位置合せしてもよい。この場合、静止画像である初期術中画像Ｔｆを用いているため、第１の位置合せの処理を迅速に行うことができる。

また、上記実施形態においては、第１の位置合せ時に関連画像Ｓ０を用いているが、関連画像Ｓ０に含まれる肝臓の輪郭のみを境界画像として抽出し、境界画像を用いて第１の位置合せを行うようにしてもよい。

また、上記実施形態においては、タブレット端末に術中映像Ｌ０および関連画像Ｓ０を重畳表示しているが、術中映像Ｌ０をヘッドマウントディスプレイに表示する際の関連画像Ｓ０との位置合せを行う場合にも本発明を適用できる。また、術中映像Ｌ０を、手術台の上部に設置されたカメラにより撮影し、撮影により取得した画像を手術室内あるいは手術室外のディスプレイに表示する際の関連画像Ｓ０との位置合せを行う場合にも本発明を適用できる。この場合、本実施形態による画像位置合せ装置１はコンピュータにインストールされ、コンピュータにおいて術中映像Ｌ０と関連画像Ｓ０との位置合せが行われ、コンピュータに接続されたヘッドマウントディスプレイおよびディスプレイはコンピュータに、術中映像Ｌ０と関連画像Ｓ０とが重畳表示される。また、部分領域Ｂ０の指定は、ヘッドマウントディスプレイ等に表示された術中映像を見ながら行えばよい。

また、上記実施形態においては、関連画像取得部２２において関連画像Ｓ０を生成しているが、画像位置合せ装置１とは別個に設けられた関連画像取得装置において、関連画像Ｓ０を生成するようにしてもよい。この場合、関連画像取得部２２は、関連画像Ｓ０を生成する必要がなくなるため、装置の構成を簡易なものとすることができる。

また、上記実施形態においては、関連画像Ｓ０を平行移動、回転移動、拡大縮小および向きを変更して第１の位置合せを行っているが、各種方向を向いた複数の関連画像を用意しておき、第１の位置合せ時の術中映像Ｌ０に含まれる対象部位の向きに最も一致した向きの関連画像を選択して第１の位置合せを行うようにしてもよい。

また、上記実施形態においては、肝臓に含まれる肝動脈等を抽出して関連画像Ｓ０に含めるようにしているが、手術の対象部位である肝臓のみを抽出し、肝臓のみの３次元形状を表す画像を関連画像Ｓ０として用いるようにしてもよい。

また、上記実施形態においては、対象物として肝臓を用いているが、これに限定されるものではなく、任意の部位を手術の対象とする場合における、術中映像Ｌ０と関連画像Ｓ０とを重畳表示する際に、本発明を適用することができる。

また、上記実施形態においては、人体における手術の対象となる部位を対象物としているが、人体以外を被写体とする映像に含まれる対象物と対象物の関連画像Ｓ０との位置合せを行う際にも、本発明を適用できることはもちろんである。

以下、本発明の実施形態の効果について説明する。

部分領域の指定を受け付けることにより、ユーザが所望とする部分領域を拡大表示することができる。

指定された部分領域のみを拡大して表示することにより、撮影を続けている間に表示される部分領域が変更されることがなくなるため、表示される画像が手ぶれ等によりぶれて見にくくなることを防止することができる。

１ 画像位置合せ装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
１７ モーションセンサ
２１ 画像取得部
２２ 関連画像取得部
２３ 第１の位置合せ部
２４ 第２の位置合せ部
２５ 表示制御部

Claims (7)

1. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する画像取得手段と、
   前記対象物に関連する関連画像を取得する関連画像取得手段と、
   前記映像および前記関連画像を表示手段に表示する表示制御手段と、
   第１の位置合せの指示により、前記映像に含まれる前記対象物と前記関連画像との第１の位置合せを行う第１の位置合せ手段と、
   前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記関連画像との第２の位置合せを行う第２の位置合せ手段とを備え、
   前記表示制御手段は、少なくとも前記第２の位置合せが行われている間、前記映像に含まれる前記対象物と前記関連画像とを重畳し、かつ前記関連画像が重畳された前記映像の部分領域を拡大して前記表示手段に表示し、
   前記第２の位置合せ手段は、前記映像の部分領域の拡大表示中、前記映像における前記部分領域よりも大きい領域を用いて前記第２の位置合せを行うことを特徴とする画像位置合せ装置。
2. 前記部分領域の指定を受け付ける入力手段をさらに備えた請求項１記載の画像位置合せ装置。
3. 前記表示制御手段は、前記映像から前記指定された部分領域を抽出し、該抽出された部分領域のみを拡大して前記表示手段に表示する請求項２記載の画像位置合せ装置。
4. 前記第２の位置合せ手段は、前記映像の部分領域の拡大表示中、前記映像の全領域を用いて前記第２の位置合せを行う請求項１から３のいずれか１項記載の画像位置合せ装置。
5. 前記対象物が少なくとも１つの構造物を含む場合、前記関連画像は、前記対象物および前記少なくとも１つの構造物の３次元形状を表す画像である請求項１から４のいずれか１項記載の画像位置合せ装置。
6. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得するステップと、
   前記対象物に関連する関連画像を取得するステップと、
   前記映像および前記関連画像を表示手段に表示するステップと、
   第１の位置合せの指示により、前記映像に含まれる前記対象物と前記関連画像との第１の位置合せを行うステップと、
   前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記関連画像との第２の位置合せを行うステップと、
   少なくとも前記第２の位置合せが行われている間、前記映像に含まれる前記対象物と前記関連画像とを重畳し、かつ前記関連画像が重畳された前記映像の部分領域を拡大して前記表示手段に表示するステップと、
   前記映像の部分領域の拡大表示中、前記映像における前記部分領域よりも大きい領域を用いて前記第２の位置合せを行うステップとを有することを特徴とする画像位置合せ方法。
7. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する手順と、
   前記対象物に関連する関連画像を取得する手順と、
   前記映像および前記関連画像を表示手段に表示する手順と、
   第１の位置合せの指示により、前記映像に含まれる前記対象物と前記関連画像との第１の位置合せを行う手順と、
   前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記関連画像との第２の位置合せを行う手順と、
   少なくとも前記第２の位置合せが行われている間、前記映像に含まれる前記対象物と前記関連画像とを重畳し、かつ前記関連画像が重畳された前記映像の部分領域を拡大して前記表示手段に表示する手順と、
   前記映像の部分領域の拡大表示中、前記映像における前記部分領域よりも大きい領域を用いて前記第２の位置合せを行う手順とをコンピュータに実行させることを特徴とする画像位置合せプログラム。