JP2017108971A - 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】 高い演算能力を必要とせず、ＣＴやＭＲＩ等の医用画像診断装置で取得された医用画像情報から生成される仮想内視鏡画像に対する、カプセル内視鏡によって撮像された現実の撮像画像の位置関係を十分な精度で推定でき、しかも、操作者にとって直感的で理解しやすいＧＵＩとする技術を提供する。【解決手段】 医用画像診断装置で得られた医用画像情報に含まれる３次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置であって、カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、３次元大腸モデルを含む医用画像情報を取得する取得部と、カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも１つを指定するための指定部と、ユーザが設定した仮想視点位置から見えることになる仮想画像を、医用画像情報から生成するとともに、仮想視点位置とキー画像の撮像位置との距離に応じた形態で、仮想画像の表示する表示制御部とを有する。【選択図】 図１１

Description

本発明は画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体に関するものである。

大腸がんによる死亡率が高いことを受け、様々な検診が企画されてきている。内視鏡検査がその代表例である。昨今では、より被験者に係る負担が少ないカプセル内視鏡を用いたり、大腸ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）で取得された医用画像から生成する仮想内視鏡画像を検診に用いることが可能になっている。

カプセル内視鏡は、小型カメラを内蔵したカプセルを被験者が飲み込むものであり、体内を移動中にカメラにより撮像を継続するものである。そのため、患者が着る衣類の予め設定された複数の位置に、体内のカプセルの位置と向きを検出するため、並びに、カプセルが撮像した画像を受信するためのアンテナを配置する。そして、アンテナに接続され、カプセルが撮像した映像とカプセルの位置と向きとを記録する体外装置を、被験者が装着することになる（特許文献１）。

また、カプセル内視鏡の位置と向きを用いて、腸管内腔画像（Ｘ線ＣＴによる仮想内視鏡画像）の視点位置及び視線の方向に対応するカプセル内視鏡画像を表示する技術も知られている（特許文献２）。ＣＴで生成される仮想内視鏡画像は、例えばポリープの有無を調べることはできても、そのポリープが悪性か否かにまで診断するためには、実際に撮像した画像が必要になるためである。

特開２００７−６０８号公報 特開２０１３−９９５６号公報

現在のところ、カプセル内視鏡は、１秒当たり２、３枚の画像を撮影する。カプセル内視鏡が体外に排出されるまでにかかる時間は概ね５時間である。仮にカプセル内視鏡が１秒当たり２枚の画像を撮像する能力を有する場合、実に３６０００枚もの画像が撮像されることになる。このうち、大腸のみに着目したとしても相当数の画像となるのが理解できよう。

かかるカプセル内視鏡による画像を、腸管内腔画像に重ね合わせるビューワで表示しようとすると、カプセル内視鏡による画像が、腸管内腔画像を埋め尽くしてしまい、診断の妨げになりかねない。

また、医師にとっては、ＣＴによる腸管内腔画像に基づく被験者の大腸の診断の際に、必要に応じてカプセル内視鏡画像を閲覧できれば十分であって、全てのカプセル内視鏡画像の一覧を表示させても、いたずらに混乱するだけである。しかし、特許文献２は、リアルタイムにカプセル内視鏡画像を表示するための処理が実行されてしまうので、処理負荷が大きく、演算能力の高いコンピュータを必要とする。

本発明はかかる問題に鑑みなされたものであり、高い演算能力を必要とせず、ＣＴやＭＲＩ等の医用画像診断装置で取得された情報で生成される仮想内視鏡画像に対する、カプセル内視鏡によって撮像された現実の撮像画像の位置関係を十分な精度で推定でき、しかも、操作者にとって直感的で理解しやすいＧＵＩとする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像診断支援装置は以下の構成を備える。すなわち、
医用画像診断装置で得られた医用画像情報に含まれる３次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置であって、
カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、３次元大腸モデルを含む医用画像情報を取得する取得手段と、
前記カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも１つを指定するための指定手段と、
ユーザが設定した仮想視点位置から見えることになる仮想画像を、前記医用画像情報から生成するとともに、前記仮想視点位置と前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像を表示する表示制御手段とを有する。

本発明によれば、高い演算能力を必要とせず、ＣＴやＭＲＩ等の医用画像診断装置で取得された情報で生成された仮想内視鏡画像に対する、カプセル内視鏡によって撮像された現実の撮像画像の位置関係を十分な精度で推定できる。また、操作者にとって直感的で理解しやすいＧＵＩとすることも可能になる。

実施形態における画像診断視線装置のブロック構成図である。 実施形態における処理で生成される管理テーブルの例を示す図である。 カプセル内視鏡の移動軌跡に対するランドマークの設定のＧＵＩの例を示す図。 ３次元大腸モデルに対するランドマークの設定のＧＵＩの例を示す図である。 ３次元大腸モデルから得られた大腸芯線を示す図である。 キー画像選択のためのＧＵＩの例を示す図である。 カプセル内視鏡による撮像画像の中心と、大腸内壁との関係を示す図である。 仮想内視鏡として機能している場合のＧＵＩの例を示す図である。 仮想内視鏡として機能している場合のＧＵＩの例を示す図である。 実施形態の画像診断支援装置の処理手順を示すフローチャートである。 仮想内視鏡閲覧処理を示すフローチャートである。 カプセル内視鏡画像情報のデータ構造の例を示す図である。

以下、添付図面に従って発明に係る実施形態を詳細に説明する。

［装置構成］
実施形態における画像診断支援装置は、パーソナルコンピュータに代表される情報処理装置と、その上で動作するアプリケーションプログラムで実現する例を説明する。

図１は、実施形態における情報処理装置１００のブロック構成図である。情報処理装置１００は、ＣＰＵ１０１、ＢＩＯＳやブートプログラムを記憶するＲＯＭ、ＣＰＵ１０１のＯＳ（オペレーティングシステム）や各種アプリケーションを記憶するため、並びに、ＣＰＵ１０１のワークエリアとして使用するＲＡＭ１０３を有する。また、情報処理装置１００は、外部記憶装置としてのＨＤＤ（ハードディスクドライブ）１０４や、外部装置と通信するためのＩ／Ｆ１０５、ユーザインターフェースとして機能する表示部１０６及び操作部１０７とを有する。

ＨＤＤ１０４には、ＯＳ、並びに、この装置が画像診断支援装置として機能するためのアプリケーションや各種データファイルが格納されている。また、Ｉ／Ｆ１０５は例えばネットワークインターフェースであって、不図示のＸ線ＣＴ装置やカプセル内視鏡装置と通信可能となっている。なお、Ｘ線ＣＴ装置やカプセル内視鏡装置とネットワークを介して接続されるものとしているが、それで得られた情報を本装置が取得できればよいので、必ずしもＸ線ＣＴ装置やカプセル内視鏡と接続されている必要はない。例えば、Ｉ／Ｆ１０５は、Ｘ線ＣＴ装置によるスキャンして得られた情報やカプセル内視鏡装置で得られた情報を記憶した記憶媒体を接続するインターフェースであっても構わない。また、表示部１０６や液晶表示器、操作部１０７はマウス、キーボードで構成されているものとする。ただし、操作部はタッチパネルであっても構わない。

上記構成において、ＨＤＤ１０４内には、カプセル内視鏡装置から取得したカプセル内視鏡画像情報１１０、Ｘ線ＣＴ装置で撮像されたＣＴ画像情報１２０（医用画像データ）が、既に格納されているものとして説明する。

［３次元大腸モデルへの大腸カプセル内視鏡の移動軌跡のマッピング］
図１２は、カプセル内視鏡画像情報１１０の例を示している。この情報は、カプセル内視鏡装置で撮像した多数の画像ファイルと、各画像ファイルを管理する管理テーブルで構成されている。管理テーブルは、カプセル内視鏡によって撮像を開始してからの経過時間、撮像位置（カプセル内視鏡の体内の位置）、撮像方向（カプセル内視鏡のカメラの視線方向）、画像ファイル名のフィールドで構成される。一般にカプセル内視鏡の撮像間隔は１秒間に２、３枚程度であるが、説明を単純化するため、実施形態で採用するカプセル内視鏡では２枚／秒（撮像時間間隔が０．５秒）で撮像するものとする。経過時間のフィールドには、撮像を開始してから何枚目であるかを示す値が格納されるものとする。着目画像がＮ枚目であるとしたとき、その着目画像は、撮像を開始してからＮ／２秒経過後と表現できる。撮像位置、撮像方向は、ともに被験者の予め設定された位置を基準にした情報が格納される。そして、画像ファイル名は、文字通り、該当する画像のファイル名が格納される。画像ファイル名には、その画像に至るまでのパスも含めても構わない。この場合、管理テーブルのみがカプセル内視鏡画像情報１１０としてＨＤＤ１０４に格納され、実際の画像ファイルはネットワーク上に存在しても構わない。画像ファイルの符号化の種別は問わないが、実施形態ではＪＰＥＧであるものとする。なお、カプセル内視鏡の各座標位置と撮影向きの検出や、カプセル内視鏡からの画像を無線で受信する構成については周知であるので、ここでの詳述は省略する。また、図２に示すデータ構造はあくまで一例であって、このデータフォーマットに限定されるものではない。例えば、複数の撮像画像が動画として１つのファイルに格納されても良い。この場合、動画像を構成する個々の画像を単独で復号できるようにするため、各フレームはイントラフレームとして符号化されることが望ましい。

上記の通り、経過時間とカプセル内視鏡の体内での位置及び向きとが対応づけられているので、カプセル内視鏡で撮像した画像が、体内のどの位置でどの視線方向で撮影した画像かは判断できる。

カプセル内視鏡装置による検査と、大腸ＣＴによる検査はそれぞれ独立して行われる点に注意されたい。大腸ＣＴでは、被験者の大腸内にガス（一般には炭酸ガス）を注入し、大腸を内側から膨張させた状態で、Ｘ線ＣＴ装置によるスキャン処理が行われる。一方、カプセル内視鏡による検査中は、大腸内へのガスの注入は行わない。

つまり、同一被験者と言えども、大腸ＣＴで得られた３次元大腸モデルの形状と、カプセル内視鏡が通過した際の実際の大腸の形状は異なる。それ故、カプセル内視鏡画像情報１１０で示される座標をそのままで、３次元大腸モデルに転用することはできない。

特許文献２では、カプセル内視鏡の各座標を接続した移動軌跡を示す芯線を求め、その芯線の接線ベクトルを求める。同様に、３次元大腸モデルの芯線を求め、その芯線の接線ベクトルを求める。そして、２つの芯線の各点における接線ベクトルの内積を求め、総和が最大になる組み合せを求めることで、２つの芯線との対応づけを行っている。大腸に限って着目したとき、仮にカプセル内視鏡が大腸内を１時間かけて移動したとしても、その間の座標は７２００箇所となり、上記の処理には膨大な処理が必要となるのは容易に理解できよう。

本実施形態における第１の特徴は、大腸ＣＴで得られた３次元大腸モデルに対するカプセル内視鏡の移動軌跡のマッピングを、単純な処理で、しかも十分な精度で実現することである。以下、かかる点について説明する。

大腸は、小腸との境に位置するバウヒン弁（回盲弁）に始まり、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸、そして肛門に至る部分である。被検体を正面にして、横行結腸の左端と上行結腸の接続部分は、被験者の姿勢によらず湾曲した形状をなしている。また、被検体に向かって横行結腸の右端と下行結腸の接続部分も被験者の姿勢によらず、湾曲した形状をなしている。横行結腸が、その両端位置で体内で吊るされた状態になっているためである。なお、上行結腸から横行結腸に至る湾曲部は、その位置が肝臓に近いので肝臓湾曲部と呼ばれる。また、横行結腸から下行結腸に至る湾曲部は脾臓に近いので脾臓湾曲部と呼ばれている。

上記説明から、実施形態では、まずカプセル内視鏡画像情報１１０の管理テーブル内の時系列な３次元座標を接続した線分を表示する。医療に携わる者にとっては、カプセル内視鏡の移動軌跡を表示するだけで、肝臓湾曲部、脾臓湾曲部を特定でき、そこからバウヒン弁の位置も容易に特定できる。肛門は、有効な座標の最終位置であるので、これも容易に特定できる。

そこで、実施形態では、ＣＰＵ１０１は、画像診断支援アプリケーションを実行した際に、カプセル内視鏡画像情報１１０から、カプセル内視鏡の時系列な３次元座標を接続した移動軌跡表示（ある程度のスムージング処理を施すことが望ましい）を表示する。図３は、表示部１０６に表示されるカプセル内視鏡の移動軌跡曲線の表示ウインドウの例である。カプセル内視鏡の座標は３次元で表されるので、ユーザは自由に仮想視点位置を変え、その仮想視点位置から見た平面画像を表示できる。なお、物体の３次元座標のデータを用いて、自由に仮想視点位置を変えてその物体を表示する技術そのものは周知である。

ユーザ（医師等）は、表示部１０６に表示されたカプセル内視鏡の移動軌跡曲線を見ながら、操作部１０７を操作し、肝臓湾曲部、脾臓湾曲部、バウヒン弁、そして肛門の各位置を指示することになる。これを受け、ＣＰＵ１０１は、表示ウインドウ中の指示位置に、その位置が指示されたことを示すマーカ３０１乃至３０４（図示では三角形）を表示する。ここで、マーカ３０１が肝臓湾曲部、マーカ３０２が脾臓湾曲部、マーカ３０３がバウヒン弁、マーカ３０４が肛門を示すことになる。上記の結果、カプセル内視鏡画像情報１１０における管理テーブルにて、上記指示された４点との対応関係が確定できる。

この関係を保持するため、実施形態では、カプセル内視鏡画像情報１１０が示す管理テーブルに、「ランドマーク」、「キー画像」の２つのフィールドを追加する。図２はこの２つを追加した管理テーブルを示している。ランドマークフィールドは、バウヒン弁であれば“１”、肝臓湾曲部であれば“２”、脾臓湾曲部であれば“３”、肛門であれば“４”の番号を割り付ける。管理テーブルは、時系列に並んだデータであるので、ランドマーク“１”のレコード（図示の経過時間が「ｍ１」のレコード）からランドマーク“４”（図示の経過時間が「ｍ４」のレコード）までが、被験者の大腸の範囲のデータということができる。なお、「キー画像」フィールドについては後述する。

また、ＣＰＵ１０１は、ＣＴ画像情報１２０から３次元大腸モデルを生成する。３次元大腸モデルを生成するためには、バウヒン弁、肛門を特定する必要がある。これらは、スキャンした範囲の３Ｄ内臓モデルを再構成して表示し、その３次元内臓モデルに対し、ユーザにバウヒン弁、肛門を指定させることで実現できる。バウヒン弁、肛門が指定されると、その間が大腸となるので、３次元大腸モデルを生成できる。そして、ＣＰＵ１０１は、生成した３次元大腸モデルを表示部１０６に表示する。ユーザは、表示された３次元大腸モデルを自由にその仮想視点位置を変えて閲覧することが可能である。そして、ＣＰＵ１０１は、先に説明したカプセル内視鏡の移動軌跡と同様、ユーザに、肝臓湾曲部、脾臓湾曲部を指定させる。図４は、３次元大腸モデルの表示例である。図示の符号４０１、４０２で示されるマーカが指示した肝臓湾曲部、脾臓湾曲部である。バウヒン弁は符号４０３、肛門は符号４０４として既に決定されている。

上記の結果、３次元大腸モデルに対するバウヒン弁、肝臓湾曲部、脾臓湾曲部、肛門の各部位の位置が決定される。

次いで、ＣＰＵ１０１は、３次元大腸モデルの端点（バウヒン弁）から、もう一方の端点（肛門）に至る経路において、３次元大腸の断面の中心点を通る３次元の芯線（以下、大腸芯線という）を特定する（この大腸芯線も或る程度スムージング処理してなめらから曲線にすることが望ましい）。そしてＣＰＵ１０１は、特定した大腸芯線上の、ユーザが指定したマーカに最も近い位置を、バウヒン弁４０３、肝臓湾曲部４０１、脾臓湾曲部４０２、及び、肛門４０４の位置として決定する。線上の位置でこれらの位置を特定する理由は、カプセル内視鏡の移動軌跡曲線上の各部位と対応付けを容易にするためである。図５は、算出した大腸芯線を示し、符号５０１乃至５０４が、肝臓湾曲部、脾臓湾曲部、バウヒン弁、肛門の位置を示している。

さて、上記のようにして、３次元大腸モデルにおける大腸芯線上のバウヒン弁５０３、肝臓湾曲部５０１、脾臓湾曲部５０２、及び、肛門５０４の位置が規定されると、それらの各位置に、カプセル内視鏡の移動軌跡上のバウヒン弁３０３、肝臓湾曲部３０１、脾臓湾曲部３０２、及び、肛門３０４の位置を対応（マッピング）する。

つまり、３次元大腸モデルにおけるバウヒン弁５０３−肝臓湾曲部５０１の区間と、カプセル内視鏡の移動軌跡上のバウヒン弁３０３−肝臓湾曲部３０１の区間が対応するものとみなす。以降この区間を「区間Ｉ」と表す。図４の例で説明すると、３次元大腸モデルにおける大腸芯線の区間Ｉの長さＬ（Ｉ）が仮に３０ｃｍであったとする。また、図２の管理テーブルから、区間Ｉに対応するカプセル内視鏡の経過時間は［ｍ１乃至ｍ２］であり、この区間で２０００枚の画像が撮像されたとする。実施形態では、この区間Ｉにて、カプセル内視鏡は、等速で移動したものとみなす。つまり、カプセル内視鏡は、大腸芯線上を移動し、かつ、Ｌ（Ｉ）／２０００＝３０／２０００ｃｍの間隔で撮像されたと見なす。

同様に、肝臓湾曲部５０１−脾臓湾曲部５０２の区間と肝臓湾曲部３０１−脾臓湾曲部３０２の区間が対応するものみなす（同区間IIと表す）。また、脾臓湾曲部５０２−肛門５０４の区間と脾臓湾曲部３０２−肛門３０４の区間が対応するものとみなす（同区間IIIと表す）。

上記のようにして、大腸ＣＴによる３次元大腸モデルにおける大腸芯線の位置と、カプセル内視鏡の撮像位置（撮像画像の位置）のマッピングがなされる。よってこれ以降、カプセル内視鏡画像情報１１０の管理テーブルにおける「撮像位置」フィールドの３次元座標を示す情報が参照されることはない。

［キー画像の設定］
上記実施形態の通り、カプセル内視鏡画像情報の管理テーブルに対し、ランドマークフィールドを追加し、バウヒン弁、肝臓湾曲部、脾臓湾曲部、肛門の各位置を設定される。この結果、カプセル内視鏡の全画像ファイル（食道、胃、小腸も含まれる）のうち、大腸検査の対象範囲を狭めることができる。すなわち、ランドマーク“１”から“４”までの範囲の画像ファイルをチェックすればよいからである。また、ユーザ（医師）にとっては、大腸のみの撮像画像の閲覧に注視できるので、負担も少ない。

本実施形態では、ランドマーク“１”から“４”までの範囲の各画像ファイルを、動画の各コマと同様に動画として順に表示していき、ユーザ（医師）が関心を持つ画像をキー画像として設定する。この段階で、ユーザは設定したキー画像が大腸のどの位置の画像であるかについては知る必要はない。また、キー画像設定のための表示の仕方は特に問わないが、図６に示す表示形態が望ましい。図示のように、時間軸に沿った複数の画像を適当な時間に従った速度で左スクロールさせて表示する。ユーザは、興味のある画像（例えばポリープが映っている画像がその典型である）が表示されている場合、その画像を例えばマウスでクリックすることで、キー画像として設定する。前後した複数の画像を並べて表示することで、キー画像の設定漏れを防ぐことができる。なお、スクロールそのものをユーザの操作で行っても構わない。

キー画像として設定された画像は、それ以外の画像と区別して管理する必要がある。図２に示すように、管理テーブルに「キー画像」フィールドを追加したのはこの理由による。キー画像はいくつ設定しても良い。そのため、キー画像として設定されるたびに、キー画像であることを示す番号を更新していく。初期値は“１”とする。図３の場合、経過時間がｋ１、ｋ２の時に撮像された画像がキー画像として設定されたことを示している。

なお、キー画像を設定している段階では、ユーザにとって設定したキー画像が大腸のどの位置の画像であるかは不明である。

［仮想大腸内視鏡の説明］
３次元大腸モデルが得られ、及び、その大腸芯線が算出されると、実際の大腸内視鏡を模した仮想内視鏡による診断、観察が可能となる。３次元大腸モデルにおける視線位置や方向に制限はないが、実際の大腸内視鏡を模した通常モードについて説明する。

仮想内視鏡の通常モードにおける、仮想視点（仮想カメラ）は先に求めた大腸芯線上に位置し、かつ、大腸芯線上を移動する。そして、移動方向も、実際の大腸内視鏡と同じ、肛門から直腸、Ｓ字結腸、下行結腸、横行結腸、上行結腸、バウヒン弁へと向かう方向である。以下、この方向を順方向と呼ぶ。ただし、実際の大腸内視鏡に対して、視線方向に制限はなく、順方向に対する反対方向に視線を向けることも可能である。場合によっては、芯線上から逸脱する位置に仮想視線を移動させても良い。芯線上から離れる位置に視線を移動させるためには、操作部１０７を操作して、通常モードからフリー視線モードに切り換えればよい。なお、仮想視点の順方向、逆方向への移動や、その視線方向の設定は、キーボードによる操作で行うものとするが、マウスなどのポインティングデバイスで行っても良く、その操作手段の種類は問わない。

順方向に仮想視点を移動中、通常の内視鏡と同じように、その仮想視点位置から見える映像（仮想映像）が生成され、表示部１０６に表示されていく。本実施形態の第２の特徴とする点は、この過程で、キー画像の近辺まで仮想視線が移動したとき、キー画像の近傍に到達したことをユーザに知らしめる。そして、仮想視点とキー画像の撮影位置までの距離が、さらに予め設定された閾値以下になったとき、仮想画像とは別ウインドウとして、カプセル内視鏡で撮像したキー画像を重畳表示させる。これを実現するため、本発明者は以下に示す処理に考察が至った。

キー画像は、ユーザ（医師）が選択した画像である。図２に示す例では、経過時間ｋ１、ｋ２で撮像した画像がキー画像として設定されている。ここで、経過時間ｋ２の画像について着目する。この画像は、ランドマーク“２”と“３”の間、つまり、肝臓湾曲部と脾臓湾曲部との間の横行結腸上に、カプセル内視鏡が位置しているときに撮像された画像である。ランドマーク“２”の画像の経過時間はｍ２、ランドマーク“３”の経過時間はｍ３である。それ故、カプセル内視鏡が横行結腸の左端から右端にまで移動に要する時間は「ｍ３−ｍ２」と定義できる。一方、経過時間ｋ２は、カプセル内視鏡が肝臓湾曲部をスタートしてから「ｋ２−ｍ２」経過したタイミングである。３次元大腸モデルでの、大腸芯線に沿った横行結腸の長さＬ（II）は３次元大腸モデルから算出できる。よって、その距離Ｌ（II）をカプセル内視鏡が等速に移動したと見なした場合、経過時間ｋ２の画像を撮像したときのカプセル内視鏡は、肝臓湾曲部の位置から、次式で示される距離Ｄだけ隔てた、大腸芯線上の位置にあったとして導出（算出）できる。
Ｄ＝｛（ｋ２−ｍ２）／（ｍ３−ｍ２）｝×Ｌ（II）
上記を別な言い方をすれば、経過時間ｋ２の画像を撮像したときのカプセル内視鏡は、横行結腸の長さＬ（II）を｛ｋ２−ｍ２｝：｛ｍ３−ｋ２｝で内分する位置にあると見なして良い、と言うことができる。

なお、現実にはカプセル内視鏡の大腸内の移動速度は一定ではないし、かつ、その移動軌跡もスムースな曲線とはならない。しかし、上記の処理の結果、例えばカプセル内視鏡が「横行結腸」上を移動中にポリープを撮像し、ユーザがそのポリープが映っている画像をキー画像をとして選択したとする。本実施形態によれば、指定したキー画像は、区間IIの横行結腸上に位置することがほぼ約束されるし、３次元大腸モデル上の位置に対する誤差も数センチ程度であり十分な精度であることが確かめられた点を補足しておく。

さて、図２に示す管理テーブルによれば、カプセル内視鏡のカメラ部が撮像した画像の上下（または左右）の向きは不明である。管理テーブル内に、カプセル内視鏡の長手方向の軸に対する回転角度の情報が無いためである。しかし、カプセル内視鏡画像で撮像した画像の中心位置への方向（カメラ部の視線方向）は、管理テーブルにおける撮影方向に一致する。それ故、図７に示すように、カプセル内視鏡が大腸芯線上に位置していると見なしたとき、その視線方向が３大腸モデルの内壁と交差する点７０１の位置は演算によって求めることができる。

本実施形態では、仮想内視鏡にて大腸芯線に仮想視点位置を移動させていく最中、その仮想視点位置とキー画像との距離が所定閾値以下になった場合、仮想視点位置から見える視野内に上記キー画像の中心位置を示すマークを更に表示するものとした。

ここで、誤解の無いように敢えて説明するが、ここで言う「距離」とは、大腸芯線を１次元の軸と見立てた場合のその軸上での距離である。例えば、バウヒン弁とＳ字結腸とは物理的には近いが、大腸芯線の軸上での両者間の距離は実質的に大腸の全長だけ隔てた関係にある。従って、ユーザは、仮想内視鏡を使った仮想画像を表示しているときに、そのマークが見えた場合、キー画像として指定した位置の近くまで到達したことを確認することができるようになる。また、さらに、実施形態では、大腸芯線上の仮想視点位置と、キー画像の大腸芯線に対する位置との差が予め設定された閾値以下となった場合、仮想画像に加えて、カプセル内視鏡によるキー画像を表示するようにした。この結果、仮想内視鏡の操作していく過程での仮想視点位置が、キー画像として設定した位置に近づいた場合のみそのキー画像が表示され、多くの時間を仮想内視鏡の操作に専念できることになる。

図８は、実施形態の画像診断支援アプリケーションを実行して、実施形態の装置を仮想内視鏡装置として機能させた際の表示部１０６の表示例を示している。この画面には、３次元大腸モデルを表示する第１表示領域８０１、３次元大腸モデル内の大腸芯線上の仮想視点から見える大腸内壁の映像を表示する第２表示領域８０２、及び、大腸芯線上の仮想視点位置を中心とし、その前後に位置するカプセル内視鏡で撮像された映像を表示する第３表示領域８０３を含む。

第１表示領域８０１における符号８１１は仮想内視鏡装置の仮想視点（仮想的なカメラ）を示すアイコンである。符号８１２、８１３は、ユーザが指定したキー画像に対応する推定位置である。推定位置８１２、８１３は、図３の経過時間ｋ１、ｋ２のキー画像にそれぞれ対応する。

第２表示領域８０２におけるマーク８２１は、仮想視点から見える映像内に、キー画像の中央位置が入っていることを示すものである。このマーク８２１は、大腸芯線上の現在の仮想視点の位置と、ユーザが設定したキー画像の、同じく大腸芯線上の位置との差が予め設定された第１の閾値以下になった場合に表示される。

第３表示領域８０３は、大腸芯線上の現在の仮想視点を中心とする前後の所定範囲の、カプセル内視鏡画像のサムネイル画像を表示する領域である。中央の太枠８３１は、現在の仮想視点の位置に最も近い、仮想内視鏡によるサムネイル画像を示している。破線太枠８３２は、キー画像（第１表示領域における推定位置８１３に対応する）であることを示している。

ユーザが、操作部１０７を操作して、仮想視点（アイコン８１１）の位置を更に順方向に進めると、キー画像の位置と現在の仮想視点位置との差が予め設定された第２の閾値以下（第２閾値＜第１閾値の関係にある）となる。この場合、ＣＰＵ１０１は、キー画像のサムネイル画像ではなく、オリジナルのキー画像を、第４表示領域として表示する。図９は、第４表示領域９０１が重畳表示された状態を示している。なお、上記の第１、第２の閾値はユーザが設定できるようにしても良い。第２閾値をゼロにした場合、現在の仮想視点位置と、キー画像を撮像した際の位置が一致した場合に第４表示領域９０１が表示されることになる。

以上実施形態における仮想大腸内視鏡の動作内容とその原理について説明した。次に、上記処理を踏まえ、実施形態の画像診断アプリケーションにおける処理手順を説明する。

［処理手順の説明］
ユーザ（医師等）が、操作部１０７を操作して、画像診断アプリケーションの起動を指示すると、ＣＰＵ１０１は、画像診断アプリケーションプログラムをＨＤＤ１０４からＲＡＭ１０３にロードし、実行する。図１０は、この画像診断アプリケーションプログラムを実行した際のＣＰＵ１０１の処理手順を示している。

まず、ステップＳ１００１にて、ＣＰＵ１０１は、インターフェース１０５を介してカプセル内視鏡装置からカプセル内視鏡画像情報１１０を取得し、ＨＤＤ１０４に格納する。次のステップＳ１００２にて、ＣＰＵ１０１は、取得したカプセル内視鏡画像情報１１０を解析し、その管理テーブルに基づき、被験者の体内でのカプセル内視鏡の移動軌跡曲線を生成して表示し、ユーザに対し、予め設定された複数のランドマーク（実施形態ではバウヒン弁、肝臓湾曲部、脾臓湾曲部、そして、肛門）の位置を設定させる（図４参照）。

上記の結果、少なくとも大腸の両端位置が決定できる。ＣＰＵ１０１は、ステップＳ１００３にて、カプセル内視鏡が大腸内に位置した際に撮影した撮像画像に絞って（食道、胃、小腸などの臓器の撮像画像を除外する）、その撮像画像を時系列に表示し、ユーザにキー画像の選択を行わせる。これまでの処理の結果、管理テーブルは図３に示すように更新されることになる。キー画像の選択の際の表示例は、図６に示すように、時間軸に対して連続する複数の画像を表示する形式が望まれる。時間的に前後する画像と比べながらキー画像の選択ができるためである。

次に、ステップＳ１００４にて、ＣＰＵ１０１は、インターフェース１０５を介してＸ線ＣＴ装置からＣＴ画像情報１２０を取得し、ＨＤＤ１０４に格納する。次のステップＳ１００５にて、ＣＰＵ１０１は、取得したＣＴ画像情報１２０から３次元大腸モデルを生成する。この際、大腸を他の臓器と分離するため、ランドマークとしてのバウヒン弁、肛門の指定が行われる。次いで、Ｓ１００６にて、ＣＰＵ１０１は、生成した３次元大腸モデルを表示し、ユーザに他のランドマーク（肝臓湾曲部、脾臓湾曲部）を設定させる。

次のステップＳ１００７にて、ＣＰＵ１０１は、３次元大腸モデルが示す大腸の長手方向に沿った中心を通る３次元の大腸芯線を算出する。この後、ステップＳ１００８にて、大腸芯線上の、ユーザが設定したキー画像の撮像位置を決定するとともに、キー画像を撮像した際のカプセル内視鏡の視線方向と、３次元大腸モデルで規定される大腸内壁との交点位置を求める。

以上の結果、仮想内視鏡による閲覧処理の準備が整ったので、ＣＰＵ１０１はＳ１００９にて、仮想内視鏡による閲覧処理を実行する。以下、この閲覧処理を、図１１のフローチャートに従って説明する。なお、以下に説明する処理以外に、ＣＰＵ１０１は、アイコン８１１の位置、第３表示領域８３０の更新等の表示制御処理を行うことになるが、それらについては省略する。

ステップＳ１１０１にて、ＣＰＵ１０１は仮想視点（図８のアイコン８１１）の位置と視線方向を初期化する。仮想視点の初期位置は典型的には直腸に設定する。ただし、仮想視点は大腸芯線上に位置する。また、初期の視線方向は、初期の仮想視点位置における順方向の接線方向とする。

次いで、ステップＳ１１０２にて、ＣＰＵ１０１は、現在の仮想視点の位置と視線方向から見える、予め設定された画角内の大腸内画像を、ＣＴ画像情報１２０（医用画像データ）に基づいて生成し、表示する（図８の第２表示領域）。そして、ステップＳ１１０３にて、ＣＰＵ１０１は、大腸芯線上の、現在の仮想視点の位置から第１閾値Ｔｈ１以内にキー画像の撮像位置があるか否かを判定する。判定結果が、存在無しを示す場合には処理はステップＳ１１０７に進める。

ここでは、存在する場合について説明する。この場合、ステップＳ１１０４にて、ＣＰＵ１０１は、表示中の仮想画像内の、キー画像の中心に対応する位置に所定のマーク（図８の参照符号８２１）を合成表示する。なお、実施形態では、マークの形状として円としたが、このマーク形状は特に問わない。また、マーク画像との距離も判明するので、その距離に応じてマークの表示形態（サイズや色）を変えても構わない。

次に、ステップＳ１１０５にて、ＣＰＵ１０１は、大腸芯線上の、現在の仮想視点の位置から第２閾値Ｔｈ２以内にキー画像の撮像位置があるか否かを判定する。判定結果が、存在無しを示す場合には処理はステップＳ１１０６の処理をスキップし、ステップＳ１１０７に進める。一方、閾値Ｔｈ２で示す距離以内にキー画像の撮像位置が存在する場合、ステップＳ１１０６にて、オリジナルのキー画像を表示する（図９の第４表示領域９０１）。

ステップＳ１１０７では、ユーザからの、仮想視点位置、視線方向の変更指示入力を待つ。そのいずれかの指示があった場合には、ステップＳ１１０８にて、ＣＰＵ１０１は、現在の仮想視点の位置あるいは視線方向を、指示に従って変更し、処理をステップＳ１１０２に戻す。

以上であるが、仮想視点を移動もしくはその視線方向を変更して、大腸内壁を診断している最中に、ユーザが指定したカプセル内視鏡の現実の撮像画像が示す位置まで近づくと（距離が第１の閾値以下になると）、キー画像が現在の仮想視点の近傍に存在すること、並びに、その位置が視覚的に確認できることになる。しかも、仮想視点がさらに近づくと、実際に撮影されたオリジナルのキー画像が表示されるので、病変の診断も容易になる。

なお、上記実施形態では、画像診断アプリケーションにて、３次元大腸モデルを生成するものとしたが、３次元大腸モデルは他の装置で生成しても良い。この場合の「他の装置」は、ＣＴ、ＭＲＩのいずれを用いても構わない。要は、同一被験者の３次元大腸モデルとカプセル内視鏡情報が得られれば良い。

また、上記実施形態では、仮想視点位置とキー画像の撮像位置との差が第２閾値Ｔｈ２以下の場合に、キー画像を表示するものとしたが、マーカ上にマウスカーソルを移動したことによってキー画像を表示させても良い。

［他の実施形態］
上記実施形態では、キー画像の撮像位置が、３次元大腸モデル内の芯線上の画像の位置と見なした。しかし、図７に示すように、大腸芯線上における、撮像画像の中心位置とカプセル内視鏡の位置との間には、ΔＬだけの差が存在するので、上記距離の判定処理にてこのΔＬを加味して判断しても良い。

また、仮想内視鏡では、その視線方向を、ユーザの指示に従って自由に変更可能である。それ故、現在の視線方向が順方向に向かっているのか否かが判然としなくなる可能性がある。本実施形態によれば、図８に示す如く、仮想視点を表すアイコン８１１もその視線方向に基づいて向きが変わるので、その可能性を低くできるが、かかる点をより強調するため、仮想視点の視線方向が順方向、逆方向のいずれに向いているのかを仮想画像で判断できるようにしても良い。例えば、第２表示領域８０２の枠の色を、順方向、逆方向で区別するようにしても良い。また、マーク８２１の色も、順方向から見ているのか、逆方向から見ているのかを区別しても構わない。

また、上記実施形態では仮想内視鏡画像をＸ線ＣＴ装置からの情報に基づいて生成するものとしたが、ＭＲＩ等の他のモダリティ装置(医用画像診断装置)の情報からも仮想内視鏡画像を生成することができるので、上記実施形態に限定されるものではない。

また、上記説明から明らかなように、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…ＨＤＤ，１０５…Ｉ／Ｆ、１０６…表示部、１０７…操作部

Claims (10)

1. 医用画像診断装置で得られた医用画像情報に含まれる３次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置であって、
   カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、３次元大腸モデルを含む医用画像情報を取得する取得手段と、
   前記カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも１つを指定するための指定手段と、
   ユーザが設定した仮想視点位置から見えることになる仮想画像を、前記医用画像情報から生成するとともに、前記仮想視点位置と前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像を表示する表示制御手段と
   を有することを特徴とする画像診断支援装置。
2. 前記カプセル内視鏡画像情報に基づくカプセル内視鏡の移動軌跡を表す移動軌跡曲線を、３次元大腸モデルが表す大腸内を通る芯線曲線にマッピングするマッピング手段と、
   前記指定手段で指定されたキー画像の撮像位置に対応する前記芯線曲線上の位置を導出する導出手段を更に有し、
   前記表示制御手段は、前記仮想視点位置と、前記導出手段で導出した前記芯線曲線上における前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像の表示する
   ことを特徴とする請求項１に記載の画像診断支援装置。
3. 前記マッピング手段は、
   前記カプセル内視鏡画像情報に基づくカプセル内視鏡の移動軌跡を示す曲線を表示し、ユーザからの指示に従い、当該表示した曲線上に、バウヒン弁、肝臓湾曲部、脾臓湾曲部、及び、肛門の各位置をランドマークとして設定する第１の設定手段と、
   前記３次元大腸モデルを表示し、ユーザからの指示に従い、当該表示した３次元大腸モデル上に、バウヒン弁、肝臓湾曲部、脾臓湾曲部、及び、肛門の各位置を特定し、当該特定した前記芯線曲線上の位置にランドマークとして設定する第２の設定手段とを有し、
   前記第２の設定手段により得られた前記芯線曲線の各ランドマークに、前記第１の設定手段で設定された各ランドマークを対応づけることで、前記芯線曲線を、バウヒン弁−肝臓湾曲部の区間を示す第１区間、肝臓湾曲部−脾臓湾曲部の区間を示す第２区間、脾臓湾曲部−肛門の区間を示す第３区間に区分し、それぞれの区間においては前記カプセル内視鏡が等速で移動したとしてみなす
   ことを特徴とする請求項２に記載の画像診断支援装置。
4. 前記表示制御手段は、
   前記仮想視点位置と前記キー画像の撮像位置との距離が第１の閾値以下となった場合、前記キー画像の中心位置に対応する前記仮想画像内の位置に所定マークを合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像診断支援装置。
5. 前記表示制御手段は、
   前記仮想視点位置と前記キー画像の撮像位置との距離が前記第１の閾値より小さい第２の閾値以下となった場合、前記キー画像を表示する
   ことを特徴とする請求項４に記載の画像診断支援装置。
6. 前記表示制御手段は、前記仮想視点位置と前記キー画像の撮像位置との距離に応じて前記マークの色またはサイズを変更することを特徴とする請求項４または５に記載の画像診断支援装置。
7. 前記表示制御手段は、さらに、前記仮想視点の視線方向が、大腸の肛門からバウヒン弁に向かう順方向であるか、当該順方向に対する反対方向にあるのかに応じて、前記仮想画像の表示形態を変更することを特徴とする請求項１乃至６のいずれか１項に記載の画像診断支援装置。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至７のいずれか１項に記載の装置が有する各手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
10. 医用画像診断装置で得られた医用画像情報に含まれる３次元大腸モデルを利用し、仮想的な内視鏡による診断を行うための画像診断支援装置の制御方法であって、
    取得手段が、カプセル内視鏡で撮像された画像情報と当該撮像時の座標情報で構成されるカプセル内視鏡画像情報、並びに、３次元大腸モデルを含む医用画像情報を取得する取得工程と、
    指定手段が、前記カプセル内視鏡画像情報から、カプセル内視鏡が撮像したキー画像を少なくとも１つを指定するための指定工程と、
    表示制御手段が、ユーザが設定した仮想視点位置から見えることになる仮想画像を、前記医用画像情報から生成するとともに、前記仮想視点位置と前記キー画像の撮像位置との距離に応じた形態で、前記仮想画像の表示する表示制御工程と
    を有することを特徴とする画像診断支援装置の制御方法。