JP2010250458A - 画像処理装置 - Google Patents

Abstract

【課題】 ３次元画像の、点回転では表示されにくい隠れた部位を観察可能な画像処理装置を提供する。
【解決手段】 画像処理装置１００のＣＰＵ１０１は、対象領域を撮影した一連の断層像から対象領域を抽出し、抽出された対象領域に沿った線を軸線として設定すると、設定された軸線を中心として、対象領域に含まれる各点を該軸線に対して垂直な平面に沿って回転移動させた軸回転画像を生成し、表示する。また、軸回転モードと点回転モードとを設け、軸回転モードが選択された場合は、対象領域の各点を設定された軸線（芯線）に垂直な平面に沿って回転させた軸回転画像を生成し、点回転モードが選択された場合は、従来と同様に、任意点を中心として対象領域の各点を所定の方向に所定の角度だけ回転させた点回転画像を生成する。
【選択図】図６

Description

本発明は、複数の断層像から３次元画像を生成する画像処理装置に関する。

従来から、例えばＸ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置等によって撮影される複数の断層像等を用い、対象物の３次元画像を生成する手法が知られている。

特に、大腸等の管腔臓器内部を表示する手法としては、ＣＥＶ（Ｃｒｕｉｓｉｎｇ Ｅｙｅ Ｖｉｅｗ（登録商標））と呼ばれる仮想内視鏡像（特許文献１）や、管を切り開き内部表面を展開して表示するような展開表示手法（特許文献２）等が開発されている。上述の特許文献１に示す仮想内視鏡画像は、仮想的な視点から、投影対象物に対して仮想的な光線（レイ）を照射し、視線上のボクセルを投影面に投影させる表示方法であり、内視鏡で得られる画像のように臓器内部を観察できる。また、上述の特許文献２に示す展開画像では管腔臓器内部の表面全体を一望できるため、医師等が病変候補を見つけやすいといった利点がある。

また、特許文献３では、３次元の管状構造物画像に対して適合したメッシュモデルを作成し、メッシュモデルの分割されたセグメントを変形させることにより、管状の構造物画像を変形させる手法が開示されている。
一方、従来の３次元画像では、ある点を中心に画像を回転させ、医師等が観察したい角度から観察できるような操作が可能であった。

特開平８−１６８１３号公報 特許３６２７０６６号公報 特表２００６−５１７０４２号公報

しかしながら、管状構造物の屈曲部位や、複雑に交差し、重なり合うような部位を観察しようとする場合、上述の仮想内視鏡画像や展開画像では観察できなかった。また特許文献３では、画像を変形させたり、回転させたりする記述があるが、ある点を中心に画像を回転させるだけでは、やはり観察しにくい箇所があった。

本発明は、以上の問題点に鑑みてなされたものであり、３次元画像の、点回転では表示されにくい隠れた部位を観察可能な画像処理装置を提供することを目的とする。

前述した目的を達成するために、本発明は、対象領域を撮影した一連の断層像に基づいて３次元画像を構成し、表示する画像処理装置であって、前記３次元画像または前記断層像から対象領域を抽出する抽出手段と、前記抽出手段によって抽出された対象領域に沿った線を軸線として設定する軸線設定手段と、前記軸線設定手段によって設定された軸線を中心として、前記対象領域に含まれる各点を該軸線に対して垂直な平面に沿って回転移動させた軸回転画像を生成する第１の回転画像生成手段と、前記第１の回転画像生成手段によって生成された軸回転画像を表示する表示手段と、を備えることを特徴とする画像処理装置である。

本発明の画像処理装置により、３次元画像の、点回転では表示されにくい隠れた部位を観察できる。

画像処理装置１の概略構成を示す図 本発明に係る画像処理装置１が実行する画像処理の流れを説明するフローチャート 管腔臓器１０の３次元画像の一例 操作・表示画面例（１） 操作・表示画面例（２） 軸線（芯線２０）を軸として、管腔臓器領域各点を、芯線に対して垂直な平面で回転させ、投影するイメージ図 軸回転画像生成、表示後の操作・表示画面例

以下図面に基づいて、本発明の実施形態を詳細に説明する。

まず、図１を参照して、本発明の画像処理装置１００を適用した画像処理システム１の構成について説明する。

図１に示すように、画像処理システム１は、表示装置１０７、入力装置１０９を有する画像処理装置１００と、画像処理装置１００にネットワーク１１０を介して接続される画像データベース１１１と、画像撮影装置１１２とを備える。

画像処理装置１００は、画像生成、画像解析等の処理を行うコンピュータである。例えば、病院等に設置される医用画像処理装置を含む。画像処理装置１００は、種々の表示形式の画像を生成する処理を行う。
画像処理装置１００は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、主メモリ１０２、記憶装置１０３、通信インタフェース（通信Ｉ／Ｆ）１０４、表示メモリ１０５、マウス１０８等の外部機器とのインタフェース（Ｉ／Ｆ）１０６を備え、各部はバス１１３を介して接続されている。

ＣＰＵ１０１は、主メモリ１０２または記憶装置１０３等に格納されるプログラムを主メモリ１０２のＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１１３を介して接続された各部を駆動制御し、画像処理装置１００が行う各種処理を実現する。

また、ＣＰＵ１０１は、後述する画像処理（図２参照）において、一連の断層像から、例えば大腸等の対象領域を抽出し、抽出した対象領域に沿った軸線を設定し、その軸線を中心に、軸線に対して垂直な平面に沿って対象領域各点を回転させた軸回転画像を生成するための演算を実行し、軸回転後の画像を表示する。

以下、軸線を中心に、該軸線に対して垂直な平面に沿って、対象領域各点を回転させた画像を軸回転画像という。
また、従来の３次元画像の表示操作で行われているような、任意点を中心に回転させた画像を点回転画像という。

主メモリ１０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成される。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。また、ＲＡＭは、ＲＯＭ、記憶装置１０３等からロードしたプログラム、データ等を一時的に保持するとともに、ＣＰＵ１０１が各種処理を行う為に使用するワークエリアを備える。

記憶装置１０３は、ＨＤＤ（ハードディスクドライブ）や他の記録媒体へのデータの読み書きを行う記憶装置であり、ＣＰＵ１０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、ＣＰＵ１０１により必要に応じて読み出されて主メモリ１０２のＲＡＭに移され、各種の手段として実行される。

通信Ｉ／Ｆ１０４は、通信制御装置、通信ポート等を有し、画像処理装置１００とネットワーク１１０との通信を媒介する。また通信Ｉ／Ｆ１０４は、ネットワーク１１０を介して、画像データベース１１１や、他のコンピュータ、或いは、Ｘ線ＣＴ装置、ＭＲＩ装置等の画像撮影装置１１２との通信制御を行う。
Ｉ／Ｆ１０６は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス１０８やスタイラスペン等のポインティングデバイスをＩ／Ｆ１０６を介して接続させるようにしてもよい。

表示メモリ１０５は、ＣＰＵ１０１から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置１０７に出力される。

表示装置１０７は、液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ１０５を介してＣＰＵ１０１に接続される。表示装置１０７はＣＰＵ１０１の制御により表示メモリ１０５に蓄積された表示データを表示する。

入力装置１０９は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をＣＰＵ１０１に出力する。操作者は、表示装置１０７、入力装置１０９、及びマウス１０８等の外部機器を使用して対話的に画像処理装置１００を操作する。

ネットワーク１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、イントラネット、インターネット等の各種通信網を含み、画像データベース１１１やサーバ、他の情報機器等と画像処理装置１００との通信接続を媒介する。

画像データベース１１１は、画像撮影装置１１２によって撮影された画像データを蓄積して記憶するものである。図１に示す画像処理システム１では、画像データベース１１１はネットワーク１１０を介して画像処理装置１００に接続される構成であるが、画像処理装置１００内の例えば記憶装置１０３に画像データベース１１１を設けるようにしてもよい。

次に、図２〜図７を参照して、画像処理装置１００の動作について説明する。

画像処理装置１００のＣＰＵ１０１は、主メモリ１０２から図２の画像処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。

なお、以下の画像処理の実行開始に際して、画像データは画像データベース１１１等からネットワーク１１０及び通信Ｉ／Ｆ１０４を介して取り込まれ、画像処理装置１００の記憶装置１０３に記憶されているものとする。

図２の画像処理において、まず画像処理装置１００のＣＰＵ１０１は、対象領域を含む領域を撮影した一連の複数の断層像を入力画像データとして読み込む。ここで読み込む画像は、例えば大腸や血管等の管腔臓器を対象領域として撮影された断層像とする。本実施の形態では、入力画像データの好適な例として、大腸のＸ線ＣＴ画像を用いることとする。なお、対象領域は大腸に限定されるものではなく、他の臓器としてもよい。

ＣＰＵ１０１は、読み込んだ画像データから、対象臓器領域を抽出する（ステップＳ１）。対象臓器領域の抽出は、ＣＴ値の閾値処理等、公知の手法を用いればよい。

次に、ＣＰＵ１０１は、ステップＳ１において抽出した対象臓器について、３次元画像を構成し、表示装置１０７に表示する（ステップＳ２）。３次元画像としての陰影付け手法は、例えば、ボリュームレンダリング、レイキャスティング、サーフェイス、デプス等、どのような手法を用いるものとしてもよい。
ステップＳ２においてサーフェイス３次元画像を生成し、表示する場合には、ステップＳ１における臓器領域の抽出は表面部分だけでよい。

次に、ＣＰＵ１０１は、軸回転画像の回転軸とする軸線を設定する（ステップＳ３）。軸線としては、対象臓器の芯線を採用するのが好適である。芯線とは、管腔の略中心線である。
ＣＰＵ１０１は、芯線を抽出する。
芯線の抽出は、例えば、対象領域の周りから画素を順次削除し、残った数画素を芯線とする手法や、ＣＥＶ（仮想内視鏡像）の視点座標を芯線座標とする等、公知の種々の手法を用いればよい。

ステップＳ３の軸線の設定において、芯線を軸線とした場合は、芯線を中心に軸回転させるため、臓器形状はほぼ元の形状に保たれ、観察の際、臓器全体のイメージを損なうことがないという利点がある。しかし、生成する軸回転画像の形状が、元の形状から変形してもよい場合は、対象臓器に沿った線であればどのような曲線または直線を軸線として設定してもよい。この場合、対象臓器領域の内部、外部、或いは表面に沿った線のいずれであってもよい。

ステップＳ１〜ステップＳ３の段階で、図３に示すような３次元画像１０が表示装置１０７に表示されるものとする。３次元画像１０内の一点鎖線は、芯線２０である。

軸線（ここでは、芯線２０を軸線とする）が設定された段階で、ＣＰＵ１０１は、回転角度θの入力（ステップＳ４）、及び回転モードの選択（ステップＳ５）を受け付ける。

本実施の形態では、回転角度θの入力及び回転モードの選択を行うためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として、図４に示すＧＵＩ３１、３３を表示装置１０７に表示する。

ＧＵＩ３１は、表示されている３次元画像を、従来と同様に任意点の周りに点回転させる際(点回転モード)に操作されるものである。点回転の方向を指示する点回転方向操作子として、上ボタン３１ａ、右ボタン３１ｂ、下ボタン３１ｃ、左ボタン３１ｄが設けられている。
ＧＵＩ３３は、表示されている３次元画像を、ステップＳ３で設定した軸線の周りに軸回転させる際(軸回転モード)に操作されるものである。ＧＵＩ３３は、円３３ａと、円３３ａの周りの任意角度（０度〜３６０度）を指し示す針３３ｂ（軸回転角度指示子）とを有する。

ＧＵＩ３３に対する操作があった場合、ＣＰＵ１０１は、軸回転モードに移行する。ＣＰＵ１０１は、ＧＵＩ３３の針３３ｂの移動角度を、軸回転の角度θとして設定する。
一方、ＧＵＩ３１に対する操作があった場合は、ＣＰＵ１０１は、点回転モードに移行する。すなわち、ＧＵＩ３１のいずれかのボタン３１ａ，３１ｂ，３１ｃ，３１ｄが押下された場合は、ＣＰＵ１０１は押下されたボタンの方向に所定角度の回転角度が入力されたものとする。この所定角度は予め設定されているものとしてもよいし、操作者が別の操作で入力する角度としてもよい。

また、別の操作子の例としては、図５に示すＧＵＩ３５を用いるようにしてもよい。
図５に示すＧＵＩ３５は、軸回転の角度を指定する軸回転角度指示子５１、及び点回転の方向を指示する上下左右の方向指示子５２，５３，５４，５５をともに備えている。

ＧＵＩ３５の軸回転角度指示子５１に対する操作があった場合、ＣＰＵ１０１は、軸回転モードに移行し、軸回転角度指示子５１の移動角度を、軸回転の角度θとする。
一方、ＧＵＩ３５の方向指示子５２，５３，５４，５５に対する操作があった場合は、ＣＰＵ１０１は、点回転モードに移行し、押下された方向指示子５２，５３，５４，５５の方向に所定角度の回転角度が入力されたものとする。

図２の説明に戻る。軸回転モードにおいて（ステップＳ５；軸線の周りの回転）、ＣＰＵ１０１は、抽出した対象領域に含まれる各点（対象領域内部の各点または表面の各点を含む）を、入力された回転角度θだけ、軸線に対して垂直な平面に沿って回転させるための演算を行う（ステップＳ６）。

軸回転画像の生成について説明する図を図６に示す。
図６に示すように、複数の断層像ＳＬ１，ＳＬ２，・・・，ＳＬ１０から抽出された対象領域１０に含まれる各点（図６は対象領域の一部）が、２次元の投影面Ｑに投影される様子を示している。図６は説明のため、対象領域１０の両端において、軸線である芯線２０に垂直な平面が、紙面に一致しているものとする。

ＣＰＵ１０１は、軸回転の演算において、芯線２０に対して垂直な平面に沿って、対象領域１０の一端にある点Ａを角度θだけ回転させ、点ａに移動させる。さらに、点ａを投影面Ｑに投影するための演算を行う。同様に、点Ｂについても角度θだけ、芯線２０に垂直な平面に沿って回転させ、点ｂに移動させ、点ｂを投影面Ｑに投影する。同様に、ＣＰＵ１０１は、軸線（芯線２０）の周囲の対象領域内部または表面の各点を角度θだけ回転移動させ、投影面Ｑに投影して、所望の陰影付けを施して３次元の軸回転画像を生成する。

ＣＰＵ１０１は、生成した軸回転画像を表示装置１０７に表示する（ステップＳ７）。

ステップＳ６〜ステップＳ７の軸回転画像を生成・表示するステップにおいて、対象領域の屈曲した部位の内側にある点を芯線２０を中心に外側に向かって軸回転させる場合、屈曲部位における管腔の内側と外側との曲率の違いから、正しく描写されない画素が部分的に生じてしまうことがある。その場合は、近傍の画素による補間処理を行うようにし、不自然な画像となることを避けるようにすればよい。

点回転モードにおいて（ステップＳ５；点の周りの回転）、ＣＰＵ１０１は、対象領域の各点（対象領域内部の各点または表面の各点を含む）を、指示された方向に所定角度だけ、任意点（例えば、元の３次元画像における対象領域の重心）を中心に回転させるための演算を行い、投影面Ｑに投影して、３次元点回転画像を生成する（ステップＳ９）。この３次元点回転画像の生成は、従来の公知の手法と同様である。
ＣＰＵ１０１は、生成した点回転画像を表示装置１０７に表示する（ステップＳ７）。

なお、ステップＳ６→ステップＳ７の２ステップの処理、及びステップＳ９→ステップＳ７の２ステップの処理は、サーフェイス３次元画像を生成する場合には、回転の数式（ステップＳ６またはステップＳ９）と３次元画像の構成式（ステップＳ７）とを一体とすることにより、それぞれ１ステップの処理とすることも可能である。

その後、終了指示が入力されるまで（ステップＳ８；Ｎｏ）、ユーザの操作に従ってステップＳ４〜Ｓ７の回転（軸回転、点回転）の処理を繰り返す。
終了指示が入力された場合は（ステップＳ８；Ｙｅｓ）、一連の画像処理を終了する。

図７は、図４に示す対象領域１０について、上述の画像処理によって芯線２０を軸として回転させた軸回転画像１３の表示例を示している。図４に示す部位２１、２２、２３と図７に示す部位２１、２２、２３とは、それぞれ対応する部位である。これらの部位２１、２２、２３は、図４では、管腔の屈曲部位の内側に位置するため、点回転させても管腔自体が表示の妨げになって隠れてしまうことがあり、観察しにくい。そこで、ステップＳ６〜ステップＳ７の処理によって芯線２０の周りに部位２１、２２、２３を回転させることにより、図４では隠れてしまっていた部位が、表示画面上に表示されるようになる。また、芯線２０を軸線としているため、対象領域自体の形状は大きく変形することもなく、観察対象の配置イメージを損なうことがない。

以上説明したように、本実施の形態の画像処理装置１００は、対象領域を撮影した一連の断層像から対象領域を抽出し、抽出された対象領域に沿った線を軸線として設定すると、設定された軸線を中心として、対象領域に含まれる各点を該軸線に対して垂直な平面に沿って回転移動させた軸回転画像を生成し、表示する。
従って、屈曲または交差により隠れた部位を、容易に観察することが可能となる。

特に、本実施の形態のように、管腔臓器の芯線２０を軸線として設定することにより、元の対象領域の形状を維持したまま、屈曲や交差により隠れていた部位を回転させて表示させることが可能となる。
そのため、複雑に交差、屈曲した管腔であっても、元の位置を確認しやすい。
更に、医療の分野で用いられる画像に本発明の画像処理を適用すれば、従来の回転表示等では観察できなかった部位も観察可能となり、癌等の病変部位の発見が容易となる。

また、本実施の形態では、軸回転モードと、点回転モードとを設け、軸回転モードが選択された場合は、対象領域の各点を設定された軸線（芯線）に垂直な平面に沿って回転させた軸回転画像１３を生成し、点回転モードが選択された場合は、従来と同様に、任意点を中心として対象領域の各点を所定の方向に所定の角度だけ回転させた点回転画像を生成する。そのため、従来の点回転と本発明の軸回転とを組み合わせて、所望の角度から所望の部位を観察できるようになり、ユーザの利便性が向上する。また、点回転や軸回転の回転方向または回転角度等を簡単な操作で入力できるＧＵＩ３１、３３、３５を備えているため、操作性が向上する。

なお、本実施の形態では、対象とする画像を医療の分野で用いる画像としているが、本発明はこれに限定されるものではなく、例えば、チューブ、パイプ、コード等、様々な管状の構造物に適用可能である。またＸ線ＣＴ画像のみならず、ＭＲＩ画像、超音波画像等、内部を撮影可能なあらゆる画像を入力画像に用いることができる。

以上、添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１・・・・・画像処理システム
１００・・・・・画像処理装置
１０１・・・・・ＣＰＵ
１０２・・・・・主メモリ
１０３・・・・・記憶装置
１０４・・・・・通信Ｉ／Ｆ
１０５・・・・・表示メモリ
１０６・・・・・Ｉ／Ｆ
１０７・・・・・表示装置
１０８・・・・・マウス
１０９・・・・・入力装置
１１０・・・・・ネットワーク
１１１・・・・・画像データベース
１１３・・・・・画像撮影装置
１０・・・・・対象領域
２０・・・・・軸線（芯線）
３１・・・・・点回転用のＧＵＩ
３３・・・・・軸回転用のＧＵＩ
３５・・・・・点回転及び軸回転の双方を操作するＧＵＩ

Claims (7)

1. 対象領域を撮影した一連の断層像に基づいて３次元画像を構成し、表示する画像処理装置であって、
   前記３次元画像または前記断層像から対象領域を抽出する抽出手段と、
   前記抽出手段によって抽出された対象領域に沿った線を軸線として設定する軸線設定手段と、
   前記軸線設定手段によって設定された軸線を中心として、前記対象領域に含まれる各点を該軸線に対して垂直な平面に沿って回転移動させた軸回転画像を生成する第１の回転画像生成手段と、
   前記第１の回転画像生成手段によって生成された軸回転画像を表示する表示手段と、
   を備えることを特徴とする画像処理装置。
2. 前記軸線設定手段によって設定される軸線は、前記対象領域の芯線であることを特徴とする請求項１に記載の画像処理装置。
3. 前記対象領域は、管腔形状を示す領域であることを特徴とする請求項１に記載の画像処理装置。
4. 前記３次元画像は医療の分野で用いられる画像であることを特徴とする請求項１に記載の画像処理装置。
5. 画像の回転角度を指定させるための角度指定手段を更に備え、
   前記第１の回転画像生成手段は、前記角度指定手段によって指定された回転角度だけ、前記対象領域に含まれる各点を該軸線に対して垂直な平面に沿って軸線を中心に回転移動させた軸回転画像を生成することを特徴とする請求項１に記載の画像処理装置。
6. 前記３次元画像を任意の点を中心に回転させた点回転画像を生成する第２の回転画像生成手段と、
   前記軸回転画像、または前記点回転画像のいずれかを生成させるための選択手段と、
   前記選択手段による選択に従って、前記第１の回転画像生成手段に軸回転画像を生成させ、または前記第２の回転画像生成手段に点回転画像を生成させ、生成された軸回転画像または点回転画像を前記表示手段に表示させる第１の表示制御手段と、
   を更に備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記３次元画像を任意の点を中心に回転させた点回転画像を生成する第２の回転画像生成手段と、
   軸回転の角度を指定する軸回転角度指示子、及び点回転の方向を指示する点回転方向指示子をともに備えた操作手段と、
   前記操作手段において、前記軸回転角度指示子に対する操作が行われた場合は、前記第１の回転画像生成手段に前記軸回転画像を生成させ、前記点回転方向指示子に対する操作が行われた場合は、前記第２の回転画像生成手段に前記点回転画像を生成させ、生成された軸回転画像または点回転画像を前記表示手段に表示させる第２の表示制御手段と、
   を更に備えることを特徴とする請求項１に記載の画像処理装置。

Images