JP4709177B2 - 三次元画像処理装置および方法並びにプログラム - Google Patents

三次元画像処理装置および方法並びにプログラム Download PDF

Info

Publication number
JP4709177B2
JP4709177B2 JP2007105195A JP2007105195A JP4709177B2 JP 4709177 B2 JP4709177 B2 JP 4709177B2 JP 2007105195 A JP2007105195 A JP 2007105195A JP 2007105195 A JP2007105195 A JP 2007105195A JP 4709177 B2 JP4709177 B2 JP 4709177B2
Authority
JP
Japan
Prior art keywords
image
mapping
morphological
subject
opacity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007105195A
Other languages
English (en)
Other versions
JP2008259696A (ja
Inventor
潤 桝本
仁樹 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007105195A priority Critical patent/JP4709177B2/ja
Priority to US12/100,942 priority patent/US8497862B2/en
Priority to EP08007213A priority patent/EP1988511A3/en
Publication of JP2008259696A publication Critical patent/JP2008259696A/ja
Application granted granted Critical
Publication of JP4709177B2 publication Critical patent/JP4709177B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は医用画像のボリュームレンダリング、詳しくは被写体の形状を表す形態画像と被写体の厚さや特性等の機能を表したマッピング画像を用いてボリュームレンダリングを実行する画像処理装置および方法並びにプログラムに関する。
CT装置、MRI装置、超音波診断装置(エコー)等の発展により、詳細なレベルでの医用断面画像の取得が可能になったが、それと同時に、一回の検査で撮影される画像数も膨大になったため、撮影された断面画像を一枚ずつ観察することによって診断する従来の方法では、膨大な時間がかかるようになった。また、断面画像に基づいて被写体の三次元的構造を把握するには、十分な経験を要することから、読影者の経験の差によって、読影精度にも差が生じてしまっていた。
そこで、三次元コンピュータグラフィックスの技術を応用して、多数の二次元断面画像に基づいて、二次元平面に立体的に可視化した擬似三次元画像を生成する画像処理が行われるようになった。
このような擬似三次元画像を生成する技術としては、ボリュームレンダリング法が知られている。これは、三次元画像データを構成する各画素(ボクセルデータ)に対して設定された不透明度(オパシティ)と輝度値とに基づき、視線に沿った各探索点におけるこれらの値をサンプリングし、加算していくことによって投影画素の出力画素値を求め、半透明な疑似三次元画像を生成する処理である。
一方、心筋シンチグラフィ(SPECT)によって直接撮影されるものやCT装置、MRI装置等から得られた解析結果により得られた被写体の各部の厚さや機能等を表した機能画像が知られている。
特許文献1に開示された手法においては、このような機能画像から注目したい一部を抽出し、X線CT装置、MRI装置または超音波診断装置等により撮像された被写体の形状を表す形態画像と合成したボリュームデータを作成し、この合成ボリュームデータを対象にボリュームレンダリング手法を行う装置が開示されている。
特開2006−288495号公報
しかしながら、被写体を表す三次元画像データの被写体の一部における形態画像と機能画像を合成し、ボリュームレンダリングを実行すると、被写体の一部の形態を表す形態画像の形状を保持できずに、機能画像の形状に依存した疑似三次元画像が生成されるというという問題があった。
本発明は、上記事情に鑑み、形態画像に対応する位置に存在する機能画像等の情報をマッピングすることが可能な三次元画像処理装置および方法並びにプログラムを提供することを目的とするものである。
本発明による三次元画像処理装置は、被写体を表す三次元画像を構成するボクセルデータの各画素に少なくとも不透明度を割り当てられてなる第1のボクセルデータを用いて、被写体の一部を表すマッピング画像を生成するマッピング画像生成手段と、被写体を表す三次元画像を構成する第2のボクセルデータのうち少なくとも被写体の一部を含む対象の形態を表した形態画像を生成する形態画像生成手段と、マッピング画像と形態画像の各位置を対応させて、各位置に対応するマッピング画像の不透明度に基づきボリュームレンダリングを実行することにより疑似三次元画像を生成する画像生成手段とを備えたものであることを特徴とするものである。
本発明による三次元画像処理方法は、被写体を表す三次元画像を構成するボクセルデータの各画素に少なくとも不透明度を割り当てられてなる第1のボクセルデータを用いて、被写体の一部を表すマッピング画像を生成する工程と、被写体を表す三次元画像を構成する第2のボクセルデータのうち少なくとも被写体の一部を含む対象の形態を表した形態画像を生成する工程と、マッピング画像と形態画像の各位置を対応させて、各位置に対応するマッピング画像の不透明度に基づきボリュームレンダリングを実行することにより疑似三次元画像を生成する工程とを備えることを特徴とするものである。
本発明のプログラムは、コンピュータを、被写体を表す三次元画像を構成するボクセルデータの各画素に少なくとも不透明度を割り当てられてなる第1のボクセルデータを用いて、被写体の一部を表すマッピング画像を生成するマッピング画像生成手段と、被写体を表す三次元画像を構成する第2のボクセルデータのうち少なくとも被写体の一部を含む対象の形態を表した形態画像を生成する形態画像生成手段と、マッピング画像と形態画像の各位置を対応させて、各位置に対応するマッピング画像の不透明度に基づきボリュームレンダリングを実行することにより疑似三次元画像を生成する画像生成手段として機能させることを特徴とするものである。
「マッピング画像」とは、三次元コンピュータグラフィックスにおいて、ボリュームレンダリング等の際に、物体の表面に模様や質感などの様々な効果を貼る際に用いられる被写体の一部の特性等を表す画像をいう。具体例としては、機能画像が考えられる。
「機能画像」とは、被写体の一部における各位置の機能を視認できるように表した画像を意味する。
「ボリュームレンダリング」とは、三次元医用画像を構成する各画素(ボクセルデータ)に対して設定された不透明度(オパシティ)と輝度値等に基づき、視線に沿った各探索点におけるこれらの値をサンプリングし、加算していくことによって投影画素を生成する処理を意味する。具体例としては、レイキャスト法が考えられる。
「輝度値」とは三次元画像を構成する画素値、三次元画像を構成する画素値に対応した色情報、探索点における画像勾配と光源の関係から求まる照度等から計算される探索点における輝度の値を意味する。
「レイキャスト法」とは、物体に対して投影面から仮想的な光線を照射し、ボクセル値に対応した不透明度や輝度値等に基づいて、物体内部からの仮想的な反射光による三次元画像を作成することにより、投影面に物体内部の三次元構造を透視する投影画像を生成する手法を意味する。
本発明の三次元画像処理装置および方法並びにプログラムによれば、マッピング画像と形態画像の各位置を対応させて、各位置に対応するマッピング画像の不透明度に基づきボリュームレンダリングを実行するので、形態画像に対応する位置に存在するマッピング画像の情報をマッピングし、マッピング画像の形状に依存することなく形態画像の形状通りに疑似三次元画像の作成が可能となる効果を奏する。
以下、図面を参照して本発明の三次元画像処理装置の実施形態を詳細に説明する。図1は本発明の三次元画像処理装置の概略構成図である。図1のような三次元画像処理装置1の構成は、補助記憶装置に読み込まれた三次元画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この三次元画像処理プログラムは、CD−ROM等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
本発明の三次元画像処理装置1は、被写体を撮影して得た三次元医用画像を構成する第1のボクセルデータ100を記憶する第1の記憶手段10と、第1のボクセルデータ100を用いて心臓の各位置における機能を表した機能画像200を生成する機能画像生成手段20と、前記被写体を撮影して得た三次元画像を構成する第2のボクセルデータ110を記憶する第2の記憶手段30と、被写体を撮影して得た三次元画像を構成する第2のボクセルデータ110のうちまた、被写体を表す画像の一部である心臓の領域であるボクセルデータを用いて、前記心臓の形態を描画した形態画像を生成する形態画像生成手段40と、第1のボクセルデータ100と第2のボクセルデータ110を位置合せする位置合せ手段50と、形態画像210と機能画像200とを用いてボリュームレンダリング手法を実行する画像生成手段60と、画像表示手段60で作成された疑似三次元画像を表示する表示手段2と、更にオペレータによりデータ入力を可能とする入力手段3を備える。
第1、第2のボクセルデータ100、110は、CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置などにより撮影されて得られた三次元画像である。第1のボクセルデータ100は、機能画像200を生成するために用いられ、第2のボクセルデータ110は、形態画像210を生成するために用いられる。
第1、第2の記憶手段10、30は、大容量の記憶装置であり、ハードディスクや画像サーバなどである。被写体をCT装置やMRI装置などを用いて撮影した第1、第2のボクセルデータ100、110が記憶される。
マッピング画像とは、三次元コンピュータグラフィックスにおいて、ボリュームレンダリング等の際に、物体の表面に模様や質感などの様々な効果を貼る(マッピング)際に用いられる被写体の一部の特性等を表す画像をいう。マッピング画像の具体例として、機能画像が考えられる。以下、機能画像200について説明する。
機能画像200は、心臓の動きや心室の内径や心筋の厚さなどに応じて、心臓の機能の評価を表す評価値の分布(例えば、色や数値等)を表す画像である。具体的には、あるフェーズにおける心室の径を表した心室内径画像、拡張期における心室の径を表した拡張末期心室内径の画像、収縮期における心室の径を表した収縮末期心室内径の画像、区画された領域毎の駆出率を表した局所駆出率の画像、あるフェーズでの心筋の厚みを表した壁厚の画像、拡張期における心筋の厚さを表した拡張末期壁厚の画像、収縮期における心筋の厚さを表した収縮末期壁厚の画像、拡張期の心筋の厚さから収縮期の心筋の厚さの差を表した壁厚変化量の画像、拡張期の心筋の厚さをA、収縮期の心筋の厚さをBとした時、B-A/Aで計算された値を表した壁厚増加率の画像、拡張期の心室の径から収縮期の心室の径の差を表した壁運動量の画像、心筋シンチグラフィの画像などがある。
心筋シンチグラフィを表す機能画像200は、心筋に集まる薬を被検者の腕から注射して、その薬の分布を体の外から測定したデータを画像として表したもので、薬を変えることで、心筋の血流状態、心筋組織の代謝、神経の働きなどを表すことができる。
また、機能画像200で心臓の動きの評価を表す場合には、動いている心臓を複数フェーズ撮影して画像間の違いから心臓の機能を評価する値を得て機能画像200を作成する。このように複数フェーズ撮影する場合には、被曝することがないMRI装置で複数フェーズ撮影した画像から機能画像200を生成するのが望ましい。

一方、形態画像210は心臓の形態を表す画像であるが、各臓器の構造が明瞭に表れるCT装置で撮影した三次元画像から生成するのが好ましい。
また、形態画像210は機能画像200の被写体の一部を含む対象の形態を表すことが好ましい。
また、形態画像210の作成に用いる第2のボクセルデータには、形態を詳細に表すために、CT装置やMRI装置などで細かいピッチ(例えば、1〜3mm間隔)で撮影した断層画像から生成したボクセルデータを用いるのが好ましい。一方、機能画像200の作成するために心臓の動きに応じて複数のフェーズで撮影する必要がある場合は、細かいピッチで撮影を行ったのでは、複数フェーズを撮影することができない場合があるので、第1のボクセルデータは、MRI装置などで広いピッチ(例えば、5〜10mm間隔)で撮影した断層画像から生成したボクセルデータを用いることが多い。
位置合せ手段50は、第1のボクセルデータ100の心臓と第2のボクセルデータ110の心臓について位置合せを行う。例えば、第1のボクセルデータ100がMRI装置で心臓を撮影した画像であり、第2のボクセルデータ110がCT装置で心臓を撮影した画像である場合には、同じ被写体を撮影した場合であっても、全く同じ位置になるように撮影することは難しい。そこで、機能画像200の対応する心臓の位置に心臓の周囲に存在する血管の形態を投影するためには、第1のボクセルデータ100の心臓の形状と第2のボクセルデータ110の心臓の形状とを位置合せを行う。
この位置合せはレジストレーションと呼ばれる種々の手法を用いることができる。ここで、第1のボクセルデータ100の画像Aの点xを第2のボクセルデータ110の画像Rの点xに変換する場合について具体的に考える。
変換関数をTとすると、
と表すことができる。
心臓の形状を剛体として考えた場合には、三次元空間内のX軸方向、Y軸方向、Z軸方向の各方向への移動(t、t、t)と、各軸の回転(α、β、γ)により変換関数が表され、下式のようになる。
心臓の形状は変化するため非剛体として考えた場合には、自由度が増えるためTが多項式やスプライン関数などを含む複雑な関数で表される。
変換関数は、具体的には、心臓の特徴となる解剖学的な点をいくつか(例えば、三点)検出して、この点から求めるようにしてもよい。あるいは、一つの画像の輪郭を決定し、もう一つの画像の表面に相当する点列の距離が最も小さくなるように、フィティングを繰り返して変換関数を求めることもできる。あるいは、画像中の全てのボクセルの画素値を用いて類似度を調べることによって重ね合わせるようにして求めてもよい。このように画像中の全ての画素値を用いるようにすると、画素上の雑音成分が打ち消しあうので比較的安定した結果を得ることができる。(詳細は、日本放射線技術学会雑誌、第53巻、第1号、P60〜P65、2003年1月などを参照)。
位置合せは、上述のいずれのレジストレーション手法を用いてもよい。
このように座標変換関数が定義された上で第2のボクセルデータ110は独立したデータであるため、第2のボクセルデータ110の可視化条件はそのままで第1のボクセルデータ100を変化させることで、同じ形状に対し異なった情報をマッピングすることが可能となる。
画像生成手段60は、位置合せ手段50によって算出された第1、第2のボクセルデータ100,110の対応情報に基づき形態画像210と機能画像200の各位置を対応させ、各位置に対応する機能画像の不透明度に基づき形態画像と機能画像のそれぞれの輝度値(ボクセルデータの各画素値に対し、割り当てられた色情報等)を用いてボリュームレンダリングを実行し、疑似三次元画像を生成するものである。
例えば、ボリュームレンダリングの手法として、具体的にはレイキャスト法を用いる。レイキャスト法は、濃度や密度で定義されるボリュームデータに対し、画面上から伸ばした視線上にある濃度/密度データを計算し内部情報も反映して画像を生成するものである。
被写体の三次元医用画像である形態画像210を取得する。この形態画像210の各ボクセルの位置は、被写体の左右方向をx軸、前後方向をy軸、上下方向をz軸とする三次元座標系で定義され、各ボクセルの画素値は、そのボクセルの位置の座標と関連づけられるものである。
次に、初期設定値を用いるか、またはオペレータによる入力手段3(例えばキーボードやマウス等)からの入力等により設定された視点E、光源S、投影面F(大きさ、位置、画素数)により、図2に示すように、その視点Eと投影面F上の投影画素の各々とを結ぶ複数の視線Ek(k=1、2、…、L;Lは、視線の数)に沿って三次元医用画像Vを所定の間隔でサンプリングした複数の探査点v(i=1、2、…、n)を設定することが可能となる。
各探査点vの輝度値と不透明度とを決定した後、各視線Ekに沿って、その視線Ek上の各探索点v(i=1、2、…、n)の輝度値c(v)と不透明度α(v)とに基づいて、その視線Ekが通る投影面上の投影画素の出力画素値Cを、次の式(3)により決定する。
このように、形態画像210の各画素値に対して不透明度を割り当てることで被写体の対象となる心臓を抽出するような画像の生成が可能となる。この不透明度が可視化対象となるデータを意味し、対象となるボリュームデータの形態を定義することになる。
これらの手法の考え方を応用して、本発明は以下の手法を提案するものである。
機能画像200と形態画像210の少なくとも2つを入力とし、形態画像210を対象にレイキャスト法を実行する。可視化対象となる不透明な画素値を持つ場合、上述の位置合せ手段50で対応する位置を求め、その機能画像200から対応する位置での輝度値を取得して可視化をおこなう。
具体的には、図3に示すように、その視点Eと投影面F上の投影画素の各々とを結ぶ複数の視線に沿ってV1を所定の間隔でサンプリングした複数の探査点である形態画像210に関するv(i=1、2、…、n)とそれに対応するマッピング用の機能画像200に関する探査点v´(i=1、2、…、n)を設定する。
形態画像210での各探査点における不透明度と輝度値を取得する。また、形態画像210の探査点の位置に対応する機能画像200の位置での不透明度と輝度値を取得する。各探査点で機能画像200から取得した不透明度をアルファ値として形態画像210の輝度値と機能画像200の輝度値とのアルファブレンディングすることで、形態画像210と機能画像200をブレンドした出力画素値Cを式(4)により決定する。
また、表示手段2は画像生成手段60を介して、図4に示すような機能画像A1と形態画像B1を重ね合わせされた疑似三次元画像を表示する。図4に示すように、重ね合わせて表示することによって、血管の位置から心臓のどのあたりの機能が正常であるか異常であるかなどを画像表示手段2により観察することができる。
このように形態画像210に対応する位置に存在する機能画像200の情報をマッピングするため、形態画像での形状はそのままに機能画像から得られる情報が付加された形での可視化が可能となる。
なお、オペレータにより入力手段3を介して、機能画像200を他の機能画像に変更することも可能である。そのような場合、形態画像210と他の機能画像が重畳したような疑似三次元画像を表示手段2に表示することが可能となる。
次に、三次元画像処理装置1を用いて、機能画像200上に形態画像210を重ねた画像を表示するときの流れについて図5のフローチャートに従って説明する。
まず、被写体の心臓をMRI装置で撮影し、撮影した画像を第1のボクセルデータ100として第1の記憶手段10に記憶する(S100)。さらに、同じ被写体をCT装置で撮影した画像を第2のボクセルデータ110として第2の記憶手段20に記憶する(S101)。
機能画像生成手段20で、第1のボクセルデータ100より心臓の機能を表す機能画像200を生成する(S102)。
次に、第2のボクセルデータ110を用いて、形態画像生成手段40で形態画像210を生成する。(S103)。
位置合せ手段50で、第1のボクセルデータ100の心臓と第2のボクセルデータ110の心臓の形状を位置合せする。具体的には、例えば、心臓を剛体として考えて、ボクセルデータ100,110の画素値を用いて相関係数を用いて評価し、機能画像の座標系から携帯画像の座標系へ変換するときの回転量、移動量などの変位量を求めることができる(S104)。
機能画像生成手段20で生成された第1のボクセルデータ100より心臓の機能を表示した機能画像200に割り当てられた不透明度をアルファ値とし、アルファブレンド処理により、機能画像200と形態画像210それぞれの輝度値等を用いて、画像生成手段60で、ボリュームレンダリング処理を実行する(S105)。
画像生成手段60は、上述のボリュームレンダリング処理を経て、機能画像200と形態画像210とを重ね合うように疑似三次元画像を生成する(S106)。
また、第1のボクセルデータと第2のボクセルデータがCT装置によって撮影されたものとMRI装置によって撮影されたものである場合や、共にMRI装置あるいはCT装置によって撮影されたものであってもスライス間隔が異なる場合には、上述のレジストレーションの手法を用いて位置合せが行なわれるが、心筋シンチグラフィを対象とする場合は、画像の撮影目的が異なり形態画像と機能画像との関連が小さいため、画素値の相関を用いたレジストレーションでは上手く位置合せできないことがある。そこでこのような場合には、それぞれの画像から対応する特徴点を選択し、その点間でレジストレーションをおこない座標変換のための回転量、移動量を算出するようにしてもよい。
また、上述では機能画像200の座標系を形態画像210の座標系に変換する場合について説明したが、心臓上の各位置が一致するように変換するのであれば、形態画像210の座標系を機能画像200の座標系に変換しても、双方を変形するようにしてもよい。
あるいは、機能画像200と形態画像210のいずれか一方の画像を生成し、位置合せの情報を用いて他方の画像を先に生成した画像の位置に対応させて描画するようにしてもよい。
以上、機能画像と形態画像の各位置を対応させて、各位置に対応する機能画像の不透明度に基づきボリュームレンダリングを実行することにより、形態画像に対応する位置に存在する機能画像の情報をマッピングし、機能画像の形状に依存することなく形態画像の形状通りに疑似三次元画像の作成が可能となる。
本発明は、形態画像の可視化に対してはボリュームレンダリング手法がベースとなっており、内部構造を保持したデータとして不透明な物体として可視化できるボリュームレンダリングの特徴を引き継いでいるため、機能画像からマッピングされる情報は形状の表面でなく内部にも行われるので、心臓の外観形状の表面のみにマッピングのみならず、より透明な不透明度を設定することで内部にもマッピングされた可視化が可能となる。
更にオペレータが入力手段3を介して、表示手段2に表示された画像データを可逆又は非可逆圧縮データ(例えば、JPEG形式)として出力するようにしてもよい。これにより大容量である医療画像を圧縮し、低容量の画像としてデータ転送やプレゼンテーション資料等への利用が容易になる。
本発明の疑似三次元画像生成装置の概略構成図 レイキャスト法における変換図 形態画像用座標系からマッピング画像用座標系への変換図 形態画像と機能画像を重ね合わせた画像の一例(その1) 本発明の疑似三次元画像を生成するまでを説明するためのフローチャート
符号の説明
1 三次元画像生成装置
2 表示装置
10 第1の記憶手段
20 機能画像生成手段
30 第2の記憶手段
40 形態画像生成手段
50 位置合せ手段
60 画像生成手段
100 第1のボクセルデータ
110 第2のボクセルデータ
200 機能画像
210 形態画像

Claims (8)

  1. 被写体を表す三次元画像を構成するボクセルデータの各画素に少なくとも不透明度を割り当てられてなる第1のボクセルデータを用いて、前記被写体の一部を表すマッピング画像を生成するマッピング画像生成手段と、
    前記被写体を表す三次元画像を構成する第2のボクセルデータのうち少なくとも前記被写体の一部を含む対象の形態を表した形態画像を生成する形態画像生成手段と、
    前記マッピング画像と前記形態画像の各位置を対応させて、該各位置に対応する前記マッピング画像の不透明度に基づき、該マッピング画像の不透明度の値が大きいほど前記マッピング画像の輝度値の比率が高くなるように、前記形態画像の輝度値と前記マッピング画像の輝度値とをブレンドした輝度値を算出し、該ブレンドされた輝度値を用いてボリュームレンダリングを実行することにより疑似三次元画像を生成する疑似三次元画像生成手段とを備えるものであることを特徴とする画像処理装置。
  2. 前記第2のボクセルデータは、各画素に不透明度が割り当てられたものであり、
    前記疑似三次元画像生成手段は、前記ブレンドされた輝度値と、前記第2のボクセルデータの各画素に割り当てられた不透明度との積算値とを用いて、前記第1のボクセルデータの各画素に割り当てられた不透明度を用いずに、前記ボリュームレンダリングを実行するものであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記疑似三次元画像生成手段が、レイキャスト法を用いて前記ボリュームレンダリングを実行するものであることを特徴とする請求項1または請求項2記載の画像処理装置。
  4. 前記疑似三次元画像生成手段が、前記各位置に対応する前記マッピング画像の不透明度に基づきアルファ値を設定し、前記各位置に対応する前記マッピング画像と前記形態画像のそれぞれの輝度値に対してアルファブレンド処理を用いてボリュームレンダリングを実行するものであることを特徴とする請求項1から請求項3いずれかに記載の画像処理装置。
  5. 前記疑似三次元画像生成手段は、前記マッピング画像と前記形態画像が重畳された前記疑似三次元画像データを作成することを特徴とする請求項1から請求項4いずれかに記載の画像処理装置。
  6. 前記マッピング画像は、前記対象組織の機能を表した機能画像であることを特徴とする請求項1から請求項5いずれかに記載の画像処理装置。
  7. 被写体を表す三次元画像を構成するボクセルデータの各画素に少なくとも不透明度を割り当てられてなる第1のボクセルデータを用いて、前記被写体の一部を表すマッピング画像を生成する工程と、
    前記被写体を表す三次元画像を構成する第2のボクセルデータのうち少なくとも前記被写体の一部を含む対象の形態を表した形態画像を生成する工程と、
    前記マッピング画像と前記形態画像の各位置を対応させて、該各位置に対応する前記マッピング画像の不透明度に基づき、該マッピング画像の不透明度の値が大きいほど前記マッピング画像の輝度値の比率が高くなるように、前記形態画像の輝度値と前記マッピング画像の輝度値とをブレンドした輝度値を算出し、該ブレンドされた輝度値を用いてボリュームレンダリングを実行することにより疑似三次元画像を生成する工程とを備えることを特徴とする画像処理方法。
  8. コンピュータを、
    被写体を表す三次元画像を構成するボクセルデータの各画素に少なくとも不透明度を割り当てられてなる第1のボクセルデータを用いて、前記被写体の一部を表すマッピング画像を生成するマッピング画像生成手段と、
    前記被写体を表す三次元画像を構成する第2のボクセルデータのうち少なくとも前記被写体の一部を含む対象の形態を表した形態画像を生成する形態画像生成手段と、
    前記マッピング画像と前記形態画像の各位置を対応させて、該各位置に対応する前記マッピング画像の不透明度に基づき、該マッピング画像の不透明度の値が大きいほど前記マッピング画像の輝度値の比率が高くなるように、前記形態画像の輝度値と前記マッピング画像の輝度値とをブレンドした輝度値を算出し、該ブレンドされた輝度値を用いてボリュームレンダリングを実行することにより疑似三次元画像を生成する疑似三次元画像生成手段として機能させるプログラム。
JP2007105195A 2007-04-12 2007-04-12 三次元画像処理装置および方法並びにプログラム Active JP4709177B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007105195A JP4709177B2 (ja) 2007-04-12 2007-04-12 三次元画像処理装置および方法並びにプログラム
US12/100,942 US8497862B2 (en) 2007-04-12 2008-04-10 Method and apparatus for processing three dimensional images, and recording medium having a program for processing three dimensional images recorded therein
EP08007213A EP1988511A3 (en) 2007-04-12 2008-04-11 Method and apparatus for volume rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007105195A JP4709177B2 (ja) 2007-04-12 2007-04-12 三次元画像処理装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2008259696A JP2008259696A (ja) 2008-10-30
JP4709177B2 true JP4709177B2 (ja) 2011-06-22

Family

ID=39577275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007105195A Active JP4709177B2 (ja) 2007-04-12 2007-04-12 三次元画像処理装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US8497862B2 (ja)
EP (1) EP1988511A3 (ja)
JP (1) JP4709177B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523681B2 (ja) * 2007-07-05 2014-06-18 株式会社東芝 医用画像処理装置
US8131046B2 (en) * 2008-10-29 2012-03-06 Allegheny-Singer Research Institute Magnetic resonance imager using cylindrical offset region of excitation, and method
JP2010246777A (ja) * 2009-04-16 2010-11-04 Fujifilm Corp 医用画像処理装置および方法ならびにプログラム
US9295442B2 (en) * 2010-03-17 2016-03-29 FUJIFILM Corporation ko Medical image conversion apparatus, method and program
JP5551955B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム
JP5597429B2 (ja) 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP4937397B2 (ja) 2010-10-25 2012-05-23 富士フイルム株式会社 医用画像診断支援装置および方法、並びにプログラム
JP5660849B2 (ja) * 2010-10-26 2015-01-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置およびプログラム並びに画像診断装置
US9489764B2 (en) 2012-04-17 2016-11-08 Samsung Electronics Co., Ltd. Method of generating three-dimensional (3D) volumetric data
AU2014208382A1 (en) 2013-01-24 2015-07-23 Tylerton International Holdings Inc. Body structure imaging
JP6032610B2 (ja) * 2013-04-15 2016-11-30 富士通株式会社 表示処理プログラム、表示処理方法及び表示処理装置
EP3041569A4 (en) 2013-09-08 2017-07-19 Tylerton International Inc. Detection of reduced-control cardiac zones
JP6253970B2 (ja) * 2013-12-20 2017-12-27 東芝メディカルシステムズ株式会社 画像処理装置、超音波診断装置及び画像処理プログラム
CN106102583A (zh) 2014-01-10 2016-11-09 泰勒顿国际公司 瘢痕和纤维心脏区的检测
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
JP6635695B2 (ja) * 2014-07-16 2020-01-29 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置、及び画像処理方法
JP6526428B2 (ja) * 2015-01-27 2019-06-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法および医用画像診断装置
GB2542114B (en) * 2015-09-03 2018-06-27 Heartfelt Tech Limited Method and apparatus for determining volumetric data of a predetermined anatomical feature
US11043042B2 (en) * 2016-05-16 2021-06-22 Hewlett-Packard Development Company, L.P. Generating a shape profile for a 3D object
CN109643441B (zh) * 2016-08-30 2023-07-18 佳能株式会社 图像处理装置、图像处理方法、计算机可读取的存储介质、图像处理***
CN109069114B (zh) * 2017-02-16 2021-10-22 深圳迈瑞生物医疗电子股份有限公司 超声医学检测设备及成像方法、成像***、显示终端
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
JP6867629B2 (ja) * 2018-01-31 2021-04-28 株式会社Screenホールディングス 画像処理方法、プログラムおよび記録媒体
JP6556300B2 (ja) * 2018-06-26 2019-08-07 キヤノン株式会社 被検体情報取得装置、被検体情報取得方法およびプログラム
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
JP7469929B2 (ja) 2020-03-24 2024-04-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びx線撮影装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014446A (ja) * 1999-07-01 2001-01-19 Toshiba Iyo System Engineering Kk 医用画像処理装置
JP2004057411A (ja) * 2002-07-26 2004-02-26 Shiyougo Azemoto 医療用可視画像の生成方法
JP2005028121A (ja) * 2003-06-17 2005-02-03 Iyo Gazo Kenkyusho:Kk 呼吸気ct画像による換気分布計測方法
JP2005078176A (ja) * 2003-08-28 2005-03-24 Aze Ltd 複数画像間の非剛体レジストレーション方法
JP2006288495A (ja) * 2005-04-06 2006-10-26 Toshiba Corp 画像処理装置
JP2007503060A (ja) * 2003-08-18 2007-02-15 フォヴィア インコーポレイテッド 適応直接ボリュームレンダリングの方法及びシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
DE10141186A1 (de) * 2001-08-22 2003-03-20 Siemens Ag Einrichtung zum Bearbeiten von Bildern, insbesondere medizinischen Bildern
WO2003077202A1 (en) * 2002-03-06 2003-09-18 Siemens Corporate Research, Inc. Visualization of volume-volume fusion
DE10340544B4 (de) 2003-09-01 2006-08-03 Siemens Ag Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
US7616799B2 (en) * 2004-06-18 2009-11-10 Siemens Medical Solutions Usa, Inc. System and method for monitoring disease progression or response to therapy using multi-modal visualization
WO2006054194A2 (en) 2004-11-22 2006-05-26 Koninklijke Philips Electronics, N.V. Improved data representation for rtp
US7711162B2 (en) * 2005-01-27 2010-05-04 Siemens Medical Solutions Usa, Inc. Accelerated texture-based fusion renderer
US7439974B2 (en) * 2005-02-09 2008-10-21 Siemens Medical Solutions Usa, Inc. System and method for fast 3-dimensional data fusion
US20060239524A1 (en) 2005-03-31 2006-10-26 Vladimir Desh Dedicated display for processing and analyzing multi-modality cardiac data
US7259762B2 (en) * 2005-06-29 2007-08-21 General Electric Company Method and system for automatically transforming CT studies to a common reference frame
JP4267598B2 (ja) * 2005-07-11 2009-05-27 ザイオソフト株式会社 画像融合処理方法、画像融合処理プログラム、画像融合処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014446A (ja) * 1999-07-01 2001-01-19 Toshiba Iyo System Engineering Kk 医用画像処理装置
JP2004057411A (ja) * 2002-07-26 2004-02-26 Shiyougo Azemoto 医療用可視画像の生成方法
JP2005028121A (ja) * 2003-06-17 2005-02-03 Iyo Gazo Kenkyusho:Kk 呼吸気ct画像による換気分布計測方法
JP2007503060A (ja) * 2003-08-18 2007-02-15 フォヴィア インコーポレイテッド 適応直接ボリュームレンダリングの方法及びシステム
JP2005078176A (ja) * 2003-08-28 2005-03-24 Aze Ltd 複数画像間の非剛体レジストレーション方法
JP2006288495A (ja) * 2005-04-06 2006-10-26 Toshiba Corp 画像処理装置

Also Published As

Publication number Publication date
JP2008259696A (ja) 2008-10-30
US20090096787A1 (en) 2009-04-16
US8497862B2 (en) 2013-07-30
EP1988511A2 (en) 2008-11-05
EP1988511A3 (en) 2012-10-24

Similar Documents

Publication Publication Date Title
JP4709177B2 (ja) 三次元画像処理装置および方法並びにプログラム
JP4559501B2 (ja) 心機能表示装置、心機能表示方法およびそのプログラム
JP5430203B2 (ja) 画像処理装置、画像処理方法
CN101336844B (zh) 医用图像处理装置以及医用图像诊断装置
JP5591440B2 (ja) 医用画像表示装置
JP5538862B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20110245660A1 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
JP5631453B2 (ja) 画像処理装置、画像処理方法
JPH11164833A (ja) 医用画像診断装置
JP2006198060A (ja) 画像処理方法および画像処理プログラム
JP2008509773A (ja) フレキシブル3次元回転血管造影−コンピュータ断層撮影融合方法
JP2010530777A (ja) 超音波撮像システムの二次元表示上で三次元ボリューム画像をラベリングするシステム及び方法
US20200020127A1 (en) Examination support device, examination support method, and examination support program
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
JP4996128B2 (ja) 医用画像処理装置及び医用画像処理方法
JP2006000127A (ja) 画像処理方法および装置並びにプログラム
JP5383467B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP6487999B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2019058657A1 (ja) 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム
US7943892B2 (en) Projection image generation apparatus, method for generating projection image of moving target, and program
JP5709957B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
CN110546684B (zh) 时变数据的定量评估
JP2013048688A (ja) 画像処理装置、画像処理方法及びプログラム
Ford et al. Heartpad: real-time visual guidance for cardiac ultrasound
JP5751993B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100203

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100203

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110317

R150 Certificate of patent or registration of utility model

Ref document number: 4709177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250