JP5755122B2 - 画像処理装置、方法、及びプログラム - Google Patents

画像処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP5755122B2
JP5755122B2 JP2011261885A JP2011261885A JP5755122B2 JP 5755122 B2 JP5755122 B2 JP 5755122B2 JP 2011261885 A JP2011261885 A JP 2011261885A JP 2011261885 A JP2011261885 A JP 2011261885A JP 5755122 B2 JP5755122 B2 JP 5755122B2
Authority
JP
Japan
Prior art keywords
pixel value
viewpoint
opacity
image
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011261885A
Other languages
English (en)
Other versions
JP2013111359A (ja
Inventor
努 井上
努 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011261885A priority Critical patent/JP5755122B2/ja
Priority to PCT/JP2012/007616 priority patent/WO2013080527A1/ja
Priority to EP12854188.5A priority patent/EP2786707B1/en
Publication of JP2013111359A publication Critical patent/JP2013111359A/ja
Priority to US14/289,542 priority patent/US9530238B2/en
Application granted granted Critical
Publication of JP5755122B2 publication Critical patent/JP5755122B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、管腔臓器を表す3次元画像から仮想内視鏡画像を生成する画像処理装置、方法、及びプログラムに関する。
近年、マルチスライスCT等のモダリティの進歩に伴い、被検体を表す高画質の3次元画像が得られるようになってきた。これに伴い、擬似3次元的な画像を生成する医用画像処理技術の開発も進められている。仮想内視鏡表示法はその一例である。仮想内視鏡表示法とは、管腔の内部に視点を設定し、その視点に基づいて透視投影画像を生成し表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することが可能である。
仮想内視鏡画像の生成手法としてはボリュームレンダリング法が知られている。ボリュームレンダリング法は、3次元画像に対して不透明度や色度を割り当て、レイキャスティングを行うことで可視化を行う手法である。このボリュームレンダリング法により仮想内視鏡画像を生成する際には、視点がおかれる内腔に該当する部分に不透明度「0」が割り当てられ、壁に該当する部分に不透明度「1」が割り当てられるように、画素値と不透明度との関係を表すオパシティーカーブを適切に設定することが必要である。
ところで、観察対象の管腔器官が気管支や血管などである場合、管腔の構造として末端にいくほど徐々に細くなり、管腔の根元の部分と末端の部分とでは画素値が大きく異なる。このため、根元の部分と末端の部分とで同一のオパシティーカーブを用いて仮想内視鏡画像を生成すると、根元の部分では管腔の内壁を表示できても、末端の部分では内壁を表示することができなくなるという問題がある。
この問題を解決するため、特許文献1では、視点位置を順次に変更しながら仮想内視鏡画像の生成し表示する際に、変更前の視点位置の周辺領域における画素値のヒストグラムを画素値を変数vとしてHD(v)とし、変更後の視点位置の周辺領域における画素値のヒストグラムをHn(v)としたとき、HD(v−x)で表わされるヒストグラムとヒストグラムHn(v)との類似度をxの値を変化させつつ計算し、類似度が最大となるときのxの値を移動量mとして決定し、変更前の視点位置でのオパシティーカーブOD(v)を移動量mだけ移動させてなるオパシティーカーブO(v)(=OD(v−m))を変更後の視点位置でのオパシティーカーブとして設定することが提案されている。
特開2011−212219号公報
しかしながら、上記視点位置の周辺領域における画素値のヒストグラムには、視点位置の周辺領域に位置する全ての領域、すなわち視点位置の周辺領域に位置する管腔臓器の内腔領域と壁領域および視点位置の周辺領域に位置するその他の領域における画素値の分布が全てひっくるめて表されているため、このヒストグラムからは内腔領域における画素値の範囲と壁領域における画素値の範囲の境界を正確に求めることは困難である。このため、このヒストグラムに基づいてオパシティーカーブを設定する上記特許文献1の方法では、内腔領域に不透明度「0」が割り当てられ、壁領域に不透明度「1」が割り当てられるような適切なオパシティーカーブを設定することができないという問題がある。この問題は特に内腔領域と壁領域の画素値の差が小さい場合に顕著となる。
本発明は、上記事情に鑑み、管腔臓器を表す3次元画像から仮想内視鏡画像を生成する際に、視点ごとにその位置における管腔臓器の観察に適したオパシティーカーブを設定することができる画像処理装置、方法およびプログラムを提供することを目的とするものである。
本発明の画像処理装置は、管腔臓器を表す3次元画像から仮想内視鏡画像を生成する画像処理装置であって、3次元画像において、予め設定された視点の近傍に所定の範囲を設定し、その設定された範囲内にある管腔臓器の内腔領域と壁領域をそれぞれ特定する領域特定手段と、特定された内腔領域における画素値情報と特定された壁領域における画素値情報に基づいて、特定された内腔領域における画素値の範囲と特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、前記設定された視点およびオパシティーカーブを用いて、3次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段とを備えたことを特徴とする。
この画像処理装置において、前記所定の範囲は、設定された視点、観察方向、および視野角に基づいて決められた視野範囲であってもよいし、設定された視点を中心とした一定の距離内の領域であってもよい。
また、オパシティーカーブ設定手段は、内腔領域における画素値の範囲と壁領域における画素値の範囲が重なっている場合に、その重なっている値または区間を前記境界となる画素値または画素値区間として求めるものであってもよいし、内腔領域のヒストグラムにおいて縦軸の画素数が最大となる画素値(最大画素値)と壁領域のヒストグラムにおいて縦軸の画素数が最大となる画素値(最大画素値)とを求め、それらの最大画素値に基づいて内腔領域における画素値の範囲と壁領域における画素値の範囲の境界となる画素値または画素値区間を求めるものであってもよい。
また、オパシティーカーブ設定手段は、前記画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に徐々に変化するようなオパシティーカーブを設定するものであってもよいし、その画素値区間内のある一点を境に透明状態を表す値から不透明状態を表す値にステップ状に変化するようなオパシティーカーブを設定するものであってもよい。
また、オパシティーカーブ設定手段は、内腔領域における画素値の範囲と壁領域における画素値の範囲が重なっている画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に徐々に変化するようなオパシティーカーブを設定する場合に、その重なっている画素値区間における、内腔領域における画素値のヒストグラムと壁領域における画素値のヒストグラムの形に基づいて、その画素値区間内の各点におけるオパシティーカーブの傾きを決定するものであってもよい。
また、オパシティーカーブ設定手段は、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値をその距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであってもよい。
ここで、基準となる視点は、所定の初期視点であってもよいし、視点の位置を変更したときの変更前の視点であってもよい。
また、上記画像処理装置は、前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記3次元画像から前記管腔臓器を表すCPR画像を生成するCPR画像生成手段をさらに備えたものであってもよい。
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも1台のコンピュータにより実行する方法である。
本発明の画像処理プログラムは、上記画像処理方法を少なくとも1台のコンピュータに実行させるプログラムである。このプログラムは、CD−ROM,DVDなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
本発明の画像処理装置、方法およびプログラムでは、管腔臓器を表す3次元画像から仮想内視鏡画像を生成する際に、3次元画像において、予め設定された視点の近傍に所定の範囲を設定し、その設定された範囲内にある管腔臓器の内腔領域と壁領域をそれぞれ特定し、特定された内腔領域における画素値情報と特定された壁領域における画素値情報に基づいて、特定された内腔領域における画素値の範囲と特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定し、前記設定された視点およびオパシティーカーブを用いて、3次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する。このようにすることで、視点ごとにその近傍における、内腔領域における画素値の範囲と壁領域における画素値の範囲の境界を正確に求めることができ、その視点位置における管腔臓器の観察に適したオパシティーカーブを設定することができる。
上記本発明の画像処理装置、方法およびプログラムにおいて、前記所定の範囲が、設定された視点、観察方向、および視野角に基づいて決められた視野範囲である場合には、仮想内視鏡画像による表示の対象領域における画素値情報に依存したオパシティーカーブを設定することができ、管腔臓器の観察により適した仮想内視鏡画像を提供することができる。
また、オパシティーカーブの設定処理が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値をその距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものである場合には、視点位置を順次に変更しながら仮想内視鏡画像の生成し表示する際に、表示される画像間の繋がりを滑らかにでき、管腔臓器の観察により適した仮想内視鏡画像を提供することができる。
本発明の実施の形態に係る画像処理装置の概略構成を示す図 ディスプレイに表示される気管支領域を表す画像の一例を示す図 視野範囲内にある気管支の内腔領域と壁領域を示す図 内腔領域および壁領域のヒストグラムに基づくオパシティーカーブの設定方法を説明するための図 設定された視点と基準となる視点との間の芯線に沿った距離を示す図 基準となる視点におけるオパシティーカーブを考慮したオパシティーカーブの設定方法を説明するための図(その1) 基準となる視点におけるオパシティーカーブを考慮したオパシティーカーブの設定方法を説明するための図(その2) 表示制御手段によりディスプレイに表示される表示画面の一例を示す図
以下、本発明の画像処理装置、方法、及びプログラムの実施形態について説明する。図1に、コンピュータに、本発明の画像処理プログラムをインストールすることにより実現された画像処理装置1の概略構成を示す。画像処理装置1は、標準的なコンピュータの構成として、プロセッサおよびメモリを備え、さらに、HDDやSSD等のストレージ2を備えている。また、画像処理装置1には、ディスプレイ3と、マウス、キーボード等の入力装置4が接続されている。
画像処理プログラムと画像処理プログラムが参照する各種データは、インストール時にストレージ2に記憶され、起動時にメモリにロードされる。画像処理プログラムは、CPUに実行させる処理として、視点設定処理、観察方向・視野角設定処理、領域特定処理、オパシティーカーブ設定処理、仮想内視鏡画像生成処理、ウインドウレベル(WL)・ウインドウ幅(WW)設定処理、CPR画像生成処理および表示制御処理を規定している。そして、プログラムの規定にしたがって、CPUが上記各処理を実行することにより、汎用のワークステーションは、視点設定部11、観察方向・視野角設定部12、領域特定部13、オパシティーカーブ設定部14、仮想内視鏡画像生成部15、WL・WW設定部16、CPR画像生成部17および表示制御部18として機能する。
ストレージ2には、撮影を担当する検査部門から転送された3次元画像V(ボリュームデータ)、もしくはデータベース検索により取得された3次元画像Vが記憶される。3次元画像Vは、マルチスキャンCT装置等から直接出力された3次元画像でもよいし、従来型のCT装置等から出力された2次元のスライスデータ群を再構成することにより生成された3次元画像でもよい。
画像処理装置1は、患者の識別子や検査日等の3次元画像の特定に必要な情報を選択または入力するユーザの操作に応じて、ストレージ2に記憶されている複数の3次元画像の中から該当する3次元画像Vが特定し、その3次元画像Vをストレージ2からメモリにロードし、以下に説明する処理を実行する。ここでは、気管支等を表す3次元画像Vがメモリにロードされているものとする。
視点設定部11は、上記3次元画像V上に仮想内視鏡画像の視点VPを設定する。具体的には、領域拡張法等の公知の手法によって抽出した気管支領域を表す2値化画像に対して3次元の細線化処理を行うことにより気管支の中心部を通る線(以下、芯線という)を抽出し、例えば図2に示すような、抽出された気管支領域5(或いは気管支領域と芯線)を表す画像41をディスプレイ3に表示させ、気管支領域5上の任意の位置を指定するユーザの操作に応じて、その指定された位置に対応する芯線CL上の位置を視点VPとして設定する。
また、視点設定部11は、視点VPを移動させるためのユーザの操作を受け付けた場合は、その操作により指定された変更後の位置に視点VPを設定する。この視点VPを移動させるための操作は、入力装置4のマウスのホイール操作や、キーボードの上下矢印キーの押下等とすることができる。ここで、視点VPの移動方向は、例えば、前進方向のホイール操作や上向き矢印キーの押下の場合には、後述する観察方向DOと同じ向き(前進)とし、後退方向のホイール操作や下向き矢印キーの押下の場合には、観察方向DOと反対向き(後退)とすることができる。
観察方向・視野角設定部12は、前記抽出された芯線に沿った気管支の観察方向DOを設定するとともに、仮想内視鏡画像の視野角VAを設定する。具体的には、芯線の連結関係に基づいて芯線上の各画素を端点、エッジ(辺)および分岐点に分類することによって、気管支を表す木構造データを得、その木構造の起始部および末梢部のいずれか一方の側(例えば起始部側)の端点を始点、もう一方の端点を終点とし、芯線に沿って始点から終点に向かう方向を観察方向DOとして設定する。また、予め設定されてストレージ2に記憶されている視野角のデフォルト値ω(例えば120度)、或いは視野角の値を直接選択または入力するユーザの操作があった場合には、その選択または入力された値ωを視野角VAとして設定する。
領域特定部13は、上記3次元画像Vにおいて、前記設定された視点VP、観察方向DO、および視野角VAに基づいて仮想内視鏡画像の視野範囲VRを取得し、該取得された視野範囲VR内にある気管支の内腔領域LRと壁領域WRをそれぞれ特定する。ここでは、視野範囲VRは、図3に示すような、視点VPを頂点として、観察方向DOを中心に視野角VAの角度(ω)で扇状に広がる所定大きさの範囲とする。
具体的には、3次元画像Vの全体における気管支の内腔領域5a(以下、全体内腔領域という)と壁領域5b(以下、全体壁領域という)を、Benjamin L. Odrya, Atilla P. Kiralya, Greg G. Slabaugha, Carol L. Novaka, David P. Naidichb and Jean-Francois Lerallutc, “Active contour approach for accurate quantitative aiWRay analysis,” Medical Imaging 2008: Physiology, Function, and Structure from Medical Images. Proceedings of SPIE - Int'l. Society for Optical Engineering. Vol. 6916, p. 691613. February 2008.に記載された領域抽出法を用いてそれぞれ抽出し、抽出された全体内腔領域5aが視野範囲VRと重なる部分を内腔領域LRとし、抽出された全体壁領域5bが視野範囲VRと重なる部分を壁領域WRとする(図3参照)。
なお、上記文献においてBenjaminらは、3次元画像を気管支の芯線に沿って切断した断面画像において、気管支の中央部から所定の距離(内腔径の1/2程度)だけ離れた位置に第1の初期曲線を設定し、その第1の初期曲線を予め設定された所定のエネルギー関数を最小とするように修正し、その修正後の曲線を気管支の内腔と気管支の壁との境界を表す曲線とし、さらに、その修正後の曲線から所定の距離(壁厚程度)だけ離れた位置に第2の初期曲線を設定し、その第2の初期曲線を予め設定された所定のエネルギー関数を最小とするように修正し、その修正後の曲線を気管支の壁と気管支外の部分との境界を表す曲線とすることによって、3次元画像の全体を気管支の内腔領域(全体内腔領域)、壁領域(全体壁領域)およびそれ以外の領域の3つの領域に分割する方法を提案している。
オパシティーカーブ設定部14は、前記特定された内腔領域LRおよび壁領域WRにおける画素値の分布をそれぞれ取得し、それらの画素値の分布に基づいて、後述する仮想内視鏡画像の生成に用いられるオパシティーカーブCを設定する。具体的には、内腔領域LRにおける画素値の範囲と壁領域WRにおける画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するオパシティーカーブCを設定する
例えば、図4の最上図のグラフに示すように、内腔領域LRにおける画素値のヒストグラムHlと壁領域WRにおける画素値のヒストグラムHwが画素値区間[a,b]で重なっている場合に、画素値区間[a,b]において不透明度が「0」から「0」以外の値(たとえば「1」)に変化するオパシティーカーブCを設定する。たとえば図4(a)のグラフに示すような、画素値区間[a,b]において不透明度が「0」から「1」の値に直線的に変化するオパシティーカーブC1を設定する。
なお、このオパシティーカーブC1の代えて、図4(b)のグラフに示すような、画素値区間[a,b]において不透明度が「0」から「1」の値に曲線的に変化するものオパシティーカーブC2、または、図4の(c)のグラフに示すような、画素値区間[a,b]内のある一点を境に不透明度「0」から不透明度「1」にステップ状に変化するオパシティーカーブC3を設定してもよい。
また、オパシティーカーブ設定部14は、基準となる視点VPkおよびその視点VPkにおけるオパシティーカーブCkを予めメモリに記憶しておき、視点設定部11により設定された視点VPと基準となる視点VPkとの間の芯線CL(気管支の走行方向)に沿った距離d(図5参照)を用いて、不透明度の許容変化値kを設定し、視点VPにおけるオパシティーカーブCと基準となる視点VPkにおけるオパシティーカーブCkの同じ画素値に対応付けられている不透明度同士の差bが許容変化値kを超えないように、視点VPにおけるオパシティーカーブCを設定する機能を有する。ここで、不透明度の許容変化値kは、距離dが近いほど小さい値となるように設定される。
基準となる視点VPkは、例えば視点設定部14が視点の位置を変更したときの変更前の視点とすることができる。この場合、オパシティーカーブ設定部14は、視点設定部14が視点を変更するたびに、変更前の視点およびその視点におけるオパシティーカーブがメモリに記憶されるように構成される。なお、所定の初期視点を基準となる視点VPkとすることもできる。
たとえば、まず、図6の上図に示すように、不透明度のとり得る値の範囲[0,1]内で、視点VPkにおけるオパシティーカーブCkから不透明度の軸方向(図6では上下方向)に許容変化値kの幅を有する許容範囲Aを求める。ここでは、オパシティーカーブCkは、画素値区間[a1,b1]において不透明度が「0」から「1」の値に直線的に変化するものとする。そして、図6の下図に示すように、その求められた許容範囲Aに収まるように定められたオパシティーカーブC1を、視点VPにおけるオパシティーカーブCとして設定する。ここで、オパシティーカーブC1は、画素値区間[a2,b2]において不透明度が「0」から「1」の値に直線的に変化するものであって、そのカーブが許容範囲Aに収まるように、画素値区間[a2,b2]におけるカーブの傾きが定められたものである。
オパシティーカーブ設定部14は、上述した方法の他、ひとまず視点VPにおける仮のオパシティーカーブC2を、基準となる視点VPkにおけるオパシティーカーブCkを考慮することなく作成した上で、その作成されたオパシティーカーブC2と視点VPkにおけるオパシティーカーブCkの同じ画素値に対応付けられている不透明度同士の差bが許容変化値kを超える部分が存在するか否かを判定し、超える部分が存在しないと判定された場合にはそのままのオパシティーカーブC2を、超える部分が存在すると判定された場合にはその差bが許容変化値k以下となるようにオパシティーカーブCi2を修正してなる修正後のオパシティーカーブC2´を、視点VPにおけるオパシティーカーブCとして設定するものであってもよい。
たとえば、図7の上図に示すように、視点VPにおける仮のオパシティーカーブとして、画素値区間[a2,b2]において不透明度が「0」から「1」の値に直線的に変化するオパシティーカーブC2を作成し、その作成されたオパシティーカーブC2と視点VPkにおけるオパシティーカーブCkの同じ画素値に対応付けられている不透明度同士の差bが許容変化値kを超える部分が存在するか否かを判定する。ここでは、オパシティーカーブC2は、画素値区間[ca,cb]において、オパシティーカーブCkとの間で同じ画素値に対応付けられている不透明度同士の差bが許容変化値kを超えていると判定され、図7の下図に示すように、その差bが許容変化値k以下となるようにオパシティーカーブC2を修正してなる修正後のオパシティーカーブC2´を、視点VPにおけるオパシティーカーブCとして設定する。
仮想内視鏡画像生成部15は、前記設定された視点VP、観察方向VO、視野角VAおよび前記設定されたオパシティーカーブCを用いて、3次元画像Vからボリュームレンダリングにより仮想内視鏡画像VEを生成する。
WL・WW設定部16は、前記取得された視野範囲VRにおける画素値の分布を取得し、その画素値の分布に基づいて、後述するCPR画像の生成に用いられるウインドウレベルWLおよびウインドウ幅WWを設定する。たとえば、視野範囲VRにおける画素値の範囲の中心値をウインドウレベルWLとして設定し、その画素値の範囲の幅の1/2をウインドウ幅WWとして設定する。
CPR画像生成部17は、前記設定されたウインドウレベルWLおよびウインドウ幅WWを用いて、3次元画像Vから、気管支をその芯線に沿って切断した切断面の画像CP(CPR画像)生成し表示する。CPR画像には、切断面を2次元平面画像として表示する際の手法別に、投影CPR画像、伸張CPR画像、ストレートCPR画像の3種類がある。
表示制御部18は、ディスプレイ3における各種表示を制御するものであって、たとえば、仮想内視鏡画像生成部15により生成された仮想内視鏡画像VEを表示させる。或いは、仮想内視鏡画像VEとCPR画像生成部17により生成されたCPR画像CPとを同時に表示するようにしてもよい。ここで、具体的な表示態様としては、図8に示したように両画像を並べて表示する態様42が挙げられる。
また、視点設定部11により設定された視点VPに対応する各視点において、視野範囲VRに対応する各視野範囲内の気管支の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得するようにし、表示制御部18が、上記仮想内視鏡画像VEと実内視鏡画像とを同時に表示するようにしてもよい。
以上のように、本発明の実施形態によれば、管腔臓器を表す3次元画像から仮想内視鏡画像を生成するに際して、領域特定部13が、視点設定部11および観察方向・視野角設定部12により設定された視点VP、観察方向DO、および視野角VAに基づいて仮想内視鏡画像の視野範囲VRを取得し、該取得された視野範囲VR内にある気管支の内腔領域LRと壁領域WRをそれぞれ特定し、オパシティーカーブ設定部14が、内腔領域LRにおける画素値のヒストグラムHlと壁領域WRにおける画素値のヒストグラムHwに基づいて、内腔領域LRにおける画素値の範囲と壁領域WRにおける画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が「0」から「1」の値に変化するように、画素値と不透明度との関係を表すオパシティーカーブCを設定し、仮想内視鏡画像生成部15が、設定された視点VPおよびオパシティーカーブCを用いて、3次元画像Vからボリュームレンダリングにより仮想内視鏡画像VEを生成する。これにより、視点VPごとにその近傍における、内腔領域LRにおける画素値の範囲と壁領域WRにおける画素値の範囲の境界を正確に求めることができ、その視点VPにおける気管支の観察に適したオパシティーカーブCを設定し、仮想内視鏡画像VEを生成することができる。
上記実施形態では、視点が芯線上にあるとして説明したが、視点は必ずしも芯線上になくてもよい。オパシティーカーブ設定部14は、視点設定部11により設定された視点VPおよび基準となる視点VPkのいずれか一方または両方が芯線上に存在しない場合には、その芯線上に存在しない点に最も近い芯線上の対応点を求め、対応点の位置をその点の気管支内での位置として、前記視点VPと視点VPkとの間の芯線に沿った距離dを求めてもよい。
また、上記実施形態では、領域特定部13が、Benjaminらが提案する領域抽出法を用いて3次元画像Vの全体における気管支の内腔領域と壁領域をそれぞれ抽出するものである場合について説明したが、領域拡張法、グラフカット法などの他の公知の領域抽出方法によりそれらの領域を抽出するものであってもよい。
また、上記実施形態では、管腔構造として気管支を例にしたが、胃、気管、大腸等を対象とすることもできる。
1 画像処理装置
2 ストレージ
3 ディスプレイ
4 入力装置
5 気管支領域
11 視点設定部
12 観察方向・視野角設定部
13 領域特定部
14 オパシティーカーブ設定部
15 仮想内視鏡画像生成部
16 WL・WW設定部
17 CPR画像生成部
18 表示制御部
C オパシティーカーブ
CL 芯線
CP CPR画像
DO 観察方向
k 許容変位値
LR 内腔領域
VA 視野角
VE 仮想内視鏡画像
VP 視点
VR 視野範囲
WR 壁領域

Claims (10)

  1. 管腔臓器を表す3次元画像から仮想内視鏡画像を生成する画像処理装置であって、
    前記3次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する領域特定手段と、
    前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、
    前記設定された視点および前記設定されたオパシティーカーブを用いて、前記3次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段と
    を備えたことを特徴とする画像処理装置。
  2. 前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項1記載の画像処理装置。
  3. 前記オパシティーカーブ設定手段が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の前記管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値を前記距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであることを特徴とする請求項1または2記載の画像処理装置。
  4. 前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記3次元画像から前記管腔臓器を表すCPR画像を生成するCPR画像生成手段をさらに備えたことを特徴とする請求項1から3のいずれか1項記載の画像処理装置。
  5. 管腔臓器を表す3次元画像から仮想内視鏡画像を生成する画像処理方法であって、
    前記3次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する処理と、
    前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定する処理と、
    前記設定された視点および前記設定されたオパシティーカーブを用いて、前記3次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する処理と
    を少なくとも1台のコンピュータにより実行することを特徴とする画像処理方法。
  6. 前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項5記載の画像処理方法。
  7. 前記オパシティーカーブの設定処理が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の前記管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値を前記距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであることを特徴とする請求項5または6記載の画像処理方法。
  8. 前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記3次元画像から前記管腔臓器を表すCPR画像を生成する処理を
    さらに実行することを特徴とする請求項5から7のいずれか1項記載の画像処理方法。
  9. 管腔臓器を表す3次元画像から仮想内視鏡画像を生成するための画像処理プログラムであって、
    コンピュータを、
    前記3次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する領域特定手段と、
    前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、
    前記設定された視点および前記設定されたオパシティーカーブを用いて、前記3次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段として機能させるための画像処理プログラム。
  10. 前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項9記載の画像処理プログラム。
JP2011261885A 2011-11-30 2011-11-30 画像処理装置、方法、及びプログラム Expired - Fee Related JP5755122B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011261885A JP5755122B2 (ja) 2011-11-30 2011-11-30 画像処理装置、方法、及びプログラム
PCT/JP2012/007616 WO2013080527A1 (ja) 2011-11-30 2012-11-28 画像処理装置、方法、及びプログラム
EP12854188.5A EP2786707B1 (en) 2011-11-30 2012-11-28 Image processing device, method, and program
US14/289,542 US9530238B2 (en) 2011-11-30 2014-05-28 Image processing apparatus, method and program utilizing an opacity curve for endoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011261885A JP5755122B2 (ja) 2011-11-30 2011-11-30 画像処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013111359A JP2013111359A (ja) 2013-06-10
JP5755122B2 true JP5755122B2 (ja) 2015-07-29

Family

ID=48535021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011261885A Expired - Fee Related JP5755122B2 (ja) 2011-11-30 2011-11-30 画像処理装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US9530238B2 (ja)
EP (1) EP2786707B1 (ja)
JP (1) JP5755122B2 (ja)
WO (1) WO2013080527A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
JP6687393B2 (ja) 2015-04-14 2020-04-22 キヤノンメディカルシステムズ株式会社 医用画像診断装置
CN104887316A (zh) * 2015-04-24 2015-09-09 长春理工大学 基于主动立体显示技术的虚拟立体内窥镜显示方法
US10639105B2 (en) * 2017-11-29 2020-05-05 Canon Medical Systems Corporation Navigation apparatus and method
JP7206617B2 (ja) * 2018-04-12 2023-01-18 大日本印刷株式会社 断層画像表示用カラーマップの最適化装置およびボリュームレンダリング装置
JP2020096728A (ja) * 2018-12-18 2020-06-25 大日本印刷株式会社 ピクセル画像に基づいて所定の選択条件を満たすボクセルを選択するための装置、方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19842239A1 (de) * 1998-09-15 2000-03-16 Siemens Ag Medizintechnische Einrichtung
US7417636B2 (en) * 2003-05-08 2008-08-26 Siemens Medical Solutions Usa, Inc. Method and apparatus for automatic setting of rendering parameter for virtual endoscopy
US20050148848A1 (en) * 2003-11-03 2005-07-07 Bracco Imaging, S.P.A. Stereo display of tube-like structures and improved techniques therefor ("stereo display")
US8021300B2 (en) * 2004-06-16 2011-09-20 Siemens Medical Solutions Usa, Inc. Three-dimensional fly-through systems and methods using ultrasound data
DE602005024159D1 (de) * 2004-06-23 2010-11-25 Koninkl Philips Electronics Nv Virtuelle endoskopie
JP2006055402A (ja) * 2004-08-20 2006-03-02 Konica Minolta Medical & Graphic Inc 画像処理装置、画像処理方法及び画像処理プログラム
JP2007044121A (ja) * 2005-08-08 2007-02-22 Hitachi Medical Corp 医用画像表示方法及び装置
JP5433240B2 (ja) * 2009-01-21 2014-03-05 株式会社東芝 超音波診断装置及び画像表示装置
JP2010284313A (ja) * 2009-06-11 2010-12-24 Toshiba Corp 画像表示装置、画像表示方法及びx線ct装置
JP5551955B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム

Also Published As

Publication number Publication date
EP2786707B1 (en) 2016-10-19
JP2013111359A (ja) 2013-06-10
WO2013080527A1 (ja) 2013-06-06
US9530238B2 (en) 2016-12-27
EP2786707A4 (en) 2015-07-29
US20140267269A1 (en) 2014-09-18
EP2786707A1 (en) 2014-10-08

Similar Documents

Publication Publication Date Title
JP5755122B2 (ja) 画像処理装置、方法、及びプログラム
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
US9449247B2 (en) Contour correction device, method, and program
JP4891541B2 (ja) 血管狭窄率解析システム
RU2711140C2 (ru) Редактирование медицинских изображений
JP6353827B2 (ja) 画像処理装置
JP2016514533A (ja) インタラクティブな経過観察の可視化
US20120026162A1 (en) Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method
JP2012014360A (ja) 領域データ編集装置、領域データ編集方法、プログラム、及び、記録媒体
JP6040193B2 (ja) 3次元方向設定装置および方法並びにプログラム
JP2011125567A (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
KR102175162B1 (ko) 볼륨 렌더링 장치 및 그 동작방법
JP2015515296A (ja) 対象物の画像情報の提供
JP2013089228A (ja) 病変修正装置及び方法
Mirhosseini et al. Benefits of 3D immersion for virtual colonoscopy
JP6571687B2 (ja) 画像処理装置及び画像処理方法
JP4685826B2 (ja) 投影画像生成装置、方法、およびプログラム
US20150363054A1 (en) Medical image display apparatus, method for controlling the same
US9558561B2 (en) Semiautomatic drawing tool for image segmentation
JP5932406B2 (ja) 医用画像処理装置および方法、並びにプログラム
US20230252629A1 (en) Dynamic Layout Optimization of Annotation Labels in Volume Rendering
US20160157726A1 (en) Projection image generating device, method and program
JP5701208B2 (ja) 医用画像表示装置及び医用画像表示方法
JP5582787B2 (ja) 医用画像の表示装置及び表示方法
JP5105584B2 (ja) 対象領域表示装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150526

R150 Certificate of patent or registration of utility model

Ref document number: 5755122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees