JP5670945B2 - 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 - Google Patents

画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 Download PDF

Info

Publication number
JP5670945B2
JP5670945B2 JP2012084143A JP2012084143A JP5670945B2 JP 5670945 B2 JP5670945 B2 JP 5670945B2 JP 2012084143 A JP2012084143 A JP 2012084143A JP 2012084143 A JP2012084143 A JP 2012084143A JP 5670945 B2 JP5670945 B2 JP 5670945B2
Authority
JP
Japan
Prior art keywords
image
volume data
unit
depth
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012084143A
Other languages
English (en)
Other versions
JP2013214884A (ja
Inventor
快行 爰島
快行 爰島
大介 平川
大介 平川
徳裕 中村
徳裕 中村
三田 雄志
雄志 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012084143A priority Critical patent/JP5670945B2/ja
Priority to US13/710,552 priority patent/US20130257870A1/en
Publication of JP2013214884A publication Critical patent/JP2013214884A/ja
Application granted granted Critical
Publication of JP5670945B2 publication Critical patent/JP5670945B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。
近年、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置などの医用画像診断装置の分野では、3次元の医用画像(ボリュームデータ)を生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されており、近年、ボリュームデータを複数の視点からレンダリングして視差画像を生成し、立体画像表示装置に立体的に表示することが検討されている。
立体画像表示装置に効果的にボリュームデータを表示するためには、ボリュームデータの飛び出し量を適切な範囲内に収めるようコントロールすることが重要になる。飛び出し量は視差量を変えることによってコントロールできる。ボリュームデータのレンダリングのように表示対象物をCGとして描画する場合、視差量を変えるにはカメラ間隔を変えればよい。カメラ間隔を広げると視差量が大きくなり、狭めると視差量が小さくなる。しかし、カメラ間隔と飛び出し量の関係は立体画像表示装置のハードウェア仕様によって異なるため、カメラ間隔によって飛び出し量を調節する方法は汎用的でなく、直感的でなかった。
そこで、従来においては、バウンダリボックスと呼ぶインタフェースを介して直感的に飛び出し量をコントロールする技術が知られている。バウンダリボックスはCGの仮想空間において立体画像表示装置に再現したい領域を表す。バウンダリボックスを仮想空間に配置すると、バウンダリボックス内部の領域が立体画像表示装置に再現されるように、適切な台数のカメラが適切な間隔で自動的に配置される。そして、バウンダリボックスの奥行き範囲を広げるとカメラ間隔が狭まり、飛び出し量が小さくなる。反対に、バウンダリボックスの奥行き範囲を狭めるとカメラ間隔が広がり、飛び出し量が大きくなる。このように、バウンダリボックスの奥行き範囲を変えることで表示対象物の飛び出し量をコントロールすることができる。
特開2007−96951号公報
しかしながら、上記従来技術においては、バウンダリボックス中央の断面が最も精細度(表示パネルの画素から出射される光線の密度)が高く、手前側の面と奥側の面が精細度の下限に相当することは把握できるものの、手前側の面から奥側の面へと向かう奥行き方向において精細度は非線形に変化するので、バウンダリボックス内部の任意の位置(言い換えればバウンダリボックスの奥行き方向の任意の位置)の精細度を把握することは困難である。本発明が解決しようとする課題は、ボリュームデータが立体表示される場合に、ボリュームデータの奥行き方向の任意の位置がどの程度の精細度で表示されるのかを把握することが可能な画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラムを提供することである。
実施形態の画像処理装置は、取得部と重畳画像生成部とを備える。取得部は、3次元の医用画像のボリュームデータを取得する。重畳画像生成部は、ボリュームデータを複数の視点からレンダリングした視差画像が立体画像として表示される場合における、立体画像の奥行き方向の位置と立体画像の精細度との関係を示す光線情報を、ボリュームデータの奥行き方向全体を観察可能な奥行き視点からボリュームデータをレンダリングした奥行き画像に重畳した重畳画像を生成する。
実施形態の画像表示システムの構成例を示す図。 実施形態のボリュームデータの一例を説明するための図。 実施形態の立体画像表示装置の構成例を示す図。 実施形態の表示部を示す模式図。 実施形態の表示部を示す模式図。 実施形態のボリュームデータが立体表示される場合の模式図。 第1実施形態の画像処理部の構成例を示す図。 実施形態のボリュームデータをレンダリングする場合の概念図。 第1実施形態の重畳画像生成部の詳細な構成例を示す図。 実施形態の第1の視点と奥行き視点の一例を示す図。 実施形態の奥行き画像の一例を示す図。 実施形態の重畳画像の一例を示す図。 実施形態の各視差画像と重畳画像とが結合される様子を示す概念図。 第1実施形態の立体画像表示装置の動作例を示すフローチャート。 変形例の画像処理部の構成例を示す図。 変形例の立体画像表示装置の動作例を示すフローチャート。 第2実施形態の画像処理部の構成例を示す図。 第2実施形態の重畳画像生成部の詳細な構成例を示す図。 第2実施形態の許容線が重畳画像に重畳された画像の例を示す図。 第2実施形態の立体画像表示装置の動作例を示すフローチャート。 変形例の立体画像表示装置の動作例を示すフローチャート。 第3実施形態の画像処理部の構成例を示す図。 第3実施形態の断面画像を参照して注目点を指定する場合の概念図。 第3実施形態の座標系の一例を示す図。 第3実施形態の複数の視点が平行移動する様子を示す概念図。 第3実施形態の注目領域の設定に伴って変更される画像の例を示す図。 第3実施形態の注目領域の表示位置の設定例を示す図。 第3実施形態の注目断面の一例を示す図。 第3実施形態の立体画像表示装置の動作例を示すフローチャート。
以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施の形態を詳細に説明する。
(第1実施形態)
図1は、本実施形態の画像表示システム1の構成例を示すブロック図である。図1に示すように、画像表示システム1は、医用画像診断装置10と、画像保管装置20と、立体画像表示装置30とを備える。図1に例示する各装置は、通信網2を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、医用画像等を相互に送受信することが可能である。通信網2の種類は任意であり、例えば各装置は、病院内に設置されたLAN(Local Area Network)を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク(クラウド)を介して、相互に通信可能な形態であってもよい。
画像表示システム1は、医用画像診断装置10により生成された3次元の医用画像のボリュームデータから立体画像を生成する。そして、生成した立体画像を表示部に表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。以下、各装置を順に説明する。
医用画像診断装置10は、3次元の医用画像のボリュームデータを生成可能な装置である。医用画像診断装置10としては、例えば、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等が挙げられる。
医用画像診断装置10は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置10は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数(例えば300〜500枚)のスライス画像(断面画像)を再構成することで、ボリュームデータを生成する。つまり、図2に示すように、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。以下では、被検体の体軸方向に対応する方向を、「ボリュームデータの奥行き方向」と呼ぶ場合がある。図2の例では、被検体の「脳」のボリュームデータが生成されている。なお、医用画像診断装置10により撮影された被検体の投影データやMR信号等自体をボリュームデータとしてもよい。また、医用画像診断装置10により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体の画像(以下、「オブジェクト」と呼ぶ)が含まれる。
画像保管装置20は、医用画像を保管するデータベースである。具体的には、画像保管装置20は、医用画像診断装置10から送信されたボリュームデータおよび位置情報を格納し、これを保管する。
立体画像表示装置30は、互いに視差を有する複数の視差画像を表示することにより、視聴者に立体画像を観察させることが可能な装置である。立体画像表示装置30は、例えば、インテグラル・イメージング方式(II方式)や多眼方式等の3Dディスプレイ方式を採用したものであってよい。立体画像表示装置30の例としては、例えば視聴者が裸眼で立体画像を観察可能なTV、PCなどが挙げられる。本実施形態の立体画像表示装置30は、画像保管装置20から取得したボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成して表示する。視差画像群とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行うことで生成される画像群であり、視点位置が異なる複数の視差画像から構成される。
図3は、立体画像表示装置30の構成例を示す図である。図3に示すように、立体画像表示装置30は、画像処理部40と表示部50とを備える。例えば画像処理部40と表示部50とが、通信網(ネットワーク)を介して接続される形態であってもよい。画像処理部40は、画像保管装置20から取得したボリュームデータに対して画像処理を行う。この詳細な内容については後述する。
表示部50は、画像処理部40によって生成された立体画像を表示する。図3に示すように、表示部50は、表示パネル52と、光線制御部54と、を備える。表示パネル52は、色成分を有する複数のサブ画素(例えば、R、G、B)を、第1方向(例えば、図3における行方向(左右))と第2方向(例えば、図3における列方向(上下))とに、マトリクス状に配列した液晶パネルである。この場合、第1方向に並ぶRGB各色のサブ画素が1画素を構成する。また、隣接する画素を視差の数だけ第1方向に並べた画素群に表示される画像を要素画像と称する。すなわち、表示部50は、複数の要素画像をマトリクス状に配列した立体画像を表示する。表示部50のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、RGBの3色に限定されない。例えば、4色以上であってもよい。
表示パネル52には、直視型2次元ディスプレイ、例えば、有機EL(Organic Electro Luminescence)やLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投射型ディスプレイなどを用いる。また、表示パネル52は、バックライトを備えた構成でもよい。
光線制御部54は、表示パネル52に対して間隔を隔てて対向して配置されている。光線制御部54は、表示パネル52の各画素からの光線の出射方向を制御する。光線制御部54は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第1方向に複数配列されたものである。光線制御部54には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いる。光学的開口部は、表示パネル52の各要素画像に対応して配置される。
なお、本実施形態では、立体画像表示装置30は、同一の色成分のサブ画素が第2方向に配列され、かつ、第1方向に各色成分が繰り返して配列される「縦ストライプ配列」であるが、これに限られるものではない。また、本実施形態では、光線制御部54は、その光学的開口部の延伸方向が表示パネル52の第2方向に一致するように配置されているが、これに限らず、例えば光線制御部54は、その光学的開口部の延伸方向が表示パネル52の第2方向に対して傾きを有するように配置されていてもよい。
図4は、表示部50の一部の領域を拡大して示す模式図である。なお、図4中の符号(1)〜(3)は、各々、視差画像の識別情報を示す。なお、ここでは、視差画像の識別情報として、視差画像の各々に一意に付与された視差番号を用いる。同一の視差番号の画素は、同一の視差画像を表示する画素である。図4に示す例では、視差番号1〜3の順に、各視差番号によって特定される視差画像の画素を並べて、要素画像24としている。ここでは、視差数が3視差(視差番号1〜3)である場合を例に挙げて説明するが、これに限らず、他の視差数(例えば、視差番号1〜9の9視差)であってもよい。
図4に示すように、表示パネル52は、要素画像24が第1方向及び第2方向にマトリクス状に配列されている。例えば視差数が3の場合、各要素画像24は、視差画像1の画素24、視差画像2の画素24、視差画像3の画素24を、順に第1方向に並べた画素群である。
各要素画像24における、各視差画像の画素(画素24〜画素24)から出射した光線は、光線制御部54に到る。そして、光線制御部54によって進行方向と散らばりが制御されて、表示部50の全面に向けて出射する。例えば、各要素画像24における、視差画像1の画素24から出射した光は、矢印Z1方向に出射する。また、各要素画像24における視差画像2の画素24から出射した光は、矢印Z2方向に出射する。また、各要素画像24における視差画像3の画素24から出射した光は、矢印Z3方向に出射する。このように、表示部50では、各要素画像24の各画素から出射する光の出射方向を、光線制御部54によって調整する。
図5は、表示部50をユーザ(視聴者)が観察した状態を示す模式図である。複数の要素画像24からなる立体画像が表示パネル52に表示された場合、ユーザは、要素画像24に含まれる異なる視差画像の画素を、左眼18Aおよび右眼18Bの各々で観察することになる。このように、ユーザの左眼18Aおよび右眼18Bに対し、視差の異なる画像をそれぞれ表示することで、ユーザが立体画像を観察することができる。
図6は、図2に例示した「脳」のボリュームデータが立体表示される場合の概念図である。図6の符号101は、「脳」のボリュームデータの立体画像を示す。図6の符号102は、表示部50のスクリーン面を示す。スクリーン面とは、立体視において手前に飛び出さず、かつ、奥側にも位置しない面を示す。表示パネル52の画素から出射される光線の密度は、スクリーン面102から離れるほど疎になるので、画像の解像度も劣化する。したがって、例えば「脳」のボリュームデータ全体を高精細に表示するためには、表示部50が立体画像を表示可能な奥行き方向の範囲(表示限界)を示す立体表示可能範囲103を考慮する必要がある。つまり、図6に示すように、立体表示されるときの「脳」のボリュームデータ101全体が、立体表示可能範囲103内に収まるように、各種のパラメータ(例えば立体画像を作成する際のカメラ間隔、角度、位置等)を設定する必要がある。なお、立体表示可能範囲103は、表示部50の仕様や規格に応じて決まるパラメータであり、立体画像表示装置30内のメモリ(不図示)に格納される構成であってもよいし、外部装置に格納される構成であってもよい。
次に、画像処理部40の詳細な内容を説明する。図7は、画像処理部40の構成例を示
すブロック図である。図7に示すように、画像処理部40は、取得部41と、視差画像生成部42と、重畳画像生成部43と、画像結合部45と、視差量設定部46と、出力部60とを備える。
取得部41は、画像保管装置20にアクセスして、医用画像診断装置10によって生成されたボリュームデータを取得する。ボリュームデータの中には、骨・血管・神経・腫瘍などの各臓器の位置を特定するための位置情報が含まれていてもよい。位置情報の形式は任意であり、例えば、臓器の種類を識別する識別情報と、臓器を構成するボクセル群とを対応付けて管理する形式でもよいし、ボリュームデータに含まれる各ボクセルに対して、当該ボクセルが属する臓器の種類を識別する識別情報を付加する形式でもよい。また、ボリュームデータの中には、各臓器をレンダリングする際の彩色や透過度に関する情報が含まれていてもよい。
視差画像生成部42は、取得部41によって取得されたボリュームデータを複数の視点からレンダリングすることにより、ボリュームデータの視差画像(視差画像群)を生成する。ボリュームデータをレンダリングする際には、公知の様々なボリュームレンダリング技術を利用することができる。図8は、ボリュームデータを複数の視点からレンダリングする場合の概念図を示す。図8(a)は複数の視点を直線上に等間隔に並べた例である。図8(b)は複数の視点を回転して並べた例である。ボリュームレンダリングを行う際の投影方法は平行投影と透視投影のいずれを用いても構わない。また、平行投影と透視投影を組み合わせた投影を用いても構わない。
再び図7に戻って説明を続ける。視差量設定部46は、視差画像生成部42によるレンダリングが行われる際の複数の視点の間隔(カメラ間隔)を設定する。この例では、ボリュームデータの中心(重心)がスクリーン面に表示されるように、カメラ間隔が設定されている。
重畳画像生成部43は、視差画像生成部42によるレンダリングが行われる際の複数の視点とは異なる視点であって、ボリュームデータの奥行き方向全体を観察可能な奥行き視点からボリュームデータをレンダリングした奥行き画像を生成する。そして、視差画像生成部42により生成された視差画像が立体画像として表示部50に表示される場合における、立体画像の奥行き方向(スクリーン面の法線方向)の位置と立体画像の精細度(表示パネル52の画素から出射される光線の密度)との関係を示す光線情報を、奥行き画像に重畳した重畳画像を生成する。より具体的には以下のとおりである。
図9は、重畳画像生成部43の詳細な構成の一例を示す図である。図9に示すように、重畳画像生成部43は、第1設定部61と奥行き画像生成部62と第1重畳部63とを備える。
第1設定部61は、上述の奥行き視点を設定する。より具体的には、第1設定部61は、視差画像生成部42によるレンダリングが行われる際の複数の視点のうちの何れか1つを選択し、選択した視点(「第1の視点」と呼ぶ)から視線方向に延びるベクトルに直交する直線が法線となる平面上の視点を奥行き視点として設定する。本実施形態では、図10(a)に示すように、まず第1設定部61は、視差画像生成部42によるレンダリングが行われる際の複数の視点のうちの中央の視点を第1の視点として選択する。例えば視差数が偶数の場合(視点の数が偶数の場合)は、補間などを行うことで中央の視点を求め、その求めた中央の視点を第1の視点として選択してもよい。次に、図10(b)に示すように、第1設定部61は、ボリュームデータの中心点(重心)を中心に、第1の視点を90度回転させた点を第2の視点(奥行き視点)として設定する。なお、これに限らず、奥行き視点の設定方法は任意である。要するに、奥行き視点は、ボリュームデータの奥行き方向全体を観察可能(俯瞰可能)な視点であればよい。
再び図9に戻って説明を続ける。奥行き画像生成部62は、第1設定部61で設定された奥行き視点からボリュームデータをレンダリングすることにより、奥行き画像を生成する。図11は、奥行き画像生成部62により生成された奥行き画像の一例を示す図である。
再び図9に戻って説明を続ける。第1重畳部63は、視差画像が立体画像として表示部50に表示される場合の精細度が等しくなる面を示す等値面を算出する。より具体的には、第1重畳部63は、視差画像生成部42によるレンダリングが行われる際の複数の視点の間隔と、表示部50から出射される光線の特性を示す情報とに基づいて、等値面を算出する。ここでは、スクリーン面からの奥行き方向の距離Zと、空間周波数(精細度と捉えることもできる)βとの関係は、以下の式1により表すことができる。
Figure 0005670945
上記式1において、Znは、スクリーン面から、その手前側で精細度がβになる位置までの奥行き方向の距離を表し、Zfは、スクリーン面から、その奥側で精細度がβになる位置までの奥行き方向の距離を表す。Lは、スクリーン面から、視聴者が立体画像を観察する位置までの距離を示す観察距離を表す。gは、空気換算焦点距離を表す。pspは、サブピクセル(サブ画素)の水平幅を表す。L、g、pspの各々は、表示部50の仕様(ハードウェア仕様)によって決まる定数である。
この例では、上述のL、g、psp、および、式1は、不図示のメモリに記憶されている。第1重畳部63は、不図示のメモリから、上述のL、g、psp、および、式1を読み出し、任意の精細度βの値を、読み出した式1に代入することにより、当該精細度βが得られる位置が、スクリーン面から奥行き方向にどれだけ離れた位置になるかを求めることができる。例えばスクリーン面における精細度βが90%に低下する位置を求めるためには、β×0.9を上記式1のβに代入すればよい。
また、上記Zn、Zfの値は、視差量設定部46により設定された複数の視点の間隔の値に応じて補正される。より具体的には、視差量設定部46により設定された複数の視点の間隔の値が予め定められたデフォルト値に等しい場合は、Zn、Zfの値は、上記式1により得られた値のままであるが、例えば視差量設定部46により設定された複数の視点の間隔の値がデフォルト値の2倍である場合は、Zn、Zfの値は、上記式1により得られた値を1/2倍にした値に補正される。また、例えば視差量設定部46により設定された複数の視点の間隔の値がデフォルト値の1/2倍である場合は、Zn、Zfの値は、上記式1により得られた値を2倍にした値に補正される。
以上のように、第1重畳部63は、視差量設定部46により予め設定された複数の視点の間隔と、表示部50から出射される光線の特性を示す情報(この例では、上述のL、g、psp、および、式1)とに基づいて、等値面を算出するが、等値面の算出方法はこれに限られるものではない。そして、第1重畳部63は、奥行き視点から見た等値面を示す等値線を描画する。この描画された等値線は、視差画像が立体画像として表示部50に表示される場合における、立体画像の奥行き方向の位置と立体画像の精細度との関係を示す光線情報であると捉えることができる。第1重畳部63は、描画した等値線(光線情報)を奥行き画像に重畳して、ボリュームデータのうち奥行き方向の任意の位置がどの程度の精細度で表示されるかを示す重畳画像を生成する。図12は、第1重畳部63により生成された重畳画像の一例を示す図である。なお、図12の例では、スクリーン面の精細度を100%としたうえで、各等値線の左横に、その等値線が表す精細度を、スクリーン面の精細度に対する比率として表記しているが、これに限定されるものではない。例えば精細度そのものの値を等値線に対応付けて表示する形態であってもよい。
また、ボリュームデータのうちスクリーン面に表示される位置や、ボリュームデータが立体表示された場合の全体奥行き量(スクリーン面から手前側への飛び出し量+スクリーン面から奥側への奥行き量)は、視差量設定部46で設定された複数の視点の間隔に応じて予め決まっている。図12の例では、ボリュームデータの中心点(重心)がスクリーン面に表示されるよう、カメラ間隔が設定されている。
再び図7に戻って説明を続ける。画像結合部45は、図13に示すように、視差画像生成部42によって生成されたボリュームデータの各視差画像に対して、重畳画像生成部43によって生成された重畳画像を結合する。
出力部60は、画像結合部45で結合された画像を表示部50に出力する(表示させる)。なお、これに限らず、例えば画像結合部45が設けられずに、出力部60は、重畳画像生成部43によって生成された重畳画像のみを表示部50に出力する形態であってもよい。また、例えば出力部60は、視聴者の入力に応じて、重畳画像生成部43によって生成された重畳画像および視差画像生成部42によって生成された各視差画像のうちの何れかを選択的に表示部50に出力する形態であってもよい。さらに、例えば出力部60は、重畳画像生成部43によって生成された重畳画像および視差画像生成部42によって生成された各視差画像を別々のモニタ(表示部)に出力する形態であってもよい。
次に、図14を参照しながら、本実施形態の立体画像表示装置30の動作例を説明する。図14は、立体画像表示装置30の動作例を示すフローチャートである。まず、ステップS1000において、取得部41は、画像保管装置20にアクセスして、医用画像診断装置10によって生成されたボリュームデータを取得する。ステップS1001において、視差画像生成部42は、取得部41によって取得されたボリュームデータを複数の視点からレンダリングすることにより、ボリュームデータの視差画像(視差画像群)を生成する。
ステップS1002において、第1設定部61は、奥行き視点を設定する。ステップS1003において、奥行き画像生成部62は、奥行き視点からボリュームデータをレンダリングすることにより、奥行き画像を生成する。ステップS1004において、第1重畳部63は、視差画像生成部42によるレンダリングが行われる際の複数の視点の間隔と、表示部50から出射される光線の特性を示す情報とに基づいて等値面を算出し、奥行き視点から見た等値面を示す等値線を描画する。そして、第1重畳部63は、描画した等値線を奥行き画像に重畳した重畳画像を生成する。
ステップS1005において、画像結合部45は、視差画像生成部42によって生成されたボリュームデータの各視差画像と、重畳画像生成部43によって生成された重畳画像とを結合する。ステップS1006において、出力部60は、画像結合部45によって結合された画像を表示部50に表示させる。
以上に説明したように、本実施形態では、複数の視点からボリュームデータをレンダリングした視差画像が立体画像として表示される場合における、立体画像の奥行き方向の位置と立体画像の精細度との関係を示す等値線(光線情報)を、奥行き視点からボリュームデータをレンダリングした奥行き画像に重畳した重畳画像を表示する。これにより、視聴者は、ボリュームデータのうち奥行き方向の任意の位置がどの程度の精細度で表示されるかを正確に把握することが可能になる。
(第1実施形態の変形例)
例えば視聴者による入力に応じて、奥行き画像と等値線との位置関係が変更、あるいは、等値線の間隔が変更(光線情報が変更)される構成であってもよい。図15は、第1実施形態の変形例の画像処理部400の構成例を示す図である。上述の第1実施形態と重複する部分については、同一の符号を付して適宜に説明を省略する。
図15に示すように、画像処理部400は、第2設定部44をさらに備える点で上述の第1実施形態と相違する。第2設定部44は、視聴者による入力に応じて、奥行き画像と等値線との位置関係、または、等値線の間隔を可変に設定する。ここでは、第2設定部44による設定が行われていない状態で表示部50に表示されるボリュームデータの立体画像(視差画像群)を「デフォルトの立体画像」、重畳画像を「デフォルトの重畳画像」と呼び、両者を区別しない場合は「デフォルトの画像」と呼ぶ。
例えば視聴者は、表示部50に表示されたデフォルトの画像を見ながらマウスを操作することで、奥行き画像あるいは等値線をマウスカーソルで指定し、マウスのドラッグ操作やホイール操作などによって、指定した奥行き画像または等値線を画面の上下方向(図12の奥行き方向)に移動させることにより、奥行き画像と等値線との位置関係、または、等値線の間隔を変更する入力を行うこともできる。なお、これに限らず、奥行き画像と等値線との位置関係、または、等値線の間隔を変更するための入力方法は任意である。このようにして、視聴者は、ボリュームデータのうちスクリーン面に表示される位置を変更するための入力を行うこともできるし、等値線の間隔を変更(広げる、または、狭める)するための入力を行うこともできる。
重畳画像生成部43は、第2設定部44の設定内容に従って重畳画像を変更する(生成し直す)。また、視差量設定部46は、第2設定部44の設定内容に従って、視差画像生成部42によるレンダリングが行われる際の複数の視点の間隔を変更する。また、視差画像生成部42は、視差量設定部46により間隔が変更された後の複数の視点からボリュームデータをレンダリングして、視差画像を変更する(生成し直す)。そして、画像結合部45は、変更されたボリュームデータの各視差画像に対して、変更された重畳画像を結合する。出力部60は、画像結合部45により結合された画像を表示部50に表示させる。
次に、視聴者が、表示部50に表示されたデフォルトの画像を見ながら、奥行き画像と等値線との位置関係、または、等値線の間隔を変更するための入力を行った場合の立体画像表示装置の動作例を説明する。図16は、この場合の立体画像表示装置の動作例を示すフローチャートである。まず、ステップS1100において、第2設定部44は、視聴者の入力に応じて、奥行き画像と等値線との位置関係、あるいは、等値線の間隔を設定する。ステップS1101において、重畳画像生成部43は、第2設定部44の設定内容に従って、重畳画像を変更する。ステップS1102において、視差量設定部46は、第2設定部44の設定内容に従って、複数の視点の間隔(カメラ間隔)を変更する。ステップS1103において、視差画像生成部42は、視差量設定部46により間隔が変更された複数の視点からボリュームデータをレンダリングして、視差画像を変更する(生成し直す)。なお、上述のステップS1102およびステップS1103の処理は、上述のステップS1101よりも先に行われてもよいし、上述のステップS1101と並行して行われてもよい。
ステップS1104において、画像結合部45は、変更されたボリュームデータの各視差画像と変更された重畳画像とを結合する。ステップS1105において、出力部60は、画像結合部45によって結合された画像を表示部50に表示させる。
以上に説明したように、この例では、第2設定部44は、視聴者の入力に応じて、奥行き画像と等値線との位置関係、または、等値線の間隔を可変に設定する。そして、第2設定部44の設定内容に従って、ボリュームデータの飛び出し量(視差量)が変更されるので、視聴者は、ボリュームデータの任意の箇所をどの程度の精細度で表示するかをコントロールすることが可能になる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、ボリュームデータの視差画像が立体画像として表示される場合の精細度が、予め定められた許容値に等しくなる面(許容値面)を奥行き視点から見た許容線を描画し、描画した許容線を重畳画像に重畳して表示する機能(以下、「許容線表示機能」と呼ぶ)を有する点で、上述の第1実施形態と相違する。以下、具体的に説明する。なお、上述の第1実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。
図17は、第2実施形態の画像処理部410の構成例を示す図である。図17に示すように、画像処理部410は、第3設定部48をさらに備える点で上述の第1実施形態と相違する。第3設定部48は、視聴者の入力に応じて、許容線表示機能のオンオフを切り替える。第3設定部48は、許容線表示機能を「オン(有効)」に設定した場合、予め定められた許容値を設定し、その設定した許容値を、視差画像生成部420および重畳画像生成部430の各々へ渡す。
図18は、本実施形態の重畳画像生成部430の詳細な構成の一例を示す図である。図18に示すように、重畳画像生成部430は、第2重畳部65をさらに備える点で上述の第1実施形態と相違する。第2重畳部65は、許容線表示機能が「オン」に設定された場合(予め定められた許容値を第3設定部48から渡された場合)に、視差画像が立体画像として表示部50に表示されるときの精細度が、予め定められた許容値に等しくなる面を示す許容値面を算出する。より具体的には、上述の等値面の算出方法と同様に、第2重畳部65は、視差画像生成部420によるレンダリングが行われる際の複数の視点の間隔と、表示部50から出射される光線の特性を示す情報とに基づいて、許容値面を算出する。そして、第2重畳部65は、奥行き視点から見た許容値面を示す許容線を描画し、図19に示すように、描画した許容線を重畳画像に重畳する。許容線は、ボリュームデータの奥行き方向の表示限界を示す線であると捉えることもできる。図19の例では、許容値の精細度(スクリーン面の精細度(100%)に対する比率)は「75%」に設定されているが、これに限らず、許容値は任意に設定可能である。
再び図17に戻って説明を続ける。視差画像生成部420は、ボリュームデータのうち、視差画像が立体画像として表示される場合の精細度が許容値よりも小さい領域が非表示となるように視差画像を生成する。より具体的には、視差画像生成部420は、ボリュームデータのうち、視差画像が立体画像として表示される場合の精細度が許容値よりも小さい領域については、任意の視線(レイ)に沿ったサンプリングを行わない。
次に、図20を参照しながら、許容線表示機能が「オン」に設定された場合の立体画像表示装置の動作例を説明する。まず、ステップS2000において、取得部41は、画像保管装置20にアクセスして、医用画像診断装置10によって生成されたボリュームデータを取得する。ステップS2001において、視差画像生成部420は、取得部41によって取得されたボリュームデータのうち、視差画像が立体画像として表示される場合の精細度が許容値よりも小さい領域が非表示となるように、ボリュームデータをレンダリングした視差画像を生成する。
ステップS2002〜ステップS2004の処理は、図14のステップS1002〜ステップS1004の処理と同様であるので、説明を省略する。ステップS2005において、第2重畳部65は、複数の視点の間隔と、表示部50から出射される光線の特性を示す情報とに基づいて許容値面を算出し、奥行き視点から見た許容値面を示す許容線を重畳画像に重畳する。ステップS2006において、画像結合部45は、ボリュームデータの各視差画像と、重畳画像に許容線が重畳された画像とを結合する。ステップS2007において、出力部60は、画像結合部45によって結合された画像を表示部50に表示させる。
以上に説明したように、本実施形態では、重畳画像に許容線が重畳された画像が表示部50に表示されるので、視聴者は、ボリュームデータの表示限界を容易に認識できる。また、ボリュームデータのうち、視差画像が立体画像として表示部50に表示される場合の精細度が許容値よりも小さい領域は表示されないので、ボリュームデータのうち表示限界内の画像の視認性を高めることができる。
(第2実施形態の変形例)
例えば第3設定部48は、視聴者による入力に応じて、許容値を可変に設定(変更)することもできる。視聴者による許容値の入力方法は任意であり、例えばマウスやキーボードなどの操作デバイスを操作することで許容値を入力する構成であってもよいし、表示部50に表示された画面のタッチ操作により許容値を入力する構成であってもよい。そして、第2重畳部65は、第3設定部48により設定された許容値に従って許容線を変更し、変更した許容線を重畳画像に重畳する。また、視差画像生成部420は、第3設定部48により設定された許容値に従って視差画像を変更する。ここでは、第3設定部48による変更が行われる前の状態で表示部50に表示される許容線を「デフォルトの許容線」、ボリュームデータの立体画像を「デフォルトの立体画像」と呼ぶ。
次に、視聴者が、重畳画像にデフォルトの許容線が重畳された画像やデフォルトの立体画像を見ながら、許容値を変更するための入力操作を行った場合の立体画像表示装置の動作例を説明する。図21は、この場合の立体画像表示装置の動作例を示すフローチャートである。まず、ステップS2100において、第3設定部48は、視聴者の入力に応じて、許容値を設定(変更)する。ステップS2101において、第2重畳部65は、第3設定部48により設定された許容値に従って、許容線を変更する(生成し直す)。ステップS2102において、第2重畳部65は、変更後の許容線を重畳画像に重畳する。ステップS2103において、視差画像生成部420は、第3設定部48により設定された許容値に従って、視差画像を変更する(生成し直す)。なお、上述のステップS2103の処理は、上述のステップS2101およびステップS2102の処理よりも先に行われてもよいし、上述のステップS2101およびステップS2102の処理と並行して行われてもよい。
ステップS2104において、画像結合部45は、変更されたボリュームデータの各視差画像と、変更された許容線が重畳画像に重畳された画像とを結合する。ステップS2105において、出力部60は、画像結合部45によって結合された画像を表示部50に表示させる。
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態では、ボリュームデータのうち視聴者が注目したい注目領域の少なくとも一部を含む注目断面が露出する奥行き画像に対して、上述の等値線を重畳させた重畳画像が表示される点で上述の各実施形態と相違する。以下、具体的に説明する。なお、上述の各実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。
図22は、第3実施形態の画像処理部411の構成例を示す図である。図22に示すように、画像処理部411は、第4設定部47をさらに備える点で上述の第1実施形態と相違する。第4設定部47は、視聴者による入力に応じて、ボリュームデータのうち視聴者が注目したい領域を示す注目領域を可変に設定する。
ここでは、注目領域の設定が行われていない状態で表示部50に表示されるボリュームデータの立体画像を「デフォルトの立体画像」、重畳画像を「デフォルトの重畳画像」と呼び、両者を区別しない場合は「デフォルトの画像」と呼ぶ。図23は、表示部50に表示されたデフォルトの画像の一例を示す図である。図23の例では、デフォルトの画像に加えて、3種類のボリュームデータの断面画像(70〜72)が表示部50に表示されている。
ここでは、図24に示すように、ボリュームデータを構成する原画像(スライス画像)を、被検者の足方向から頭方向に並べ、先頭画像の第1ピクセルがボリュームデータの第1ボクセルとなる。この例では、第1ボクセルを原点とし、その座標値は(0,0,0)となる。この例では、原画像の並ぶ方向をZ方向、原画像の水平方向(横方向)をX方向、原画像の垂直方向(縦方向)をY方向として座標系を定義する。前述の断面画像70は、ボリュームデータをX−Z平面で切断した断面画像であり、「アキシャル(Axial)断面画像70」と呼ぶ。断面画像71は、ボリュームデータをX−Y平面で切断した断面画像であり、「コロナル(coronal)断面画像71」と呼ぶ。断面画像72は、ボリュームデータをY−Z平面で切断した断面画像であり、「サジタル(sagittal)断面画像72」と呼ぶ。
この例では、視聴者が、マウスなどを操作することで、3種類の断面画像70〜72の断面位置をマウスカーソル等で指定し、マウスのドラッグ操作やマウスホイールの値に応じて、断面位置が可変に入力される。そして、入力された断面位置に対応する断面画像70〜72が表示部50に表示される。このようにして、視聴者は、表示部50に表示される断面画像70〜72を切り替えることができる。なお、これに限らず、表示部50に表示される断面画像70〜72を切り替える方法は任意である。
視聴者は、3種類の断面画像70〜72を切り替えながら、何れかの断面画像における所定の位置を注目点として指定する。注目点の指定方法は任意であり、例えばマウスを操作することで、何れかの断面画像における所定の位置をマウスカーソルで指定する構成であってもよい。この例では、視聴者により指定された注目点は、ボリュームデータ内の3次元座標値で表される。
本実施形態では、第4設定部47は、視聴者によって指定された注目点を注目領域として設定する。この例では、注目領域は、ボリュームデータ内に存在する点であるが、これに限らず、例えば第4設定部47により設定される注目領域は、ある程度の広がりを持つ面であってもよい。例えば第4設定部47は、視聴者によって指定された注目点を含む任意のサイズの領域を注目領域として設定することもできる。また、例えば第4設定部47は、取得部41で取得されたボリュームデータと、視聴者により指定された注目点とを用いて、注目領域を設定することもできる。より具体的には、例えば、第4設定部47は、取得部41で取得されたボリュームデータに含まれる各オブジェクトの重心位置と、視聴者により指定された注目点の3次元座標値との距離をそれぞれ求め、距離が最も小さいオブジェクトを注目領域として設定することもできる。また、例えば第4設定部47は、ボリュームデータに含まれるオブジェクトのうち、注目点を含む任意のサイズの領域に含まれるボクセル数が最も多いオブジェクトを注目領域として設定することもできる。さらに、第4設定部47は、注目点から、閾値以下の距離に至るまでにオブジェクトが存在する場合には、そのオブジェクトを注目領域として設定する一方、注目点から、閾値以下の距離に至るまでにオブジェクトが存在しない場合には、注目点を基点とした任意サイズの領域を注目領域として設定してもよい。
また、例えば視聴者が、デフォルトの立体画像を確認しながら、表示部50上の3次元空間内における所定の位置を、例えばペンなどの入力部で指定(ポインティング)すると、第4設定部47は、その指定に応じて、注目領域を設定することもできる。要するに、第4設定部47は、視聴者の入力に応じて、ボリュームデータのうち視聴者が注目したい領域を示す注目領域を設定する機能を有するものであればよい。
再び図22に戻って説明を続ける。視差画像生成部421は、第4設定部47により設定された注目領域(この例では注目点)を含む平面がスクリーン面に表示されるように(言い換えれば視差量が最小(例えば0)になるように)、複数の視点の位置と、各カメラ(視点)からの光線が集まる注視点とを変更する(例えば平行移動する)。
図25は、注視点が注目点(注目領域)に一致するように複数の視点の位置を平行移動した例を示す図である。なお、例えば第4設定部47により設定された注目領域が、注目点を含む任意のサイズの領域である場合は、その注目領域の中心(重心)が注視点に一致するように複数の視点の位置を平行移動することもできる。図25のように、ボリュームデータの視差画像をレンダリングする際の複数の視点の位置が平行移動すると、それに伴って、上述の第1の視点と奥行き視点も同様に平行移動する。視差画像生成部421は、変更後の複数の視点からボリュームデータをレンダリングして、視差画像を変更する(生成し直す)。また、重畳画像生成部431は、変更後の奥行き視点からボリュームデータをレンダリングして奥行き画像を変更し(生成し直し)、その変更した奥行き画像に上述の等値線を重畳して重畳画像を変更する(生成し直す)。そして、画像結合部45は、変更後の各視差画像に対して変更後の重畳画像を結合し、出力部60は、画像結合部45により結合された画像を表示部50に表示させる。この結果、表示部50に表示される画像は、図26の例のように変更される。
次に、図22の重畳画像生成部431の詳細な構成を説明する。図27は、重畳画像生成部431の詳細な構成例を示す図である。図27に示すように、第3実施形態の重畳画像生成部431は、第5設定部64をさらに備える。
第5設定部64は、第4設定部47で設定された注目領域の少なくとも一部を含むボリュームデータの断面を示す注目断面を設定する。この例では、第5設定部64は、第4設定部47により設定された注目点(注目領域)を含むX−Z平面でボリュームデータを切断した断面を、注目断面として設定する。図28は、第5設定部64により設定された注目断面の一例を示す図である。なお、第4設定部47で設定された注目領域が、ある程度の広がりを持つ面である場合、第5設定部64は、その注目領域の一部を含むX−Z平面でボリュームデータを切断した断面を注目断面として設定することもできるし、その注目領域を全て含むX−Z平面でボリュームデータを切断した断面を注目断面として設定することもできる。要するに、第5設定部64は、第4設定部47で設定された注目領域の少なくとも一部を含むボリュームデータの断面を示す注目断面を設定するものであればよい。
奥行き画像生成部620は、注目断面が露出するように奥行き画像を生成する。より具体的には、奥行き画像生成部620は、ボリュームデータのうち、奥行き視点と注目断面との間に存在する領域が非表示となるように奥行き画像を生成する。つまり、奥行き画像生成部620は、ボリュームデータのうち、奥行き視点と注目断面との間に存在する領域については、任意の視線(レイ)に沿ったサンプリングを行わない。
第1重畳部63は、奥行き画像生成部620により生成された奥行き画像に、上述の等値線を重畳して重畳画像を生成する。画像結合部45は、各視差画像と重畳画像とを結合する。そして、出力部60は、画像結合部45により結合された画像を表示部50に表示させる。
図29は、視聴者が、表示部50に表示されたデフォルトの画像および3種類の断面画像70〜72を見ながら、何れかの断面画像における所定の位置を注目点として指定した場合の立体画像表示装置の動作例を示すフローチャートである。
図29に示すように、ステップS3000において、第4設定部47は、視聴者による入力に応じて、ボリュームデータのうち視聴者が注目したい領域を示す注目領域(この例では注目点)を設定する。ステップS3001において、視差画像生成部421は、第4設定部47で設定された注目領域を含む平面がスクリーン面に表示されるように、複数の視点の位置と注視点を平行移動する。ステップS3002において、視差画像生成部421は、変更後の複数の視点からボリュームデータをレンダリングして視差画像を生成する。ステップS3003において、第1設定部61は、奥行き視点を設定し直す。ステップS3004において、第5設定部64は、注目点を含むX−Z平面でボリュームデータを切断した断面を示す注目断面を設定する。ステップS3005において、奥行き画像生成部620は、注目断面が露出するように奥行き画像を生成する。ステップS3006において、第1重畳部63は、奥行き画像に等値線を重畳して重畳画像を生成する。ステップS3007において、画像結合部45は、各視差画像と重畳画像とを結合する。ステップS3008において、出力部60は、画像結合部45により結合された画像を表示部50に表示させる。
以上に説明したように、本実施形態では、ボリュームデータのうち視聴者が注目したい注目点を含む注目断面が露出した奥行き画像に等値線を重畳した重畳画像が表示されるので、視聴者は、注目点近傍の精細度をより把握し易くなる。
(第3実施形態の変形例)
例えば第4設定部47で設定される注目領域が、ある程度の広がりを持つ面である場合、奥行き画像生成部620は、第4設定部47で設定された注目領域が露出するように奥行き画像を生成することもできる。例えば視聴者により指定された注目点が、骨・血管・神経・腫瘍などといったボリュームデータに含まれる各オブジェクトの何れかに属する場合、第4設定部47は、注目点が属するオブジェクトを注目領域として設定し、奥行き画像生成部620は、第4設定部47により設定された注目領域(注目点が属するオブジェクト)が露出するように奥行き画像を生成することもできる。この場合、上述の第5設定部64が設けられない構成であってもよい。
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
なお、上述の各実施形態および各変形例は任意に組み合わせることができる。また、上述の各実施形態の画像処理部(40、400、410、411)は、本発明の「画像処理装置」に対応している。
上述の各実施形態の画像処理部(40、400、410、411)は、CPU(Central Processing Unit)、ROM、RAM、および、通信I/F装置などを含んだハードウェア構成となっている。上述した各部の機能は、CPUがROMに格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、各部の機能のうちの少なくとも一部を個別の回路(ハードウェア)で実現することもできる。
また、上述の各実施形態の画像処理部で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態の画像処理部で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態の画像処理部で実行されるプログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
1 画像表示システム
10 医用画像診断装置
20 画像保管装置
30 立体画像表示装置
40 画像処理部
41 取得部
42 視差画像生成部
43 重畳画像生成部
44 第2設定部
45 画像結合部
46 視差量設定部
47 第4設定部
48 第3設定部
50 表示部
52 表示パネル
54 光線制御部
60 出力部
61 第1設定部
62 奥行き画像生成部
63 第1重畳部
64 第5設定部
65 第2重畳部

Claims (14)

  1. 3次元の医用画像のボリュームデータを取得する取得部と、
    前記ボリュームデータを複数の視点からレンダリングした視差画像が立体画像として表示される場合における、前記立体画像の奥行き方向の位置と前記立体画像の精細度との関係を示す光線情報を、前記ボリュームデータの奥行き方向全体を観察可能な奥行き視点から前記ボリュームデータをレンダリングした奥行き画像に重畳した重畳画像を生成する重畳画像生成部と、を備える、
    画像処理装置。
  2. 前記重畳画像生成部は、
    前記複数の視点のうちの何れか1つを選択し、前記ボリュームデータの中心点を中心に、その選択した視点を90度回転させた点を前記奥行き視点として設定する第1設定部と、
    前記奥行き画像を生成する奥行き画像生成部と、
    前記精細度が等しくなる面を示す等値面を算出し、前記奥行き視点から見た前記等値面を示す等値線を前記光線情報として前記奥行き画像に重畳する第1重畳部と、を備える、
    請求項1の画像処理装置。
  3. 前記第1重畳部は、前記複数の視点の間隔と、前記立体画像を表示する表示部から出射される光線の特性を示す情報とに基づいて、前記等値面を算出する、
    請求項2の画像処理装置。
  4. 前記複数の視点から前記ボリュームデータをレンダリングした視差画像を生成する視差画像生成部をさらに備える、
    請求項1の画像処理装置。
  5. 視聴者による入力に応じて、前記奥行き画像と前記光線情報との位置関係、または、前記光線情報を可変に設定する第2設定部と、
    前記複数の視点の間隔を設定する視差量設定部と、をさらに備え、
    前記視差量設定部は、前記第2設定部の設定内容に従って前記複数の視点の間隔を変更し、
    前記視差画像生成部は、前記視差量設定部により間隔が変更された後の前記複数の視点から前記ボリュームデータをレンダリングして視差画像を変更し、
    前記重畳画像生成部は、前記第2設定部の設定内容に従って前記重畳画像を変更する、
    請求項4の画像処理装置。
  6. 前記重畳画像生成部は、
    前記精細度が予め定められた許容値に等しくなる面を示す許容値面を算出し、前記奥行き視点から見た前記許容値面を示す許容線を前記重畳画像に重畳する第2重畳部をさらに備える、
    請求項1の画像処理装置。
  7. 前記複数の視点から前記ボリュームデータをレンダリングした視差画像を生成する視差画像生成部をさらに備え、
    前記視差画像生成部は、前記ボリュームデータのうち、前記視差画像が立体画像として表示される場合の精細度が前記許容値よりも小さい領域が非表示となるように、前記ボリュームデータをレンダリングする、
    請求項6の画像処理装置。
  8. 視聴者による入力に応じて、前記許容値を可変に設定する第3設定部をさらに備える、
    請求項6または7の画像処理装置。
  9. 視聴者による入力に応じて、前記ボリュームデータのうち視聴者が注目する注目領域を可変に設定する第4設定部と、
    前記注目領域の少なくとも一部を含む前記ボリュームデータの断面を示す注目断面を設定する第5設定部と、をさらに備え、
    前記重畳画像生成部は、前記注目断面が露出するように前記奥行き画像を生成する、
    請求項4の画像処理装置。
  10. 視聴者による入力に応じて、前記ボリュームデータのうち視聴者が注目する注目領域を可変に設定する第4設定部をさらに備え、
    前記重畳画像生成部は、前記注目領域が露出するように前記奥行き画像を生成する、
    請求項4の画像処理装置。
  11. 前記視差画像生成部は、立体視において手前に飛び出さず、かつ、奥側にも位置しないスクリーン面に前記注目領域を含む平面が表示されるように、前記複数の視点の位置と注視点を変更する、
    請求項9または請求項10の画像処理装置。
  12. 3次元の医用画像のボリュームデータを取得する取得部と、
    前記ボリュームデータを複数の視点からレンダリングした視差画像が立体画像として表示される場合における、前記立体画像の奥行き方向の位置と前記立体画像の精細度との関係を示す光線情報を、前記ボリュームデータの奥行き方向全体を観察可能な奥行き視点から前記ボリュームデータをレンダリングした奥行き画像に重畳した重畳画像を生成する重畳画像生成部と、
    前記重畳画像を表示する表示部と、を備える、
    立体画像表示装置。
  13. 3次元の医用画像のボリュームデータを取得し、
    前記ボリュームデータを複数の視点からレンダリングした複数の視差画像を含む立体画像が表示部に表示される場合における、前記立体画像の奥行き方向の位置と前記立体画像の精細度との関係を示す光線情報を、前記ボリュームデータの奥行き方向全体を観察可能な奥行き視点から前記ボリュームデータをレンダリングした奥行き画像に重畳した重畳画像を生成する、
    画像処理方法。
  14. コンピュータを、
    3次元の医用画像のボリュームデータを取得する手段と、
    前記ボリュームデータを複数の視点からレンダリングした視差画像が立体画像として表示される場合における、前記立体画像の奥行き方向の位置と前記立体画像の精細度との関係を示す光線情報を、前記ボリュームデータの奥行き方向全体を観察可能な奥行き視点から前記ボリュームデータをレンダリングした奥行き画像に重畳した重畳画像を生成する手段として機能させる、画像処理プログラム。
JP2012084143A 2012-04-02 2012-04-02 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 Expired - Fee Related JP5670945B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012084143A JP5670945B2 (ja) 2012-04-02 2012-04-02 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US13/710,552 US20130257870A1 (en) 2012-04-02 2012-12-11 Image processing apparatus, stereoscopic image display apparatus, image processing method and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012084143A JP5670945B2 (ja) 2012-04-02 2012-04-02 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Publications (2)

Publication Number Publication Date
JP2013214884A JP2013214884A (ja) 2013-10-17
JP5670945B2 true JP5670945B2 (ja) 2015-02-18

Family

ID=49234320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012084143A Expired - Fee Related JP5670945B2 (ja) 2012-04-02 2012-04-02 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Country Status (2)

Country Link
US (1) US20130257870A1 (ja)
JP (1) JP5670945B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113444A (ja) * 2012-11-16 2014-06-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP6388645B2 (ja) * 2013-06-05 2018-09-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 物体の第1の画像及び第2の画像を表示する方法並びにデバイス
US10552966B2 (en) * 2016-03-07 2020-02-04 Intel Corporation Quantification of parallax motion
US10955657B2 (en) * 2018-12-20 2021-03-23 Acclarent, Inc. Endoscope with dual image sensors
CN116095294B (zh) * 2023-04-10 2023-06-16 深圳臻像科技有限公司 根据深度值渲染分辨率的三维光场图像编码方法及***

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11022A (en) * 1854-06-06 Printing-
US8014A (en) * 1851-04-01 Bran-duster
GB8623490D0 (en) * 1986-09-30 1986-11-05 Bass M L Display means for stereoscopic images
JP3187148B2 (ja) * 1991-08-26 2001-07-11 株式会社東芝 超音波診断装置
JP2713323B2 (ja) * 1992-03-02 1998-02-16 インターナショナル・ビジネス・マシーンズ・コーポレイション 等値サーフェイスを効率的に生成し等値サーフェイス画像データ及び表面等値線画像データをディスプレイするための方法及び装置
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
GB2358980B (en) * 2000-02-07 2004-09-01 British Broadcasting Corp Processing of images for 3D display
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2006508746A (ja) * 2002-12-04 2006-03-16 コンフォーミス・インコーポレイテッド Mriにおける等方性撮像用の複数撮像平面の融合並びに等方性又は近似的等方性撮像を用いた量的画像解析
US7606402B2 (en) * 2003-06-09 2009-10-20 Ge Medical Systems Global Technology, Llc Methods and systems for physiologic structure and event marking
JP4510817B2 (ja) * 2003-06-11 2010-07-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元ボリューム空間クロップのユーザ制御
US20050116957A1 (en) * 2003-11-03 2005-06-02 Bracco Imaging, S.P.A. Dynamic crop box determination for optimized display of a tube-like structure in endoscopic view ("crop box")
WO2005052863A2 (en) * 2003-11-28 2005-06-09 Bracco Imaging S.P.A. Method and system for distinguishing surfaces in 3d data sets ('dividing voxels')
JP2006101329A (ja) * 2004-09-30 2006-04-13 Kddi Corp 立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体
WO2006099490A1 (en) * 2005-03-15 2006-09-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
US7729752B2 (en) * 2006-06-13 2010-06-01 Rhythmia Medical, Inc. Non-contact cardiac mapping, including resolution map
JP2008058584A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 三次元画像表示方法および三次元画像表示装置
US7978191B2 (en) * 2007-09-24 2011-07-12 Dolphin Imaging Systems, Llc System and method for locating anatomies of interest in a 3D volume
JP5427179B2 (ja) * 2007-09-26 2014-02-26 コーニンクレッカ フィリップス エヌ ヴェ 解剖学的データの視覚化
US8090168B2 (en) * 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
JP5022964B2 (ja) * 2008-03-28 2012-09-12 株式会社東芝 立体映像表示装置及び立体映像表示方法
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US10235497B2 (en) * 2010-03-23 2019-03-19 Koninklijke Philips, N.V. Volumetric ultrasound image data reformatted as an image plane sequence
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US20130150718A1 (en) * 2011-12-07 2013-06-13 General Electric Company Ultrasound imaging system and method for imaging an endometrium

Also Published As

Publication number Publication date
US20130257870A1 (en) 2013-10-03
JP2013214884A (ja) 2013-10-17

Similar Documents

Publication Publication Date Title
JP6058290B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP5226887B2 (ja) 画像処理システム及び方法
JP5808146B2 (ja) 画像処理システム、装置及び方法
JP5909055B2 (ja) 画像処理システム、装置、方法及びプログラム
JP5306422B2 (ja) 画像表示システム、装置、方法及び医用画像診断装置
JP6430149B2 (ja) 医用画像処理装置
JP6245840B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP5670945B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP5871705B2 (ja) 画像表示装置、方法及びプログラム
JP5802767B2 (ja) 画像処理装置、立体画像表示装置、および、画像処理方法
JP2013009040A (ja) 画像処理システム、装置及び方法
JP5752638B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP2015050482A (ja) 画像処理装置、立体画像表示装置、画像処理方法およびプログラム
JP5974238B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
JP2014236340A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP6017124B2 (ja) 画像処理システム、画像処理装置、医用画像診断装置、画像処理方法及び画像処理プログラム
JP5832990B2 (ja) 画像表示システム
US20140313199A1 (en) Image processing device, 3d image display apparatus, method of image processing and computer-readable medium
JP5813986B2 (ja) 画像処理システム、装置、方法及びプログラム
JP6087618B2 (ja) 画像処理システムおよび画像処理方法
JP2016016072A (ja) 画像処理装置及び立体画像表示装置
JP2013013552A (ja) 医用画像診断装置、医用画像処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141218

LAPS Cancellation because of no payment of annual fees