JP7476403B2 - 医療ボリュームデータをレンダリングするためのコンピュータ実施方法 - Google Patents

医療ボリュームデータをレンダリングするためのコンピュータ実施方法 Download PDF

Info

Publication number
JP7476403B2
JP7476403B2 JP2023110022A JP2023110022A JP7476403B2 JP 7476403 B2 JP7476403 B2 JP 7476403B2 JP 2023110022 A JP2023110022 A JP 2023110022A JP 2023110022 A JP2023110022 A JP 2023110022A JP 7476403 B2 JP7476403 B2 JP 7476403B2
Authority
JP
Japan
Prior art keywords
volume
data
rendering process
volume data
volume rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023110022A
Other languages
English (en)
Other versions
JP2024028133A (ja
Inventor
エンゲル クラウス
Original Assignee
シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング filed Critical シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
Publication of JP2024028133A publication Critical patent/JP2024028133A/ja
Application granted granted Critical
Publication of JP7476403B2 publication Critical patent/JP7476403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Generation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、医療ボリュームデータをレンダリングするためのコンピュータ実施方法に関する。本発明はまた、この方法を実施するための機械可読命令セットおよびこの方法を実施するための装置に関する。
医療画像では、例えば細胞レベルの情報のような生理学的ボリュームデータは、人体の病理学的変化に関する洞察を提供するために使用されることがある。生理学的ボリュームデータは、例えば、ナトリウムやCEST(化学交換飽和移動)7T MRIのような取得方法によって得ることができる。このような生理学的ボリュームデータによって表される化学物質濃度の増加した領域や異常な変動は、患者の病理学的情報を明らかにする可能性がある。例えば、ナトリウム濃度が高い領域は腫瘍の存在を示す可能性がある。
場合によっては、生理学的データを、患者の解剖学的構造を表す解剖学的ボリュームデータなどの他のボリューム情報と組み合わせて可視化することが望ましいこともある。解剖学的データは、例えば、生理学的データとは異なる撮像モダリティ又は異なるスキャンプロトコルによって得られる。例えば、解剖学的ボリュームデータは、7T MRI MPRage(Magnetization Prepared Rapid Gradient Echo:磁化準備迅速勾配エコー)のようなMRIスキャンプロトコルによって得ることができる。生理学的ボリュームデータと解剖学的ボリュームデータを一緒に可視化することは、例えば、患者の解剖学的構造における生理学的データに関する空間的コンテキストを提供するのに役立つ。
2Dスライスレンダリングでは、生理学的ボリュームデータの可視化は容易である。例えば、生理学的情報は、2Dスライスに生理学的データの異なる値を表す色分けされた情報を重ねて、多平面再構成(MPR)を用いて解剖学的情報と組み合わせて可視化してもよい。例えば、ヒートマップやスペクトルマップのような異なる色彩伝達機能を用いて、活動の増大した領域や化学物質濃度の異常な変動を明らかにすることができる。
しかしながら、このような情報を3Dレンダリングでレンダリングするには課題がある。例えば、多くの場合、生理学的ボリュームデータのデータ値は、他のデータ値のシェルに埋め込まれている。例えば、生理学的情報の高いデータ値は、生理学的データの低い値のシェルに囲まれ、したがって完全に隠されていることがある。さらに、生理学的データが解剖学的データと組み合わされて可視化される場合、生理学的データは解剖学的データに埋め込まれていることが多い。例えば、生理学的データの関心領域は、臓器や解剖学の内部にある場合がある。そのため、生理学的情報の関心領域は、解剖学的情報によって遮られることがある。
本発明の第1の態様によれば、第1のボリュームデータを含む医療ボリュームデータをレンダリングするためのコンピュータ実施方法が提供され、この方法は、第1のボリュームデータに対して第1のボリュームレンダリングプロセスを実行して、第1のボリュームデータの第1のボリュームレンダリングを生成するプロセスであって、第1のボリュームレンダリングプロセスは、第1のボリュームレンダリングのそれぞれの位置の第1の深度を決定し、深度をそれぞれの位置に関連付けて記憶するプロセスと、医療ボリュームデータに対して第2のボリュームレンダリングプロセスを含むさらなる処理を実行して、決定された第1の深度およびそれぞれの位置を使用して、第2のボリュームレンダリングを生成するプロセスとを含む。
第1のボリュームレンダリングプロセスは、最大強度プロジェクションボリュームレンダリングプロセスおよび/または最小強度プロジェクションボリュームレンダリングプロセスで構成することができる。第1のボリュームレンダリングプロセスは、第1のボリュームデータ内の所与の第1のサンプルポイント(所与の第1のサンプルポイントは、それぞれの位置のうちの所与のそれぞれの位置に関連付けられる)について、第1の視覚パラメータ値を決定することと、所与のそれぞれの位置に関連付けて第1の視覚パラメータ値を記憶することと、を含むことができる。
第2のボリュームレンダリングを生成するために、決定された第1の深度およびそれぞれの位置を使用することは、第1の深度およびそれぞれの位置に基づいて、第2のボリュームレンダリングプロセスのパラメータ値を設定すること、および/または、第1の深度およびそれぞれの位置に基づいて、第2のボリュームレンダリングプロセスの出力を修正することを含み得る。
第2のボリュームレンダリングプロセスは、物理ベースのボリュームレンダリングプロセスとすることができる。
第2のボリュームレンダリングプロセスは、それぞれの位置の第2の深度を決定し、第2の深度をそれぞれの位置に関連付けて記憶することを含んでもよく、設定または修正は、それぞれの位置のうちの所与の位置に対して、所与の位置の第1の深度と第2の深度との比較に基づいて実行されてもよい。
第2のボリュームレンダリングプロセスのパラメータ値は、所与の位置に関連付けられた所与の第2のサンプルポイントの視覚パラメータ値であってもよく、設定は、第1のボリュームレンダリングプロセスからの第1の視覚パラメータ値に基づいて、または第1の視覚パラメータ値に基づいて、所与の第2のサンプルポイントの視覚パラメータ値を決定することを含んでもよい。
修正は、それぞれの位置に対する第1の深さの変化率を決定すること、及び、決定された変化率に基づいて、第2のボリュームレンダリングプロセスの出力の視覚パラメータ値を修正することを含んでもよい。
第2のボリュームレンダリングプロセスの出力の視覚パラメータ値は、それぞれの位置のうちのaまたは所与の位置の視覚パラメータ値であってもよく、決定された変化率に基づいて視覚パラメータ値を修正することは、所与の位置において、決定された変化率が予め決定された閾値を満たすことを判定することと、決定された変化率が予め決定された閾値を満たすことに基づいて、所与の位置の視覚パラメータ値を修正することとを含んでもよい。
修正は、それぞれの位置の所与の位置において、第1のボリュームレンダリングプロセスからの第1の視覚的パラメータ値または第1の視覚的パラメータ値と、第2のボリュームレンダリングプロセスからの第2の視覚的パラメータ値とを組み合わせることを含み得る。
医療ボリュームデータは、第1のボリュームデータと、第1のボリュームデータと予め定められた空間的関係を有する第2のボリュームデータとの組み合わせから構成されてもよく、さらなる処理を実行することは、第1のボリュームデータと第2のボリュームデータとの組み合わせに対して第2のボリュームレンダリングプロセスを実行することを含んでもよい。
第1のボリュームデータは生理学的ボリュームデータを含み、第2のボリュームデータは解剖学的ボリュームデータを含む。
本発明の第2の側面によれば、プロセッサによって実行されると、本発明の第1の側面による方法を実行させる機械可読命令のセットが提供される。
本発明の第3の側面によれば、本発明の第2の側面による機械可読命令セットを含む機械可読媒体が提供される。
本発明の第4の態様によれば、プロセッサと、プロセッサによって実行されるとプロセッサに本発明の第1の態様による方法を実行させる機械可読命令セットを含むストレージとを備える装置が提供される。
以下、本発明を、一例として、以下の図を参照しながら説明する:
図1は、第1のボリュームデータからなる医療ボリュームデータをレンダリングするためのコンピュータ実施方法のフローチャート表現である。 図2は、医療ボリュームデータをレンダリングする方法の一例の第1のボリュームレンダリングプロセスの側面を概略的に示している。 図3は、図2の例の方法の第2のボリュームレンダリングプロセスの側面を概略的に示している。 図4は、医療ボリュームデータの可視化例を示しており、本明細書に記載される例示的な方法によって作成されている。 図5は、医療ボリュームデータの可視化例を示しており、本明細書に記載される例示的な方法によって作成されている。 図6は、医療ボリュームデータの可視化例を示しており、本明細書に記載される例示的な方法によって作成されている。 図7は、本明細書で説明する例示的な方法を実行するための装置を示している。
本明細書に記載される特定の実施例によれば、第1のボリュームデータを含む医療ボリュームデータは、第1のボリュームレンダリングプロセスと、第2のボリュームレンダリングプロセスを含むさらなるプロセスとを含む方法によってレンダリングされる。第1のボリュームレンダリングプロセスは、第1のボリュームデータの第1のボリュームレンダリングの位置の深さを決定することを含む。第1のボリュームデータは、例えば、ナトリウム濃度を表す細胞レベルのデータやCESTデータなどの生理学的ボリュームデータから構成される。
第1のボリュームレンダリングプロセスは、例えば、第1のボリュームデータに対して最大強度プロジェクションまたは最小強度プロジェクションを実行し、レンダリングにおける各画素のそれぞれの深度を決定し、各画素のそれぞれの深度をバッファに格納することを含むことができる。第1のボリュームレンダリングプロセスによって得られる深度は、例えば、特定の物質、例えばナトリウムの高濃度を有する医療ボリューム内の領域や、例えばCESTスキャンデータによって示されるような異常な程度の化学的活性を有する領域など、医療ボリュームデータの生理学的データの関心領域を表すことがある。
更なる処理は、医療ボリュームをレンダリングするために第1のボリュームレンダリングプロセスによって決定された深さを使用することを含む。例えば、更なる処理は、物理ベースの、例えば経路トレーシングのボリュームレンダリングプロセスを医療ボリュームデータに対して実行することを含むことができる。場合によっては、医療ボリュームデータは、例えば7T MRI MPRageなどのMRIスキャンプロトコルによって得られる解剖学的ボリュームデータなどの第2のボリュームデータも含む。
本方法は、例えば、医療ボリュームの最終的なレンダリングによって、特に関心のある医療ボリュームの部分、例えば、生理学的データの強度が最大又は最小の領域に関連する視覚情報をユーザに伝えることができ、同時に、医療ボリュームデータの全体的なコンテキスト、例えば、医療ボリュームデータの様々な部分の形状及び相対的な深さをユーザに提供することができる。例えば、第1のボリュームレンダリングプロセスで得られた深度を更なる処理で使用することにより、特定の例では、第1のボリュームデータの関心領域が医療ボリュームの他の部分で隠されていても、医療ボリュームデータの最終的なレンダリングで確実に見えるようにし得る。
図1は、第1のボリュームデータからなる医療ボリュームデータのレンダリングに使用する方法100の例をフローチャートで表したものである。
第1のボリュームデータは、スカラーフィールドの離散サンプリングからなる場合がある。第1のボリュームデータは、例えば、メモリ、センサ、および/または他のソースからロードすることによって受信され得る。第1のボリュームデータは、患者または患者の一部、例えば人間または動物の患者を表すことがある。
一般に、体積データセットを生成する任意の適切なスキャニングモダリティを使用して、第1のボリュームデータを生成することができる。例えば、スキャニングモダリティは、コンピュータ断層撮影(CT)又は磁気共鳴画像法(MRI)の使用を含むことができる。いくつかの実施形態では、陽電子放出断層撮影法(PET)、単一光子放出コンピュータ断層撮影法(SPECT)、超音波、又は他のスキャンモダリティの使用を含むスキャニングモダリティが使用され得る。スキャンデータは、複数の二次元(2D)スキャンの形態で提供されてもよいし、スキャンからフォーマットされてもよい。いくつかの例では、第1のボリュームデータは、スキャニングモダリティを用いて患者の少なくとも一部をスキャニングすることによって作成されたDICOMデータセットである。
体積データセットは、複数のボクセルとしてフォーマットされたデータから構成されることがある。ボクセルは、例えば、一様または非一様なグリッドであってもよいし、他のタイプの幾何学(例えば、極座標フォーマット)で配置されてもよい。ボクセルは等方性であっても異方性であってもよい。各ボクセルは、典型的には、スカラー場をサンプリングすることによって得られるスカラー値を表すことができるが、いくつかの例では、第1のボリュームデータは、非スカラー場に関するデータを含むことができる。各ボクセルが表す値の種類は、第1のボリュームデータが得られる手段に依存する場合がある。例えば、CTスキャナが第1のボリュームデータを生成するために使用される場合、データセットはハンスフィールド値で構成される。上述のように、特定の例では、第1のボリュームデータは生理学的ボリュームデータであってもよい。例えば、第1のボリュームデータは、ナトリウムまたはCEST 7T MRIスキャンモダリティなど、細胞レベルの生理学的情報を明らかにするために使用されるイメージングモダリティによって得られる生理学的ボリュームデータであってもよい。
ブロック102において、方法100は、第1のボリュームデータに対して第1のボリュームレンダリングプロセスを実行して、第1のボリュームデータの第1のボリュームレンダリングを生成することを備える。
第1のボリュームレンダリングプロセスは、第1のボリュームレンダリングのそれぞれの位置の第1の深度を決定し、深度をそれぞれの位置に関連付けて記憶することを含む。
第1のボリュームレンダリングプロセスは、最大強度プロジェクションおよび/または最小強度プロジェクションボリュームレンダリングプロセスを含む場合がある。例えば、第1のボリュームレンダリングプロセスは、第1のボリュームデータの最大強度プロジェクションを決定することを含んでもよい。他の例では、第1のボリュームレンダリングプロセスは、第1のボリュームデータの最小強度プロジェクションを決定することを含むことがある。最大強度プロジェクション、最小強度プロジェクション、又はその両方が決定されるかどうかは、可視化が生成される臨床的状況に対して、第1のボリュームデータの最大強度及び最小強度のいずれに関心があるかに依存してもよい。
第1のボリュームレンダリングプロセスでは、第1のボリュームデータの可視化を第1のボリュームデータの値のある範囲に制約するために、第1のボリュームデータの値の上限値および下限値を設定することができる。例えば、第1のボリュームレンダリングプロセスは、第1のボリュームデータの部分範囲を選択することと、第1のボリュームデータの選択された部分範囲の値に対して最大強度プロジェクションまたは最小強度プロジェクションを実行することとを含むことができる。これにより、第1のボリュームデータの可視化を、関心領域に対応する値の範囲に限定することができる場合がある。例えば、第1のボリュームデータが医療ボリューム中のナトリウム濃度を表す場合、特定の文脈では、ナトリウム濃度の比較的高い値のみが注目されることがある。レンダリングされる第1のボリュームデータの範囲は、例えば、ユーザが第1のボリュームデータに上限と下限を設定することによって制御することができる。
第1のボリュームレンダリングプロセスは、第1のボリュームデータに関して視点および視平面を定義することと、視点を起点とし、視平面を通って第1のボリュームデータを通る複数の光線を投射することとを含んでもよい。各光線は、視平面内の特定の位置、例えば視平面内の所与の画素を通して投射されることがある。最大強度プロジェクションを決定することは、各光線に沿って第1のボリュームデータの最大値を決定することを含む。各最大値に対して、対応する第1の深度が、例えば、光線に対応する画素の変数またはバッファに格納される。この例について、図2を参照して以下に詳細に説明する。
いくつかの例では、第1のボリュームレンダリングプロセスは、例えば、最大強度プロジェクションを決定する代わりに、または最大強度プロジェクションを決定することに加えて、第1のボリュームデータの最小強度投影を決定することを含むことができる。最小強度プロジェクションは、ボリュームを通って投射される各光線に沿って、最大値ではなく最小値を決定することによって、最大強度プロジェクションと同様の方法で決定することができる。
いくつかの例では、第1のボリュームレンダリングプロセスは、第1のボリュームデータ内のサンプルポイントについて第1の視覚パラメータ値を決定することを含むことがある。例えば、強度プロジェクションの最大値または最小値を決定するとき、色および/または不透明度が計算され、各画素の最大値または最小値とともにサンプルポイントに対して記憶されることがある。
所与のサンプルポイントに対する第1の視覚パラメータ値は、伝達関数を使用して決定することができる。例えば、サンプルポイントにおける第1のボリュームデータの値を使用してカラーマップからカラー値を検索することにより、サンプルポイントに対するカラーを計算することができる。カラーマップはウィンドウレベリングされてもよい。すなわち、カラーマップは、第1のボリュームデータの値への色の所望のマッピングを提供するために、第1のボリュームデータの値の適切な、例えば事前に定義された、またはユーザが制御する、範囲にマッピングされてもよい。
第1のボリュームレンダリングプロセスの結果は、第1のボリュームデータの第1のボリュームレンダリングであり、この第1のボリュームレンダリングは、例えば、視平面内の各画素の深度値を含むバッファから構成され、各画素について、その画素の第1のボリュームデータの最大値/最小値に対応する色値も含むことができる。
次に図2を参照すると、医療体積データセット200の第1のボリュームデータ210を実行した第1のレンダリングプロセスの例が概略的に図示されている。この例では、第1のボリュームデータ210は生理学的ボリュームデータである。第1のレンダリングプロセスは、医療体積データセット200をレンダリングする例示的な方法の一部を形成する。
図2で表される例示的な第1のボリュームレンダリングプロセスでは、体積データセット200に対して視点10が定義される。視平面20も定義され、視点10の正面に位置する。視平面20は、例えば格子状に配置された複数の画素(図2には図示せず)から構成され、視点10から見た体積データセット200の可視化を構築することができる。
この例では、第1のボリュームレンダリングプロセスは、第1のボリュームデータ210に対して実行される最大強度プロジェクション処理を含む。視点10から見た最大強度プロジェクションを生成するために、第1のボリュームデータ210を通る複数の光線230が、例えば光線キャスティングによって決定される。第1のボリュームデータ210は、各光線230に沿った複数の点でサンプリングされる。この例では、各光線に沿って最大値サンプルポイント220が決定される。所与の光線230に対する最大値サンプルポイント220は、光線230に沿ったサンプルのうち、第1のボリュームデータ210のサンプリング値が最大となるサンプルポイントである。最大値サンプルポイント220の各々の第1の深度、例えば視点10から最大値サンプルポイント220までの光線230に沿った距離が計算される。第1の深度の各々は、深度が対応する視平面20内の画素に関連付けられてバッファに格納される。
所与の光線について、非ゼロ値を有する光線に沿ったサンプルポイントが存在しない場合、その光線に対応するピクセルについて、無限大の深さがバッファに格納され得る。この例では、最大値サンプルポイント220の各々において、最大値サンプルポイント220における第1のボリュームデータ210の値を、例えばカラーマップを使用してカラー値にマッピングすることによって、カラー値も決定される。最大値サンプルポイント220の色値も、視平面20内の関連する画素に関連付けて記憶される。所与の光線に沿って非ゼロ値を有するサンプルポイントが存在しない場合、ヌル色値または色値が記憶されないか、または色値が未定義である場合がある。
この例では、第1のレンダリングプロセスの結果は、視平面20内の画素の各々について、第1の深度値および色値からなる第1のボリュームデータ210の最大強度プロジェクションである。この最大強度プロジェクションは、生理学的データにおける関心領域に関する有用な情報を提供することができ、この情報は、以下でさらに詳細に説明するように、医療データ200の可視化を提供するために使用することができる。
ここで図1に戻ると、ブロック104において、方法100は、第2のボリュームレンダリングを生成するために、第1のボリュームデータを含む医療データに対してさらなる処理を実行することからなる。
さらなるプロセスは、第2のボリュームレンダリングプロセスを含み、例えば、第2のボリュームレンダリングプロセスのパラメータ値を設定するため、または第2のボリュームレンダリングプロセスの出力を修正するために、第1の深度およびそれぞれの位置を使用することを含む。例えば、第1の深度は、第2のボリュームレンダリングプロセスのサンプルポイントにおける色および/または不透明度を設定するために、第2のボリュームレンダリングプロセス中に使用することができる。これにより、例えば、第1のボリュームデータの関心部分を隠蔽する医療用ボリュームデータの部分の色および/または不透明度を修正することによって、第1のボリュームデータの関心部分を隠蔽した部分を可視化することができる。さらに、または代替的に、第1の深度を使用して、第1の深度に基づいて、第2のボリュームレンダリングプロセスの出力内の位置、例えばピクセルの色を修正することができる。これにより、例えば、医療用ボリュームデータの可視化において、第1のボリュームデータの関心部分を効果的に可視化することもできる。
いくつかの例では、後述するように、医療ボリュームデータは、第1のボリュームデータと第2のボリュームデータ、例えば生理学的ボリュームデータと解剖学的ボリュームデータのそれぞれの組み合わせを含む。
第2のボリュームレンダリングプロセスは、第1のボリュームレンダリングプロセスと同じ視点から、同じ視平面に対して実行される。従って、第1のボリュームレンダリングにおける位置、例えば、最大又は最小強度プロジェクションが計算された画素は、第2のボリュームレンダリングにおける位置、例えば、医療ボリュームデータの可視化画像における画素に対応する。
第2のボリュームレンダリングプロセスは、物理ベースのボリュームレンダリングプロセス、例えばパストレースプロセスであってもよいし、他の例では、直接ボリュームレンダリングプロセス、例えばレイキャスティングプロセスであってもよい。
いくつかの例では、第2のボリュームレンダリングプロセスは、第1のボリュームレンダリングプロセス中に決定された第1の深度に対応するそれぞれの位置の第2の深度を決定することからなる。例えば、所与の画素について、第2の深度は、所与の光線に沿って、ビューイングポイントから医療ボリュームデータの最も近い非完全透明部分までの距離として計算されることがある。従って、この第2の深度は、視点を起点とし、視平面内の所与の画素を通って投射されるシミュレートされた経路が遭遇する医療データ内の最も近い表面を表すことができる。この例を図3を参照して以下に説明する。
上述のように、いくつかの例では、第2の深度は、第2のボリュームレンダリング中のサンプルポイントの色および/または不透明度値などのパラメータ値を設定するために、第1の深度と組み合わせて使用されてもよい。例えば、いくつかの例では、第2のボリュームレンダリングプロセスのパラメータ値は、所与のピクセルに対する第1の深度と第2の深度との比較に基づいて設定されてもよい。第1および第2の深度の比較は、サンプルポイントが、第1の深度が対応する第1のボリュームレンダリングプロセスからの最大値サンプルポイントよりも前、すなわち視点に近い位置にあるか、または第1の深度が対応する第1のボリュームレンダリングプロセスからの最大値サンプルポイントよりも後、すなわち視点から遠い位置にあるかを示す指標を与える可能性がある。この情報は、サンプルポイントが第1のボリュームデータの最大値サンプルポイントをオクルードしているか否かを判定するために使用することができる。
いくつかの例では、あるサンプルポイントが最大値サンプルポイントをオクルードする場合、与えられたサンプルポイントは最大値サンプルポイントの色で着色されてもよい。例えば、与えられたサンプルポイントに関連する色は、例えば、色を加算または乗算することによって、最大値サンプルポイントの色と組み合わせることができる。所与のサンプルポイントに関連する色は、所与のサンプルポイントにおける医療ボリュームデータの値に伝達関数を適用することによって得ることができる。最大値サンプルポイントの色は、上述したように、第1のボリュームデータへのカラーマップ/伝達関数の適用によって、第1のボリュームレンダリングプロセス中に決定されてもよい。このように所与のサンプルポイントを着色することで、第1のボリュームデータの関心領域が隠されている場合でも可視化することができる。例えば、より低いデータ値のシェルに埋め込まれたより高い生理学的データ値は、より高いデータ値に関連する色でより低いデータ値を着色することによって可視化されてもよい。同様に、後述するように、解剖学的データに埋め込まれた生理学的データ値は、解剖学的データを着色することによって可視化されてもよい。
上述したように、いくつかの例では、医療ボリュームデータは、第1のボリュームデータと第2のボリュームデータとの組み合わせを含み、第1のボリュームデータと第2のボリュームデータは、互いに予め決められた空間的関係を有する。例えば、医療ボリュームデータは、互いに登録された生理学的データと解剖学的データとから含んでもよい。
例では、第2のボリュームデータは、第1のボリュームデータを参照して上述した方法のいずれかによって得ることができる。いくつかの例では、第2のボリュームデータは、第1のボリュームデータとは異なる撮像モダリティ又はスキャンプロトコルによって得られる。例えば、第1のボリュームデータが、7T МRIスキャンプロトコルによって得られるナトリウム濃度又はCESTデータを示す生理学的ボリュームデータである場合、第2のボリュームデータは、МPRageなどの異なる7T МRIスキャンプロトコルによっても得られる解剖学的ボリュームデータであってもよい。
第2のレンダリングプロセスが実行される医療ボリュームデータが生理学的ボリュームデータと解剖学的ボリュームデータとを含む場合、生理学的データは解剖学的データ内に埋め込まれることが多い。そのため、所与の画素について、第2の深度は解剖学的データの深度であり、第1の深度は生理学的データの深度であることが多い。このような場合、解剖学的データは生理学的データの色で着色されてもよい。一方、いくつかの例では、レンダリングの観点から、生理学的データの高い値が生理学的ボリュームデータの低い値に埋め込まれることがある。このような場合、所与のピクセルに対して、第2の深度は生理学的データの低い値の深度となり、第1の深度は生理学的データの高い値の深度となる。このような例では、埋め込まれた生理学的ボリュームデータの高い値を可視化するために、生理学的ボリュームデータの低い値に色合いを適用することもできる。
いくつかの例では、医療用ボリュームデータにおいて第1のボリュームデータと第2のボリュームデータとが空間的に重なる場合、第1のボリュームデータと第2のボリュームデータの色および/または不透明度を組み合わせることによって、重なる部分の色および/または不透明度を決定することができる。色および/または不透明度の組み合わせは、例えば、色の加算または乗算を含んでもよい。上述したように、第1のボリュームデータと第2のボリュームデータに別々の伝達関数を適用することで、色を得ることができる。例えば、第1のボリュームデータが生理学的データであり、第2のボリュームデータが解剖学的データである場合、これによって、解剖学的データを生理学的データの色で着色したり、逆に、生理学的データの色と解剖学的データの色の一方を他方に置き換えたりすることができる。このような色/色の組み合わせは、生理学的データの最大値を閉塞するサンプルポイントの上述の色付けに加えて、またはその代わりに行うことができる。
さらに、いくつかの例では、本方法は、クリッププレーン、クロップボックス、セグメンテーションマスクなどのクリッピングツールの適用を含むことができる。これらのクリッピングツールの適用は、第1のボリュームレンダリングプロセスまたは第2のボリュームレンダリングプロセスのみに限定してもよいし、両方のプロセスに適用してもよい。さらに、これらのツールの適用は、第1のボリュームデータおよび第2のボリュームデータの一方または他方に限定することができる。これにより、例えば、生理学的ボリュームデータをクリップしないまま解剖学的ボリュームデータにクリッピングすることにより、埋め込まれた生理学的ボリュームデータを解剖学的ボリュームデータの内部に明らかにすることができる。
上述の例では、第1の深度は、第2のボリュームレンダリングプロセス中に使用され、例えば、物理ベースのレンダリングプロセス中にサンプルポイントを着色するために使用される。しかし、追加的または代替的に、いくつかの例では、第1の深度は、第2のボリュームレンダリングプロセスの出力を修正するために使用されてもよい。このような場合、更なるプロセスは、第2のボリュームレンダリングプロセスと、第2のボリュームレンダリングを生成するために第2のボリュームレンダリングプロセスの出力を修正するプロセス、すなわち医療用ボリュームデータの最終的な可視化を行うプロセスとからなる。例えば、第2のボリュームレンダリングプロセスによって出力されるレンダリングの画素値は、第1のボリュームデータの一部の周囲にシルエットを描くため、または第1のボリュームデータの一部に陰影を付けるために、第1の深度に基づいて修正されることがある。これらのシルエット、又はこのシェーディングは、第1の深度の画像空間偏導関数に基づいて適用することができ、第1の深度が画素ごとに大きく変化する領域を示し、これは第1のボリュームデータの特徴のエッジを示している可能性がある。この例については、以下で詳しく説明する。
ここで図3に戻ると、例として、第2のボリュームレンダリングプロセスの態様が示されている。図3は、例えばナトリウムまたはCEST МRIスキャンプロトコルによって得られた生理学的ボリュームデータである第1のボリュームデータ210と、例えば別のМRIスキャンプロトコルによって得られた解剖学的データである第2のボリュームデータ310との両方からなる医療体積データセット200を示す。第1のボリュームデータ210と第2のボリュームデータ310とは、医療体積データセット200において互いに登録されている。図2を参照して説明した第1のボリュームレンダリングプロセスは、医療体積データセット200の第1のボリュームデータ210に対してのみ実行されるが、図3に示す第2のボリュームレンダリングプロセスは、第1のボリュームデータ210と第2のボリュームデータ310との組み合わせに対して実行される。
図3は、第1のボリュームデータ210と第2のボリュームデータ310の組み合わせに対して実行される第2のボリュームレンダリングプロセスの例を示す。この例の第2ボリュームレンダリングプロセスは、物理ベースのレンダリングプロセスである。
図3に示す物理ベースのレンダリングプロセスでは、視点10から見た体積データセット200の可視化をレンダリングするために、ボリューム200を通る複数の経路330が決定され、各経路が、視平面20内の所与のピクセルへの光寄与を決定するために使用される。本実施例によれば、経路330は物理ベースの経路トレーシング法に従って決定される。しかしながら、他の実施例では、経路330は、レイキャスティングアプローチのような直接的なボリュームレンダリングアプローチによって決定されてもよい。
経路トレーシングは、複数の、例えば数百万のシミュレートされた経路330をトレースすることによって、散乱および吸収をシミュレートすることを含む、ボリューム200を通る光の伝搬をシミュレートする。経路330の各々は、画像平面20内の所与の画素に当たる光の推定値を生成するために使用される。所与の経路330の推定値は、経路330に沿った複数のサンプルポイントでボリューム200をサンプリングすることによって、例えば経路に沿って等距離間隔でサンプリングすることによって決定される。このような多くの推定値を平均化することにより、画像が画像平面20上にレンダリングされる。一実施形態によれば、画像平面20内の画素に当たる光の単一の推定値を作成するために、画像平面20上の画素のランダムな位置に対して視点10から始まる経路330の初期光線が生成された状態で、視点10から画像平面20内の所与の画素を通ってボリューム200を通る経路330がトレースされる。光線方向は、ピクセル内のこのランダムな位置と、視点10にあるシミュレートされたカメラレンズ(図示せず)上のランダムな位置とを結ぶことによって決定される。次に、カメラレンズによって屈折した光線とボリューム200のバウンディングボックスとの交点が計算され、例えばウッドコック追跡によって、ボリューム200内の光線の散乱位置(図示せず)が決定される。
その後、散乱位置を起点とする新たな光線を決定することにより、経路330が継続される。新たな光線の方向は、例えば、散乱位置における位相関数、すなわち散乱方向の確率密度関数を用いて決定することができる。位相関数は、例えば、散乱位置における体積データセット200の補間値(例えば、体積データセットがCTスキャンによって生成される場合のハンスフィールド値)に基づいて決定されることがある。
新しい光線は、経路330の次の散乱位置を決定するために、最初の光線と同様の方法でトレースされ、最初の散乱位置と同じ操作が次の散乱位置で実行される。このパスのトレースプロセスは、パス30の光線が体積データセット200に吸収されるか、体積データセット200から離れるまで続けられる。体積データセット200による吸収は、例えば、散乱イベント数の最大閾値を用いるか、散乱イベント数に基づく消滅確率密度関数を用いて確率的にモデル化することができる。一例では、散乱イベントの最大閾値数の後に経路330がまだボリューム200内にある場合、経路330は、それが対応する検出器ピクセルに寄与しない。経路330が所与の散乱イベント数以内にボリューム200から離れた場合、経路330の光寄与が決定され、経路330が対応する画素に当たる光の推定値を提供する。
その関連する画素に対する所与の経路330の光寄与を決定するために、経路330は経路330に沿った複数の点でサンプリングされ、所与の経路330に関連する画素の表示値に対する寄与を生成するためにサンプリングされた点でデータが収集される。このような経路330を多数生成し、画像平面20内の関連する画素の表示値に対するそれらの寄与を決定することによって、例えば、トレースされる経路330の数が増加するにつれて画像が徐々に洗練された、ボリューム200の画像が生成される。
例では、レンダリングアルゴリズムは、ボリューム200を照らす光源340をモデル化することによって、照明効果をモデル化することができる。照明効果は、サンプルポイントにおける不透明度およびカラー値を決定するときに考慮されることがある。例えば、サンプルポイントにおけるシミュレートされた光を考慮して、サンプルポイントにおいてシェーディング計算を適用することができる。光源340は、点光源、指向性光源、または光マップから構成される。また、シミュレーション光源は、他の種類の光源、例えば光を発するあらゆる物体のモデル、であってもよく、複数の異なる光源の組み合わせであってもよい。いくつかの例では、体積データセット200自体の一部が発光することがある。いくつかの例では、光源は高精細ライトマップで構成されることがある。ライトマップは、例えば、体積データセット200が立方体の場合、体積データセット200の外側の辺に対応する6つの辺を持つことができる。
上述したように、第1のボリュームデータ210と第2のボリュームデータ310とが重なる体積データセット200内のサンプルポイントについては、第1のボリュームデータ210に関連付けられた色および/または不透明度と、第2のボリュームデータ310に関連付けられた色および/または不透明度とを組み合わせることによって、シェーディングを計算することができる。例えば、第1のボリュームデータ210と第2のボリュームデータ310の値に別々の伝達関数を適用して、所与のサンプルポイントのそれぞれの色および/または不透明度を得ることができる。これは、ボリュームデータ210、310の分類とも呼ばれることがある。これらの色および/または不透明度をブレンドするか、または他の方法で組み合わせて使用して、物理ベースのボリュームレンダリングプロセスで使用される所与のサンプルポイントの色および/または不透明度を得ることができる。
さらに、この例では、所与の経路330のトレース中に、視点10に最も近い非完全透明サンプルポイント320に遭遇すると、このサンプルポイント320の深度、例えばサンプルポイント320から視点10までの距離が決定される。この深度は、本明細書では第2の深度と呼ばれ、所与の経路330が対応する画素に関連付けられたバッファに格納される。
いくつかの例では、所与の画素に対応する光線330をトレースすることによってサンプルポイント320のシェーディングを計算するとき、サンプルポイント320の深さ、すなわち第2の深さは、所与の画素に対応する最大値サンプルポイント220の深さ、すなわち所与の画素に関連する第1の深さと比較される。図3に示す2つの例示的な光線330の場合のように、第1の深度が第2の深度よりも大きい場合、サンプルポイント320におけるシェーディングの計算は、最大値サンプルポイント220における第1のボリュームデータ210の色、すなわち第1のボリュームレンダリングプロセス中に決定された色に少なくとも部分的に基づいてサンプルポイント320のシェーディングを決定することを含む。シェーディングは、例えば、サンプルポイント320における第2のボリュームデータ310の色と最大値サンプルポイント220の色とを組み合わせることを含んでもよい。これにより、最大値サンプルポイント220の色に基づくサンプルポイント320の色合いが提供され、視点10から見て、サンプルポイント320が位置する第2のボリュームデータ310の特徴の背後にあるにもかかわらず、最大値サンプルポイント220を可視化することができる。
図3の例では経路トレーシングのボリュームレンダリングプロセスを示しているが、他の例では、第2のボリュームレンダリングプロセスはレイキャスティングプロセスであってもよい。レイキャスティングは、ボリュームを通る複数の光線を横断することを含むことがあり、各光線は、視点を起点とし、視平面内の所与の画素を通過し、体積データセット200を直線で通過する。ボリュームは、各光線に沿った複数のサンプルポイントでサンプリングされてもよく、各サンプルポイントにおける視覚パラメータデータ、例えば色および/または不透明度データは、光線が対応する画素の色を決定するために使用される。
図2および図3には示されていないが、上述のように、特定の実施形態では、第2のボリュームレンダリングプロセスの出力は、第1のボリュームレンダリングプロセス中に計算された第1の深度に少なくとも部分的に基づいて修正される。第2のボリュームレンダリングプロセスの出力のこの修正は、第2のボリュームレンダリングプロセス中に第1の深度および位置を使用することに加えて、またはその代わりに行うことができる。
いくつかのそのような例では、第2のボリュームレンダリングプロセスの出力は、追加の画像空間レンダリングパスによって修正される。例えば、第1の深度値の画像空間偏導関数が計算され、第2のボリュームレンダリングプロセスの出力を変更するかどうか、および変更する方法を決定するために使用される。
例えば、第2のボリュームレンダリングプロセスの出力内の画素について、第1の深度の画像空間偏導関数が計算され、偏導関数が予め決められた、例えば固定またはユーザ定義の閾値を満たす場合、出力画素の色が変更される。深度の画像空間偏導関数が大きいと、例えば、第1のボリュームデータ内の生理学的特徴のエッジを示すことがある。画像空間偏微分が閾値を満たすピクセルの色は、予め定義された色、例えば白に変更することができる。これにより、第1のボリュームデータの特徴に対してシルエットを生成することができる。いくつかの例では、直交する2方向についての第1の深度の画像空間における変化率を考慮した偏導関数、例えばd/dx偏導関数及びd/dy偏導関数が、出力を変更するかどうか及び変更する方法を決定するために使用されることがある。他の例では、1つの偏導関数のみが使用されることがあり、これにより、第1のボリュームデータの特徴の特定の、例えば水平または垂直のエッジ上のシルエットのみが提供されてもよい。
偏導関数の計算は、非常に計算効率が高い場合がある。例えば、d/dxおよびd/dy偏微分計算は、最新のGPUに組み込まれている場合がある。
さらに、いくつかの例では、シルエット内のボリュームレンダリングの領域は、画像空間パス中に再着色されることがある。例えば、いくつかの例では、画素の色の修正は、偏導関数の値が閾値を満たすかどうかだけでなく、偏導関数の実際の値にも依存することがある。例えば、偏微分値が閾値を大きく超える画素は、特徴のシルエットを提供するために白く着色されることがあり、一方で、より低い偏微分値を持つ画素は影を付けられたり、ハッチングされたりすることがある。これにより、可視化されている第1のボリュームデータの特徴について、ユーザにより大きな可視性および/またはコンテキストを提供することができる。
いくつかの例では、第1の深度と第2の深度との比較は、第2のボリュームレンダリングプロセスの出力を修正するかどうか、および修正する方法を決定するために使用されてもよい。例えば、第2のボリュームレンダリングプロセスの出力内の各画素について、第1の深度が第2の深度より大きいかどうかを決定するためのチェックが実行されることがある。その後、チェックに基づいて修正が実行されることがある。いくつかの例では、偏導関数の計算および偏導関数の閾値との比較は、第1の深度の第2の深度に対するチェックが所与の結果を提供する場合、例えば第1の深度が第2の深度より大きい場合にのみ、所与のピクセルに対して計算される。
これにより、例えば、埋め込まれた生理学的データのみ、または埋め込まれていない生理学的データのみの周囲にシルエットを描くことができる。例えば、シルエットは、第1の深度が第2の深度よりも大きい画素の色のみを変更することによって、例えば第2のボリュームデータによってオクルードされる第1のボリュームデータのみに適用することができる。あるいは、シルエットは、第1の深度が第2の深度よりも大きくない画素の色のみを変更することによって、オクルードされていない第1のボリュームデータのみに適用されることもある。あるいは、例えば、そのようなチェックを省略することによって、第1のボリュームデータがオクルードされているか否かに関係なく、第1のボリュームデータにシルエットを適用することもできる。さらに、または代替的に、いくつかの例では、第2のボリュームレンダリングプロセスの出力は、第1のボリュームデータ内の最大値サンプルポイントに対する第1のボリュームレンダリングプロセス中に決定された色値に基づいて変更されることがある。これにより、例えば、物理ベースのボリュームレンダリングプロセス中に色合いを適用することに加えて、またはその代わりに、画像空間パスにおいてレンダリングの色合いを実行することができる。例えば、物理ベースのレンダリングプロセスの出力における所与の画素について、第1の深度が第2の深度よりも大きいと判定される場合、これは、第1のボリュームデータにおける最大強度点が他のボリュームデータの背後にあることを示す。このような例では、第1のボリュームレンダリングプロセス中に決定された最大値サンプルポイントの色と、第2のボリュームレンダリングプロセスからの色値とを組み合わせて、所与の画素の修正色を生成することができる。
この方法は、他の生理学的データや解剖学的データなどの他のボリュームデータに埋め込まれた生理学的ボリュームデータの関心データ値などの、埋め込まれたボリュームデータの可視化の改善を提供することができる。上述したように、このようなオクルージョンの問題は、一般に、2Dスライス撮像技術では問題にならないが、3Dレンダリングでは、関心のあるデータ値、例えば、生理学的データの高い値が、他の値、例えば、生理学的データの低い値によって隠されることがある。
3Dレンダリングでは、クリッププレーン、クロップボックス、伝達関数のウィンドウ化、およびオクルーディングデータの選択的除去を伴うボリューメトリックデータのセグメンテーションが、典型的には、ボリューメトリックレンダリングにおけるこのような制限を克服するために使用されることがある。例えば、脳を可視化する場合、頭蓋骨が患者の脳表面の視界を遮らないように、脳分離セグメンテーションマスクを生成することができる。例えば、補助ボリュームデータの形のセグメンテーションマスクをセグメンテーション情報として使用することができる。クリッププレーンやクロップボックスは、撮影領域の選択された空間領域を占める解剖学的構造を幾何学的に除去するために使用することができる。しかし、このような技術だけでは、埋め込まれたデータ値を効果的に可視化できない場合がある。
本方法は、例えば生理学的なデータが、そのようなデータが隠蔽されている場合であっても、可視化することを可能にする可能性がある。これにより、ユーザが重要な隠された情報や埋め込まれた情報を見落とすのを防ぐことができる。さらに、本方法は、可視化された医療データの部分の相対的な深さと位置に関するコンテキストをユーザに提供するボリュームレンダリングを提供することを可能にする。特定の例では、本方法は、生理学的ボリュームデータと解剖学的ボリュームデータとを明確に区別したり、生理学的データの特定の部分を囲むシルエットを使用するなどして、埋め込まれた生理学的ボリュームデータと埋め込まれていない生理学的データとを区別したりするのに役立つ場合がある。
さらに、本方法は、計算効率の高い方法で効果的な可視化を提供することができる。第1のボリュームレンダリングプロセスは、例えば、第1のボリュームレンダリングプロセスが最大および/または最小強度投影プロセスである例では、計算が安価であってよい。第2のボリュームレンダリングプロセスは、物理ベースのレンダリングプロセスまたは直接ボリュームレンダリングプロセスで構成することができる。このステップでどのタイプのボリュームレンダリングプロセスを使用するかの選択は、所望のリアリズムレベルと関連する計算コストのレベルに依存する場合がある。さらに、本方法が画像空間パスを含む例では、このパスで計算される画像空間偏導関数が最新のGPUに組み込まれている可能性があるため、このようなパスの計算効率が高い可能性がある。
図4から図6は、本明細書で説明する例示的な方法によって生成された可視化の様々な例を示す。これらの例の各々は、最大強度投影プロセスから得られた深度に基づいて物理ベースのボリュームレンダリングプロセスの出力を修正することを含む画像空間パスを含む例示的な方法によって生成された特徴を含む。
図4は、患者の頭部を描いた医療データの可視化400の第1の例を示す。医療データは、ナトリウム7T МRIスキャンプロトコルによってキャプチャされた様々な構造410、420、430、440からなる生理学的データからなる。医療データはまた、7T МRI МPRageスキャンプロトコルによって撮影された解剖学的領域450を含む解剖学的データからなる。生理学的データの値は、データのサブ範囲のみが可視化されるように制約されている。この例では、ナトリウム濃度が高い領域のみが生理学的データのサブ範囲に含まれる。これらの領域には、例えば、患者の目の領域420と440、および患者の脳に埋め込まれた特定の構造、例えば領域410が含まれる。この例では、患者の脳を明らかにするために解剖学的データにセグメンテーションマスクが使用されているが、可視化から解剖学的データのセグメントを除去するために解剖学的データにクリッピングプレーンも適用されている。この例では、解剖学的データがクリッピングされた領域に生理学的データの残存構造410と420からわかるように、クリッピング平面は解剖学的データにのみ作用し、生理学的データはクリッピングされない。
図4の可視化は、生理学的データに対して最大強度投影パスを実行し、続いて生理学的データと解剖学的データの組み合わせに対してパストレースレンダリングパスを実行することを含む例示的な方法によって生成された。最大強度投影パスの間、生理学的データの最大値の深さが計算され、各画素について記憶されている。さらに、各画素について、カラーマップ460を使用して、最大強度のサンプルポイントに対応する色が計算された。経路トレーシングパスの間、解剖学的データのカラーパレットは、解剖学的データと生理学的データが重なる部分で生理学的データのカラーパレットと融合された。
さらに、生理学的データの最大強度の埋め込み点を可視化するために、サンプルポイントに色合いが適用されている。例えば、患者の右頬の領域430や患者の左目の領域440を含む解剖学的データの領域は、解剖学的データに埋め込まれたナトリウム生理学的データの高強度領域を可視化するために、着色されて見える。この着色は、上記の例で説明したように、経路トレーシング中に最も近い完全に透明でないボリュームサンプルのパス深度を計算し、生理学的データの最大値を閉塞するボリュームの一部を着色することによって行われている。図からは見えないかもしれないが、この色合いは、生理学的データの高い強度値が生理学的データの低い値に埋め込まれている生理学的データの領域、例えば患者の右目の領域420にも適用される。
図4の可視化を生成するために、経路トレーシングパスの後にさらに画像空間レンダリングパスが実行された。画像空間レンダリングパスの間、解剖学的データに埋め込まれていない生理学的データの領域、例えば領域410と420について、最大強度投影パスからの深度の画像空間偏導関数を計算し、画像空間偏導関数が閾値を満たす画素の色を白に変更することによって、領域のシルエットが描かれた。所与の画素が解剖学的データに埋め込まれていない生理学的データを表すかどうかは、最大強度投影パス中に計算された深度と経路トレーシングパスからの深度との比較によって決定された。
図5は、本明細書に記載された例示的な方法によって生成された第2の可視化例500を示す。この例は、図4と同じデータを示している。可視化は、図4について説明したのと同様の方法で作成されているが、領域430および440のような解剖学的データに埋め込まれている生理学的データにのみシルエットが画像空間パスで適用されていることを除いては、図4について説明したのと同様の方法で作成されている。
図6は、本明細書に記載された例示的な方法によって生成された第3の可視化例600を示す。この例では、可視化された医療データは、解剖学的データ650の領域と、領域660および670からなるCEST生理学的データとからなる。この例は、解剖学的データ650に埋め込まれた生理学的データの領域、例えば領域660および670へのシルエットの適用を示す。シルエットは、上記の例を参照して説明したように、画像空間パスの間に適用された。さらに、この例では、領域660および670のシルエット内にハッチングまたはハイライト効果が作成されている。このハッチング効果は、画像空間内の画素の色を変更するかどうかを決定する際に、最大強度投影中に得られた深さの画像空間偏導関数が比較される閾値を適切に設定することによって作成されている。
ここで図7を参照すると、例示的な装置704が本明細書に記載の方法を使用することができる例示的なシステム701が概略的に示されている。システム701は、スキャナ702、装置704、及び可視化ユニット714から構成される。実施例では、システムは、図7に図示された構成要素よりも少ない構成要素で構成されてもよいし、図7に図示された構成要素よりも追加の構成要素で構成されてもよい。例えば、システム701は、インターネットのようなコンピュータネットワークから構成されてもよい。
スキャナ702は、医療体積データセット200を構成するデータセットを生成するための任意のスキャナであってよく、このデータセットは、説明したように、例えば、患者の一部を表すことができる。例えば、スキャナ702は、コンピュータ断層撮影(CT)スキャナ、磁気共鳴画像(МRI)スキャナ、陽電子放射断層撮影(PET)スキャナ、超音波スキャナ等であってもよい。スキャナ702は、例えば有線又は無線接続を介して装置704に接続される。スキャナ702は、体積データセットを装置704に提供するように配置されてもよい。
装置704は、プロセッサ706と、ストレージ708の形態のメモリとから構成される。装置704は、例えば、GPUで構成され得る。この例では、装置704は、体積データセット200の可視化をレンダリングする上述の方法を実行するように配置される。装置704は、例えば、本方法のボリュームレンダリングプロセスを動作させるための1つまたは複数のプロセッサで構成されてもよい。
ストレージ708は、プロセッサ706によって実行されると装置704に本明細書に記載の例示的な方法を実行させる一組の機械可読命令を含む機械可読媒体で構成されてもよい。プログラムは、それによってプログラムを実行するために装置704によって読み取られ得るコンピュータ可読媒体に記憶され得る。装置704は、スキャナ702から体積データセット200を直接または間接的に受信するか、または他の方法で取得するように配置されることができる。
装置704は、情報、例えば、体積データセット200のレンダリングを定義する値、例えば、画像平面内の各画素の色値を、可視化ユニット714に送信するように配置され得る。送信は、例えば、有線接続、無線接続、またはインターネットを介して、直接的または間接的に行われる。
可視化ユニット714は、装置704によって生成されたボリューム200の二次元投影を表示するための可視化ソフトウェアで構成することができる。可視化ユニット714は、表示スクリーン、および1つまたは複数のグラフィックスハードウェアまたはソフトウェアコンポーネントから構成されることがある。いくつかの例では、可視化ユニット714は、モバイルデバイスであるか、またはモバイルデバイスから構成され得る。いくつかの例では、可視化ユニット714は、仮想現実または拡張現実デバイスで構成され得る。可視化ユニット714は、いくつかの実施例において、ステレオ画像を表示することができる。
上記の実施形態は、本発明の例示として理解されるべきである。他の実施形態も想定される。任意の1つの実施形態に関連して記載された任意の特徴は、単独で、または記載された他の特徴と組み合わせて使用することができ、また、他の実施形態の1つまたは複数の特徴、または他の実施形態の任意の組み合わせと組み合わせて使用することもできることを理解されたい。さらに、添付の特許請求の範囲に定義される本発明の範囲から逸脱することなく、上記に記載されていない等価物および変更も採用することができる。

Claims (14)

  1. 第1のボリュームデータを含む医療ボリュームデータをレンダリングするためのコンピュータ実施方法(100)であって、前記方法は、
    前記第1のボリュームデータ(210)の第1のボリュームレンダリングを生成するために第1のボリュームデータ(210)について第1のボリュームレンダリングプロセスを実行すること(102)と、前記第1のボリュームレンダリングプロセスは、前記第1のボリュームレンダリングのそれぞれの位置の第1の深度を決定すること、および、前記それぞれの位置に関連付けて前記深度を記憶することを含み、および、
    前記決定された第1の深度およびそれぞれの位置を使用して、第2のボリュームレンダリングを生成するために、第2のボリュームレンダリングプロセスを含み、医療ボリュームデータ(200)について、さらなるプロセスを実行すること(104)と、を有し、
    前記第1のボリュームデータ(210)は生理学的ボリュームデータを有し、第2のボリュームデータ(310)は解剖学的ボリュームデータを有する、
    コンピュータ実施方法。
  2. 前記第1のボリュームレンダリングプロセスは、最大強度プロジェクション及び/又は最小強度プロジェクションボリュームレンダリングプロセスを含む、請求項1に記載の方法(100)。
  3. 前記第1のボリュームレンダリングプロセスは、
    前記第1のボリュームデータ(210)内の所与の第1のサンプルポイント(220)について、前記所与の第1のサンプルポイントがそれぞれの一の所与のそれぞれの位置に関連付けられ、第1の視覚パラメータ値を決定すること、及び
    前記所定のそれぞれの位置に関連付けて前記第1の視覚パラメータ値を記憶すること、
    を含む、
    請求項1に記載の方法(100)。
  4. 前記第2のボリュームレンダリングを生成するために、前記決定された第1の深度およびそれぞれの位置を使用することは、
    前記第1の深度およびそれぞれの位置に基づいて、前記第2のボリュームレンダリングプロセスのパラメータ値を設定すること、および/または
    前記第1の深度およびそれぞれの位置に基づいて、前記第2のボリュームレンダリングプロセスの出力を修正すること、を含む
    請求項3に記載の方法(100)。
  5. 前記第2のボリュームレンダリングプロセスは、物理ベースのボリュームレンダリングプロセスである、
    請求項4に記載の方法(100)。
  6. 前記第2のボリュームレンダリングプロセスは、前記それぞれの位置の第2の深度を決定すること、及び前記それぞれの位置に関連付けて前記第2の深度を記憶することを含み、前記設定すること又は前記修正することは、前記それぞれの位置の所定の又は前記所定の位置について、前記所定の位置の前記第1の深度と前記第2の深度との比較に基づき実行される、請求項4に記載の方法(100)。
  7. 前記第2のボリュームレンダリングプロセスの前記パラメータ値は、前記所与の位置に関連付けられた所与の第2のサンプルポイント(320)の視覚パラメータ値であり、前記設定することは、前記第1のボリュームレンダリングプロセスからの前記第1の視覚パラメータ値に基づいて、前記所与の第2のサンプルポイント(320)の前記視覚パラメータ値を決定することを含む、
    請求項6に記載の方法(100)。
  8. 前記修正することは、前記それぞれの位置に対する前記第1の深度の変化率を決定することと、前記決定された変化率に基づいて前記第2のボリュームレンダリングプロセスの前記出力の視覚パラメータ値を修正することとを含む、請求項4に記載の方法(100)。
  9. 前記第2のボリュームレンダリングプロセスの前記出力の前記視覚パラメータ値は、前記それぞれの位置のうちの所定の又は前記所定の位置の視覚パラメータ値であり、前記決定された変化率に基づいて前記視覚パラメータ値を修正する前記修正することは、前記所定の位置において、前記決定された変化率が予め決定された閾値を満たすことを判定すること、および、前記決定された変化率が前記予め決定された閾値を満たすことに基づいて、前記所定の位置の視覚パラメータ値を修正することを含む、請求項8に記載の方法(100)。
  10. 前記修正することは、前記第1のボリュームレンダリングプロセスからの前記第1の視覚パラメータ値と前記第2のボリュームレンダリングプロセスからの第2の視覚パラメータ値とを、前記それぞれの位置の所与の位置で、組み合わせることを含む、請求項4に記載の方法(100)。
  11. 前記医療ボリュームデータ(200)は、前記第1のボリュームデータ(210)と、前記第1のボリュームデータ(210)と予め定められた空間的関係を有する第2のボリュームデータ(310)との組み合わせを含み、前記さらなるプロセスを実行することは、前記第1のボリュームデータ(210)と前記第2のボリュームデータ(310)との前記組み合わせ(200)について前記第2のボリュームレンダリングプロセスを実行することを含む、請求項1に記載の方法(100)。
  12. プロセッサ(706)によって実行された場合に、請求項1~11のいずれか1項に記載の方法が実行される、機械可読命令セット。
  13. 請求項12に記載の機械可読命令セットを有する機械可読媒体。
  14. プロセッサ(706)と、前記プロセッサ(706)によって実行されたときに前記プロセッサ(706)に請求項1~11のいずれか1項に記載の方法を実行させる機械可読命令セットを含むストレージ(708)とを有する装置(704)。
JP2023110022A 2022-08-17 2023-07-04 医療ボリュームデータをレンダリングするためのコンピュータ実施方法 Active JP7476403B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22190815.5A EP4325436A1 (en) 2022-08-17 2022-08-17 A computer-implemented method for rendering medical volume data
EP22190815 2022-08-17

Publications (2)

Publication Number Publication Date
JP2024028133A JP2024028133A (ja) 2024-03-01
JP7476403B2 true JP7476403B2 (ja) 2024-04-30

Family

ID=82942532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023110022A Active JP7476403B2 (ja) 2022-08-17 2023-07-04 医療ボリュームデータをレンダリングするためのコンピュータ実施方法

Country Status (4)

Country Link
US (1) US20240062454A1 (ja)
EP (1) EP4325436A1 (ja)
JP (1) JP7476403B2 (ja)
CN (1) CN117593440A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107093A (ja) 2004-10-05 2006-04-20 Konica Minolta Medical & Graphic Inc 画像処理装置、およびプログラム
JP2006340774A (ja) 2005-06-07 2006-12-21 Hitachi Medical Corp 神経モニタリング機能を有する手術ナビゲーションシステム
US20070229500A1 (en) 2006-03-30 2007-10-04 Siemens Corporate Research, Inc. System and method for in-context mpr visualization using virtual incision volume visualization
WO2008059417A1 (en) 2006-11-13 2008-05-22 Koninklijke Philips Electronics N. V. Fused perfusion and functional 3d rotational angiography rendering
US20090103793A1 (en) 2005-03-15 2009-04-23 David Borland Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
JP2023547526A (ja) 2020-11-05 2023-11-10 コーニンクレッカ フィリップス エヌ ヴェ 断層撮影画像データの画像レンダリング方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1565888A2 (en) * 2002-11-29 2005-08-24 Bracco Imaging S.p.A. System and method for displaying and comparing 3d models
US7439974B2 (en) * 2005-02-09 2008-10-21 Siemens Medical Solutions Usa, Inc. System and method for fast 3-dimensional data fusion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107093A (ja) 2004-10-05 2006-04-20 Konica Minolta Medical & Graphic Inc 画像処理装置、およびプログラム
US20090103793A1 (en) 2005-03-15 2009-04-23 David Borland Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
JP2006340774A (ja) 2005-06-07 2006-12-21 Hitachi Medical Corp 神経モニタリング機能を有する手術ナビゲーションシステム
US20070229500A1 (en) 2006-03-30 2007-10-04 Siemens Corporate Research, Inc. System and method for in-context mpr visualization using virtual incision volume visualization
WO2008059417A1 (en) 2006-11-13 2008-05-22 Koninklijke Philips Electronics N. V. Fused perfusion and functional 3d rotational angiography rendering
JP2023547526A (ja) 2020-11-05 2023-11-10 コーニンクレッカ フィリップス エヌ ヴェ 断層撮影画像データの画像レンダリング方法

Also Published As

Publication number Publication date
EP4325436A1 (en) 2024-02-21
JP2024028133A (ja) 2024-03-01
US20240062454A1 (en) 2024-02-22
CN117593440A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN109584349B (zh) 用于渲染材料属性的方法和设备
EP3493161B1 (en) Transfer function determination in medical imaging
JP6373600B2 (ja) 医用画像処理装置及び医用画像処理方法
EP3345162B1 (en) Visualization of surface-volume hybrid models in medical imaging
US7889194B2 (en) System and method for in-context MPR visualization using virtual incision volume visualization
US9001124B2 (en) Efficient determination of lighting effects in volume rendering
US8466916B2 (en) System and method for in-context volume visualization using virtual incision
US11810243B2 (en) Method of rendering a volume and a surface embedded in the volume
JP5415068B2 (ja) カーブした細長い構造の切断面の視覚化
Bullitt et al. Volume rendering of segmented image objects
US7893938B2 (en) Rendering anatomical structures with their nearby surrounding area
EP3404621A2 (en) Internal lighting for endoscopic organ visualization
Macedo et al. A semi-automatic markerless augmented reality approach for on-patient volumetric medical data visualization
US20110090222A1 (en) Visualization of scaring on cardiac surface
US20170301129A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing system
Wilson et al. Interactive multi-volume visualization
JP7476403B2 (ja) 医療ボリュームデータをレンダリングするためのコンピュータ実施方法
de Farias Macedo et al. Improving on-patient medical data visualization in a markerless augmented reality environment by volume clipping
CN116485968A (zh) 用于确定医学体积中辐射剂量分布的计算机实现的方法
JP5260933B2 (ja) 異常を強調するための医用画像の漫画風誇張
US20230360214A1 (en) Technique for Optimizing Rendering Parameters of Overlays of Medical Images
JPH01135339A (ja) 三次元画像診断装置
EP3767593A1 (en) Method of generating a computer-based representation of a surface intersecting a volume and a method of rendering a visualization of a surface intersecting a volume
Preim et al. Visualization, Visual Analytics and Virtual Reality in Medicine: State-of-the-art Techniques and Applications
EP4322111A1 (en) Volumetric peeling method for monte carlo path tracing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230925

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240417

R150 Certificate of patent or registration of utility model

Ref document number: 7476403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150