JP7373484B2 - ボリュメトリック画像データのボリュームレンダリング - Google Patents

ボリュメトリック画像データのボリュームレンダリング Download PDF

Info

Publication number
JP7373484B2
JP7373484B2 JP2020505396A JP2020505396A JP7373484B2 JP 7373484 B2 JP7373484 B2 JP 7373484B2 JP 2020505396 A JP2020505396 A JP 2020505396A JP 2020505396 A JP2020505396 A JP 2020505396A JP 7373484 B2 JP7373484 B2 JP 7373484B2
Authority
JP
Japan
Prior art keywords
volume
user
subvolume
image data
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505396A
Other languages
English (en)
Other versions
JP2020530156A (ja
Inventor
アレクサンドラ グロッス
ヨヘン ペータース
ロルフ イールゲン ウィース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020530156A publication Critical patent/JP2020530156A/ja
Application granted granted Critical
Publication of JP7373484B2 publication Critical patent/JP7373484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ボリュメトリック画像データのボリュームレンダリングのためのシステム及びコンピュータ実現方法に関する。本発明は、更に、前記システムを有するワークステーション及びイメージング装置、並びにプロセッサシステムにコンピュータ実現方法を実行させるための命令を有するコンピュータ可読媒体に関する。
コンピュータトモグラフィ(CT)、磁気共鳴(MR)などの医療画像取得技法は、患者の解剖学的領域のボリュメトリック画像データを取得することができる。ここで、「ボリュメトリック画像データ」という用語は、画像ボリュームを表す画像データを指す。このようなボリュメトリック画像データは、患者の解剖学的領域又は構造の3次元(3D)ビューを提供することができ、それによって医学的診断及び患者の治療を支援することができる。
ボリュメトリック画像データは、ユーザにさまざまなやり方で提示されることができる。例えば、ボリュメトリック画像データが、画像スライスのスタックによって表現される場合、画像スライスの1つが、表示のために選択されることができる。別の例は、マルチプラナリフォーマット技法を使用して斜め(オブリーク)スライスが生成されることができることである。
更に別の例は、ボリュームレンダリング技法を使用して、ボリューム画像データの2次元(2D)ビューを生成することである。いくつかのボリュームレンダリング技法が当技術分野で知られており、それらは一般的に画像データに不透明度の値を割り当て、不透明度値を使用してビューイング面に画像データを投影することを含みうる。ボリュームレンダリングの出力は、通常2D画像である。
セグメンテーションを使用して、画像ボリュームのサブボリュームを輪郭描出し、サブボリューム内の画像データのボリュームレンダリングを生成することが知られている。これにより、特定の解剖学的領域又は構造を視覚化することができる。
Sherbondy他による"Fast Volume Segmentation With Simultaneous Visualization Using Programmable Graphics Hardware"という題名の出版物は、強度及び勾配値に基づくマージ基準と、非線形拡散を使用してスケーリングされた勾配感度とに関するシード領域成長に基づく高速セグメンテーション方法を記述している。使用されるセグメンテーションアルゴリズムは、その計算速度とハードウェア加速ボリュームレンダラとの協調とにより、インタラクティブな視覚化及び制御を可能にすると言われている。
更に、ユーザは、セグメンテーションアルゴリズムのパラメータをインタラクティブに(対話的に)変更して、セグメンテーションアルゴリズムを再び実行することができると言われている。
欧州特許第2312534号公報は、3次元関心領域(3D-ROI)を使用してボリュームレンダリングの範囲を制限できる装置について記述している。
http://docs.mitk.org/2016.11/org_mitk_views_segmentation.html#org_mitk_gui_qt_segmentationUserManualOverviewを通じて示される医用イメージング対話ツールキット(MITK)のセグメンテーションプラグインのマニュアルは、人体の医用イメージの解剖学的及び病理学的構造のセグメンテーションを生成することを可能にするセグメンテーションプラグインを記述している。修正ツールを使用することにより、小さな修正変更が、具体的にはラインを描くことによって、セグメンテーションに適用されることができる。
不利益なことに、Sherbondy他によって説明されるような知られている方策は、ユーザが容易に、ボリュームレンダリングされているサブボリュームを調整することを可能にしない。
ボリュームレンダリングされるサブボリュームを、ユーザがより容易に調整することを可能にするシステム及び方法を得ることが有利である。
本発明の第1の態様によれば、或るタイプの解剖学的構造を示す画像ボリュームの画像データをボリュームレンダリングするシステムであって、画像ボリュームの画像データにアクセスするように構成される画像データインタフェースと、ユーザによって操作可能なユーザ入力装置からユーザ入力データを受け取るように構成されるユーザ入力インタフェースと、システムの出力を視覚化するためにディスプレイに表示データを提供するように構成される表示出力インタフェースと、命令セットを表す命令データを有するメモリと、画像データインタフェース、ユーザ入力インタフェース、表示出力インタフェース、及びメモリと通信し、命令セットを実行するように構成されるプロセッサと、を有し、命令セットは、プロセッサによって実行されるとき、前記タイプの解剖学的構造をセグメント化するためのセグメンテーションモデルを規定するモデルデータにアクセスするステップと、画像ボリュームの画像データにセグメンテーションモデルを適用し、それにより、画像ボリューム内の解剖学的構造のセグメンテーションを表現する画像ボリュームのサブボリュームを輪郭描出するステップと、サブボリューム内の画像データのビューイング面へのボリュームレンダリングを含むビューポートを表示するために、表示データを生成するステップと、ユーザ入力インタフェース及び表示出力インタフェースを使用して、ユーザがユーザ選択されたビューイング面を確立するステップと、をプロセッサに実行させ、前記ユーザインタフェースは、ユーザが、ボリュームレンダリングのビューイング面のジオメトリをインタラクティブに調整すること、及び、サブボリュームにプッシュ動作及びプル動作の少なくとも一方を適用することにより、サブボリュームをインタラクティブに調整すること、を可能にし、プッシュ動作により、サブボリュームの一部が内方に引っ張られ、プル動作により、サブボリュームの一部が外方に引っ張られ、プッシュ動作又はプル動作が適用されるサブボリュームの一部は、ユーザ選択されたビューイング面のジオメトリに基づきプロセッサによって選択され、前記サブボリュームのボリュームレンダリングが、ユーザによるビューイング面又はサブボリューム調整に応じて、ビューポート内で更新される、システムが提供される。
本発明の他の態様は、前記システムを有するワークステーション又はイメージング装置を提供する。
本発明の他の態様は、解剖学的構造のタイプを示す画像ボリュームの画像データのボリュームレンダリングのためのコンピュータ実行方法であって、画像ボリュームの画像データにアクセスするステップと、前記タイプの解剖学的構造のタイプをセグメント化するためのセグメンテーションモデルを定義するモデルデータにアクセスするステップと、画像ボリュームの画像データにセグメンテーションモデルを適用し、それにより、画像ボリューム内の解剖学的構造のセグメンテーションを表す画像ボリュームのサブボリュームを輪郭描写するステップと、サブボリューム内の画像データのビューイング面へのボリュームレンダリングを含むビューポートを示す表示データを生成するステップと、ユーザが、ユーザ選択されたビューイング面を確立するために、ボリュームレンダリングのビューイング面のジオメトリをインタラクティブに調整し、サブボリュームへのプッシュ動作及びプル動作の少なくとも一方を適用して、サブボリュームをインタラクティブに調整することを可能にする、ユーザインタフェースを確立するステップと、プッシュ動作により、サブボリュームの一部が内方に引っ張られ、プル動作により、サブボリュームの一部が外方に引っ張られ、プッシュ動作又はプル動作が適用されるサブボリュームの一部は、ユーザ選択されるビューイング面のジオメトリに基づき、プロセッサによって選択される、ステップと、ユーザによるビューイング面又はサブボリュームの調整に応じて、ビューポート内のサブボリュームのボリュームレンダリングを更新するステップと、を有する方法が提供される。
本発明の他の態様は、プロセッサシステムにコンピュータ実現方法を実行させるように構成された命令を表す一時的又は非一時的データを含むコンピュータ可読媒体を提供する。
上記の手段は、CT及びMRI、ポジトロンエミッショントモグラフィ、SPECTスキャン、超音波検査などを含むがこれらに限定されないさまざまな撮像モダリティによって取得されるボリュメトリック画像データにアクセスするために構成される画像データインタフェースを提供する。ボリュメトリック画像データは、例えばボクセルの3Dアレイのような画像ボリュームとして直接フォーマットされることができるが、画像ボリュームを表現するものとして異なる形態でフォーマットされることもできる。後者の例は、画像スライスなどの2D画像のセットであり、これらが一緒になって画像ボリュームを表現する。
上記の方策は、ユーザにより操作可能なユーザ入力装置からユーザ入力コマンドを受け取るユーザ入力インタフェースを更に提供する。特に、ユーザは、例えばコンピュータのマウス、キーボード、又はタッチスクリーンのようなユーザ入力装置を使用することにより、システムに入力コマンドを提供し、システムによって確立されるユーザインタフェースのようなシステムのさまざまな動作形態を制御することができる。更に、システムの使用中にディスプレイに接続されてシステムの視覚出力を表示することができる表示出力インタフェースが提供される。
セグメンテーションモデルを画像データに適用するためのメモリに記憶された命令によって構成可能なプロセッサが提供される。このようなセグメンテーションモデルは、モデルデータによって定義されることができ、或るタイプの解剖学的領域又は構造をセグメント化するように構成されることができる。効果的に、プロセッサは、セグメンテーションモデルを画像データに適用することによって、画像データのモデルに基づくセグメンテーションを実施することができる。このために、メモリに記憶される命令は、適応技法を規定することができる。この段落において説明される機能それ自体は、医用画像のモデルベースのセグメンテーションの分野から知られていることに注意されたい。
セグメンテーションモデルを画像データに適用することによって、画像ボリュームのサブボリュームが、輪郭描出されることができ、それは通常、セグメンテーションモデルによって表現される前記タイプの解剖学的領域又は構造に対応する。例えば、心臓を含む胸郭の内部が、セグメント化されることができる。次いで、サブボリューム内の画像データは、例えば、任意の適切な知られているタイプのボリュームレンダリング技法を使用して、ビューイング面上にボリュームレンダリングされ、それにより、サブボリューム内の画像データのボリュームレンダリングを表す出力画像を取得する。サブボリューム内の画像データのこのボリュームレンダリングは以後、単に「サブボリュームのボリュームレンダリング」又は簡単に「レンダリングされたサブボリューム」と呼ばれる。ビューイング面は、幾何学的構造でありえ、例えば、平面座標によって、画像ボリュームに関連して規定されることができる。
ディスプレイに表示されるとき、レンダリングされたサブボリュームをビューポートに表示する表示データが生成される。例えば、ビューポートは、グラフィカルユーザインタフェースのウインドウに、又は全画面表示されることができる。ユーザは、例えば画像ボリューム内のビューイング面の位置又は向きを調整することにより、ビューイング面のジオメトリをインタラクティブに調整し、それによって画像ボリューム内を効果的にナビゲートし、サブボリュームの異なる視点からボリュームレンダリングを取得することができる。そのようなタイプのナビゲーションはそれ自体知られている。
本願発明者は、多くの医用アプリケーションにおいて、(臨床)ユーザが主にサブボリュームのボリュームレンダリングに興味があり、この場合、セグメンテーションモデルは、ボリュームレンダリングされようとするサブボリュームを選択するための「目標達成手段」にすぎないと考えた。しかしながら、セグメンテーションは不完全である可能性があり、小さなエラーであってもボリュームレンダリングに大きな影響を与えることがある。
ユーザがセグメンテーションモデルから得られたセグメンテーションを手動で調整することができることが知られている。例えば、セグメンテーションモデルがメッシュモデルの場合、メッシュ部品の位置を変更することができ、又はメッシュ部品の解像度を上げることができる。そのような技法は、例えば、国際公開第2017001476号に記載されており、セグメンテーションモデルによるサブボリュームのセグメンテーションを説明する限りにおいて、参照により本明細書に組み込まれる。適用されるセグメンテーションモデル及びそれによってセグメント化されたサブボリュームを調整するために、国際公開第2017001476号公報は、メッシュ部品の調整を許容するために最適化される画像データの断面図を生成する。そのような断面図は、マルチプラナリフォーットによって生成される。
しかしながら、ユーザが、主にサブボリュームのボリュームレンダリングに興味があり、従ってセグメンテーションモデルを「目標達成手段」と考える場合、又は、サブボリュームを選択するためにセグメンテーションモデルを内部で使用するシステムに気づかない場合、国際公開第2017001476号公報に記載されるように、意図的に生成された断面図においてセグメンテーションモデルを調整することは望ましくないことがある。
このような断面図は、サブボリュームのボリュームレンダリングからユーザの気をそらすだけでなく、断面図内のセグメンテーションモデルの調整がボリュームレンダリングにどのように影響するかを判断することも困難である。例えば、図3は、心臓を遮る薄い骨の層315を示し、これは、胸郭の内部のセグメント化が例えばサブミリメートルのレンジでわずかに不正確であることの結果でありうる。サブボリュームのボリュームレンダリングにそのようなタイプの遮蔽物又は類似のタイプのアーティファクトが含まれているかどうかを断面図から判断することは困難であり又は不可能である。
Sherbondy他は、セグメンテーションにおける変更がボリュームレンダリングに及ぼす影響を示しているが、セグメンテーションパラメータにおける調整の形態の変更のみを可能にしており、その後、セグメンテーションアルゴリズムが再び実行されなければならない。調整されることができるセグメンテーションパラメータのタイプに依存して、特定の調整をセグメンテーションに適用することは困難であり又は不可能でさえある。
これらの問題に対処するために、本願発明者は、プッシュ動作及び/又はプル動作をサブボリュームに適用することによって、ユーザによるサブボリュームの調整に応答してサブボリュームのボリュームレンダリングを更新しながら、サブボリュームをユーザがインタラクティブに調整することを可能にするユーザインタフェースを確立することを考案した。ここで、プッシュ動作により、サブボリュームの一部が内方に引っ張られ、プル動作により、サブボリュームの一部が外方に引っ張られる。事実、ユーザは、サブボリュームの一部を内方に押す、及び/又はサブボリュームの一部を外方に引っ張ることにより、サブボリュームを直接的に調整することができる。例えば画像ボリュームに関する位置及び/又は向きのようなジオメトリが、ユーザ調整可能であるとき、プッシュ又はプル動作が適用される部分は、ビューイング面のジオメトリに基づき自動的に選択されることができ、おそらくユーザは、プッシュ及び/又はプル動作を起動する場合、当該動作が現在可視であるサブボリュームの一部に適用されることを望み、又は前記サブボリュームの調整が現在ジオメトリにおいて可視であることを少なくとも望む。例えば、動作は、サブボリュームの中央に示される部分に自動的に適用される。こうして、プッシュ及び/又はプル動作が適用される部分が、自動的に選択され、明示的なユーザインタラクションを必要としなくてよいが、ユーザにより直感的に理解可能である。ボリュームレンダリングは、このような調整の後すぐに更新されるので、ユーザは調整がどのようにボリュームレンダリングに影響を及ぼすかということを直ちに知ることができる。従って、別個の断面図において調整を行う必要がなく、また、調整は、例えば、閾値又は感度パラメータなどの、局所的ではなく全体的であり得るセグメンテーションアルゴリズムのセグメンテーションパラメータに制限される必要もない。
必要に応じて、プッシュ動作又はプル動作は、キーボードコマンド及び所定のマウスインタラクションの少なくとも一方に基づいて、ユーザによって選択され適用される。このようなタイプのユーザ入力は即時的であり、ユーザは、プッシュ動作及び/又はプル動作(要するに押し/引き動作)を迅速かつ直感的にアクティブ化することができる。
必要に応じて、プッシュ動作又はプル動作が適用されるサブボリュームの一部は、ビューポートの中心に表示されるサブボリュームのポイント、及びユーザ選択されるボリュームレンダリングのビューイング面に最も近いサブボリュームのポイント、の少なくとも一方に基づき、プロセッサによって選択される。
プッシュ/プル動作は、例えばサブボリュームのポイントを中心に又はサブボリュームのポイントに対し相対的な位置において、局所的にセグメンテーションモデルに適用されることができる。ビューポートの中心又はビューイング面に最も近いポイントは、自動的に選択されることができ、明示的なユーザインタラクションを必要としないが、ユーザによって直観的に理解可能である。サブボリュームのそのようなポイント及び他のポイントは、ユーザ選択されるビューイング面のジオメトリに基づき、決定されることができる。
任意に、ユーザインタフェースは手動選択モードを有し、このモードでは、プッシュ動作又はプル動作が適用されるサブボリュームの一部は、サブボリュームのポイントのユーザ選択に基づき、プロセッサによって選択される。プロセッサによる選択に加えて又はその代替として、ユーザは、例えばビューポート内をクリックすることにより、サブボリュームのポイントを手動で選択することもできる。
任意の、ユーザインタフェースを使用して、プッシュ動作又はプル動作の空間範囲及び度の少なくとも一方を選択することができる。プッシュ/プル動作は、選択されたポイントの周囲など、空間領域内に局所的に適用され、プッシュ/プル変形の程度を決定する強度をもつことができる。この範囲及び強度は、ユーザによって選択可能でありえ、例えばユーザインタフェースにおいて前記パラメータを特定することにより明示的に、又は、例えばプッシュ/プル動作をアクティブにするユーザ入力の特性に基づいて暗示的に、選択可能である。例えば、ドラッグによってプッシュ/プル動作がアクティブにされる場合、距離が強度を決定する。
任意には、ユーザインタフェースは、プル動作及びプッシュ動作がボリュームレンダリングのユーザ選択されたビューイング面と平行な面において作用する辺縁調整モードを有し、辺縁調整モードが選択されると、サブボリュームの水平方向の辺縁のアウトラインがビューポートに視覚化される。例えばユーザ選択されたビューイング面と平行な面に沿って、水平方向にサブボリュームを調整するときにユーザを補助するために、サブボリュームの断面アウトラインの形の視覚補助をユーザに提供することができる辺縁調整モードが提供されることができる。このような視覚補助は、それがレンダリングされたサブボリュームの水平方向の辺縁を遮らないので、このタイプの調整にとって邪魔にならないことが分かる。
任意には、辺縁調整モードが選択されると、画像ボリューム内のサブボリュームを囲む画像データは、サブボリューム内の画像データとは異なる視覚化パラメータに従ってボリュームレンダリングされ、ビューポートに表示される。サブボリュームを水平方向に調整する場合、アウトラインの表示に加えて、他の視覚補助が、すなわち表示されているサブボリュームのすぐ外側の画像データのボリュームレンダリングの形で、提供されることもできる。これにより、ユーザは、プル動作によってサブボリュームが拡大されたときの効果をすばやく確認することができる。それにもかかわらずサブボリュームの境界を明確に表示するために、周囲の画像データは、例えば、より高い不透明度又はより低い強度でというように、別の態様で視覚化されることができる。他のタイプの調整では、このような視覚補助は、レンダリングされたサブボリュームを再び遮る、又はレンダリングされたサブボリュームによって遮られる。
任意に、ユーザインタフェースは、プル動作及びプッシュ動作がボリュームレンダリングのユーザ選択されたビューイング面に直交する平面内で作用する前面調整モードを含む。このモードでは、ユーザは、サブボリュームの前面、例えばユーザのほう向いている面を調整することができる。
任意には、前面調整モードが選択されると、画像ボリューム内のサブボリュームを囲む画像データは、ボリュームレンダリングから除外されるか、ボリュームレンダリングにおいて100%不透明度が割り当てられる。
任意には、セグメンテーションモデルはメッシュモデルである。このようなメッシュモデルは、解剖学的領域又は構造のセグメント化に良く適している。
任意には、セグメンテーションモデルは、閉じたハル(外殻、hull)を規定する。このような閉じたハルは、サブボリュームを選択するために直接使用されることができる。
当業者には理解されるように、本発明の上記の実施形態、実現例、及び/又は任意の態様の2つ以上を、有用と考えられる任意の方法で組み合わせることができる。
ワークステーション、撮像装置、方法及び/又はコンピュータプログラム製品の変更及び変形は、記述されたシステムの変更及び変形に対応し、本明細書に基づいて当業者によって実施されることができる。
当業者であれば、システム及び方法が、以下に限定されないが、標準X線イメージング、コンピュータトモグラフィ(CTスキャン)、磁気共鳴イメージング(MRI)、超音波(US)、ポジトロンエミッショントモグラフィ(PET)、シングルフォトンエミッションコンピュータトモグラフィー(SPECT)、及び核医学(NM)などのさまざまな取得モダリティによって取得された画像データに適用されうることが分かるであろう。
本発明のこれらの態様及び他の態様は、以下の説明において例として記載される実施形態を参照し、添付の図面を参照して、更に明らかになり、更に説明される。
図1は、ディスプレイ及びユーザ入力装置が接続されている画像ボリュームの画像データをボリュームレンダリングするためのシステムを示す図。 画像ボリューム、及び画像ボリューム内のサブボリュームを輪郭描出するセグメンテーションモデルを示す図。 サブボリューム内の画像のボリュームレンダリングの例であって、サブボリュームが薄い骨の層を有し、それによりボリュームレンダリング内で心臓の一部が遮られている例を示す図。 レンダリングされたサブボリュームを有するビューポートを示し、ユーザインタフェースの前面調整モードにおけるプッシュ動作及びプル動作を示す図。 セグメンテーションモデルの断面図であり、プル動作による調整がセグメンテーションモデルを局所的に変形することを示す図。 セグメンテーションモデルの断面図であり、プッシュ動作による調整がセグメンテーションモデルをどのように局所的に変形するかを示す図。 レンダリングされたサブボリュームを有するビューポートを示し、ユーザインタフェースの辺縁調整モードにおけるプル動作を示す図。 画像ボリュームの画像データをボリュームレンダリングするためのコンピュータ実行方法のブロック図。 命令を有するコンピュータ可読媒体を示す図。
図は全く概略的であり、一定の縮尺で描かれていないことに留意すべきである。図において、既に説明した構成要素に対応する構成要素は、同じ参照番号を有することができる。
以下の実施形態は、ユーザがサブボリュームにプッシュ動作及びプル動作の少なくとも一方を適用することによりサブボリュームをインタラクティブに調整することを可能にするユーザインタフェースを提供することを含む。プッシュ動作によってサブボリュームの一部が内方に引っ張られ、プル動作によってサブボリュームの一部が外方に引っ張られることができる。サブボリュームのボリュームレンダリングは、ユーザによるサブボリュームの調整に応じて更新されることができる。
図1は、画像ボリュームの画像データをボリュームレンダリングするためのシステム100を示す。システム100は、画像ボリュームの画像データ030にアクセスするように構成される画像データインタフェース120を有する。図1の例において、画像データインタフェース120は、画像ボリュームの画像データ030を含む外部画像レポジトリ020に接続されるように示されている。例えば、画像レポジトリ020は、システム100が接続されるか又は含まれる病院情報システム(HIS)の写真アーカイブ及び通信システム(PACS)により構成されることができ、又はその一部でありうる。従って、システム100は、外部データ通信022を介して画像ボリュームの画像データ030へのアクセスを得ることができる。代替として、システムの内部データストレージからボリュメトリック画像データにアクセスしてもよい。一般に、画像データインタフェース120は、例えばインターネットなどのローカル又はワイドエリアネットワークへのネットワークインタフェース、内部又は外部データストレージへのストレージインタフェースなど、さまざまな形態をとることができる。
更に、システム100は、システム100の動作中に、例えばグラフィカルユーザインタフェースを使用してユーザがシステム100と対話することができるように構成されることができるユーザインタフェースサブシステム180を有するように示されている。ユーザインタフェースサブシステム180は、ユーザにより操作可能なユーザ入力装置080からユーザ入力データ082を受け取るように構成されるユーザ入力インタフェース184を有するように示されている。ユーザ入力装置080は、コンピュータマウス、タッチスクリーン、キーボード、マイクなどを含むがこれらに限定されないさまざまな形をとることができる。図1は、コンピュータマウス080であるユーザ入力装置を示している。一般に、ユーザ入力インタフェース184は、ユーザ入力装置080のタイプに対応するタイプのものでありえ、すなわち、それに対応するタイプのユーザ入力インタフェース184でありうる。
ユーザインタフェースサブシステム180は、更に、システム180の出力を視覚化するためにディスプレイ060に表示データ062を提供するように構成される表示出力インタフェース182を有するように示されている。図1の例では、ディスプレイは外部ディスプレイ060である。代替として、ディスプレイは内部ディスプレイであってもよい。
システム100は更に、データ通信122を介して画像データインタフェース120と内部通信するように構成されるプロセッサ140と、データ通信142を介してプロセッサ140によってアクセス可能なメモリ160とを有する。プロセッサ140は更に、データ通信144を介してユーザインタフェースサブシステム180と内部通信するように示されている。
プロセッサ140は、システム100の動作中、画像ボリュームの画像データ030にセグメンテーションモデルを適用し、それによって画像ボリュームのサブボリュームを輪郭描出し、サブボリューム内の画像データのボリュームレンダリングを含むビューポートを表示するために表示データ062を生成し、ユーザ入力インタフェース184及び表示出力インタフェース182を使用して、ユーザがサブボリュームにプッシュ動作及びプル動作の少なくとも一方を適用することによりサブボリュームをインタラクティブに調整することを可能にするユーザインタフェースを確立するように構成されることができ、前記プッシュ動作により、前記サブボリュームの一部が内方に引っ張られ、前記プル動作により、前記サブボリュームの一部が外方に引っ張られ、サブボリュームのボリュームレンダリングは、ユーザによるサブボリュームの調整に応答してビューポート内で更新される。
システム100のこの動作、及びそのさまざまな任意の態様が、図2-図6を参照してより詳しく説明される。
いくつかの実施形態では、システム100によって確立されるユーザインタフェースは、ディスプレイ060に表示されるグラフィカルユーザインタフェースであり、又はそれを含むことができる。その目的のために、プロセッサ140は、ユーザにグラフィカルユーザインタフェースを表示するために表示データ062を生成するように構成されることができる。グラフィカルユーザインタフェースは、プロセッサ140にアクセス可能なメモリ、例えば、メモリ160又はシステム100の別のメモリにデータとして記憶されるインタフェース命令の組によって表現されることができる。他の実施形態において、システム100によって確立されるユーザインタフェースは、グラフィカルユーザインタフェースではないことに留意されたい。例えば、ユーザは、キーボードを使用してシステム100に入力を提供し、ビューポートは、ディスプレイに全画面表示されることができる。システム100のそのような構成は、従来、グラフィカルユーザインタフェースとして理解されないことがある。
一般に、システム100は、ワークステーション又はイメージング装置又はモバイル装置のような単一の装置又は機器として、又はその中に具体化されることができる。装置又は機器は、適当なソフトウェアを実行する1又は複数のマイクロプロセッサを有することができる。ソフトウェアは、対応するメモリ、例えばRAMなどの揮発性メモリ又はFlashなどの不揮発性メモリにダウンロードされ及び/又は記憶されることができる。代替として、システムの機能ユニット、例えば、画像データインタフェース、ユーザ入力インタフェース、表示出力インタフェース、及びプロセッサは、例えば、フィールドプログラマブルゲートアレイ(FPGA)として、プログラマブルロジックの形態で装置又は機器に実装されてもよい。一般に、システムの各機能ユニットは、回路の形で実現されることができる。システム100は更に、例えば、それぞれ異なる装置又は機器を有する分散された態様で実現されることもできることに留意されたい。例えば、分散は、例えばサーバとシンクライアントを使用して、クライアント/サーバーモデルに従って実現することができる。
図2は、画像ボリューム200をそのアウトラインによって概略的に示しており、セグメンテーションモデル210が画像ボリューム200の画像データに適用された結果として、画像ボリューム200内のサブボリューム210の輪郭描出又はセグメンテーションが得られたことを示す。図2、図5A及び5Bにおいて、サブボリューム210は、セグメンテーションモデル210によって占有されるボリュームに対応するように図示されており、従って、同じ参照番号によって参照され、視覚化される。
モデルベースのセグメンテーションのための任意の知られている技法が、特定のサブボリューム、例えば「関心のあるサブボリューム」を輪郭描出するために使用されることができる。サブボリュームは、胸郭の内部のような解剖学的領域、心臓のような解剖学的臓器、又は任意の他のタイプの解剖学的構造に対応しうる。モデルベースのセグメンテーションは、画像ボリュームのサブボリュームを包含し、それによって輪郭描出する、閉じた表面、例えばハル(hull、外殻)を明示的又は暗示的に規定するポイント(点)の組をもたらすことができる。このようなモデルベースのセグメンテーションの例は、Ecabert他による"Automatic Model-based Segmentation of the Heart in CT Images" IEEE Transactions on Medical Imaging2008,27 (9)、pp.1189-1201に記載されている。
一般に、セグメンテーションモデルは、解剖学的領域又は構造の(外側の)表面にとどまらないものを規定することができることが理解される。例えば、セグメンテーションモデルは、臓器の内部構造だけでなく、臓器の外部構造も輪郭描出する。そのような例では、サブボリュームは、セグメンテーションモデルの外側表面、例えばハルによって輪郭描出されることができる。しかしながら、セグメンテーションモデルは、このような外側表面を直接かつ単独で規定することもできる。
図3は、サブボリューム内部の画像データのボリュームレンダリング310の一例を示す。ここで、サブボリュームは胸郭の内部に対応し、ゆえに、心臓のみを輪郭描出している図2のサブボリュームとは異なることに留意されたい。図3において、画像ボリュームの外側の画像データは、例えばボリュームレンダリング技法への入力から除外されたことにより又は100%の不透明度が割り当てられたことにより、図示されていない。図3に示されるように、レンダリングされたサブボリューム310は、構造の不所望の部分を含みうる。例えば、図3の場合、サブボリュームは薄い骨の層315を含み、それにより、ボリュームレンダリング310の中で心臓の一部が遮られている。これは、モデルベースのセグメンテーションの小さな、場合によってはサブミリメートルの偏差に起因しうる。また、セグメンテーション中により大きなエラーが生じることがある。例えば、セグメンテーションアルゴリズムの限られた視野に起因して、脊椎として解釈された大動脈のような構造がセグメンテーションから誤って除外されることがある。この場合、ボリュームレンダリングは、ユーザにとって関心がある構造を欠くことがある。これらのケース及び同様のケースにおいて、サブボリュームを調整することが望ましいことがある。
このような調整は、セグメンテーションが正しい場合にも望ましいことがある。例えば、セグメンテーションモデルが関心のある解剖学的領域又は構造を完全に表現せず、従って、原則的には正しいセグメンテーションの「補正」が望まれることがある。
図4は、表示コンテンツ300の一部としてディスプレイ上に表示されうるビューポート330を示す。図1のシステム100は、そのような表示コンテンツを生成することができ、表示コンテンツは、表示データの形でディスプレイに提供される。図4に示されないが、表示コンテンツ300は、ビューポート330以外の他のコンテンツを含むことができ、他のコンテンツは、グラフィカルユーザインタフェースのボタン、メニュー等を含むが、これらに限定されない。いくつかの実施形態において、表示コンテンツは、ビューポート330のみで構成されることができ、この場合、ビューポート330は全画面表示される。
ビューポート330は、図3に示すものと同様のレンダリングされたサブボリュームを含むように示されている。ユーザは、ビューポート330を使用して画像ボリューム内をナビゲートし、サブボリュームの複数の異なるパースペクティブからボリュームレンダリングを得ることができる。そのようなナビゲーションは、ユーザが図1のシステム100にナビゲーションコマンドを提供することに基づくことができる。これらのナビゲーションコマンドは、例えば画像ボリュームの中でビューイング面の位置又は向きを調整することによって、ボリュームレンダリングのビューイング面のジオメトリの調整に、システム100によって変換されることができる。そのようなタイプのナビゲーションはそれ自体知られている。
更に、図1のシステム100が提供する調整ツールが概略的に示されている。すなわち、ビューポート330が提示されると、ユーザは、図4に矢印410で示されるように、サブボリュームの一部が内方に押されるようにするプッシュ動作を選択することができることが示されている。同様に、ユーザは、サブボリュームの一部が外方に引っ張られるようにするプル動作を選択することができ、これは図4の矢印400で示されている。図4の例では、プッシュ動作とプル動作の両方が、ビューイング面に直交する方向で変形を生じさせ、プル動作は、サブボリュームの一部をユーザの方へ引っ張り、プッシュ動作は、サブボリュームの一部をユーザから遠ざかるほうへ押す。
プッシュ動作とプル動作の方向は、さまざまな方法で決定されることができる。例えば、特定の平面でプッシュ動作及びプル動作が作用する特定の調整モードが提供されることができる。例えば、図4に示すように、前面調整モードが提供されることができ、このモードでは、プル動作400及びプッシュ動作410は、ボリュームレンダリング310のビューイング面に直交する面内で、例えばユーザに向かうほうへ及びユーザから離れるほうへ作用する。別の例は、調整の方向が、調整されるサブボリュームの一部の空間方向に依存しうることである。例えば、調整の方向は常に、その表面に対して垂直方向である。更に他の例は、プッシュ/プル動作を選択してアクティブにするために使用される入力コマンドのタイプが、プッシュ/プル動作がどの方向に実施されるかを決定することである。
一般に、プッシュ動作410又はプル動作400が適用されるサブボリュームの部分は、サブボリュームのポイント420を中心とするように選択されることができ、他の場合にはポイント420に対して相対的に配置されることができる。例えば、ポイント420は、ビューポート330の中心に示されるサブボリュームのポイント、又はボリュームレンダリングのビューイング面に最も近いサブボリュームのポイントとして、システムによって選択されることができる。そのような例では、ユーザは、例えばシステムがそのような機能を提供する場合にレンダリングされたサブボリュームを回転又は移動することにより、ポイントの選択に間接的に影響を与えることができることが分かるであろう。代替として又は付加的に、ユーザは、例えばカーソルを介してポイント420を手動で選択することができる。
システムによって提供されるユーザインタフェースは、ユーザが、プッシュ動作410又はプル動作400の空間範囲430及び/又は強度を選択することを更に可能にすることができる。この空間範囲は、図4に空間半径によって画定される円430として示されているが、任意の他の形状を有していてもよく、プッシュ/プル動作によって影響を受けるサブボリュームの表面上の領域のサイズを規定することができる。例えば、領域は、ポイント420までの表面上の測地距離に基づいて、例えば、セグメンテーションモデルを表すメッシュの表面上の距離として、又はポイントの周りの所与の空間半径を有する球とサブボリュームとの交差によって与えられる領域として、選択されることができる。空間半径、又は一般に空間範囲は、デフォルト値を有することができる。同様に、サブボリュームの表面がプッシュ/プル動作によってどの程度変形されるかを規定する強度が、選択されることができる。強度は、ユーザ定義される値又はデフォルト値である。
プッシュ動作及びプル動作は、さまざまな方法で選択されアクティブ化されることができることが分かるであろう。いくつかの実施形態において、選択及びアクティブ化は同じであってもよい。例えば、プッシュ/プル動作は、キーボードコマンド又はホイールのスクロールやマウスのドラッグなどのマウスインタラクションによって選択され及びアクティブ化されることができ、これにより、内方(「プッシュ」)又は外方(「プル」)の方向が、マウスインタラクションの方向に基づいて決定されることができる。プッシュ/プル動作の選択は、例えばメニューからの選択によって、例えばマウスクリックなどのアクティブ化により、グラフィカルユーザインタフェースで行うこともできる。
図5A及び図5Bは共には、セグメンテーションモデルの断面図220、222において、プッシュ/プル動作による調整がセグメンテーションモデルをどのように局所的に変形させるかを示す。これらの図は例示の目的で提供されており、ユーザにより調整が実施される態様を表していないことに留意されたい。図5Aは、プル動作400を示しており、セグメンテーションモデル(サブボリュームが)の表面230が、プル動作400によってポイント420の周りで外方に局所的に変形され、局所的に調整された表面232をもたらすことが分かる。図5Bは、プッシュ動作410を示しており、表面230が、プッシュ動作410によってポイント420の周りで局所的に内方に変形され、それによって局所的に調整された表面234もたらすことが分かる。
図6は、表示コンテンツ302の一部としてディスプレイ上に表示されうるビューポート332を示すとともに、辺縁調整モードを更に示す。そのような辺縁調整モードでは、プル動作402及びプッシュ動作(図6には明示的に示されていない)は、ボリュームレンダリング312のビューイング面に平行な面で作用する。図6は、プル動作402がポイント422の周りで実施される当該ポイント422を示すとともに、プル動作の空間範囲432を示す。ユーザがサブボリュームを調整することを補助するために、サブボリュームの水平方向の辺縁のアウトライン340がビューポートに視覚化されることができる。アウトライン340は線であってもよく、又はサブボリュームの表面の辺縁が、半透明にレンダリングされてもよい。いくつかの実施形態において、アウトライン340は、プッシュ/プル動作を実行するために「ドラッグアンドドロップ」されることもできる。
付加的又は代替的に、画像ボリューム内のサブボリュームを囲む画像データは、ボリュームレンダリング(図6の参照番号320)されるが、サブボリューム内の画像データとは異なる可視化パラメータに従ってビューポート322に表示されることもできる。例えば、サブボリュームを囲む画像データのボリュームレンダリング320は、より高い不透明度又はより低い強度で表示されることができる。図6は、後者のタイプの視覚化を示している。
一般的に、各プッシュ/プル動作の後、サブボリュームは、ビューポート内で再レンダリングされる。いくつかの実施形態において、サブボリュームは、プッシュ/プル動作が実行されている間に、例えばその完了前にレンダリングされることができる。
いくつかの実施形態において、調整されたセグメンテーションモデルは、インタラクティブな調整後に記憶される。いくつかの実施形態において、調整ステップが記憶されることができ、ユーザインタフェースは、再実行及び反復操作を提供することができる。
セグメンテーションモデル又はサブボリュームを表す表面の調整は、それ自体知られていることが分かるであろう。従って、本明細書に記載されているような方法で、セグメンテーションモデルを、内方への局所的なプル動作又は外方への局所的なプル動作によって変形させることは、当業者には理解されるであろう。例えば、セグメンテーションモデルがメッシュモデルである場合、コンピューターグラフィックス又はメッシュモデリングの分野からそれ自体知られているようなメッシュ変形技法が使用されることができる。
図7は、画像ボリュームの画像データのボリュームレンダリングのためのコンピュータ実現方法500を示す。方法500は、図1他を参照して説明されるシステム100の動作に対応しうるが、必ずしもその必要はないことに留意されたい。
方法500は、「画像ボリュームの画像データにアクセスする」と題する処理において、画像ボリュームの画像データにアクセスするステップ510を含む。方法500は、更に、「サブボリュームを識別するためにセグメンテーションモデルを適用する」と題する処理において、画像ボリュームの画像データにセグメンテーションモデルを適用し、それによって画像ボリュームのサブボリュームを輪郭描出するステップ(520)を含む。方法500は更に、「サブボリュームの画像データをボリュームレンダリングする」と題する処理において、サブボリューム内の画像データのボリュームレンダリングを含むビューポートを表示する表示データを生成するステップ530を有する。方法500は、更に、「ユーザインタフェースを確立する」と題する処理において、ユーザがサブボリュームにプッシュ動作及びプル動作の少なくとも一方を適用することによりサブボリュームをインタラクティブに調整することを可能にするユーザインタフェースを確立するステップ540を有し、プッシュ動作は、サブボリュームの一部が内方に引っ張られるようにし、プル動作は、サブボリュームの一部が外方に引っ張られるようにする。方法500は更に、「ボリュームレンダリングを更新する」と題する処理において、ユーザによるサブボリュームの調整に応答して、ビューポートにおけるサブボリュームのボリュームレンダリングを更新するステップ550を有する。上述の処理は、任意の適切な順序、例えば、連続的に、同時に、又はそれらの組み合わせで実行されることができ、適用可能な場合には、特定の順序が、例えば入出力関係によって必要とされることが分かるであろう。
方法500は、コンピュータ実現方法、専用のハードウェア、又はその両方の組み合わせとしてコンピュータ上で実現されることができる。更に図8に示されるように、コンピュータのための命令、例えば、実行可能コードが、コンピュータ可読媒体600上に、例えば、一連の機械可読物理マーク610の形態で、及び/又は、それぞれ異なる電気的特性、例えば磁気的特性又は光学的特性又は値を有する一連の要素として、記憶されることができる。実行可能コードは、一時的又は非一時的に記憶される。コンピュータ可読媒体の例は、メモリ装置、光学記憶装置、集積回路、サーバ、オンラインソフトウェアなどを含む。図8は、光ディスク600を示す。
本願の要約によれば、画像ボリュームの画像データのボリュームレンダリングのためのシステム及び方法が提供され得る。セグメンテーションモデルが、画像ボリュームの画像データに適用されて、画像ボリュームのサブボリュームを輪郭描出することができる。サブボリューム内の画像データは、ボリュームレンダリングされることができる。ユーザが、プッシュ動作及びプル動作の少なくとも一方をサブボリュームに適用することにより、サブボリュームをインタラクティブに調整できるようにするユーザインタフェースを提供することがすることができる。プッシュ動作により、サブボリュームの一部が内方に引っ張られることができ、プル動作により、サブボリュームの一部が外方に引っ張られることができる。サブボリュームのボリュームレンダリングは、ユーザによるサブボリュームの調整に応じて更新される。
実施例、実施形態、又は任意の特徴は、非限定的であると示されているかどうかにかかわらず、請求項に記載の発明を限定するものとして理解されるべきではない。
本発明は、本発明を実施するように適応されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解されるであろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び部分的にコンパイルされた形のオブジェクトコードの形式、又は本発明による方法の実現における使用に適した他の形式であってもよい。更に、そのようなプログラムが多くの異なる構造上の設計を有しうることも理解されるであろう。例えば、本発明による方法又はシステムの機能を実現するプログラムコードは、1又は複数のサブルーチンに細分されることができる。これらのサブルーチン間で機能を分散させる多くの異なる方法が、当業者には明らかであろう。サブルーチンは1つの実行可能ファイルに一緒に格納され、自己完結型プログラムを形成することができる。そのような実行可能ファイルは、コンピュータ実行可能命令、例えばプロセッサ命令及び/又はインタープリタ命令(例えばJavaインタプリタ命令)を含むことができる。代替として、1又は複数のサブルーチン又はすべてのサブルーチンが、少なくとも1つの外部ライブラリファイルに記憶され、例えば実行時に静的又は動的にメインプログラムにリンクされてもよい。メインプログラムは、サブルーチンの少なくとも1つに対する少なくとも1つの呼び出しを含む。サブルーチンは、相互の関数呼び出しも含むことができる。コンピュータプログラム製品に関する実施形態は、本明細書に記載の方法の少なくとも1つの各処理段階に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、及び/又は静的又は動的にリンクされることができる1又は複数のファイルに記憶される。コンピュータプログラム製品に関する別の実施形態は、本明細書に記載のシステム及び/又は製品の少なくとも1つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、及び/又は静的又は動的にリンクされうる1又は複数のファイルに記憶される。
コンピュータプログラムの担体は、プログラムを担持することができるエンティティ又はデバイスでありうる。例えば、担体は、例えばCD-ROM又は半導体ROMのようなROM、又は例えばハードディスクのような磁気記録媒体などのデータ記憶装置を含むことができる。更に、担体は、電気又は光ケーブルを介して、又は無線又は他の手段によって伝達されうる、電気信号又は光信号などの伝送可能な担体でありうる。プログラムがそのような信号で具体化されるとき、担体はそのようなケーブル又は他のデバイス又は手段によって構成されることができる。代替として、キャリアは、プログラムが埋め込まれた集積回路であってもよく、集積回路は、関連する方法を実施する、又は関連する方法の実行に使用されるように適応されることができる。
上記の実施形態は、本発明を限定するのではなく例示するものであり、当業者は添付の特許請求の範囲から逸脱することなく多くの代替の実施形態を設計することができることに留意すべきである。請求項において、括弧内に示される参照符号は、請求項を限定するものとして解釈されてはならない。動詞「含む、有する(comprise)」及びその活用形の使用は、請求項に述べられているもの以外の要素又は段階の存在を排除しない。構成要素に先行する冠詞「a」又は「an」は、そのような構成要素の複数の存在を排除しない。本発明は、いくつかの別個の構成要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施されることができる。いくつかの手段を列挙する装置の請求項では、これらの手段のいくつかは、ハードウェアの同一のアイテムによって具体化されることができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。
以下の参照番号のリストは、図面の解釈を容易にするために提供されており、特許請求の範囲を限定するものと解釈されるべきではない。
020 画像データリポジトリ、022 データ通信、030 画像データ、060 ディスプレイ、062 表示データ、080 ユーザ入力装置、082 ユーザ入力データ、100 ボリュームレンダリング用のシステム、120 画像データインタフェース、122 内部データ通信、140 プロセッサ、142 内部データ通信、144 内部データ通信、160 メモリ、180 ユーザインタフェースサブシステム、182 表示出力インタフェース、184 ユーザ入力インタフェース、200 画像ボリューム、210 セグメンテーションモデルにより輪郭描出されたサブボリューム、220、222 セグメンテーションモデルの断面図、230 断面図でのサブボリュームの表面、232 プル動作により局所的に調整された表面、234 プッシュ動作により局所的に調整された表面、300,302 表示コンテンツ、310,312 ボリュームレンダリング内部の画像データサブボリューム、315 薄い骨の層、320 サブボリュームの外側の画像データのボリュームレンダリング、330,332 ボリュームレンダリングを有するビューポート、340 サブボリュームの視覚化されたアウトライン、400,402 プル動作、410 プッシュ動作、420,422 プッシュ/プルポイント、430,432 プッシュ/プル動作の空間範囲、500 ボリュームレンダリングの方法、510 画像ボリュームの画像データにアクセスする、520 セグメンテーションモデルを適用してサブボリュームを識別する、530 サブボリュームの画像データをボリュームレンダリングする、540 ユーザインタフェースを確立する、550 ボリュームレンダリングを更新する、600 コンピュータ可読媒体、610 非一時的データ。

Claims (14)

  1. 或るタイプの解剖学的構造を示す画像ボリュームの画像データをボリュームレンダリングするシステムであって、
    前記画像ボリュームの前記画像データにアクセスするように構成される画像データインタフェースと、
    ユーザにより操作可能なユーザ入力装置からユーザ入力データを受け取るユーザ入力インタフェースと、
    前記システムの出力を視覚化するために、ディスプレイに表示データを提供する表示出力インタフェースと、
    命令セットを表す命令データを含むメモリと、
    前記画像データインタフェース、前記ユーザ入力インタフェース、前記表示出力インタフェース、及び前記メモリと通信し、前記命令セットを実行するプロセッサと、
    を有し、
    前記命令セットは、前記プロセッサによって実行されるとき、前記プロセッサに、
    前記タイプの解剖学的構造をセグメント化するためのセグメンテーションモデルを規定するモデルデータにアクセスする処理と、
    前記セグメンテーションモデルを前記画像ボリュームの前記画像データに適用して、前記画像ボリュームのサブボリュームを輪郭描出する処理であって、前記輪郭描出されたサブボリュームは、前記画像ボリューム内の前記解剖学的構造のセグメンテーションを表現する、処理と、
    前記表示データを生成して、前記サブボリューム内の画像データのビューイング面へのボリュームレンダリングを含むビューポートを表示する処理と、
    前記ユーザ入力インタフェース及び前記表示出力インタフェースを使用して、ユーザインタフェースを確立する処理と、
    を実行させ、
    前記ユーザインタフェースは、前記ユーザが、
    前記ボリュームレンダリングを表示するビューイング面のジオメトリをインタラクティブに調整して、ユーザ選択されたビューイング面を確立すること、及び
    前記サブボリュームにプッシュ動作及びプル動作の少なくとも一方を適用することにより、前記サブボリュームをインタラクティブに調整すること、
    を可能にし、
    前記プッシュ動作により、前記サブボリュームの一部が内方に引っ張られて変形され、前記プル動作により、前記サブボリュームの一部が外方に引っ張られて変形され、前記プッシュ動作又はプル動作が適用される前記サブボリュームの前記一部は、ユーザ選択されるビューイング面のジオメトリに基づいて前記プロセッサによって選択され、
    前記サブボリュームのボリュームレンダリングは、前記ユーザによる前記ビューイング面の前記調整又は前記サブボリュームの前記調整に応答して、前記ビューポート内で更新され、
    前記ユーザインタフェースは、前記プル動作及び前記プッシュ動作が、前記ボリュームレンダリングの前記ユーザ選択されたビューイング面に直交する面内で作用する前面調整モードを含む、
    システム。
  2. 前記プッシュ動作又は前記プル動作は、キーボードコマンド及び所定のマウスインタラクションの少なくとも一方に基づき、前記ユーザにより選択され適用される、請求項1に記載のシステム。
  3. 前記プッシュ動作又は前記プル動作が適用される前記サブボリュームの一部は、
    前記ビューポートの中心に表示される前記サブボリュームのポイント、及び
    前記ボリュームレンダリングのユーザ選択された前記ビューイング面に最も近い前記サブボリュームのポイント、
    の少なくとも一方に基づいて選択される、請求項1又は2に記載のシステム。
  4. 前記ユーザインタフェースは手動選択モードを有し、前記手動選択モードにおいて、前記プッシュ動作又は前記プル動作が適用される前記サブボリュームの部分は、前記サブボリュームのポイントのユーザ選択に基づき、前記プロセッサにより選択される、請求項1乃至3のいずれか1項に記載のシステム。
  5. 前記ユーザインタフェースは、前記ユーザが、前記プッシュ動作又は前記プル動作の空間範囲及び強度の少なくとも一方を選択することを可能にする、請求項1乃至4のいずれか1項に記載のシステム。
  6. 前記ユーザインタフェースは、前記プル動作及び前記プッシュ動作が前記ボリュームレンダリングのユーザ選択されたビューイング面に平行な面内で作用する辺縁調整モードを含み、前記辺縁調整モードが選択されると、前記サブボリュームの辺縁のアウトラインが前記ビューポートにおいて視覚化される、請求項1乃至5のいずれか1項に記載のシステム。
  7. 前記辺縁調整モードが選択されると、前記画像ボリュームの前記サブボリュームを囲む画像データは、前記サブボリューム内部の画像データとは異なる視覚化パラメータに従ってボリュームレンダリングされ、前記ビューポートに表示される、請求項6に記載のシステム。
  8. 前記異なる視覚化パラメータは、前記サブボリュームを囲む前記画像データの前記ボリュームレンダリングを、より高い不透明度又はより低い強度で表示させる、請求項7に記載のシステム。
  9. 前記前面調整モードが選択されると、前記画像ボリューム内の前記サブボリュームを囲む画像データは、ボリュームレンダリングから除外されるか、又は前記ボリュームレンダリングにおいて100%の不透明度が割り当てられる、請求項1乃至8のいずれか1項に記載のシステム。
  10. 前記セグメンテーションモデルがメッシュモデルである、請求項1乃至のいずれか1項に記載のシステム。
  11. 前記セグメンテーションモデルは、閉じた外殻を規定する、請求項1乃至10のいずれか1項に記載のシステム。
  12. 請求項1乃至11のいずれか1項に記載のシステムを有するワークステーション又は撮像装置。
  13. 或るタイプの解剖学的構造を示す画像ボリュームの画像データをボリュームレンダリングするためのコンピュータ実現方法であって、
    前記画像ボリュームの画像データにアクセスするステップと、
    前記タイプの解剖学的構造をセグメント化するためのセグメンテーションモデルを規定するモデルデータにアクセスするステップと、
    前記セグメンテーションモデルを前記画像ボリュームの前記画像データに適用して、前記画像ボリュームのサブボリュームを輪郭描出するステップであって、前記輪郭描出されたサブボリュームは、前記画像ボリューム内の前記解剖学的構造のセグメンテーションを表す、ステップと、
    ビューポートを示す表示データを生成するステップであって、前記ビューポートは、前記サブボリューム内の画像データのビューイング面へのボリュームレンダリングを含む、ステップと、
    ユーザインタフェースを確立するステップであって、前記ユーザインタフェースは、ユーザが、
    前記ボリュームレンダリングを表示する前記ビューイング面のジオメトリをインタラクティブに調整して、ユーザ選択されたビューイング面を確立すること、及び
    プッシュ動作及びプル動作の少なくとも一方を前記サブボリュームに適用することによって、前記サブボリュームをインタラクティブに調整すること、
    を可能にし、前記プッシュ動作により、前記サブボリュームの一部が内方に引っ張られて変形され、前記プル動作により、前記サブボリュームの一部が外方に引っ張られて変形され、前記プッシュ動作又は前記プル動作が適用される前記サブボリュームの一部は、ユーザ選択されるビューイング面のジオメトリに基づいてプロセッサによって選択される、ステップと、
    前記ユーザによる前記ビューイング面の前記調整又は前記サブボリュームの前記調整に応じて、前記ビューポート内の前記サブボリュームの前記ボリュームレンダリングを更新するステップと、
    を有し、前記ユーザインタフェースは、前記プル動作及び前記プッシュ動作が、前記ボリュームレンダリングの前記ユーザ選択されたビューイング面に直交する面内で作用する前面調整モードを含む、コンピュータ実現方法。
  14. 請求項13に記載のコンピュータ実現方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを有するコンピュータ可読媒体。
JP2020505396A 2017-08-07 2018-07-27 ボリュメトリック画像データのボリュームレンダリング Active JP7373484B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17185118.1A EP3441944A1 (en) 2017-08-07 2017-08-07 Volume rendering of volumetric image data with interactive segmentation
EP17185118.1 2017-08-07
PCT/EP2018/070369 WO2019030012A1 (en) 2017-08-07 2018-07-27 RENDERING VOLUMETRIC IMAGE DATA VOLUME WITH INTERACTIVE SEGMENTATION

Publications (2)

Publication Number Publication Date
JP2020530156A JP2020530156A (ja) 2020-10-15
JP7373484B2 true JP7373484B2 (ja) 2023-11-02

Family

ID=59676994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505396A Active JP7373484B2 (ja) 2017-08-07 2018-07-27 ボリュメトリック画像データのボリュームレンダリング

Country Status (5)

Country Link
US (1) US20200250880A1 (ja)
EP (2) EP3441944A1 (ja)
JP (1) JP7373484B2 (ja)
CN (1) CN110998667A (ja)
WO (1) WO2019030012A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3839895A1 (en) * 2019-12-19 2021-06-23 Koninklijke Philips N.V. Mesh correction depending on mesh normal direction
US20240020926A1 (en) * 2022-07-14 2024-01-18 Biosense Webster (Israel) Ltd. Correcting a segmentation curve in an anatomical model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510415A (ja) 2008-01-24 2011-03-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インタラクティブ画像セグメンテーション
JP2011083439A (ja) 2009-10-15 2011-04-28 Aloka Co Ltd 超音波ボリュームデータ処理装置
JP2017051418A (ja) 2015-09-09 2017-03-16 株式会社島津製作所 放射線撮影装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2312534A3 (en) * 2009-10-15 2011-07-06 Hitachi Aloka Medical, Ltd. Ultrasonic volume data processing device
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US8970581B2 (en) * 2012-01-04 2015-03-03 Carestream Health, Inc. System and method for interactive contouring for 3D medical images
EP3224803A1 (en) * 2014-11-28 2017-10-04 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
CN107851337B (zh) 2015-06-29 2022-04-08 皇家飞利浦有限公司 交互式网格编辑

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510415A (ja) 2008-01-24 2011-03-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インタラクティブ画像セグメンテーション
JP2011083439A (ja) 2009-10-15 2011-04-28 Aloka Co Ltd 超音波ボリュームデータ処理装置
JP2017051418A (ja) 2015-09-09 2017-03-16 株式会社島津製作所 放射線撮影装置

Also Published As

Publication number Publication date
EP3665655A1 (en) 2020-06-17
WO2019030012A1 (en) 2019-02-14
US20200250880A1 (en) 2020-08-06
JP2020530156A (ja) 2020-10-15
CN110998667A (zh) 2020-04-10
EP3441944A1 (en) 2019-02-13

Similar Documents

Publication Publication Date Title
US9053565B2 (en) Interactive selection of a region of interest in an image
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
US10593099B2 (en) Transfer function determination in medical imaging
US10380735B2 (en) Image data segmentation
US9349220B2 (en) Curve correction in volume data sets
JP6560745B2 (ja) 生体構造のボリュメトリック画像を視覚化すること
CN107851337B (zh) 交互式网格编辑
JP2023507865A (ja) 医用画像のセグメント化
JP7373484B2 (ja) ボリュメトリック画像データのボリュームレンダリング
JP5850381B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
US20170109915A1 (en) Methods and systems for interactive 3d segmentation
KR101138969B1 (ko) 고속 구동을 위한 3차원 투과 영상데이터의 액세스 방법 및 이를 위한 사용자 인터페이스 장치
Fong et al. Development of a virtual reality system for Hepatocellular Carcinoma pre-surgical planning
BR112017005715B1 (pt) Sistema e método para visualização de uma imagem volumétrica de uma estrutura anatômica, e equipamento de imageamento
Kim et al. Data visualization and display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220609

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7373484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150