JP6887449B2 - レンダリングされた画像を照明するシステム及び方法 - Google Patents

レンダリングされた画像を照明するシステム及び方法 Download PDF

Info

Publication number
JP6887449B2
JP6887449B2 JP2018563840A JP2018563840A JP6887449B2 JP 6887449 B2 JP6887449 B2 JP 6887449B2 JP 2018563840 A JP2018563840 A JP 2018563840A JP 2018563840 A JP2018563840 A JP 2018563840A JP 6887449 B2 JP6887449 B2 JP 6887449B2
Authority
JP
Japan
Prior art keywords
light source
image
dataset
simulated light
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018563840A
Other languages
English (en)
Other versions
JP2019517349A5 (ja
JP2019517349A (ja
Inventor
ブノア ジャン ドミニク ベルトラン モーリス モリー
ブノア ジャン ドミニク ベルトラン モーリス モリー
エマニュエル モセ セルジュ アッティア
エマニュエル モセ セルジュ アッティア
ジャン ミッシェル ルエ
ジャン ミッシェル ルエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2017/063080 external-priority patent/WO2017211626A1/en
Publication of JP2019517349A publication Critical patent/JP2019517349A/ja
Publication of JP2019517349A5 publication Critical patent/JP2019517349A5/ja
Application granted granted Critical
Publication of JP6887449B2 publication Critical patent/JP6887449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)

Description

医用イメージングでは、画像は、リアルタイムに又はデータセット収集後に、レンダリングされることができる。画像は、ボリューム内で取得された2次元(2D)スライス又は平面でありえ、又は画像は、3次元(3D)ボリュームでありうる。
3Dボリュームレンダリング技術は、最終的にレンダリングされた画像に表示されるデータの2D投影を得るために、仮想レイを、イメージングされた3Dボリュームにキャストすることを含みうる。データは、イメージングされるボリューム内の解剖学的構造を含むことができる。レイが、イメージングされるボリューム内の関心領域に向かって仮想観察者の位置からキャストされる場合、さまざまな解剖学的構造が、視線に沿って介在しうる。入射光の方向は、解剖学的構造の表面上に影及び反射の外観をもたらす。
画像をレンダリングする際にシミュレートされた光源を使用することにより、3Dボリューム内にさまざまな解剖学的構造がどのように配置されているかの感覚をユーザに提供することができる。1つ又は複数の解剖学的構造は、関心領域の鮮明な画像を得ることを遮るか、又は他のやり方で干渉することがある。ユーザは、3Dボリュームを回転させることができ、それにより、3Dボリュームに対する仮想観察者及び/又はシミュレートされた光源の位置を変更することができる。データの新しい2D投影が、レンダリングされることができる。シミュレートされた光源からの影及び他の照明効果は、3Dボリュームの回転に基づいてシフトし、解剖学的特徴の深さ及び構造に関する追加情報をユーザに提供することができる。
所与の3D画像データセットに関して、画像レンダリング技術が、所与の視点から所定の色及び強度の光源の下でイメージングされる組織の光学特性に関する仮定を行うことによって2D画像を生成するために使用される。今日、超音波イメージングシステムの画像レンダリング技術は、一定の距離又は無限大のところに位置する指向性光源に依存する。入射光の方向は、トラックボールで制御される専用球ウィジェット上の矢印によってユーザに提示されることができる。3Dボリュームを回転させることに加えて、ユーザは、シミュレートされた光源からの入射光の方向を変えることができる。
図1は、既存の画像レンダリング技法100の概略図を示す。3Dデータセット130は、超音波プローブ又は他のイメージング技法によって取得されることができる。3Dデータセット130は、身体内の3Dボリュームに対応するデータを含むことができる。3Dデータセット130は、関心領域135を含むことができる。関心領域135は、対象の一部(例えば、血管壁、心臓弁)でありえ、又は対象全体(例えば、腫瘍、胎児)でありうる。関心領域135を含む3Dデータセット130の画像をレンダリングする場合、シミュレートされた光源は、3Dデータセット130内の1又は複数の表面(例えば、関心領域135の表面136)上に影及び反射を提供するために使用されることができ、これは、深さ知覚をユーザに提供することができる。シミュレートされた光源は、指向性光源105でありうる。指向性光源105は、矢印115によって示される方向にのみ光を伝送することができる。ユーザは、3Dデータセット130から固定の距離110のところに指向性光源105の位置を選択することを可能にされることができる。仮想観察者が矢印125によって示される視点から3Dデータセット130を観察することに基づいて、3Dデータセット130の2D投影が、表示画像平面120に対しレンダリングされることができる。画像平面120は、3Dデータセット130のXY平面とアラインされることができる。矢印125は、画像平面120に対し垂直でありうる。すなわち、仮想観察者は、Z軸によって示される3Dデータセット130の深さを通じて、3Dデータセット130における画像平面120を「見ている」と考えることができる。3Dデータセット130の表示画像平面120における2D投影は、ディスプレイ上の画像としてユーザに提供されることができる。
ユーザは、3Dデータセット130を中心に指向性光源105を移動させることができるが、レンダリングされたボリュームの外部に指向性光源105を位置付けることは、対象にセルフシャドウイングを引き起こし、関心領域135の構造を照明することを困難にする。ボリューム及び/又は関心領域135の詳細が、隠されることがある。凹んだキャビティ内の解剖学的な詳細は、3Dデータセット130のクロッピング又は他の重要な調整なしには、みえないことがある。
図2は、外部の指向性光源を使用して、3Dデータセットからレンダリングされた画像200の例である。画像200は、子宮210内の胎児205を示す。胎児205の多くの解剖学的構造は、子宮210の外側に位置する指向性光源を使用した画像レンダリング技法に基づいて、子宮210によるシャドウキャストによって隠される。これは、超音波検査技師、産科医又は他の臨床医でありうるユーザが、診断を行い、又は3Dデータセットによって規定されるボリューム内をナビゲートすることを、妨害する。
本開示の少なくとも1つの実施形態による超音波イメージングシステムは、被検体のボリュームをイメージングするために被検体から超音波エコーを受け取るように構成されることができる超音波プローブと、超音波エコーから3次元(3D)データセットを生成するように構成されることができるスキャンコンバータと、3Dデータセットに対するシミュレートされた光源のロケーションに少なくとも部分的に基づいて、3Dデータセットの表面の表面シェーディング(影付け)情報を計算し、3Dデータセットの2次元(2D)投影画像をレンダリングするように構成されることができるボリュームレンダラであって、2D投影画像が、シェーディング情報を含む、ボリュームレンダラと、2D投影画像を表示するように構成されることができるディスプレイと、3Dデータセットの表面の背後のロケーションにシミュレートされた光源を位置付けるためのユーザ入力を受け取るように構成されることができるユーザ入力素子を有することができる入力装置と、を有することができるユーザインタフェースと、を有することができる。いくつかの実施形態では、シミュレートされた光源は、多方向性光源でありうる。
本開示の少なくとも1つの実施形態による方法は、3Dデータセットの2D投影画像をレンダリングするためのシミュレートされた光源の選択を受け取るステップであって、3Dデータセットは、被検体のボリュームから受けられる超音波エコーから構成されることができる、ステップと、ユーザ入力に応じて、2D投影画像の投影平面に対応する平面内におけるシミュレートされた光源の面内位置の標示を受け取るステップと、投影平面に対し垂直な軸上において、シミュレートされた光源の深さ位置を決定するステップと、面内及び深さ位置に少なくとも部分的に基づいて、3Dデータセットの表面の表面シェーディング情報を計算するステップと、ディスプレイ上に、シェーディング情報を含む2D投影画像をレンダリングするステップと、を有する。
外部の指向性光源を使用する画像レンダリング技法の概略図。 図1に示される画像レンダリング技法を使用してレンダリングされた画像の例を示す図。 本開示の実施形態によるイメージングシステムのブロック図。 本開示の一実施形態による、シミュレートされた光源を使用する画像レンダリング技法の概略図。 図4に示される画像レンダリング技法を使用してレンダリングされた画像の例を示す図。 図4に示される画像レンダリング技法の概略図。 図6に示される画像レンダリング技法を使用してレンダリングされた画像の例を示す図。 図6に示される画像レンダリング技法を使用してレンダリングされた画像の例を示す図。 図6に示される画像レンダリング技法を使用してレンダリングされた画像の例を示す図。 本開示の一実施形態によるユーザインタフェースを示す図。 本開示の一実施形態によるユーザインタフェースのディスプレイを示す概略図。 本開示の一実施形態によるユーザインタフェースのディスプレイを示す概略図。 本開示の一実施形態によりレンダリングされた画像の例を示す図。 本開示の一実施形態によりレンダリングされた画像の例を示す図。 本開示の一実施形態によりレンダリングされた画像の例を示す図。 図12は、本開示の一実施形態による方法のフローチャート。
特定の例示的な実施形態の以下の説明は、事実上単なる例示にすぎず、決して本発明又はその用途又は仕様を限定するものではない。本発明のシステム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成する添付の図面が参照され、図面には、説明されたシステム及び方法が実施され得る特定の実施形態が例示される。これらの実施形態は、本開示のシステム及び方法を当業者が実施することを可能にするように十分詳しく記述されており、他の実施形態が利用されることができ、構造的及び論理的な変更が、本システムの精神と範囲から逸脱することなく行われることができることが理解されるべきである。更に、明確さのために、特定のフィーチャの詳細な説明は、本システムの記述を隠さないよう、それらが当業者にとって明らである場合は説明されない。従って、以下の詳細な説明は、限定的に解釈されるべきでなく、本システムの範囲は、添付の請求項によってのみ規定される。
いくつかのアプリケーションにおいて、3Dデータセット内に位置付けられたシミュレートされた光源を使用して、3Dデータセットから画像をレンダリングすることが望ましいことがある。いくつかのアプリケーションにおいて、3Dデータセットの関心領域内のシミュレートされた光源を使用して、3次元データセットから画像をレンダリングすることが望ましいことがある。あるアプリケーションにおいて、シミュレートされた光源が、多方向光源であることが望ましいことがある。例えば、シミュレートされた光源は、球体の全表面から全方向に光を投影する当該球体としてモデル化されることができる。別の例において、シミュレートされた光源は、全方向に光を投影する点光源としてモデル化されることができる。ユーザがシミュレートされた光源を3Dデータセット内に置くことを可能にすることにより、3Dデータセットの外側に位置付けられるシミュレートされた指向性光源を用いて画像がレンダリングされるときに生成される影及び/又は他のアーティファクトによってあまり隠されないレンダリング画像を提供することができる。近距離照明は、外部光源を用いた照明と比較して、物体の形状及び曲率のより良い局所深さの知覚を提供することができる。3Dデータセット内にシミュレートされる光源によってレンダリングされる画像は、臨床医又は他のユーザが解釈することが一層容易である画像を提供することができる。これは、臨床医又は他のユーザが診断を行う及び/又は3Dデータセット内をナビゲートする能力を改善することができる。
例示の例において、臨床医は、患者において超音波検査を実施し、患者(例えば子宮内の胎児)から3Dデータセットを取得することができる。イメージングシステムは、シミュレートされた多次元光源により、3Dデータセットの2D投影の画像をレンダリングすることができる。臨床医は、3Dデータセット内において光源を移動させることができ、イメージングシステムは、光源の新しい位置に部分的に基づいて、レンダリングされた画像を調整することができる。例えば、臨床医は、光源の視覚的なインジケータ(例えば、球、四角、X、その他)と共にレンダリングされた画像を表示しているタッチスクリーンに触れ、画像内のそれぞれ異なる位置に光源を「ドラッグ」することができる。臨床医は、さまざまな異なる関心領域を調べるために光源を移動させることができる。この例に続いて、臨床医は、口蓋裂をチェックするために胎児の顔の輪郭を強調表示するように、光源を移動させることができる。臨床医は、変形をチェックするために脊椎を照明するように、光源を移動させることができる。臨床医は、画像平面内の光源のロケーション(例えば、面内位置、XY平面位置)、及び3Dデータセットにおける光源の深さ(Z軸)を制御することを選択することができる。臨床医は、超音波検査の最中、又は、検査後の記憶された画像のレビューの最中に、光源を制御することができる。
図3は、本開示の原理により構成される超音波イメージングシステム10のブロック図を示す。超音波イメージングシステムが、本発明の実施形態の説明的な例に示されているが、本発明の実施形態は、他の医用イメージングモダリティによって実施されることもできる。他のモダリティは、磁気共鳴イメージング及びコンピュータトモグラフィを含むが、これに限定されるものではない。図3の超音波イメージングシステム10は、超音波を送信しエコー情報を受信するためのトランスデューサアレイ14を有する超音波プローブ12を具備する。さまざまなトランスデューサアレイが、当技術分野において良く知られており、例えば、線形アレイ、凸状アレイ又はフェイズドアレイ等である。トランスデューサアレイ14は、例えば、2D及び/又は3Dイメージングのための仰角及びアジマス方向のスキャニングが可能なトランスデューサ素子の2次元アレイ(図示される)を有することができる。トランスデューサアレイ14は、アレイのトランスデューサ素子による信号の送信及び受信を制御する超音波プローブ12のマイクロビームフォーマ16に結合される。この例において、マイクロビームフォーマ16は、プローブケーブルによって送信/受信(T/R)スイッチ18に結合され、T/Rスイッチ18は、送信と受信の間の切り替えを行い、高エネルギー送信信号から主ビームフォーマ22を保護する。ある実施形態において、例えばポータブル超音波システムにおいて、システム内におけるT/Rスイッチ18及び他の素子は、別個の超音波システムベース部ではなく、超音波プローブに含まれることができる。マイクロビームフォーマ16の制御下におけるトランスデューサアレイ14からの超音波ビームの送信は、送信コントローラ20によって指示され、送信コントローラ20は、T/Rスイッチ18及びビームフォーマ22に結合され、ユーザインタフェース又は制御パネル24のユーザ操作からの入力を受け取る。送信コントローラ20によって制御される機能の1つは、ビームがステアリングされる方向である。ビームは、トランスデューサアレイからまっすぐに(直交方向に)、又はより広い視野にわたる複数の異なる角度で、ステアリングされることができる。マイクロビームフォーマ16によって生成される部分的にビームフォーミングされた信号は、主ビームフォーマ22に結合され、主ビームフォーマ22において、トランスデューサ素子の個別のパッチからの部分的にビームフォーミングされた信号は、完全にビームフォーミングされた信号に組み合わせられる。
ビームフォーミングされた信号は、信号プロセッサ26に結合される。信号プロセッサ26は、バンドパスフィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離のような、受信エコー信号をさまざまなやり方で処理することができる。信号プロセッサ26は更に、例えばスペックル低減、信号合成及びノイズ除去などの付加的な信号強調を実施することができる。処理された信号は、Bモードプロセッサ28に結合され、Bモードプロセッサ28は、身体内の構造をイメージングするために振幅検出を用いることができる。Bモードプロセッサ28によって生成される信号は、スキャンコンバータ30及びマルチプラナリフォーマッタ32に結合される。スキャンコンバータ30は、受信されたときの空間関係をもつエコー信号を、所望の画像フォーマットに配置する。例えば、スキャンコンバータ30は、2次元(2D)扇形フォーマット又はピラミッド状の3次元(3D)画像にエコー信号を配置することができる。ある実施形態において、スキャンコンバータ30は、エコー信号から3Dデータセットを生成することができる。米国特許第6,443,896号(Detmer)に記載されるように、マルチプラナリフォーマッタ32は、身体のボリュメトリック領域の共通平面内のポイントから受信されるエコーを、当該共通平面の超音波画像に変換することができる。例えば米国特許第6,530,885号(Entrekin他)に記載されるように、ボリュームレンダラ34は、3Dデータセットのエコー信号を、所与の基準ポイントからビューされる3D投影画像に変換する。ある実施形態において、ボリュームレンダラ34は、ユーザインタフェース24からの入力を受信することができる。入力は、所与の基準ポイント(例えば仮想オブザーバの視点)、シミュレートされた光源のロケーション、及び/又はレンダリングされた投影画像についてのシミュレートされた光源の特性を含むことができる。ある実施形態において、ボリュームレンダラ34は、シミュレートされた光源のロケーション及び/又は特性に少なくとも部分的に基づいて、3Dデータセットにおいて1又は複数の表面の表面シェーディング情報を計算することができる。2D又は3D画像は、スキャンコンバータ30、マルチプラナリフォーマッタ32及びボリュームレンダラ34から、画像ディスプレイ38上への表示のために、他の強調、バッファリング及び一時記憶のための画像プロセッサ36へ結合される。画像プロセッサ36は、ある実施形態において、シミュレートされた光源(例えば、球、ハロー(halo))の視覚キュー(visual cues、視覚的な合図)をレンダリングすることができる。ある実施形態において、視覚キューは、ボリュームレンダラ34によってレンダリングされることができる。グラフィックプロセッサ40は、超音波画像と共に、表示するためのグラフィックオーバレイを生成することができる。これらのグラフィックオーバレイは、例えば患者の名前、画像の日付及び時間、イメージングパラメータ、その他の標準的な識別情報を有することができる。これらの目的のために、グラフィックプロセッサは、ユーザインタフェース24から、例えばタイプされた患者名のような入力を受信する。ユーザインタフェースは更に、表示するための複数のマルチプラナリフォーマット画像(MPR)の選択及び制御のために、マルチプラナリフォーマッタ32に結合されることができる。
本開示の一実施形態により、超音波プローブ12は、被検体から超音波エコーを受信し、被検体のボリュームをイメージングするように構成されることができる。スキャンコンバータ30は、超音波エコーを受信し、3Dデータセットを生成することができる。上述したように、超音波エコーは、スキャンコンバータ30によって受信される前に、ビームフォーマ22、信号プロセッサ26及び/又はBモードプロセッサによって前処理されることができる。3Dデータセットは、イメージングされたボリューム内の各ポイント(例えばボクセル)の値を含むことができる。値は、エコー強度、組織密度、フローレート及び/又は物質組成に対応しうる。3Dデータセットの値に基づいて、スキャンコンバータ30及び/又はボリュームレンダラ34は、イメージングされたボリューム内の1又は複数の表面を規定することができる。表面は、イメージングされたボリューム内の2つの異なる対象(例えば胎児及び子宮)、物質(例えば骨及び筋肉)、又は領域(例えば血管のそれぞれ異なるフローレート)の境界を表現することができる。ある実施形態において、表面は、等値面でありうる。
3Dデータセットの2D投影画像をレンダリングする場合、ボリュームレンダラ34は、3Dデータセットに対するシミュレートされた光源のロケーションを受け取ることができる。ある実施形態において、シミュレートされた光源のロケーションは、イメージングシステム10によって予めプログラムされることができる。シミュレートされた光源は、例えばボリュームレンダリングモードのアクティブ化の際、予めプログラムされたロケーションにデフォルト設定されることができ、場合によって、光源は、ボリュームレンダリングモードである間、ユーザによって移動可能でありうる。ある実施形態において、シミュレートされた光源のロケーションは、ユーザインタフェース24を通じて受信されることができ、ユーザインタフェース24は、ユーザ入力を受け取るように構成される1又は複数の入力素子を有する入力装置を有することができる。例えば、ユーザインタフェース24は、シミュレートされた光源のロケーションをユーザがセットすることを可能にするグラフィカルユーザーインタフェース(GUI)を有するタッチスクリーンを有することができる。一例として、グラフィカルユーザーインタフェース(GUI)は、シミュレートされた光源のロケーションをユーザがセットすることを可能にする1又は複数のGUI素子を提供することができる。ある例において、GUI素子(例えば、光の球体)は更に、ボリュームに対する光源のロケーションに関する視覚キューを提供することができる。他の例において、GUI素子は、入力ウィジェットでありえ、それにより、ユーザが光源のロケーションを指定する(例えば、X、Y、Z座標を指定する)ことが可能でありうる。GUI素子の他の例は、使用されることができる。更に別の例において、ユーザ入力は、機械制御部(例えば制御パネル上のトラックボール又はロータリエンコーダ)を通じて受け取られることができ、ボリュームレンダリングモードは、特に機械制御部と関連付けられることができ、光源を移動させるための操作コマンドを生成するように構成されることができる。
ボリュームレンダラ34は、3Dデータセットに対するシミュレートされた光源のロケーションに少なくとも部分的に基づいて、3Dデータセット内の1又は複数の表面の表面シェーディング情報を計算することができる。表面シェーディング情報は、レンダリングされた2D投影画像の3Dデータセットの表面を表現する任意の所与のピクセルの輝度に関する情報を含むことができ、かかる情報は、2Dレンダリング画像に3次元性を提供することができる。表面に対して光源のロケーションに加えて、表面シェーディング情報は、表面に隣り合うボリュームの特性(例えば、光源と表面の間に配置されるボクセルの値)に基づくことができる。例えば、所与の表面のシェーディング情報を計算する際、ボリュームレンダラ34は、シミュレートされた光源とレンダリングされた外側表面との間に存在する組織の密度を考慮することができる。シミュレートされた光源がイメージングされたボリュームの表面の前に位置する場合、ゼロ値ボクセルのみが、光源と表面との間に置かされることができ、表面上の照明される領域は、シミュレートされた光源が表面の後にあり且つ非ゼロ値ボクセルによって表面から隔てられている場合よりも、高い明るさ又は輝度を有することができる。レンダリングされた3Dデータセットを囲む領域のゼロ値ボクセルの光透過率が、知られている光シミュレーション技法によって、空気の光透過率と同様であるように近くされることができ、こうして、非ゼロの値ボクセルの光透過率は、空気より高密度である組織による透過率を近似するように低くされることができる。こうして、シミュレートされた光源が、周囲ボリュームより高い密度を有する3Dデータセットのボリュームを囲む表面の後に位置する場合、ボリュームレンダラ34によって計算される表面シェーディング情報は、シミュレートされた光源が表面の前に位置する場合とは異なりうる。例えば、シミュレートされた光源が表面の後に位置する場合には、表面シェーディング情報は、より少ない反射を含むことができ、内部から「輝く(glow)」ようにみえるものであり、シミュレートされた光源が表面の前に位置する場合は、表面シェーディング情報は、表面がより不透明にみえるようなものでありうる。明らかなように、光源の前に位置付けられる対象の密度及び他の性能は、対象の光透過率に影響を及ぼし、ボリュームレンダラ34は、レンダリングされている光源と表面の間に配された物質の密度を考慮するように構成される。
表面シェーディングに言及したが、ボリュームレンダラ34は、表面シェーディング情報を計算するために3Dデータセットから表面を明示的に抽出することができ又は抽出することができない。例えば、ボリュームレンダラ34は、3Dデータセット(例えばボリュメトリックシェーディング)内のあらゆるボクセルについてシェーディング情報を計算することができる。前述のように、各ボクセルのシェーディング情報は、シミュレートされた光源からのボクセルの距離、ボクセルの密度及び/又は周囲ボクセルの密度に少なくとも部分的に基づくことができる。3Dデータセットに関して結果的に得られるシェーディング情報は、ユーザに対し、3Dデータセット内の3D表面の外観を提供することができる。説明を簡単にするため、3Dデータセット内の対象及び/又は関心領域の表面のシェーディング情報は、それがボリュームレンダラ34によって計算されるやり方に関係なく、表面シェーディング情報と呼ばれる。
表面シェーディング情報は、2D投影画像をレンダリングするために、ボリュームレンダラ34によって使用されることができる。レンダリングされた2D投影画像は、ある実施形態では、ボリュームレンダラ34によって画像プロセッサ36に提供されることができる。レンダリングされた2D投影画像は、ユーザ(例えば臨床医)による観察のためにディスプレイ38に提供されることができる。ある例において、ボリュームレンダラ34によるレンダリング、及びその結果得られ、ディスプレイ38に提供される2D投影画像は、例えばボリュームの移動(例えば、並進又は回転)、ボリュームに対するシミュレートされた光源の移動及び/又はレンダリング中のさまざまなレンダリングに関連付けられるパラメータに対する他の変更を指示するために、ユーザインタフェース24を介したユーザ入力に応じて更新されることができる。
図4は、本開示の一実施形態による画像レンダリング技法400の概略的な図である。ある実施形態において、画像レンダリング技法400は、例えば超音波イメージングシステム10のようなイメージングシステム()によって実施されることができる。3Dデータセット430は、例えば図3に示される超音波イメージングシステム10のような超音波イメージングシステム、又は例えば磁気共鳴イメージング(MRI)マシンのような別のイメージングシステムによって取得されることができ。3Dデータセット430は、身体内の3Dボリュームに対応するデータを有することができる。3Dデータセット430は、関心領域435を有することができる。関心領域435は、対象の部分(例えば、血管壁、心臓弁)でありえ、又は対象全体(例えば、腫瘍、胎児)でありうる。ある実施形態において、3Dデータセット430は、複数の関心領域435を有することができる。3Dデータセット430の2D投影画像は、矢印425によって示される視点から3Dデータセット430を観察している仮想観察者に基づいて、表示画像平面420に対しレンダリングされることができる。
表示画像平面420は、XY平面にアラインされることができる。矢印425によって示されるベクトルは、画像平面420を通過することができる。すなわち、仮想観察者は、XY平面と直交するZ軸によって示される3Dデータセット430の深さを通じて3Dデータセット430の画像平面420を「見る」と考えられることができる。画像平面420に対し垂直に示されているが、矢印425は、画像平面420に対し他の或る角度(例えば、10度、30度、45度)をなしてもよい。3Dデータセット430の表示画像平面420の2D投影画像は、ディスプレイ(例えば図3に示されるディスプレイ38)上の画像としてユーザに提供されることができる。
関心領域435を有する3Dデータセット430の画像をレンダリングする場合、シミュレートされた光源405は、3Dデータセット430内の1又は複数の表面(例えば関心領域435の表面436)上に影及び反射をレンダリングするための表面シェーディング情報を計算するために使用されることができ、これは、深さの知覚をユーザに提供することができる。表面シェーディング情報は、3Dデータセット430及び/又は関心領域435に対するシミュレートされた光源405の位置に少なくとも部分的に基づくことができる。ある実施形態において、シミュレートされた光源405は、多方向性光源でありうる。矢印415によって示されるように、光源405は全方向に光を放出することができる。図1に示される光源105とは異なり、ユーザは、3Dデータセット430の外側に又は3Dデータセット430内の任意の場所に光源405の位置を選択する可能にされることができる又はでどこにでもいることができる。図4に図示される実施形態に示すように、光源405は、3Dデータセット430内の、関心領域435の深さより小さい深さのところにある。すなわち、光源405は、矢印425によって示される方向から見て、関心領域435と仮想観察者との間のZ軸に沿った深さにある。
図5は、図4に示される画像レンダリング技法400を使用してレンダリングされる例示の画像500である。画像500は、図2に示される画像200と同じ3Dデータセットからレンダリングされる。子宮510内の胎児505ある実施形態において、シミュレートされた光源は、画像内の発光物質としてレンダリングされることができる。画像500に示される例において、シミュレートされた光源は、白熱球515としてレンダリングされている。白熱球515は、子宮510内の3Dデータセット内にレンダリングされる。その結果、子宮510は、胎児505を隠す影をキャストしない。図2の胎児205とは対照的に、胎児505の左腕、右肩及び胴が、識別されることができる。これらの同じフィーチャは、図2に示される画像200においては、子宮の影よって隠されている。
上で述べたように、光源405は、3Dデータセット430からの設定される距離に制限されない。図6は、本開示の実施形態による光源405a−eのさまざまな例示の可能性のある位置を示す概略図である。図6に示すように、光源405は、画像平面420の変化する個々の位置(例えば、XY平面上の個々の異なる位置)において、及び3Dデータセット430内の個々の異なる深さ(例えば、Z軸に沿って)において、レンダリングされることができる。例えば、光源405aは、図4に示される位置にあり、光源405bは、光源405aと同じ深さとところにあるが、3Dデータセット430の画像平面420内の別のポイントにある。光源405cは、画像平面420上の別のポイントにあり且つ3Dデータセット430内の別の深さのところにある。図6に示すように、光源405cは、画像平面420を基準にして関心領域435より深い深さのところにある。光源405は、光源405dによって示されるように、関心領域435内に配置されることもできる。光源405の位置は、3Dデータセット430に制限されない。光源405eは、3Dデータセット430の外側の位置の例を示す。例示の位置は、説明の目的のためにだけ示されており、光源405は、図6に示される位置に制限されない。
シミュレートされた光源405は、図6に示されないが、多方向性光源ではなく指向性光源であってもよい。ある実施形態において、ユーザは、多方向性モード及び指向性モードの間をトグル切り替えすることが可能でありうる。3Dデータセット430内の指向性光源は、ある用途では望ましいこともある。例えば、ユーザは、他の領域への照明を最小限にする一方で、3Dデータセット内の特定領域を強調表示したいことがあり、これは、注意散漫を低下させることができる(例えば、「スポットライト」効果)。
図7a−図7cは、本開示の一実施形態による、複数の異なる深さにおいてシミュレートされた光源によってレンダリングされる例示の僧帽弁画像700a−700cである。図7aに示すように、シミュレートされた光源705は、観察者の視点から、画像700aの僧帽弁の前にレンダリングされている。僧帽弁の前に光源705をレンダリングすることは、臨床医が、僧帽弁の表面上のフィーチャ及び弁を囲む心臓の組織を識別することを可能にすることができる。図7bにおいて、シミュレートされた光源705は、画像700bの僧帽弁内にレンダリングされている。光源705が僧帽弁内にレンダリングされる場合、臨床医は、僧帽弁の個々の異なるコンポーネントのよりとらえがたい輪郭及び深さを観察することが可能である。図7cは、僧帽弁の後に位置付けられる光源705を有するレンダリングされた画像の例である。僧帽弁の後に光源を配置することは、少なくとも、個々の異なる部分の僧帽弁の厚さの定性的な決定に有利でありうる。臨床医は、他の理由を有することもあり、及び/又は光源705の異なる位置に対し付加の利点がありうる。例えば、臨床医は、関心領域上の他の解剖学的構造から影をキャストすることを回避するような深さのところに光源705を位置付ける。
図8は、本開示の一実施形態を実現するために使用されることができる超音波システム800の一部を示す図である。超音波システム800は、ユーザインタフェース805及びディスプレイ810を有することができる。ある実施形態において、ユーザインタフェース805は、図3に示されるユーザインタフェース24を実現するために使用されることができる。ディスプレイ810は、ある実施形態において、図3に示されるディスプレイ38を実現するために使用されることができる。ユーザインタフェース805は、1又は複数のユーザ入力素子を有する1又は複数の入力装置を有することができる。例えば、ユーザインタフェース805は、タッチスクリーン815、1又は複数の回転制御部820、トラックボール825、及びボタン830を有することができる。ある実施形態において、ボタン830は、矢印キー及び/又はQWERTYキーボードを有することができる。ある実施形態において、ディスプレイ810は更に、ユーザインタフェース805の一部であってもよい。例えば、ディスプレイ810は、タッチスクリーンを使用して実現されてもよい。ユーザは、レンダリングされた画像内にシミュレートされた光源を位置付けるために、及び/又はシミュレートされた光源の他の特性(例えば、指向性対多方向性、強度、色)を制御するために、ディスプレイ810、タッチスクリーン815及び/又はユーザインタフェース805に含まれる他の制御部を使用するための選択肢を有することができる。
ユーザは、図8に示されるユーザインタフェース805のようなユーザインタフェースを通じて、レンダリングされた画像内においてシミュレートされた光源の位置を制御することができる。ある実施形態において、ユーザは、トラック825ボール及び回転制御部820を使用することができる。ユーザは、シミュレートされた光源の位置をセットするために、トラックボール825により画像平面上の面内位置(例えば、XY座標)を選択し、回転制御部820により深さ位置(例えば、Z軸上の座標)を選択することができる。ある実施形態において、シミュレートされた光源の位置をセットするために、各々の自由度(例えば、X軸制御、Y軸制御及びZ軸制御)について個別の回転制御部が提供されることができる。ある実施形態において、ユーザは、シミュレートされた光源の位置(例えば、X−Y−Z座標)を選択するために、例えば矢印キーのようなボタン830を使用することができる。
ある実施形態において、ユーザインタフェース805又はユーザインタフェースの入力素子は、グラフィカルユーザインタフェース(GUI)を有する。例えば、ディスプレイ810及び/又はタッチスクリーン815は、GUIを含むことができる。ある実施形態において、ユーザは、シミュレートされた光源を位置付けるために、タッチスクリーン815を使用することができる。タッチスクリーン815上でのさまざまなジェスチャは、シミュレートされた光源の位置を選択するために使用されることができる。例えば、ユーザは、面内位置をセットするためにロケーションでタッチスクリーン815をタップし、及び/又は、タッチスクリーン815に表示される画像にレンダリングされた光球に触れ、タッチスクリーン815に沿ってそれらの指を移動させることによって、光球を或るロケーションに「ドラッグする」ことができる。タッチスクリーン815上の各々のポイントは、画像平面の各ポイントと一致しうる。ユーザは、光源の深さ位置をセットするために、タッチスクリーン815を押して保持し、及び/又は、2本以上の指を用いて「ピンチ(つまむ)」及び「エクスパンド(広げる)」ジェスチャを使用することができる。言い換えると、ユーザは、2本の指を近付けてタッチスクリーン815に配置し、タッチスクリーン815に沿って指を離すように滑らせることで、画像平面に対する3Dデータセット内の光源の深さを増大することができる。深さを浅くするために、ユーザは、タッチスクリーン815上に2本の指を離して配置し、指を近付けることができる。これらのジェスチャは、例として示されるにすぎず、他のジェスチャが、3Dデータセット内にシミュレートされた光源の位置をセットするために使用されることができる(例えば、タッチスクリーンに提供される制御ボタン)。ある実施形態において、ユーザは、ユーザ入力方法の1つ又は組み合わせを使用して、シミュレートされた光源を位置付けることができる。例えば、ユーザは、タッチスクリーンを使用してシミュレートされた光源の位置をセットすることができ、トラックボール及び/又は回転制御部を使用して位置を「微調整する」ことができる。ある実施形態において、ユーザインタフェース805は、シミュレートされた光源を位置付けるための付加の及び/又は代替のユーザ入力制御(例えばスライド制御部、動きセンサ、スタイラス)を有することができる。ある実施形態において、ユーザは、シミュレートされた光源の特性を制御するために、ユーザインタフェース810を使用することができる。例えば、ユーザは、光源の強度及び/又は色をセットすることができる。
図9は、本開示の一実施形態によるディスプレイ905上にレンダリングされた画像910を示す。図3のディスプレイ38又は図8のディスプレイ810が、ある実施形態においてディスプレイ905を実現するために使用されることができる。ある実施形態において、ディスプレイ905はGUIを有することができ、シミュレートされた光源915は、ユーザが光源を位置付けることを支援するための視覚キューによってレンダリングされることができる。図9に示すように、3Dデータセット内で画像平面から遠ざかるほうへ光源が位置付けられるほど、シミュレートされた光源915は、画像910において、より小さいサイズになるようにレンダリングされることができる。ある実施形態において、画像平面は、ディスプレイ905とアラインされる。図9に示すように、光源915は、ページの中へと移動するようにみえる。この例において、光源915aは、画像平面に最も近く、光源915cは、画像平面から最も遠い。画像910内の光源915のサイズを変えることは、3DデータセットのZ軸に沿って光源915の深さを示す視覚キューを提供することができ、ユーザが3Dデータセット内に光源を位置付けることを支援することができる。
図10は、本開示の一実施形態による、ディスプレイ1005上にレンダリングされる画像1010を示す。図3のディスプレイ38又は図8のディスプレイ810が、ある実施形態において、ディスプレイ1005を実現するために使用されることができる。ある実施形態において、ディスプレイ1005はGUIを有することができ、シミュレートされた光源1015は、ハロー(halo)1020を有して、画像1010内にレンダリングされることができる。ハロー1020は、ユーザが、光源1015を視覚的に画像1010内に位置付けることを可能にしうる。ある実施形態において、光源1015が、画像1010の視野の外側に位置付けられる場合、ハロー1020は、ユーザが光源1015を位置付けることを可能にしうる。ある実施形態において、ユーザは、ハロー1020をオン/オフさせることができる。すなわち、ユーザは、ハロー1020が画像1010の光源1015の周囲にレンダリングされるか否かを制御することができる。ある実施形態において、光源1015が或る時間期間(例えば、1/2秒、2秒、10秒)静止したのち、ハロー1020は、自動的に消失することができる。ある実施形態において、ユーザは、光源1015の視覚キューをオフにすることができる。オフにすることによって、ユーザが、光源1015からレンダリングされる照明を、画像1010から除去することを選択することを意味するのではなく、ユーザが、画像1010内の光源1015の視覚キュー(例えば、球)のレンダリングをオフにすることを意味する。ある実施形態において、光源1015が或る時間期間中(例えば、1/2秒、2秒、10秒)静止したのち、光源1015の視覚キューのレンダリングが、自動的に消失しうる。ハロー1020のオン及びオフ及び/又は光源1015のレンダリングは、ユーザが、光源1015を位置付けるための視覚キューから干渉のなく、画像1010を観察することを可能にすることができる。球及び/又はハローのような視覚キューは、イメージングシステムのボリュームレンダラ及び/又は画像プロセッサによってレンダリングされることができる。例えば、図1に示される超音波イメージングシステム10のボリュームレンダラ34及び画像プロセッサ36が、本開示の一実施形態を実現するために使用されることができる。
図11a−bは、ハロー1120を有する光源1115のレンダリングされた画像1100a−cの例示の画像である。図11aは、球としてレンダリングされるシミュレートされた光源1115を有する画像1100aを示す。図11bは、ハロー1120によってレンダリングされる光源1115を示す。あるユーザは、図11aと比較して図11bのほうが、光源1115を位置付けることが容易であることに気づくであろう。ハロー1120は、光源1115が指向性ではなく多方向性であることをユーザに示すことができる。図11cは、光源1115がユーザの視野の外側に位置付けられている画像1100cを示す。しかしながら、ハロー1120がユーザの視野内にあるので、ユーザは光源1115をなお位置付けることができる。ハロー1120は、ある実施形態において、ユーザが、光源1115を配置し位置付けることをより容易にすることができる。
図12は、本開示の一実施形態により、3Dデータセットの仮想観察者の視点から2D投影をレンダリングするために、3Dデータセット内にシミュレートされた光源を位置付ける方法1200のフローチャートである。ある実施形態において、方法1200は、図4に示される画像レンダリング技法400及び図3に示される超音波イメージングシステムを使用して、実現されることができる。ある実施形態において、ユーザは、3Dデータセットの2D投影画像をレンダリングする前に、3Dデータセット内のシミュレートされた光源の位置を選択することができる。ある実施形態において、イメージングシステムは、デフォルト位置に初期デフォルト光源と共に、3Dデータセットから2D投影画像をレンダリングすることができる。デフォルト光源及び位置は、イメージングシステムに予めプログラムされることができ、及び/又はユーザによってセットされることができる。ある実施形態において、デフォルト光源は、データセットから固定の距離はなれた外部の指向性光源でありうる。ある実施形態において、デフォルト光源は、3Dデータセット内に又はその近くに位置付けられる多方向性光源でありうる。ステップ1205において、イメージングシステムは、3Dデータセットの2D投影画像をレンダリングするために、シミュレートされた光源の選択を受け取ることができる。ある実施形態において、ユーザは、シミュレートされた光源を選択することができる。ユーザは、例えば図1のユーザインタフェース24又は図8のユーザインタフェース810のようなユーザインタフェースを通じて、光源を選択することができる。ある実施形態において、ユーザは、イメージングシステムの照明制御モードを入力するようにユーザインタフェースを通じてナビゲートすることができる。ある実施形態において、ユーザは、光源を選択するために、ボタン又はタッチスクリーンをタップすることができる。任意に、ユーザ及び/又はイメージングシステムは、ステップ1210で光源の視覚キューをアクティブにすることができる。すなわち、ユーザは、対象(例えば球)として画像内にレンダリングされる光源を有することを選択することができる。ある実施形態において、光源は、画像内にデフォルトでレンダリングされることができる。任意に、ユーザ及び/又はイメージングシステムは、ステップ1215において、光源の周囲のハローを活性化することができる。ある実施形態において、光源は、デフォルトで、ハローと共にレンダリングされることができる。ある実施形態において、ユーザは、ハローなしの画像をレンダリングしたいことがある。
ステップ1220で、イメージングシステムは、2D投影画像(例えば、図4の画像平面420)の投影平面に対応する平面内のシミュレートされた光源の面内位置の標示を、ユーザ入力に応答して受け取ることができる。ユーザは、光源のための面内位置を選択することができる。面内位置は、ある実施形態において、画像平面内の位置に対応することができる。ステップ1225において、投影平面に垂直な軸(例えばZ軸)上で、シミュレートされた光源の深さ位置が、決定されることができる。ある実施形態において、ユーザは、光源の深さ位置を選択することができる。深さ位置は、画像平面に対する3Dデータセット内の深さに対応することができる。ある実施形態において、ステップ1225及びステップ1220は、逆の順序で実施されることができる。ある実施形態において、ステップ1220及び1225は、同時に実施されることができる。ユーザは、図8を参照して上述したように、トラックボール(タッチスクリーン)及び/又は別の方法及び/又はユーザインタフェースを使用することによって、面内位置及び深さ位置を選択することができる。イメージングシステムは、ステップ1230において、面内方向及び深さ位置に基づいて3Dデータセットの1又は複数の表面の表面シェーディング情報を計算することができる。ステップ1235において、イメージングシステムは、シェーディング情報を含む2D投影画像をディスプレイ上にレンダリングすることができる。ある実施形態において、光源の位置がユーザによって移動されるにつれて、イメージングシステムは、画像をレンダリングし直すことができる。すなわち、光源の位置が変更されるにつれて、画像の光及び影が動的に変化することができる(例えば、表面シェーディング情報が計算し直されることができる)。これは、ユーザが、順番に画像の部分を照明することによって、すばやく光源の可能性のある位置を比較し、及び/又は画像のフィーチャを調べることを可能にすることができる。例えば、ユーザは、各々の脊椎骨を調べるために、脊柱に沿って光源を移動させることができる。
光源が適当な位置にくると、レンダリングされている場合にはハローが、ステップ1240において非活性化されることができる。ある実施形態において、ユーザは、(例えばユーザインタフェースを通じて)ハローを非活性化することを選択することができる。ある実施形態において、イメージングシステムは、光源が或る時間期間の間静止している場合、ハローをレンダリングするのを自動的に止めることができる。代替として、ハローは、レンダリングされ続けることができる。これは、ユーザが視野外の光源の位置を選ぶ場合は望ましいことがある。任意に、ステップ1245において、光源の視覚キューが、非活性化されることができる。すなわち、画像の光源としてレンダリングされる対象が、画像から除去されることができる。イメージングシステムが、光源の視覚キューを自動的に非活性化することができ、又はユーザが、光源の視覚キューを非活性化することを選択することができる。ユーザが、光源の近くにある、画像内において照明される微小なフィーチャを観察したいと望む場合は、光源の視覚キューを非活性化することが有利でありえる。
方法1200は、ある実施形態の画像取得の間、実施されることができる。例えば、イメージングシステムは、超音波検査の間、マトリクスアレイ超音波トランスデューサから取得される3Dデータセットから、画像をレンダリングすることができる。方法1200は、イメージングシステム又は他のコンピューティング装置(例えば、コンピュータ、病院メインフレーム、クラウドサービス)に記憶された3Dデータセットについて実施されることができる。例えば、放射線医は、事前検査の間に取得された3Dデータセットからレンダリングされる画像をチェックすることができる。
方法1200は、単一の光源に関して記述されているが、方法1200の全て又は部分は、複数の光源について実施され及び/又は繰り返されることができる。例えば、ユーザは、浅い深さのところに(例えば、画像平面の近くに)第1の光源をセットすることができ、それにより、画像内のレンダリングボリュームの全体的な照明を提供することができる。この例に続いて、ユーザは、より深い深さのところに、及び/又は関心領域の近くに、第2の光源をセットすることができる。これは、関心領域の周囲のフィーチャに可視性を提供すると共に、関心領域のフィーチャをユーザが強調表示することを可能にすることができる。
ここに記述されるように、3Dデータセット内の及び/又はその周囲の任意の場所に配置されることができるシミュレートされた光源は、付加の照明オプションを、3Dデータセットからレンダリングされる画像に提供することができる。シミュレートされた光源は、ある実施形態では、多方向性光源でありうる。これらの付加的な選択肢は、他の解剖学的特徴によって自己遮蔽されにくい画像をレンダリングし、組織の表面及び/又は組織の厚さをより良く定義することを可能にすることができる。
コンポーネント、システム及び/又は方法がプログラム可能な装置(例えばコンピュータによるシステム又はプログラマブル論理)を使用して実現されるさまざまな実施形態において、上述のシステム及び方法は、例えば「C」、「C++」、「FORTRAN」、「Pascal」、「VHDL」などのさまざまな知られているプログラミング言語又は後から開発されるプログラミング言語のいずれかを使用して実現されることができることが理解されるべきである。従って、上述のシステム及び/又は方法を実現するようにコンピュータなどの装置に指示することができる情報を有することができる磁気コンピュータディスク、光ディスク、電子メモリなどのさまざまな記憶媒体を準備することができる。適当な装置が記憶媒体に含まれる情報及びプログラムにアクセスすると、記憶媒体は、当該装置に情報及びプログラムを提供することができ、それにより、当該装置が、ここに記述されるシステム及び/又は方法の機能を実施することを可能にする。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切な材料を含むコンピュータディスクがコンピュータに提供された場合、コンピュータは、情報を受け取り、適切にそれ自体を構成し、上述した図及びフローチャートに概説されるさまざまなシステム及び方法の種々の機能を実現することができるために。すなわち、コンピュータは、上述したシステム及び/又は方法の異なる構成要素に関する情報のさまざまな部分をディスクから受け取ることができ、個別のシステム及び/又は方法を実現することができ、上述の個別のシステム及び/又は方法の機能をコーディネートすることができる。
なお、本開示に関して、ここに記述されるさまざまな方法及び装置は、ハードウェア、ソフトウェア及びファームウェアにおいて実現されることができる。更に、さまざまな方法及びパラメータは、限定的ではなく、例示としてのみ含められることができる。本開示に関して、当業者は、それらの自身の技法及びこれらの技法に作用するために必要とされる機器を決定する際に本教示を、本発明の範囲内のまま実現することができる。
本システムは、特に超音波イメージングシステムに関連して記述されているが、本システムは、1又は複数の画像が系統的なやり方で取得される他の医用イメージングシステムにも拡張されることができることが企図される。従って、本システムは、腎臓、精巣、***、卵巣、子宮、甲状腺、肝臓、肺、筋骨格系、脾臓、心臓、動脈及び血管系に非限定的に関連する画像情報を取得し及び/記録するために使用され、超音波ガイドされる介入に関連する他のイメージングアプリケーションにおいても使用される。更に、本システムは更に、それらが本システムの特徴及び効果を提供することができるように、従来のイメージングシステムによって使用されることができる1又は複数のプログラムを含むことができる。本開示の特定の付加の利点及び特徴は、本開示を研究することにより当業者に明らかでありえ、又は本開示の新しいシステム及び方法を用いる人によって経験されることができる。本システム及び方法の別の利点は、従来の医用画像システムが本システム、装置及び方法の特徴及び効果を組み込むために容易にアップグレードされることができることである。
当然、ここに記述される例、実施形態又はプロセスの任意の1つは、1又は複数の他の例、実施形態及び/又はプロセスと組み合わせられることができ、又は、本システム、装置及び方法に従って別々の装置又は装置部分の間で分離され及び/又は実施されることが理解されることができる。
最後に、上述の説明は、本システムの単に説明することが意図される、添付の請求項を任意の特定の実施形態又は実施形態のグループに制限するものとして解釈されるべきでない。こうして、本システムは、例示的な実施形態に関して特に詳しく記述されているが、更に、多くの変更例及び代替の実施形態が、添付の請求項に示されるように、本システムのより広い意図される精神及び範囲を逸脱することなく、当業者によって案出されることができることが分かるであろう。従って、本明細書及び図面は、例示の態様として考えられるできであり、添付の請求項の範囲を制限することを意図しない。

Claims (15)

  1. 超音波イメージングシステムであって、
    被検体のボリュームをイメージングするために前記被検体から超音波エコーを受け取る超音波プローブと、
    前記超音波エコーから3Dデータセットを生成するスキャンコンバータと、
    前記3Dデータセットに対するシミュレートされた光源の位置に少なくとも部分的に基づいて、前記3Dデータセットの表面の表面シェーディング情報を計算し、前記3Dデータセットの2D投影画像をレンダリングするボリュームレンダラであって、前記2D投影画像は、前記シェーディング情報を含む、ボリュームレンダラと、
    前記2D投影画像を表示するディスプレイと、前記シミュレートされた光源を前記3Dデータセット内の位置に配置するためのユーザ入力を受け取るユーザ入力素子を具備する入力装置と、を有するユーザインタフェースと、
    を有する超音波イメージングシステム。
  2. 前記シミュレートされた光源は、多方向性光源である、請求項1に記載のイメージングシステム。
  3. 前記表面は、イメージングされるボリュームの2つの異なる物質の間の境界を表す、請求項1に記載のイメージングシステム。
  4. 前記ボリュームレンダラは、前記シミュレートされた光源が仮想観察者によって知覚される前記表面の前の所与の距離のところに位置するという指示に応答して、第1のシェーディング情報を計算し、前記シミュレートされた光源が前記仮想観察者によって知覚される前記表面の後ろの所与の距離のところに位置するという指示に応じて、前記第1のシェーディング情報と異なる第2のシェーディング情報を計算する、請求項1に記載のイメージングシステム。
  5. 前記ユーザインタフェースは、トラックボール、タッチパッド、タッチスクリーン、又はそれらの組み合わせを含み、前記ユーザ入力素子は、前記トラックボール、前記タッチパッド、又は前記タッチスクリーンを通じて提供される、請求項1に記載のイメージングシステム。
  6. 前記ユーザ入力素子は、前記超音波システムのタッチスクリーン上に表示されるGUIを有し、前記GUIは、前記レンダリングされる3Dデータセットとともに前記2D投影画像に表示される前記シミュレートされた光源の視覚キューを有し、前記レンダリングされる3Dデータセットに対して前記シミュレートされた光源の位置をユーザが動的に変更できるように、前記ユーザの入力に応答して、前記視覚キューが移動可能である、請求項1に記載のイメージングシステム。
  7. 前記ボリュームレンダラは、前記2D投影画像内に、前記シミュレートされた光源の視覚キューをレンダリングする、請求項1に記載のイメージングシステム。
  8. 前記視覚キューが球を含む、請求項7に記載のイメージングシステム。
  9. 前記視覚キューのサイズは、前記3Dデータセット内の前記シミュレートされた光源の深さに少なくとも部分的に基づく、請求項7に記載のイメージングシステム。
  10. 前記シミュレートされた光源は、複数のシミュレートされた光源を含む、請求項1に記載のイメージングシステム。
  11. 前記ユーザ入力素子は、第1のユーザ入力素子であり、前記入力装置は、前記シミュレートされた光源の強度を設定するためのユーザ入力を受け取る第2のユーザ入力素子を有する、請求項1に記載のイメージングシステム。
  12. 3Dデータセットの2D投影画像をレンダリングするために、シミュレートされた光源の選択を受け取るステップであって、前記3Dデータセットは、対象のボリュームから受け取られる超音波エコーから構成される、ステップと、
    ユーザ入力に応答して、前記2D投影画像の投影平面に対応する平面内の、前記シミュレートされた光源の面内位置の標示を受け取るステップと、
    前記投影平面に垂直な軸上において前記3Dデータセット内に前記シミュレートされた光源の深さ位置を決定するステップと、
    前記面内位置及び深さ位置に少なくとも部分的に基づいて前記3Dデータセットの表面の表面シェーディング情報を計算するステップと、
    前記表面シェーディング情報を含む2D投影画像をディスプレイ上にレンダリングするステップと、
    を有する方法。
  13. 前記シミュレートされた光源の選択を受け取ったのち、前記レンダリングされた2D投影画像において、前記シミュレートされた光源の視覚キューを活性化するステップを更に有する、請求項12に記載の方法。
  14. 前記視覚キューがハローを含む、請求項13に記載の方法。
  15. 前記面内位置が受け取られ、前記深さ位置が決定されたのち、前記視覚キュー及び前記ハローを非活性化するステップを更に有する、請求項14に記載の方法。
JP2018563840A 2016-06-10 2017-05-31 レンダリングされた画像を照明するシステム及び方法 Active JP6887449B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662348272P 2016-06-10 2016-06-10
US62/348,272 2016-06-10
EP16306454 2016-11-07
EP16306454.6 2016-11-07
PCT/EP2017/063080 WO2017211626A1 (en) 2016-06-10 2017-05-31 Systems and methods for lighting in rendered images

Publications (3)

Publication Number Publication Date
JP2019517349A JP2019517349A (ja) 2019-06-24
JP2019517349A5 JP2019517349A5 (ja) 2020-07-09
JP6887449B2 true JP6887449B2 (ja) 2021-06-16

Family

ID=59276680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563840A Active JP6887449B2 (ja) 2016-06-10 2017-05-31 レンダリングされた画像を照明するシステム及び方法

Country Status (3)

Country Link
US (1) US20190147645A1 (ja)
EP (1) EP3469554B1 (ja)
JP (1) JP6887449B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US20220151046A1 (en) * 2019-02-19 2022-05-12 Signify Holding B.V. Enhancing a user's recognition of a light scene
US20210019932A1 (en) * 2019-07-18 2021-01-21 GE Precision Healthcare LLC Methods and systems for shading a volume-rendered image
JP2021086586A (ja) * 2019-11-29 2021-06-03 キヤノン株式会社 表示制御装置及びその制御方法
US11367237B2 (en) * 2020-07-01 2022-06-21 GE Precision Healthcare LLC Method and system for controlling a virtual light source for volume-rendered images
US11423608B2 (en) 2020-10-09 2022-08-23 Canon Medical Systems Corporation Irradiance volume based image rendering apparatus and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060270934A1 (en) * 2003-03-27 2006-11-30 Bernard Savord Guidance of invasive medical devices with combined three dimensional ultrasonic imaging system
US9746989B2 (en) * 2011-10-13 2017-08-29 Toshiba Medical Systems Corporation Three-dimensional image processing apparatus
US9818220B2 (en) * 2011-12-28 2017-11-14 General Electric Company Method and system for indicating light direction for a volume-rendered image
US9741161B2 (en) * 2014-08-26 2017-08-22 General Electric Company Method, system, and medical imaging device for shading with multiple light sources
US9659405B2 (en) * 2015-04-01 2017-05-23 Toshiba Medical Systems Corporation Image processing method and apparatus

Also Published As

Publication number Publication date
US20190147645A1 (en) 2019-05-16
EP3469554A1 (en) 2019-04-17
EP3469554B1 (en) 2020-09-09
JP2019517349A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP6887449B2 (ja) レンダリングされた画像を照明するシステム及び方法
JP7132916B2 (ja) レンダリング画像におけるシミュレーション光源の位置決めのためのシステム及び方法
CN109601018B (zh) 用于根据3d超声数据生成b模式图像的***和方法
Mohamed et al. A survey on 3D ultrasound reconstruction techniques
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
KR20000069171A (ko) 3차원 이미징 시스템에 대한 향상된 이미지 처리
US9196092B2 (en) Multiple volume renderings in three-dimensional medical imaging
US20130328874A1 (en) Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
JP2012252697A (ja) ボリューム・レンダリングした画像内の3dカーソルの深さを示すための方法及びシステム
EP2425782A2 (en) Apparatus and method for a real-time multi-view three-dimensional ultrasonic image user interface for ultrasonic diagnosis system
US7567701B2 (en) Input system for orientation in a three-dimensional visualization and method for visualization of three-dimensional data sets
US20140055448A1 (en) 3D Image Navigation Method
KR101068917B1 (ko) 기관 표시를 위한 초음파 진단기 및 방법
US20230070102A1 (en) Volumetric lighting of 3d overlays on 2d images
WO2018011105A1 (en) Systems and methods for three dimensional touchless manipulation of medical images
CN109313818B (zh) 用于在绘制图像中的照明的***和方法
Chan et al. Using game controller as position tracking sensor for 3D freehand ultrasound imaging
JP2018509229A (ja) セグメンテーション選択システム及びセグメンテーション選択方法
Gaurav et al. Integrating images from a moveable tracked display of three-dimensional data
Shukla et al. Integrating images from a moveable tracked display of three-dimensional data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210518

R150 Certificate of patent or registration of utility model

Ref document number: 6887449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250