JP6887449B2 - レンダリングされた画像を照明するシステム及び方法 - Google Patents
レンダリングされた画像を照明するシステム及び方法 Download PDFInfo
- Publication number
- JP6887449B2 JP6887449B2 JP2018563840A JP2018563840A JP6887449B2 JP 6887449 B2 JP6887449 B2 JP 6887449B2 JP 2018563840 A JP2018563840 A JP 2018563840A JP 2018563840 A JP2018563840 A JP 2018563840A JP 6887449 B2 JP6887449 B2 JP 6887449B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- image
- dataset
- simulated light
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000009877 rendering Methods 0.000 claims description 38
- 230000000007 visual effect Effects 0.000 claims description 23
- 125000001475 halogen functional group Chemical group 0.000 claims description 21
- 238000012285 ultrasound imaging Methods 0.000 claims description 8
- 239000000523 sample Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 210000004115 mitral valve Anatomy 0.000 description 10
- 210000004291 uterus Anatomy 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 210000003484 anatomy Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001605 fetal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 210000003709 heart valve Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010009269 Cleft palate Diseases 0.000 description 1
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001550 testis Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Generation (AREA)
Description
Claims (15)
- 超音波イメージングシステムであって、
被検体のボリュームをイメージングするために前記被検体から超音波エコーを受け取る超音波プローブと、
前記超音波エコーから3Dデータセットを生成するスキャンコンバータと、
前記3Dデータセットに対するシミュレートされた光源の位置に少なくとも部分的に基づいて、前記3Dデータセットの表面の表面シェーディング情報を計算し、前記3Dデータセットの2D投影画像をレンダリングするボリュームレンダラであって、前記2D投影画像は、前記シェーディング情報を含む、ボリュームレンダラと、
前記2D投影画像を表示するディスプレイと、前記シミュレートされた光源を前記3Dデータセット内の位置に配置するためのユーザ入力を受け取るユーザ入力素子を具備する入力装置と、を有するユーザインタフェースと、
を有する超音波イメージングシステム。 - 前記シミュレートされた光源は、多方向性光源である、請求項1に記載のイメージングシステム。
- 前記表面は、イメージングされるボリュームの2つの異なる物質の間の境界を表す、請求項1に記載のイメージングシステム。
- 前記ボリュームレンダラは、前記シミュレートされた光源が仮想観察者によって知覚される前記表面の前の所与の距離のところに位置するという指示に応答して、第1のシェーディング情報を計算し、前記シミュレートされた光源が前記仮想観察者によって知覚される前記表面の後ろの所与の距離のところに位置するという指示に応じて、前記第1のシェーディング情報と異なる第2のシェーディング情報を計算する、請求項1に記載のイメージングシステム。
- 前記ユーザインタフェースは、トラックボール、タッチパッド、タッチスクリーン、又はそれらの組み合わせを含み、前記ユーザ入力素子は、前記トラックボール、前記タッチパッド、又は前記タッチスクリーンを通じて提供される、請求項1に記載のイメージングシステム。
- 前記ユーザ入力素子は、前記超音波システムのタッチスクリーン上に表示されるGUIを有し、前記GUIは、前記レンダリングされる3Dデータセットとともに前記2D投影画像に表示される前記シミュレートされた光源の視覚キューを有し、前記レンダリングされる3Dデータセットに対して前記シミュレートされた光源の位置をユーザが動的に変更できるように、前記ユーザの入力に応答して、前記視覚キューが移動可能である、請求項1に記載のイメージングシステム。
- 前記ボリュームレンダラは、前記2D投影画像内に、前記シミュレートされた光源の視覚キューをレンダリングする、請求項1に記載のイメージングシステム。
- 前記視覚キューが球を含む、請求項7に記載のイメージングシステム。
- 前記視覚キューのサイズは、前記3Dデータセット内の前記シミュレートされた光源の深さに少なくとも部分的に基づく、請求項7に記載のイメージングシステム。
- 前記シミュレートされた光源は、複数のシミュレートされた光源を含む、請求項1に記載のイメージングシステム。
- 前記ユーザ入力素子は、第1のユーザ入力素子であり、前記入力装置は、前記シミュレートされた光源の強度を設定するためのユーザ入力を受け取る第2のユーザ入力素子を有する、請求項1に記載のイメージングシステム。
- 3Dデータセットの2D投影画像をレンダリングするために、シミュレートされた光源の選択を受け取るステップであって、前記3Dデータセットは、対象のボリュームから受け取られる超音波エコーから構成される、ステップと、
ユーザ入力に応答して、前記2D投影画像の投影平面に対応する平面内の、前記シミュレートされた光源の面内位置の標示を受け取るステップと、
前記投影平面に垂直な軸上において、前記3Dデータセット内に前記シミュレートされた光源の深さ位置を決定するステップと、
前記面内位置及び深さ位置に少なくとも部分的に基づいて前記3Dデータセットの表面の表面シェーディング情報を計算するステップと、
前記表面シェーディング情報を含む2D投影画像をディスプレイ上にレンダリングするステップと、
を有する方法。 - 前記シミュレートされた光源の選択を受け取ったのち、前記レンダリングされた2D投影画像において、前記シミュレートされた光源の視覚キューを活性化するステップを更に有する、請求項12に記載の方法。
- 前記視覚キューがハローを含む、請求項13に記載の方法。
- 前記面内位置が受け取られ、前記深さ位置が決定されたのち、前記視覚キュー及び前記ハローを非活性化するステップを更に有する、請求項14に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662348272P | 2016-06-10 | 2016-06-10 | |
US62/348,272 | 2016-06-10 | ||
EP16306454 | 2016-11-07 | ||
EP16306454.6 | 2016-11-07 | ||
PCT/EP2017/063080 WO2017211626A1 (en) | 2016-06-10 | 2017-05-31 | Systems and methods for lighting in rendered images |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019517349A JP2019517349A (ja) | 2019-06-24 |
JP2019517349A5 JP2019517349A5 (ja) | 2020-07-09 |
JP6887449B2 true JP6887449B2 (ja) | 2021-06-16 |
Family
ID=59276680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563840A Active JP6887449B2 (ja) | 2016-06-10 | 2017-05-31 | レンダリングされた画像を照明するシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190147645A1 (ja) |
EP (1) | EP3469554B1 (ja) |
JP (1) | JP6887449B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019045144A1 (ko) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 |
US20220151046A1 (en) * | 2019-02-19 | 2022-05-12 | Signify Holding B.V. | Enhancing a user's recognition of a light scene |
US20210019932A1 (en) * | 2019-07-18 | 2021-01-21 | GE Precision Healthcare LLC | Methods and systems for shading a volume-rendered image |
JP2021086586A (ja) * | 2019-11-29 | 2021-06-03 | キヤノン株式会社 | 表示制御装置及びその制御方法 |
US11367237B2 (en) * | 2020-07-01 | 2022-06-21 | GE Precision Healthcare LLC | Method and system for controlling a virtual light source for volume-rendered images |
US11423608B2 (en) | 2020-10-09 | 2022-08-23 | Canon Medical Systems Corporation | Irradiance volume based image rendering apparatus and method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060270934A1 (en) * | 2003-03-27 | 2006-11-30 | Bernard Savord | Guidance of invasive medical devices with combined three dimensional ultrasonic imaging system |
US9746989B2 (en) * | 2011-10-13 | 2017-08-29 | Toshiba Medical Systems Corporation | Three-dimensional image processing apparatus |
US9818220B2 (en) * | 2011-12-28 | 2017-11-14 | General Electric Company | Method and system for indicating light direction for a volume-rendered image |
US9741161B2 (en) * | 2014-08-26 | 2017-08-22 | General Electric Company | Method, system, and medical imaging device for shading with multiple light sources |
US9659405B2 (en) * | 2015-04-01 | 2017-05-23 | Toshiba Medical Systems Corporation | Image processing method and apparatus |
-
2017
- 2017-05-31 EP EP17734995.8A patent/EP3469554B1/en active Active
- 2017-05-31 JP JP2018563840A patent/JP6887449B2/ja active Active
- 2017-05-31 US US16/306,951 patent/US20190147645A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20190147645A1 (en) | 2019-05-16 |
EP3469554A1 (en) | 2019-04-17 |
EP3469554B1 (en) | 2020-09-09 |
JP2019517349A (ja) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6887449B2 (ja) | レンダリングされた画像を照明するシステム及び方法 | |
JP7132916B2 (ja) | レンダリング画像におけるシミュレーション光源の位置決めのためのシステム及び方法 | |
CN109601018B (zh) | 用于根据3d超声数据生成b模式图像的***和方法 | |
Mohamed et al. | A survey on 3D ultrasound reconstruction techniques | |
JP5495357B2 (ja) | 画像表示方法及び医用画像診断システム | |
KR20000069171A (ko) | 3차원 이미징 시스템에 대한 향상된 이미지 처리 | |
US9196092B2 (en) | Multiple volume renderings in three-dimensional medical imaging | |
US20130328874A1 (en) | Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging | |
JP2012252697A (ja) | ボリューム・レンダリングした画像内の3dカーソルの深さを示すための方法及びシステム | |
EP2425782A2 (en) | Apparatus and method for a real-time multi-view three-dimensional ultrasonic image user interface for ultrasonic diagnosis system | |
US7567701B2 (en) | Input system for orientation in a three-dimensional visualization and method for visualization of three-dimensional data sets | |
US20140055448A1 (en) | 3D Image Navigation Method | |
KR101068917B1 (ko) | 기관 표시를 위한 초음파 진단기 및 방법 | |
US20230070102A1 (en) | Volumetric lighting of 3d overlays on 2d images | |
WO2018011105A1 (en) | Systems and methods for three dimensional touchless manipulation of medical images | |
CN109313818B (zh) | 用于在绘制图像中的照明的***和方法 | |
Chan et al. | Using game controller as position tracking sensor for 3D freehand ultrasound imaging | |
JP2018509229A (ja) | セグメンテーション選択システム及びセグメンテーション選択方法 | |
Gaurav et al. | Integrating images from a moveable tracked display of three-dimensional data | |
Shukla et al. | Integrating images from a moveable tracked display of three-dimensional data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210518 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6887449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |