JP7489387B2 - 3d仮想内視鏡レンダリング - Google Patents
3d仮想内視鏡レンダリング Download PDFInfo
- Publication number
- JP7489387B2 JP7489387B2 JP2021530792A JP2021530792A JP7489387B2 JP 7489387 B2 JP7489387 B2 JP 7489387B2 JP 2021530792 A JP2021530792 A JP 2021530792A JP 2021530792 A JP2021530792 A JP 2021530792A JP 7489387 B2 JP7489387 B2 JP 7489387B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- image data
- volumetric image
- rendering
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 76
- 230000003595 spectral effect Effects 0.000 claims description 127
- 230000000007 visual effect Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 28
- 238000002591 computed tomography Methods 0.000 claims description 25
- 238000013473 artificial intelligence Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000005055 memory storage Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 claims 2
- 229910052740 iodine Inorganic materials 0.000 claims 2
- 239000011630 iodine Substances 0.000 claims 2
- 230000009466 transformation Effects 0.000 claims 1
- 210000001072 colon Anatomy 0.000 description 20
- 239000000463 material Substances 0.000 description 18
- 230000005855 radiation Effects 0.000 description 18
- 238000002609 virtual colonoscopy Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 5
- 238000002052 colonoscopy Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- DSAJWYNOEDNPEQ-UHFFFAOYSA-N barium atom Chemical compound [Ba] DSAJWYNOEDNPEQ-UHFFFAOYSA-N 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- PNDPGZBMCMUPRI-UHFFFAOYSA-N iodine Chemical compound II PNDPGZBMCMUPRI-UHFFFAOYSA-N 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 229910052788 barium Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
3D VEモジュール128は非スペクトルボリュメトリック画像データ及びスペクトルボリュメトリック画像データの両方に基づいて、管腔を通過する仮想内視鏡の仮想カメラの視点から管状構造の管腔の3D VEレンダリング(すなわち3D印象を有する2D画像)を生成する。一例では、3D VEレンダリングが実際の管状構造に挿入され、その位置に配置される物理的な内視鏡ビデオカメラによって提供されるビューと同様である。この場合、例えば、3-D VEレンダリングは、内側の表面上の表面及び構造/材料を含む管状構造の内側を示す。
3D VEモジュール128は、管状構造及び/又はその上の構造/材料の内壁の表面を表す3Dレンダリングの画素についてのスペクトルボリュメトリック画像データのスペクトル特性に基づいて、視覚的エンコーディングを生成する。以下でより詳細に説明するように、一例では、視覚的エンコーディングが色相エンコーディングを含み、スペクトル角、有効原子番号、造影剤濃度、他のスペクトル特性、及び/又はそれらの組み合わせに対応する。視覚的エンコーディングは、構造/材料の存在及び/又はタイプについての視覚的合図を観察者に伝えることができる。これらのスペクトル特性は非スペクトルボリュメトリック画像データからのみ決定することはできず、従って、視覚的エンコーディングは既存の3-D VE技術の一部ではない。したがって、スペクトル特性に基づいて3D VEレンダリングを視覚的にエンコーディングするためにスペクトルボリュメトリック画像データをさらに利用する、本明細書で説明するアプローチは、既存の3D VE技術に対する改善を表す。さらに、視覚的エンコーディングは、効率的な視覚的評価を可能にする。
Claims (11)
- プロセッサと、
3次元仮想内視鏡モジュール及びレンダリングモジュールで構成されるメモリ記憶装置と
を有するシステムであって、
前記プロセッサは、前記3次元仮想内視鏡モジュールにより管状構造のCTスキャンからの非スペクトルボリュメトリック画像データを処理して、3次元印象を提供する不透明度及び陰影を有する前記管状構造の管腔の3次元内視鏡レンダリングを生成するように構成され、
前記プロセッサは、前記3次元仮想内視鏡モジュールにより同じCTスキャンからのスペクトルボリュメトリック画像データを処理して、スペクトル特性に基づいて前記管状構造の壁を前記壁上の関心構造から視覚的に識別する前記3次元内視鏡レンダリング上の視覚的エンコーディングを生成するようにさらに構成され、
前記プロセッサは、前記レンダリングモジュールを実行して、表示モニタを介して前記視覚的エンコーディングを用いて前記3次元内視鏡レンダリングを表示するようにさらに構成され、
前記プロセッサは、前記スペクトルボリュメトリック画像データからのボクセル座標のボクセル値に基づいて決定されるスペクトル角に基づいて、前記視覚的エンコーディングを決定するように構成され、
前記スペクトルボリュメトリック画像データは、第1のエネルギーに対応するスペクトルボリュメトリック画像の第1のセットと、第2の異なるエネルギーに対応するスペクトルボリュメトリック画像の第2のセットとを含み、前記プロセッサは、スペクトルボリュメトリック画像データの前記第1のセットからのボクセル座標の第1のボクセル値と、スペクトルボリュメトリック画像データの前記第2のセットからの前記ボクセル座標の第2のボクセル値との比率のアークタンジェントに基づいて、前記スペクトル角を決定するように構成される、
システム。 - 前記視覚的エンコーディングは、前記管状構造の前記壁及び前記関心構造のための異なる色相を含む、請求項1に記載のシステム。
- 前記プロセッサは、前記スペクトル角0度を表す第1の色と前記スペクトル角90度を表す第2の色との線形混合に基づいて、画素の色相を決定するように構成される、請求項1乃至2の何れか一項に記載のシステム。
- 前記プロセッサは、カラースケールへの前記スペクトル角の非線形変換に基づいて、画素の色相を決定するように構成される、請求項1乃至2の何れか一項に記載のシステム。
- 前記プロセッサは、前記スペクトルボリュメトリック画像データから有効原子番号を決定し、前記有効原子番号に基づいてボクセル座標に対応する画素の色相を決定するようにさらに構成される、請求項2に記載のシステム。
- 前記プロセッサは、前記スペクトルボリュメトリック画像データに基づいてヨウ素濃度を決定し、前記ヨウ素濃度に基づいてボクセル座標に対応する画素の色相を決定するようにさらに構成される、請求項2に記載のシステム。
- 前記プロセッサは、前記3次元内視鏡レンダリングにおいて選択される画素に対応するスライス画像内の領域が視覚的に識別されるように対話的に空間的に結合される前記スライス画像及び前記3次元内視鏡レンダリングを同時に表示するようにさらに構成される、請求項1乃至6の何れか一項に記載のシステム。
- 前記プロセッサは、前記3次元内視鏡レンダリングと、前記3次元内視鏡レンダリング及びスライス画像の両方において利用される同じ視覚的エンコーディングと対話的に空間的に結合される前記スライス画像とを同時に表示するようにさらに構成される、請求項1乃至6の何れか一項に記載のシステム。
- 前記メモリ記憶装置は、3次元内視鏡レンダリング訓練セットに基づいて、前記管状構造の前記壁と前記壁上の関心構造とを識別するように訓練される人工知能モジュールでさらに構成され、前記プロセッサは、前記3次元内視鏡レンダリングにおける前記関心構造の視覚的エンコーディングから前記壁の視覚的エンコーディングを識別する情報を提示するために前記人工知能モジュールを使用するようにさらに構成される、請求項1乃至8の何れか一項に記載のシステム。
- 管状構造のCTスキャンからの非スペクトルボリュメトリック画像データに基づいて3次元印象を提供する不透明度及び陰影を有する前記管状構造の管腔の3次元内視鏡レンダリングを生成するステップと、
前記CTスキャンからのスペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて前記管状構造の壁を前記壁上の関心構造から視覚的に識別する前記3次元内視鏡レンダリングのための視覚的エンコーディングを生成するステップと、
前記視覚的エンコーディングを用いて3次元内視鏡レンダリングを表示するステップと、
前記スペクトルボリュメトリック画像データからのボクセル座標のボクセル値に基づいて決定されるスペクトル角に基づいて、前記視覚的エンコーディングを決定するステップと
を有し、
前記スペクトルボリュメトリック画像データは、第1のエネルギーに対応するスペクトルボリュメトリック画像の第1のセットと、第2の異なるエネルギーに対応するスペクトルボリュメトリック画像の第2のセットとを含み、プロセッサは、スペクトルボリュメトリック画像データの前記第1のセットからのボクセル座標の第1のボクセル値と、スペクトルボリュメトリック画像データの前記第2のセットからの前記ボクセル座標の第2のボクセル値との比率のアークタンジェントに基づいて、前記スペクトル角を決定するように構成される、
方法。 - コンピュータによって実行されるとき、コンピュータシステムを使用して3次元内視鏡レンダリングを生成するための方法を前記コンピュータに実行させる命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
管状構造のCTスキャンからの非スペクトルボリュメトリック画像データに基づいて3次元印象を提供する不透明度及び陰影を有する前記管状構造の管腔の3次元内視鏡レンダリングを生成するステップと、
前記CTスキャンからのスペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて前記管状構造の壁を前記壁上の関心構造から視覚的に識別する前記3次元内視鏡レンダリングのための視覚的エンコーディングを生成するステップと、
前記視覚的エンコーディングを用いて3次元内視鏡レンダリングを表示するステップと、
前記スペクトルボリュメトリック画像データからのボクセル座標のボクセル値に基づいて決定されるスペクトル角に基づいて、前記視覚的エンコーディングを決定するステップと
を有し、
前記スペクトルボリュメトリック画像データは、第1のエネルギーに対応するスペクトルボリュメトリック画像の第1のセットと、第2の異なるエネルギーに対応するスペクトルボリュメトリック画像の第2のセットとを含み、プロセッサは、スペクトルボリュメトリック画像データの前記第1のセットからのボクセル座標の第1のボクセル値と、スペクトルボリュメトリック画像データの前記第2のセットからの前記ボクセル座標の第2のボクセル値との比率のアークタンジェントに基づいて、前記スペクトル角を決定するように構成される、
コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862776053P | 2018-12-06 | 2018-12-06 | |
US62/776,053 | 2018-12-06 | ||
PCT/EP2019/082260 WO2020114806A1 (en) | 2018-12-06 | 2019-11-22 | 3-d virtual endoscopy rendering |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022509852A JP2022509852A (ja) | 2022-01-24 |
JPWO2020114806A5 JPWO2020114806A5 (ja) | 2022-10-18 |
JP7489387B2 true JP7489387B2 (ja) | 2024-05-23 |
Family
ID=68731962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021530792A Active JP7489387B2 (ja) | 2018-12-06 | 2019-11-22 | 3d仮想内視鏡レンダリング |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220101617A1 (ja) |
EP (1) | EP3891709A1 (ja) |
JP (1) | JP7489387B2 (ja) |
CN (1) | CN113287155A (ja) |
WO (1) | WO2020114806A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022071822A (ja) * | 2020-10-28 | 2022-05-16 | オリンパス株式会社 | 画像表示方法、表示制御装置、およびプログラム |
CN114782470B (zh) * | 2022-06-22 | 2022-09-13 | 浙江鸿禾医疗科技有限责任公司 | 消化道的三维全景识别定位方法、存储介质和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060109953A1 (en) | 2004-11-19 | 2006-05-25 | Deborah Walter | Ct colonography system |
JP2007014483A (ja) | 2005-07-06 | 2007-01-25 | Toshiba Corp | 医用診断装置及び診断支援装置 |
JP2008237908A (ja) | 2007-03-27 | 2008-10-09 | General Electric Co <Ge> | エネルギ識別を用いた計算機式断層写真法における血栓の検出 |
WO2009107770A1 (ja) | 2008-02-29 | 2009-09-03 | 株式会社 日立メディコ | 医用画像表示装置、医用画像撮影装置、及び、医用画像表示方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006000925A2 (en) | 2004-06-23 | 2006-01-05 | Koninklijke Philips Electronics, N.V. | Virtual endoscopy |
EP1876955B1 (en) | 2005-04-26 | 2016-11-23 | Koninklijke Philips N.V. | Double decker detector for spectral ct |
CN101166968A (zh) | 2005-04-29 | 2008-04-23 | 皇家飞利浦电子股份有限公司 | 用于ct的能量分辨光子计数 |
JP5715052B2 (ja) | 2008-06-30 | 2015-05-07 | コーニンクレッカ フィリップス エヌ ヴェ | 画像化システム及び画像化方法 |
JP5551955B2 (ja) * | 2010-03-31 | 2014-07-16 | 富士フイルム株式会社 | 投影画像生成装置、方法、及びプログラム |
US8953911B1 (en) * | 2011-10-28 | 2015-02-10 | Lightlab Imaging, Inc. | Spectroscopic imaging probes, devices, and methods |
US20130296682A1 (en) * | 2012-05-04 | 2013-11-07 | Microsoft Corporation | Integrating pre-surgical and surgical images |
RU2016119373A (ru) * | 2013-10-22 | 2017-11-28 | Конинклейке Филипс Н.В. | Визуализация изображений |
KR102267060B1 (ko) * | 2014-08-19 | 2021-06-21 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
KR101705346B1 (ko) * | 2016-10-05 | 2017-02-13 | 주식회사 지오스토리 | 분광라이브러리를 이용한 초분광영상 분석 시스템 |
US10806334B2 (en) * | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
JP7013849B2 (ja) * | 2017-12-22 | 2022-02-01 | 大日本印刷株式会社 | コンピュータプログラム、画像処理装置及び画像処理方法 |
US10675005B2 (en) * | 2018-08-02 | 2020-06-09 | General Electric Company | Method and system for synchronizing caliper measurements in a multi-frame two dimensional image and a motion mode image |
-
2019
- 2019-11-22 US US17/298,038 patent/US20220101617A1/en active Pending
- 2019-11-22 WO PCT/EP2019/082260 patent/WO2020114806A1/en unknown
- 2019-11-22 CN CN201980088044.5A patent/CN113287155A/zh active Pending
- 2019-11-22 EP EP19812728.4A patent/EP3891709A1/en active Pending
- 2019-11-22 JP JP2021530792A patent/JP7489387B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060109953A1 (en) | 2004-11-19 | 2006-05-25 | Deborah Walter | Ct colonography system |
JP2007014483A (ja) | 2005-07-06 | 2007-01-25 | Toshiba Corp | 医用診断装置及び診断支援装置 |
JP2008237908A (ja) | 2007-03-27 | 2008-10-09 | General Electric Co <Ge> | エネルギ識別を用いた計算機式断層写真法における血栓の検出 |
WO2009107770A1 (ja) | 2008-02-29 | 2009-09-03 | 株式会社 日立メディコ | 医用画像表示装置、医用画像撮影装置、及び、医用画像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113287155A (zh) | 2021-08-20 |
WO2020114806A1 (en) | 2020-06-11 |
JP2022509852A (ja) | 2022-01-24 |
US20220101617A1 (en) | 2022-03-31 |
EP3891709A1 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020175206A (ja) | 画像視覚化 | |
CN107209946B (zh) | 图像数据分割和显示 | |
US7983463B2 (en) | Methods and apparatus for suppressing tagging material in prepless CT colonography | |
KR101971625B1 (ko) | Ct 영상을 처리하는 장치 및 방법 | |
CN108601570B (zh) | 断层摄影图像处理设备和方法以及与方法有关的记录介质 | |
JP7489387B2 (ja) | 3d仮想内視鏡レンダリング | |
JP7258744B2 (ja) | スペクトルコンピュータ断層撮影フィンガープリンティング | |
US20230334732A1 (en) | Image rendering method for tomographic image data | |
EP2828826B1 (en) | Extracting bullous emphysema and diffuse emphysema in e.g. ct volume images of the lungs | |
US11935162B2 (en) | Protocol-dependent 2-D pre-scan projection image based on 3-D pre-scan volumetric image data | |
EP3809376A2 (en) | Systems and methods for visualizing anatomical structures | |
US11602321B2 (en) | Spectral inflammation map from spectral imaging data | |
JPWO2019185457A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7489387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |