JP7023196B2 - 検査支援装置、方法およびプログラム - Google Patents
検査支援装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7023196B2 JP7023196B2 JP2018132896A JP2018132896A JP7023196B2 JP 7023196 B2 JP7023196 B2 JP 7023196B2 JP 2018132896 A JP2018132896 A JP 2018132896A JP 2018132896 A JP2018132896 A JP 2018132896A JP 7023196 B2 JP7023196 B2 JP 7023196B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- virtual
- endoscope image
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 38
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 210000000621 bronchi Anatomy 0.000 description 30
- 238000003860 storage Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得する変換部と、
変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する類似度算出部とを備える。
実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得し、
変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被検体の管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す実内視鏡画像、および被検体の管状構造物を含む3次元画像から生成された、管状構造物の内壁を擬似的に表す仮想内視鏡画像を取得し、
実内視鏡画像の表現形式を、仮想内視鏡画像の表現形式に変換することにより、変換済み実内視鏡画像を取得し、
変換済み実内視鏡画像と仮想内視鏡画像との類似度を算出する処理を実行する。
3A 操作部
3B 内視鏡先端
4 3次元画像撮影装置
5 画像保管サーバ
6 検査支援装置
8 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 気管支画像生成部
23 仮想内視鏡画像生成部
24 変換部
25 類似度算出部
26 位置推定部
27 表示制御部
31 内視鏡スコープ
40 経路
50 表示画像
51 移動軌跡
A0 範囲
B0 気管支画像
K0 仮想内視鏡画像
P1 位置
Pb 基準位置
Pt 位置
T0 実内視鏡画像
T1 変換済み実内視鏡画像
Claims (7)
- 被検体の管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む3次元画像から生成された、前記管状構造物の内壁を擬似的に表すCG風の表現形式を有する仮想内視鏡画像を取得する画像取得部と、
前記実内視鏡画像の前記実写風の表現形式を、前記仮想内視鏡画像の前記CG風の表現形式に変換することにより、変換済み実内視鏡画像を取得する変換部と、
前記変換済み実内視鏡画像と前記仮想内視鏡画像との類似度を算出する類似度算出部とを備えた検査支援装置。 - 前記算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、前記管状構造物内における前記内視鏡の位置を推定する位置推定部をさらに備えた請求項1に記載の検査支援装置。
- 前記推定された内視鏡の位置に対応する仮想内視鏡画像と前記変換済み実内視鏡画像とを表示部に表示する表示制御部をさらに備えた請求項2に記載の検査支援装置。
- 前記3次元画像から前記仮想内視鏡画像を生成する仮想内視鏡画像生成部をさらに備えた請求項1から3のいずれか1項に記載の検査支援装置。
- 前記変換部は、機械学習がなされたニューラルネットワークにより前記変換済み実内視鏡画像を取得する請求項1から4のいずれか1項に記載の検査支援装置。
- コンピュータが、被検体の管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む3次元画像から生成された、前記管状構造物の内壁を擬似的に表すCG風の表現形式を有する仮想内視鏡画像を取得し、
前記実内視鏡画像の前記実写風の表現形式を、前記仮想内視鏡画像の前記CG風の表現形式に変換することにより、変換済み実内視鏡画像を取得し、
前記変換済み実内視鏡画像と前記仮想内視鏡画像との類似度を算出する検査支援方法。 - 被検体の管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実写風の表現形式を有する実内視鏡画像、および前記被検体の前記管状構造物を含む3次元画像から生成された、前記管状構造物の内壁を擬似的に表すCG風の表現形式を有する仮想内視鏡画像を取得する手順と、
前記実内視鏡画像の前記実写風の表現形式を、前記仮想内視鏡画像の前記CG風の表現形式に変換することにより、変換済み実内視鏡画像を取得する手順と、
前記変換済み実内視鏡画像と前記仮想内視鏡画像との類似度を算出する手順とをコンピュータに実行させる検査支援プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132896A JP7023196B2 (ja) | 2018-07-13 | 2018-07-13 | 検査支援装置、方法およびプログラム |
US16/453,687 US10970875B2 (en) | 2018-07-13 | 2019-06-26 | Examination support device, examination support method, and examination support program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132896A JP7023196B2 (ja) | 2018-07-13 | 2018-07-13 | 検査支援装置、方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020010735A JP2020010735A (ja) | 2020-01-23 |
JP2020010735A5 JP2020010735A5 (ja) | 2020-10-01 |
JP7023196B2 true JP7023196B2 (ja) | 2022-02-21 |
Family
ID=69139554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132896A Active JP7023196B2 (ja) | 2018-07-13 | 2018-07-13 | 検査支援装置、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10970875B2 (ja) |
JP (1) | JP7023196B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11172184B2 (en) | 2018-12-13 | 2021-11-09 | Covidien Lp | Systems and methods for imaging a patient |
US11801113B2 (en) * | 2018-12-13 | 2023-10-31 | Covidien Lp | Thoracic imaging, distance measuring, and notification system and method |
US11617493B2 (en) | 2018-12-13 | 2023-04-04 | Covidien Lp | Thoracic imaging, distance measuring, surgical awareness, and notification system and method |
CN112641514B (zh) * | 2020-12-17 | 2022-10-18 | 杭州堃博生物科技有限公司 | 一种微创介入导航***与方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009279251A (ja) | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2011000173A (ja) | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
US20120027260A1 (en) | 2009-04-03 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Associating a sensor position with an image position |
JP2012050606A (ja) | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 内視鏡画像処理装置および方法、並びに、プログラム |
WO2012108085A1 (ja) | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5718537B2 (ja) | 1973-12-25 | 1982-04-17 | ||
JP4171833B2 (ja) | 2002-03-19 | 2008-10-29 | 国立大学法人東京工業大学 | 内視鏡誘導装置および方法 |
JP5160699B2 (ja) * | 2011-01-24 | 2013-03-13 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
EP2904958A4 (en) | 2013-03-12 | 2016-08-24 | Olympus Corp | ENDOSCOPE SYSTEM |
-
2018
- 2018-07-13 JP JP2018132896A patent/JP7023196B2/ja active Active
-
2019
- 2019-06-26 US US16/453,687 patent/US10970875B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009279251A (ja) | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
US20120027260A1 (en) | 2009-04-03 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Associating a sensor position with an image position |
JP2011000173A (ja) | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2012050606A (ja) | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 内視鏡画像処理装置および方法、並びに、プログラム |
WO2012108085A1 (ja) | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
Also Published As
Publication number | Publication date |
---|---|
US10970875B2 (en) | 2021-04-06 |
JP2020010735A (ja) | 2020-01-23 |
US20200020127A1 (en) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6348078B2 (ja) | 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム | |
JP6371729B2 (ja) | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム | |
JP7023196B2 (ja) | 検査支援装置、方法およびプログラム | |
JP6594133B2 (ja) | 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム | |
JP7071240B2 (ja) | 検査支援装置、方法およびプログラム | |
US10092191B2 (en) | Joint visualization of 3D reconstructed photograph and internal medical scan | |
US8064669B2 (en) | Fast 3D-2D image registration system with application to continuously guided endoscopy | |
JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
CN103356155B (zh) | 虚拟内窥镜辅助的腔体病灶检查*** | |
US9396576B2 (en) | Method and apparatus for estimating the three-dimensional shape of an object | |
JP6182045B2 (ja) | 画像処理装置およびその方法 | |
JP6824078B2 (ja) | 内視鏡位置特定装置、方法およびプログラム | |
EP4278322A1 (en) | Methods and apparatuses for generating anatomical models using diagnostic images | |
JP7023195B2 (ja) | 検査支援装置、方法およびプログラム | |
JP6199267B2 (ja) | 内視鏡画像表示装置、その作動方法およびプログラム | |
JP6745748B2 (ja) | 内視鏡位置特定装置、その作動方法およびプログラム | |
US20230081476A1 (en) | Method of multiple image reconstruction and registration | |
US20230078857A1 (en) | Method of robust surface and depth estimation | |
JP6847011B2 (ja) | 3次元画像処理装置および方法並びにプログラム | |
CN117710233A (zh) | 一种内窥图像的景深扩展方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7023196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |