JP2024508315A - シーン深度推測を強化するための視鏡修正 - Google Patents
シーン深度推測を強化するための視鏡修正 Download PDFInfo
- Publication number
- JP2024508315A JP2024508315A JP2023553252A JP2023553252A JP2024508315A JP 2024508315 A JP2024508315 A JP 2024508315A JP 2023553252 A JP2023553252 A JP 2023553252A JP 2023553252 A JP2023553252 A JP 2023553252A JP 2024508315 A JP2024508315 A JP 2024508315A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- light
- size
- imaging device
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004048 modification Effects 0.000 title description 4
- 238000012986 modification Methods 0.000 title description 4
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000005286 illumination Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004075 alteration Effects 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 43
- 239000013307 optical fiber Substances 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 11
- 239000004575 stone Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 239000005308 flint glass Substances 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 208000000913 Kidney Calculi Diseases 0.000 description 2
- 206010029148 Nephrolithiasis Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 229910052689 Holmium Inorganic materials 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- KJZYNXUDTRRSPN-UHFFFAOYSA-N holmium atom Chemical compound [Ho] KJZYNXUDTRRSPN-UHFFFAOYSA-N 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00097—Sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4818—Constructional features, e.g. arrangements of optical elements using optical fibres
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Electromagnetism (AREA)
- Endoscopes (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
〔関連出願への相互参照〕
この出願は、本明細書に引用によってその開示が組み込まれている2021年3月3日出願の米国仮特許出願第63/155,988号の利益及びそれに対する優先権を主張するものである。
この出願は、本明細書に引用によってその開示が組み込まれている2021年3月3日出願の米国仮特許出願第63/155,988号の利益及びそれに対する優先権を主張するものである。
本発明の開示は、医療デバイスに関連し、より具体的には、内視鏡検査手順での深度決定に対する強化及びそのような医療デバイスを使用する方法に関する。
いずれの撮像システムを使用しても、ユーザは、画像を正確に解釈するために表示されている物体の実際の物理的サイズを知らなければならない。空間内の固定点での2Dシーンを撮像する光学撮像システムでは、これは、一般的に、焦点距離及び歪みのようなシステムの光学パラメータを較正し、この情報を用いてピクセルサイズ(多くの場合にスケールバーを用いて表示される)を計算することによって達成される。これは、有意な深度を有する3Dシーンを撮像する単眼光学撮像システムでは可能ではない。これらのシステムでは、画像センサピクセルサイズは固定されるが、表示されている物体の物理的サイズは、集光光学系からのこの物体の距離に依存する。同一サイズの2つの物体は、画像内で異なって現れることになり、光学系からより遠くの物体は、より小さく現れることになる。
この問題は、全ての内視鏡検査システムで共通の問題である。尿管鏡手順では、この問題を解決することが特に重要である。腎臓結石(及び/又は残存結石断片)の物理的サイズを知ることは、手順の意思決定及び全体的な手順効率に直接影響を及ぼす場合がある。解剖学的特徴部間での尿管鏡用途では光学的較正だけでは十分ではなく、及び/又は結石断片は、主対物レンズから有意な距離範囲を有することになる。
既存慣例では、視野サイズは、既知の直径の物体と直感的に比較する(例えば、結石のサイズを隣接するレーザファイバと比較する)ことによって推定される。外科医がこの直観を養うには有意な量の時間を要する。内視鏡撮像システムに関して、この直観さえも依然として限られる。内視鏡は、本質的に空間的であり、(1)単一の対物レンズを用い、かつ(2)固定焦点距離光学系に頼る設計をもたらす。これらの制約は、シーンにわたって物体の可変倍率が存在する撮像構成をもたらし、かつセンサによって検出されるどのピクセルも物体に関して異なる物理的サイズを表す場合がある。この根本的な課題は、サイズを正確に測定するより高度な設計を要求する。
手順効率を増大し、ケアの標準化を容易にし、かつ患者の安全性を改善するために、この非常に重要なサイズ決定段階中にサイズ指針を与える方法及びデバイスが必要である。
本発明の開示は、医療デバイスに適する設計、材料、製造方法、及び使用の代替案を提供する。観察された物体のサイズを決定するための例示的撮像システムは、単眼内視鏡と、内視鏡上に装着された撮像デバイスと、撮像デバイスに対して固定された位置に配置された少なくとも1つの光源と、撮像デバイスからの入力を受け入れて光源からの陰影効果、光源によって提供される構造化照明、光源を含む多点照明、光源からの光パルスに関わる飛行時間、及び光源からの横方向色収差のうちの少なくとも1つを解析するように構成されたプロセッサとを備え、その解析は、観察された物体に関する深度決定を提供し、そこから物体のサイズが推測される。
上述の実施形態の代わりとして又はこれに加えて、システムは、撮像デバイス及び光源に対して位置決め可能なツールを更に備える。
上述の実施形態のいずれかの代わりとして又はこれに加えて、光源は、撮像デバイスから離間し、プロセッサは、ツールから投影される陰影の陰影効果解析を実行するように構成される。
上述の実施形態のいずれかの代わりとして又はこれに加えて、ツール上の基準点は、光源からの第1の距離に位置決めされ、陰影効果解析は、ツールの陰影がその上で可視である面までの光源からの第2の距離に対する第1の距離の比を決定する段階を含む。
上述の実施形態のいずれかの代わりとして又はこれに加えて、光源から物体までの第3の距離が決定され、かつ物体の陰影がその上で可視である面までの光源からの第4の距離も決定され、プロセッサは、この比に基づいて物体のサイズを決定するように更に構成される。
上述の実施形態のいずれかの代わりとして又はこれに加えて、少なくとも1つの光源は、予め決められた光パターンを観察された物体の上に投影し、プロセッサは、物体上で測定されたパターンのサイズ及び曲率を予め決められた光パターンと比較することによって構造化照明解析を実行し、かつ比較に基づいて物体のサイズを決定するように構成される。
上述の実施形態のいずれかの代わりとして又はこれに加えて、光パターンを投影する少なくとも1つの光源は、内視鏡と物体の間に位置決めされた光ファイバを含む。
上述の実施形態のいずれかの代わりとして又はこれに加えて、光ファイバは、均一照明を提供する第1の光ファイバと、予め決められた光パターンを提供する第2の光ファイバとを含む。
上述の実施形態のいずれかの代わりとして又はこれに加えて、少なくとも1つの光源は、別々に制御される少なくとも第1及び第2の光源を含む。
上述の実施形態のいずれかの代わりとして又はこれに加えて、第1及び第2の光源は、異なる色の光を提供する。
上述の実施形態のいずれかの代わりとして又はこれに加えて、システムは、第3の光源を更に備え、第1、第2、及び第3の光源は、別々に制御される赤色、緑色、及び青色LEDである。
上述の実施形態のいずれかの代わりとして又はこれに加えて、システムは、飛行時間センサを更に備え、少なくとも1つの光源は、光パルスを放出するように構成される。
上述の実施形態のいずれかの代わりとして又はこれに加えて、センサ及び光源は、内視鏡を通して配置され、かつ内視鏡の遠位端の遠位に延びる。
上述の実施形態のいずれかの代わりとして又はこれに加えて、光源は、撮像デバイスによって検出されている波長範囲にわたって横方向色収差を含み、プロセッサは、波長シフトを測定し、それを物体までの距離と相関させるように構成される。
単眼内視鏡を通して観察された物体のサイズを決定する例示的方法は、内視鏡上に装着された撮像デバイスを用い、かつ撮像デバイスに対して固定された位置に配置された少なくとも1つの光源を用いて物体の画像を取り込む段階と、陰影効果解析、構造化光解析、多点照明解析、飛行時間解析、及び横方向色収差解析のうちの1又は2以上を実行するように構成されたプロセッサを用いて画像を解析する段階と、1又は2以上の解析に基づいて物体のサイズを決定する段階とを備える。
上述の実施形態のいずれかの代わりとして又はこれに加えて、解析は、陰影効果であり、本方法は、既知のサイズのツールを内視鏡を通して第1の距離に位置決めする段階と、ツールを少なくとも1つの光源を用いて照明してツールの陰影を生成する段階と、ツールの陰影がその上で可視である面までの少なくとも1つの光源からの第2の距離を測定する段階とを更に備え、陰影効果解析は、第2の距離に対する第1の距離の比を決定する段階と、この比を用いて物体までの測定された第3の距離と物体の陰影までの第4の距離とに基づいて物体のサイズを決定する段階とを含む。
上述の実施形態のいずれかの代わりとして又はこれに加えて、解析は、構造化光解析であり、本方法は、少なくとも1つの光源を用いて物体を含む撮像視野の上に予め決められた光パターンを投影する段階と、物体上にもたらされるパターンを測定する段階とを更に備え、構造化照明解析は、物体上で測定されたパターンのサイズ及び曲率を予め決められた光パターンと比較する段階と、この比較に基づいて物体のサイズを決定する段階とを含む。
上述の実施形態のいずれかの代わりとして又はこれに加えて、解析は、多点照明解析であり、少なくとも1つの光源は、別々に制御される少なくとも第1及び第2の光源を含み、方法は、第1及び第2の光源を用いて物体を別々に照明する段階を更に備える。
上述の実施形態のいずれかの代わりとして又はこれに加えて、解析は、飛行時間解析を含み、少なくとも1つの光源は、離散光パルスを放出するように構成され、内視鏡は、飛行時間センサを更に備える。
上述の実施形態のいずれかの代わりとして又はこれに加えて、解析は、レバレッジ光学収差解析を含み、少なくとも1つの光源は、撮像デバイスによって検出される波長範囲にわたって横方向色収差を含み、画像を解析する段階は、波長シフトを測定する段階と、それを物体までの距離と相関させる段階とを含む。
一部の実施形態、態様、及び/又は実施例の以上の概要は、本発明の開示の各実施形態又はどの実施をも説明するように意図していない。図面及び以下の詳細説明は、これらの実施形態をより具体的に例示するものである。
本発明の開示は、添付図面と共に様々な実施形態の以下の詳細説明を考察してより完全に理解することができる。
本発明の開示の態様は、様々な修正及び代替形態の余地があるが、その細目を図面に例示的に示し、詳細に以下に説明する。しかし、本発明の開示の態様を説明する特定の実施形態に限定するように意図していないことを理解しなければならない。逆に、その意図は、本発明の開示の精神及び範囲に収まる全ての修正物、均等物、及び代替物を網羅することである。
以下に定める用語に関して特許請求の範囲及び本明細書の他の箇所で異なる定義を提示しない限り、以下の定義を適用するものとする。
本明細書では、明示的に示すか否かに関わらず、全ての数値は、用語「約」によって修飾されたものであると仮定する。数値の状況での用語「約」は、一般的に、当業者が列挙する値と同等(例えば、同じ機能又は結果を有する)と見なすと考えられる数字範囲を意味する。多くの事例では、用語「約」は、最も近い有効数字に四捨五入された数字を含むことができる。用語「約」の他の使用(例えば、数値以外の状況)は、他に指定しない限り、本明細書の関連から理解されてそれと矛盾しないこの用語の通常及び通例の定義を有すると仮定することができる。
端点による数字範囲の列挙は、端点を含む当該範囲にある全ての数字を含む(例えば、1から5までは、1、1.5、2、2.75、3、3.80、4、及び5を含む)。様々な構成要素、特徴、及び/又は仕様に関する一部の適切な寸法、範囲、及び/又は値を開示するが、本発明の開示によって喚起される当業者は、望ましい寸法、範囲、及び/又は値は、明示的に開示するものから外れる可能性があることを理解するであろう。
本明細書及び特許請求の範囲で使用する場合に、単数形「a」、「an」、及び「the」は、状況が他に明確に定めない限り、単数の指示物と複数の指示物とを含む。本明細書及び特許請求の範囲で使用する場合に、「又は」という用語は、状況が他に明確に定めない限り、一般的に「及び/又は」を含む意味に使用する。理解を容易にするために、本発明の開示のある一定の特徴を単数で説明することができるが、これらの特徴は、本発明の開示の実施例内で複数であるか又は繰り返えされる場合があることに注意されたい。これらの特徴の各事例は、反意を明示しない限り、単数での開示を含む及び/又はそれによって包含することができる。簡略化及び明瞭化の目的で、必ずしも本発明の開示の全ての要素を各図に示す又は下記で詳細に議論するとは限らない。しかし、1よりも多い構成要素が存在する場合に関して、反意を明示しない限り、以下の議論がこれらの構成要素のうちのいずれか及び/又は全てに同等に適用される場合があることは理解されるであろう。これに加えて、明瞭化の目的で、一部の要素又は特徴の全ての事例を各図に示すとは限らない場合がある。
本明細書での「実施形態」、「一部の実施形態」、「他の実施形態」などへの参照は、説明する実施形態が特定の特徴、構造、又は特性を含むことができるが、全ての実施形態がこれらの特定の特徴、構造、又は特性を必ずしも含むとは限らない場合があることを示すことに注意されたい。更に、そのような語句は、必ずしも同じ実施形態を参照しているとは限らない。更に、特定の特徴、構造、又は特性を実施形態に関して説明する時に、明示的に説明するか否かに関わらず、反意を明示しない限り、他の実施形態に関してこれらの特定の特徴、構造、又は特性を実施することは当業者の認識内であると考えられる。すなわち、当業者が理解するように、下記で説明する様々な個々の要素は、特定の組合せで指定しない場合であっても、他の追加の実施形態を形成するために又は説明する実施形態を相補及び/又は拡張するために互いに組合せ可能又は配置可能であることを依然として考えている。
明瞭化の目的で、説明及び/又は主張する様々な特徴に命名するために及び/又はこれらの特徴の間で区別するために、本明細書及び/又は特許請求の範囲を通してある一定の識別数字命名法(例えば、第1、第2、第3、第4など)を使用することができる。この数字命名法は、限定的であるように意図したものではなく、単に例示的であることは理解されるものとする。一部の実施形態では、簡潔化及び明瞭化の目的で、以前に用いた数字命名法の変更及びそれからの逸脱を行う場合がある。すなわち、「第1」の要素と示した特徴は、後に「第2」の要素、「第3」の要素などと呼ぶ場合があり、又は完全に除外する場合がり、及び/又は異なる特徴を「第1」の要素と呼ぶ場合がある。各事例での意味及び/又は表示は、当業者に明らかであろう。
詳細説明は、本発明の開示を限定するのではなく例示するように意図している。当業者は、説明する様々な要素を本発明の開示の範囲から逸脱することなく様々な組合せ及び構成に配置することができることを認識するであろう。詳細説明は、本発明の開示の例示的実施形態を示している。
現在の尿管鏡システムは単眼であり、従って、シーン内の物体の深度に関する直接的なデータを欠いている。一部のシステムは、画面上に表示される画像上に簡単なグリッドを重ね、このグリッドのサイズを用いて物体のサイズを推定することによって物体のサイズを推定する。しかし、そのような解析は、光源及び撮像デバイスからの物体の深度を考慮しない。視野内の既知のサイズの物体を用いてサイズグリッドが提供される時でさえも、深度は、グリッドと比較して観察時の物体サイズを有意に変化させる可能性がある未知な変数のままに留まる。例えば、光源及び撮像デバイスの5mm遠位に位置する結石は、光源及び撮像デバイスから1mmの場所に位置する類似のサイズの結石よりもかなり小さく見える場合がある。画面上の画像に付加されるグリッドは、実際には2つの結石が同じ物理的サイズである時に異なるサイズとして出現させる場合がある。
例示的内視鏡アセンブリ10を図1に例示している。内視鏡10は、到達することが望ましい特定の解剖学的構造によって通常は識別される一部のタイプの内視鏡又は関連の医療デバイスのうちのいずれかとすることができる。例えば、内視鏡10は、気管支鏡、結腸鏡、十二指腸鏡、食道鏡、誘導管、導入器(視覚又は視覚化の機能を有する又は持たない)、又はいずれかの他のタイプの内視鏡又は関連の医療デバイスとすることができる。内視鏡10は、ハンドピース12と、そこから遠位先端18まで遠位に延びる細長シャフト14とを含むことができる。シャフト14は、その遠位先端18の近くにある遠位端19からハンドピース12又は内視鏡10の別の部分の中に配置することができるアクセスポート20までシャフト14を通って延びる作動チャネル16を定める管腔を含むことができる。図1では単一作動チャネル16を有する内視鏡10を示すが、他の実施形態では内視鏡10が必要に応じて複数の作動チャネルを含むことができることを認めることができるであろう。作動チャネルは、撮像デバイス及び灌流、真空吸引、生検、及び薬物送出のためのツールを含むがこれらに限定されない様々な手術機器の通過に適するように構成することができる。
ハンドピース12は、手術中にシャフト14の遠位先端18の移動を制御するのに使用することができる回転ノブのような1又は複数の制御器22を含むことができる。例えば、第1の回転ノブ22aは、シャフト14の遠位先端18の上下の移動又は偏向を制御することができ、それに対して第2の回転ノブ22bは、シャフト14の遠位先端18の左右の移動又は偏向を制御することができる。ハンドピース12は、内視鏡10の管腔を通じた空気、生理食塩水、及び/又は水のような流体の吸引又は送出を起動するために又は必要に応じて他の機能を実行するのに使用することができる1又は複数のボタン24を更に含むことができる。更に、ハンドピース12は、外部光源(図示せず)に接続された光ケーブル26を含むことができる。
図2は、本発明の開示の一例による物体のサイズを決定するためのシステム100を示している。システムは、ディスプレイ104と作動可能に結合されたプロセッサ102を含むことができる。プロセッサ102は、エネルギ源106及び内視鏡10に結合することができる。プロセッサ102は、一般的に、システム及びシステム構成要素から情報を受け入れ、それを様々なアルゴリズムに従って処理するように構成することができる。エネルギ源108は、例えば、ホルミウム(Ho)レーザ光源、二酸化炭素(CO2)レーザ光源、アルゴンレーザ光源、ダイオードレーザ光源、又は別の適切なレーザ光源のような光エネルギ源を含むことができる。一部の例では、レーザ光源の代わりに1又は2以上の高電力LEDを使用することができる。一部の例では、レーザ光源の代わりに高強度パルス式光源を使用することができる。光エネルギ源は、内視鏡10の遠位端19に又はカテーテル又は他の適切な細長部材上に装着することができる。
一部の例では、内視鏡10の遠位端19から1又は2以上の光ファイバ20が管腔17を通って延び、エネルギ源106から治療場所まで光エネルギを送出するように構成することができる。他の例では、光ファイバ20は、遠位端19に固定される。内視鏡10の遠位端19に撮像デバイス40を更に配置することができる。撮像デバイス40は、画像をディスプレイ104上での表示に向けてプロセッサ102に提供するように構成されたあらゆる適切なデバイス、例えば、撮像デバイス40の前にある組織又は他の物体の画像を表す電子画像信号を生成するCMOS撮像センサ又は他の固体デバイス又はカメラ及び1又は2以上のガラスレンズ又はポリマーレンズを含むデバイスを含むことができる。撮像デバイス40は、低光感度低ノイズのビデオVGA、CMOS、カラー撮像装置、又はSVGA、SXGA、又はXGAのようなより高い解像度のセンサとすることができる。一部の例では、撮像デバイス40及び/又は光源は、互いに対して固定することができる。
既知の距離だけ分離された異なる視座からの同じシーンの複数の視野像を生成する立体視システムでは深度データが利用可能である。しかし、単眼内視鏡は、シーンの深度を自動的に生成することができない。単眼深度推定を強化して立体視システムと類似の距離データを生成するために、陰影解析、構造化照明、多点照明、飛行時間センサ、及び光学収差の利用という5つの技術を使用することができる。
陰影解析
陰影解析では、図2に示すように、シーン照明源が撮像デバイスに非常に近いが、正確には一致しないことが認識される。照明源が撮像デバイスに対して固定された位置に留まる時に、既知のサイズの物体及びその陰影までの距離を解析に使用することができる。特に、照明源から視野内の既知のサイズ及び/又は深度の物体までの距離D1を測定することができ、物体の陰影がその上で可視である面までの照明源からの距離D2を測定することができる。陰影効果がD1/D2の比に比例することを予想することができる。次に、陰影位置の深度は、直接計算することができる。ツールの寸法は既知であるので、陰影を投影するツールの部分(基準点)を推測することができ、視野内のこの部分の深度を測定し、サイズを推測することができる。
陰影解析では、図2に示すように、シーン照明源が撮像デバイスに非常に近いが、正確には一致しないことが認識される。照明源が撮像デバイスに対して固定された位置に留まる時に、既知のサイズの物体及びその陰影までの距離を解析に使用することができる。特に、照明源から視野内の既知のサイズ及び/又は深度の物体までの距離D1を測定することができ、物体の陰影がその上で可視である面までの照明源からの距離D2を測定することができる。陰影効果がD1/D2の比に比例することを予想することができる。次に、陰影位置の深度は、直接計算することができる。ツールの寸法は既知であるので、陰影を投影するツールの部分(基準点)を推測することができ、視野内のこの部分の深度を測定し、サイズを推測することができる。
ツールの基準点又は既知の部分は、光源から第1の距離D1の場所に配置され、次に、ツールの陰影が見られる面までのD2が測定される。D1/D2の比が計算される。D1/D2のこの比は、視野内の未知の物体のサイズを計算するのに使用することができる深度推定を可能にする。未知の物体に関して距離D1及びD2が測定され、比が計算され、それを用いて未知の物体のサイズが推定される。光源から未知の物体までの第3の距離、及び未知の物体の陰影がその上で可視である面までの光源からの第4の距離が決定され、システムのプロセッサは、この比に基づいて未知の物体のサイズを決定する。
単眼内視鏡を通して観察される物体のサイズを決定する1つの方法200を図3に例示している。ツールのような既知のサイズの物体は、内視鏡、例えば、作動チャネル内のツールの縁部に対する既知の深度の場所に配置することができる。ツールは、撮像デバイスによって生成された画像内で識別される(段階202)。次に、ユーザは、ツールから組織面上に投影された陰影縁部をツールの縁部から検索して検出する(段階204)。ツール上と陰影上とで対応する点が見出され(段階206)、陰影が測定される(段階208)。陰影の幅を用いて陰影縁部上の点に深度が割り当てられる(段階210)。相対深度マップが利用可能である場合(段階212)には、画像の深度、サイズ、及び他の特徴が推測される(段階214)。相対深度マップが利用可能でない場合に、陰影縁部にある面特徴部の寸法が推測される(段階216)。
ツールの陰影の深度に関する情報を腎臓結石のような物体の深度(従って、サイズ)に変換するために、連続する位置合わせされた画像及び他の照明キューを用いたエピポーラ測定のような手段によってシーン内の相対深度を確立することができる。これらの技術は、シーンに関する深度マップをもたらすことができるが、いずれの絶対スケールも持たず、従って、第1の基準点が光源から第2の基準点の2倍離れていると決定することができるが、これらの点が4mmと2mm、8mmと4mm、又はいずれかのそのような組合せで離れているか否かを決定するような正確な方式で決定することはできない。シーン内にあり、相対深度マップ内にもある単一点の深度を確実に測定することにより、スケールを決定することができ、かつ深度マップ内の全ての他の特徴部に関して絶対的な距離及びサイズを推測することができる。
一部の例では、ツールは、D1を決定するのに使用することができる区分的測定マーキング又は幾何学パターンのようなマーキングを有することができる。例えば、全内容が引用によって組み込まれている2021年3月3日出願の「遠位先端撮像視野内の測定マーキング(Measurement Markings in Distal Tip Imaging Field of View)」という名称の米国仮特許出願第63/155,939号明細書を参照されたい。
ツールの陰影の使用は、光源までのツールの近接度によって深度間の比も最大になり、それによって深度推定のSN比(SNR)を最大に高める。一部の陰影は、殆ど検出可能ではない場合があり、サブピクセル解像度での推定から利益を得ることができ、従って、位置合わせを有するマルチフレームサンプリングを含む明暗境界推定を強化するための画像処理技術を採用することができる。
構造化照明
構造化照明技術は、光学測定で公知であり、多くの場合に撮像視野内への既知のパターン又は格子の投影を含み、この場合に、パターンは、シーンを記録する撮像デバイスからの既知のオフセットでの位置から投影され、それによって立体視ベースラインを提供する。測定パターンのサイズ及び曲率を既知のパターンと比較することによって距離及びトポグラフィを計算することができる。
構造化照明技術は、光学測定で公知であり、多くの場合に撮像視野内への既知のパターン又は格子の投影を含み、この場合に、パターンは、シーンを記録する撮像デバイスからの既知のオフセットでの位置から投影され、それによって立体視ベースラインを提供する。測定パターンのサイズ及び曲率を既知のパターンと比較することによって距離及びトポグラフィを計算することができる。
ターゲット物体の寸法を決定する1つの方法300を図4に例示している。段階302では、照明パターンが既知の位置からターゲット物体上に投影される。段階304では、カメラ画像内で投影された特徴部が検出される。段階306では、各特徴部(エピポーラ)までの深度が計算される。段階308では、ターゲット物体が既知の深度を有するか否かが決定される。「はい」である場合に、ターゲット物体の寸法が推測され(段階310)、次に、カメラ画像にサイズ情報が付記される(段階312)。ターゲット物体が既知の深度を持たなかった場合(段階308)には、次の質問は、相対深度マップが利用可能であるか否かである(段階314)。「はい」である場合に、本方法は段階310に進行する。「いいえ」である場合に、パターンの位置及び/又は向きが調節され(段階316)、本方法は段階302に戻る。
この手法は、照明デバイスシステムと撮像デバイスシステムの両方が厳しい制約を受けて非常に近い尿管鏡検査で固有の課題を提供する。識別可能なパターンを投影するのに必要な光学系は、尿管鏡の中に直接組み込むには非実用的である場合がある。従って、視鏡とシーンの間に潜在的には視鏡の作動チャネルを通して挿置することができる追加のツールは、上述の陰影解析の場合と同じく深度を示す認識可能な照明パターンを生成する働きをすることができる。例えば、光ファイバは、視野の上に予め決められた識別可能照明パターンを投影するための追加のツールとして使用することができる。この場合に、システムプロセッサは、未知の物体上で測定されたパターンのサイズ及び曲率を予め決められた光パターンと比較することによって構造化照明解析を実行し、この比較に基づいて未知の物体のサイズを決定する。一部の例では、第1及び第2の光ファイバを用いて予め決められた光パターンを生成することができる。
別の例では、撮像デバイスからの既知の分離距離に位置決めされた2つの既知の波長を有するライトを構造化光源として作用することができる。同じか又は異なる波長の2又は3以上の発光ダイオード(LED)、視準レーザビームを使用するLED、又はレーザのパイロットバーストを使用することができる。更に別の例では、第1のものが標準視覚化に向けて均一照明を有し、第2のものが物理的深度測定に向けて構造化光を有する2つの光ファイバを使用することができ、この場合に、照明は、視鏡自体内で生成される。複数のLED又は光ファイバが使用される時に、これらは、別々にかつ個々に制御することができる。特にLEDを使用する場合に、これらを別々に点灯消灯させて様々な色のLEDからの光を混合することにより、光の色を変化させて望ましい光の色を達成する機能をユーザに提供することができる。
多点照明
上述の技術のいずれか又は両方と共に、第2の別々に制御可能な光源を視鏡上に最大実用的光源分離状態で組み込むことができ、それによって追加の深度情報が与えられることになる。各光源に関して上述した陰影効果を決定することができる。様々な光源からの陰影間の区別は、タイミングによって(潜在的にカメラのフレームレートと同期された間隔で光源をトグル切り換えで点灯及び消灯することにより)又は色によって達成することができ、例えば、相補的な赤色-青色光源を使用することにより、画像内に検出可能な色縞を生成することができ、その測定が深度推測を可能にすると考えられる。同様に、視鏡先端の上の赤色、緑色、及び青色(RGB)の個々のLED、例えば、微小LEDは、ユーザを注意散漫にさせることなくコンピュータが解釈することができる可能性がある微かな深度キューを有する均衡照明を生成することができる。例えば、赤色、緑色、及び青色LEDの出力間で組み合わせることにより、白色光を達成することができる。
上述の技術のいずれか又は両方と共に、第2の別々に制御可能な光源を視鏡上に最大実用的光源分離状態で組み込むことができ、それによって追加の深度情報が与えられることになる。各光源に関して上述した陰影効果を決定することができる。様々な光源からの陰影間の区別は、タイミングによって(潜在的にカメラのフレームレートと同期された間隔で光源をトグル切り換えで点灯及び消灯することにより)又は色によって達成することができ、例えば、相補的な赤色-青色光源を使用することにより、画像内に検出可能な色縞を生成することができ、その測定が深度推測を可能にすると考えられる。同様に、視鏡先端の上の赤色、緑色、及び青色(RGB)の個々のLED、例えば、微小LEDは、ユーザを注意散漫にさせることなくコンピュータが解釈することができる可能性がある微かな深度キューを有する均衡照明を生成することができる。例えば、赤色、緑色、及び青色LEDの出力間で組み合わせることにより、白色光を達成することができる。
飛行時間センサ
飛行時間原理は、センサと物体間の距離を測定する方法であり、かつ光信号の放出と物体によって反射された後のセンサへの帰還との間の時間差に基づいている。飛行時間センサは、光パルスを放出することができる光源を必要とし、この光源は、レーザ又はLEDによって提供することができる。システムは、光パルスを生成するようにこのLEDを修正するか又は砕石術システムを利用するかのいずれかを行うことができる。センサを視鏡上に装着する代わりに、センサ及び光源を視鏡とシーンの間に挿置することができる。このようにして、センサ及び光源を視鏡の遠位端を超えて遠位に延ばすことができる。
飛行時間原理は、センサと物体間の距離を測定する方法であり、かつ光信号の放出と物体によって反射された後のセンサへの帰還との間の時間差に基づいている。飛行時間センサは、光パルスを放出することができる光源を必要とし、この光源は、レーザ又はLEDによって提供することができる。システムは、光パルスを生成するようにこのLEDを修正するか又は砕石術システムを利用するかのいずれかを行うことができる。センサを視鏡上に装着する代わりに、センサ及び光源を視鏡とシーンの間に挿置することができる。このようにして、センサ及び光源を視鏡の遠位端を超えて遠位に延ばすことができる。
レバレッジ光学収差
内視鏡検査撮像センサは、タイル張り(典型的に、バイエル)レイアウトにあるRGBパターンを使用することができる。センサのこれらの隣接部分は、単一併置位置を(RGB)色で表す単一ピクセルに再構成される。この構成は、特に、光学系が画像平面内で光線シフトをもたらす可能性がある横方向色収差を最小にするように設計される場合に非常に良好に機能する。その一方で代わりに光学系は、検出されている波長範囲にわたって横方向色収差を意図的に含めるように設計することができる。生画像での赤色、緑色、及び青色の個々のセンサでの光線シフトは測定可能である場合があり、物理的距離に相関させることができる。色収差は、レンズに使用される材料に基づく場合がある。一部の例では、フリントガラスを使用することができる。フリントガラスは、何らかの鉛を有し、特に高い色収差(50よりも小さいアッベ数によって表される)と高い屈折率(通常は1.55よりも大きい)とを有する。一部のタイプのフリントガラスは、F、LF、SF、KF、BaF、BaLFである。無鉛フリントガラスは、通常、ガラス名称の前に「N」を有する。例えば、N-SF8である。これらのシフトは、ピクセルサイズと比較して有意な場合に生ピクセル内に現れる場合がある。可視スペクトルのこの部分で異なる吸収を有するガラス等級(例えば、N-SF57)と組み合わせた場合に及び/又は平行マルチスペクトル照明と組み合わせた場合に、恐らく、個々のR、G、及びBの画像が生成され、位置合わされ、距離間のいずれかの差を推定するのに使用することができると考えられる。
内視鏡検査撮像センサは、タイル張り(典型的に、バイエル)レイアウトにあるRGBパターンを使用することができる。センサのこれらの隣接部分は、単一併置位置を(RGB)色で表す単一ピクセルに再構成される。この構成は、特に、光学系が画像平面内で光線シフトをもたらす可能性がある横方向色収差を最小にするように設計される場合に非常に良好に機能する。その一方で代わりに光学系は、検出されている波長範囲にわたって横方向色収差を意図的に含めるように設計することができる。生画像での赤色、緑色、及び青色の個々のセンサでの光線シフトは測定可能である場合があり、物理的距離に相関させることができる。色収差は、レンズに使用される材料に基づく場合がある。一部の例では、フリントガラスを使用することができる。フリントガラスは、何らかの鉛を有し、特に高い色収差(50よりも小さいアッベ数によって表される)と高い屈折率(通常は1.55よりも大きい)とを有する。一部のタイプのフリントガラスは、F、LF、SF、KF、BaF、BaLFである。無鉛フリントガラスは、通常、ガラス名称の前に「N」を有する。例えば、N-SF8である。これらのシフトは、ピクセルサイズと比較して有意な場合に生ピクセル内に現れる場合がある。可視スペクトルのこの部分で異なる吸収を有するガラス等級(例えば、N-SF57)と組み合わせた場合に及び/又は平行マルチスペクトル照明と組み合わせた場合に、恐らく、個々のR、G、及びBの画像が生成され、位置合わされ、距離間のいずれかの差を推定するのに使用することができると考えられる。
上述の技術のうちの1又は2以上を撮像システム内に用いて単眼内視鏡を通して観察される物体の物理的サイズのより正確な推定を提供することができる。撮像システムは、単眼内視鏡と、内視鏡上に装着された撮像デバイスと、撮像デバイスに対して固定された位置に配置された少なくとも1つの光源と、撮像デバイスからの入力を受け入れ、かつ光源からの陰影効果、光源によって提供される構造化照明、光源を含む多点照明、光源からの光パルスに関わる飛行時間、及び光源からの横方向色収差のうちの1又は2以上を解析するように構成されたプロセッサとを含むことができる。解析は、観察された物体に関する深度決定を提供する。
本発明の開示は、多くの点に関して単に例示的であることを理解しなければならない。詳細、特に形状、サイズ、及び段階の配置に関して、本発明の開示の範囲を超えることなく変更を加えることができる。この変更は、適切である限り、使用される一例示的実施形態の特徴のいずれかの他の実施形態での使用を含むことができる。本発明の開示の範囲は、当然ながら特許請求の範囲を表現する文言で定められる。
200 物体のサイズを決定する1つの方法
202 画像内でツールを識別する段階
204 陰影縁部をツール縁部から検索して検出する段階
206 ツール上と陰影上とで対応する点を見出す段階
208 陰影を測定する段階
202 画像内でツールを識別する段階
204 陰影縁部をツール縁部から検索して検出する段階
206 ツール上と陰影上とで対応する点を見出す段階
208 陰影を測定する段階
Claims (15)
- 観察された物体のサイズを決定するための撮像システムであって、
単眼内視鏡と、
前記内視鏡上に装着された撮像デバイスと、
前記撮像デバイスに対して固定された位置に配置された少なくとも1つの光源と、
前記撮像デバイスからの入力を受け入れ、かつ前記光源からの陰影効果、該光源によって提供される構造化照明、該光源を含む多点照明、該光源からの光パルスに関わる飛行時間、及び該光源からの横方向色収差のうちの少なくとも1つを解析するように構成されたプロセッサと、
を備え、
前記解析は、前記観察された物体に関する深度決定を提供し、そこから該物体のサイズが推測される、ことを特徴とする撮像システム。 - 前記撮像デバイス及び光源に対して位置決め可能なツールを更に備える、請求項1に記載のシステム。
- 前記光源は、前記撮像デバイスから離間しており、前記プロセッサは、前記ツールから投影された陰影の陰影効果解析を実行するように構成されている、請求項2に記載のシステム。
- 前記ツール上の基準点が、前記光源からの第1の距離に位置決めされ、
前記陰影効果解析は、前記ツールの陰影がその上で可視である面までの前記光源からの第2の距離に対する前記第1の距離の比を決定する段階を含む、請求項3に記載のシステム。 - 前記光源から前記物体までの第3の距離が決定され、該物体の陰影がその上で可視である面までの該光源からの第4の距離も決定され、
前記プロセッサは、前記比に基づいて前記物体の前記サイズを決定するように更に構成されている、請求項4に記載のシステム。 - 前記少なくとも1つの光源は、予め決められた光パターンを前記観察された物体の上に投影し、前記プロセッサは、該物体上で測定されたパターンのサイズ及び曲率を該予め決められた光パターンと比較することによって構造化照明解析を実行し、かつ該比較に基づいて該物体の前記サイズを決定するように構成されている、請求項1~5のいずれか1項に記載のシステム。
- 光パターンを投影する前記少なくとも1つの光源は、前記内視鏡と前記物体の間に位置決めされた光ファイバを含む、請求項6に記載のシステム。
- 前記光ファイバは、均一照明を提供する第1の光ファイバと前記予め決められた光パターンを提供する第2の光ファイバとを含む、請求項7に記載のシステム。
- 前記少なくとも1つの光源は、別々に制御される少なくとも第1及び第2の光源を含む、請求項1~8のいずれか1項に記載のシステム。
- 前記第1及び第2の光源は、異なる色の光を提供する、請求項9に記載のシステム。
- 第3の光源を更に備え、
前記第1、第2、及び第3の光源は、別々に制御される赤色、緑色、及び青色LEDである、請求項10に記載のシステム。 - 飛行時間センサを更に備え、
前記少なくとも1つの光源は、光パルスを放出するように構成されている、請求項1~11のいずれか1項に記載のシステム。 - 前記センサ及び光源は、前記内視鏡を通して配置され、かつ該内視鏡の遠位端の遠位に延びる、請求項12に記載のシステム。
- 前記光源は、前記撮像デバイスによって検出されている波長範囲にわたって横方向色収差を含み、
前記プロセッサは、波長シフトを測定してそれを前記物体までの距離に相関させるように構成されている、請求項1~13のいずれか1項に記載のシステム。 - 単眼内視鏡を通して観察された物体のサイズを決定する方法であって、
前記内視鏡上に装着された撮像デバイスを用い、かつ該撮像デバイスに対して固定された位置に配置された少なくとも1つの光源を用いて前記物体の画像を取り込む段階と、
陰影効果解析、構造化光解析、多点照明解析、飛行時間解析、及び横方向色収差解析のうちの1又は2以上を実行するように構成されたプロセッサを用いて前記画像を解析する段階と、
前記1又は2以上の解析に基づいて前記物体の前記サイズを決定する段階と、
を備えることを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163155988P | 2021-03-03 | 2021-03-03 | |
US63/155,988 | 2021-03-03 | ||
PCT/US2022/018576 WO2022187404A1 (en) | 2021-03-03 | 2022-03-02 | Scope modifications to enhance scene depth inference |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024508315A true JP2024508315A (ja) | 2024-02-26 |
Family
ID=81326758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023553252A Pending JP2024508315A (ja) | 2021-03-03 | 2022-03-02 | シーン深度推測を強化するための視鏡修正 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220283425A1 (ja) |
EP (1) | EP4301203A1 (ja) |
JP (1) | JP2024508315A (ja) |
CN (1) | CN117062560A (ja) |
AU (1) | AU2022228570A1 (ja) |
CA (1) | CA3212013A1 (ja) |
WO (1) | WO2022187404A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3150103A4 (en) * | 2014-09-25 | 2018-02-21 | Olympus Corporation | Endoscope system |
WO2016071020A1 (en) * | 2014-11-06 | 2016-05-12 | Sony Corporation | Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method |
JP6442344B2 (ja) * | 2015-03-31 | 2018-12-19 | 富士フイルム株式会社 | 内視鏡診断装置、プログラムおよび記録媒体 |
US10262453B2 (en) * | 2017-03-24 | 2019-04-16 | Siemens Healthcare Gmbh | Virtual shadows for enhanced depth perception |
US11000270B2 (en) * | 2018-07-16 | 2021-05-11 | Ethicon Llc | Surgical visualization platform |
US11617541B2 (en) * | 2019-06-20 | 2023-04-04 | Cilag Gmbh International | Optical fiber waveguide in an endoscopic system for fluorescence imaging |
-
2022
- 2022-03-02 EP EP22715223.8A patent/EP4301203A1/en active Pending
- 2022-03-02 JP JP2023553252A patent/JP2024508315A/ja active Pending
- 2022-03-02 CA CA3212013A patent/CA3212013A1/en active Pending
- 2022-03-02 AU AU2022228570A patent/AU2022228570A1/en active Pending
- 2022-03-02 US US17/685,325 patent/US20220283425A1/en active Pending
- 2022-03-02 CN CN202280018897.3A patent/CN117062560A/zh active Pending
- 2022-03-02 WO PCT/US2022/018576 patent/WO2022187404A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4301203A1 (en) | 2024-01-10 |
AU2022228570A1 (en) | 2023-09-07 |
US20220283425A1 (en) | 2022-09-08 |
CA3212013A1 (en) | 2022-09-09 |
CN117062560A (zh) | 2023-11-14 |
WO2022187404A1 (en) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190204069A1 (en) | Endoscope system | |
US20230056031A1 (en) | Medical imaging device and methods of use | |
US11555997B2 (en) | Endoscope with integrated measurement of distance to objects of interest | |
KR102476063B1 (ko) | 파장대-선택적 이미징을 사용하는 요관 검출 | |
EP3603482B1 (en) | Endoscope system, processor device for operating endoscope system | |
US10368720B2 (en) | System for stereo reconstruction from monoscopic endoscope images | |
JP6454489B2 (ja) | 観察システム | |
JP2017513662A (ja) | Q3d画像の3d画像とのアライメント | |
US20130321602A1 (en) | Endoscope and endoscope system | |
EP2549226A1 (en) | Endoscope and endoscope system | |
JP2015225346A (ja) | 深さプレビューを有する顕微鏡システム | |
US11490785B2 (en) | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light | |
JP6738465B2 (ja) | 内視鏡システム | |
EP3737285B1 (en) | Endoscopic non-contact measurement device | |
JP2024508315A (ja) | シーン深度推測を強化するための視鏡修正 | |
Clancy et al. | An endoscopic structured lighting probe using spectral encoding | |
US11310481B2 (en) | Imaging device, system, method and program for converting a first image into a plurality of second images | |
US20130286407A1 (en) | Apparatus | |
KR20220058235A (ko) | 의료용 내시경 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240710 |