JP2021531482A - 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 - Google Patents
自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2021531482A JP2021531482A JP2021526407A JP2021526407A JP2021531482A JP 2021531482 A JP2021531482 A JP 2021531482A JP 2021526407 A JP2021526407 A JP 2021526407A JP 2021526407 A JP2021526407 A JP 2021526407A JP 2021531482 A JP2021531482 A JP 2021531482A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- weight
- image
- markers
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000003550 marker Substances 0.000 claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims description 102
- 238000004590 computer program Methods 0.000 claims description 26
- 239000002872 contrast media Substances 0.000 claims description 16
- 239000007788 liquid Substances 0.000 claims description 15
- 238000012800 visualization Methods 0.000 abstract description 10
- 210000001519 tissue Anatomy 0.000 description 64
- 230000003287 optical effect Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 239000000463 material Substances 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 239000000975 dye Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 208000037062 Polyps Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000002496 gastric effect Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000001045 blue dye Substances 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000976 ink Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/062—Measuring instruments not otherwise provided for penetration depth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3933—Liquid markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本願は、参照することによってその全体として本明細書に組み込まれる、2018年7月19日に出願された、米国仮出願第62/700,700号の利益を主張する。
Claims (49)
- 方法であって、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカと、前記物体上に配置される第3の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
前記画像および前記第3の複数のマーカを使用して、第3の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当て、第3の加重を前記第3の深度に割り当てることと、
前記第1の深度、第2の深度、第3の深度、第1の加重、第2の加重、および第3の加重に基づいて、加重平均深度を算出することと
を含む、方法。 - 前記画像を記録することは、1つ以上のデジタルカメラを用いて実施される、請求項1に記載の方法。
- 前記1つ以上のデジタルカメラは、立体視カメラシステムを備える、請求項2に記載の方法。
- 前記1つ以上のデジタルカメラは、プレノプティックカメラを備える、請求項2または3に記載の方法。
- 前記第1の複数のマーカは、基点マーカを備える、前記請求項のいずれかに記載の方法。
- 前記基点マーカは、液体インクを備える、請求項5に記載の方法。
- 前記画像を記録することは、
構造化された光源から前記物体の表面上に構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、前記請求項のいずれかに記載の方法。 - 前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第1の画像を第1の場所における第1のカメラを用いて記録することと、
前記光パターンの第2の画像を前記第1の場所から所定の距離だけ離れた第2の場所における第2のカメラを用いて記録することと、
前記第1の画像と前記第2の画像との間の不均衡値を算出することと
を含む、前記請求項のいずれかに記載の方法。 - 前記第3の複数のマーカは、前記物体の表面に適用される造影剤を備える、前記請求項のいずれかに記載の方法。
- 前記造影剤は、霧状液体染料である、請求項9に記載の方法。
- 前記第3の加重は、前記第1の加重および前記第2の加重を上回る、請求項1−10のいずれか1項に記載の方法。
- 前記第2の加重は、前記第1の加重および前記第3の加重を上回る、請求項1−10のいずれか1項に記載の方法。
- 前記第1の加重は、前記第2の加重および前記第3の加重を上回る、請求項1−10のいずれか1項に記載の方法。
- 前記第1の加重は、前記第2の加重および前記第3の加重に等しい、請求項1−10のいずれか1項に記載の方法。
- システムであって、
結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカと、前記物体上に配置される第3の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
前記画像および前記第3の複数のマーカを使用して、第3の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当て、第3の加重を前記第3の深度に割り当てることと、
前記第1の深度、第2の深度、第3の深度、第1の加重、第2の加重、および第3の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、システム。 - 前記結像デバイスは、1つ以上のデジタルカメラを備える、請求項15に記載のシステム。
- 前記1つ以上のデジタルカメラは、立体視カメラシステムを備える、請求項16に記載のシステム。
- 前記1つ以上のデジタルカメラは、プレノプティックカメラを備える、請求項16または17に記載のシステム。
- 前記第1の複数のマーカは、基点マーカを備える、請求項15−18のいずれか1項に記載のシステム。
- 前記基点マーカは、液体インクを備える、請求項19に記載のシステム。
- 構造化された光パターンを前記物体の表面上に投影するように構成される構造化された光源をさらに備える、請求項15−20のいずれか1項に記載のシステム。
- 前記画像を記録することは、
前記構造化された光源から前記物体の表面上に前記構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、請求項21に記載のシステム。 - 前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第1の画像を第1の場所における第1のカメラを用いて記録することと、
前記光パターンの第2の画像を前記第1の場所から所定の距離だけ離れた第2の場所における第2のカメラを用いて記録することと、
前記第1の画像と前記第2の画像との間の不均衡値を算出することと
を含む、請求項15−22のいずれか1項に記載のシステム。 - 前記第3の複数のマーカは、前記物体の表面に適用される造影剤を備える、請求項15−23のいずれか1項に記載のシステム。
- 前記造影剤は、霧状液体染料である、請求項24に記載のシステム。
- 前記第3の加重は、前記第1の加重および前記第2の加重を上回る、請求項15−25のいずれか1項に記載のシステム。
- 前記第2の加重は、前記第1の加重および前記第3の加重を上回る、請求項15−25のいずれか1項に記載のシステム。
- 前記第1の加重は、前記第2の加重および前記第3の加重を上回る、請求項15−25のいずれか1項に記載のシステム。
- 前記第1の加重は、前記第2の加重および前記第3の加重に等しい、請求項15−25のいずれか1項に記載のシステム。
- 近位および遠位端を有する内視鏡をさらに備え、前記結像デバイスは、前記近位端に配置される、請求項15−29のいずれか1項に記載のシステム。
- コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカと、前記物体上に配置される第3の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
前記画像および前記第3の複数のマーカを使用して、第3の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当て、第3の加重を前記第3の深度に割り当てることと、
前記第1の深度、第2の深度、第3の深度、第1の加重、第2の加重、および第3の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピュータプログラム製品。 - 前記画像を記録することは、1つ以上のデジタルカメラを用いて実施される、請求項31に記載のコンピュータプログラム製品。
- 前記1つ以上のデジタルカメラは、立体視カメラシステムを備える、請求項32に記載のコンピュータプログラム製品。
- 前記1つ以上のデジタルカメラは、プレノプティックカメラを備える、請求項32または33に記載のコンピュータプログラム製品。
- 前記第1の複数のマーカは、基点マーカを備える、請求項31−34のいずれか1項に記載のコンピュータプログラム製品。
- 前記基点マーカは、液体インクを備える、請求項35に記載のコンピュータプログラム製品。
- 前記画像を記録することは、
構造化された光源から前記物体の表面上に構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、請求項31−36のいずれか1項に記載のコンピュータプログラム製品。 - 前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第1の画像を第1の場所における第1のカメラを用いて記録することと、
前記光パターンの第2の画像を前記第1の場所から所定の距離だけ離れた第2の場所における第2のカメラを用いて記録することと、
前記第1の画像と前記第2の画像との間の不均衡値を算出することと
を含む、請求項31−37のいずれか1項に記載のコンピュータプログラム製品。 - 前記第3の複数のマーカは、前記物体の表面に適用される造影剤を備える、請求項31−38のいずれか1項に記載のコンピュータプログラム製品。
- 前記造影剤は、霧状液体染料である、請求項39に記載のコンピュータプログラム製品。
- 前記第3の加重は、前記第1の加重および前記第2の加重を上回る、請求項31−40のいずれか1項に記載のコンピュータプログラム製品。
- 前記第2の加重は、前記第1の加重および前記第3の加重を上回る、請求項31−40のいずれか1項に記載のコンピュータプログラム製品。
- 前記第1の加重は、前記第2の加重および前記第3の加重を上回る、請求項31−40のいずれか1項に記載のコンピュータプログラム製品。
- 前記第1の加重は、前記第2の加重および前記第3の加重に等しい、請求項31−40のいずれか1項に記載のコンピュータプログラム製品。
- 方法であって、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当てることと、
前記第1の深度、第2の深度、第1の加重、および第2の加重に基づいて、加重平均深度を算出することと
を含む、方法。 - システムであって、
結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当てることと、
前記第1の深度、第2の深度、第1の加重、および第2の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、システム。 - コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当てることと、
前記第1の深度、第2の深度、第1の加重、および第2の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピュータプログラム製品。 - 統合された外科手術デバイスであって、
近位端および遠位端を有する内視鏡と、
前記内視鏡の遠位端に光学的に結合される結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカと、前記物体上に配置される第3の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
前記画像および前記第3の複数のマーカを使用して、第3の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当て、第3の加重を前記第3の深度に割り当てることと、
前記第1の深度、第2の深度、第3の深度、第1の加重、第2の加重、および第3の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、統合された外科手術デバイス。 - 統合された外科手術デバイスであって、
近位端および遠位端を有する内視鏡と、
前記内視鏡の遠位端に光学的に結合される結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第1の複数のマーカと、前記物体上に配置される第2の複数のマーカとを備える、ことと、
前記画像および前記第1の複数のマーカを使用して、第1の深度を算出することと、
前記画像および前記第2の複数のマーカを使用して、第2の深度を算出することと、
第1の加重を前記第1の深度に割り当て、第2の加重を前記第2の深度に割り当てることと、
前記第1の深度、第2の深度、第1の加重、および第2の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、統合された外科手術デバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862700700P | 2018-07-19 | 2018-07-19 | |
US62/700,700 | 2018-07-19 | ||
PCT/US2019/042647 WO2020018931A1 (en) | 2018-07-19 | 2019-07-19 | Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021531482A true JP2021531482A (ja) | 2021-11-18 |
JPWO2020018931A5 JPWO2020018931A5 (ja) | 2022-07-27 |
JP7297891B2 JP7297891B2 (ja) | 2023-06-26 |
Family
ID=69163745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526407A Active JP7297891B2 (ja) | 2018-07-19 | 2019-07-19 | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11179218B2 (ja) |
EP (1) | EP3824621A4 (ja) |
JP (1) | JP7297891B2 (ja) |
KR (1) | KR102545980B1 (ja) |
CN (1) | CN112740666A (ja) |
CA (1) | CA3106823A1 (ja) |
WO (1) | WO2020018931A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7076447B2 (ja) | 2016-11-24 | 2022-05-27 | ユニヴァーシティ オブ ワシントン | ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング |
EP3824621A4 (en) | 2018-07-19 | 2022-04-27 | Activ Surgical, Inc. | SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013544449A (ja) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
Family Cites Families (285)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5603318A (en) | 1992-04-21 | 1997-02-18 | University Of Utah Research Foundation | Apparatus and method for photogrammetric surgical localization |
GB9515311D0 (en) | 1995-07-26 | 1995-09-20 | 3D Scanners Ltd | Stripe scanners and methods of scanning |
DE19636354A1 (de) | 1996-09-02 | 1998-03-05 | Ruedger Dipl Ing Rubbert | Verfahren und Vorrichtung zur Durchführung von optischen Aufnahmen |
US6081322A (en) | 1997-10-16 | 2000-06-27 | Research Foundation Of State Of New York | NIR clinical opti-scan system |
US6373963B1 (en) | 1998-02-05 | 2002-04-16 | Textile/Clothing Technology Corporation | Systems, methods and computer program for measuring the surface contour of an object |
DE19815201A1 (de) | 1998-04-04 | 1999-10-07 | Link Johann & Ernst Gmbh & Co | Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen |
WO1999058930A1 (en) | 1998-05-14 | 1999-11-18 | Metacreations Corporation | Structured-light, triangulation-based three-dimensional digitizer |
DE19829278C1 (de) | 1998-06-30 | 2000-02-03 | Sirona Dental Systems Gmbh | 3-D-Kamera zur Erfassung von Oberflächenstrukturen, insbesondere für zahnmedizinische Zwecke |
US6879324B1 (en) | 1998-07-14 | 2005-04-12 | Microsoft Corporation | Regional progressive meshes |
IL125659A (en) | 1998-08-05 | 2002-09-12 | Cadent Ltd | Method and device for three-dimensional simulation of a structure |
DE19837932C2 (de) | 1998-08-20 | 2000-09-07 | Bioshape Ag | Verfahren und Vorrichtung zur Ermittlung der Oberflächenform von biologischem Gewebe |
US7068825B2 (en) | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
US7107116B2 (en) | 1999-03-29 | 2006-09-12 | Genex Technologies, Inc. | Diffuse optical tomography system and method of use |
US7099732B2 (en) | 1999-03-29 | 2006-08-29 | Genex Technologies, Inc. | Sanitary sleeve or tip for intra-oral three-dimensional camera |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6563105B2 (en) | 1999-06-08 | 2003-05-13 | University Of Washington | Image acquisition with depth enhancement |
CA2278108C (en) | 1999-07-20 | 2008-01-29 | The University Of Western Ontario | Three-dimensional measurement method and apparatus |
US7224384B1 (en) | 1999-09-08 | 2007-05-29 | 3Dv Systems Ltd. | 3D imaging system |
US7006236B2 (en) | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
DE50000335D1 (de) | 2000-04-05 | 2002-09-05 | Brainlab Ag | Referenzierung eines Patienten in einem medizinischen Navigationssystem mittels aufgestrahlter Lichtpunkte |
US6564086B2 (en) | 2000-05-03 | 2003-05-13 | Rocky Mountain Biosystems, Inc. | Prosthesis and method of making |
US6850872B1 (en) | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
JP2002164066A (ja) | 2000-11-22 | 2002-06-07 | Mitsubishi Heavy Ind Ltd | 積層型熱交換器 |
JP2002345733A (ja) | 2001-05-29 | 2002-12-03 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2003075137A (ja) | 2001-09-04 | 2003-03-12 | Minolta Co Ltd | 撮影システム並びにそれに用いられる撮像装置および3次元計測用補助ユニット |
JP3962588B2 (ja) | 2002-01-07 | 2007-08-22 | キヤノン株式会社 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
TW567693B (en) | 2002-04-19 | 2003-12-21 | Infopivot Technologies Inc | Method for solving unavailability of Internet services using floating IP |
JP4054222B2 (ja) | 2002-06-05 | 2008-02-27 | オリンパス株式会社 | 内視鏡装置用光源装置 |
US7385708B2 (en) | 2002-06-07 | 2008-06-10 | The University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
US20110015518A1 (en) | 2002-06-13 | 2011-01-20 | Martin Schmidt | Method and instrument for surgical navigation |
US7277599B2 (en) * | 2002-09-23 | 2007-10-02 | Regents Of The University Of Minnesota | System and method for three-dimensional video imaging using a single camera |
US6977732B2 (en) | 2002-12-26 | 2005-12-20 | National Taiwan University | Miniature three-dimensional contour scanner |
DE10304111B4 (de) | 2003-01-31 | 2011-04-28 | Sirona Dental Systems Gmbh | Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts |
JP4798945B2 (ja) | 2003-03-05 | 2011-10-19 | トヨタ自動車株式会社 | 撮像装置 |
AU2004223469B2 (en) | 2003-03-24 | 2009-07-30 | D4D Technologies, Llc | Laser digitizer system for dental applications |
WO2004109601A1 (en) | 2003-05-30 | 2004-12-16 | Dreamworks | Rendering of soft shadows using depth maps |
US7450783B2 (en) | 2003-09-12 | 2008-11-11 | Biopticon Corporation | Methods and systems for measuring the size and volume of features on live tissues |
US20050096515A1 (en) | 2003-10-23 | 2005-05-05 | Geng Z. J. | Three-dimensional surface image guided adaptive therapy system |
US7951073B2 (en) | 2004-01-21 | 2011-05-31 | Boston Scientific Limited | Endoscopic device having spray mechanism and related methods of use |
US7330577B2 (en) | 2004-01-27 | 2008-02-12 | Densys Ltd. | Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns |
WO2005076198A1 (en) | 2004-02-09 | 2005-08-18 | Cheol-Gwon Kang | Device for measuring 3d shape using irregular pattern and method for the same |
DE102004008164B3 (de) | 2004-02-11 | 2005-10-13 | Karl Storz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums |
US20050253849A1 (en) | 2004-05-13 | 2005-11-17 | Pixar | Custom spline interpolation |
US7698068B2 (en) | 2004-06-17 | 2010-04-13 | Cadent Ltd. | Method for providing data associated with the intraoral cavity |
JP4589048B2 (ja) | 2004-08-04 | 2010-12-01 | オリンパス株式会社 | カプセル型内視鏡 |
US7961912B2 (en) | 2004-10-14 | 2011-06-14 | Stevick Glen R | Method and apparatus for dynamic space-time imaging system |
US7620209B2 (en) | 2004-10-14 | 2009-11-17 | Stevick Glen R | Method and apparatus for dynamic space-time imaging system |
US20080312540A1 (en) | 2004-12-08 | 2008-12-18 | Vasilis Ntziachristos | System and Method for Normalized Flourescence or Bioluminescence Imaging |
US8027710B1 (en) | 2005-01-28 | 2011-09-27 | Patrick Dannan | Imaging system for endoscopic surgery |
JP5001286B2 (ja) | 2005-10-11 | 2012-08-15 | プライム センス リミティド | 対象物再構成方法およびシステム |
CA2625775A1 (en) | 2005-10-14 | 2007-04-19 | Applied Research Associates Nz Limited | A method of monitoring a surface feature and apparatus therefor |
KR100752758B1 (ko) | 2005-10-19 | 2007-08-29 | (주) 인텍플러스 | 영상 측정 장치 및 그 방법 |
US20070115484A1 (en) | 2005-10-24 | 2007-05-24 | Peisen Huang | 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration |
US7898651B2 (en) | 2005-10-24 | 2011-03-01 | General Electric Company | Methods and apparatus for inspecting an object |
US7489408B2 (en) | 2005-11-15 | 2009-02-10 | General Electric Company | Optical edge break gage |
PL1969307T3 (pl) | 2005-11-28 | 2010-12-31 | 3Shape As | Kodowane światło strukturalne |
DE102005060312A1 (de) | 2005-12-16 | 2007-06-28 | Siemens Ag | Abtasteinrichtung zur optischen Abtastung von Oberflächen |
DE102006004583A1 (de) | 2006-02-01 | 2007-08-09 | Siemens Ag | Optische Abtasteinrichtung |
JP5044126B2 (ja) | 2006-02-23 | 2012-10-10 | オリンパス株式会社 | 内視鏡観察装置および画像形成を行う内視鏡の作動方法 |
WO2007109678A2 (en) | 2006-03-20 | 2007-09-27 | Baylor College Of Medicine | Method and system for non-contact fluorescence optical tomography with patterned illumination |
JP4864511B2 (ja) | 2006-03-31 | 2012-02-01 | 富士フイルム株式会社 | 電子内視鏡装置およびプログラム |
US7435217B2 (en) | 2006-04-17 | 2008-10-14 | Microvision, Inc. | Scanned beam imagers and endoscopes with positionable light collector |
WO2007139187A1 (ja) | 2006-05-31 | 2007-12-06 | National University Corporation Chiba University | 3次元画像構築装置及び方法並びにプログラム |
EP1862115B1 (de) | 2006-05-31 | 2009-03-18 | BrainLAB AG | Registrierung mittels Strahlungsmarkierungselementen |
US8125648B2 (en) * | 2006-06-05 | 2012-02-28 | Board Of Regents, The University Of Texas System | Polarization-sensitive spectral interferometry |
US20110057930A1 (en) | 2006-07-26 | 2011-03-10 | Inneroptic Technology Inc. | System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy |
US20080123910A1 (en) | 2006-09-19 | 2008-05-29 | Bracco Imaging Spa | Method and system for providing accuracy evaluation of image guided surgery |
US20080107305A1 (en) | 2006-11-02 | 2008-05-08 | Northern Digital Inc. | Integrated mapping system |
US8326020B2 (en) | 2007-02-28 | 2012-12-04 | Sungkyunkwan University Foundation | Structural light based depth imaging method and system using signal separation coding, and error correction thereof |
US7995798B2 (en) | 2007-10-15 | 2011-08-09 | Given Imaging Ltd. | Device, system and method for estimating the size of an object in a body lumen |
DE102007054906B4 (de) | 2007-11-15 | 2011-07-28 | Sirona Dental Systems GmbH, 64625 | Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten |
ES2372515B2 (es) | 2008-01-15 | 2012-10-16 | Universidad De La Laguna | Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales. |
US9072445B2 (en) | 2008-01-24 | 2015-07-07 | Lifeguard Surgical Systems Inc. | Common bile duct surgical imaging system |
US9094675B2 (en) * | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
US7821649B2 (en) | 2008-03-05 | 2010-10-26 | Ge Inspection Technologies, Lp | Fringe projection system and method for a probe suitable for phase-shift analysis |
JP2009240621A (ja) | 2008-03-31 | 2009-10-22 | Hoya Corp | 内視鏡装置 |
EP2286368B1 (en) | 2008-05-06 | 2013-09-04 | Flashscan3d, Llc | System and method for structured light illumination with frame subwindows |
US20100113921A1 (en) | 2008-06-02 | 2010-05-06 | Uti Limited Partnership | Systems and Methods for Object Surface Estimation |
DE102008040947B4 (de) | 2008-08-01 | 2014-02-06 | Sirona Dental Systems Gmbh | 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation |
CN102113309B (zh) | 2008-08-03 | 2013-11-06 | 微软国际控股私有有限公司 | 卷帘相机*** |
US8406859B2 (en) | 2008-08-10 | 2013-03-26 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
US9282926B2 (en) | 2008-12-18 | 2016-03-15 | Sirona Dental Systems Gmbh | Camera for recording surface structures, such as for dental purposes |
KR101526866B1 (ko) | 2009-01-21 | 2015-06-10 | 삼성전자주식회사 | 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치 |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US9091623B2 (en) * | 2009-02-16 | 2015-07-28 | Satake Usa, Inc. | System to determine product characteristics, counts, and per unit weight details |
WO2010096453A1 (en) | 2009-02-17 | 2010-08-26 | Board Of Regents, The University Of Texas System | Methods of producing laser speckle contrast images |
WO2010096447A2 (en) | 2009-02-17 | 2010-08-26 | Board Of Regents, The University Of Texas System | Quantitative imaging with multi-exposure speckle imaging (mesi) |
US20100265557A1 (en) | 2009-04-21 | 2010-10-21 | Jesper Sallander | Optical Systems Configured to Generate More Closely Spaced Light Beams and Pattern Generators Including the Same |
US9135502B2 (en) | 2009-05-11 | 2015-09-15 | Universitat Zu Lubeck | Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose |
US7763841B1 (en) | 2009-05-27 | 2010-07-27 | Microsoft Corporation | Optical component for a depth sensor |
JP5361592B2 (ja) | 2009-07-24 | 2013-12-04 | オリンパス株式会社 | 内視鏡装置、計測方法、およびプログラム |
KR20110018696A (ko) | 2009-08-18 | 2011-02-24 | 주식회사 이턴 | 입체 영상 처리 장치 및 방법 |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
DE112010003417A5 (de) | 2009-08-27 | 2012-08-16 | Naviswiss AB | Endoskop und verfahren zu dessen verwendung |
US8723118B2 (en) | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US20110080471A1 (en) | 2009-10-06 | 2011-04-07 | Iowa State University Research Foundation, Inc. | Hybrid method for 3D shape measurement |
US10045882B2 (en) | 2009-10-30 | 2018-08-14 | The Johns Hopkins University | Surgical instrument and systems with integrated optical sensor |
US20110123098A1 (en) | 2009-11-24 | 2011-05-26 | Maurice Moshe Ernst | System and a Method for Three-dimensional Modeling of a Three-dimensional Scene Features with a Cooling System |
US20120206587A1 (en) | 2009-12-04 | 2012-08-16 | Orscan Technologies Ltd | System and method for scanning a human body |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
EP2523621B1 (en) | 2010-01-13 | 2016-09-28 | Koninklijke Philips N.V. | Image integration based registration and navigation for endoscopic surgery |
US8723923B2 (en) | 2010-01-14 | 2014-05-13 | Alces Technology | Structured light system |
EP2359745A1 (en) | 2010-02-12 | 2011-08-24 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | Method and device for multi-spectral photonic imaging |
EP2533679B1 (en) | 2010-02-12 | 2017-01-11 | Koninklijke Philips N.V. | Laser enhanced reconstruction of 3d surface |
US8872824B1 (en) | 2010-03-03 | 2014-10-28 | Nvidia Corporation | System, method, and computer program product for performing shadowing utilizing shadow maps and ray tracing |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
WO2011134083A1 (en) | 2010-04-28 | 2011-11-03 | Ryerson University | System and methods for intraoperative guidance feedback |
US8330804B2 (en) | 2010-05-12 | 2012-12-11 | Microsoft Corporation | Scanned-beam depth mapping to 2D image |
US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
US20130253313A1 (en) | 2010-08-02 | 2013-09-26 | The Johns Hopkins University | Autofocusing endoscope and system |
US9833145B2 (en) | 2010-08-11 | 2017-12-05 | Snu R&Db Foundation | Method for simultaneously detecting fluorescence and raman signals for multiple fluorescence and raman signal targets, and medical imaging device for simultaneously detecting multiple targets using the method |
US9157733B2 (en) | 2010-09-10 | 2015-10-13 | Dimensional Photonics International, Inc. | Method of data acquisition for three-dimensional imaging |
AU2011305543A1 (en) | 2010-09-21 | 2013-04-11 | The Johns Hopkins University | Optical sensing system for cochlear implant surgery |
US8760517B2 (en) | 2010-09-27 | 2014-06-24 | Apple Inc. | Polarized images for security |
CN102008282B (zh) | 2010-10-29 | 2012-08-08 | 深圳大学 | 数字印模口内扫描仪及口腔内表面形貌图像实时重建*** |
US9345389B2 (en) | 2010-11-12 | 2016-05-24 | Emory University | Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
US9506749B2 (en) | 2010-11-15 | 2016-11-29 | Seikowave, Inc. | Structured light 3-D measurement module and system for illuminating an area-under-test using a fixed-pattern optic |
US9599461B2 (en) | 2010-11-16 | 2017-03-21 | Ectoscan Systems, Llc | Surface data acquisition, storage, and assessment system |
US8649024B2 (en) | 2010-12-03 | 2014-02-11 | Zygo Corporation | Non-contact surface characterization using modulated illumination |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US20120165681A1 (en) | 2010-12-23 | 2012-06-28 | Tyco Healthcare Group Lp | Delineating Skin or Surface Lesions |
US9226673B2 (en) | 2011-01-10 | 2016-01-05 | East Carolina University | Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling |
EP2663222B1 (en) | 2011-01-10 | 2021-10-27 | East Carolina University | Methods and systems for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling |
US8817046B2 (en) * | 2011-04-21 | 2014-08-26 | Microsoft Corporation | Color channels and optical markers |
EP2689708B1 (en) | 2011-04-27 | 2016-10-19 | Olympus Corporation | Endoscopic apparatus and measurement method |
JP5841353B2 (ja) | 2011-05-24 | 2016-01-13 | オリンパス株式会社 | 内視鏡装置および画像取得方法 |
JP5846763B2 (ja) | 2011-05-24 | 2016-01-20 | オリンパス株式会社 | 内視鏡装置 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
WO2012167201A1 (en) | 2011-06-01 | 2012-12-06 | Digital Light Innovations | System and method for hyperspectral illumination |
WO2012170963A1 (en) | 2011-06-08 | 2012-12-13 | Digital Light Innovations | System and method for hyperspectral imaging |
US9001190B2 (en) | 2011-07-05 | 2015-04-07 | Microsoft Technology Licensing, Llc | Computer vision system and method using a depth sensor |
KR20130011141A (ko) | 2011-07-20 | 2013-01-30 | 삼성전자주식회사 | 내시경 및 내시경 시스템 |
US9444981B2 (en) | 2011-07-26 | 2016-09-13 | Seikowave, Inc. | Portable structured light measurement module/apparatus with pattern shifting device incorporating a fixed-pattern optic for illuminating a subject-under-test |
US8672838B2 (en) | 2011-08-12 | 2014-03-18 | Intuitive Surgical Operations, Inc. | Image capture unit in a surgical instrument |
US8784301B2 (en) | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
US8764633B2 (en) | 2011-08-12 | 2014-07-01 | Intuitive Surgical Operations, Inc. | Feature differentiation image capture unit and method in a surgical instrument |
US9254103B2 (en) | 2011-08-15 | 2016-02-09 | The Trustees Of Dartmouth College | Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view |
US9491441B2 (en) | 2011-08-30 | 2016-11-08 | Microsoft Technology Licensing, Llc | Method to extend laser depth map range |
JP5926909B2 (ja) * | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
US9142025B2 (en) | 2011-10-05 | 2015-09-22 | Electronics And Telecommunications Research Institute | Method and apparatus for obtaining depth information using optical pattern |
WO2013058978A1 (en) | 2011-10-17 | 2013-04-25 | Kimmel Zebadiah M | Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics |
US8605993B2 (en) * | 2011-11-21 | 2013-12-10 | Robo-team Ltd. | Methods and systems of merging depth data from a plurality of disparity maps |
DE102011119608B4 (de) | 2011-11-29 | 2021-07-29 | Karl Storz Se & Co. Kg | Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung |
US11510600B2 (en) | 2012-01-04 | 2022-11-29 | The Trustees Of Dartmouth College | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance |
KR102011169B1 (ko) | 2012-03-05 | 2019-08-14 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 광 폴오프에 기초한 깊이 이미지의 생성 기법 |
JP5654511B2 (ja) | 2012-03-14 | 2015-01-14 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
WO2013136620A1 (ja) | 2012-03-14 | 2013-09-19 | 独立行政法人産業技術総合研究所 | 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム |
JP5995484B2 (ja) | 2012-03-30 | 2016-09-21 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法、及びプログラム |
JP2015523102A (ja) * | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターChildren’S National Medical Center | 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム |
US20140194747A1 (en) | 2012-05-01 | 2014-07-10 | Empire Technology Development Llc | Infrared scanner and projector to indicate cancerous cells |
US20130296712A1 (en) | 2012-05-03 | 2013-11-07 | Covidien Lp | Integrated non-contact dimensional metrology tool |
JP5930531B2 (ja) | 2012-05-24 | 2016-06-08 | 三菱電機エンジニアリング株式会社 | 撮像装置および撮像方法 |
US9674436B2 (en) | 2012-06-18 | 2017-06-06 | Microsoft Technology Licensing, Llc | Selective imaging zones of an imaging sensor |
US9471864B2 (en) | 2012-06-22 | 2016-10-18 | Microsoft Technology Licensing, Llc | Encoding data in depth patterns |
US9220570B2 (en) | 2012-06-29 | 2015-12-29 | Children's National Medical Center | Automated surgical and interventional procedures |
US8896594B2 (en) | 2012-06-30 | 2014-11-25 | Microsoft Corporation | Depth sensing with depth-adaptive illumination |
JP6005278B2 (ja) | 2012-07-25 | 2016-10-12 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 特に透過性かつ散乱性の表面における三次元測定のためのカラーコーディング |
US20140031665A1 (en) | 2012-07-25 | 2014-01-30 | Covidien Lp | Telecentric Scale Projection System for Real-Time In-Situ Surgical Metrology |
CN104125794B (zh) | 2012-08-07 | 2016-06-22 | 奥林巴斯株式会社 | 扫描型内窥镜装置 |
US9297889B2 (en) | 2012-08-14 | 2016-03-29 | Microsoft Technology Licensing, Llc | Illumination light projection for a depth camera |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
US9057784B2 (en) | 2012-08-14 | 2015-06-16 | Microsoft Technology Licensing, Llc | Illumination light shaping for a depth camera |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US20150238276A1 (en) | 2012-09-30 | 2015-08-27 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool |
US9070194B2 (en) | 2012-10-25 | 2015-06-30 | Microsoft Technology Licensing, Llc | Planar surface detection |
EP2912405B1 (en) | 2012-10-29 | 2017-10-18 | 7D Surgical Inc. | Integrated illumination and optical surface topology detection system and methods of use thereof |
DE102012021185A1 (de) | 2012-10-30 | 2014-04-30 | Smart Optics Sensortechnik Gmbh | Verfahren zur optischen 3D-Vermessung von Zähnen mit verkleinerter Point-Spread-Funktion |
US9304603B2 (en) | 2012-11-12 | 2016-04-05 | Microsoft Technology Licensing, Llc | Remote control using depth camera |
KR101918030B1 (ko) * | 2012-12-20 | 2018-11-14 | 삼성전자주식회사 | 하이브리드 멀티-뷰 랜더링 방법 및 장치 |
CA2900268C (en) | 2013-02-04 | 2021-04-06 | D4D Technologies, Llc | Intra-oral scanning device with illumination frames interspersed with image frames |
ES2804681T3 (es) | 2013-02-04 | 2021-02-09 | Childrens Nat Medical Ct | Sistema robótico quirúrgico de control híbrido |
US9962244B2 (en) | 2013-02-13 | 2018-05-08 | 3Shape A/S | Focus scanning apparatus recording color |
CN104036226B (zh) | 2013-03-04 | 2017-06-27 | 联想(北京)有限公司 | 一种目标物信息获取方法及电子设备 |
US9351643B2 (en) | 2013-03-12 | 2016-05-31 | Covidien Lp | Systems and methods for optical measurement for in-situ surgical applications |
US9375844B2 (en) | 2013-03-15 | 2016-06-28 | Intuitive Surgical Operations, Inc. | Geometrically appropriate tool selection assistance for determined work site dimensions |
US20140307055A1 (en) | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
US9294758B2 (en) | 2013-04-18 | 2016-03-22 | Microsoft Technology Licensing, Llc | Determining depth data for a captured image |
EP2800055A1 (en) | 2013-04-30 | 2014-11-05 | 3DDynamics Bvba | Method and system for generating a 3D model |
US9074868B2 (en) | 2013-05-13 | 2015-07-07 | General Electric Company | Automated borescope measurement tip accuracy test |
US9729860B2 (en) | 2013-05-24 | 2017-08-08 | Microsoft Technology Licensing, Llc | Indirect reflection suppression in depth imaging |
US9274047B2 (en) | 2013-05-24 | 2016-03-01 | Massachusetts Institute Of Technology | Methods and apparatus for imaging of occluded objects |
JP6446357B2 (ja) | 2013-05-30 | 2018-12-26 | 株式会社ニコン | 撮像システム |
US9344619B2 (en) * | 2013-08-30 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for generating an all-in-focus image |
DE102013016752A1 (de) | 2013-09-03 | 2015-03-05 | Universität Stuttgart | Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT) |
US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
US20150086956A1 (en) | 2013-09-23 | 2015-03-26 | Eric Savitsky | System and method for co-registration and navigation of three-dimensional ultrasound and alternative radiographic data sets |
US9799117B2 (en) | 2013-09-30 | 2017-10-24 | Lenovo (Beijing) Co., Ltd. | Method for processing data and apparatus thereof |
US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
CA2931529C (en) | 2013-11-27 | 2022-08-23 | Children's National Medical Center | 3d corrected imaging |
US10469827B2 (en) | 2013-12-27 | 2019-11-05 | Sony Corporation | Image processing device and image processing method |
US20160309068A1 (en) | 2014-01-06 | 2016-10-20 | The Regents Of The University Of California | Spatial frequency domain imaging using custom patterns |
WO2015105780A1 (en) | 2014-01-07 | 2015-07-16 | The Regents Of The University Of California | Method for extraction of spatial frequency information for quantitative tissue imaging |
WO2015105360A1 (ko) | 2014-01-10 | 2015-07-16 | 주식회사 고영테크놀러지 | 3차원 형상측정장치 및 방법 |
US9720506B2 (en) | 2014-01-14 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D silhouette sensing system |
US9524582B2 (en) | 2014-01-28 | 2016-12-20 | Siemens Healthcare Gmbh | Method and system for constructing personalized avatars using a parameterized deformable mesh |
US10485425B2 (en) | 2014-02-04 | 2019-11-26 | The Trustees Of Dartmouth College | Apparatus and methods for structured light scatteroscopy |
EP3108447B1 (en) | 2014-02-17 | 2020-03-25 | Children's National Medical Center | Method and system for providing recommendation for optimal execution of surgical procedures |
DE102014002514B4 (de) | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
US9380224B2 (en) | 2014-02-28 | 2016-06-28 | Microsoft Technology Licensing, Llc | Depth sensing using an infrared camera |
JP6535020B2 (ja) | 2014-03-02 | 2019-06-26 | ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド | 内視鏡画像内で可視の物体の3d距離および寸法を測定するシステム |
DE102014204243A1 (de) | 2014-03-07 | 2015-09-10 | Siemens Aktiengesellschaft | Endoskop mit Tiefenbestimmung |
DE102014204244A1 (de) | 2014-03-07 | 2015-09-10 | Siemens Aktiengesellschaft | Endoskop mit Tiefenbestimmung |
US11116383B2 (en) | 2014-04-02 | 2021-09-14 | Asensus Surgical Europe S.à.R.L. | Articulated structured light based-laparoscope |
DE102014207022A1 (de) | 2014-04-11 | 2015-10-29 | Siemens Aktiengesellschaft | Tiefenbestimmung einer Oberfläche eines Prüfobjektes |
DE102014210938A1 (de) | 2014-06-06 | 2015-12-17 | Siemens Aktiengesellschaft | Verfahren zum Steuern eines medizinischen Gerätes sowie Steuerungssystem für ein medizinisches Gerät |
US20150377613A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Electronics Co., Ltd. | Systems and methods for reconstructing 3d surfaces of tubular lumens |
US9261356B2 (en) | 2014-07-03 | 2016-02-16 | Align Technology, Inc. | Confocal surface topography measurement with fixed focal positions |
US9439568B2 (en) | 2014-07-03 | 2016-09-13 | Align Technology, Inc. | Apparatus and method for measuring surface topography optically |
US9261358B2 (en) | 2014-07-03 | 2016-02-16 | Align Technology, Inc. | Chromatic confocal system |
US10398294B2 (en) | 2014-07-24 | 2019-09-03 | Z Square Ltd. | Illumination sources for multicore fiber endoscopes |
CN105509639B (zh) | 2014-09-24 | 2019-01-01 | 通用电气公司 | 用来测量几何特征的测量***和测量方法 |
US10039439B2 (en) | 2014-09-30 | 2018-08-07 | Fujifilm Corporation | Endoscope system and method for operating the same |
CN107405094A (zh) | 2014-10-14 | 2017-11-28 | 东卡罗莱娜大学 | 用于使用成像技术来可视化解剖结构以及血流和灌注生理机能的方法、***和计算机程序产品 |
JP2017534378A (ja) | 2014-10-14 | 2017-11-24 | イースト カロライナ ユニバーシティ | 血流量及び灌流量のマルチスペクトル画像化によって得られる信号を使用して血行動態パラメータを決定する方法、システム、及びコンピュータプログラム製品 |
US11553844B2 (en) | 2014-10-14 | 2023-01-17 | East Carolina University | Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics |
US20160128553A1 (en) | 2014-11-07 | 2016-05-12 | Zheng Jason Geng | Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same |
JP6432770B2 (ja) | 2014-11-12 | 2018-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
US9841496B2 (en) | 2014-11-21 | 2017-12-12 | Microsoft Technology Licensing, Llc | Multiple pattern illumination optics for time of flight system |
US9638801B2 (en) | 2014-11-24 | 2017-05-02 | Mitsubishi Electric Research Laboratories, Inc | Depth sensing using optical pulses and fixed coded aperature |
US9330464B1 (en) | 2014-12-12 | 2016-05-03 | Microsoft Technology Licensing, Llc | Depth camera feedback |
KR101671649B1 (ko) | 2014-12-22 | 2016-11-01 | 장석준 | 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템 |
US9958758B2 (en) | 2015-01-21 | 2018-05-01 | Microsoft Technology Licensing, Llc | Multiple exposure structured light pattern |
EP3250104B1 (en) | 2015-01-28 | 2019-03-06 | Brainlab AG | Light point identification method |
US9817159B2 (en) | 2015-01-31 | 2017-11-14 | Microsoft Technology Licensing, Llc | Structured light pattern generation |
CN107431800A (zh) | 2015-02-12 | 2017-12-01 | 奈克斯特Vr股份有限公司 | 用于进行环境测量和/或使用此类测量的方法和装置 |
US9953428B2 (en) | 2015-03-03 | 2018-04-24 | Microsoft Technology Licensing, Llc | Digital camera unit with simultaneous structured and unstructured illumination |
KR102376954B1 (ko) | 2015-03-06 | 2022-03-21 | 삼성전자주식회사 | 홍채를 촬영하기 위한 광을 조사하는 방법 및 그 디바이스 |
US9955140B2 (en) | 2015-03-11 | 2018-04-24 | Microsoft Technology Licensing, Llc | Distinguishing foreground and background with inframed imaging |
KR102306539B1 (ko) | 2015-03-12 | 2021-09-29 | 삼성전자주식회사 | 홍채를 촬영하기 위하여 이용되는 광을 조사하는 방법 및 디바이스 |
US10058256B2 (en) | 2015-03-20 | 2018-08-28 | East Carolina University | Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification |
US10390718B2 (en) | 2015-03-20 | 2019-08-27 | East Carolina University | Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design |
DE102015206511B4 (de) | 2015-04-13 | 2023-10-19 | Siemens Healthcare Gmbh | Ermittlung einer eindeutigen räumlichen Relation eines medizinischen Geräts zu einem weiteren Objekt |
US9690984B2 (en) | 2015-04-14 | 2017-06-27 | Microsoft Technology Licensing, Llc | Two-dimensional infrared depth sensing |
US20170059305A1 (en) | 2015-08-25 | 2017-03-02 | Lytro, Inc. | Active illumination for enhanced depth map generation |
US10132616B2 (en) | 2015-04-20 | 2018-11-20 | Samsung Electronics Co., Ltd. | CMOS image sensor for 2D imaging and depth measurement with ambient light rejection |
US10356392B2 (en) | 2015-05-28 | 2019-07-16 | University College Cork—National Univesity of Ireland, Cork | Coded access optical sensor |
EP3318173A4 (en) | 2015-06-30 | 2019-04-17 | Olympus Corporation | IMAGE PROCESSING DEVICE, MEASURING SYSTEM AND ENDOSCOPY SYSTEM |
WO2017006574A1 (ja) | 2015-07-03 | 2017-01-12 | オリンパス株式会社 | 画像処理装置、画像判別システム、及び内視鏡システム |
CA2987058C (en) | 2015-07-13 | 2019-03-19 | Synaptive Medical (Barbados) Inc. | System and method for providing a contour video with a 3d surface in a medical navigation system |
US9958585B2 (en) | 2015-08-17 | 2018-05-01 | Microsoft Technology Licensing, Llc | Computer vision depth sensing at video rate using depth from defocus |
JP6456550B2 (ja) * | 2015-09-01 | 2019-01-23 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 体の部位の医療像データを表示するための装置 |
CA3038648A1 (en) | 2015-09-28 | 2017-04-06 | Montefiore Medical Center | Methods and devices for intraoperative viewing of patient 3d surface images |
DK178899B1 (en) | 2015-10-09 | 2017-05-08 | 3Dintegrated Aps | A depiction system |
WO2017059870A1 (en) | 2015-10-09 | 2017-04-13 | 3Dintegrated Aps | A laparoscopic tool system for minimally invasive surgery |
US9955861B2 (en) | 2015-10-16 | 2018-05-01 | Ricoh Company, Ltd. | Construction of an individual eye model using a plenoptic camera |
US10402992B2 (en) | 2015-10-16 | 2019-09-03 | Capsovision Inc. | Method and apparatus for endoscope with distance measuring for object scaling |
CA3003596A1 (en) | 2015-10-31 | 2017-05-04 | Children's National Medical Center | Soft surgical tools |
US10828125B2 (en) * | 2015-11-03 | 2020-11-10 | Synaptive Medical (Barbados) Inc. | Dual zoom and dual field-of-view microscope |
WO2017143427A1 (en) | 2016-02-25 | 2017-08-31 | Synaptive Medical (Barbados) Inc. | System and method for scope based depth map acquisition |
CN111329551A (zh) | 2016-03-12 | 2020-06-26 | P·K·朗 | 用于脊柱和关节手术的增强现实引导 |
EP4394703A2 (en) | 2016-03-14 | 2024-07-03 | Mohamed R. Mahfouz | Method of designing a dynamic patient-specific orthopedic implant |
EP3220351A1 (en) | 2016-03-14 | 2017-09-20 | Thomson Licensing | Method and device for processing lightfield data |
US20170280970A1 (en) | 2016-03-31 | 2017-10-05 | Covidien Lp | Thoracic endoscope for surface scanning |
WO2017180097A1 (en) | 2016-04-12 | 2017-10-19 | Siemens Aktiengesellschaft | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation |
TWI567693B (zh) * | 2016-05-17 | 2017-01-21 | 緯創資通股份有限公司 | 產生深度資訊的方法及其系統 |
US10375330B2 (en) | 2016-05-27 | 2019-08-06 | Verily Life Sciences Llc | Systems and methods for surface topography acquisition using laser speckle |
US20170366773A1 (en) | 2016-06-21 | 2017-12-21 | Siemens Aktiengesellschaft | Projection in endoscopic medical imaging |
TWI597042B (zh) | 2016-06-29 | 2017-09-01 | Endoscopic with distance measuring function and distance measuring method | |
US10217235B2 (en) | 2016-07-11 | 2019-02-26 | Nri R&D Patent Licensing, Llc | Advanced lensless light-field imaging systems and methods for enabling a wide range of entirely new applications |
IL292427B2 (en) | 2016-07-25 | 2023-05-01 | Magic Leap Inc | Change, display and visualization of imaging using augmented and virtual reality glasses |
US9947099B2 (en) | 2016-07-27 | 2018-04-17 | Microsoft Technology Licensing, Llc | Reflectivity map estimate from dot based structured light systems |
US20180042466A1 (en) | 2016-08-12 | 2018-02-15 | The Johns Hopkins University | Compact endoscope design for three-dimensional surgical guidance |
WO2018085797A1 (en) | 2016-11-04 | 2018-05-11 | Aquifi, Inc. | System and method for portable active 3d scanning |
US11998282B2 (en) * | 2016-12-16 | 2024-06-04 | Intuitive Surgical Operations, Inc. | Systems and methods for teleoperated control of an imaging instrument |
US11129681B2 (en) | 2017-02-22 | 2021-09-28 | Orthosoft Ulc | Bone and tool tracking in robotized computer-assisted surgery |
US10485629B2 (en) | 2017-02-24 | 2019-11-26 | Sony Olympus Medical Solutions Inc. | Endoscope device |
US10572720B2 (en) | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
CN108694740A (zh) | 2017-03-06 | 2018-10-23 | 索尼公司 | 信息处理设备、信息处理方法以及用户设备 |
CA2960528C (en) * | 2017-03-08 | 2018-03-20 | Synaptive Medical (Barbados) Inc. | A depth-encoded fiducial marker for intraoperative surgical registration |
US10262453B2 (en) | 2017-03-24 | 2019-04-16 | Siemens Healthcare Gmbh | Virtual shadows for enhanced depth perception |
WO2019045971A1 (en) | 2017-08-28 | 2019-03-07 | East Carolina University | MULTI-SPECTRAL PHYSIOLOGICAL VISUALIZATION (MSPV) USING LASER IMAGING METHODS AND SYSTEMS TO PERFORM IMAGING AND QUANTIFICATION OF BLOOD FLOW AND INFUSION IN ENDOSCOPIC DESIGN |
US11278220B2 (en) | 2018-06-08 | 2022-03-22 | East Carolina University | Determining peripheral oxygen saturation (SpO2) and hemoglobin concentration using multi-spectral laser imaging (MSLI) methods and systems |
CN112513617A (zh) | 2018-06-28 | 2021-03-16 | 儿童国家医疗中心 | 腹腔镜手术中血流和组织灌注无染料可视化的方法和*** |
US11850002B2 (en) * | 2018-07-16 | 2023-12-26 | International Business Machines Corporation | Three-dimensional model for surgical planning |
EP3824621A4 (en) | 2018-07-19 | 2022-04-27 | Activ Surgical, Inc. | SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS |
EP3847660A2 (en) | 2018-09-05 | 2021-07-14 | East Carolina University | Systems for detecting vascular and arterial disease in asymptomatic patients and related methods |
US11125861B2 (en) | 2018-10-05 | 2021-09-21 | Zoox, Inc. | Mesh validation |
US10823855B2 (en) | 2018-11-19 | 2020-11-03 | Fca Us Llc | Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics |
CN113906479A (zh) | 2018-12-28 | 2022-01-07 | 艾科缇弗外科公司 | 从局部深度图生成合成三维成像 |
JP2022525113A (ja) | 2019-03-26 | 2022-05-11 | イースト カロライナ ユニバーシティ | 血流及び灌流可視化のための近赤外蛍光イメージング及び関連するシステム並びにコンピュータプログラム製品 |
CN114828725A (zh) * | 2019-08-16 | 2022-07-29 | 身体视觉医疗有限公司 | 用于介入和外科手术的装置及其使用方法 |
EP4135615A1 (en) | 2020-04-17 | 2023-02-22 | Activ Surgical, Inc. | Systems and methods for enhancing medical images |
NL2026240B1 (en) | 2020-08-07 | 2022-04-08 | Limis Dev B V | Device for coupling coherent light into an endoscopic system |
NL2026505B1 (en) | 2020-09-18 | 2022-05-23 | Limis Dev B V | Motion-compensated laser speckle contrast imaging |
-
2019
- 2019-07-19 EP EP19838270.7A patent/EP3824621A4/en active Pending
- 2019-07-19 KR KR1020217004565A patent/KR102545980B1/ko active IP Right Grant
- 2019-07-19 CN CN201980061357.1A patent/CN112740666A/zh active Pending
- 2019-07-19 CA CA3106823A patent/CA3106823A1/en active Pending
- 2019-07-19 JP JP2021526407A patent/JP7297891B2/ja active Active
- 2019-07-19 WO PCT/US2019/042647 patent/WO2020018931A1/en active Application Filing
-
2021
- 2021-01-15 US US17/150,701 patent/US11179218B2/en active Active
- 2021-10-27 US US17/512,543 patent/US11857153B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013544449A (ja) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
Also Published As
Publication number | Publication date |
---|---|
US20210236226A1 (en) | 2021-08-05 |
EP3824621A1 (en) | 2021-05-26 |
US11179218B2 (en) | 2021-11-23 |
WO2020018931A1 (en) | 2020-01-23 |
US20220117689A1 (en) | 2022-04-21 |
JP7297891B2 (ja) | 2023-06-26 |
CA3106823A1 (en) | 2020-01-23 |
KR102545980B1 (ko) | 2023-06-21 |
US11857153B2 (en) | 2024-01-02 |
KR20210035831A (ko) | 2021-04-01 |
EP3824621A4 (en) | 2022-04-27 |
CN112740666A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210212772A1 (en) | System and methods for intraoperative guidance feedback | |
US20240197241A1 (en) | Anatomical surface assessment methods, devices and systems | |
EP3215044B1 (en) | Optical tracking method and system based on passive markers | |
JP2022525204A (ja) | 少なくとも1つの材料特性を識別するための検出器 | |
Shademan et al. | Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation | |
US20140218366A1 (en) | Method and device for displaying an object | |
JP2016514984A (ja) | 3次元の画像形成を行うための方法及びシステム | |
JP2015100712A (ja) | 光学認識機能を有する外科手術システム用の縫合針 | |
JP6454489B2 (ja) | 観察システム | |
CN109938837B (zh) | 光学跟踪***及光学跟踪方法 | |
US11857153B2 (en) | Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots | |
Furukawa et al. | Shape acquisition and registration for 3D endoscope based on grid pattern projection | |
US10846883B2 (en) | Method for calibrating objects in a reference coordinate system and method for tracking objects | |
CN105306922A (zh) | 一种深度相机参考图的获取方法和装置 | |
JP2018538107A (ja) | 発光体を使用して物体距離及びターゲット寸法を測定する方法、システム、及びコンピュータプログラム製品 | |
US20210161604A1 (en) | Systems and methods of navigation for robotic colonoscopy | |
JP2005287900A (ja) | 内視鏡 | |
Decker et al. | Performance evaluation and clinical applications of 3D plenoptic cameras | |
JP2009247463A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
EP3836154A1 (en) | A method and an apparatus for imaging curved surfaces | |
WO2021090513A1 (ja) | シミ属性判定方法、及びシミ属性判定システム | |
CN115702444A (zh) | 用于确定工具定位及其基准标记物的***和方法 | |
JP2023543010A (ja) | ツール追跡のための方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220902 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7297891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |