CN113164149A - 使用数字计算机断层扫描的多视图姿态估计的方法和*** - Google Patents

使用数字计算机断层扫描的多视图姿态估计的方法和*** Download PDF

Info

Publication number
CN113164149A
CN113164149A CN201980056288.5A CN201980056288A CN113164149A CN 113164149 A CN113164149 A CN 113164149A CN 201980056288 A CN201980056288 A CN 201980056288A CN 113164149 A CN113164149 A CN 113164149A
Authority
CN
China
Prior art keywords
image
pose
radiopaque instrument
imaging modality
radiopaque
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980056288.5A
Other languages
English (en)
Inventor
塔尔·泽斯里尔
伊兰·哈帕斯
多兰·阿韦尔布克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Body Vision Medical Ltd
Original Assignee
Body Vision Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Body Vision Medical Ltd filed Critical Body Vision Medical Ltd
Publication of CN113164149A publication Critical patent/CN113164149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了几种与不透射线仪器通过自然体腔的体内导航有关的方法。该方法之一公开了使用在成像设备的不同姿态中获取的不透射线仪器的多个图像以及先前获取的成像来对成像设备进行姿态估计。另一种方法使用几种方法来解决不透射线仪器定位歧义，例如不透射线的标记和仪器轨迹跟踪。

Description

使用数字计算机断层扫描的多视图姿态估计的方法和***
相关申请的交叉引用
本申请是涉及并要求于2018年8月13日提交的名称为“使用数字计算机断层扫描的多视图姿态估计的方法和***”的美国临时专利申请No.62/718,346的权益的国际(PCT)申请，其内容通过引用整体并入本文。
技术领域
本发明的实施方式涉及介入设备及其使用方法。
背景技术
使用微创手术，例如内窥镜手术，视频辅助的胸外科手术或类似的医疗手术可用作可疑病变的诊断器具或用作癌性肿瘤的治疗手段。
发明内容
在一些实施方式中，本发明提供一种方法，其包括：
获取来自第一成像模式的第一图像，
从来自所述第一成像模式的所述第一图像中提取至少一个元素，
其中所述至少一个元素包括气道、血管、体腔或其任何组合；
获取来自第二成像模式的至少(i)处于第一姿态的不透射线仪器的第一图像和(ii)处于第二姿态的所述不透射线仪器的第二图像，
其中所述不透射线仪器在患者的体腔中；
生成至少两个增强支气管造影图像，
其中第一增强支气管造影图像对应于处于所述第一姿态的所述不透射线仪器的所述第一图像，和
其中第二增强支气管造影图像对应于处于所述第二姿态的所述不透射线仪器的所述第二图像，
确定以下两者之间的相互几何约束：
(i)所述不透射线仪器的所述第一姿态，和
(ii)所述不透射线仪器的所述第二姿态，
通过将所述不透射线仪器的所述第一姿态和所述不透射线仪器的所述第二姿态与所述第一成像模式的所述第一图像进行比较，来估计所述不透射线仪器的所述第一姿态和所述不透射线仪器的所述第二姿态，
其中使用以下步骤进行比较：
(i)所述第一增强支气管造影图像，
(ii)所述第二增强支气管造影图像，和
(iii)所述至少一个元素，和
其中所述不透射线仪器的估计的所述第一姿态和所述不透射线仪器的估计的所述第二姿态满足确定的所述相互几何约束，
生成第三图像；其中所述第三图像是从所述第二成像模式导出的增强图像，所述增强图像突出显示关注区域，
其中所述关注区域是通过来自所述第一成像模式的数据确定的。
在一些实施方式中，来自第一成像模式的第一图像的至少一个元素还包括肋骨、椎骨、隔膜或其任何组合。
在一些实施方式中，相互几何约束由以下步骤生成：
a.通过比较不透射线仪器的第一图像和不透射线仪器的第二图像来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行所述估计，并且其中所述设备附着到所述第二成像模式；
b.提取多个图像特征以估计相对姿态变化，
其中所述多个图像特征包括解剖元素、非解剖元素或其任何组合，
其中所述图像特征包括：附着于患者的贴片、位于第二成像模式的视图中的不透射线的标记，或其任何组合，
其中所述图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；
c.通过使用至少一个相机来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中所述相机包括：摄像机、红外相机、深度相机或其任何组合，
其中所述相机位于固定位置，
其中所述相机被配置为跟踪至少一个特征，
其中所述至少一个特征包括：附着于所述患者的标记、附着于所述第二成像模式的标记、或其任何组合
跟踪所述至少一个特征；
d.或其任何组合。
在一些实施方式中，该方法还包括：跟踪不透射线仪器，用于：识别轨迹，以及使用该轨迹作为进一步的几何约束，其中不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，本发明是一种方法，其包括：
生成患者的至少一个体腔的图，
其中使用来自第一成像模式的第一图像来生成所述图，
获取来自第二成像模式的包括至少两个附着的标记的不透射线仪器的图像，
其中所述至少两个附着的标记以已知的距离分开，
识别来自所述第二成像模式的所述不透射线仪器相对于所述患者的至少一个体腔的图的姿态，
在来自所述第二成像模式的所述第二图像上识别附着于所述不透射线仪器的所述第一标记的第一位置，
在来自所述第二成像模式的所述第二图像上识别附着于所述不透射线仪器的所述第二标记的第二位置，和
测量所述第一标记的所述第一位置与所述第二标记的所述第二位置之间的距离，
投影所述第一标记和所述第二标记之间的所述已知距离，
将测量的所述距离与所述第一标记和所述第二标记之间的投影的所述已知距离进行比较，以识别所述不透射线仪器在所述患者的所述至少一个体腔内的特定位置。
在一些实施方式中，不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，该方法还包括：通过使用不透射线仪器的轨迹来识别不透射线仪器的深度。
在一些实施方式中，来自第一成像模式的第一图像是手术前图像。在一些实施方式中，来自第二成像模式的不透射线仪器的至少一个图像是手术中图像。
在一些实施方式中，本发明是一种方法，其包括：
获取来自第一成像模式的第一图像，
从来自所述第一成像模式的所述第一图像中提取至少一个元素，
其中所述至少一个元素包括气道、血管、体腔或其任何组合；
获取来自第二成像模式的至少(i)不透射线仪器的一个图像和(ii)处于第二成像模式的两个不同的姿态下的所述不透射线仪器的另一个图像，
其中所述不透射线仪器的所述第一图像在第二成像模式的第一姿态下被捕获，
其中所述不透射线仪器的所述第二图像在第二成像模式的第二姿态下被捕获，和
其中所述不透射线仪器在患者的体腔中；
生成与所述成像设备的两个姿态中的每一个相对应的至少两个增强支气管造影图像，其中第一增强支气管造影图像是从所述不透射线仪器的所述第一图像导出的，并且第二增强支气管造影图像是从所述不透射线仪器的所述第二图像导出的，
确定以下两者之间的相互几何约束：
(i)所述第二成像模式的所述第一姿态，和
(ii)所述第二成像模式的所述第二姿态，
使用对应的所述增强支气管造影图像和从所述第一成像模式的所述第一图像提取的至少一个元素，相对于所述第一成像模式的所述第一图像估计所述第二成像模式的所述两个姿态；
其中估计的所述两个姿态满足所述相互几何约束，
生成第三图像；其中，所述第三图像是从所述第二成像模式导出的增强图像，所述增强图像基于来自所述第一成像模式的数据来突出显示所述关注区域。
在一些实施方式中，从第一成像模式和第二成像模式中提取诸如肋骨、椎骨、隔膜或其任何组合的解剖元素。
在一些实施方式中，相互几何约束由以下步骤生成：
a.通过比较不透射线仪器的第一图像和不透射线仪器的第二图像，来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中使用包括量角器、加速度计、陀螺仪或其任何组合的设备执行所述估计，并且其中所述设备附着到所述第二成像模式；
b.提取多个图像特征以估计相对姿态变化；
其中所述多个图像特征包括解剖元素、非解剖元素或其任何组合，
其中所述图像特征包括：附着于患者的贴片、位于所述第二成像模式的视图中的不透射线的标记，或其任何组合，
其中所述图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；
c.通过使用至少一个相机来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中所述相机包括：摄像机、红外相机、深度相机或其任何组合，
其中所述相机位于固定位置，
其中所述相机经配置以跟踪至少一个特征，
其中所述至少一个特征包括：附着于所述患者的标记、附着于所述第二成像模式的标记、或其任何组合，和
跟踪所述至少一个特征；
d.或其任何组合。
在一些实施方式中，该方法还包括跟踪不透射线仪器以识别轨迹并使用这种轨迹作为附加的几何约束，其中不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，本发明是一种用于识别患者体内的真实仪器位置的方法，包括：
使用从第一成像模式的第一图像生成的患者的至少一个体腔的图，
获取来自第二成像模式的不透射线仪器的图像，所述不透射线仪器具有附着于其上的至少两个标记，并且在所述至少两个标记之间具有限定的距离，
这可以从位于患者体内的至少两个不同体腔中的图像中感指到，
获取第二成像模式相对于图的姿态，
在来自第二成像模式的第二图像上识别附着于不透射线仪器的第一标记的第一位置，
在来自第二成像模式的第二图像上识别附着于不透射线仪器的第二标记的第二位置，和
测量第一标记的第一位置和第二标记的第二位置之间的距离。
使用第二成像模式的姿态，将标记之间的已知距离投影到不透射线仪器的每个感知位置上
将测量的距离与两个标记之间的每个投影距离进行比较，以识别身体内的真实仪器位置。
在一些实施方式中，不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，该方法还包括：通过使用不透射线仪器的轨迹来识别不透射线仪器的深度。
在一些实施方式中，来自第一成像模式的第一图像是手术前图像。在一些实施方式中，来自第二成像模式的不透射线仪器的至少一个图像是手术中图像。
附图说明
参考附图将进一步解释本发明，其中在几个视图中相同的结构由相同的数字表示。所示的附图不一定是按比例绘制的，而是通常将重点放在说明本发明的原理上。此外，一些特征可能被夸大以示出特定组件的细节。
图1示出了在本发明的方法的一些实施方式中使用的多视图姿态估计方法的框图。
图2、3和4示出了在本发明的方法中使用的手术中图像的示例性实施方式。图2和3示出了从一个特定姿态获取的荧光图像。图4示出了以与图2和3不同的姿态获取的荧光图像，作为C形臂旋转的结果。支气管镜–240、340、440、仪器–210、310、410、肋骨–220、320、420和身体边界–230、330、430是可见的。多视图姿态估计方法使用图2、3、4中的可见元素作为输入。
图5示出了在本发明的方法中使用的支气管气道的结构的示意图。气道中心线由530表示。导管被***气道结构中并通过具有图像平面540的荧光镜设备成像。在图像上的导管投影由曲线550示出，并且附着于其上的不透射线的标记被投影到点G和F。
图6是连接到支气管镜的支气管镜设备尖端的图像，其中支气管镜可用于本发明的方法的实施方式。
图7是根据本发明的方法的实施方式的图示，其中图示是在支气管镜检查过程中使用的被跟踪的镜(701)的荧光镜图像，该被跟踪的镜(701)具有从其延伸的操作工具(702)。操作工具可以包括附着于其上的不透射线的标记或独特图案。
图8是根据本发明的方法的一个实施方式的两个视图的对极几何形状的图示，其中该图示是一对荧光镜图像，该荧光镜图像包括在支气管镜检查过程中使用的镜(801)以及从其延伸的操作工具(802)。该操作工具可以包括附着于其上的不透射线的标记或独特图案(点P1和P2表示这种图案的一部分)。点P1具有相应的极线L1。点P0表示镜的尖端，点P3表示操作工具的尖端。O1和O2表示相应视图的焦点。
附图构成本说明书的一部分，并包括本发明的示例性实施方式，并示出其各种目的和特征。此外，附图不一定是按比例绘制的，一些特征可能被夸大以示出特定组件的细节。此外，图中所示的任何测量、规范等都是说明性的，而不是限制性的。因此，在此公开的具体结构和功能细节不应被解释为限制，而是仅仅作为教导本领域技术人员以各种方式采用本发明的代表性基础。
具体实施方式
在已经公开的这些益处和改进中，本发明的其它目的和优点将从下面结合附图的描述中变得显而易见。本文公开了本发明的详细实施方式；然而，应当理解，所公开的实施方式仅仅是可以以各种形式体现的本发明的示例。此外，结合本发明的各种实施方式给出的每个实例都是说明性的，而不是限制性的。
在整个说明书和权利要求书中，除非上下文另有明确规定，否则以下术语采用本文中明确关联的含义。这里使用的短语“在一个实施方式中”和“在一些实施方式中”不一定指相同的实施方式，尽管它也可以。此外，这里使用的短语“在另一个实施方式中”和“在一些其它实施方式中”并不一定指不同的实施方式，尽管它也可以。因此，如下所述，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施方式。
此外，如本文所使用的，术语“或”是包括性的“或”运算符，并且等同于术语“和/或”，除非上下文另外清楚地指示。术语“基于”不是排他性的，并且允许基于未描述的附加因素，除非上下文另外清楚地指出。此外，在整个说明书中，“一个”,“一种”和“该”的含义包括复数。“在…中”的含义包括“在…中”和“在…上”。
如本文所使用的，“多个”是指数目上多于一个，例如但不限于2、3、4、5、6、7、8、9、10等。例如，多个图像可以是2个图3个图像、4个图像、5个图像、6个图像、7个图像、8个图像、9个图像、10个图像等。
如本文所使用的，“解剖元素”是指界标，其可以是例如：关注区域、切口点、分叉、血管、支气管气道、肋骨或器官。
如本文所使用的，“几何约束”或“相互约束”或“相互几何约束”是指对象身体中的物理器官(例如，至少两个物理器官)之间的几何关系，其在对象体内的肋骨、身体边界等之间构建类似的几何关系。当通过不同的成像模式观察时，这种几何关系或者保持不变，或者可以忽略或者量化它们的相对运动。
如本文所使用的，“姿态”指的是一组六个参数，这些参数确定作为光学相机设备的替代物的术中成像设备源的相对位置和方向。作为非限制性实例，姿态可以作为设备、患者床和患者之间的相对运动的组合来获取。这种运动的另一个非限制性实例是术中成像设备的旋转与其在静态患者躺在床上的情况下围绕静态患者床的运动相结合。
如本文所使用的，“位置”指的是任何对象的位置(其可以在诸如x、y和z笛卡尔坐标的任何坐标系中测量)，包括三维空间内的成像设备本身。
如本文所用，“方向”是指术中成像设备的角度。作为非限制性示例，术中成像设备可以面向上、下或横向方向。
如本文所使用的，“姿态估计方法”指的是估计与第一成像模式的三维空间内的第二成像模式相关联的相机的参数的方法。这种方法的一个非限制性示例是在术前计算机断层扫描的三维空间内获取术中荧光镜相机的参数。一种数学模型使用这种估计姿态将术前计算机断层扫描(CT)图像内的至少一个三维点投影到术中X射线图像内的相应二维点。
如本文所使用的，“多视图姿态估计方法”指的是估计术中成像设备的至少两个不同姿态的姿态的方法。其中成像设备从相同的场景/对象获取图像。
如本文所用，“相对角差”是指由成像设备的两个姿态之间的相对角运动引起的成像设备的两个姿态之间的角差。
如本文所使用的，“相对姿态差”是指由对象和成像设备之间的相对空间运动引起的成像设备的两个姿态之间的位置和相对角度差。
本文所用的“对极距离”是指某点与在另一视图中同一点的极线之间的测量距离。如本文所使用的，“极线”是指来自视图中的一个或多个点的x、y矢量或两列矩阵的计算。
如本文所用，“相似性度量”是指量化两个对象之间的相似性的实值函数。
在一些实施方式中，本发明提供一种方法，其包括：
获取来自第一成像模式的第一图像，
从来自所述第一成像模式的所述第一图像中提取至少一个元素，
其中所述至少一个元素包括气道、血管、体腔或其任何组合；
获取来自第二成像模式的至少(i)处于第一姿态的不透射线仪器的第一图像和(ii)处于第二姿态的所述不透射线仪器的第二图像，
其中所述不透射线仪器在患者的体腔中；
生成至少两个增强支气管造影图像，
其中第一增强支气管造影图像对应于处于所述第一姿态的所述不透射线仪器的所述第一图像，和
其中第二增强支气管造影图像对应于处于所述第二姿态的所述不透射线仪器的所述第二图像，
确定以下两者之间的相互几何约束：
(i)所述不透射线仪器的所述第一姿态，和
(ii)所述不透射线仪器的所述第二姿态，
通过将所述不透射线仪器的所述第一姿态和所述不透射线仪器的所述第二姿态与所述第一成像模式的所述第一图像进行比较，来估计所述不透射线仪器的所述第一姿态和所述不透射线仪器的所述第二姿态，
其中使用以下步骤进行比较：
(i)所述第一增强支气管造影图像，
(ii)所述第二增强支气管造影图像，和
(iii)所述至少一个元素，和
其中所述不透射线仪器的估计的所述第一姿态和所述不透射线仪器的估计的所述第二姿态满足确定的所述相互几何约束，
生成第三图像；其中所述第三图像是从所述第二成像模式导出的增强图像，所述增强图像突出显示关注区域，
其中所述关注区域是通过来自所述第一成像模式的数据确定的。
在一些实施方式中，来自第一成像模式的第一图像的至少一种元素还包括肋骨、椎骨、隔膜或其任何组合。
在一些实施方式中，相互几何约束由以下步骤生成：
a.通过比较不透射线仪器的第一图像和不透射线仪器的第二图像来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行估计，并且其中设备附着到所述第二成像模式；
b.提取多个图像特征以估计相对姿态变化，
其中多个图像特征包括解剖元素、非解剖元素或其任何组合，
其中图像特征包括：附着于患者的贴片，位于第二成像模式的视图中的不透射线的标记，或其任何组合，
其中所述图像特征在所述不透射线仪器的所述第一图像和所述不透射线仪器的所述第二图像上是可见的；
c.通过使用至少一种相机来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中相机包括：摄像机、红外相机、深度相机或其任何组合，
其中相机位于固定位置，
其中相机被配置为跟踪至少一个特征，
其中至少一个特征包括：附着于所述患者的标记、附着于第二成像模式的标记、或其任何组合，和
跟踪至少一个特征；
d.或其任何组合。
在一些实施方式中，该方法还包括：跟踪不透射线仪器，用于：识别轨迹，以及使用该轨迹作为进一步的几何约束，其中不透射线仪器包括内窥镜，支气管内工具或机械臂。
在一些实施方式中，本发明是一种方法，其包括：
生成患者的至少一个体腔的图，
其中使用来自第一成像模式的第一图像来生成所述图，
获取来自第二成像模式的包括至少两个附着的标记的不透射线仪器的图像，
其中所述至少两个附着的标记以已知的距离分开，
识别来自所述第二成像模式的不透射线仪器相对于患者的至少一个体腔的图的姿态，
从所述第二成像模式的第二图像上识别附着于不透射线仪器的第一标记的第一位置，
从所述第二成像模式的第二图像上识别附着于不透射线仪器的第二标记的第二位置，和
测量第一标记的第一位置和第二标记的第二位置之间的距离，
投影第一标记和第二标记之间的已知距离，
将测量的距离与第一标记和第二标记之间的投影已知距离进行比较，以识别不透射线仪器在患者的至少一个体腔内的特定位置。
从单个视图推断的三维信息可能仍然是有歧义的，并且可以使工具适合肺内的多个位置。可以通过在实际过程之前分析计划的三维路径并计算荧光镜的最佳方向以避免在导航期间的多数歧义来减少这种情况的发生。在一些实施方式中，荧光镜定位是根据美国专利第9,743,896号中描述的方法来执行的，其内容以全文引用的方式并入本文中。
在一些实施方式中，不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，该方法还包括：通过使用不透射线仪器的轨迹来识别不透射线仪器的深度。
在一些实施方式中，来自第一成像模式的第一图像是手术前图像。在一些实施方式中，来自第二成像模式的不透射线仪器的至少一个图像是手术中图像。
在一些实施方式中，本发明是一种方法，其包括：
获取来自第一成像模式的第一图像，
从来自第一成像模式的第一图像中提取至少一个元素，
其中所述至少一个元素包括气道，血管、体腔或其任何组合；
获取来自第二成像模式的至少(i)不透射线仪器的一个图像和(ii)处于第二成像模式的两个不同的姿态下的不透射线仪器的另一个图像，
其中所述不透射线仪器的所述第一图像在第二成像模式的第一姿态下被捕获，
其中所述不透射线仪器的第二图像在第二成像模式的第二姿态下被捕获，和
其中所述不透射线仪器在患者的体腔中；
生成与所述成像设备的两个姿态中的每一个相对应的至少两个增强支气管造影图像，其中第一增强支气管造影图像是从不透射线仪器的第一图像导出的，并且第二增强支气管造影图像是从不透射线仪器的第二图像导出的，
确定以下两者之间的相互几何约束：
(i)第二成像模式的第一姿态，和
(ii)第二成像模式的第二姿态，
使用对应的增强支气管造影图像和从第一成像模式的第一图像提取的至少一个元素，相对于第一成像模式的第一图像估计第二成像模式的两个姿态；
其中两个估计姿态满足相互几何约束。
生成第三图像；其中，所述第三图像是从第二成像模式导出的增强图像，增强图像基于来自第一成像模式的数据来突出显示所述关注区域。
在支气管内工具的导航期间，需要相对于目标和其它解剖结构在三维中验证工具位置。在一些实施方式中，在到达肺中的某一位置之后，医生可以改变荧光镜位置，同时将工具保持在同一位置。在一些实施方式中，本领域技术人员使用这些手术中图像可以重建三维中的工具位置，并且在三维中向医生显示相对于目标的工具位置。
在一些实施方式中，为了在三维中重建工具位置，需要在两个视图上选取相应的点。在一些实施方式中，这些点是工具上的特殊标记或任何仪器上的可识别点，例如工具的尖端或支气管镜的尖端。在一些实施方式中，为了实现这一点，可以使用极线来找到点之间的对应关系。此外，在一些实施方式中，可以使用对极约束来过滤假阳性标记检测，并且还排除由于标记未检测而没有对应对的标记(参见图8)。
(极线与立体视觉的几何形状，计算几何的特殊区域有关)
在一些实施方式中，虚拟标记是在任何仪器上生成的，例如没有不透射线的可见标记的仪器。在一些实施方式中，通过以下步骤生成虚拟标记：(1)选择第一图像上的仪器上的任何点；(2)使用两个图像之间的已知几何关系来计算第二图像上的极线；(3)将极线与第二图像的已知或仪器轨迹相交，给出匹配的虚拟标记。
在一些实施方式中，本发明是一种方法，其包括：
获取来自第一成像模式的第一图像，
从来自第一成像模式的第一图像中提取至少一个元素，
其中至少一个元素包括气道、血管、体腔或其任意组合；
获取来自第二成像模式的至少一个或多个不同仪器位置的相同不透射线仪器位置的第二成像模式的两个不同姿态的至少两个图像，
其中所述不透射线仪器在患者的体腔中；
利用对应图像的姿态之间的相互几何约束，从参考坐标系中同一仪器位置的对应多个图像重建每个仪器的三维轨迹；
通过估计将不透射线仪器的位置的重建三维轨迹与从第一成像模式的图像提取的三维轨迹相匹配的变换来估计参考坐标系与第一成像模式的图像之间的变换；
生成第三图像；其中所述第三图像是从第二成像模式导出的增强图像，所述增强图像来源于在参考坐标系中具有已知姿态并突出显示关注区域，并且基于使用所述参考坐标系与所述第一成像模式的图像之间的变换从所述第一成像模式导出的数据。
在一些实施方式中，一种从多个不透射线仪器位置的不同姿态采集图像的方法包括：(1)将不透射线仪器定位在第一位置；(2)拍摄所述第二成像模式的图像；(3)改变所述第二模式成像设备的姿态；(4)拍摄所述第二成像形态的另一图像；(5)改变不透射线仪器位置；(6)进行步骤2，直到达到所需的独特的不透射线仪器位置数量。
在一些实施方式中，可以重构能够在源自成像设备的两个不同姿态的至少两个手术中图像上识别的任何元素的位置。当已知相对于第一成像模式的第一图像的第二成像模式的每个姿态时，可以从第一成像模式的图像显示元素相对于任何解剖结构的重构三维位置。作为这种技术应用的一个实例，可以是所部署的基准标记相对于目标的三维位置的确认。
在一些实施方式中，本发明是一种方法，其包括：
获取来自第一成像模式的第一图像，
从来自第一成像模式的第一图像至少一个元素，
其中至少一个元素包括气道、血管、体腔或其任意组合；
获取来自第二成像模式的至少(i)不透射线的基准的一个图像和(ii)处于第二成像模式的两个不同的姿态的不透射线的基准的另一个图像，
其中不透射线的基准的第一图像在第二成像模式的第一姿态下被捕获，
其中不透射线的基准的第二图像在第二成像模式的第二姿态下被捕获；
使用以下相互几何约束从成像设备的两个姿态重建不透射线的基准的三维位置：
(i)第二成像模式的第一姿态，和
(ii)第二成像模式的第二姿态，
基于来自第一成像模式的数据，生成示出基准相对于关注区域的相对三维位置的第三图像。
在一些实施方式中，从第一成像模式和第二成像模式中提取诸如肋骨、椎骨、隔膜或其任何组合的解剖元素。
在一些实施方式中，相互几何约束由以下步骤生成：
a.通过比较不透射线仪器的第一图像和不透射线仪器的第二图像，来估计(i)第一姿态和(ii)第二姿态之间的差异，
其中使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行所述估计，并且其中所述设备附着到所述第二成像模式；
b.提取多个图像特征以估计相对姿态变化，
其中所述多个图像特征包括解剖元素、非解剖元素或其任何组合，
其中所述图像特征包括：附着于患者的贴片、位于第二成像模式的视图中的不透射线的标记或其任何组合，
其中所述图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；
c.通过使用至少一个相机来估计(i)第一姿态和(ii)第二姿态之间的差异；
其中所述相机包括：摄像机、红外相机、深度相机或其任何组合，
其中所述相机位于固定位置，
其中所述相机被配置为跟踪至少一个特征，
其中所述至少一个特征包括：附着于所述患者的标记、附着于所述第二成像模式的标记或其任何组合，和
跟踪所述至少一个特征；
d.或其任何组合。
在一些实施方式中，该方法还包括跟踪不透射线仪器以识别轨迹并使用这种轨迹作为附加的几何约束，其中不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，本发明是一种用于识别患者体内的真实仪器位置的方法，包括：
使用从第一成像模式的第一图像生成的患者的至少一个体腔的图，
获取来自第二成像模式的所述不透射线仪器的图像，所述不透射线仪器具有附着于其上的至少两个标记，并且在所述至少两个标记之间具有限定的距离，
这可以从位于患者体内的至少两个不同体腔中的图像中观察到，
获取第二成像模式相对于图像的姿态，
从所述第二成像模式的第二图像上识别附着于不透射线仪器的第一标记的第一位置，
从所述第二成像模式的第二图像上识别附着于不透射线仪器的第二标记的第二位置，和
测量第一标记的第一位置和第二标记的第二位置之间的距离。
使用第二成像模式的姿态将标记之间的已知距离投影到不透射线仪器的每个感知位置上
将测量的距离与两个标记之间的每个投影距离进行比较，以识别仪器在身体内的真实位置。
在一些实施方式中，不透射线仪器包括内窥镜、支气管内工具或机械臂。
在一些实施方式中，该方法还包括：通过使用不透射线仪器的轨迹来识别不透射线仪器的深度。
在一些实施方式中，来自第一成像模式的第一图像是手术前图像。在一些实施方式中，来自第二成像模式的不透射线仪器的至少一个图像是手术中图像。
多视图姿态估计
美国专利第9,743,896号包括在内窥镜检查过程期间估计荧光镜设备相对于患者的姿态信息(例如位置、方向)的方法的描述，且其通过全文引用的方式并入本文。国际专利申请公开号WO/2016/067092也通过全文引用的方式并入本文。
本发明是一种方法，其包括从一组手术中图像提取的数据，其中以从成像设备获取的至少一个(例如1、2、3、4等)未知姿态来获取每个图像。这些图像被用作姿态估计方法的输入。作为示例性实施方式，图3、4、5是一组3个荧光图像的示例。图4和5中的图像是以相同的未知姿态获取的，而图3中的图像是以不同的未知姿态获取的。例如，该组可以包括或不包括与成像设备相关的另外的已知位置数据。例如，一组可以包括位置数据，例如C形臂位置和方向，其可以由荧光镜提供或者通过连接到荧光镜的测量设备(例如量角器、加速度计、陀螺仪等)获取。
在一些实施方式中，解剖元素是从另外的手术中图像中提取的，并且这些解剖元素意味着可以被引入到姿态估计方法中的几何约束。因而在使用姿态估计方法之前，可以减少从单个手术中图像中提取的元素数量。
在一些实施方式中，多视图姿态估计方法还包括将来自手术前形态的信息覆盖在手术中图像集合中的任何图像上。
在一些实施方式中，可以在美国专利第9,743,896号中找到在手术中图像上覆盖来自手术前形态的信息的描述，该专利通过全文引用的方式并入本文。
在一些实施方式中，多个第二成像模式允许改变荧光镜相对于患者的姿态(例如，但不限于，荧光镜臂的旋转或线性运动、患者床的旋转和运动、患者在床上的相对运动、或上述的任何组合)以获取多个图像，其中多个图像是从荧光光源的上述相对姿态获取的，作为患者和荧光光源之间的旋转和线性运动的任何组合。
虽然已经描述了本发明的多个实施方式，但是应当理解，这些实施方式仅仅是说明性的，而不是限制性的，并且许多修改对于本领域的普通技术人员来说是显而易见的。此外，各个步骤可以以任何期望的顺序进行(并且可以添加任何期望的步骤和/或减少任何期望的步骤)。
现在参考以下实施方式，其与以上描述一起以非限制性方式说明本发明的一些实施方式。
实例：微创性肺部手术
本发明的非限制性示例性实施方式可应用于微创性肺部手术，其中支气管内工具通过支气管镜的工作通道***到患者的支气管气道中(参见图6)。在开始诊断过程之前，医生执行设置过程，在该过程中，医生将导管放入关注区域周围的若干(例如2、3、4等)支气管气道中。内支气管导管的每个位置的荧光图像都被采集，如图2、3和4所示。在申请PCT/IB2015/000438中描述了用于执行手术中的荧光设备的姿态估计的导航***的示例，并且本发明的本方法使用所提取的元素(例如，但不限于，多个导管位置、肋骨解剖结构和患者的身体边界)。
在估计关注区域中的姿态之后，用于***支气管镜的路径可以在手术前成像模式上被识别，并且可以通过在手术中荧光镜图像上突出或覆盖来自手术前图像的信息来标记。在将内支气管导管导航到关注区域之后，医生可以旋转、改变缩放等级或移动荧光镜设备，以便例如验证导管位于关注区域中。通常，荧光设备的这种姿态改变，如图4所示，将使先前估计的姿态无效，并要求医生重复设置过程。然而，由于导管已经位于潜在的关注区域内，因此不需要执行重复的设置过程。
图4示出了本发明的示例性实施方式，示出了使用从图2和3提取的解剖元素估计的荧光镜角度的姿态(其中，例如，图2和3示出了从初始建立过程获取的图像以及从图像提取的附加解剖元素，诸如导管位置、肋骨解剖和身体边界)。姿态可以通过例如(1)移动荧光镜(例如，围绕c臂旋转头部),(2)向前或向后移动荧光镜，或可选地通过对象位置改变或通过两者的组合等来改变。此外，图2和图4之间的相互几何约束，例如与成像设备相关的位置数据，可以在估计过程中使用。
图1是本发明的示例性实施方式，并且示出了以下内容：
I.组件120使用自动或半自动分割过程或其任何组合从手术前图像(例如但不限于CT、磁共振成像(MRI)、正电子发射断层扫描-计算机断层扫描(PET-CT))提取三维解剖元素，例如支气管、肋骨、隔膜。自动或半自动分割过程的实例在AtillaP.Kiraly,WilliamE.Higgins,Geoffrey McLennan,Eric A.Hoffman,Joseph M.Reinhardt写的“用于临床虚拟支气管镜的三维人体气道分割方法”中有所描述，在此将其全文引入作为参考。
II.租件130从一组手术中图像(例如但不限于荧光图像、超声图像等)中提取二维解剖元素(其在图4中进一步示出，例如支气管410、肋骨420、身体边界430和隔膜)。
III.组件140计算手术中图像组中的每个图像子集之间的相互约束，例如相对角度差、相对姿态差、对极距离等。
在另一个实施方式中，该方法包括估计手术中图像组中的图像的每个子集之间的相互约束。这种方法的非限制性实例是：(1)使用连接到术中成像设备的测量设备来估计一对荧光镜图像的至少两个姿态之间的相对姿态变化。(2)图像特征的提取，诸如解剖元素或非解剖元素，包括但不限于附着到患者的贴片(例如ECG贴片)或位于术中成像设备的视图内的不透射线的标记，其在两个图像上都是可见的，并且使用这些特征来估计相对姿态变化。(3)使用一组相机，例如摄像机、红外相机、深度相机或它们的任意组合，其附着到手术室中的指定位置并跟踪特征，例如附着到患者的贴片或标记、附着到成像设备的标记等。通过跟踪这样的特征，组件可以估计成像设备的相对姿态变化。
IV.组件150将从手术前图像生成的三维元素与其从手术中图像生成的相应二维元素相匹配。例如，将从荧光图像提取的给定二维支气管气道与从CT图像提取的三维气道组进行匹配。
V.组件170估计用于期望的坐标系中的一组手术中图像中的每一个图像的姿态，例如手术前图像坐标系，与操作环境相关的，由其它成像或导航设备形成的坐标***等。
此组件的输入如下所示：
从患者手术前图像中提取的三维解剖元素。
从该组手术中图像中提取的二维解剖元素。如本文所述，所述组中的图像可源自相同或不同的成像设备姿态。
手术中图像集合中每一图像子集之间的相互约束。
组件170评估来自该组手术中图像的每个图像的姿态，使得：
二维提取的元素与对应的和投影的三维解剖元素相匹配。
相互约束条件140适用于所估计的姿态。
为了匹配投影的三维元素，将手术前图像溯源到手术中图像中对应的二维元素，需要诸如距离度量之类的相似性度量。这种距离度量提供了评估投影的三维元素与其对应的二维元素之间的距离的度量。例如，2条折线之间的欧几里德距离(例如，创建为单个对象的线段的连接序列)可以用作三维投影的支气管气道，溯源手术前图像到从手术中图像提取的二维气道之间的相似性度量。
另外，在本发明的方法的一个实施方式中，该方法包括通过识别优化相似性度量的这种姿态来估计与一组手术中图像相对应的姿态集合，只要满足来自手术中图像集合的图像子集之间的相互约束即可。相似性度量的优化可以被称为最小二乘问题，并且可以在几种方法中求解，例如，(1)使用公知的束调整算法，该算法实现用于姿态估计的迭代最小化方法，并且该算法的全部内容通过引用结合于此：B.Triggs；P.McLauchlan；R.Hartley；A.Fitzgibbon(1999)“捆绑调整-现代综合(Bundle Adjustment-A Modern Synthesis)”，ICCV'99：国际视觉算法研讨会，施普林格出版社，pp.298-372，和(2)使用网格搜索方法扫描参数空间以搜索优化相似性度量的最佳姿态。
标记
可以将不透射线的标记放置在医疗仪器上的预定位置，以便恢复关于仪器位置的三维信息。在手术中图像上可以将诸如支气管气道或血管等体腔的三维结构的若干路径投影成类似的二维曲线。例如在申请PCT/IB2015/000438中所示，利用标记获取的三维信息可以用于在这些路径之间进行区分。
在本发明的示例性实施方式中，如图5所示，仪器由术中设备成像并投影到成像平面505。由于两个路径都被投影到图像平面505上的相同曲线中，因此不知道仪器是否被放置在路径520或525内。为了区分路径520和525，可以使用至少两个附着在导管上的不透射线的标记，该标记之间具有预定的距离“m”。在图5中，在手术前图像上观察到的标记被命名为“G”和“F”。
520和525之间的区分过程可以如下进行：
(1)从对应气道520、525的潜在候选者的手术中图像投影点F以获取A和B点。
(2)从对应气道520、525的潜在候选者的手术中图像投影点G以获取点C和D。
(3)测量投影的标记对之间的距离|AC|和|BD|。
(4)将520上的距离|AC|和525上的距离|BD|与由工具制造商预定的距离m进行比较。根据距离相似性选择合适的气道。
跟踪镜
作为非限制性实例，在此公开了用荧光设备配准患者CT扫描的方法。该方法使用在荧光图像和CT扫描中都检测到的解剖元素作为姿态估计算法的输入，该姿态估计算法生成关于CT扫描的荧光设备姿态(例如方向和位置)。以下通过将对应于支气管内设备位置的三维空间轨迹添加到配准方法的输入来扩展该方法。这些轨迹可以通过几种方式来获取，例如：沿着镜连接位置传感器或通过使用机器内窥镜臂。这种内支气管设备现在将被称为跟踪镜。跟踪镜用于引导从跟踪镜延伸到目标区域的操作工具(参见图7)。诊断工具可以是导管、镊子、针等。下面描述如何使用由跟踪镜获取的位置度量来提高这里所示的配准方法的精度和稳健性。
在一个实施方式中，通过将跟踪镜定位在空间中的各个位置并应用标准姿态估计算法来实现跟踪镜轨迹和荧光设备的坐标系之间的配准。关于姿态估计算法的参考参见以下论文：F.Moreno-Noguer,V.Lepetit和P.Fua在论文“EPnP：有效透视n点摄像机姿态估计(EPnP:Efficient Perspective-n-Point Camera Pose Estimation)”中，其全部内容通过引用并入本文。
本文所公开的姿态估计方法通过以这样的方式估计姿态来执行，即CT扫描中的选定元素被投影到荧光图像中的其对应元素上。在本发明的一个实施方式中，添加***轨迹作为姿态估计方法的输入扩展了该方法。可以使用这里的方法将这些轨迹变换到荧光设备坐标系中。一旦变换到荧光设备坐标系，轨迹就用作姿态估计方法的附加约束条件，因为估计的姿态受到轨迹必须适合根据配准的CT扫描分割的支气管气道的条件的约束。
荧光设备估计位置可用于将解剖元素从术前CT投影到荧光实时视频，以便将操作工具引导到肺内的指定目标。这种解剖元素可以是，但不限于：目标损伤，到损伤的路径等。到目标损伤的投影路径仅向医生提供二维信息，导致深度歧义，也就是说，在CT上分割的几个气道可以对应于在二维荧光镜图像上的相同投影。在CT上正确识别放置操作工具的支气管气道是重要的。在此描述的用于减少这种歧义的一种方法是通过使用放置在提供深度信息的工具上的不透射线的标记来执行的。在本发明的另一个实施方式中，由于***在支气管气道内提供了三维位置，因此可以使用***来减少这种歧义。通过将这种方法应用到支气管树的分支，它允许消除潜在的歧义选项，直到图7上的跟踪镜尖端701。假设图7上的操作工具702没有三维轨迹，尽管工具的该部分702可能仍然发生上述的歧义，但是这种事件发生的可能性小得多。因此，本发明的该实施方式提高了这里描述的方法正确识别当前工具位置的能力。
数字计算机断层扫描(DCT)
在一些实施方式中，根据手术中图像的断层扫描重建可用于计算相对于参考坐标系的目标位置。这种参考坐标系的非限制性示例可以由具有已知几何形状的不透射线的标记的夹具来限定，从而允许计算每个手术中图像的相对姿态。在一些实施方式中，由于断层扫描重建的每个输入框架与参考坐标系具有已知的几何关系，目标的位置可以被定位在参考坐标系中。在一些实施方式中，这允许在更多的荧光镜图像上投影目标。在一些实施方式中，可以通过跟踪目标区域中的组织来补偿投影的目标位置的呼吸运动。在一些实施方式中，根据美国专利第9,743,896号中描述的示例性方法执行运动补偿，该专利的内容通过全文引用并入本文。
在一个实施方式中，一种使用基于C臂的CT和参考姿态设备在手术中图像上增强目标的方法，包括：收集与参考坐标系具有已知几何关系的多个手术中图像；重建三维体积；在重建的体积上标记目标区域；以及将目标投影到更多相对于参考坐标系具有已知几何关系的手术中图像上。
在其它实施方式中，断层扫描重建体积可以与术前CT体积配准。给定目标中心的已知位置，或在重建体积和术前体积中辅助目标的解剖结构(例如血管或支气管气道)，两个体积可以在初始时对准。在其它实施方式中，可以使用从两个体积中提取的肋骨来找到初始对准。为了找到体积之间的正确旋转，仪器的重建位置和轨迹可以与从CT提取的所有可能的气道轨迹相匹配。最佳匹配将定义体积之间最佳的相对旋转。
在其它实施方式中，由于荧光镜成像的质量有限、其它组织对关注区域的阻碍、操作环境的空间限制，只能从DCT重建部分信息。在这种情况下，可以在由术中成像重建的部分三维体积和术前CT之间识别相应的部分信息。可以将两个图像源融合在一起以形成统一的数据集。上述数据集可以用附加的手术中图像时时更新。
在其它实施方式中，可以将断层扫描重建的体积配准到径向支气管内超声(“REBUS”)重建的三维目标形状。
在一些实施方式中，一种使用断层扫描执行CT到荧光镜配准的方法，包括：在手术前图像上标记目标并提取支气管树；将内窥镜仪器定位在肺的目标叶内；在工具在内部且稳定的同时使用c臂进行断层扫描旋转；在重建体积上标记目标和仪器；通过目标位置或辅助解剖结构的位置对准术前和重建的体积；对于从CT提取的所有可能的气道轨迹，计算体积之间的最佳旋转，其最小化仪器的重构轨迹和每个气道轨迹之间的距离；选择最小距离对应的旋转；利用两个体积之间的对准，利用来自术前体积的解剖信息来增强重建的体积；在更多的手术中图像上突出显示目标区域。
在其它实施方式中，可以通过使用术前CT扫描的先前体积来增强数字断层合成的质量。给定手术中图像和术前CT扫描之间的已知粗略配准，可以从术前CT扫描的体积中提取相关的关注区域。对众所周知的重建算法添加约束可以显著改善重建图像质量，在此通过引用将其整体并入本文：Sechopoulos,Ioannis(2013)，“乳腺断层合成的研究进展，第II部分，图像重建，处理和分析，以及高级应用(A review of breast tomosynthesis.PartII.Image reconstruction,processing and analysis,and advanced applications)”，医学物理，40(1):014302。作为这种约束的一个例子，可以利用从术前CT提取的体积来初始化初始体积。
在一些实施方式中，一种使用术前CT扫描的先前体积来改进断层扫描重建的方法包括：执行手术中图像与术前CT扫描之间的配准；从术前CT扫描中提取关注区域的体积；将约束条件添加到公知的重构算法中；使用添加的约束重构图像。
等同物
本发明尤其提供了用于治疗轻度至中度急性疼痛和/或炎症的新方法和组合物。尽管已经讨论了本发明的具体实施方式，但是上述说明书是说明性的而不是限制性的。在阅读本说明书之后，本发明的许多变化对于本领域技术人员将是显而易见的。本发明的全部范围应当通过参考权利要求以及它们的等同物的全部范围和说明书以及这些变化来确定。
作为参考的引入
本文提及的所有出版物、专利和序列数据库条目通过引用以其整体并入本文，就好像每个单独的出版物或专利被具体地和单独地指示为通过引用并入本文。
虽然已经描述了本发明的多个实施方式，但是应当理解，这些实施方式仅仅是说明性的，而不是限制性的，并且许多修改对于本领域的普通技术人员来说是显而易见的。此外，各个步骤可以以任何期望的顺序进行(并且可以添加任何期望的步骤和/或可以减少任何期望的步骤)。

Claims (18)

1.一种方法，其特征在于，包括：
获取来自第一成像模式的第一图像，
从来自所述第一成像模式的所述第一图像中提取至少一个元素，
其中所述至少一个元素包括气道、血管、体腔或其任何组合；
获取来自第二成像模式的至少(i)处于第一姿态的不透射线仪器的第一图像和(ii)处于第二姿态的所述不透射线仪器的第二图像，
其中所述不透射线仪器在患者的体腔中；
生成至少两个增强支气管造影图像，
其中第一增强支气管造影图像对应于处于所述第一姿态的所述不透射线仪器的所述第一图像，和
其中第二增强支气管造影图像对应于处于所述第二姿态的所述不透射线仪器的所述第二图像，
确定以下两者之间的相互几何约束：
(i)所述不透射线仪器的所述第一姿态，和
(ii)所述不透射线仪器的所述第二姿态，
通过将所述不透射线仪器的所述第一姿态和所述不透射线仪器的所述第二姿态与所述第一成像模式的所述第一图像进行比较，来估计所述不透射线仪器的所述第一姿态和所述不透射线仪器的所述第二姿态，
其中使用以下步骤进行比较：
(i)所述第一增强支气管造影图像，
(ii)所述第二增强支气管造影图像，和
(iii)所述至少一个元素，和
其中所述不透射线仪器的估计的所述第一姿态和所述不透射线仪器的估计的所述第二姿态满足确定的所述相互几何约束，
生成第三图像；其中所述第三图像是从所述第二成像模式导出的增强图像，所述增强图像突出显示关注区域，
其中所述关注区域是通过来自所述第一成像模式的数据确定的。
2.根据权利要求1所述的方法，其特征在于，来自所述第一成像模式的所述第一图像的所述至少一个元素进一步包括肋骨、椎骨、隔膜或其任何组合。
3.根据权利要求1所述的方法，其特征在于，所述相互几何约束是通过以下步骤生成的：
a.通过比较所述不透射线仪器的所述第一图像和所述不透射线仪器的所述第二图像，来估计(i)所述第一姿态和(ii)所述第二姿态之间的差异，
其中使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行估计，并且其中所述设备附着到所述第二成像模式；
b.提取多个图像特征以估计相对姿态变化，
其中所述多个图像特征包括解剖元素、非解剖元素或其任何组合，
其中所述图像特征包括：附着于患者的贴片、位于所述第二成像模式的视图中的不透射线的标记、或其任何组合，
其中所述图像特征在所述不透射线仪器的所述第一图像和所述不透射线仪器的所述第二图像上是可见的；
c.通过使用至少一个相机来估计(i)所述第一姿态和(ii)所述第二姿态之间的差异，
其中所述相机包括：摄像机、红外相机、深度相机或其任何组合，
其中所述相机位于固定位置，
其中所述相机被配置为跟踪至少一个特征，
其中所述至少一个特征包括：附着于所述患者的标记、附着于所述第二成像模式的标记、或其任何组合，和
跟踪所述至少一个特征；
d.或其任何组合。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：跟踪所述不透射线仪器，用于：识别轨迹，以及使用所述轨迹作为进一步的几何约束，其中所述不透射线仪器包括内窥镜、支气管内工具或机械臂。
5.一种方法，其特征在于，包括：
生成患者的至少一个体腔的图，
其中使用来自第一成像模式的第一图像来生成所述图，
获取来自第二成像模式的包括至少两个附着的标记的不透射线仪器的图像，
其中所述至少两个附着的标记以已知的距离分开，
识别来自所述第二成像模式的所述不透射线仪器相对于所述患者的至少一个体腔的图的姿态，
在来自所述第二成像模式的所述第二图像上识别附着于所述不透射线仪器的所述第一标记的第一位置，
在来自所述第二成像模式的所述第二图像上识别附着于所述不透射线仪器的所述第二标记的第二位置，和
测量所述第一标记的所述第一位置与所述第二标记的所述第二位置之间的距离，
投影所述第一标记和所述第二标记之间的所述已知距离，
将测量的所述距离与所述第一标记和所述第二标记之间的投影的所述已知距离进行比较，以识别所述不透射线仪器在所述患者的所述至少一个体腔内的特定位置。
6.根据权利要求5所述的方法，其特征在于，所述不透射线仪器包括内窥镜、支气管内工具或机械臂。
7.根据权利要求5所述的方法，其特征在于，还包括通过使用所述不透射线仪器的轨迹来识别所述不透射线仪器的深度。
8.根据权利要求5所述的方法，其特征在于，来自所述第一成像模式的所述第一图像是手术前图像。
9.根据权利要求5所述的方法，其特征在于，来自所述第二成像模式的所述不透射线仪器的所述至少一个图像是手术中图像。
10.一种方法，其特征在于，包括：
获取来自第一成像模式的第一图像，
从来自所述第一成像模式的所述第一图像中提取至少一个元素，
其中所述至少一个元素包括气道、血管、体腔或其任何组合；
获取来自第二成像模式的至少(i)不透射线仪器的一个图像和(ii)处于第二成像模式的两个不同的姿态下的所述不透射线仪器的另一个图像，
其中所述不透射线仪器的所述第一图像在第二成像模式的第一姿态下被捕获，
其中所述不透射线仪器的所述第二图像在第二成像模式的第二姿态下被捕获，和
其中所述不透射线仪器在患者的体腔中；
生成与所述成像设备的两个姿态中的每一个相对应的至少两个增强支气管造影图像，其中第一增强支气管造影图像是从所述不透射线仪器的所述第一图像导出的，
并且第二增强支气管造影图像是从所述不透射线仪器的所述第二图像导出的，
确定以下两者之间的相互几何约束：
(i)所述第二成像模式的所述第一姿态，和
(ii)所述第二成像模式的所述第二姿态，
使用对应的所述增强支气管造影图像和从所述第一成像模式的所述第一图像提取的至少一个元素，相对于所述第一成像模式的所述第一图像估计所述第二成像模式的所述两个姿态；
其中估计的所述两个姿态满足所述相互几何约束，
生成第三图像；其中，所述第三图像是从所述第二成像模式导出的增强图像，所述增强图像基于来自所述第一成像模式的数据来突出显示所述关注区域。
11.根据权利要求10所述的方法，其特征在于，从所述第一成像模式和所述第二成像模式中提取诸如肋骨、椎骨、隔膜或其任何组合的解剖元素。
12.根据权利要求10所述的方法，其特征在于，所述相互几何约束是通过以下步骤生成的：
a.通过比较所述不透射线仪器的所述第一图像和所述不透射线仪器的所述第二图像，来估计(i)所述第一姿态和(ii)所述第二姿态之间的差异，
其中使用包括量角器、加速度计、陀螺仪或其任何组合的设备来执行估计，并且其中所述设备附着到所述第二成像模式；
b.提取多个图像特征以估计相对姿态变化，
其中所述多个图像特征包括解剖元素、非解剖元素或其任何组合，
其中所述图像特征包括：附着于患者的贴片、位于所述第二成像模式的视图中的不透射线的标记，或其任何组合，
其中所述图像特征在所述不透射线仪器的所述第一图像和所述不透射线仪器的所述第二图像上是可见的；
c.通过使用至少一个相机来估计(i)所述第一姿态和(ii)所述第二姿态之间的差异，
其中所述相机包括：摄像机、红外相机、深度相机或其任何组合，
其中所述相机位于固定位置，
其中所述相机被配置为跟踪至少一个特征，
其中所述至少一个特征包括：附着于所述患者的标记、附着于所述第二成像模式的标记、或其任何组合，和
跟踪所述至少一个特征；
d.或其任何组合。
13.根据权利要求10所述的方法，其特征在于，还包括跟踪所述不透射线仪器以识别轨迹并使用所述轨迹作为附加几何约束，其中所述不透射线仪器包括内窥镜、支气管内工具或机械臂。
14.一种识别患者体内的真实仪器位置的方法，其特征在于，包括：
使用从第一成像模式的第一图像生成的患者的至少一个体腔的图，
获取来自第二成像模式的不透射线仪器的图像，所述不透射线仪器具有附着于其上的至少两个标记，并且所述至少两个标记之间具有限定的距离，这可以从位于所述患者体内的至少两个不同体腔中的所述图像中感知到，
获取所述第二成像模式相对于所述图的姿态，
在来自所述第二成像模式的所述第二图像上识别附着于所述不透射线仪器的第一标记的第一位置，
在来自所述第二成像模式的所述第二图像上识别附着于所述不透射线仪器的第二标记的第二位置，和
测量所述第一标记的所述第一位置和所述第二标记的所述第二位置之间的距离，
使用所述第二成像模式的所述姿态，将标记之间的所述已知距离投影到所述不透射线仪器的每个所述感知位置上，
将测量的所述距离与所述两个标记之间的每个投影距离进行比较，以识别所述体内的所述真实仪器位置。
15.根据权利要求14所述的方法，其特征在于，所述不透射线仪器包括内窥镜、支气管内工具或机械臂。
16.根据权利要求14所述的方法，还包括：通过使用所述不透射线仪器的轨迹来识别所述不透射线仪器的深度。
17.根据权利要求14所述的方法，其特征在于，来自所述第一成像模式的所述第一图像是手术前图像。
18.根据权利要求14所述的方法，其特征在于，来自所述第二成像模式的所述不透射线仪器的所述至少一个图像是手术中图像。
CN201980056288.5A 2018-08-13 2019-08-13 使用数字计算机断层扫描的多视图姿态估计的方法和*** Pending CN113164149A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862718346P 2018-08-13 2018-08-13
US62/718,346 2018-08-13
PCT/IB2019/000908 WO2020035730A2 (en) 2018-08-13 2019-08-13 Methods and systems for multi view pose estimation using digital computational tomography

Publications (1)

Publication Number Publication Date
CN113164149A true CN113164149A (zh) 2021-07-23

Family

ID=69405296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056288.5A Pending CN113164149A (zh) 2018-08-13 2019-08-13 使用数字计算机断层扫描的多视图姿态估计的方法和***

Country Status (7)

Country Link
US (1) US20200046436A1 (zh)
EP (1) EP3836839A4 (zh)
JP (2) JP2021533906A (zh)
CN (1) CN113164149A (zh)
AU (1) AU2019322080A1 (zh)
CA (1) CA3109584A1 (zh)
WO (1) WO2020035730A2 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
CN111481292A (zh) * 2014-01-06 2020-08-04 博迪维仁医疗有限公司 手术装置及其使用方法
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
CN111163697B (zh) 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的***和方法
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
EP3659514A1 (en) * 2018-11-29 2020-06-03 Koninklijke Philips N.V. Image-based device identification and localization
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11717173B2 (en) 2020-04-16 2023-08-08 Warsaw Orthopedic, Inc. Device for mapping a sensor's baseline coordinate reference frames to anatomical landmarks
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
US20220319031A1 (en) * 2021-03-31 2022-10-06 Auris Health, Inc. Vision-based 6dof camera pose estimation in bronchoscopy
US11457883B1 (en) 2021-04-09 2022-10-04 Pulmera, Inc. Medical imaging systems and associated devices and methods
WO2023153144A1 (ja) * 2022-02-08 2023-08-17 株式会社島津製作所 Ｘ線撮影システム、および、デバイス表示方法
US11816768B1 (en) 2022-12-06 2023-11-14 Body Vision Medical Ltd. System and method for medical imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582453A (zh) * 2011-04-01 2014-02-12 皇家飞利浦有限公司 X射线姿态恢复
WO2015101948A2 (en) * 2014-01-06 2015-07-09 Body Vision Medical Ltd. Surgical devices and methods of use thereof
CN107072736A (zh) * 2014-10-31 2017-08-18 柯惠有限合伙公司 计算机断层扫描增强的荧光透视***、装置及其使用方法
US20170258418A1 (en) * 2016-03-10 2017-09-14 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
CN102858229B (zh) * 2010-02-18 2015-11-25 皇家飞利浦电子股份有限公司 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的***和方法
EP3531918A4 (en) * 2016-10-31 2020-09-16 Body Vision Medical Ltd. DEVICES FOR USE IN MEDICAL IMAGING AND METHODS OF USING THEREOF

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582453A (zh) * 2011-04-01 2014-02-12 皇家飞利浦有限公司 X射线姿态恢复
WO2015101948A2 (en) * 2014-01-06 2015-07-09 Body Vision Medical Ltd. Surgical devices and methods of use thereof
CN107072736A (zh) * 2014-10-31 2017-08-18 柯惠有限合伙公司 计算机断层扫描增强的荧光透视***、装置及其使用方法
US20170258418A1 (en) * 2016-03-10 2017-09-14 Body Vision Medical Ltd. Methods and systems for using multi view pose estimation

Also Published As

Publication number Publication date
WO2020035730A2 (en) 2020-02-20
AU2019322080A1 (en) 2021-03-11
WO2020035730A3 (en) 2020-05-07
EP3836839A2 (en) 2021-06-23
JP2023181259A (ja) 2023-12-21
CA3109584A1 (en) 2020-02-20
EP3836839A4 (en) 2022-08-17
JP2021533906A (ja) 2021-12-09
US20200046436A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US11350893B2 (en) Methods and systems for using multi view pose estimation
CN113164149A (zh) 使用数字计算机断层扫描的多视图姿态估计的方法和***
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN110381841B (zh) 用于医疗成像的夹具及其使用方法
CN110123449B (zh) 使用标准荧光镜进行局部三维体积重建的***和方法
WO2015101948A2 (en) Surgical devices and methods of use thereof
US20230030343A1 (en) Methods and systems for using multi view pose estimation
US20240138783A1 (en) Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination