CN110461268A - 医疗用途的放大的高分辨率成像和跟踪 - Google Patents

医疗用途的放大的高分辨率成像和跟踪 Download PDF

Info

Publication number
CN110461268A
CN110461268A CN201880017265.9A CN201880017265A CN110461268A CN 110461268 A CN110461268 A CN 110461268A CN 201880017265 A CN201880017265 A CN 201880017265A CN 110461268 A CN110461268 A CN 110461268A
Authority
CN
China
Prior art keywords
region
tracking
tool
image
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880017265.9A
Other languages
English (en)
Other versions
CN110461268B (zh
Inventor
伦·施奈德
亚伯拉罕·泽图尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Publication of CN110461268A publication Critical patent/CN110461268A/zh
Application granted granted Critical
Publication of CN110461268B publication Critical patent/CN110461268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

提供了成像***和方法，其实现用于医疗手术的区域的宽场成像，并提供对整个区域中的工具和组织的跟踪，同时提供捕获区域的一部分的数字放大图像。光学跟踪可以通过立体成像来实现，并且可以光学跟踪各种要素，如各种标记和基准点，以及通过图像处理可光学识别的某些形状和物体。

Description

医疗用途的放大的高分辨率成像和跟踪
发明背景
1.技术领域
本发明涉及宽视场超高分辨率放大数字成像领域，以用于医疗目的，且更具体地，用于基于超高分辨率图像提供光学跟踪。
2.相关技术的讨论
WIPO公布第2014037953号公开了一种用于外科手术的视频捕获和显示的***，其全部内容通过引用并入本文，该***可以包括：至少一个数字图像传感器，其光学耦合到一个或更多个透镜，并且被配置成捕获外科手术中场景的视频序列；至少一个接口，其被配置成接收捕获的视频序列的至少一个感兴趣区域(ROI)；电子显示器，其被选择为使得至少一个数字图像传感器具有显著大于电子显示器的像素分辨率的像素分辨率；以及计算机处理器，其被配置成：接收至少一个捕获的视频序列和至少一个接收的ROI，并且基于至少一个选择的ROI在至少一个电子显示器上显示所捕获的视频序列的一部分。
发明概述
以下是提供对本发明的初步理解的简要概述。该概述不一定标识关键要素，也不限制本发明的范围，而是仅作为对以下描述的介绍。
本发明的一个方面提供了一种方法，包括：捕获治疗区域的可见光谱带/范围中的高分辨率数字图像，至少一个要素，如工具，在该治疗区域上操作，显示从捕获的图像导出的治疗区域的数字放大区，并且跟踪在捕获的图像中可见的至少一个工具的位置和方向(P&O)，并且工具的跟踪机制基于捕获的图像，其中显示器的分辨率小于捕获的高分辨率图像，并且其中至少在放大区之外执行跟踪。
本发明的这些、另外的和/或其它方面和/或优点在下面的详细描述中阐述；从详细描述中是可以推断出的；和/或通过本发明的实践是可以知悉的。
附图简述
为更好地理解本发明的实施例，并显示本发明的实施例如何可以付诸实施，现在将仅以举例的方式参照附图，整个附图中类似的标号表示相应的要素或部分。
在附图中：
图1和图2A是根据本发明一些实施例的成像***的高层次示意框图。
图2B示出了根据本发明一些实施例的光学单元的性能的非限制性示例。
图3是示出根据本发明一些实施例的方法的高层次流程图。
发明的详细描述
在下面的描述中，描述了本发明的各个方面。为了解释的目的，阐述了具体配置和细节以便提供对本发明的透彻理解。然而，对本领域中的技术人员也将明显的是，本公开可以在没有本文中所提出的具体细节的情况下实践。此外，为了不模糊本发明，众所周知的特征可以被省略或简化。参考附图，要强调的是，所示的细节是通过举例的方式且仅仅是出于对本发明的说明性讨论的目的，并为了提供认为是本发明的原理和概念方面的最有用和容易理解的描述而呈现。在这点上，没有试图以比对本发明的基本理解所必须的细节更多的细节来显示本发明的结构细节，结合附图的描述使得本领域技术人员明白，如何在实践中实施本发明的几种形式。
在详细说明本发明的至少一个实施方案之前，应当理解本发明在其应用中不限于在下面描述中阐述的和在附图中示出的结构的细节和部件的布置。本发明适用于可以以各种方式实践或执行的其他实施例以及所公开的实施例的组合。并且，应理解本文采用的措辞和术语是出于描述的目的而不应被看作是限制性的。
除非另有特别规定，如从下面的讨论明显的，应认识到，在整个说明书中，利用术语例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”等的讨论是指计算机或计算***或类似的电子计算设备的动作和/或过程，这些设备操作被表示为在计算***的寄存器和/或存储器内的物理量例如电子量的数据和/或将表示为在计算***的寄存器和/或存储器内的物理量例如电子量的数据转换成类似地被表示为在计算***的存储器、寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。任何所公开的模块或单元可以至少部分地由计算机处理器实现。
本发明的实施例提供了精确、有效和经济的方法和机制，用于通过成像***在操作过程中跟踪工具和组织，该成像***用于数字地放大操作区域。提供了成像***和方法，其实现用于医疗手术的高分辨率视频成像，通过剪切小于整个图像FOV(视场)的ROI(感兴趣区域)并调整其大小以适合显示器来实现图像的数字放大，同时当工具和/或组织在整个治疗区域高分辨率成像的FOV中可见时跟踪工具和/或组织，即使该工具和/或组织在ROI中不可见。工具和组织的光学跟踪可以通过工具和组织的立体成像或者通过结构光、飞行时间等的方法来实现。被跟踪的要素可以是各种标记和基准点，以及在图像中是可光学识别的并使用图像处理技术跟踪的某些特征、颜色、形状和物体。
图1是根据本发明一些实施例的成像***100的高层次示意框图。成像***100包括光学单元110，该光学单元110被配置成捕获治疗区域91的可见光谱范围内的数字图像110A，至少一个工具70(作为被跟踪要素的非限制性示例，其也可以包括任何物体或组织部分)在该治疗区域91上操作；图像处理单元120，其被配置成从由光学单元110捕获的图像110A中数字地放大治疗区域91中的区92(ROI)，并且在显示器125上显示数字放大区112；以及跟踪单元130，其被配置成使用捕获的图像110A来跟踪治疗区域91中的至少一个工具70的位置和方向(P&O)。
图像以高分辨率被捕获，其明显高于用于显示数字放大区112的显示器125的分辨率。例如，捕获的高分辨率可以是9,000·7,000像素(水平和垂直值)，而数字放大后的值可以小于4,500·2,500像素(例如，由于显示器尺寸)。对于被放大的分辨率的显示，成像***100可以执行大小调整以适应显示器分辨率。在某些实施例中，高分辨率图像可以以低于4,500·2,500像素的分辨率被捕获，并且显示器分辨率可以至多为2,000·2,000像素。显示器分辨率与捕获分辨率的比率可以是小于1：1的任何比率。显示器可以是任何类型的显示器，例如，任何类型的屏幕或投影***、任何类型的头戴式显示器等。
图像112通过使用从区域91的高分辨率图像中剪切出的ROI来生成(全高分辨率图像示意性地显示为由虚线表示的图像111，因为其范围超过显示器的尺寸，以及因此不能以其全分辨率显示)。工具70和区域91中任何其他要素(如物体、颗粒和可能的组织)的跟踪在放大区92之外(通常也在放大区92之内)执行，并且提供超出所显示的放大区112的跟踪数据，即，与表示整个治疗区域91的区111相关的跟踪数据。因此，使用单个成像传感器，基于相同的捕获图像执行数字放大和光学跟踪。例如，成像***100可以被配置成提供小于捕获的治疗区域91的三分之一的数字放大区92，在区域91的其余部分中执行跟踪。成像***100的扩展跟踪可以使附加的跟踪***冗余，并且也通过使用相同的成像***100进行跟踪来提高跟踪精度和简单性。
光学单元110和捕获的图像110A可以是立体的，并且可以根据立体3D(三维)图像信息来执行跟踪。数字图像可以包括从立体成像、结构光成像和/或飞行时间成像导出的深度和/或3D数据。
工具70可以包括基准点71，并且P&O跟踪可以相对于工具基准点71来执行。替代地或补充地，P&O跟踪可以相对于工具70的各种特性来执行，例如形状、颜色、特定子要素等。治疗区域91可以包括组织标记(或可能的基准点)81，并且跟踪单元130还可以被配置成使用捕获的图像110A来跟踪治疗区域91中的组织标记81。替代地或补充地，P&O跟踪可以相对于治疗区域91的各种特性来执行，例如形状、颜色、特定子要素等。基准点71和标记81可以是本领域中使用的任何类型。由于跟踪基于光学成像，因此组织部分和/或工具部分的形状可以用于跟踪，而不需要基准点71和/或标记81，或者使用比仅基于这些来跟踪时所需的更少的基准点71和/或标记81。例如，特定的组织特征(例如，血管、某些组织类型、组织生长等)和/或特定的工具特征(例如，刀片或手柄部分)可被识别为具有足够明显的形状，以实现有效的光学跟踪，并且可用于实现组织和/或工具跟踪。跟踪单元130可以被配置成选择和优化跟踪目标并提供相应的数据。
成像***100可以被配置成提供关于工具70的被跟踪的P&O的数据，如工具70和/或工具部分与特定组织、其他工具70、外科医生的手指等之间的距离和相对位置。成像***100可以被配置成提供对应于某些情况的警报和/或指导，如工具的刀片接近不打算在特定手术中被切割的某些组织、消融激光器作为工具70(其可能对组织造成不希望的损伤)的定向等。成像***100可以被配置成提供指导数据，用于帮助外科医生到达期望的组织并驱动工具通过期望的路径。成像***100可以被配置成提供关于工具70的被跟踪的P&O和治疗区域91之间的特定空间关系的警报和/或指导。
成像***100还可以包括具有更宽视场的附加的较低分辨率摄像机，其被配置成捕获包围区域91的区域的图像，以提供在放大***的工作FOV之外和周围的粗略的跟踪数据。
图2A是根据本发明一些实施例的成像***100的高层次示意框图。光学单元110可以包括用于捕获图像110A的多个摄像机115、117，如高分辨率摄像机115(具有相应的FOV115A)，其图像区域91(并且可以扩大区域91内的ROI 92)和覆盖更大区域93的宽FOV摄像机117(具有比FOV 115A更宽的相应FOV 117A)，这提供了复合图像116，该复合图像116由被高分辨率摄像机115捕获的图像111和被宽FOV摄像机117捕获的图像113组成。图像111、113之间的重叠区域可用于校准图像参数和/或被处理以提供图像116中的图像111、113之间的连续过渡(transition)。
图像111、113被示意性地指示为分别具有尺寸a1·a2和b1·b2，例如，a1和a2可以在1-10cm之间，以及b1和b2可以在10-100cm之间。由D表示的光学单元110的典型工作距离可以在10-100cm之间的范围内。
例如，图2B示出了根据本发明一些实施例的光学单元110的性能的非限制性示例。使用的尺寸为：D大约50cm，a1和a2大约8cm，b1大约35cm，并且b2大约45cm。图2B示出了基本特征(ground signatures)(例如，a1、a2、b1和b2)和深度精度(在非限制性示例中，宽FOV摄像机117在0.3-0.4mm的范围内，以及窄FOV摄像机115在0.035-0.045mm的范围内)的变化。
在某些实施例中，跟踪(例如，通过任何3D跟踪方法)也可以相对于区域93实现，并且图像111、113之间的重叠区域可以用于切换(handover)和/或校准跟踪单元130和在区域93中操作的***之间的跟踪。在某些实施例中，跟踪单元130还可以被配置成通过宽FOV摄像机117也跟踪区域93。
例如，高分辨率摄像机115可以是视频显微镜的一部分，并且宽FOV摄像机117可以在可见光范围和/或近红外范围内操作。图像处理单元120可以被配置成在显示器125上显示高分辨率摄像机115的图像111，可能具有覆盖在其上的数据，例如来自CT(计算机断层扫描)、MRI(磁共振成像)等的数据。在某些实施例中，关于区116中的任何特征而增强的任何数据可以投影在显示器125上。根据跟踪单元130的跟踪数据，可以提供关于要覆盖数据的哪个部分以及在什么坐标中的信息。例如，成像的肿瘤或脊柱的2D或3D MRI图像可以利用跟踪单元130的跟踪数据以高位置精度分别覆盖在由宽FOV摄像机117和窄FOV摄像机115获取的图像116上。在一些情况下，标记/基准点81可以在区91之外，以及在区93之内。在这些情况下，摄像机117可以被配置成捕获标记81的图像，用于跟踪区和/或组织，而摄像机115可以被配置成捕获工具70或标记71的图像，用于跟踪工具70。
在一些实施例中，***100可以被配置成使用来自使用摄像机115和/或摄像机117的跟踪数据。在来自两个源的跟踪数据都可用的区中，可以通过比较来自源的数据来改进跟踪数据，例如通过插值或任何其他混合方法，从而改进跟踪。在某些实施例中，更精确的数据(或来自一个源的数据)可以用于跟踪，而不太精确的数据(或来自第二个源的数据)可以用于降低***结果中的噪声、为了安全而双重检查跟踪结果和/或用于任何其他目的。在区116和区111之间的过渡中，跟踪数据可以使用来自摄像机115和摄像机117的数据进行插值，随着跟踪区朝向区111的中心，摄像机117的权重可能减小。在某些实施例中，摄像机117的权重可以在到达区111的中心之前被设置为零。
图3是示出根据本发明一些实施例的方法200的高层次流程图。方法步骤可以相对于上述***100来执行，***100可以可选地被配置成实现方法200。方法200可以至少部分地由至少一个计算机处理器实现。某些实施例包括计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有嵌入其中并且被配置成执行方法200的相关步骤的计算机可读程序。方法200可以包括用于操作成像***100的步骤，如以下任何步骤，而不管它们的顺序如何。
方法200可以包括：捕获治疗区域(至少一个工具在该治疗区域上操作)的可见光谱范围中的高分辨率数字图像(步骤210)，显示从捕获的图像导出的治疗区域的数字放大区(步骤220)，以及使用捕获的图像跟踪治疗区域中至少一个工具的位置和方向(P&O)(步骤230)，其中跟踪至少在放大区之外执行(步骤235)。显示器的分辨率小于捕获高分辨率，例如，数字放大区可以比捕获的治疗区域小任意倍(例如，1.5、2、3、5以及更高)，并且跟踪230可以在整个治疗区域上执行。
方法200可以包括使用捕获的图像来跟踪工具基准点和/或工具部分的形状(步骤232)。方法200可以包括跟踪治疗区域中的组织标记和/或组织部分的形状(步骤234)。
方法200可以包括使用立体或结构光数字图像进行跟踪(步骤240)。任何类型的深度数据或3D信息，例如，从立体成像、结构光成像和/或飞行时间成像导出的深度数据或3D信息，都可以并入数字图像中，
方法200可以包括提供关于工具的被跟踪的P&O的数据(步骤250)，并且可能提供关于工具的被跟踪的P&O和治疗区域之间的空间关系的警报和/或指导(步骤255)。
方法200可以包括通过宽FOV(视场)摄像机捕获包围数字放大区的区(步骤260)，并提供包括数字放大区和捕获的包围区的图像(步骤265)。方法200还可以包括用外部成像数据来增强所提供的图像(步骤270)，并且可选地通过根据被跟踪的P&O调节外部成像数据的显示位置来补偿相对于外部成像数据的时间延迟(步骤275)。
成像***100和方法200可以在诸如WIPO公布第2014/037953号中描述的***和方法中实现，并且可以结合WIPO公布第201403795号中描述的要素。
本发明的各个方面在上面参考根据本发明实施例的方法、装置(***)和计算机程序产品的流程图说明和/或部分图示进行了描述。将理解的是，可通过计算机程序指令实施流程图说明和/或部分图示的每个部分，以及流程图说明和/或部分图示的部分的组合。这些计算机程序指令可被提供到通用计算机的、专用计算机的或用于生产机器的其他可编程数据处理装置的处理器，使得经由计算机的或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图中和/或在部分图示或其部分中所指定的功能/动作的方法。
这些计算机程序指令还可存储在计算机可读介质中，所述计算机可读介质可指导计算机、其他可编程数据处理装置或其他设备以特定方式起作用，以使存储在计算机可读介质中的指令产生制品，其包括实施流程图和/或部分图示的一个或更多个部分中所指定的功能/动作的指令。
计算机程序指令还可被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实现的过程，使得在计算机、其他可编程装置上执行的指令提供用于实施流程图和/或部分图示中的一个或更多个部分中指定的功能/动作的过程。
以上提到的流程图和图示示出了根据本发明的各种实施例的***、方法和计算机程序产品的可能的实施的架构、功能和操作。就这点而言，在流程图或部分图示中的每个部分可代表模块、程序段或代码的部分，该模块、程序段或代码的部分包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意，在某些可选择的实施方式中，在部分中提到的功能可以不以图中提到的顺序发生。例如，连续地显示的两个部分事实上可以基本上同时执行，或者多个部分有时可以以相反的顺序执行，这取决于所涉及的功能。还应当注意的是，部分图示和/或流程图说明中的每个部分以及部分图示和/或流程图说明中的部分的组合可以由执行指定功能或动作的基于专用硬件的***、或专用硬件和计算机指令的组合来实施。
在上述描述中，实施例是本发明的例子或实现方式。“一个(one)实施方案”、“一个(an)实施方案”、“某些实施方案”或“一些实施方案”的各个出现不一定全部是指相同的实施方案。尽管本发明的各种特征可能在单个实施例的背景下进行描述，但这些特征也可以单独地或以任何合适的组合被提供。相反，尽管为了清楚起见，本发明可能在本文中在分开的实施例的背景下进行描述，但本发明也可以在单个实施例中实现。本发明的某些实施方案可以包括来自上述公开的不同实施方案的特征，并且，某些实施方案可以并入来自上述公开的其它实施方案的要素。本发明在特定实施例的背景下对要素的公开不应被理解为将其使用限制在单独的特定实施例中。而且，应当理解，本发明可以以各种方式完成或实践，并且，本发明可以在不同于上述描述中阐述的实施方案的某些实施方案中实现。
本发明并不限于这些图或相应的描述。例如，流程不需要移动经过每个示出的框或状态，或按照与图示和描述完全相同的顺序移动。本文使用的技术和科学术语的含义是如本发明所属领域的普通技术人员通常理解的含义，除非另有规定。虽然本发明关于有限数量的实施方案进行了描述，但是这些不应被解释为对本发明的范围的限制，而是应作为一些优选实施方案的示例。其他可能的变化、修改和应用也落入本发明的范围内。相应地，本发明的范围不应被迄今为止已经描述的内容限定，而是由所附的权利要求及其法律等效物限定。

Claims (22)

1.一种方法，包括：
捕获治疗区域的可见光谱带中的高分辨率数字图像，至少一个要素在所述治疗区域上操作，
显示从所捕获的图像导出的所述治疗区域的数字放大区，以及
使用所捕获的图像跟踪所述治疗区域中所述至少一个要素的位置和方向(P&O)，
其中，显示器的分辨率小于所捕获的图像的分辨率，并且
其中，所述跟踪至少在所述放大区之外执行。
2.根据权利要求1所述的方法，其中，所捕获的高分辨率图像在其较大维度上至少为4,000像素，并且显示器分辨率在其较大维度上至多为2,000像素。
3.根据权利要求1所述的方法，其中，所述显示在头戴式显示器上进行。
4.根据权利要求1所述的方法，其中，所述数字图像包括从以下中的至少一项中导出的深度数据：立体成像，结构光成像，和飞行时间成像。
5.根据权利要求1所述的方法，其中，所述至少一个要素包括至少一个工具。
6.根据权利要求5所述的方法，其中，所述至少一个工具包括至少一个基准点，并且其中所述跟踪相对于所述至少一个基准点来进行。
7.根据权利要求5所述的方法，还包括提供关于所述至少一个工具的被跟踪的P&O和所述治疗区域之间的空间关系的警报或指导。
8.根据权利要求1所述的方法，其中，所述治疗区域包括组织标记，并且所述方法还包括使用所捕获的图像跟踪所述治疗区域中的组织标记。
9.根据权利要求1所述的方法，还包括使用宽FOV(视场)摄像机附加地捕获包围并包含所述数字放大区的区，并且使用附加捕获数据用于所述跟踪。
10.根据权利要求9所述的方法，其中，所述宽FOV摄像机在近红外中操作。
11.根据权利要求9所述的方法，还包括使用外部成像数据增强图像。
12.根据权利要求11所述的方法，还包括通过根据被跟踪的P&O调节所述外部成像数据的显示位置来补偿相对于所述外部成像数据的时间延迟。
13.一种成像***，包括：
光学单元，其被配置成捕获治疗区域的可见光谱带中的高分辨率数字图像，至少一个工具在所述治疗区域上操作，
图像处理单元，其被配置成从所述光学单元捕获的图像中数字地放大所述治疗区域中的区，并且在显示器上显示数字放大区，其中所述显示器的分辨率小于捕获高分辨率，以及
跟踪单元，其被配置成使用所捕获的图像来跟踪所述至少一个工具在所述治疗区域中的位置和方向(P&O)，其中所述跟踪至少在所述放大区之外进行。
14.根据权利要求13所述的成像***，其中，所述显示器是头戴式显示器。
15.根据权利要求13所述的成像***，其中，所捕获的高分辨率图像在其较大维度上至少为4,000像素，并且显示器分辨率在其较大维度上至多为2,000像素。
16.根据权利要求13所述的成像***，其中，所述光学单元和所捕获的图像是立体的，使用结构光和/或结合飞行时间数据。
17.根据权利要求13所述的成像***，其中，所述至少一个工具包括至少一个基准点，并且相对于所述至少一个工具基准点工具执行P&O跟踪。
18.根据权利要求13所述的成像***，其中，所述治疗区域包括组织标记，并且其中所述跟踪单元还被配置成使用所捕获的图像来跟踪所述治疗区域中的所述组织标记。
19.根据权利要求13所述的成像***，还被配置成提供关于所述至少一个工具的被跟踪的P&O和所述治疗区域之间的空间关系的警报或指导。
20.根据权利要求13所述的成像***，其中，所述光学单元还包括宽FOV摄像机，所述宽FOV摄像机被配置成捕获包围所述数字放大区的区，并且其中，所述图像处理单元还被配置成提供包括所述数字放大区和所捕获的包围区的图像。
21.根据权利要求20所述的成像***，其中，所述图像处理单元还被配置成利用外部成像数据来增强所提供的图像。
22.根据权利要求21所述的成像***，其中，所述图像处理单元还被配置成通过根据被跟踪的P&O调节所述外部成像数据的显示位置来补偿相对于所述外部成像数据的时间延迟。
CN201880017265.9A 2017-02-02 2018-01-31 医疗用途的放大的高分辨率成像和跟踪 Active CN110461268B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL250432 2017-02-02
IL250432A IL250432A0 (en) 2017-02-02 2017-02-02 Magnified imaging with high resolution and traceability for medical use
PCT/IL2018/050107 WO2018142397A1 (en) 2017-02-02 2018-01-31 Magnified high resolution imaging and tracking for medical use

Publications (2)

Publication Number Publication Date
CN110461268A true CN110461268A (zh) 2019-11-15
CN110461268B CN110461268B (zh) 2021-06-25

Family

ID=62454747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880017265.9A Active CN110461268B (zh) 2017-02-02 2018-01-31 医疗用途的放大的高分辨率成像和跟踪

Country Status (7)

Country Link
US (1) US11823374B2 (zh)
EP (1) EP3576664A4 (zh)
JP (1) JP7280188B2 (zh)
CN (1) CN110461268B (zh)
CA (1) CA3052396A1 (zh)
IL (1) IL250432A0 (zh)
WO (1) WO2018142397A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768620A (zh) * 2020-06-09 2021-12-10 格罗伯斯医疗有限公司 用于手术期间的计算机辅助导航的摄像机跟踪***的摄像机跟踪杆

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097831A1 (en) 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US20200186786A1 (en) * 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11153555B1 (en) * 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
DE102021102274A1 (de) * 2021-02-01 2022-08-04 B. Braun New Ventures GmbH Chirurgisches Assistenzsystem mit Operationsmikroskop und Kamera und Darstellungsverfahren
US12016642B2 (en) 2021-09-08 2024-06-25 Proprio, Inc. Constellations for tracking instruments, such as surgical instruments, and associated systems and methods

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5766016A (en) * 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
JP2010142381A (ja) * 2008-12-17 2010-07-01 Scalar Corp 内視鏡手術用ヘッドマウントディスプレイ、及び内視鏡手術システム
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特***有限公司 用于外科手术的视频捕获和显示的数字***
US20150272694A1 (en) * 2012-06-27 2015-10-01 CamPlex LLC Surgical visualization system
CN105916462A (zh) * 2013-11-21 2016-08-31 埃尔比特***公司 光学跟踪***
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示***

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5836869A (en) 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
JP2004177782A (ja) 2002-11-28 2004-06-24 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体
US7831096B2 (en) 2006-11-17 2010-11-09 General Electric Company Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US20120321759A1 (en) * 2007-01-05 2012-12-20 Myskin, Inc. Characterization of food materials by optomagnetic fingerprinting
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
WO2011106792A2 (en) * 2010-02-26 2011-09-01 Myskin, Inc. Analytic methods of tissue evaluation
JP2012103315A (ja) * 2010-11-08 2012-05-31 Three M Innovative Properties Co 浮いている合成画像を提供可能なマイクロレンズ積層体
WO2012100030A2 (en) 2011-01-19 2012-07-26 Duke University Imaging and visualization systems, instruments, and methods using optical coherence tomography
US9974018B2 (en) 2011-09-23 2018-05-15 Dexcom, Inc. Systems and methods for processing and transmitting sensor data
WO2015023990A1 (en) * 2013-08-15 2015-02-19 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US9301710B2 (en) 2012-06-01 2016-04-05 Xerox Corporation Processing a video for respiration rate estimation
JP2014131552A (ja) 2013-01-07 2014-07-17 Akira Takebayashi 医療支援装置
CA2940814C (en) 2014-02-27 2019-09-03 University Surgical Associates, Inc. Interactive display for surgery
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
US9645379B2 (en) * 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5766016A (en) * 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
JP2010142381A (ja) * 2008-12-17 2010-07-01 Scalar Corp 内視鏡手術用ヘッドマウントディスプレイ、及び内視鏡手術システム
US20150272694A1 (en) * 2012-06-27 2015-10-01 CamPlex LLC Surgical visualization system
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特***有限公司 用于外科手术的视频捕获和显示的数字***
CN105916462A (zh) * 2013-11-21 2016-08-31 埃尔比特***公司 光学跟踪***
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768620A (zh) * 2020-06-09 2021-12-10 格罗伯斯医疗有限公司 用于手术期间的计算机辅助导航的摄像机跟踪***的摄像机跟踪杆

Also Published As

Publication number Publication date
EP3576664A1 (en) 2019-12-11
US11823374B2 (en) 2023-11-21
IL250432A0 (en) 2017-06-29
JP7280188B2 (ja) 2023-05-23
CN110461268B (zh) 2021-06-25
JP2020507383A (ja) 2020-03-12
EP3576664A4 (en) 2020-12-02
WO2018142397A1 (en) 2018-08-09
CA3052396A1 (en) 2018-08-09
US20200242755A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN110461268A (zh) 医疗用途的放大的高分辨率成像和跟踪
US11835702B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
CN111899282B (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
US8494256B2 (en) Image processing apparatus and method, learning apparatus and method, and program
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
US20070147671A1 (en) Analyzing radiological image using 3D stereo pairs
US20170032527A1 (en) Method and system for head digitization and co-registration of medical imaging data
JP5887067B2 (ja) 全方位監視画像処理システム
US20120050277A1 (en) Stereoscopic image displaying method and device
US20220180564A1 (en) Method and system for re-projecting and combining sensor data for visualization
CN111527517A (zh) 图像处理装置及其控制方法
CN114730454A (zh) 场景感知***和方法
EP3244367B1 (en) Image-acquisition apparatus
WO2023163768A1 (en) Advanced temporal low light filtering with global and local motion compensation
US10062184B2 (en) Medical image display control device, method of operation for same, and medical image display control program
JP4663746B2 (ja) 画像処理装置
JP6529345B2 (ja) 画像合成装置及び画像合成方法
US11592656B2 (en) Image processing apparatus, image processing program, and image processing method
EP3591605A1 (en) Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
US9970766B2 (en) Platform-mounted artificial vision system
KR102655362B1 (ko) 의료 이미지 스티칭 방법 및 장치
US11369440B2 (en) Tactile augmented reality for medical interventions
JP5633345B2 (ja) 画像処理装置、画像表示システムおよび画像処理プログラム
CN113287151A (zh) 信息处理装置、程序和信息处理方法
WO2015101630A1 (en) A method for hiding redundant information in a video image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant