CN113646799A - 用于显示医学成像数据的***和方法 - Google Patents

用于显示医学成像数据的***和方法 Download PDF

Info

Publication number
CN113646799A
CN113646799A CN201980091235.7A CN201980091235A CN113646799A CN 113646799 A CN113646799 A CN 113646799A CN 201980091235 A CN201980091235 A CN 201980091235A CN 113646799 A CN113646799 A CN 113646799A
Authority
CN
China
Prior art keywords
data
medical imaging
imaging
medical
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980091235.7A
Other languages
English (en)
Inventor
A·马哈迪克
J·沈
R·帕拉马西文
B·费恩戈德
R·琼斯
B·亨特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker Corp
Original Assignee
Stryker Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker Corp filed Critical Stryker Corp
Publication of CN113646799A publication Critical patent/CN113646799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/258User interfaces for surgical systems providing specific settings for specific users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

一种用于显示医学成像数据的***,包括一个或多个数据输入、一个或多个处理器以及一个或多个显示器,其中所述一个或多个数据输入被配置用于接收由第一医学成像设备生成的第一图像数据,其中第一图像数据包括视场(FOV)部分和非FOV部分,并且所述一个或多个处理器被配置用于标识第一图像数据的非FOV部分,并且通过移除第一图像数据的非FOV部分的至少一部分来生成裁剪的第一图像数据,并且传输裁剪的第一图像数据以供在显示器的第一部分中显示以及传输附加信息以供在显示器的第二部分中显示。

Description

用于显示医学成像数据的***和方法
对相关申请的引用
本申请要求于2018年12月5日提交的美国临时申请第62/775,622号的权益,特此将该美国临时申请的全部内容通过引用并入本文。
技术领域
本公开总地涉及医学成像,并且更特别地,涉及用于组织可视化的医学成像处理。
背景技术
随着外科可视化中高清(HD)和超HD/4K分辨率的出现,16:9纵横比的外科显示器已经变得越来越常见。然而,许多微创外科程序仍然依赖于光学镜,该光学镜导致在图像传感器处小于图像传感器感测区域的视场。这导致图像和视频在黑色像素的大部分区域内具有圆形视场区域。例如,在许多情况下,利用率仅为可用成像器区域的44%,这可能导致可用显示区域的利用率仅为44%。对于较小直径的镜尤其如此,典型的是关节镜和ENT/神经程序中使用的4mm镜。
当外科医生需要查看多个信息源、诸如多个低利用率的光学镜成像时,外科医生可能不得不在各种成像馈送之间切换其主外科显示器上的输入,在外科显示器上使用画中画或逐画模式,或者看着可能在手术室中两个不同位置中的两个不同监视器。所有这些选项可能引起外科显示器可查看区域的次优使用,或者引起外科医生在聚焦于一个显示器和另一个显示器之间进行上下文切换。
发明内容
根据一些实施例,医学成像处理***被配置为处理和组合医学成像数据,以生成提供医学成像的增强显示的显示馈送。根据一些实施例,医学成像处理***可以将多个成像数据流组合成一个或多个显示流,用于在单个显示布局中一起显示来自多个成像源和其他成像会话相关信息源的数据。根据一些实施例,可以通过移除成像数据的未使用部分来优化显示布局的利用率,所述未使用部分诸如是由成像器在捕获的视场之外的部分生成的数据。在一些实施例中,可以根据针对特定类型的成像会话和/或特定成像***用户定制的成像会话特定偏好来生成显示馈送。在一些实施例中,医学成像处理***的可重新配置的硬件处理器可以从一个成像会话重新配置到另一个,以提供针对下一个成像会话定制的成像数据处理。通过这些能力中的一个或多个,成像处理***可以提供针对用户偏好定制的增强的医学成像可视化。
根据一些实施例,一种配置医学成像处理***的方法包括:基于存储在存储器中的第一配置数据,将医学成像处理***的可重新配置的硬件处理器配置成用于第一医学成像会话的第一配置,其中第一配置实现至少第一医学成像处理算法;接收在第一医学成像会话期间生成的第一医学成像数据;至少部分地通过使用在第一配置中实现的第一医学成像处理算法处理第一医学成像数据来生成增强的第一医学成像数据;显示用于在第一医学成像会话期间进行观察的增强的第一医学成像数据;基于存储在存储器中的第二配置数据,将可重新配置的硬件处理器重新配置成用于第二医学成像会话的第二配置,其中第二配置至少实现在第一配置中未实现的第二医学成像处理算法;接收在第二医学成像会话期间生成的第二医学成像数据;至少部分地通过使用在第二配置中实现的第二医学成像处理算法处理第二医学成像数据来生成增强的第二医学成像数据;以及在显示器上显示用于在第二医学成像会话期间进行观察的增强的第二医学成像数据。
在这些实施例的任何一个中,所述方法可以包括接收指示第二医学成像会话的输入,并且响应于接收到所述输入,自动将可重新配置的硬件处理器重新配置成第二配置。
在这些实施例的任何一个中,输入可以包括对医学程序类型的选择。
在这些实施例的任何一个中,输入可以包括用户简档的选择。
在这些实施例的任何一个中,输入可以包括默认配置简档的选择。
在这些实施例的任何一个中,默认配置简档可以基于从一个或多个外部设备到医学成像处理***的一个或多个连接。
在这些实施例的任何一个中,默认配置简档可以基于连接的外部设备的视场。
在这些实施例的任何一个中,第一配置可以与第一类型的医学程序相关联,并且第二配置可以与第二类型的医学程序相关联。
在这些实施例的任何一个中,第一医学成像会话可以包括对患者执行第一类型的医学程序,并且第二医学成像会话可以包括对患者执行第二类型的医学程序。
在这些实施例的任何一个中,第一配置可以与第一用户简档相关联,并且第二配置可以与第二用户简档相关联。
在这些实施例的任何一个中,第一医学成像会话可以包括对患者成像,并且第二医学成像会话可以包括对患者成像。
在这些实施例的任何一个中,第一配置数据和第二配置数据均可以与相同类型的医学程序相关联。
在这些实施例的任何一个中,第一医学成像会话可以是第一外科会话,并且第二医学成像会话可以是第二外科会话。
在这些实施例的任何一个中,在第二配置中实现的至少一个医学成像处理算法可以包括烟雾检测算法,并且生成增强的第二医学成像数据可以包括增强与烟雾相关联的一个或多个图像的一个或多个部分的清晰度。
在这些实施例的任何一个中,第一医学成像处理算法可以被配置为检测成像组织的特征。
在这些实施例的任何一个中,成像组织的特征可以是组织灌注、血管的位置、血流量、成像组织的尺寸或其组合。
在这些实施例的任何一个中,增强的第二医学成像数据可以包括在第二医学成像数据的至少一部分上的覆盖物。
在这些实施例的任何一个中,可重新配置的硬件处理器可以在成像开始之前被重新配置。
在这些实施例的任何一个中,一个或多个医学成像处理算法可以在第一配置和第二配置两者中实现。
在这些实施例的任何一个中,第二医学成像数据可以包括视频帧和图像中的至少一个。
在这些实施例的任何一个中,第二医学成像数据可以从内窥镜成像***接收。
在这些实施例的任何一个中,第二医学成像数据可以从相机控制单元接收。
在这些实施例的任何一个中,可重新配置的硬件处理器可以是FPGA或GPU。
在这些实施例的任何一个中,所述方法可以包括从第一设备接收第二医学成像数据,从第二医学设备接收数据,以及向显示器输出显示馈送,所述显示馈送包括增强的第二医学成像数据和来自第二医学设备的数据的至少一部分。
在这些实施例中的任何一个中,所述方法可以包括在第一处理器处接收第二医学成像数据和来自第二医学设备的数据,将第二医学成像数据从第一处理器传输到可重新配置的硬件处理器,在第一处理器处接收来自可重新配置的硬件处理器的增强的第二医学成像数据,以及由第一处理器通过将增强的第二医学成像数据与和第二医学设备相关联的数据的至少一部分组合来生成显示馈送。
在这些实施例的任何一个中,第一配置数据可以存储在远程存储器中,并经由网络连接被接收。
根据一些实施例,一种用于显示医学成像数据的方法包括接收由第一医学成像设备生成的第一图像数据,其中第一图像数据包括视场(FOV)部分和非FOV部分;标识第一图像数据的非FOV部分;通过移除第一图像数据的非FOV部分的至少一部分来生成裁剪的第一图像数据;以及在显示器的第一部分中显示裁剪的第一图像数据,并且在显示器的第二部分中显示附加信息。
在这些实施例的任何一个中,可以使用边缘检测来标识非FOV部分。
在这些实施例的任何一个中,第一图像数据可以包括一系列视频帧,并且可以在多于一帧上执行边缘检测。
在这些实施例的任何一个中,可以使用FOV部分的中心位置和与FOV部分的尺寸相关联的测量中的一个或多个来标识非FOV部分。
在这些实施例的任何一个中,可以在成像会话初始化过程期间确定FOV部分的中心位置和与FOV部分的尺寸相关联的测量。
在这些实施例的任何一个中,成像会话初始化过程可以是白平衡过程。
在这些实施例的任何一个中,第一图像数据可以包括矩形图像或视频帧,并且FOV部分可以是矩形图像或视频帧的圆形部分。
在这些实施例的任何一个中,第一图像数据可以包括视频帧。
在这些实施例的任何一个中,第一图像数据可以在医学成像处理***的第一输入上接收,并且附加信息可以基于在医学成像处理***的第二输入上接收的数据。
在这些实施例的任何一个中,所述方法可以包括将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和附加信息的组合。
在这些实施例的任何一个中,所述方法可以包括接收由第二医学成像设备生成的第二图像数据;标识第二图像数据的非FOV部分;通过移除第二图像数据的非FOV部分的至少一部分来生成裁剪的第二图像数据;以及在显示器的第二部分中显示裁剪的第二图像数据。
在这些实施例的任何一个中,第一图像数据可以在医学成像处理***的第一输入上接收,并且第二图像数据可以在医学成像处理***的第二输入上接收。
在这些实施例的任何一个中,所述方法可以包括将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和裁剪的第二图像数据的组合。
在这些实施例的任何一个中,基于存储在存储器中的配置数据,裁剪的第一图像数据和附加信息可以位于显示器上。
在这些实施例的任何一个中,配置数据可以包括用户指定的配置数据。
在这些实施例的任何一个中,配置数据可以经由网络连接来接收。
在这些实施例的任何一个中,可以从内窥镜成像***、术中C型臂成像***或超声***接收第一图像数据。
在这些实施例的任何一个中,第一图像数据可以从相机控制单元接收。
在这些实施例的任何一个中,附加信息可以包括患者数据、度量、图表、图像、设备状态和视频馈送中的一个或多个。
根据一些实施例,一种可重新配置的医学成像处理***包括显示器;存储器;可重新配置的硬件处理器;以及第二处理器,被配置用于:基于存储在存储器中的第一配置数据,将可重新配置的硬件处理器配置成用于第一医学成像会话的第一配置,其中第一配置中的可重新配置的硬件处理器被配置为实现至少第一医学成像处理算法,并且至少部分地通过使用第一医学成像处理算法处理第一医学成像数据来生成用于在显示器上显示的增强的第一医学成像数据,以及基于存储在存储器中的第二配置数据将可重新配置的硬件处理器重新配置成用于第二医学成像会话的第二配置,其中第二配置中的可重新配置的硬件处理器被配置为实现至少第二医学成像处理算法,并且至少部分地通过使用第二医学成像处理算法处理第二医学成像数据来生成用于在显示器上显示的增强的第二医学成像数据。
在这些实施例的任何一个中,第二处理器可以被配置为接收指示第二医学成像会话的输入,并且响应于接收到所述输入,自动将可重新配置的硬件处理器重新配置成第二配置。
在这些实施例的任何一个中,输入可以包括对医学程序类型的选择。
在这些实施例的任何一个中,输入可以包括用户简档的选择。
在这些实施例的任何一个中,输入可以包括默认配置简档的选择。
在这些实施例的任何一个中,默认配置简档可以基于从一个或多个外部设备到医学成像处理***的一个或多个连接。
在这些实施例的任何一个中,默认配置简档可以基于连接的外部设备的视场。
在这些实施例的任何一个中,第一配置可以与第一类型的医学程序相关联,并且第二配置可以与第二类型的医学程序相关联。
在这些实施例的任何一个中,第一医学成像会话可以包括对患者执行第一类型的医学程序,并且第二医学成像会话可以包括对患者执行第二类型的医学程序。
在这些实施例的任何一个中,第一配置可以与第一用户简档相关联,并且第二配置可以与第二用户简档相关联。
在这些实施例的任何一个中,第一医学成像会话可以包括对患者成像,并且第二医学成像会话可以包括对患者成像。
在这些实施例的任何一个中,第一配置数据和第二配置数据均可以与相同类型的医学程序相关联。
在这些实施例的任何一个中,第一医学成像会话可以是第一外科会话,并且第二医学成像会话可以是第二外科会话。
在这些实施例的任何一个中,在第二配置中实现的至少一个医学成像处理算法可以包括烟雾检测算法,并且生成增强的第二医学成像数据可以包括增强与烟雾相关联的一个或多个图像的一个或多个部分的清晰度。
在这些实施例的任何一个中,第一医学成像处理算法可以被配置为检测成像组织的特征。
在这些实施例的任何一个中,成像组织的特征可以是组织灌注、血管的位置、血流量、成像组织的尺寸或其组合。
在这些实施例的任何一个中,增强的第二医学成像数据可以包括在第二医学成像数据的至少一部分上的覆盖物。
在这些实施例的任何一个中,所述***可以被配置为在成像开始之前重新配置可重新配置的硬件处理器。
在这些实施例的任何一个中,一个或多个医学成像处理算法可以在第一配置和第二配置两者中实现。
在这些实施例的任何一个中,第二医学成像数据可以包括视频帧和图像中的至少一个。
在这些实施例的任何一个中,所述***可以被配置为从内窥镜成像***接收第二医学成像数据。
在这些实施例的任何一个中,所述***可以被配置为从相机控制单元接收第二医学成像数据。
在这些实施例的任何一个中,可重新配置的硬件处理器可以是FPGA或GPU。
在这些实施例的任何一个中,所述***可以被配置为从第一设备接收第二医学成像数据,从第二医学设备接收数据,并且显示增强的第二医学成像数据和来自第二医学设备的数据的至少一部分。
在这些实施例的任何一个中,所述***可以被配置为在第二处理器处接收第二医学成像数据和来自第二医学设备的数据,将第二医学成像数据从第二处理器传输到可重新配置的硬件处理器,在第二处理器处从可重新配置的硬件处理器接收增强的第二医学成像数据,并且由第二处理器通过将增强的第二医学成像数据与和第二医学设备相关联的数据的至少一部分组合来生成显示馈送以供显示。
在这些实施例的任何一个中,第一配置数据可以存储在远程存储器中,并经由网络连接被接收。
根据一些实施例,一种用于显示医学成像数据的***包括一个或多个数据输入;一个或多个处理器;以及一个或多个显示器,其中所述一个或多个数据输入被配置用于接收由第一医学成像设备生成的第一图像数据,其中第一图像数据包括视场(FOV)部分和非FOV部分,并且所述一个或多个处理器被配置用于标识第一图像数据的非FOV部分,并且通过移除第一图像数据的非FOV部分的至少一部分来生成裁剪的第一图像数据,并且传输裁剪的第一图像数据以供在显示器的第一部分中显示以及传输附加信息以供在所述一个或多个显示器的第二部分中显示。
在这些实施例的任何一个中,所述一个或多个处理器可以被配置用于使用边缘检测来标识非FOV部分。
在这些实施例的任何一个中,第一图像数据可以包括一系列视频帧,并且所述一个或多个处理器可以被配置用于使用在多于一帧上执行的边缘检测来标识非FOV部分。
在这些实施例的任何一个中,所述一个或多个处理器可以被配置用于使用FOV部分的中心位置和与FOV部分的尺寸相关联的测量中的一个或多个来标识非FOV部分。
在这些实施例的任何一个中,所述一个或多个处理器可以被配置用于在成像会话初始化过程期间确定FOV部分的中心位置和与FOV部分的尺寸相关联的测量。
在这些实施例的任何一个中,成像会话初始化过程可以是白平衡过程。
在这些实施例的任何一个中,第一图像数据可以包括矩形图像或视频帧,并且FOV部分可以是矩形图像或视频帧的圆形部分。
在这些实施例的任何一个中,第一图像数据可以包括视频帧。
在这些实施例的任何一个中,所述一个或多个数据输入可以被配置用于在医学成像处理***的第一输入上接收第一图像数据,并且附加医学成像数据可以基于在医学成像处理***的第二输入上接收的数据。
在这些实施例的任何一个中,医学成像处理***可以被配置用于将显示馈送从医学成像处理***传输到显示器,所述显示馈送可以包括裁剪的第一图像数据和附加医学成像数据的组合。
在这些实施例的任何一个中,所述一个或多个数据输入可以被配置用于接收由第二医学成像设备生成的第二图像数据;并且所述一个或多个处理器可以被配置用于:标识第二图像数据的非FOV部分,通过移除第二图像数据的非FOV部分的至少一部分来生成裁剪的第二图像数据,并且传输用于在所述一个或多个显示器的第二部分中显示的裁剪的第二图像数据。
在这些实施例的任何一个中,所述一个或多个数据输入可以被配置用于在医学成像处理***的第一输入上接收第一图像数据,并且在医学成像处理***的第二输入上接收第二图像数据。
在这些实施例的任何一个中,医学成像处理***可以被配置用于将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和裁剪的第二图像数据的组合。
在这些实施例的任何一个中,基于存储在存储器中的配置数据,裁剪的第一图像数据和附加医学成像数据可以位于显示器上。
在这些实施例的任何一个中,配置数据可以包括用户指定的配置数据。
在这些实施例中的任何一个中,所述***被配置用于经由网络连接接收配置数据。
在这些实施例的任何一个中,所述一个或多个数据输入可以被配置用于从内窥镜成像***、术中C型臂成像***或超声***接收第一图像数据。
在这些实施例的任何一个中,所述一个或多个数据输入可以被配置用于从相机控制单元接收第一图像数据。
在这些实施例的任何一个中,附加信息可以包括患者数据、度量、图表、图像、设备状态和视频馈送中的一个或多个。
根据一些实施例,一种非暂时性有形计算机可读介质包括嵌入其上用以执行以上方法中的任何一个的计算机可执行程序代码。
根据一些实施例,一种用于处理受试者组织的荧光图像时间序列的套件(kit)包括以上***中的任何一个和/或以上非暂时性有形计算机可读介质中的任何一个以及荧光成像剂。
根据一些实施例,提供了一种用于在以上方法中的任何一个中、在以上***中的任何一个中或在以上套件中的任何一个中使用的荧光成像剂,用于对对象进行成像。
在这些实施例的任何一个中,对对象进行成像可以包括在血流成像、组织灌注成像、淋巴成像或其组合期间对对象进行成像。
在这些实施例的任何一个中,血流成像、组织灌注成像和/或淋巴成像可以包括在有创外科程序、微创外科程序期间或在无创外科程序期间的血流成像、组织灌注成像和/或淋巴成像。
在这些实施例的任何一个中,有创外科程序可以包括心脏相关外科程序或重建外科程序。
在这些实施例的任何一个中,心脏相关外科程序可以包括心脏冠状动脉旁路移植术(CABG)程序。
在这些实施例的任何一个中,CABG程序可以是体外循环或非体外循环的。
在这些实施例的任何一个中,无创外科程序可以包括伤口护理程序。
在这些实施例的任何一个中,淋巴成像可以包括***的标识、***引流、淋巴标测或其组合。
在这些实施例的任何一个中,淋巴成像可以涉及女性生殖***。
一些实施例包括以上方法中的任何一个在以上***中的任何一个中或在以上套件中的任何一个中的使用,用于对对象进行成像以用于淋巴成像。
一些实施例包括以上方法中的任何一个在以上***中的任何一个中或在以上套件中的任何一个中的使用,用于对对象进行成像以用于血流成像、组织灌注成像或其组合。
应当领会的是,本文结合本公开的方法、***、套件和其他方面公开的任何变型可以是可以被组合的。
附图说明
现在将参考附图,仅以示例的方式描述本发明,附图中:
图1是根据一些实施例的用于在医学成像会话期间生成和显示医学成像数据的***的框图;
图2图示了根据一些实施例的用于显示医学成像数据的方法;
图3A图示了由内窥镜成像器生成的示例性图像,并且图3B图示了在示例性显示器上并排显示的两个内窥镜图像;
图3C图示了根据一些实施例的显示裁剪的内窥镜图像的示例性显示器;
图3D图示了根据一些实施例的示例性显示器,其显示根据一些实施例的裁剪的内窥镜图像和附加的成像会话相关数据;
图4是根据一些实施例的医学成像数据处理中枢的框图;
图5A图示了可以由图4的中枢生成的第一预定义显示布局的示例,并且图5B图示了可以由图4的中枢生成的第二预定义显示布局的示例;
图6图示了根据一些实施例的为第一成像会话配置的医学成像处理中枢的示例;
图7图示了根据一些实施例的用于配置医学成像处理***的方法;
图8A和8B是根据一个实施例的执行图7的方法的医学成像处理***的框图;
图9A和9B图示了根据一些实施例的用于为新的成像会话配置医学成像处理***的图形用户接口;
图10是根据一些实施例的示例性荧光成像***的说明性描绘;
图11是根据一些实施例的荧光成像***的示例性照射模块的说明性描绘;
图12是根据一些实施例的荧光成像***的示例性相机模块;和
图13是根据一些实施例的示例性内窥镜成像推车。
具体实施方式
现在将详细参考本文描述的***和方法的各个方面和变型的实现和实施例。尽管本文描述了***和方法的几个示例性变型,但是***和方法的其他变型可以包括以任何合适的方式组合的本文描述的***和方法的方面,所述方面具有所描述方面中的全部或一些的组合。本文描述的是用于结合医学成像会话(例如,在医学成像会话期间)生成用于显示的增强的医学成像的***和方法。***和方法可以处理来自多个成像***的数据以生成增强的成像,并且可以将多个成像数据集一起拼接成单个显示馈送,用于在单个显示器上显示来自多个源的信息。可以处理成像数据以最大化显示器的利用率,从而使得能够在成像会话期间向执业医师呈现更多相关信息。
根据一些实施例,所述***和方法可以基于每个成像会话的需求不同地处理和组合成像数据。执业医师可能能够定义在其成像会话期间显示的信息,从而确保以适合执业医师的方式呈现数据,这可以减少执业医师调整数据显示所需的时间量。
在一些实施例中,为每个成像会话重新配置一个或多个可重新配置的硬件处理器,以提供针对每个成像会话定制的成像处理。诸如现场可编程门阵列(FPGA)的可重新配置的硬件处理器提供对于实时视频处理所要求的低延时和高带宽,并且还如在不同成像会话中所要求的那样提供在不同数据输入或数据输入组合上实现不同算法或不同算法组合的能力,从而提供为满足不同成像会话的不同需求而定制的成像处理。根据本文描述的实施例,在处理和组合不同输入数据的能力方面的这种可配置性和灵活性使得单个成像处理***能够支持各种各样的成像会话,包括各种各样的外科程序。
在各种实施例的以下描述中,参考了附图,在附图中,通过图示的方式示出了可以实践的具体实施例。要理解的是,在不脱离本公开的范围的情况下,可以实践其他实施例和示例,并且可以进行改变。
此外,还要理解的是,在以下描述中使用的单数形式“一”、“一个”和“该”也旨在包括复数形式,除非上下文另有明确指示。还要理解的是,如本文使用的术语“和/或”指代并涵盖一个或多个相关联列出项目中的任何和全部可能的组合。要进一步理解的是,当在本文使用时,术语“包括”、“包括有”、“包含”和/或“包含有”指定所声明的特征、整数、步骤、操作、元件、部件和/或单元的存在,但不排除一个或多个其他特征、整数、步骤、操作、元件、部件、单元和/或其组的存在或添加。
本公开的某些方面包括本文以算法形式描述的过程步骤和指令。应当注意,本公开的过程步骤和指令可以体现在软件、固件或硬件中,并且当体现在软件中时,可以被下载以驻留在由各种操作***使用的不同平台上并从其进行操作。除非如根据以下讨论显而易见地具体另有声明,否则应领会,贯穿描述,利用诸如“处理”、“计算”、“运算”、“确定”、“显示”、“生成”等术语的讨论指代计算机***或类似的电子计算设备的动作和过程,该计算机***或类似的电子计算设备操控和变换在计算机***存储器或寄存器或其他这样的信息存储、传输或显示设备内表示为物理(电子)量的数据。
在一些实施例中,本公开还涉及用于执行本文的操作的设备。该设备可以为所要求的目的而特别构造,或者它可以包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算机。这样的计算机程序可以存储在非暂时性计算机可读存储介质中,诸如但不限于任何类型的盘,包括软盘、USB闪存驱动器、外部硬盘驱动器、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)或任何类型的适于存储电子指令的介质,并且每个都耦合到计算机***总线。此外,说明书中提到的计算机可以包括单个处理器,或者可以是采用多处理器设计以用于增大的计算能力的架构。
本文描述的方法、设备和***并不固有地与任何特定的计算机或其他装置相关。各种通用***也可以与根据本文的教导的程序一起使用,或者可以证明构造更专门化的装置来执行所要求的方法步骤是方便的。各种这些***所要求的结构将从下面的描述中显现。此外,本发明没有参考任何特定的编程语言来描述。应当领会,可以使用各种编程语言来实现如本文描述的本发明的教导。
图1图示了用于在医学成像会话期间生成和显示医学成像数据的***100。***100包括医学数据处理中枢102,其处理从一个或多个成像模态104接收的数据,以生成一个或多个显示馈送,用于在一个或多个显示器106上显示增强的医学成像。所述一个或多个成像模态104可以生成与患者治疗相关联的图像数据。图像数据可以是在患者治疗期间为支持一个或多个医学程序而生成的图像或视频,诸如在对患者的内窥镜过程期间由内窥镜相机捕获的视频。医学成像模态的示例包括但不限于内窥镜***、开放场成像***、x射线***(诸如术中C型臂***)、计算机断层摄影***、超声***、磁共振成像***和核医疗***。
在一些实施例中,中枢102可以从一个或多个非成像设备120接收数据,这些非成像设备120可以结合医学成像会话(例如,在医学成像会话期间)使用,并且可以在医学成像会话期间提供可能与显示相关的信息。非成像设备的非限制性示例包括吹入器、照射控制器和语音控制***。
中枢102可以通过一个或多个输入端口108从一个或多个成像模态104接收图像数据。中枢102使用接收到的成像数据生成一个或多个显示馈送,并且经由一个或多个输出端口110将所述一个或多个显示馈送传输到一个或多个显示器106。例如,中枢102可以生成显示馈送,该显示馈送包括基于由一个或多个成像模态104生成的成像的患者组织的增强成像,并且增强成像可以显示在一个或多个显示器106上,以在患者治疗期间辅助执业医师。中枢102还可以将显示馈送传输到一个或多个记录设备112,用于记录增强的成像以供稍后检索。输入端口108和输出端口110可以是任何合适类型的数据传输端口,诸如DVI端口、HDMI端口、RS232端口、IP端口等。
中枢102可以经由一个或多个网络连接118连接到一个或多个网络116。所述一个或多个网络可以是诸如医院信息***的局域网,或者可以是诸如广域网或互联网的更宽的网络。网络连接118可以是诸如以太网连接的有线连接,或者诸如Wi-Fi 连接的无线网络连接。在一些实施例中,中枢102可以访问一个或多个网络116以检索存储在网络位置处的配置数据,用于为成像会话配置中枢,和/或可以访问一个或多个网络以接收用于处理成像数据的更新的软件和/或更新的硬件文件。
一个或多个用户接口114可以连接到中枢102,以便用户向中枢102提供输入。用户可以输入与为成像会话配置中枢102相关的数据。用户输入可以包括,例如,与即将到来的成像会话相关联的执业医师简档的选择、成像会话类型或在成像会话期间要执行的过程类型的选择、或任何其他相关信息。所述一个或多个用户接口114可以包括平板计算机、键盘、鼠标、语音控制***、小键盘、触摸屏或其任何组合。
如下面详细描述的,中枢102处理接收的医学成像数据和任何其他相关数据,并生成增强的显示馈送,用于在成像会话期间在一个或多个显示器106上显示。根据一些实施例,中枢102可以将多个成像源组合成单个显示馈送,可以处理接收到的成像数据以生成更丰富的成像数据,可以修改成像数据以得到更好的显示空间利用率,和/或可以取决于用户在不同成像会话中的需求和偏好来重新配置成像数据的处理。
图2图示了根据一些实施例的用于显示医学成像数据的方法200。方法200可以由医学成像数据处理中枢、诸如***100的医学成像数据处理中枢102执行。执行方法200以用于移除接收到的成像数据的未利用部分,从而更好地利用显示空间,这可以提供在成像会话期间向用户显示更多相关信息的能力。
在许多常规的成像***(诸如基于内窥镜的成像***,包括例如内窥镜成像***)中,来自场景的大致圆形区域的光被投射在一个或多个成像传感器的光敏部分上。这是由于成像器的一个或多个传感器在面积上一般大于镜光学器件提供的光的面积。因此,由一个或多个传感器捕获的成像包括表示从视场接收的光的视场(FOV)部分和由一个或多个传感器的不从场景接收光的部分(即,像素)生成的非FOV部分,这通常导致在中间具有圆形FOV部分的矩形图像,该矩形图像示出了被黑色非FOV部分(或由于传感器噪声而接近黑色)包围的成像场景。当以常规方式显示内窥镜成像时,显示器的大部分被非FOV部分占用,该非FOV部分显示不提供任何有用信息的黑色像素。
为了说明这个概念,在图3A中示出了诸如示例性内窥镜图像300的成像***。图像300包括由从成像场景接收光的传感器部分生成的FOV部分302和由不从场景接收光的传感器部分生成的非FOV部分304。图2B图示了在示例性显示器350上并排显示的两个图像300。如所图示的,由于两个图像的非FOV部分浪费了相对大量的显示空间。在一些实施例中,中枢102可以裁剪接收到的图像数据的一些或全部非FOV部分。
返回图2,在步骤202处,由医学成像数据处理中枢接收已经由第一医学成像设备生成的第一图像数据。可以是图像或视频帧的第一图像数据包括FOV部分和非FOV部分。例如,第一图像数据可以是由内窥镜相机生成的视频帧,诸如图3A的图像300。该帧可以包括由从成像场景接收入射到一个或多个传感器上的光的一个或多个相机传感器的像素生成的FOV部分,并且可以包括由不从成像场景接收光的一个或多个相机传感器的像素生成的非FOV部分。
在步骤204处,标识第一图像数据的非FOV部分。根据一些实施例,可以基于与FOV部分相关联的一个或多个预定参数来标识非FOV部分。预定参数的示例包括FOV部分的中心、FOV部分的半径或直径以及与FOV部分或非FOV部分相关联的像素位置。在由预定参数定义的区域之外的像素可以被标识为非FOV部分。
在一些实施例中,与从连接的设备接收的数据的FOV部分相关联的参数可以被确定一次,并且在从设备接收新的图像数据时被重复使用,以标识从连接的设备接收的数据的非FOV部分。例如,可以基于从连接设备接收的图像数据来确定FOV部分的中心和直径(或半径),并且该中心和直径(或半径)可以用于在从设备接收的未来图像数据中标识非FOV部分。在一些实施例中,一个或多个边缘检测算法被用于检测FOV部分的边缘,并且边缘数据可以被用于标识图像的非FOV部分,或者可以被用于确定FOV部分的中心和直径(或半径),其进而被用于标识图像的非FOV部分。
在一些实施例中,在连接设备的成像会话初始化阶段期间,确定与从连接设备接收的图像数据的FOV部分相关联的一个或多个参数,在所述成像会话初始化阶段中,捕获在FOV部分和非FOV部分之间具有清晰边界的图像。该初始化阶段可以是例如白平衡阶段,其中成像器被导向白色表面,以允许成像器和/或相关联的光源基于从白色表面接收的光量来调整一个或多个成像参数,诸如增益和光强度。在白平衡阶段期间,由成像器生成的图像数据的FOV部分(其指向白色背景)相对明亮,并且照此与黑色的非FOV部分具有高对比度,从而提供了可以使用一个或多个边缘检测算法容易地检测到的清楚边缘。
在一些实施例中,医学成像数据处理中枢从连接设备接收连接设备处于初始化阶段(诸如白平衡阶段)的指示。响应于接收到该指示,医学成像数据处理中枢执行边缘检测过程,以确定从连接的设备接收的图像数据的FOV部分的位置。FOV部分的所确定位置(例如,中心、直径、像素位置等)可以用于标识随后接收的图像数据的非FOV部分。
在一些实施例中,可以通过检测每个接收到的图像或帧的FOV部分的周界的位置来标识非FOV部分。在一些实施例中,可以使用例如一个或多个边缘检测算法来检测第一图像数据中的FOV部分的周界。
在步骤206处,通过移除第一图像数据的非FOV部分的至少一部分来生成裁剪的第一图像数据。可以基于任何合适的裁剪准则、包括裁剪图像的期望纵横比或裁剪图像的预定义大小,来选择被移除的一个或多个非FOV部分。例如,裁剪准则可以指定裁剪图像应当是正方形的,并且基于该准则,可以移除涵盖FOV部分的正方形之外的非FOV部分,从而导致正方形的裁剪图像。可替代地,裁剪准则可以指定纵横比,并且基于该准则,涵盖FOV部分的矩形的非FOV部分可以被移除,从而导致具有指定纵横比的裁剪图像。
在一些实施例中,步骤206中使用的一个或多个裁剪准则可以基于连接的显示器的一个或多个属性。例如,显示器的尺寸可以用于确定裁剪图像的边界。显示尺寸可以被划分成显示区段,并且显示区段的尺寸可以确定裁剪图像的边界。例如,在图2D的示例性显示中,第一显示区段220可以被定大小,使得用于在区段220中显示的图像可以被裁剪到用于在区段220中显示的图像的FOV部分的宽度,而用于在第二区段222中显示的图像可以被裁剪到用于在区段222中显示的图像的FOV部分的高度。
在一些实施例中,医学成像数据处理中枢可以从连接的显示器接收关于显示区域的信息(即,像素尺寸、空间尺寸等)。在其他实施例中,一个或多个显示区域参数是用户定义的。
在步骤208处,基于裁剪的第一图像数据生成显示馈送。经由一个或多个显示器连接,显示馈送被传输到一个或多个连接的显示器,诸如***100的显示器106,并且裁剪的第一图像数据被显示在显示器上。在一些实施例中,裁剪的第一图像可以显示在显示器的第一部分中,并且附加信息可以显示在显示器的第二部分中。可以显示的附加信息的示例包括一个或多个图像、视频、患者数据和/或患者元数据、连接设备状态、与成像相关联的度量或任何其他连接设备相关信息、一个或多个图表等。根据一些实施例,通过裁剪第一图像数据,显示器的第一部分可以在显示器上占据更少的空间,从而增加了可用于显示附加信息的显示空间量。根据一些实施例,裁剪的图像数据可以示出在屏幕的一部分中,该部分具有与将具有示出未裁剪的图像数据的部分相同的高度和/或宽度,但是图像数据的裁剪允许FOV部分在显示器上更大。
在一些实施例中,可以从多个连接的设备接收图像数据,并且可以根据上面讨论的方法200裁剪来自每个连接设备的图像数据。可以生成显示馈送,用于在一个或多个连接的显示器上显示多个裁剪图像。在一些实施例中,附加信息可以与一个或多个裁剪图像一起显示。附加信息可以基于从一个或多个连接的设备接收的数据。例如,连接到医学成像数据处理中枢的吹入器***可以将吹入压力读数传输到***,并且压力读数可以与显示馈送中的裁剪的内窥镜图像组合,用于在显示器上显示在裁剪的内窥镜图像旁边。
图3C图示了具有根据方法200生成的两个裁剪图像310的图3B的示例性显示器350。裁剪图像310包括图3B的图像300的FOV部分302,其中部分非FOV部分被移除。如所图示的,图像的裁剪允许图像被显示得更大得多。图像裁剪还可以为显示附加信息提供空间。例如,在图3C中,裁剪图像310占据显示器350的第一部分320,第二裁剪图像326占据显示器350的第二部分322,并且示例性图表328占据显示屏的第三部分324。因此,诸如中枢102的医学成像处理***能够最大化显示屏用于显示医学成像数据和其他信息的利用率。
图4是根据一个实施例的医学成像数据处理中枢400的框图,该中枢可以用在医学成像***(诸如图1的***100)中,以处理来自连接的医学设备(诸如成像设备)的多个数据流,并生成优化的显示布局,用于在医学程序期间向用户(诸如外科医生)显示有用信息。中枢400包括一个或多个输入连接402,用于从连接的设备接收数据。中枢400包括用于连接到一个或多个显示设备的一个或多个输出404。中枢400包括主处理单元406,该主处理单元406处理从连接的设备接收的数据的至少一部分,并生成用于输出到一个或多个连接的显示器的显示馈送。
中枢400包括用于管理成像数据的处理并使用经处理的数据生成显示馈送的主处理单元406、用于处理成像数据流的可重新配置的硬件处理器408以及用于提供成像数据和其他数据的基于软件的处理的辅助处理单元410。
可重新配置的硬件处理器408可以是现场可编程门阵列(FPGA),其可以通过加载定义FPGA中电路连接的硬件逻辑文件来重新配置。可重新配置的硬件处理器408提供成像数据的低延时和高带宽处理,并且可以被重复地重新配置以针对不同的成像会话提供成像数据的不同处理。通过利用可重新配置的硬件处理器,中枢400可以实时提供增强的成像数据、诸如视频,在成像会话期间,在捕获成像和在连接的显示器上显示增强的成像之间具有很少延迟或没有延迟。在一些实施例中,可重新配置的硬件处理器408是可重新配置GPU。主处理单元406和辅助处理单元410可以每个是任何合适的处理器或处理器的组合,诸如中央处理单元、图形处理单元、微控制器、ASIC或FPGA或其任何组合。
中枢400包括存储器412,其可以是位于中枢400内的本地存储器,或者可以是中枢400可以通过网络连接访问的处于远程位置的远程存储器。存储器412的一个或多个部分可以是本地的,并且一个或多个部分可以位于远程。存储器412可以包括针对不同成像会话指定中枢400的配置的一个或多个配置文件414、用于由主处理单元406和/或辅助处理单元410执行的一个或多个软件程序、以及用于重新配置可重新配置的硬件处理器408的一个或多个硬件逻辑文件418。主处理单元406可以访问配置文件414以确定配置文件中指定的处理要求,可以将硬件逻辑文件418加载到由配置文件所定义的可重新配置的硬件处理器408上,并且可以将软件程序416加载到配置文件414中所指定的辅助处理单元410上。因此,存储在存储器412中的数据可以用于针对不同的成像会话配置中枢400。
可重新配置的硬件处理器408通信连接到主处理单元406。主处理单元406可以向可重新配置的硬件处理器408发送视频数据流以供处理,并且可以从可重新配置的硬件处理器408接收回经处理视频以供包括在显示馈送中。主处理单元可以将硬件逻辑文件加载到可重新配置的硬件处理器408,用于重新配置可重新配置的硬件处理器408。
辅助处理单元410通信耦合到主处理单元406。主处理单元406可以向辅助处理单元410发送数据以用于处理,并且可以接收处理结果以供包括在显示馈送中。主处理单元406可以在辅助处理单元410上加载用于处理成像数据的软件。
中枢400被配置为将从多个连接的设备接收的信息组合成显示馈送,用于在连接的显示器上显示。因此,多个信息源可以同时显示在连接的显示器上。中枢400被配置为根据预定义的布局将从连接设备接收的信息拼接在一起。例如,中枢400可以生成显示馈送,其中第一视频流显示在第一显示区段中,第二视频流显示在第二显示区段中,并且诸如数据、警报、设备状态、度量等附加信息显示在第三显示区段中。
根据一些实施例,主处理单元406负责从连接的设备接收数据,并将数据一起拼接成合成的显示馈送。主处理单元406可以利用可重新配置的硬件处理器408和/或辅助处理单元410来处理接收到的数据,以用于增强数据的显示。
主处理单元406根据一个或多个预定义的显示布局将信息源组合成显示馈送,所述一个或多个预定义的显示布局指定要显示的信息的成像类型以及成像信息的相对大小和位置和其他用于显示的信息。预定义的显示布局可以与不同类型的成像会话相关联,诸如不同类型的外科会话或不同类型的外科或其他医学程序。不同类型的程序可以涉及不同类型的成像装备和/或不同类型的成像处理算法,并且预定义的显示布局可以指定用于针对给定程序的显示的信息类型。根据执业医师的偏好,预定义的显示布局可以与不同的执业医师相关联。例如,对于执行相同程序的两个不同执业医师,相同的信息可以以不同的方式显示。预定义的显示布局可以作为配置数据文件414存储在存储器412中。
图5A图示了第一预定义显示布局500的示例,并且图5B图示了第二预定义显示布局520的示例。第一布局500包括用于三个不同源——502、504和506的三个区段。术语源指代由中枢400生成的不同数据输出。源可以包括从一个或多个连接的设备接收的数据、通过处理从一个或多个连接的设备接收的数据而生成的增强数据、或者其任何组合。多个源可以包括或基于从连接的设备接收的相同数据。例如,第一源可以包括从连接的设备接收的视频流,并且第二源可以包括利用从视频流中提取的信息或从另一个连接的设备接收的信息增强的相同视频流。
除了定义要显示的源之外,预定义的显示布局还定义了不同源在显示器上的相对位置以及不同源在显示器上的相对大小。例如,在第一布局500中,第一源502位于显示器左半部的第二源504上方,其中源502和504两者在大小上相等。第三源506位于显示器的右半部,并且比第一源和第二源更大。相比之下,布局520包括六个大小相等的不同源,它们被布置在两行三列中。除了三个其他源之外,布局520包括第一源502、第二源504和第三源506。第一源502和第二源504相对于布局500在不同的位置中,并且第三源506相对于布局500具有不同的大小。布局500可以与根据他或她的偏好配置布局500的第一执业医师相关联,并且布局520可以与第二执业医师相关联。布局500和520可以与不同类型的成像会话、诸如不同类型的外科程序相关联,或者可以与相同类型的外科程序相关联。在一些实施例中,两种布局在同一成像会话中使用。例如,布局500可以定义成像***的第一显示器的布局,并且布局520可以定义成像***的第二显示器的布局。
中枢400可以根据与成像会话相关联的一个或多个参数来配置显示馈送。中枢400可以用于多种不同类型的医学程序和/或由多个不同执业医师使用。如本文所使用的,医学程序可以指代具有由执业医师(例如外科医生)执行的各种任务的单个(例如手术)程序,或者指代与患者的单个会话(例如,对患者的单个手术会话)中执行的多于一个程序。例如,涉及执行整形外科程序(例如,钻孔和/或医学设备的植入)连同成像程序(例如,可视化组织空间和/或血流/组织灌注)的整形外科手术会话可以是单个医学程序或者可以是多个医学程序。不同类型的医学程序可以利用不同类型的成像器和其他装备。为一种类型的程序设计的显示布局可能不适合另一种类型的程序。此外,关于应当显示什么类型的信息以及如何显示信息,不同的执业医师可能具有不同的偏好。因此,中枢400可以基于每个医学成像会话的特定要求或偏好,不同地处理接收到的数据并生成显示馈送。
中枢400可以基于一个或多个预定义的配置来配置输入数据的处理和显示馈送的生成。预定义配置可以与成像会话的一个或多个参数相关联。成像会话参数的示例可以包括用户(例如,执业医师)、程序类型、与一个或多个连接的输入设备相关联的信息、以及与一个或多个连接的输出设备相关联的信息。
中枢400可以接收指定一个或多个参数值的用户输入(诸如通过图1的用户接口114),并且可以基于一个或多个参数值选择预定义的配置。中枢400基于所选择的预定义配置来重新配置一个或多个输入的处理以及一个或多个显示馈送的生成。
预定义的配置可以定义预定义的显示布局,并且也可以定义一个或多个数据处理算法。算法可以在例如可重新配置的硬件处理器408中和/或辅助处理单元410中实现。在一些实施例中,可重新配置的硬件处理器408可以根据预定义的配置来重新配置,以便执行由预定义的配置指定的成像数据处理。
如上面所解释的,不同源可以包括在不同的布局中。不同源可以是来自不同的所连接设备的数据,但也可以是从相同所连接设备提取的不同信息。为了促进取决于所连接的设备和从一个成像会话到下一个成像会话的布局偏好生成不同的数据,中枢400可以根据与成像会话相关联的配置数据中指定的要求,自动重新配置从连接的设备接收的数据的处理。
中枢400可以接收与预定义配置相关联的成像会话的指示,并且可以相应地自动配置输入数据的处理和显示馈送的生成。例如,在准备外科会话时,护士可以诸如通过键盘、鼠标、触摸屏或其他输入设备向中枢400输入与外科会话相关联的一个或多个参数,并且中枢400可以相应地配置自身,这可以包括通过加载存储在存储器412中的一个或多个硬件逻辑文件来重新配置可重新配置的硬件处理器,以及在辅助处理单元410上加载一个或多个软件程序或模块。参数可以包括要执行的外科手术类型和执行外科手术的执业医师。一个或多个预定义布局可以与外科手术类型和/或执业医师相关联,并且中枢400可以重新配置自身以根据预定义布局生成显示馈送。
图6图示了为第一成像会话配置的医学成像处理中枢(诸如中枢400)的示例。配置的中枢600包括主处理器602、可重新配置的硬件处理器604和辅助处理器606。中枢600包括多个数据输入608,其中三个连接到三个不同的设备(630、632和634),所述设备可以是相机、相机控制单元、仪器控制单元、照明控制单元、吹入器、烧灼器或在成像会话期间使用的生成与成像会话相关的数据的任何其他设备或***。中枢600包括多个视频输出610。在所图示的实施例中,两个显示器640和642连接到视频输出610中的两个。
在第一配置中,一个或多个算法已经加载到用于处理从设备632接收的成像数据的可重新配置的硬件处理器604。可重新配置的硬件处理器604处理从设备632接收的数据,并将经处理数据传输到主处理器602。可重新配置的硬件处理器604可以直接从输入608接收成像数据,或者可以经由主处理器602接收数据。在一些实施例中,主处理器602可以根据以上关于图2的方法200描述的原理来裁剪图像数据,并将裁剪的图像数据提供给可重新配置的硬件处理器604和/或辅助处理器606。这在减少要求处理的成像数据量方面可能是有利的。
辅助处理器606执行基于软件的程序,用于处理来自第三连接设备634的数据。辅助处理器606可以经由例如视频输出612(诸如CPU的母板上的视频输出)将处理结果输出到主处理器602。
主处理器602负责将不同的数据源组合成显示馈送,以用于传输到连接的显示器640。主处理器将来自可重新配置的硬件处理器604、来自辅助处理器606以及直接来自第一连接设备630的经处理数据拼接在一起。例如,主处理器可以生成将这三个源定位到显示器的不同区段中的显示馈送。
在一些实施例中,主处理器602可以被配置为提供多个不同的显示流。在所图示的实施例中,主处理器602包括两个合成器614和616,它们可以根据例如存储在存储器中的配置数据生成两个不同的显示馈送。第一合成器614被配置为将来自第一连接设备、可重新配置的硬件处理器604和辅助处理器606的数据组合成第一显示馈送,以用于传输到显示器640。第二合成器616从设备634接收数据输入(例如,视频输入),并生成第二显示馈送以用于传输到显示器642。
合成器可以从一个成像会话到下一个成像会话不同地组合数据源并且生成显示馈送。合成器对数据的处置可以基于存储在存储器中的配置数据而更改。例如,图6A中所图示的数据处置可以由第一配置文件定义。第二配置文件可以通过例如指定如下来指定该数据处置的更改:第一合成器614基于仅来自第一设备630的数据生成显示馈送以供在第一显示器640上显示,并且第二合成器616基于来自设备632和设备634的数据生成显示馈送以供在第二显示器642上显示。不同的配置可以与不同类型的程序和/或不同的执业医师相关联,以例如支持不同的成像会话。
图7图示了根据一些实施例的用于配置诸如中枢400的医学成像处理***的方法700。如下面进一步描述的,方法700包括根据与医学成像会话相关联的预定义配置数据来重新配置可重新配置的硬件处理器,诸如中枢400的可重新配置的硬件处理器408。可重新配置的硬件处理器被配置为实现由配置数据定义的成像数据处理算法。利用可重新配置的硬件处理器来实现成像处理算法允许被定制为根据指定的算法来处理成像数据的硬件处理器配置,并且允许针对具有不同成像输入和/或显示要求的不同成像会话来实现不同的算法。因此,可重新配置的硬件处理器可以提供优于运行基于软件的算法的通用处理器的优点,通用处理器可能不能够提供可重新配置的处理器所能提供的较低延时和较高带宽,这对于在医学程序期间提供用于显示的视频的实时处理是重要的。
在步骤702处,诸如中枢400的可重新配置的硬件处理器408之类的可重新配置的硬件处理器被配置成用于第一医学成像会话的第一配置。硬件处理器的配置可以基于存储在存储器中的第一配置数据。第一配置数据可以定义用于由可重新配置的硬件处理器实现的一个或多个医学成像处理算法。一旦被配置成第一配置,可重新配置的硬件处理器就实现如配置数据中所定义的一个或多个医学成像处理算法。可重新配置的硬件处理器可以通过将一个或多个硬件逻辑文件从存储器(其可以由诸如中枢400的主处理单元406之类的第二处理器处置)加载到可重新配置的硬件处理器上来配置。
第一成像会话可以包括对患者执行一个或多个医学程序,诸如外科程序。第一成像会话可以开始于护士或其他用户针对患者的医学程序或一系列医学程序初始化医学成像***。第一医学成像会话可以在对患者的医学程序或所有一系列医学程序完成时完成,或者可以在对患者的一系列程序中的第一个完成时完成。作为该后一种场景的示例,可以完成对患者的第一医学程序,诸如第一外科程序,这完成第一成像会话,并且随后可以是第二医学程序,诸如由相同或不同外科医生进行的不同外科程序。第二医学程序可以包括第二成像会话。
可重新配置的硬件处理器在其第一配置中被配置为接收医学成像数据,并使用第一成像处理算法处理至少一部分数据。在一些实施例中,第一配置还可以包括使用一个或多个附加处理算法来处理接收到的数据的能力。第一配置中的可重新配置的硬件处理器可以具有使用第一成像处理算法和/或附加成像处理算法来处理多个不同的成像数据集(例如,由不同的设备生成)的能力。例如,第一配置中的可重新配置的硬件处理器可以接收由第一连接设备生成的第一数据集,并且可以使用第一医学成像处理算法处理第一数据集,并且还可以接收由第二连接设备生成的第二数据集,并且可以使用第二医学成像处理算法处理第二数据集。
在一些实施例中,响应于指示第一医学成像会话的输入,配置可重新配置的硬件处理器。例如,诸如手术室护士的用户可以向医学成像处理***提供指定与成像会话相关联的参数的信息,诸如医学程序类型和/或执业医师身份。所述一个或多个参数可以与第一配置数据相关联,并且该***可以访问第一配置数据,并且根据第一配置数据的规范来配置可重新配置的硬件处理器。指示第一医学成像会话的用户输入可以包括对简档的用户选择。该简档可以与一种或多种类型的医学程序相关联,并且可以定义针对一种或多种类型的医学程序定制的数据处理和显示布局。医学程序的类型可以包括内窥镜医学程序(诸如肠镜检查、结肠镜检查、乙状结肠镜检查、直肠镜检查、鼻镜检查、耳镜检查、膀胱镜检查、***镜检查、关节镜检查、胸腔镜检查等)和外科程序(诸如活检、颈动脉内膜切除术、胆囊切除术、冠状动脉旁路术、皮肤移植术、子宫切除术和***切除术)。
该简档可以是执业医师简档,其定义了执业医师想要在该执业医师所偏好的布局中看到的数据类型。简档可以是包括预定义布局和预定义数据处理的默认简档。默认简档可以基于医学成像处理***检测到的医学成像***的一个或多个参数,诸如到处理***的输入的数量和类型以及来自处理***的显示输出的数量和类型。在一些实施例中,默认简档可以基于从接收的图像数据中检测到的一个或多个参数、诸如FOV的半径或直径,其可以与成像器的类型(例如,内窥镜大小)相关联。
在步骤704处,该***接收在第一医学成像会话期间生成的第一医学成像数据。从连接到该***的一个或多个输入的一个或多个设备接收第一医学成像数据。例如,第一医学成像数据可以是从诸如内窥镜成像器的成像器接收的一系列视频帧。第一医学成像数据可以包括来自连接到该***的多个设备的数据,诸如来自多个成像器的多个视频馈送。
在步骤706处,至少部分地通过使用由第一配置中的可重新配置的硬件处理器实现的第一医学成像处理算法处理第一医学成像数据来生成增强的第一医学成像数据。可重新配置的硬件处理器使用第一医学成像处理算法和可重新配置的硬件处理器被配置以实现的任何其他算法来处理第一医学成像数据的至少一部分,如第一配置数据所定义的那样。例如,在第一配置中,可重新配置的硬件处理器可以实现烟雾检测算法,该烟雾检测算法检测接收到的图像中与视场中的烟雾相关联的部分,并增强接收到的图像以减少烟雾的出现。
第一医学成像数据的一些或全部可以通过例如主处理器、诸如中枢400的主处理单元406被路由到可重新配置的硬件处理器。主处理器可以接收第一医学成像数据,并且可以根据第一配置数据将数据路由到可重新配置的处理器。第一配置数据可以指定应当至少使用第一医学成像处理算法来处理从连接设备接收的数据。根据这一要求,主处理器可以将从连接的设备接收的数据引导到可重新配置的硬件处理器。在一些实施例中,可重新配置的处理器直接从到所连接设备的输入连接接收第一医学成像数据——即,无需首先通过一个或多个附加处理单元路由数据。
可重新配置的硬件处理器对数据的处理可以基于该***的其他处理单元的处理。例如,第一医学成像处理算法对第一医学成像数据的处理可以基于从第二处理单元接收的信息。第二处理单元可以分析第一医学成像数据中的一些或全部,并且分析的结果可以由可重新配置的硬件处理器在第一医学成像处理算法的实现中使用。例如,在上面讨论的在可重新配置的处理器中实现烟雾检测算法的实施例中,诸如中枢400的辅助处理单元410之类的辅助处理单元可以接收第一成像数据中的一些或全部,以确定在成像的视场中是否存在烟雾。在检测到烟雾时,辅助处理单元可以通知可重新配置的硬件处理器(直接或经由另一个处理单元,诸如主处理单元406),并且作为响应,可重新配置的硬件处理器可以开始处理第一成像数据以减少在数据中烟雾的贡献。
在步骤708处,由可重新配置的硬件处理器生成的增强的第一医学成像数据被显示用于在第一医学成像会话期间进行观察。例如,第一医学成像会话可以包括涉及烧灼工具的使用的内窥镜程序,并且增强的第一医学成像数据可以是内窥镜相机生成的视频馈送的增强,其中烧灼工具生成的烟雾的出现已经减少。该增强的成像可以实时显示给外科医生,使得外科医生可以更好地可视化手术野。
在一些实施例中,由另一个处理单元(诸如中枢400的主处理单元406)从可重新配置的硬件处理器接收增强的第一医学成像数据。主处理器可以生成包括增强的第一医学成像数据的一个或多个显示馈送。主处理器可以至少部分基于第一配置数据生成所述一个或多个显示馈送。例如,主处理器可以将增强的第一医学成像数据与附加信息(诸如从另一个连接设备接收的附加成像)组合,以用于在由第一配置数据所定义的显示器的不同部分中显示。
在一些实施例中,显示馈送包括与其他数据组合的增强的第一医学成像数据。例如,显示馈送可以包括用于在连接的显示器的第一部分中显示的增强的第一医学成像数据,并且可以包括用于在连接的显示器的第二部分中显示的附加信息。在一些实施例中,该***生成具有用于显示增强的成像数据的不同显示配置的多个显示馈送,并向不同的显示器提供不同的显示馈送。
图8A是根据一个实施例的医学成像处理***800的框图,其图示了方法700的步骤702-708。可重新配置的硬件处理器804被配置为使用第一成像处理算法(诸如烟雾检测和移除算法),来处理经由第一输入端口808从白光成像器810接收的成像数据。响应于与第一成像会话相关联的用户输入,主处理器802访问存储在存储器812中的第一配置数据,并且基于第一配置数据中的规范,主处理器802通过加载用于烟雾减少算法的硬件逻辑配置文件来重新配置可重新配置的硬件处理器804。此外,主处理器802将烟雾检测软件程序或模块从存储器812加载到辅助处理器806。运行烟雾检测软件程序或模块的辅助处理器806可以检测接收到的成像数据中烟雾的存在,并且可以指令可重新配置的硬件处理器804处理成像数据以减少成像数据中烟雾的影响。在辅助处理器806检测到烟雾之前,可重新配置的硬件处理器可以简单地使成像数据通过以供显示,而无需首先处理数据用于烟雾移除。主处理器可以诸如在周期性基础上向辅助处理器806提供接收到的成像数据的一个或多个部分(诸如一个或多个帧),用于检测烟雾并触发可重新配置的硬件处理器804的烟雾移除处理。***800向显示器816输出包括从白光成像器810接收的成像数据的显示馈送,该成像数据已经通过当在成像数据中检测到烟雾时移除来自烟雾的贡献而被增强。
返回方法700,在步骤710处,基于存储在存储器中的第二配置数据,可重新配置的硬件处理器被重新配置成用于第二医学成像会话的第二配置。第二配置实现了第一配置中没有实现的至少一种医学成像处理算法。
在一些实施例中,响应于指示第二医学成像会话的输入,重新配置可重新配置的硬件处理器。例如,诸如手术室护士的用户可以向医学成像处理***提供指定与第二成像会话相关联的参数的信息,诸如医学程序类型和/或执业医师身份。该一个或多个参数可以与第二配置数据相关联,并且该***可以访问第二配置数据,并且根据第二配置数据的规范配置可重新配置的硬件处理器。如上面所讨论的,指示第二医学成像会话的用户输入可以包括对简档的用户选择。取决于所选择的简档,第二成像会话可以与第一成像会话相同的执业医师相关联——例如,在相同的执业医师正在从一种类型的医学程序转变为可能需要不同显示布局的另一种类型的医学程序(诸如由于连接到医学成像处理***的不同装备或不同的增强算法)的情况下。第二成像会话可以与相同类型的医学程序但是不同的执业医师相关联。例如,第一外科医生可以在第一成像会话中对第一患者执行一种类型的外科手术(例如胆囊切除术),并且第二外科医生可以(例如,在当日晚些时候或次日)对第二患者执行相同类型的外科手术(例如,胆囊切除术)。
第一成像会话可能已经完成(例如,与第一成像会话相关联的外科或程序已经完成),并且成像***可以被设置用于在随后的第二成像会话中使用。第二成像会话可以涉及一种或多种不同类型的程序和/或可以包括一个或多个不同的用户,对此而言不同的成像处理可能是有益的。因此,第二配置实现了在第一成像会话中没有实现的一个或多个图像处理算法。可重新配置的硬件处理器被重新配置为实现如由第二配置数据定义的针对第二成像会话所要求的一个或多个图像处理算法。
在一些实施例中,第二成像会话可以是成像***将用于的第二外科会话。在完成第一成像会话之后,可以为第二外科会话设置手术室。第二外科会话可以涉及不同类型的外科手术、不同的执业医师、不同的患者等。在针对第二外科会话的设置期间,成像处理***可以接收指示第二外科会话的输入。该输入可以是例如对外科程序类型的选择或者经由到成像处理***的用户接口做出的对简档(例如,执业医师简档)的选择。基于该选择,该***可以基于与第二外科会话相关联的配置数据自动重新配置可重新配置的处理器。
在步骤712处,医学成像处理***接收在第二医学成像会话期间生成的第二医学成像数据。该第二医学成像数据可以从与第一医学成像数据相同的一个或多个连接的设备接收,或者从不同的一个或多个连接的设备接收。
在步骤714处,至少部分地通过使用在可重新配置的硬件处理器的第二配置中实现的第二医学成像处理算法处理第二医学成像数据,来生成增强的第二医学成像数据。可重新配置的硬件处理器使用第二医学成像处理算法(其未以第一配置实现)和可重新配置的硬件处理器被配置以实现的任何其他算法来处理第一医学成像数据的至少一部分,所述其他算法可以或可以没有以第一配置实现,如由第二配置数据定义的那样。例如,在第二配置中,可重新配置的硬件处理器可以实现一种算法,该算法处理荧光图像(例如,视频帧)以确定通过组织的血流的一个或多个特征(诸如组织灌注、血管位置、血流量或速率、成像组织的尺寸或其任何组合),并且根据所确定的特征来生成修改荧光图像的增强成像(修改图像的着色、在图像上覆盖数据、在图像上覆盖轮廓等)。
如在上述第一配置中,第二医学成像数据的一些或全部可以通过例如主处理器(诸如中枢400的主处理单元406)被路由到可重新配置的硬件处理器。主处理器可以接收第二医学成像数据,并且可以根据第二配置数据将数据路由到可重新配置的处理器。第二配置数据可以指定应当至少使用第二医学成像处理算法来处理从连接设备接收的数据。根据这一要求,主处理器可以将从连接设备接收的数据引导到可重新配置的硬件处理器。在一些实施例中,可重新配置的处理器直接从输入接收第一医学成像数据,即,无需首先通过一个或多个附加处理单元路由数据。
在步骤716处,由可重新配置的硬件处理器生成的增强的第二医学成像数据被显示用于在第二医学成像会话期间进行观察。增强的第二医学成像数据的显示可以在第二医学成像会话期间执行的一个或多个程序期间辅助诸如外科医生的执业医师。通过利用可重新配置的处理器的低延时和高带宽,增强的第二医学成像数据可以被实时显示。
在一些实施例中,增强的第二医学成像数据可以从可重新配置的硬件处理器传输到另一个处理单元、诸如图4的主处理单元406,其可以生成包括增强的第二医学成像数据的显示馈送。显示馈送可以由主处理器传输到一个或多个连接的显示器。在一些实施例中,可重新配置的硬件处理器可以将增强的第二医学成像数据直接传输到具有一个或多个连接的显示器的输出连接。
图8A是根据一个实施例的医学成像处理***800的框图,其图示了方法700的步骤710-716。可重新配置的硬件处理器804被重新配置为使用第二成像处理算法来处理从白光成像器810和荧光成像器818(这些可以是相同成像***的部分,并且可以在相同或不同的输入端口上接收)接收的成像数据,该第二成像处理算法分析荧光成像以根据例如组织的健康、组织中的血流程度或组织中的灌注程度来表征组织的部分,并将表征覆盖在白光成像上。响应于与第二成像会话相关联的用户输入(例如,指示对新的患者的外科会话或指示对与第一成像会话相同的患者的新的程序的输入),主处理器802访问存储在存储器812中的第二配置数据,并且基于第一配置数据中的规范,主处理器802通过加载用于组织表征算法的硬件逻辑配置文件来重新配置可重新配置的硬件处理器804。此外,主处理器802将参考标记软件程序或模块从存储器812加载到辅助处理器806。运行参考标记程序或模块的辅助处理器806可以确定例如荧光成像数据中最大和/或最小灌注的位置。由辅助处理器806生成的参考标记被添加到由可重新配置的硬件处理器生成的覆盖物(这可以由可重新配置的硬件处理器804、由主处理器802或由***的不同处理器来完成)。所得到的增强的成像数据被输出到显示器816,用于在第二成像会话期间可视化。
根据一些实施例,在可重新配置的硬件处理器中实现的组织表征算法可以提供对受试者的组织的增强视觉表示,所述增强视觉表示在数据表示方面可能更准确,并且对于临床医生用于他们的临床决策是直观的。所生成的组织的增强视觉表示可以适于各种类型的组织(例如,各种伤口,包括慢性、急性、压疮、癌性组织),并且可以提供用于自动分类组织(例如,伤口组织、癌性组织)和/或预测临床结果(例如,伤口组织的愈合时间线、癌性组织的愈合)的框架。
组织表征算法可以利用机器学习或深度学习。基于机器学习的方法和***促进解决没有算法解或者解太复杂而无法找到的问题。由于人体内发生的生理过程的复杂性质,基于组织成像的医学诊断和组织表征是特别好地适合机器学习算法的任务。机器学习可以用于发现大型数据集中的医学相关特征和模式,并且无论临床医生的经验如何,都帮助临床医生更准确、更快速、并且更一致地做出医学诊断。在一些实施例中,组织表征算法包括标识与组织的临床表征相关的数据的一个或多个属性,并基于数据的一个或多个属性将数据分类成多个聚类,使得相同聚类中的数据比不同聚类中的数据彼此更相似,其中聚类表征组织。在一些变型中,该算法可以进一步包括将相应的聚类与诸如例如荧光图像的图像时间序列中的多个子区中的每一个相关联,并且基于荧光图像的受试者时间序列中的多个子区的相关联聚类来生成受试者空间(聚类)图。该算法可以进一步包括接收多个受试者空间图并接收与每个受试者空间图相关联的元数据,将每个受试者空间图及其相关联的临床数据存储在数据库的记录中,以及使用数据库的记录作为用于生成预测模型的监督机器学习算法的输入。预测模型可以用于预测与受试者荧光图像的受试者时间序列相关联的临床数据。
图9A和9B图示了用于为新的成像会话配置诸如中枢400的医学成像处理***的图形用户接口。用户接口可以提供在例如连接到***的平板计算机上或***的触摸屏上。图9A的用户接口900使得用户能够通过选择专业902、程序904和/或执业医师906来配置为像处理***。每个选择可以与不同的配置相关联,或者选择的组合可以与配置相关联。例如,每个执业医师选择可以与先前已经由执业医师指定的不同配置相关联,而对于选择配置可能要求对专业和程序两者的选择。配置可以本地存储在***的存储器中,或者远程存储在例如医院信息***中,所述医院信息***例如经由网络连接进行访问。
图9B图示了用于定义数据源和数据源布局的用户接口910。两个显示布局(912和914)与图示的配置相关联。每个显示布局都定义了数据源以及数据源的大小和位置。第一显示布局912包括三个不同的源。如上所述,源可以定义显示的数据的类型,其可以基于生成数据的***和例如由可重新配置的处理器和/或其他***模块对数据执行的处理类型两者。照此,不同的源可以基于来自相同成像***或其他设备的数据。例如,源1可以是来自输入视频流的静止图像(例如,如经由来自执业医师的语音命令选择的),并且源3可以是视频流。用户接口910可以使得用户能够对不同的源进行选择、定位和定大小。例如,用户可以从下拉列表中选择可用的源,该下拉列表指定例如在给定到***的输入的情况下***能够生成的所有源或***能够生成的所有源。用户可以在屏幕到处拖动源图标来重新定位源,并且可以使用例如手势、鼠标输入、键盘输入或任何其他合适的输入对源重新定大小。
一旦用户完成对配置简档的选择,医学成像处理***就可以根据上述方法,根据所选配置简档中定义的要求自动配置自身。
用于收集、增强和显示医学成像数据的***(诸如图1的***100)可以包括一个或多个成像***,用于采集组织图像的时间序列(例如荧光图像的时间序列、白光图像的时间序列等)。在一些实施例中,成像***是荧光成像***。图10是根据一个实施例的荧光成像***1010的示意性示例。荧光成像***1010包括:光源1012,用于照射受试者的组织,以从受试者的组织中(例如,血液中、尿液中、淋巴液中、脊髓液或其他体液或组织中)的荧光成像剂1014诱导荧光发射;图像采集组件1016,被布置用于根据荧光发射生成荧光图像的时间序列和/或受试者时间序列;以及处理器组件1018,被布置用于根据本文所述方法的任何变型处理荧光图像的所生成的时间序列/受试者时间序列。处理器组件1018可以包括其上具有指令的存储器1068、被布置用于执行存储器1068上的指令以处理荧光图像的时间序列和/或受试者时间序列的处理器模块1062、以及存储荧光图像的未处理和/或经处理的时间序列和/或受试者时间序列的数据存储模块1064。在一些变型中,存储器1068和数据存储模块1064可以体现在相同的存储介质中,而在其他变型中,存储器1068和数据存储模块1064可以体现在不同的存储介质中。***1010可以进一步包括通信模块1066,用于根据上面讨论的***和方法,将图像和其他数据(诸如荧光图像的时间序列/受试者时间序列或其他输入数据、空间图、受试者空间图和/或组织数值(量化器)中的一些或全部)传输到成像数据处理中枢,诸如图1的成像数据处理中枢102。
在一些变型中,光源1012包括例如照射模块1020。照射模块1020可以包括荧光激发源,该荧光激发源被布置用于生成具有合适强度和合适波长的激发光,以用于激发荧光成像剂1014。如图11中所示,照射模块1020可以包括激光二极管1022(例如,其可以包括例如一个或多个光纤耦合二极管激光器),其被布置用于提供激发光以激发受试者组织中的荧光成像剂(未示出)。可以在各种实施例中使用的其他激发光源的示例包括一个或多个LED、弧光灯或足够强度和适当波长的其他发光技术,以激发组织中的荧光成像剂。例如,可以使用来自德国DILAS Diode Laser Co的一个或多个793 nm传导冷却的单棒光纤耦合激光二极管模块来激发血液中的荧光成像剂,其中荧光成像剂是具有近红外激发和发射特性的荧光染料。
在一些变型中,来自光源1012的光输出可以通过一个或多个光学元件投射,来对正在用于照射感兴趣组织区域的输出进行成形和引导。光学元件可以包括一个或多个透镜、光导和/或衍射元件,以便确保图像采集组件1016的基本上整个视场上的平坦场。可以选择荧光激发源以接近荧光成像剂1014(例如吲哚菁绿(ICG)等)的吸收最大值的波长发射。例如,如图11中所示,来自激光二极管1022的输出1024可以穿过一个或多个聚焦透镜1026,并且然后穿过均匀化光管1028,诸如例如通常可从美国纽波特公司获得的光管。最后,光可以穿过光学衍射元件1032(即,一个或多个光学漫射器),诸如例如也可从美国纽波特公司获得的磨砂玻璃衍射元件。去往激光二极管1022的功率可以由例如高电流激光驱动器(诸如可从美国Lumina Power有限公司获得的那些)提供。在图像采集过程期间,激光器可以可选地以脉冲模式操作。诸如固态光电二极管1030的光学传感器可以并入到照射模块1020中,并且可以对由照射模块1020经由来自各种光学元件的散射或漫射反射产生的照射强度进行采样。在一些变型中,当在感兴趣区域上对准和定位模块时,可以使用附加的照射源来提供引导。
再次参考图10,在一些变型中,图像采集组件1016可以是荧光成像***1010的部件,该部件被配置为从来自荧光成像剂1014的荧光发射采集荧光图像的时间序列和/或受试者时间序列。图像采集组件1016可以包括相机模块1040。如图12中所示,相机模块1040可以通过使用成像光学器件(例如,1046a、1046b、1048和1050)收集荧光发射并将荧光发射聚焦到图像传感器组件1044上,来采集来自组织中的荧光成像剂的荧光发射1042的图像。图像传感器组件1044可以包括至少一个2D固态图像传感器。固态图像传感器可以是电荷耦合器件(CCD)、CMOS传感器、CID或类似的2D传感器技术。由图像传感器组件1044转换的光学信号所产生的电荷被相机模块1040中的适当读出和放大电子器件转化成包括数字和模拟视频信号两者的电视频信号。
根据荧光成像***的示例性变型,光源可以提供约800 nm+/-10 nm的激发波长,并且图像采集组件使用> 820 nm的发射波长以及NIR兼容光学器件,用于例如ICG荧光成像。在示例性实施例中,NIR兼容光学器件可以包括具有GigE标准接口的CCD单色图像传感器和在光学格式和安装格式(例如,C/CS安装)方面与传感器兼容的透镜。
在一些变型中,处理器模块1062包括任何计算机或计算构件,诸如例如平板计算机、膝上型计算机、台式计算机、联网计算机或专用独立微处理器。例如,处理器模块1062可以包括一个或多个中央处理单元(CPU)。在示例性实施例中,处理器模块1062是具有四个CPU的四核2.5 GHz处理器,其中每个CPU是微处理器,诸如64位微处理器(例如,作为英特尔酷睿i3、i5或i7销售,或者在AMD酷睿FX系列中)。然而,在其他实施例中,处理器模块1062可以是具有任何合适数量的CPU和/或其他合适的时钟速度的任何合适的处理器。
处理器模块1062的输入可以取自例如图12中所示的相机模块1040的图像传感器1044、图11中的照射模块1020中的固态光电二极管1030、和/或任何外部控制硬件(诸如脚踏开关或遥控器)。输出被提供给激光二极管驱动器和光学对准辅助设备。如图10中所示,在一些变型中,处理器组件1018可以具有数据存储模块1064,该数据存储模块1064具有将图像的时间序列/受试者时间序列、或其代表数据、或其他输入数据保存到有形的非暂时性计算机可读介质(诸如例如,内部存储器(例如,硬盘或闪速存储器))的能力,以便使得能够记录和处理采集的数据。在一些变型中,处理器模块1062可以具有内部时钟,以使得能够控制各种元件,并确保照射和传感器快门的正确定时。在一些变型中,处理器模块1062还可以提供用户输入和输出的图形显示。荧光成像***可以可选地配置有通信单元1066、诸如有线或无线网络连接或视频输出连接,用于在荧光图像的时间序列被采集时或在记录之后回放荧光图像的时间序列时传输所述荧光图像的时间序列。通信单元1066可以附加地或可替代地传输经处理的数据,诸如空间图、受试者空间图和/或组织数值。
在图10-12中描述的示例性***的操作中,受试者相对于荧光成像***1010定位,使得感兴趣区域(例如,目标组织区)位于光源1012和图像采集组件1016下方,使得光源1012的照射模块1020基本上跨整个感兴趣区域产生基本上均匀的照射场。在一些变型中,在给受试者施用荧光成像剂1014之前,出于背景减除的目的,可以采集感兴趣区域的图像。为了采集荧光图像/受试者荧光图像,荧光成像***1010的操作者可以通过按下远程开关或脚控,或者经由连接到处理器组件1018的键盘(未示出)来启动荧光图像的时间序列/受试者时间序列的采集。作为结果,光源1012被打开,并且处理器组件1018开始记录由图像采集组件1016提供的荧光图像数据/受试者荧光图像数据。当在该实施例的脉冲模式下操作时,相机模块1040中的图像传感器1044被同步以收集跟随由照射模块1020中的二极管激光器822产生的激光脉冲的荧光发射。以此方式,记录了最大荧光发射强度,并优化了信噪比。在该实施例中,荧光成像剂1014被施用于受试者,并经由动脉流输送到感兴趣区域。例如,在施用荧光成像剂1014后不久,启动荧光图像的时间序列/受试者时间序列的采集,并且贯穿于荧光成像剂1014的进入而从基本上整个感兴趣区域采集荧光图像的时间序列。来自感兴趣区的荧光发射由相机模块1040的收集光学器件收集。剩余的环境和反射激发光被相机模块1040中的后续光学元件(例如,图12中的光学元件1050,其可以是滤波器)衰减,使得可以在来自其他源的光的干扰最小的情况下由图像传感器组件1044采集荧光发射。
在一些变型中,在荧光图像的时间序列/受试者时间序列的采集或生成之后,处理器组件1018(例如,处理器模块1062或其他处理器)然后可以被启动以执行存储在存储器1068上的指令,并在传输到成像数据处理***(例如,***100的中枢102)之前处理成像数据。***1010可以经由连接1066传输空间图/受试者空间图和/或从其导出的任何临床相关性或诊断或者两者,以用于在合成显示馈送中作为例如灰度或假彩色图像显示给用户,和/或存储以供后续使用。
图13示出了图1的***100的内窥镜外科推车实施例。推车10可以用于例如手术室中,用于内窥镜程序期间的内窥镜成像和显示。推车10包括成像***,诸如图10的荧光成像***1010。成像***包括可以在内窥镜程序中利用的镜组件11。镜组件11合并有内窥镜或镜12,其通过位于相机头16远端处的耦合器13耦合到相机头16。光源14经由光导26(诸如光纤电缆)向镜提供光。相机头16通过电缆15耦合到相机控制单元(CCU)18。CCU 18优选连接到光源14并与之通信。相机16的操作部分由CCU 18控制。电缆15将视频图像数据从相机头16传送到CCU 18,并在相机头16和CCU 18之间双向传送各种控制信号。在一个实施例中,相机头16输出的图像数据是数字的。
控制或开关布置17被提供在相机头16上,并允许用户手动控制推车10的各种功能。语音命令可以输入到安装在由外科医生佩戴的耳机27上并且耦合到语音控制单元23的麦克风25中。推车10可以包括手持控制设备21,诸如具有触摸屏用户接口的平板计算机或PDA,其可以耦合到推车10作为另外的控制接口。推车10还包括成像数据处理中枢31,诸如图1的中枢102或图4的中枢400,其经由一个或多个电缆连接耦合到成像***,用于从成像***接收图像和/或视频,处理图像和/或视频,并根据本文所述的方法生成用于在显示器20上显示的显示馈送。成像数据处理中枢可以经由语音控制单元和/或通过手持控制设备接收用户输入。
推车10可以包括一个或多个附加设备33,诸如成像记录设备或外科工具控制设备,其可以耦合到成像数据处理中枢。成像数据处理中枢31可以从一个或多个附加设备33接收信息,诸如设备警告、设备状态和设备设置。在一些实施例中,附加设备33是视频记录器,并且成像数据处理中枢31可以向视频记录器传输一个或多个显示馈送以供记录。
其上嵌入有计算机可执行(可读)程序代码的有形非暂时性计算机可读介质可以提供指令,用于在执行所述指令时引起一个或多个处理器执行本文描述的一个或多个方法。程序代码可以用任何适当的编程语言编写,并以许多形式递送给处理器,包括例如但不限于永久存储在不可写存储介质(例如只读存储器设备,诸如ROM、CD-ROM盘等)上的信息、可更改地存储在可写存储介质(例如,硬盘驱动器等)上的信息、通过通信介质传送到处理器的信息,所述通信介质诸如是局域网、公共网络(诸如,互联网)或适于存储电子指令的任何类型的介质。当承载实现本文描述的方法的各种实施例的计算机可读指令时,这样的计算机可读介质表示各种实施例的示例。在各种实施例中,有形的非暂时性计算机可读介质包括所有计算机可读介质,并且本发明的范围限于计算机可读介质,其中该介质既是有形的又是非暂时性的。
套件可以包括本文所述***的任何部分和荧光成像剂,诸如例如荧光染料(诸如ICG)或任何合适的荧光成像剂。在另外的方面,该套件可以包括有形的非暂时性计算机可读介质,其上嵌入有计算机可执行(可读)程序代码,该程序代码可以提供指令,用于在执行指令时引起一个或多个处理器执行本文描述的用于表征组织和/或预测临床数据的一个或多个方法。该套件可以包括用于使用其至少一些部件(例如,用于使用荧光成像剂、用于安装其上嵌入有指令的计算机可执行(可读)程序代码等)的指令。在又另外的方面,提供了用于本文所述方法和***中使用的荧光成像剂,诸如例如荧光染料。在另外的变型中,套件可以包括本文所述***的任何部分或整个***,以及荧光剂、诸如例如荧光染料(诸如ICG)或任何其他合适的荧光剂或荧光剂的组合。
用于在生成成像数据中使用的示例成像剂
根据一些实施例,在荧光医学成像应用中,成像剂是荧光成像剂,诸如例如ICG染料。当对受试者施用ICG时,它与血液蛋白结合,并与组织中的血液一起循环。荧光成像剂(例如,ICG)可以以适于成像的浓度作为丸剂注射(bolus injection)(例如,进入静脉或动脉)施用于受试者,使得丸剂在脉管***中循环并穿过微脉管。在其中使用多种荧光成像剂的其他实现中,这样的试剂可以例如在单个丸剂中施用同时施用,或者在分离的丸剂中依次施用。在一些实施例中,荧光成像剂可以通过导管施用。在某些实施例中,荧光成像剂可以在执行由荧光成像剂产生的信号强度的测量前短于一小时施用。例如,荧光成像剂可以在测量前短于30分钟施用于受试者。在又其他的实施例中,可以在执行测量前至少30秒施用荧光成像剂。在再其他的实施例中,荧光成像剂可以在执行测量的同时施用。
根据一些实施例,荧光成像剂可以以各种浓度施用,以在血液中实现期望的循环浓度。例如,在荧光成像剂是ICG的实施例中,可以以约2.5 mg/mL的浓度施用,以实现血液中约5
Figure 493984DEST_PATH_IMAGE001
至约10
Figure 614387DEST_PATH_IMAGE001
的循环浓度。在各种实施例中,对施用荧光成像剂的浓度上限是荧光成像剂在循环血液中变得具有临床毒性的浓度,并且浓度下限是用于采集由随血液循环的荧光成像剂产生的信号强度数据以检测荧光成像剂的仪器极限。在各种其他实施例中,对于施用荧光成像剂的浓度上限是荧光成像剂变得自猝灭处的浓度。例如,ICG的循环浓度可以在从约2
Figure 394124DEST_PATH_IMAGE001
至约10
Figure 54913DEST_PATH_IMAGE001
的范围内。因此,在一个方面,根据各种实施例,所述方法包括对受试者施用成像剂(例如荧光成像剂)和在处理信号强度数据之前采集信号强度数据(例如视频)的步骤。在另一个方面,所述方法排除了给受试者施用成像剂的任何步骤。
根据一些实施例,用于在荧光成像应用中使用以生成荧光图像数据的合适的荧光成像剂是一种成像剂,其能够随着血液循环(例如,可以随着例如血液的成分(诸如血液中的脂蛋白或血清血浆)循环的荧光染料)并经过组织的脉管***(即,大血管和微脉管),并且当成像剂暴露于适当的光能(例如,激发光能或吸收光能)时,从该成像剂产生信号强度。在各种实施例中,荧光成像剂包括荧光染料、其类似物、其衍生物或这些的组合。荧光染料包括任何无毒的荧光染料。在某些实施例中,荧光染料最佳地发射NIR光谱中的荧光。在某些实施例中,荧光染料是或包含三碳菁染料。在某些情况下,荧光染料是或包含ICG、亚甲蓝或其组合。在其他实施例中,荧光染料是或包含异硫氰酸荧光素、若丹明、藻红蛋白、藻蓝蛋白、别藻蓝蛋白、邻苯二甲醛、荧光胺、玫瑰红、台盼蓝、荧光金或其组合,它们是使用适合于每种染料的激发光波长可激发的。在一些实施例中,可以使用荧光染料的类似物或衍生物。例如,荧光染料类似物或衍生物包括已经被化学修饰但是当暴露于适当波长的光能时仍然保持其发荧光的能力的荧光染料。
在各种实施例中,荧光成像剂可以作为冻干粉、固体或液体提供。在某些实施例中,荧光成像剂可以在小瓶(例如,无菌小瓶)中提供,这可以准许通过用无菌注射器施用无菌流体来重新配制至合适的浓度。可以使用任何适当的载体或稀释剂执行重新配制。例如,荧光成像剂可以紧接地在施用之前用水性稀释剂重新配制。在各种实施例中,可以使用将荧光成像剂保持在溶液中的任何稀释剂或载体。作为示例,ICG可以用水重新配制。在一些实施例中,一旦荧光成像剂被重新配制,它就可以与附加的稀释剂和载体混合。在一些实施例中,荧光成像剂可以与另一种分子(诸如蛋白质、肽、氨基酸、合成聚合物或糖)缀合,例如以增强溶解性、稳定性、成像属性或其组合。可以可选地添加附加的缓冲剂,包括Tris、HCl、NaOH、磷酸盐缓冲液和/或HEPES。
本领域技术人员应当领会,尽管上面详细描述了荧光成像剂,但是取决于光学成像模态,其他成像剂也可以与本文描述的***、方法和技术结合使用。这样的荧光剂可以施用到体液(例如淋巴液、脊髓液)或身体组织中。
在一些变型中,与本文描述的方法、***和套件结合使用的荧光成像剂可以用于血流成像、组织灌注成像、淋巴成像或其组合,其可以在有创外科程序、微创外科程序、无创外科程序或其组合期间执行。可能涉及血流和组织灌注的有创外科程序的示例包括心脏相关外科程序(例如,体外循环或非体外循环的CABG)或重建外科程序。无创或微创外科程序的示例包括伤口(例如慢性伤口,诸如例如压疮)治疗和/或管理。在这点上,例如,可以在应用所述方法和***的情况下随时间的推移追踪伤口的改变,诸如伤口尺寸(例如,直径、面积)的改变,或者伤口中和/或围绕伤口周围的组织灌注的改变。淋巴成像的示例包括标识一个或多个***、***引流、淋巴标测或其组合。在一些变型中,这样的淋巴成像可能与女性生殖***(例如,子宫、子宫颈、外阴)相关。
在与心脏应用相关的变型中,可以通过例如中心静脉管线、旁路泵和/或心脏停搏液管线在静脉内注射(一种或多种)成像剂(例如,单独的ICG或与另一种成像剂组合),以使冠状脉管***、微脉管***和/或移植物流动和/或对其进行灌注。ICG可以作为稀释的ICG/血液/盐水溶液顺着移植血管施用,使得冠状动脉中ICG的最终浓度与将约2.5 mg(即2.5mg/ml的1 ml)注射到中心管线或旁路泵中所产生的相比近似相同或更低。ICG可以通过将例如25 mg固体溶解在可以由制造商与ICG一起提供的10 ml无菌水性溶剂中来制备。一毫升ICG溶液可以与500 ml无菌盐水混合(例如,通过将1 ml的ICG注射到500 ml的盐水袋中)。可以将三十毫升稀释的ICG/盐水溶液添加到10 ml的受试者的血液,该血液可以以无菌方式从中心动脉管线或旁路泵中获得。血液中的ICG与血浆蛋白结合,并且促进防止从血管中漏出。ICG与血液的混合可以使用无菌外科领域内的标准无菌技术执行。对于每个移植物可以施用10 ml的ICG/盐水/血液混合物。ICG可以借助于附接到移植物(开放的)近端的注射器进行施用,而不是使用针通过移植物的壁注射来施用ICG。当收获了移植物时,外科医生按惯例将适配器附接到移植物的近端,使得它们可以附接充满盐水的注射器,密封移植物的远端,并将盐水顺着移植物注射,对移植物加压,并且因此在执行第一次吻合术之前(关于泄漏、侧分支等)评估导管的完整性。在其他变型中,如本文结合心脏成像描述的方法、剂量或其组合可以用于任何血管和/或组织灌注成像应用中。
淋巴标测是通过淋巴***扩散的癌症(例如乳腺癌、胃癌、妇科癌症)的有效外科分期的重要部分。从特定的***盆中切除多个***可能导致严重的并发症,包括急性或慢性淋巴水肿、感觉异常和/或血清肿的形成,而事实上,如果前哨***转移阴性,周围的***也将最可能是阴性的。例如,在乳腺癌外科手术中,肿瘤引流***(LN)的标识已经成为对通过淋巴***扩散的癌症进行分期的重要步骤。LN标测涉及使用染料和/或放射性示踪剂来标识LN,用于活检或切除以及随后针对转移的病理评估。外科分期时的***切除术的目标是标识和移除处于癌症局部扩散高风险的LN。前哨***(SLN)标测已经作为乳腺癌治疗中一种有效的外科策略出现。它一般基于这样的概念,即转移(癌症向腋窝LN的扩散)——如果存在的话,则应当位于SLN中,SLN在本领域中被定义为癌细胞最有可能从原发肿瘤扩散到的第一个LN或第一组***。如果SLN转移阴性,那么周围的二级和三级LN也应当是阴性的。SLN标测的主要益处是减少接受传统部分或完全***切除术的受试者数量,并且因此减少遭受相关联发病(诸如淋巴水肿和淋巴囊肿)的受试者数量。
针对SLN标测的当前护理标准包括注射示踪剂,其标识从原发性肿瘤的淋巴引流途径。所使用的示踪剂可以是放射性同位素(例如锝-99或Tc-99m),用于利用伽马探头进行术中定位。放射性示踪技术(被称为闪烁照相术)仅限于对放射性同位素的取得需要核医师的参与的医院,并且不提供实时视觉引导。还使用了彩色染料——异硫蓝,然而该染料不能透过皮肤和脂肪组织被看到。此外,蓝色染色导致***纹身持续几个月,皮下注射可能伴随皮肤坏死,并且还报告了罕见过敏症的过敏反应。注射异硫蓝之后发生了严重过敏反应(近似2%的患者)。表现包括呼吸窘迫、休克、血管性水肿、荨麻疹和瘙痒。反应更可能发生在有支气管哮喘病史的受试者中,或对三苯甲烷染料过敏或有药物反应的受试者中。已知异硫蓝会干扰脉搏血氧测定法的氧饱和度测量和气体分析仪的高铁血红蛋白测量。使用异硫蓝可能导致短暂或长期(纹身)的蓝色着色。
相比之下,根据各种实施例的用于在SLN可视化、标测中使用的荧光成像促进术中对LN和/或传入淋巴道的直接实时视觉标识,促进通过皮肤和脂肪组织的实时高分辨率光学引导、血流可视化、组织灌注或其组合。
在一些变型中,荧光成像期间***的可视化、分类或两者可以基于一种或多种成像剂的成像,其可以进一步基于利用伽马探头的可视化和/或分类(例如,锝Tc-99m是透明、无色的水溶液,并且典型地根据标准护理注射到乳晕周围区域中)、另一种常规使用的彩色成像剂(异硫蓝)和/或其他评估(诸如例如组织学)。受试者的***可以例如利用约1%的异硫蓝注射两次(为了比较的目的),并且利用具有约为2.5 mg/ml浓度的ICG溶液注射两次。异硫蓝的注射可以先于ICG的注射,或者反之亦然。例如,使用TB注射器和30 G针,可以利用0.4 ml(每个部位处0.2 ml)的异硫蓝在***的乳晕周围区域中给处于麻醉的受试者进行注射。对于右***,受试者可以在12点和9点钟位置处被注射,并且对于左***,可以在12点和3点钟位置处被注射。向每个***中皮内注射异硫蓝的总剂量可以约为4.0mg(0.4ml的1%溶液:10mg/ml)。在另一个示例性变型中,受试者可以首先接受ICG注射,继之以异硫蓝(用于比较)。紧接地在ICG施用之前,一小瓶25 mg的ICG可以利用注射用的10 ml无菌水重新配制以产生2.5 mg/ml的溶液。例如,使用TB注射器和30G针,可以利用约0.1 ml(每个部位处0.05 ml)的ICG在***的乳晕周围区域中给受试者进行注射(对于右***,注射可以在12点和9点钟位置处执行,并且对于左***,可以在12点和3点钟位置处执行)。向每个***中皮内注射ICG的总剂量可以约为0.25 mg(0.1 ml的2.5 mg/ml溶液)。例如,可以以每次注射5至10秒的速率注射ICG。当皮内注射ICG时,ICG蛋白的结合属性引起其迅速被淋巴吸收,并通过传导血管移动到LN。在一些变型中,ICG可以以无菌冻干粉的形式提供,该冻干粉含有25 mg ICG和不超过5%的碘化钠。ICG可以利用由注射用无菌水组成的水性溶剂包装,该水性溶剂用于重新配制ICG。在一些变型中,乳腺癌前哨***标测中的ICG剂量(mg)可以在从约0.5 mg至约10 mg的范围内,这取决于施用途径。在一些变型中,ICG剂量可以是约0.6mg到约0.75 mg,约0.75 mg到约5 mg,约5 mg到约10mg。施用途径可以是例如皮下、皮内(例如进入乳晕周围区中)、皮下、覆盖肿瘤的皮肤、最接近肿瘤的乳晕中皮内、皮下进入乳晕中、肿瘤上方皮内、整个***上的乳晕周围或其组合。NIR荧光正LN(例如,使用ICG)可以被表示为例如(一个或多个)黑白NIR荧光图像和/或完全或部分彩色(白光)图像、完全或部分去饱和白光图像、增强彩色图像、覆盖物(例如,荧光与任何其他图像)、合成图像(例如,荧光并入到另一图像中),其可以具有各种颜色、各种去饱和水平或各种颜色范围,以突出/可视化某些感兴趣的特征。可以进一步执行图像的处理,用于进一步的可视化和/或其他分析(例如,量化)。根据美国乳腺外科医生学会(ASBrS)乳腺癌患者SLN活检的实践指南,可以使用根据ICG和SLN的各种实施例的荧光成像***和方法单独或与伽马探头(Tc-99m)组合来(例如,在术中、实时)可视化***和***。用于LN的荧光成像可以从注射部位开始,其通过追踪通向腋窝中的LN的淋巴道。一旦LN的视觉图像被标识,LN标测和LN的标识就可以通过切开的皮肤来完成,可以执行LN标测,直到ICG可视化***被标识为止。为了比较,可以利用异硫蓝执行标测,直到标识出“蓝色”***为止。单独利用ICG或与另一种成像技术(例如异硫蓝和/或Tc-99m)组合标识的LN可以被标记为切除。受试者可能患有不同期的乳腺癌(例如,IA、IB、IIA)。
在一些变型中,诸如例如,在妇科癌症(例如,子宫、子宫内膜、外阴和宫颈恶性肿瘤)中,可以间质施用ICG以用于可视化***、淋巴道或其组合。当间质注射时,ICG的蛋白结合属性引起其迅速被淋巴吸收,并通过传导血管移动到SLN。ICG可以以无菌冻干粉的形式提供以供注射,该冻干粉含有25 mg ICG(例如,25mg/小瓶)和不超过5%的碘化钠。然后,ICG可以在使用前利用市售注射用水(无菌)重新配制。根据一个实施例,可以在20 ml注射用水中重新配制含有25 mg ICG的小瓶,从而得到1.25 mg/ml的溶液。总共4 ml的这种1.25mg/ml的溶液将被注射到受试者体内(4×1ml注射),每个受试者的ICG总剂量为5 mg。也可以利用1ml的10mg/ml的1%异硫蓝溶液注射四(4)次子宫颈(用于比较目的),总剂量为40mg。注射可以在受试者在手术室中处于麻醉时执行。在一些变型中,妇科癌症前哨***检测和/或标测中的ICG剂量(mg)可以在从约0.1 mg至约5 mg的范围内,这取决于施用途径。在一些变型中,ICG剂量可以是约0.1mg至约0.75 mg、约0.75 mg至约1.5 mg、约1.5 mg至约2.5 mg、约2.5 mg至约5 mg。施用途径可以是例如宫颈注射、外阴瘤周注射、宫腔镜子宫内膜注射或其组合。为了最小化将切除LN时干扰标测程序的异硫蓝或ICG的溢出,可在半骨盆上执行标测,并在切除任何LN之前利用异硫蓝和ICG两者执行标测。临床I期子宫内膜癌的LN标测可以根据如下各项执行:NCCN宫体肿瘤的指南,子宫内膜癌的SLN外科分期算法;并且临床I期***的SLN标测可以根据如下各项执行:NCCN***指南,早期***的外科/SLN标测算法。因此,LN的标识可以单独基于ICG荧光成像,或者与比色染料(异硫蓝)和/或放射性示踪剂组合或共同施用。
***的可视化可以是定性和/或定量的。这样的可视化可以包括例如***检测、检测率、***的解剖分布。根据各种实施例的***可视化可以单独使用或者与其他变量(例如,生命体征、身高、体重、人口统计学、外科预测因素、相关医学史和潜在状况、组织学可视化和/或评估、Tc-99m可视化和/或评估、伴随药物)组合使用。随访可能发生在出院之日以及随后的日期(例如一个月)。
淋巴液包括高水平的蛋白质,因此ICG在进入淋巴***时可以与内源性蛋白质结合。当根据本文所述的方法和***使用时,用于淋巴标测的荧光成像(例如,ICG成像)提供了以下示例优点:高信号与背景比(或肿瘤与背景比),因为NIR不生成显著的自体荧光;用于淋巴标测的实时可视化特征;组织定义(即,结构可视化);进入血管***之后的迅速***和消除;以及避免非电离辐射。此外,NIR成像具有优于可见光(1至3 mm的组织)的组织穿透性(近似5至10毫米的组织)。例如,ICG的使用也促进通过覆盖主动脉旁***的腹膜进行可视化。尽管用NIR光可以在延长的时段内观察到组织荧光,但它用可见光是无法看见的,并且因此不影响LN的病理评定或处理。此外,荧光比***的蓝色染色(等色蓝)更容易在外科手术中发现。在其它变型中,如本文结合淋巴成像描述的方法、剂量或其组合可以用在任何血管和/或组织灌注成像应用中。
组织灌注涉及每单位组织体积血液的微循环流,其中氧气和营养物质被提供给被灌注组织的毛细血管床,并且废物被从被灌注组织的毛细血管床中移除。组织灌注是一种与血管中的血流相关但又不同的现象。通过血管的量化血流可以用定义流量(即体积/时间)或定义速度(即距离/时间)的术语来表达。组织血液灌注定义了血液在组织体积内通过微脉管***(诸如小动脉、毛细血管或小静脉)的移动。量化的组织血液灌注可以用通过组织体积的血流的术语来表达,即血液体积/时间/组织体积(或组织质量)。灌注与营养血管(例如,被称为毛细血管的微血管)相关联,所述血管包括与血液和组织之间的代谢物交换相关联的血管,而不是较大直径的非营养血管。在一些实施例中,目标组织的量化可以包括计算或确定与目标组织相关的参数或量(诸如速率、大小体积、时间、距离/时间和/或体积/时间),和/或改变量——因为其与任何一个或多个前述参数或量相关。然而,与通过较大直径血管的血液移动相比,通过单独的毛细血管的血液移动可能高度不稳定,这主要是由于血管运动,其中血管张力的自发振荡表现为红细胞移动的脉动。在一些实施例中,本文结合***和方法描述的血流和组织灌注成像可以用于对肿瘤组织成像,并将这样的组织与其他组织区分开。
为了解释的目的,已经参考具体实施例描述了前述描述。然而,上面的说明性讨论并不旨在穷举或将本发明限制于所公开的精确形式。鉴于上面的教导,许多修改和变型是可能的。选择和描述了实施例以便最好地解释技术的原理及其实际应用。从而使得本领域的其他技术人员能够在适合于设想的特定用途的各种修改的情况下最好地利用所述技术和各种实施例。
尽管已经参考附图充分描述了本公开和示例,但是应当注意,各种变化和修改对于本领域技术人员来说将变得显而易见。这些变化和修改应当被理解为包括在由权利要求限定的本公开和示例的范围内。最后,本申请中提及的专利和出版物的全部公开内容通过引用并入本文。

Claims (103)

1.一种配置医学成像处理***的方法,所述方法包括:
基于存储在存储器中的第一配置数据,将医学成像处理***的可重新配置的硬件处理器配置成用于第一医学成像会话的第一配置,其中第一配置实现至少第一医学成像处理算法;
接收在第一医学成像会话期间生成的第一医学成像数据;
至少部分地通过使用在第一配置中实现的第一医学成像处理算法处理第一医学成像数据来生成增强的第一医学成像数据;
显示用于在第一医学成像会话期间进行观察的增强的第一医学成像数据;
基于存储在存储器中的第二配置数据,将可重新配置的硬件处理器重新配置成用于第二医学成像会话的第二配置,其中第二配置至少实现在第一配置中未实现的第二医学成像处理算法;
接收在第二医学成像会话期间生成的第二医学成像数据;
至少部分地通过使用在第二配置中实现的第二医学成像处理算法处理第二医学成像数据来生成增强的第二医学成像数据;以及
在显示器上显示用于在第二医学成像会话期间进行观察的增强的第二医学成像数据。
2.根据权利要求1所述的方法,包括接收指示第二医学成像会话的输入,以及响应于接收到所述输入,自动将可重新配置的硬件处理器重新配置成第二配置。
3.根据权利要求2所述的方法,其中所述输入包括对医学程序类型的选择。
4.根据权利要求2或权利要求3所述的方法,其中所述输入包括用户简档的选择。
5.根据权利要求2-4中任一项所述的方法,其中所述输入包括默认配置简档的选择。
6.根据权利要求5所述的方法,其中默认配置简档基于从一个或多个外部设备到医学成像处理***的一个或多个连接。
7.根据权利要求6所述的方法,其中默认配置简档基于所连接的外部设备的视场。
8.根据前述权利要求中任一项所述的方法,其中第一配置与第一类型的医学程序相关联,并且第二配置与第二类型的医学程序相关联。
9.根据权利要求8所述的方法,其中第一医学成像会话包括对患者执行第一类型的医学程序,并且第二医学成像会话包括对患者执行第二类型的医学程序。
10.根据前述权利要求中任一项所述的方法,其中第一配置与第一用户简档相关联,并且第二配置与第二用户简档相关联。
11.根据权利要求10所述的方法,其中第一医学成像会话包括对患者成像,并且第二医学成像会话包括对患者成像。
12.根据权利要求10或权利要求11所述的方法,其中第一配置数据和第二配置数据均与相同类型的医学程序相关联。
13.根据前述权利要求中任一项所述的方法,其中第一医学成像会话是第一外科会话,并且第二医学成像会话是第二外科会话。
14.根据前述权利要求中任一项所述的方法,其中在第二配置中实现的所述至少一个医学成像处理算法包括烟雾检测算法,并且生成增强的第二医学成像数据包括增强与烟雾相关联的一个或多个图像的一个或多个部分的清晰度。
15.根据前述权利要求中任一项所述的方法,其中第一医学成像处理算法被配置为检测成像组织的特征。
16.根据权利要求15所述的方法,其中成像组织的特征是组织灌注、血管位置、血流量、成像组织的尺寸或其组合。
17.根据前述权利要求中任一项所述的方法,其中增强的第二医学成像数据包括在第二医学成像数据的至少一部分上的覆盖物。
18.根据前述权利要求中任一项所述的方法,其中可重新配置的硬件处理器在成像开始之前被重新配置。
19.根据前述权利要求中任一项所述的方法,其中一个或多个医学成像处理算法在第一配置和第二配置两者中实现。
20.根据前述权利要求中任一项所述的方法,其中第二医学成像数据包括视频帧和图像中的至少一个。
21.根据前述权利要求中任一项所述的方法,其中第二医学成像数据是从内窥镜成像***接收的。
22.根据权利要求21所述的方法,其中第二医学成像数据是从相机控制单元接收的。
23.根据前述权利要求中任一项所述的方法,其中可重新配置的硬件处理器是FPGA或GPU。
24.根据前述权利要求中任一项所述的方法,包括从第一设备接收第二医学成像数据,从第二医学设备接收数据,以及向显示器输出显示馈送,所述显示馈送包括增强的第二医学成像数据和来自第二医学设备的数据的至少一部分。
25.根据权利要求24所述的方法,包括在第一处理器处接收第二医学成像数据和来自第二医学设备的数据,将第二医学成像数据从第一处理器传输到可重新配置的硬件处理器,在第一处理器处接收来自可重新配置的硬件处理器的增强的第二医学成像数据,以及由第一处理器通过将增强的第二医学成像数据与和第二医学设备相关联的数据的至少一部分组合来生成显示馈送。
26.根据前述权利要求中任一项所述的方法,其中第一配置数据被存储在远程存储器中,并且经由网络连接被接收。
27.一种用于显示医学成像数据的方法,包括:
接收由第一医学成像设备生成的第一图像数据,其中第一图像数据包括视场(FOV)部分和非FOV部分;
标识第一图像数据的非FOV部分;
通过移除第一图像数据的非FOV部分的至少一部分来生成裁剪的第一图像数据;以及
在显示器的第一部分中显示裁剪的第一图像数据,并且在显示器的第二部分中显示附加信息。
28.根据权利要求27所述的方法,其中使用边缘检测来标识非FOV部分。
29.根据权利要求28所述的方法,其中第一图像数据包括一系列视频帧,并且所述边缘检测在多于一帧上执行。
30.根据权利要求27-29中任一项所述的方法,其中使用FOV部分的中心位置和与FOV部分的尺寸相关联的测量中的一个或多个来标识非FOV部分。
31.根据权利要求30所述的方法,其中在成像会话初始化过程期间,确定FOV部分的中心位置和与FOV部分的尺寸相关联的测量。
32.根据权利要求31所述的方法,其中成像会话初始化过程是白平衡过程。
33.根据权利要求27-32中任一项所述的方法,其中第一图像数据包括矩形图像或视频帧,并且FOV部分是矩形图像或视频帧的圆形部分。
34.根据权利要求27-33中任一项所述的方法,其中第一图像数据包括视频帧。
35.根据权利要求27-34中任一项所述的方法,其中在医学成像处理***的第一输入上接收第一图像数据,并且附加信息基于在医学成像处理***的第二输入上接收的数据。
36.根据权利要求35所述的方法,包括将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和附加信息的组合。
37.根据权利要求27-36中任一项所述的方法,进一步包括:
接收由第二医学成像设备生成的第二图像数据;
标识第二图像数据的非FOV部分;
通过移除第二图像数据的非FOV部分的至少一部分来生成裁剪的第二图像数据;以及
在显示器的第二部分中显示裁剪的第二图像数据。
38.根据权利要求37所述的方法,其中在医学成像处理***的第一输入上接收第一图像数据,并且在医学成像处理***的第二输入上接收第二图像数据。
39.根据权利要求38所述的方法,包括将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和裁剪的第二图像数据的组合。
40.根据权利要求27-39中任一项所述的方法,其中基于存储在存储器中的配置数据,将裁剪的第一图像数据和附加信息定位在显示器上。
41.根据权利要求40所述的方法,其中配置数据包括用户指定的配置数据。
42.根据权利要求41所述的方法,其中配置数据是经由网络连接接收的。
43.根据权利要求27-42中任一项所述的方法,其中从内窥镜成像***、术中C型臂成像***或超声***接收第一图像数据。
44.根据权利要求43所述的方法,其中从相机控制单元接收第一图像数据。
45.根据权利要求27-44中任一项所述的方法,其中附加信息包括患者数据、度量、图表、图像、设备状态和视频馈送中的一个或多个。
46.一种可重新配置的医学成像处理***,包括:
显示器;
存储器;
可重新配置的硬件处理器;和
第二处理器,被配置用于:
基于存储在存储器中的第一配置数据,将可重新配置的硬件处理器配置成用于第一医学成像会话的第一配置,其中第一配置中的可重新配置的硬件处理器被配置为实现至少第一医学成像处理算法,并且至少部分地通过使用第一医学成像处理算法处理第一医学成像数据来生成用于在显示器上显示的增强的第一医学成像数据,以及
基于存储在存储器中的第二配置数据将可重新配置的硬件处理器重新配置成用于第二医学成像会话的第二配置,其中第二配置中的可重新配置的硬件处理器被配置为实现至少第二医学成像处理算法,并且至少部分地通过使用第二医学成像处理算法处理第二医学成像数据来生成用于在显示器上显示的增强的第二医学成像数据。
47.根据权利要求46所述的***,其中第二处理器被配置为接收指示第二医学成像会话的输入,并且响应于接收到所述输入,自动将可重新配置的硬件处理器重新配置成第二配置。
48.根据权利要求47所述的***,其中所述输入包括对医学程序类型的选择。
49.根据权利要求47或权利要求48所述的***,其中所述输入包括用户简档的选择。
50.根据权利要求47-49中任一项所述的***,其中所述输入包括默认配置简档的选择。
51.根据权利要求50所述的***,其中默认配置简档基于从一个或多个外部设备到所述医学成像处理***的一个或多个连接。
52.根据权利要求51所述的***,其中默认配置简档基于所连接的外部设备的视场。
53.根据权利要求46-52中任一项所述的***,其中第一配置与第一类型的医学程序相关联,并且第二配置与第二类型的医学程序相关联。
54.根据权利要求53所述的***,其中第一医学成像会话包括对患者执行第一类型的医学程序,并且第二医学成像会话包括对患者执行第二类型的医学程序。
55.根据权利要求46-54中任一项所述的***,其中第一配置与第一用户简档相关联,并且第二配置与第二用户简档相关联。
56.根据权利要求55所述的***,其中第一医学成像会话包括对患者成像,并且第二医学成像会话包括对患者成像。
57.根据权利要求55或56所述的***,其中第一配置数据和第二配置数据均与相同类型的医学程序相关联。
58.根据权利要求46-57中任一项所述的***,其中第一医学成像会话是第一外科会话,并且第二医学成像会话是第二外科会话。
59.根据权利要求46-58中任一项所述的***,其中在第二配置中实现的所述至少一个医学成像处理算法包括烟雾检测算法,并且生成增强的第二医学成像数据包括增强与烟雾相关联的一个或多个图像的一个或多个部分的清晰度。
60.根据权利要求46-59中任一项所述的***,其中第一医学成像处理算法被配置为检测成像组织的特征。
61.根据权利要求60所述的***,其中成像组织的特征是组织灌注、血管位置、血流量、成像组织的尺寸或其组合。
62.根据权利要求46-61中任一项所述的***,其中增强的第二医学成像数据包括在第二医学成像数据的至少一部分上的覆盖物。
63.根据权利要求46-62中任一项所述的***,其中所述***被配置为在成像开始之前重新配置可重新配置的硬件处理器。
64.根据权利要求46-63中任一项所述的***,其中一个或多个医学成像处理算法在第一配置和第二配置两者中实现。
65.根据权利要求46-64中任一项所述的***,其中第二医学成像数据包括视频帧和图像中的至少一个。
66.根据权利要求46-65中任一项所述的***,其中所述***被配置为从内窥镜成像***接收第二医学成像数据。
67.根据权利要求66所述的***,其中所述***被配置为从相机控制单元接收第二医学成像数据。
68.根据权利要求46-67中任一项所述的***,其中可重新配置的硬件处理器是FPGA或GPU。
69.根据权利要求46-68中任一项所述的***,其中所述***被配置为从第一设备接收第二医学成像数据,从第二医学设备接收数据,以及显示增强的第二医学成像数据和来自第二医学设备的数据的至少一部分。
70.根据权利要求69所述的***,其中所述***被配置为在第二处理器处接收第二医学成像数据和来自第二医学设备的数据,将第二医学成像数据从第二处理器传输到可重新配置的硬件处理器,在第二处理器处从可重新配置的硬件处理器接收增强的第二医学成像数据,并且由第二处理器通过将增强的第二医学成像数据与和第二医学设备相关联的数据的至少一部分组合来生成显示馈送以供显示。
71.根据权利要求46-70中任一项所述的***,其中第一配置数据被存储在远程存储器中,并且经由网络连接被接收。
72.一种用于显示医学成像数据的***,包括:
一个或多个数据输入;
一个或多个处理器;和
一个或多个显示器,
其中所述一个或多个数据输入被配置用于接收由第一医学成像设备生成的第一图像数据,其中第一图像数据包括视场(FOV)部分和非FOV部分,并且
所述一个或多个处理器被配置用于标识第一图像数据的非FOV部分,并且通过移除第一图像数据的非FOV部分的至少一部分来生成裁剪的第一图像数据,并且传输裁剪的第一图像数据以供在显示器的第一部分中显示以及传输附加信息以供在所述一个或多个显示器的第二部分中显示。
73.根据权利要求72所述的***,其中所述一个或多个处理器被配置用于使用边缘检测来标识非FOV部分。
74.根据权利要求73所述的***,其中第一图像数据包括一系列视频帧,并且所述一个或多个处理器被配置用于使用在多于一帧上执行的边缘检测来标识非FOV部分。
75.根据权利要求72-74中任一项所述的***,其中所述一个或多个处理器被配置用于使用FOV部分的中心位置和与FOV部分的尺寸相关联的测量中的一个或多个来标识非FOV部分。
76.根据权利要求75所述的***,其中所述一个或多个处理器被配置用于在成像会话初始化过程期间确定FOV部分的中心位置和与FOV部分的尺寸相关联的测量。
77.根据权利要求76所述的***,其中成像会话初始化过程是白平衡过程。
78.根据权利要求72-77中任一项所述的***,其中第一图像数据包括矩形图像或视频帧,并且FOV部分是矩形图像或视频帧的圆形部分。
79.根据权利要求72-78中任一项所述的***,其中第一图像数据包括视频帧。
80.根据权利要求72-78中任一项所述的***,其中所述一个或多个数据输入被配置用于在医学成像处理***的第一输入上接收第一图像数据,并且附加医学成像数据基于在医学成像处理***的第二输入上接收的数据。
81.根据权利要求80所述的***,其中医学成像处理***被配置用于将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和附加医学成像数据的组合。
82.根据权利要求72-81中任一项所述的***,其中:
所述一个或多个数据输入被配置用于接收由第二医学成像设备生成的第二图像数据;并且
所述一个或多个处理器被配置用于:
标识第二图像数据的非FOV部分,
通过移除第二图像数据的非FOV部分的至少一部分来生成裁剪的第二图像数据,以及
传输用于在所述一个或多个显示器的第二部分中显示的裁剪的第二图像数据。
83.根据权利要求82所述的***,其中所述一个或多个数据输入被配置用于在医学成像处理***的第一输入上接收第一图像数据,并且在医学成像处理***的第二输入上接收第二图像数据。
84.根据权利要求83所述的***,医学成像处理***被配置用于将显示馈送从医学成像处理***传输到显示器,所述显示馈送包括裁剪的第一图像数据和裁剪的第二图像数据的组合。
85.根据权利要求72-84中任一项所述的***,其中基于存储在存储器中的配置数据,将裁剪的第一图像数据和附加医学成像数据定位在显示器上。
86.根据权利要求85所述的***,其中配置数据包括用户指定的配置数据。
87.根据权利要求86所述的***,其中所述***被配置用于经由网络连接接收配置数据。
88.根据权利要求72-87中任一项所述的***,其中所述一个或多个数据输入被配置用于从内窥镜成像***、术中C型臂成像***或超声***接收第一图像数据。
89.根据权利要求88所述的***,其中所述一个或多个数据输入被配置用于从相机控制单元接收第一图像数据。
90.根据权利要求72-89中任一项所述的***,其中附加信息包括患者数据、度量、图表、图像、设备状态和视频馈送中的一个或多个。
91.一种非暂时性有形计算机可读介质,其上嵌入有计算机可执行程序代码,以执行权利要求1至45中任一项的方法。
92.一种用于处理受试者组织的荧光图像时间序列的套件,所述套件包括权利要求46至90中任一项的***或权利要求91的非暂时性有形计算机可读介质以及荧光成像剂。
93.一种用于在权利要求1至45中任一项的方法中、权利要求46至90中任一项的***中或权利要求92的套件中使用的荧光成像剂,用于对对象进行成像。
94.根据权利要求93所述的荧光成像剂,其中对对象进行成像包括在血流成像、组织灌注成像、淋巴成像或其组合期间对对象进行成像。
95.根据权利要求94所述的荧光成像剂,其中血流成像、组织灌注成像和/或淋巴成像包括在有创外科程序、微创外科程序期间或在无创外科程序期间的血流成像、组织灌注成像和/或淋巴成像。
96.根据权利要求95所述的荧光成像剂,其中有创外科程序包括心脏相关外科程序或重建外科程序。
97.根据权利要求96所述的荧光成像剂,其中心脏相关外科程序包括心脏冠状动脉旁路移植术(CABG)程序。
98.根据权利要求97所述的荧光成像剂,其中CABG程序是体外循环或非体外循环的。
99.根据权利要求95所述的荧光成像剂,其中无创外科程序包括伤口护理程序。
100.根据权利要求94-99中任一项所述的荧光成像剂,其中淋巴成像包括***的标识、***引流、淋巴标测或其组合。
101.权利要求94-100中任一项的荧光成像剂,其中淋巴成像涉及女性生殖***。
102.权利要求1至45中任一项的方法在权利要求46至90中任一项的***中或权利要求92的套件中的使用,用于对对象进行成像以供淋巴成像。
103.权利要求1至45中任一项的方法在权利要求46至90中任一项的***中或权利要求92的套件中的使用,用于对对象进行成像以供血流成像、组织灌注成像或其组合。
CN201980091235.7A 2018-12-05 2019-12-04 用于显示医学成像数据的***和方法 Pending CN113646799A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862775622P 2018-12-05 2018-12-05
US62/775622 2018-12-05
PCT/US2019/064478 WO2020117941A1 (en) 2018-12-05 2019-12-04 Systems and methods for displaying medical imaging data

Publications (1)

Publication Number Publication Date
CN113646799A true CN113646799A (zh) 2021-11-12

Family

ID=69006023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091235.7A Pending CN113646799A (zh) 2018-12-05 2019-12-04 用于显示医学成像数据的***和方法

Country Status (5)

Country Link
US (2) US11694335B2 (zh)
EP (1) EP3891697A1 (zh)
JP (1) JP7497355B2 (zh)
CN (1) CN113646799A (zh)
WO (1) WO2020117941A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10955657B2 (en) * 2018-12-20 2021-03-23 Acclarent, Inc. Endoscope with dual image sensors
GB201913832D0 (en) * 2019-09-25 2019-11-06 Guys And St Thomas Hospital Nhs Found Trust Method and apparatus for navigation and display of 3d image data
US11730491B2 (en) 2020-08-10 2023-08-22 Kunnskap Medical, LLC Endoscopic image analysis and control component of an endoscopic system
JP7463938B2 (ja) * 2020-10-14 2024-04-09 株式会社島津製作所 X線撮影システムおよび異物確認方法
CN113066026B (zh) * 2021-03-26 2022-05-20 重庆邮电大学 基于深度神经网络的内窥镜图像烟雾净化方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US899478A (en) 1905-07-07 1908-09-22 Jacob David Wolf Process for separating metals from their ores.
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
US6824539B2 (en) 2002-08-02 2004-11-30 Storz Endoskop Produktions Gmbh Touchscreen controlling medical equipment from multiple manufacturers
US7844657B2 (en) 2003-01-17 2010-11-30 Storz Endoskop Produktions Gmbh System for controlling medical devices
US7492932B2 (en) 2004-03-05 2009-02-17 Nortel Networks Ltd. Method and apparatus for processing medical image data in a network environment
US8069420B2 (en) 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
US8502876B2 (en) 2006-09-12 2013-08-06 Storz Endoskop Producktions GmbH Audio, visual and device data capturing system with real-time speech recognition command and control system
JP2009219573A (ja) * 2008-03-14 2009-10-01 Fujinon Corp 内視鏡用画像処理装置及び内視鏡用画像処理方法
US8734333B2 (en) 2009-03-18 2014-05-27 Fujifilm Corporation Endoscope system, endoscope video processor and method of driving endoscope system
US20110228998A1 (en) * 2010-03-18 2011-09-22 Vivek Prabhakar Vaidya System and method for automatic computation of mr imaging scan parameters
US9060673B2 (en) * 2010-04-28 2015-06-23 Given Imaging Ltd. System and method for displaying portions of in-vivo images
US11231787B2 (en) * 2010-10-06 2022-01-25 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
US9785246B2 (en) * 2010-10-06 2017-10-10 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
JP5778177B2 (ja) * 2010-12-28 2015-09-16 公立大学法人公立はこだて未来大学 画像撮像装置および画像提示システム
US20180316943A1 (en) 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Fpga systems and methods for video processing, combination and display of heterogeneous sources
US9060674B2 (en) 2012-10-11 2015-06-23 Karl Storz Imaging, Inc. Auto zoom for video camera
US10165938B2 (en) 2012-11-13 2019-01-01 Karl Storz Imaging, Inc. Configurable medical video safety system
US9319483B2 (en) 2012-11-13 2016-04-19 Karl Storz Imaging, Inc. Asynchronous open task for operating room control system
US9757507B2 (en) 2012-11-13 2017-09-12 Karl Storz Imaging, Inc. Configurable control for operating room system
JP6140100B2 (ja) 2014-04-23 2017-05-31 富士フイルム株式会社 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
EP3137917B1 (en) * 2014-04-28 2021-04-07 Tel Hashomer Medical Research Infrastructure and Services Ltd. High resolution intraoperative mri images
JP6308673B2 (ja) 2014-10-09 2018-04-11 富士フイルム株式会社 電子内視鏡用の画像処理装置及び電子内視鏡システム
WO2017042812A2 (en) 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017051229A1 (en) 2015-09-23 2017-03-30 Novadaq Technologies Inc. Methods and systems for management of data derived from medical imaging
WO2017106357A1 (en) * 2015-12-14 2017-06-22 Nuvasive, Inc. 3d visualization during surgery with reduced radiation exposure
EP3408654B1 (en) 2016-01-26 2022-08-03 Stryker European Operations Limited Fluorescence imaging system and method for fluorescence imaging
US10690904B2 (en) 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
US11096602B2 (en) 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
US10748319B1 (en) * 2016-09-19 2020-08-18 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
WO2018053486A1 (en) * 2016-09-19 2018-03-22 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
JP6904727B2 (ja) 2017-02-24 2021-07-21 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
JP6873740B2 (ja) 2017-02-24 2021-05-19 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置及びエッジ検出方法
JP6987513B2 (ja) * 2017-03-07 2022-01-05 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
EP3599981A1 (en) * 2017-03-21 2020-02-05 Stryker Corporation Methods and systems to automate surgical interventions
CN107423571B (zh) * 2017-05-04 2018-07-06 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别***
EP3649913A4 (en) * 2017-08-03 2020-07-08 Sony Olympus Medical Solutions Inc. MEDICAL OBSERVATION DEVICE
US11145054B2 (en) * 2018-07-09 2021-10-12 Canon U.S.A., Inc. Methods and systems for displaying intraluminal images

Also Published As

Publication number Publication date
JP7497355B2 (ja) 2024-06-10
US20200184640A1 (en) 2020-06-11
US20230351606A1 (en) 2023-11-02
WO2020117941A1 (en) 2020-06-11
EP3891697A1 (en) 2021-10-13
JP2022512333A (ja) 2022-02-03
US11694335B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
US20210251503A1 (en) Methods and systems for characterizing tissue of a subject utilizing machine learning
JP7497355B2 (ja) 医療用撮像データを表示するためのシステム及び方法
US11756674B2 (en) Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
US20240058091A1 (en) Methods and systems to automate surgical interventions
US11638517B2 (en) Systems and methods for medical imaging using a rolling shutter imager
US20220211258A1 (en) Contrast enhancement for medical imaging
US20200221933A1 (en) Systems and methods for connecting a medical imaging device to a medical imaging controller
US20230165658A1 (en) Systems and methods for connecting a medical imaging device to a medical imaging controller
US20220087518A1 (en) Systems and methods for fluorescence visualization
US20220151495A1 (en) Systems and methods of relative onset fluorescence delay for medical imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination