CN107137053B - 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 - Google Patents

使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 Download PDF

Info

Publication number
CN107137053B
CN107137053B CN201710074236.3A CN201710074236A CN107137053B CN 107137053 B CN107137053 B CN 107137053B CN 201710074236 A CN201710074236 A CN 201710074236A CN 107137053 B CN107137053 B CN 107137053B
Authority
CN
China
Prior art keywords
image
color
fluorescence
pseudo
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710074236.3A
Other languages
English (en)
Other versions
CN107137053A (zh
Inventor
G·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN107137053A publication Critical patent/CN107137053A/zh
Application granted granted Critical
Publication of CN107137053B publication Critical patent/CN107137053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0028—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders specially adapted for specific applications, e.g. for endoscopes, ophthalmoscopes, attachments to conventional microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及诸如显微镜或内窥镜的医疗检查装置(1)，以及涉及诸如显微镜术或内窥镜术的医疗检查方法。将表示可见光图像(49)的可见图像数据(11)和表示荧光图像(51)的荧光图像数据(12)以及伪彩色(70，71)合并，以给出物体(2)的改善的视觉再现，物体(2)包括至少一个荧光团(6)以标记所述物体(2)的特殊特征。这是通过这样实现的：显微镜(1)或内窥镜的图像处理单元(18)被配置用于根据至少一个伪彩色(rp，gp，bp)、所述可见光图像(49)中的第一输入像素(50)的颜色(ri，gi，bi)和所述荧光图像(51)中的第二输入像素(52)的强度(f)来计算所述伪彩色图像(53)中的输出像素(54)的颜色(ro，go，bo)。

Description

使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
技术领域
本发明涉及一种诸如显微镜或内窥镜的医疗检查装置，以及一种诸如显微镜术或内窥镜术的医疗检查方法。
背景技术
使用荧光团的荧光来更好地辨别某些类型的组织的显微镜和内窥镜是已知的。与现有的显微镜或内窥镜相比，本发明旨在改善向外科医生显示的图像的质量。
发明内容
对于诸如显微镜或内窥镜的医疗检查装置，此目的是这样实现的：显微镜或内窥镜包括图像处理单元，所述图像处理单元包括：第一输入部分(section)，其被配置用于接收表示物体的可见光图像的可见图像数据；第二输入部分，其被配置用于接收表示所述物体的荧光图像的荧光图像数据；以及输出部分，其被配置用于输出表示所述物体的伪彩色图像的伪彩色图像数据，其中所述图像处理单元适于根据至少一个伪彩色、所述可见光图像中的第一输入像素的颜色和所述荧光图像中的第二输入像素的强度来计算所述伪彩色图像中的输出像素的颜色。
根据本发明的医疗检查方法包括步骤：获取表示物体的可见光图像的可见图像数据，获取表示所述物体的荧光图像的荧光图像数据，对所述可见图像数据、所述荧光图像数据和至少一个伪彩色进行组合以获得表示伪彩色图像的输出数据，其中所述伪彩色图像中的输出像素的颜色取决于至少一个伪彩色、所述可见光图像中的第一输入像素的颜色以及荧光图像中的第二输入像素的强度。
此外，该目的由储存程序的非暂时性计算机可读介质予以解决，所述程序促使医疗可视化装置执行上文引用的方法。
根据本发明的解决方案产生伪彩色图像，在其中，以自然的外观的方式将至少一个伪彩色混合到可见光图像中。因此，以更自然的方式呈现由荧光颜色着色的物体的部分。不是简单地将荧光图像覆盖在可见光图像上，而是使用至少一个伪彩色与可见光图像合并以显示物体的荧光部分。
可以通过以下方面进一步改善本发明，这些方面各自自身都是有利的，并且可以任意组合。
在下文中提及术语“图像”和“数据”或对图像或数据的操作方面，应当理解，术语“图像”和“数据”可以被同义地使用，这是因为图像表示构成图像的数据的总和。图像的数据也可以被归组(group)成像素。因此，“像素”对应于有序的“数据”归组。图像和数据被数字地处理和/ 或储存并且它们本身是数字的(digital)。
至少一个伪彩色不需要对应于荧光团(fluorophore)的荧光的颜色，但是可以由显微镜或内窥镜的用户选择。优选地，伪彩色是待观察物体中非自然地出现的可见光范围内的颜色。
根据本发明的另一方面，医疗可视化装置是立体的(stereoscopic，立体镜的)。在立体显微镜或内窥镜中，向观察者的每只眼睛呈现从稍微不同的视点记录的单独的伪彩色图像。因此，在立体显微镜或内窥镜中，根据两个不同的可见光图像和两个荧光图像来计算两个单独的伪彩色图像。对于这两个立体通道中的每一个，可以使用与单目显微镜的单通道相同的设备和处理。
荧光图像可以由数字NIR相机采样，可见光图像由标准相机采样。图像处理单元可以包括在其中储存图像数据的存储器。图像处理单元可以是通用计算机的一部分，其例如通过软件而适于提供用于显微镜或内窥镜的控制和处理***。图像处理单元也可以是仅仅可以用在显微镜或内窥镜中的特别设计的电子设备。
根据本发明的另一方面，显微镜或内窥镜可以包括一个以上的荧光通道。例如，可以使用两个或更多个荧光团，它们各自在不同的激发波长下被激发，并且它们各自发射处于不同发射波长的荧光。可以使用两个或更多个荧光团来识别所研究的物体的不同方面。例如，可以使用一种类型的荧光团来标记血管，而可以使用另一荧光团来标记肿瘤细胞。另一荧光团可以用来标记例如神经细胞。
根据本发明的一个方面，荧光图像数据可以包含至少两个不同的荧光发射颜色，并且处理单元可以被配置用于向每一个不同的荧光发射颜色分配不同的伪彩色。因此，在伪彩色图像中，由不同类型的荧光团所标记的不同类型的组织可以通过不同的伪彩色而得以辨别。根据本发明，由于考虑了第一输入像素的颜色和荧光图像中的第二输入像素的强度，因此不同的伪彩色全部被自然地混合到可见光图像中。
为了计算输出像素的颜色，第一输入像素和第二输入像素应当对应于物体的相同特征。例如，荧光图像、可见光图像和伪彩色图像可以具有相同的大小，即包括相同数目的像素行和像素列。如果可见光图像和荧光图像彼此一致(congruent，叠合)，即，在这两个图像中物体的大小、朝向和位置是相同的，则第一输入像素和第二输入像素位于它们各自图像中的相同行和列中。
为了使混合改善，输出像素的颜色在颜色空间(color space)中可以线性地位于第一输入像素的颜色与至少一个伪彩色之间，输出像素的颜色与第一输入像素的颜色之间的距离与第二输入像素的强度成比例。典型的颜色空间是HSV、HSI、RGB和YMCK，但不限于这些颜色空间。在颜色空间中，每个颜色可以由位置向量来表示。因此，可以通过向量算法计算有效地完成计算输出像素的颜色。
使用RGB颜色空间作为示例，图像处理单元可以被配置用于根据第二输入像素的强度而将可见光中的第一输入像素的RGB值线性内插到所选择的伪彩色值，以获得输出像素的颜色。假设第一输入像素具有RGB 值(ri，gi，bi)，并且荧光强度为f，则可以选择内插因子(h＝f/fmax，其中fmax是最大预期荧光强度)。如果用户针对特定荧光团已经选择的伪彩色具有RGB值(rp，gp，bp)，则输出像素的颜色(ro，go，bo)可以为如下：
ro＝ri+h·(rp-ri)
go＝gi+h·(gp-gi)
bo＝bi+h·(bp-bi)。
因此，如果荧光强度是f＝0，则h＝0，并且输出像素的颜色将对应于可见光图像的颜色。荧光图像中的像素越强，输出像素的颜色将越接近伪彩色。
在上述等式中，因子h可以用因子k＝a·h代替，其中a是确定伪彩色图像中伪彩色不透明程度的伪彩色不透明因子。伪彩色不透明因子a可以由用户选择。在伪彩色图像中，例如将不透明度因子设置为小于1的非常小的值将导致伪彩色非常弱，即使在f＝fma x的情况下亦如此。
为了提高伪彩色图像的质量并避免噪声伪影，处理单元可以包括阈值调整模块，所述阈值调整模块被配置用于：如果荧光图像中的像素具有低于阈值的强度，则对该像素进行消隐(blank)。所述阈值可以由用户调整并且储存在图像处理单元的存储器部分中。在医疗可视化装置的操作中，具有低于fmin的强度的荧光图像中的像素被设置为零。阈值滤波器(filter，过滤器)消除了暗噪声和串扰。使用阈值滤波器或阈值调整模块分别修改因子h，该因子h变为
对于f<fmin，h＝0，并且
对于f>fmin，h＝f。
此外，图像处理单元可以包括伽马(gamma)校正模块，所述伽马校正模块适于对荧光图像数据和可见图像数据中的至少一个应用伽马校正。具体而言，对荧光数据应用伽马校正，以便使荧光图像似乎是黑白荧光图像。
根据本发明的另一方面，处理单元可以包括均匀化模块，所述均匀化模块被配置用于补偿可见图像数据和荧光图像数据中的至少一个中的渐晕(vignetting，晕影)和不均匀照明中的至少一个。例如，均匀化模块可以对可见图像数据和/或荧光图像数据应用平场滤波器。
成像光学器件的照明的不均匀性和渐晕导致横跨视场的不均匀亮度。通常，在显微镜或内窥镜中视场的边缘明显比中心更暗，并且因此只有视场的中心部分通常可用于显微镜术或内窥镜术中的数字成像。然而，外科医生仍然可以经由显微镜或内窥镜的目镜来可视地观察整个视场。因此，如一方面伪彩色图像中所使用的视场与如另一方面外科医生所观察到的视场可以存在不匹配。为了避免这种不匹配，可以对可见图像数据和/ 或荧光图像数据应用数字均匀化滤波器。均匀化滤波器适于通过成像光学器件来校正照明中的不均匀性和/或渐晕。在应用均匀化滤波器之后，由此得到的中间图像在整个视场上具有相同的亮度。在均匀化滤波器中，工作距离、显微镜或内窥镜光学器件的焦距、聚焦和照明强度设置可以全部予以考虑。
具体而言，均匀化滤波器可以通过校准来获得，例如通过使用从其获得校准图像的均一着色(例如灰色或白色)的目标作为物体。均一白色目标揭示了渐晕和照明不均匀性二者。
可以通过优选地沿着可见光图像和/或荧光图像中的空间轮廓单独地测量RGB值，而从校准图像确定均匀化滤波器。空间轮廓例如可以是穿过校准图像的中心的对角线或任何其它直线。空间轮廓可以用多项式来拟合，并且可以围绕图像的中心旋转以创建二维不均匀性图，二维不均匀性图通过反转得到均匀化滤波器。
可以将均匀化滤波器储存在图像处理单元的存储器部分中。均匀化模块可以包括用于可见图像数据以及用于荧光图像数据的不同的均匀化滤波器，以便一方面导致(account for)可见光图像中的不同光学器件和照明，以及另一方面导致荧光图像的不同光学器件和照明。
如果可见光图像由与荧光图像不同的相机记录，则对于可见光图像和荧光图像而言可能出现两个不同的视角或对准误差。因此，荧光图像和可见光图像可能彼此不完全一致。例如，可见光图像可能相对于荧光图像稍微旋转。此外，荧光图像可能相对于可见光图像偏移。最后，可见光图像和荧光图像可能相对于彼此失真。
因此，为了将可见光图像和荧光图像自然地彼此混合，如果处理单元包括空间调整模块则是有利的，该空间调整模块适于使可见光图像和荧光图像彼此一致。空间调整模块确保第一输入像素和第二输入像素映射 (map，比对)物体上的相同点。具体而言，空间调整模块可以适于对可见光图像和荧光图像中的至少一个进行裁剪、旋转、偏移和拉伸中的至少一个。
如果使用一个以上的荧光通道，则针对每个荧光发射颜色可以使用单独的相机。如果使用用于记录包括一个以上的荧光发射颜色的荧光图像的单个相机，则优选的是使用色敏相机或记录方法以便能够区分彼此不同的荧光带。可以使用带通滤波器，该带通滤波器仅让不同荧光团的发射波长通过。
虽然以上已经参考图像处理单元的模块描述了显微镜或内窥镜的若干方面，但是这些模块至少部分地是并入由图像处理单元执行的软件中的功能单元也是可行的。附加地或替代地，模块也可以至少部分地用硬件表示。
附图说明
在下文中，参考附图描述本发明的示例性实施方式。如上所解释，这些实施方式中所示出的特征的组合可以根据具体应用的需要而改变。例如，如果在特定应用中不需要所示实施方式的特定特征的技术效果，则可以省略该特征。相反，如果对于特定实施方式，需要上述特征中的一个特征的技术效果，则可以将该特征添加到所示实施方式。
遍及所有附图，相同的附图标记被用于在其结构和功能中的至少一个中彼此对应的元素。
在附图中：
图1示出了根据本发明的医疗可视化装置的示意图；
图2示出了根据本发明的医疗可视化装置的图像处理单元的示意图；
图3A示出了用于校准均匀化滤波器的均匀着色的物体的示意图；
图3B示出了均匀化滤波器的示意图；
图4A示出了对图像数据进行图像处理的效果的示意图；
图4B示出了对输入图像数据执行的图像处理步骤的示意概览；
图5示出了由使用一个以上的荧光团所产生的伪彩色图像的示意图。
具体实施方式
首先，参考图1描述根据本发明的医疗检查装置1的一般结构。在图1中，将医疗检查装置1示为显微镜仅仅出于阐释的目的。
例如，为了准备手术或者在手术期间，使用显微镜1来可视地检查诸如人或动物的身体组织之类的物体2。为此，物体2由包括至少一个光源4的光照子***3来照明。来自光源4的光5可以透射穿过物体2或者被物体2反射。在物体2中可存在荧光团6，即荧光流体、固体或悬浮液。光源可以发射包含能量的在一种波长带中的光5，该光5激发至少一个荧光团6的荧光。
光照子***3可以包括一个或多个照明滤波器7，通过该照明滤波器7引导来自至少一个光源4的光5。例如，照明滤波器7可以包括带通滤波器，该带通滤波器允许仅处于至少一个荧光团的激发带中的和处于可见光范围中的光通过。具体而言，至少一个照明滤波器7可以阻挡来自光源4的处于那些波长的任何光，至少一个荧光团发射处于那些波长的荧光。
附加地或替代地，照明滤波器还可以用来使照明均匀化，并且可以包括光阑(aperture)。
从物体2反射和/或发射的光8被诸如放大变焦透镜之类的光学子***9接收。
来自光学子***9的光被传递到成像子***10，该成像子***10 适于从由物体2以及在物体2处或在物体2中的任何荧光材料反射和/或发射的光8，以电信号形式提取可见图像数据11和荧光图像数据12。
可见图像数据11表示物体2的可见光图像，即与人类观察者的眼睛能够看到的图像相对应的数字图像。荧光图像数据12表示荧光图像。荧光图像对应于物体的在物体2中的至少一个荧光团6的发射波长下的数字图像。
为了能够在可见图像数据11中使用全光谱的可见光，优选的是：对于至少一个荧光团而言激发带和发射带二者都不在可见光范围内。例如，发射带和激发带二者可以处于近红外(NIR)中。合适的荧光团可以是5- 氨基乙酰丙酸，其在代谢中产生原卟啉IX(其为荧光性的)和靛青绿。
成像子***10包括二向色或多向色分束器13，分束器13将入射光 8分离成可见光14和NIR光15，后者包含由物体2反射的激发波长和来自物体2中的至少一个荧光团的发射波长二者。成像子***10包含可见光成像组件16和荧光成像组件17，其中在光学上和在信号电平上不同地对待可见光14和NIR光15，直到可见图像数据11和荧光图像数据12在显微镜1的图像处理单元18中被组合成伪彩色图像，该伪彩色图像由可在图像处理单元18处获得的输出数据19表示。
在可见光成像组件16中，可以布置阻挡除可见光之外的所有光的一个或多个可见观察滤波器20。此外，可见观察滤波器20可以包括用于使光学子***8所观察的视场21中的强度更均匀的光学均匀化滤波器。可见光14由可见光相机22记录并被转换为可见图像数据11。
为了获得荧光图像数据12，由荧光观察滤波器23对NIR光15进行过滤，继而将其引导到荧光相机24，荧光相机24可以是NIR相机。荧光观察滤波器23可以被配置为带通滤波器，其阻挡除了至少一个荧光团6 的发射波长中的光之外的所有光。因此，NIR相机24记录包含仅发射波长中的信息的图像。NIR相机可以是黑白相机或者可以是色敏的。后者在一个以上的荧光团(其被用作各个荧光团的激发波长)可以通过它们在荧光图像中的不同颜色而得以辨别的情况下是特别有用的。在这种情况下，荧光观察滤波器可以是用于允许不同的荧光波长通过的多带通滤波器。
成像子***10可以包括数据接口25，数据接口25使得显微镜1的其他子***可获得来自可见光相机22的可见图像数据11和来自荧光相机 24的荧光图像数据12。
成像子***10通过提供与由光学子***9接收的光学图像相比没有延迟或几乎没有延迟的可见图像数据11和荧光图像数据12来实时地进行操作。
成像子***10的数据接口25可以以用于视频流的标准数据格式来提供可见图像数据11和荧光图像数据12。此外，荧光成像子***10的数据接口25可以被配置用于接收控制信号26，例如以便控制相机设置。而且，如果可见观察滤波器20和荧光观察滤波器23中的至少一个是可调整的，则成像子***可以被配置用于改变可见观察滤波器20和荧光观察滤波器23中的至少一个的设置。
显微镜1可以是立体显微镜。在这种情况下，成像子***10可以针对每个立体通道而存在。
在图1的实施方式中，为了单向或双向数据传送，将控制和处理子***27连接到荧光成像子***10，例如以便在操作中接收可见图像数据 11和荧光图像数据12并且交换控制信号26。
此外，控制和处理子***27可以被配置用于经由控制信号26来控制光学子***9以及/或者也经由控制信号26来控制光照子***3。如果照明滤波器是可调整的，则控制和处理子***27可以被配置用于也控制照明滤波器7。
控制和处理子***27可以是诸如个人计算机之类的通用计算机，或者是专门适于显微镜1的要求的专用电子***。如果使用数字通信总线，则可以促进显微镜1的各个子***、组件和其它设备之间的数据传送。
控制和处理子***27可以包括可以用硬件和/或软件实现的若干单元。
例如，控制器单元30可以被用来储存、改变和控制显微镜1的操作参数的设置。操作参数可以包括但不限于：光学子***9的诸如光阑、焦点和焦距之类的参数，光照子***3的诸如照明滤波器设置、光源的亮度之类的参数，荧光成像子***10的诸如相机设置和观察滤波器的设置之类的参数，以及图像处理单元18的参数。控制器单元30可以包括在操作时改变操作参数的用于用户交互的元件。这样的元件可以包括屏幕或触摸屏上的图形用户界面，以及/或者诸如滑块、按钮、开关和/或旋钮之类的机械元件。
图像处理单元18包括被配置用于接收可见图像数据11的第一输入部分31。图像处理单元18的第二输入部分32被配置用于接收荧光图像数据12。在图像处理单元18的输出部分33处提供输出数据19。
在输出部分33处，可获得以伪彩色图像数据的形式的输出数据19，伪彩色图像数据表示物体2的伪彩色图像。
在伪彩色图像中，可见光图像与荧光图像合并，从而提供从可见光图像到荧光图像的平滑颜色转变，由此以伪彩色来分配并显示荧光图像。伪彩色图像中的输出像素的颜色由图像处理单元18根据至少一个伪彩色、可见光图像中的第一输入像素的颜色和荧光图像中的第二输入像素的强度来计算。如果使用一个以上的荧光团，则优选地由用户向每个荧光团或其荧光发射波段分配不同的伪彩色，或者自动地执行。
如可以在图1中进一步看出，显微镜1可以配备有文档子***35 或者与其连接，文档子***35用于储存全部图像数据或选择的图像数据，优选地连同显微镜设置一起储存。此外，显微镜1可以包括监视子***36，该监视子***36优选地包括若干显示器，比如目镜显示器37和显微镜监视器38。显微镜1还可以配备有显示接口39，显示接口39被配置用于将视频数据提供给外部监视器(未示出)。
图2示意性地示出了图像处理单元18的结构。图像处理单元18包括多个模块，所述多个模块实时地对图像数据11、12执行不同的图像处理功能。可以采用硬件和/或软件来实现图像处理单元18的各模块。例如可以将执行相同功能的不同模块实现为被馈送有不同数据的同样的软件程序。倘若在顺序执行中，输出仍然是可实时获得的，则这些模块可以并行地或顺序地执行。
图像处理单元18可以包括均匀化模块41，该均匀化模块41被配置用于补偿可见图像数据11和荧光图像数据12中的至少一个中的渐晕和不均匀照明中的至少一个。均匀化模块可以被进一步配置用于进行图像数据 12的直方图均一化和优化，以便充分利用图像的对比度范围。
均匀化模块41可以包括数字均匀化滤波器42，数字均匀化滤波器 42对于可见图像数据11和荧光图像数据12而言可以是不同的，这是因为照明的分布对于可见光和在至少一个荧光团的激发带中的光而言可以是不同的。此外，相机可以展现出不同的渐晕和畸变(distortion，变形)特性，这使得单独补偿成为必要。
例如可以使用对诸如白色、灰色或者以其他方式均一着色的板之类的均匀着色的校准物体的校准来确定均匀化滤波器43，并且将其电子地储存在图像处理单元18或附接的存储器中。图3A示出了这样的均匀着色的校准物体44的图像。在该校准物体的图像中清楚可见不均匀的照明和渐晕，这是因为视场21的边缘明显比中心更暗。在均匀化模块41中，将如图3B中所示的均匀化滤波器42实时地应用于可见光图像和荧光图像中的至少一个。均匀化滤波器42由沿着来自校准物体的图像的空间轮廓44的 RGB值而产生：对于颜色空间中的每个坐标，获得单独的轮廓。可以用多项式来拟合不同的轮廓。围绕图像中心旋转多项式曲线创建物体2与相应相机22、24中的传感器之间的相应光路径中的不均匀性的二维图。均匀化滤波器42由使均匀性图反转而产生。
此外，图像处理单元18可以包括空间调整模块45，空间调整模块 45优选地仅仅作用于荧光图像数据12和可见图像数据11中的一个，优选地仅仅作用于荧光数据12，这是因为荧光图像数据12由于颜色深度较低可能小于可见图像数据11。空间调整模块47适于对可见光图像和荧光图像中的至少一个进行裁剪、旋转、偏移和拉伸中的至少一个。空间调整模块45的目的是使可见光图像和荧光图像彼此一致，使得可见图像中的一定位置处的像素对应于物体2上与荧光图像中相同位置处的像素相同的点。在空间对准模块45中，可以执行相关算法和模式检测算法，以匹配可见光图像和荧光图像中的对应结构，并且计算将两个图像彼此对准所必需的裁剪、偏移、拉伸和/或旋转的量。
此外，图像处理单元18可以包括伽马校正模块46，伽马校正模块 46被配置用于作用于可见图像数据11和荧光图像数据12中的至少一个。通过使用伽马校正，可以使图像适于人类视觉。
图像处理单元18可以进一步包括阈值调整模块47，阈值调整模块 47优选地被配置用于仅仅作用于荧光图像数据12。阈值调整模块47被配置用于：如果荧光图像数据12中的像素具有低于阈值fmin的强度f，则将该像素消隐：如果f>fmin，则f＝f，并且如果f<fmin，则f＝0。控制器单元30(图1)可以被配置用于允许由用户调整阈值。
对像素进行消隐包括以下操作之一：将像素的颜色设置为诸如黑色之类的预定颜色，将其设置为零并使该像素透明。
最后，图像处理单元18可以包括伪彩色图像生成器48，伪彩色图像生成器48适于合并可见光图像和荧光图像以生成可在输出部分33处获得的伪彩色图像。
在下文中，参考颜色空间(例如RGB颜色空间)来描述伪彩色图像生成器48的功能。在RGB颜色空间中，通过三个分量颜色：红色(r)，绿色(g)和蓝色(b)来形成笛卡尔坐标系。可以可替换地使用的其他颜色空间可以是CMYK颜色空间或者HSL或HSV颜色空间。
在RGB颜色空间中，任何颜色由其三个分量(r，g，b)来表示，并且因此对应于3维颜色空间中的一定位置。这一位置对应于从颜色空间的原点指向特定颜色的位置向量。
伪彩色图像生成器48被配置用于根据第二输入像素的强度，将来自伪彩色的伪彩色图像中的输出像素的颜色线性内插到可见光图像中的第一输入像素的颜色。因此，在颜色空间中，输出像素的颜色(ro，go， bo)线性地位于可见光图像中的第一输入像素的颜色(ri，gi，bi)与至少一个伪颜色(rp，gp，bp)之间，即位于从(ri，gi，bi)指向(rp，gp，bp) 的向量上。输出像素的颜色(ro，go，bo)与第一输入像素的颜色(ri，gi， bi)之间的距离被计算为与荧光图像中的第二输入像素的强度f成比例。从而，第一输入像素和第二输入像素二者都对应于物体2上的同一点(图 1)。使用颜色空间允许使用计算高效的向量算法来进行线性插值。
具体地，在伪彩色图像生成器48中可以如下计算输出像素的颜色 (ro，go，bo)：
ro＝ri+h·(rp-ri)
go＝gi+h·(gp-gi)
bo＝bi+h·(bp-bi)，
其中，因子h＝f/fmax，fmax是最大预期荧光强度。
因此，第二输入像素中的荧光的强度确定了针对任何给定颜色分量的输出颜色与输入颜色之间的距离。如果荧光强度f＝0，即没有荧光，则输出像素的颜色将对应于可见光图像中的第一输入像素的颜色。如果第二输出像素中的荧光最大，f＝fmax，则输出像素的颜色将对应于伪彩色(rp，gp，bp)。
在另一变体中，不透明因子a可以与因子f/fmax组合使用以形成替代因子h＝a·(f/fmax)。可以由用户在与控制和处理子***27的交互时调整不透明因子a，以增加或减少伪彩色的透明度。如果因子a接近于零，则在伪彩色图像中，甚至荧光图像的高荧光部分也几乎不可见。增加因子 a将增加伪彩色的可见性。
在图4A 中示例性地示出了基于荧光图像数据中的强度和可见图像数据中的对应像素的颜色(ri，gi，bi)而在输出数据中分配颜色(ro，go，bo) 的过程，其中例如将绿色用作伪彩色(rp，gp，bp)＝(0，256，0)。上面的正方形表示具有4×4个第一输入像素50的(示意性)可见光图像49。仅为了阐释的目的，样本可见光图像49仅包含四个颜色，这四个颜色在可见光图像中的每一列中是同样的。
在左手侧的下面的正方形示意性地示出了样本4×4荧光图像51中的强度。该荧光图像由4×4个第二输入像素52组成。仅仅为了阐释的目的，荧光图像51的每一行中的强度是恒定的。第二输入像素52的最上面一行的强度为零，而荧光图像51中的第二输入像素52的最下面一行的强度最大。
使用上文线性RGB插值方案，得到4×4伪彩色图像53。再次可以看出：如果第二输入像素52的强度为零，则可见光图像49中的原始颜色被再现在伪彩色图像53的对应输出像素54中。如果第二输入像素52的强度最大，则伪彩色图像53中的颜色取决于如上文所述的不透明因子a。
在图4B 中，示出了用于合并可见光图像49和荧光图像51以获得伪彩色图像53的不同步骤。
在第一步骤60中，可见光图像49和荧光图像51分别由可见光相机 22和荧光相机24采样。在第二步骤61中，使用均匀化模块对相应的图像 49、51进行均匀化。
在第三步骤62中，使均匀化的荧光图像51与可见光图像一致，使得两个图像49、51中的物理结构在尺寸和位置上彼此对应。优选地在由阈值调整模块47处理荧光图像51之前进行空间调整，使得用于空间调整的算法具有更多的可用于模式匹配的数据。
在第四步骤63中，进行对荧光图像51的阈值过滤，以将荧光图像 51中低于强度阈值fmin的所有第二输入像素52进行消隐。
在第五步骤64中，使用伪彩色图像生成器48，利用上述线性颜色插值来计算伪彩色图像53。
图5示出了包含两个伪彩色70、71的伪彩色图像53的生成。这两个伪彩色由物体2中两个荧光团的使用所产生，这两个荧光团发射处于两个不同的发射带中的光，并且因此具有两个不同的荧光颜色72、72。在这种情况下，在已经基于第二输入像素52的荧光颜色72、73将伪彩色70、 71分配给荧光图像51中的第二输入像素52之后进行线性插值。在这一分配之后，在颜色空间中在分配给特定像素50、52、54的伪彩色与第一输入像素50的颜色之间进行线性插值，如上所述。
虽然上文已经参考显微镜描述了本发明，但是本发明也可以应用于内窥镜，唯一的区别在于：与显微镜1相比，在内窥镜的情况下光学子***8包括光纤。
附图标记
1 显微镜
2 物体
3 光照子***
4 光源
5 来自光照子***的光
6 荧光团
7 照明滤波器
8 来自物体的反射或发射光
9 光学子***
10 成像子***
11 可见图像数据
12 荧光图像数据
13 分束器
14 可见光
15 NIR灯
16 可见光成像组件
17 荧光成像组件
18 图像处理单元
19 图像处理单元的输出数据
20 可见观察滤波器
21 视场
22 可见光相机
23 荧光观察滤波器
24 荧光相机
25 荧光成像子***的数据接口
26 控制信号
27 控制和处理子***
30 控制器单元
31 第一输入部分
32 第二输入部分
33 输出部分
35 文档子***
36 监视子***
37 目镜显示器
38 显微镜监视器
39 显示界面
41 均匀化模块
42 均匀化滤波器
43 用于获得均匀化滤波器的校准物体
44 空间轮廓
45 空间调整模块
46 伽马校正模块
47 阈值调整模块
48 伪彩色图像生成器
49 可见光图像
50 第一输入像素
51 荧光图像
52 第二输入像素
53 伪彩色图像
54 输出像素
60 第一步骤
61 第二步骤
62 第三步骤
63 第四步骤
64 第五步骤
70 第一伪彩色
71 第二伪彩色
72 第一荧光颜色
73 第二荧光颜色

Claims (13)

1.包括图像处理单元(18)的显微镜(1)，所述图像处理单元(18)包括：第一输入部分(31)，其被配置用于接收表示物体(2)的可见光图像(49)的可见图像数据(11)；第二输入部分(32)，其被配置用于接收表示所述物体(2)的荧光图像(51)的荧光图像数据(12)；以及输出部分(33)，其被配置用于输出表示所述物体(2)的伪彩色图像(53)的伪彩色图像数据(34)，其中所述图像处理单元(18)适于根据至少一个伪彩色(rp，gp，bp)、所述可见光图像(49)中的第一输入像素(50)的颜色(ri，gi，bi)和所述荧光图像(51)中的第二输入像素(52)的强度(f)来计算所述伪彩色图像(53)中的输出像素(54)的颜色(ro，go，bo)，其中在颜色空间(RGB)中，所述输出像素(54)的颜色(ro，go，bo)线性地位于所述第一输入像素(50)的颜色(ri，gi，bi)与所述至少一个伪彩色(rp，gp，bp)之间，所述输出像素(54)的颜色与所述第一输入像素(50)的颜色之间的距离与所述荧光图像(51)的所述第二输入像素(52)的所述强度(f)成比例。
2.根据权利要求1所述的显微镜(1)，其中所述荧光图像(51)包含至少两个不同的荧光发射颜色(72、73)，并且其中所述处理单元(18)被配置用于向每个不同的荧光发射颜色分配不同的伪彩色(70、71)。
3.根据权利要求1或2所述的显微镜(1)，其中所述图像处理单元(18)包括均匀化模块(41)，所述均匀化模块被配置用于补偿以下各项中的至少一项：所述可见光图像(49)和所述荧光图像(51)中的至少一个中的渐晕和不均匀照明。
4.根据权利要求3所述的显微镜(1)，其中所述均匀化模块(41)包括用于所述可见光图像(49)和数据以及用于所述荧光图像(51)的不同的均匀化滤波器(42)。
5.根据权利要求1或2所述的显微镜(1)，其中所述图像处理单元(18)包括阈值调整模块(47)，所述阈值调整模块(47)被配置用于：如果所述第二输入像素(52)具有低于阈值(fmin)的强度(f)则对所述荧光图像(51)中的所述第二输入像素(52)进行消隐。
6.根据权利要求1或2所述的显微镜(1)，其中所述处理单元(18)包括空间调整模块(45)，所述空间调整模块适于使所述可见光图像(49)和所述荧光图像(51)彼此一致。
7.根据权利要求6所述的显微镜(1)，其中所述空间调整模块(45)适于对所述可见光图像(49)和所述荧光图像(51)中的至少一个进行裁剪、旋转、偏移和拉伸中的至少一个。
8.显微镜术方法，所述显微镜术方法包括步骤：获取表示物体(2)的可见光图像(49)的可见图像数据(11)，获取表示所述物体的荧光图像(51)的荧光图像数据(12)，对所述可见图像数据(11)、所述荧光图像数据(12)和至少一个伪彩色进行组合以获得表示伪彩色图像(53)的伪彩色图像数据(34)，其中所述伪彩色图像(53)中的输出像素(54)的颜色(ro，go，bo)取决于所述至少一个伪彩色(rp，gp，bp)、所述可见光图像(49)中的第一输入像素(50)的颜色(ri，gi，bi)和所述荧光图像(51)中的第二输入像素(52)的强度(f)，其中在颜色空间(RGB)中，所述输出像素(54)的颜色(ro，go，bo)线性地位于所述第一输入像素(50)的颜色(ri，gi，bi)与所述至少一个伪彩色(rp，gp，bp)之间，所述输出像素(54)的颜色与所述第一输入像素(50)的颜色之间的距离与所述荧光图像(51)的所述第二输入像素(52)的所述强度(f)成比例。
9.根据权利要求8所述的显微镜术方法，还包括以下步骤：将不同的伪彩色(70、71)分配给所述荧光图像(51)中的不同的荧光颜色(72、73)。
10.根据权利要求8或9所述的显微镜术方法，还包括以下步骤：在将其进行组合以获得所述伪彩色图像(53)之前，使所述可见光图像(49)和所述荧光图像(51)中的至少一个达到彼此一致。
11.根据权利要求10所述的显微镜术方法，其中对所述可见光图像(49)和所述荧光图像(51)中的至少一个进行裁剪、偏移、拉伸和旋转中的至少一个，以便使所述可见光图像(49)与所述荧光图像(51)一致。
12.根据权利要求8或9所述的显微镜术方法，其中如果所述第二输入像素(52)的强度低于阈值(fmin)，则在所述荧光图像(51)中对所述第二输入像素(52)进行消隐。
13.非暂时性计算机可读介质，其储存使显微镜(1)执行根据权利要求8至12中任一项所述的方法的程序。
CN201710074236.3A 2016-02-15 2017-02-10 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 Active CN107137053B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16155625.3A EP3205254B1 (en) 2016-02-15 2016-02-15 Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
EP16155625.3 2016-02-15

Publications (2)

Publication Number Publication Date
CN107137053A CN107137053A (zh) 2017-09-08
CN107137053B true CN107137053B (zh) 2020-01-14

Family

ID=55450982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710074236.3A Active CN107137053B (zh) 2016-02-15 2017-02-10 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置

Country Status (4)

Country Link
US (2) US20170237958A1 (zh)
EP (1) EP3205254B1 (zh)
JP (1) JP6456416B2 (zh)
CN (1) CN107137053B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3505059A1 (en) * 2017-12-28 2019-07-03 Leica Instruments (Singapore) Pte. Ltd. Apparatus and method for measuring blood flow direction using a fluorophore
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム
US10694117B2 (en) * 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
DE102018122816B9 (de) * 2018-09-18 2024-07-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
US20210378748A1 (en) * 2018-10-30 2021-12-09 Intuitive Surgical Operations, Inc. Anatomical structure visualization systems and methods
EP3671306B1 (en) * 2018-12-21 2023-07-26 Leica Instruments (Singapore) Pte. Ltd. Image-processing device, fluorescence observation device and method for emulating a first type of fluorescence observation device on a second type of fluorescence observation device
DE102019101773B9 (de) * 2019-01-24 2021-11-25 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betreiben eines Mikroskopiesystems
DE102019101777B4 (de) * 2019-01-24 2023-11-02 Carl Zeiss Meditec Ag Mikroskopieverfahren
EP3690819B1 (en) 2019-01-31 2023-09-13 Leica Instruments (Singapore) Pte. Ltd. Image processing device and method, and medical observation device comprising such an image processing device, using an intensity or brightness-dependent variation of a pseudocolor pattern characteristic
WO2020181413A1 (zh) * 2019-03-08 2020-09-17 北京数字精准医疗科技有限公司 内窥式荧光***的图像处理方法、装置及存储介质
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11733503B2 (en) 2019-11-14 2023-08-22 Leica Instruments (Singapore) Pte. Ltd. System and a method for generating output image data and a microscope
EP3889886A1 (en) * 2020-04-01 2021-10-06 Leica Instruments (Singapore) Pte. Ltd. Systems, methods and computer programs for a microscope system and for determining a transformation function
CN111449611B (zh) * 2020-04-10 2021-04-09 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜***及其成像方法
EP3907497B1 (en) * 2020-05-08 2023-08-02 Leica Microsystems CMS GmbH Apparatus and method for displaying and/or printing images of a specimen including a fluorophore
CN114266817B (zh) * 2022-03-02 2022-06-07 广东欧谱曼迪科技有限公司 一种荧光深度图像合成方法、装置、电子设备及存储介质
CN114298956B (zh) * 2022-03-09 2022-06-28 广东欧谱曼迪科技有限公司 双荧光内窥镜图像融合方法、电子设备及装置
EP4275577A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4275581A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device for toggling images
EP4275580A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device using two color images to record fluorescence
EP4275579A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte. Ltd. Method, processor, and medical observation device using two color images and color cameras for fluorescence and white-light
EP4275578A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
EP4275590A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Data processing device and computer-implemented method combining two images and an overlay color using a uniform color space

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111716A (ja) * 2001-10-09 2003-04-15 Fuji Photo Film Co Ltd 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
JP2003159210A (ja) * 2001-11-29 2003-06-03 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
US8473035B2 (en) * 2003-09-15 2013-06-25 Beth Israel Deaconess Medical Center Medical imaging systems
US7706863B2 (en) * 2004-01-21 2010-04-27 University Of Washington Methods for assessing a physiological state of a mammalian retina
KR100583250B1 (ko) * 2004-03-05 2006-05-24 한국전기연구원 개선된 영상 검출 모듈을 갖는 형광 내시경 장치
US7853061B2 (en) * 2007-04-26 2010-12-14 General Electric Company System and method to improve visibility of an object in an imaged subject
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
US8653037B2 (en) * 2008-06-11 2014-02-18 The Centre National De La Recherche Scientifique Proteins that fluoresce at infrared wavelengths or generate singlet oxygen upon illumination
US8706184B2 (en) * 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
US8704909B2 (en) * 2010-02-23 2014-04-22 Apple Inc. Systems and methods for efficiently coding and processing image data
JP5612371B2 (ja) * 2010-06-11 2014-10-22 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
US9129371B2 (en) * 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
JP2014198144A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
US9797767B2 (en) * 2014-08-26 2017-10-24 General Electric Company Calibration of microscopy systems
CN104299212A (zh) * 2014-09-28 2015-01-21 安徽中科医药成像技术科技有限公司 白光图像和荧光图像的融合方法和***
WO2016118925A1 (en) * 2015-01-23 2016-07-28 The Regents Of The University Of California Facilitating real-time visualization of tissue features derived from optical signals
US9784614B2 (en) * 2015-02-09 2017-10-10 Datacolor Holding Ag Method and apparatus for color measurement of non-solid colors
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images

Also Published As

Publication number Publication date
JP2017148503A (ja) 2017-08-31
US11330237B2 (en) 2022-05-10
JP6456416B2 (ja) 2019-01-23
US20210021795A1 (en) 2021-01-21
US20170237958A1 (en) 2017-08-17
CN107137053A (zh) 2017-09-08
EP3205254A1 (en) 2017-08-16
EP3205254B1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
CN107137053B (zh) 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
US11800980B2 (en) Augmented reality surgical microscope and microscopy method
CN112274105B (zh) 手术显微镜、图像处理装置和图像处理方法
JP6066595B2 (ja) 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
US10838189B2 (en) Operating microscope having an image sensor and a display, and method for operating an operating microscope
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
CN111803013A (zh) 一种内窥镜成像方法和内窥镜成像***
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜***
EP2564755B1 (en) Image processing device and fluoroscopy device
US11143857B2 (en) Microscope and microscopy method for imaging an object involving changing size of depth-of-field region
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
JPWO2019230095A1 (ja) カメラ装置、画像処理方法およびカメラシステム
JP2018181333A (ja) 医学−光学式表示システムを作動させるための方法
JP2021145859A (ja) 医療用画像処理装置及び医療用観察システム
CN212326346U (zh) 一种内窥镜成像***
DE102018123781B4 (de) Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem
CN110678116B (zh) 医疗***和控制单元
CN111345902B (zh) 用于创建发萤光的荧光团的hdr单色图像的***和方法
US20240252276A1 (en) Method for providing an image representation by means of a surgical microscope, and surgical microscope
EP4275577A1 (en) Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4277256A1 (en) Image processor and computer-implemented method for a medical observation device, using a location-dependent color conversion function
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
EP3772852A1 (en) Optical assembly, image processing apparatus and method for recording and/or retrieving a stereoscopic color image with multiple stereoscopic channels in a multispectral color image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant