CN107735015B - 使用彩色图像传感器的用于组织的激光散斑成像的方法和*** - Google Patents

使用彩色图像传感器的用于组织的激光散斑成像的方法和*** Download PDF

Info

Publication number
CN107735015B
CN107735015B CN201680039851.4A CN201680039851A CN107735015B CN 107735015 B CN107735015 B CN 107735015B CN 201680039851 A CN201680039851 A CN 201680039851A CN 107735015 B CN107735015 B CN 107735015B
Authority
CN
China
Prior art keywords
image
color
sensor
tissue
coherent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680039851.4A
Other languages
English (en)
Other versions
CN107735015A (zh
Inventor
M.安德烈
A.E.拜利
P.R.韦斯特维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stryker Corp
Original Assignee
Stryker European Operations Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stryker European Operations Ltd filed Critical Stryker European Operations Ltd
Publication of CN107735015A publication Critical patent/CN107735015A/zh
Application granted granted Critical
Publication of CN107735015B publication Critical patent/CN107735015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/48Picture signal generators
    • H04N1/482Picture signal generators using the same detector device sequentially for different colour components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4788Diffraction
    • G01N2021/479Speckle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

公开了用于对患者的组织进行成像的方法和***,并且包括利用具有相干波长的相干光照亮组织,使用彩色图像传感器来获取组织的图像数据,以及在对彩色像素在相干波长下的敏感度差异进行校正的同时使用激光散斑对比分析来处理图像数据以生成组织的灌注图像。然后将该灌注图像显示给用户。还公开了用于对环境光进行校正以及用于获取白光图像连同激光散斑图像的方法和***。

Description

使用彩色图像传感器的用于组织的激光散斑成像的方法和 ***
相关申请的交叉引用
本申请要求保护2015年5月7日提交且题为“METHODS AND SYSTEMS FOR LASERSPECKLE FMAGING OF TISSUE USING A COLOR FMAGE SENSOR”的美国临时专利申请No.62/158,298的优先权,通过引用将其整体合并于此。
技术领域
本公开内容总体上涉及医疗成像的领域,并且更特别地涉及使用彩色图像传感器进行的组织的激光散斑成像。
背景技术
激光散斑成像(LSI)可以被用来对血流与组织灌注成像。
在LSI期间,使用(例如来自激光源的)相干光来照亮组织,并且通常使用具有明确定义的曝光时间的单色图像传感器(例如CCD或CMOS)来获取组织的散斑图像。归因于在此类成像中使用的光的相干性,所记录的图像包含散斑图样。光学***将散斑图样映射到图像传感器的图片元素(像素),以这种方式图像传感器的每个像素采样少量散斑或者它通过使几个像素采样单个散斑而过采样。通常,近红外(NIR)光被用于照明,这归因于组织在这些波长的降低的不透明度。在与组织灌注相关联的血细胞运动期间,散斑图样不断变化。曝光时间被设置成使得散斑图样比曝光时间变化地更快,并且因此变化的散斑图样变得模糊。在空域方法中,可以通过计算每个像素周围的内核内的标准偏差和均值来分析所记录的(一个或多个)散斑图像以便对比。在非灌注组织(即其中没有血红细胞在移动的组织)的情况下,因为模糊的散斑没有运动所以散斑图样具有高的对比度。通过对每个像素应用非线性函数,随后可以将对比图像转换为组织的灌注状态图。在时域方法中,可以通过计算对于相同像素的一系列图像帧中的标准偏差和均值来分析所记录的(一个或多个)散斑图像以便对比。还可以组合空域和时域方法。在这样的组合方法中,可以通过计算每个像素周围的内核内一系列图像帧的标准偏差和均值来分析所记录的(一个或多个)散斑图像以便对比。
作为单色图像传感器的替代选择,彩色图像传感器可以被用来创建单色图像。可以使用例如拜耳图样滤波器来构建彩色图像传感器,在该拜耳图样滤波器中形成方形阵列的四个像素具有一个红色像素、两个绿色像素和一个蓝色像素。首先可以使用所谓的去拜耳或去马赛克转换将所获取的通过拜耳图样滤波的原始像素数据转换成彩色图像,并且随后可以将结果得到的彩色图像转换成灰度级/单色图像。通常通过对由去拜耳转换产生的RGB色彩求平均(有时作为加权平均)来执行彩色图像到单色图像的转换。尽管这些分立步骤可以被组合到单个步骤中,但是结果产生的单色图像中的单个像素基于来自彩色传感器的多个像素(通常是对图像传感器的像素求平均的某种形式)。
尽管对大多数成像***来说彩色图像到单色图像的该转换是可接受的,但是常常导致降低的噪声,这样的方法在LSI应用中会产生负面效果。在LSI中,小区域内的单色(散斑)图像的对比度可以被用来确定组织中的灌注。当将彩色图像转换成单色散斑图像时,多个像素的平均可以降低对比度并且因此降低LSI***的动态范围和散斑图像质量。可以降低最大对比度,并且因此组织的完全静态对象/非灌注区域可以显示出比利用纯单色传感器可获得的更低的对比度。
此外,在拜耳图样彩色图像传感器中,尽管所有像素可能对近红外都敏感,但对于不同彩色像素这种敏感度通常是不相等的。因此,因为不同敏感度导致图像上的图样,所以在具有近红外照明的***中使用这样的彩色传感器提出了一个问题。因为空域(或组合的时域和空域)LSI分析若干像素的内核内的对比度,所以该图样可能在灌注测量结果中造成误差。
在用来解决该问题的一个方法中,红色的激光照明且彩色传感器的红色像素可以被单独用来产生散斑图像。然而,仅使用彩色传感器的红色像素来产生灌注图像会将传感器像素的利用限制到对结果得到的图像的降低的分辨率有贡献的仅四分之一。此外,与近红外照明相比,红色照明在组织中的穿透不太深,并且它不在氧合血红蛋白和脱氧血红蛋白的等吸收点处。
当前技术的另一缺点是在临床应用中,单独的散斑图像缺乏上下文信息并且由于散斑它具有噪声;因此临床评估可能需要彩色图像。所以,为了执行临床评估,通常将散斑图像链接到来自相同成像区域的白光图像以便将灌注关联到组织的对应区域。当前可用的技术或者根本不产生这样的白光图像,或者用分离的图像传感器来产生它,该分离的图像传感器在某些情况下可能具有需要更复杂光学***的缺点。
当前技术的另一缺点是通过环境光对散斑对比度的降低。在LSI中,检测除了来自相干源的光以外的光可以降低散斑对比度。这进而可能降低灌注图像的质量。
希望LSI***具有彩色图像数据处理能力,其将对比度最大化以更准确地表示灌注,有效地将散斑图像连同白光成像一起呈现给临床医生以帮助临床评估,并检测、降低或消除、以及/或者校正环境光。
发明内容
根据本发明的一个方面,提供一种用于对患者的组织进行成像的方法。该方法包括利用具有相干波长的相干光来照亮组织,使用彩色图像传感器来获取组织的图像数据,以及在对彩色像素在相干波长下的敏感度差异进行校正的同时使用激光散斑对比分析来处理图像数据以生成组织的灌注图像。该方法还可以包括独自或与其他图像(例如示出感兴趣的区的解剖的图像)结合来显示灌注图像。
对彩色像素在相干波长下的敏感度差异进行校正可以包括例如将校正因子应用于每个彩色像素。可以在图像数据获取期间确定该校正因子。对彩色像素在相干波长下的敏感度差异进行校正还可以包括改变图像传感器的与色彩通道有关的模拟或数字增益。对彩色像素在相干波长下的敏感度差异进行校正还可以包括针对每个彩色像素计算图像(例如对比图像),并且使用多个针对每个彩色像素计算的图像来计算灌注图像。
在图像数据获取期间相干光可以在打开状态和关闭状态之间交替,在这里在相干光的关闭状态期间获取的图像数据包括用来生成白光图像的白光图像数据。
根据本发明的另一方面,提供一种对患者的组织进行成像的方法,在这里该方法包括利用具有相干波长的相干光照亮组织,使用彩色图像传感器在相干光的打开状态期间和相干光的关闭状态期间获取组织的图像数据,使用激光散斑对比分析来处理包括在相干光的打开状态期间获取的单一色彩的像素的图像数据以生成组织的灌注图像,处理在相干光的关闭状态期间获取的图像数据以生成白光图像。可以将灌注图像、白光图像或其组合显示给用户。相干波长的范围可以从约750nm到约850nm。
根据本发明的又一方面,提供一种用于对患者的组织进行成像的***。该***包括:相干光源,其用来生成具有相干波长的相干光;彩色图像传感器,其用来获取组织的图像数据;以及处理器,其用来在对彩色像素在相干波长下的敏感度差异进行校正的同时使用激光散斑对比分析来处理图像数据以生成组织的灌注图像。该***还可以包括用来独自或与其他图像(例如示出感兴趣的区的解剖的图像)结合来显示灌注图像的显示器。对彩色像素在相干波长下的敏感度差异进行校正可以包括将校正因子应用于每个彩色像素。在另一变体中,对彩色像素在相干波长下的敏感度差异进行校正可以包括改变图像传感器的与色彩通道有关的模拟或数字增益。可以在***的制造、***的校准、***的使用或其组合期间确定校正因子。对彩色像素在相干波长下的敏感度差异的校正还可以包括计算对于每个彩色像素的图像,以及使用多个为每个彩色像素所计算的图像来计算灌注图像。
该***还可以包括控制单元,其与彩色图像传感器、处理器或其组合通信以便控制彩色图像传感器、处理器、相干光源或其组合。
该***还进一步包括用于在图像数据获取期间使相干光在打开状态和关闭状态之间交替的装置。在相干光的关闭状态期间获取的图像数据包括用来生成白光图像的白光图像数据。该图像数据可以包括环境光图像数据,并且该处理器还可以生成环境光图像。
根据又一方面,提供一种用于对患者的组织进行成像的***,在这里该***包括:相干光源,其用来生成具有相干波长的相干光,其中该相干光源具有打开状态和关闭状态;彩色图像传感器,其用来在相干光源的打开状态期间以及关闭状态期间获取组织的图像数据;第一处理器,其用来使用激光散斑对比分析来处理包括在打开状态期间获取的单一色彩的像素的图像数据以生成组织的灌注图像;第二处理器,其用来处理在关闭状态期间获取的图像数据以生成白光图像。该***还可以包括用来向用户显示灌注图像、白光图像或其组合的显示器。
该***可以包括控制单元,其与相干光源、彩色图像传感器、第一和第二处理器或其组合通信以便控制相干光源、彩色图像传感器、第一和第二处理器或其组合。
该相干波长的范围可以从约590nm到约750nm、约750nm到约850nm或其组合。
将会认识到可以组合对患者的组织进行成像的方法和***的上述变体。可以组合该变体中的两个或更多个。
附图说明
此专利或申请文件包含至少一个彩色执行的绘图。一经请求并支付必要的费用,专利局将提供具有(一个或多个)彩色绘图的该专利或专利申请公开的拷贝。
图1示意性地图示包括彩色图像传感器的示例性激光散斑成像(LSI)***;
图2图示示出对于VITA-1300图像传感器对于约400nm和1000nm之间的波长的不同红色、绿色和蓝色敏感度的示例光谱;
图3图示来自图像传感器的拜耳图样;
图4图示氧合血红蛋白和脱氧血红蛋白的吸收曲线;
图5A-5B图示在利用单色传感器(图5A)和彩色传感器(图5B)的测试工作台上的移动表面的散斑图样的比较;
图6示出利用非相干光照亮且利用仅允许近红外光通过的长通滤波器滤波的均匀表面的利用彩色传感器捕获的裁切后的图像;
图7是图示与本文中所述的示例性彩色传感器校正方法结合的所检测的对于每个帧(约110个帧)的图样的图表;
图8A-8C图示未校正的经过处理的图像(图8A)、经过分离的通道处理的图像(图8B)和经过拜耳校正处理的图像(图8C);
图9比较对于以不同速度移动的测试工作台对象的以不同方式确定的灌注值;
图10A和10B图示对于使用相同传感器的白光图像获取和散斑图像获取的两个示例性控制序列;以及
图11A和11B图示具有用于白光图像获取和散斑图像获取的两个分离的图像传感器的两个示例性光学设置,图11C示出具有用于白光图像获取和散斑图像获取的两个分离的图像传感器的另一示例性光学设置。
图12A和12B分别图示RGBIR和RGBW图像传感器的示例性光谱响应。
图13图示经过修改的RGBIR图像传感器的示例性光谱响应。
具体实施方式
现在将详细参考在附图中图示其示例的本发明的各个方面和变体的实施方式和实施例。
在此说明书中,
- “白光图像”涉及在正常白光照明下获取的图像;
- “散斑图像”涉及利用相干光照明获取的图像;
- 散斑成像包括两个处理步骤:第一处理步骤包括空间和/或时间对比度的计算,并且第二处理步骤包括根据对比度的灌注的计算;在这点上,“对比图像”涉及在散斑成像中的第一处理步骤之后获得的图像,在这里每个像素都表示来自散斑图像的图像内核的散斑对比度(或对比度平方(contrast square))(对于空域方法)、或一系列帧上的像素的散斑对比度(对于时域方法)、或一系列帧上的图像的内核的散斑对比度(对于组合的空域和时域方法);并且“灌注图像”涉及进一步处理的对比图像,在这里像素值涉及组织中的灌注。
参见图1,在这里示出可被用来例如对组织灌注成像的成像***100。该成像***100可包括用于照亮患者的组织150的相干光源141、包括光学部件的图像传感器110、控制单元210、处理单元220和用户接口230(例如人机接口“HMI”)。在一些变体中,该相干光源141可以包括处在约800nm+/-约50nm的单模激光源。在该波长处,对氧合血红蛋白和脱氧血红蛋白的吸收(如图4中所图示的)是基本相等的。应该认识到,不需要将相干光源限于该波长,只要图像传感器对照明波长敏感就行。
光学器件142(诸如例如工程漫射器和/或透镜***)可以被用来使组织150上的区的照明成形或否则修改该照明。在一些变体中,图像传感器110可以是CMOS或CCD类型的彩色图像传感器并且可以通过透镜或物镜112从对象的被照亮部分或感兴趣的区获取光。滤波器113(例如长通或带通滤波器)可以被用来过滤光以便仅获取相干照明源的波长。在图1中示出的变体中,孔径111可以被用来调整图像传感器110上的散斑尺寸。散斑尺寸可以被调整以优化图像传感器110上的散斑对比度。
该控制单元210可以控制图像获取,并且在一些变体中可以使来自相干光源141(例如激光器)的相干光产生脉冲。在一些变体中,该控制单元210可以控制或调整图像传感器110的曝光时间。该曝光时间应该足够长以使得移动的散斑图样使散斑图像模糊,但足够短以使得期望的移动速度可以被区分。在一些变体中,该曝光时间可以在约1ms到约10ms的范围内。将这些曝光时间用于测量人类皮肤中的灌注可能是可取的。此外,依据对象或感兴趣的区,该曝光时间可以是固定的或可调整的。
所获取的散斑图像可以被转移至处理单元220,其可以计算灌注图像。在一些变体中,该计算过程可以包括计算对比图像并且将该对比图像转换成灌注图像。一般来说,可能通过依赖于散斑对比度的平方与粒子(例如毛细血管中的血红细胞)的流动参数(例如速度、浓度等)之间的反比关系来将该对比图像转换成灌注图像。本领域技术人员将会认识到,本文中所述的***和方法不应该限于处理算法的细节。
该灌注图像可以被示出在用户接口230上。该用户接口230可以包括例如显示器和诸如鼠标、键盘、按钮或触摸屏之类的输入装置。在一些变体中,可以重新布置光学元件(诸如孔径111、透镜112、滤波器113或其组合)中的一些或所有的顺序。
对像素敏感度差异进行校正
图像传感器110可以包括用来获取一个或多个散斑图像的彩色传感器(其在一些变体中可以包括多个彩色传感器)。可以将校正应用于(一个或多个)散斑图像以校正彩色像素阵列(例如拜耳图样,如图3中所示)的影响。在一些变体中,可以例如通过传感器、处理器和/或算法来应用该校正。通常利用例如置于像素阵列前面的拜耳图样滤波器来制造彩色图像传感器(例如CMOS或CCD)。在其他变体中,可以使用其他图样滤波器,包括例如RGBC、CMYK或任何其他图样滤波器。该拜耳图样通常包括以二维(2D)阵列组织的一个红色、一个蓝色和两个绿色像素。该阵列被重复以形成总像素计数的传感器。该像素具有彩色滤波器(color filter),应用该彩色滤波器来主要传递该色彩的预期波长。
通常这些彩色滤波器还允许通过近红外或其他非可见光,但是彩色传感器像素在那些波长下的敏感度(光谱响应)是不相等的。图2示出没有滤波器的像素“单色”、红色像素、绿色像素和蓝色像素的光谱响应的示例。如这里所示出的,所有四种类型的像素通常可以检测光谱的近红外部分中的光,但是跨这些波长的光谱响应对于每种类型的像素是不同的。因此,当使用来自包括拜耳图样滤波器的图像传感器110的原始传感器数据来对主要利用近红外光照亮的对象成像时,拜耳滤波器在图像上表现为一图样。在图6中图示该效果的示例。如可以在那里看到的,在图像中拜耳图样的结构是可见的。
因为空域(或组合的空域和时域)LSI算法通常通过分析图像中的空间对比度来起作用,所以具有彩色像素阵列的此类图像传感器(例如拜耳图样滤波器)可能在所检测的被成像对象的运动中造成测量误差。图5A和5B的比较图示该效果。图5A和5B是使用相同传感器家族的相应单色传感器和彩色传感器生成的移动对象的散斑图像。在每幅图中,左上边界对应于测试工作台的非移动部分。在图5B中,图像的对应于测试工作台的移动部分的部分示出归因于传感器的拜耳图样的增加的对比度(相对于图5A中的相同图像部分)(更具体地归因于RGB像素的不同敏感度的增加的空间对比度)。散斑图像可能总是具有归因于拜耳图样的某一对比度,并且因此该算法可能不能区分更快的移动速度。尽管在纯时域算法中该影响一定会减小,但是不同的敏感度可能仍具有一些影响。
该效果还在图9中可见。图9示出当使用单色传感器和使用彩色传感器对测试工作台上的处于不同速度的移动对象成像时有效的灌注值测量结果。灌注速度值被按比例绘制以示出在5 mm/s处的相同结果。来自未校正彩色相机的灌注测量结果的斜率示出可能不能区分高速移动。
校正因子
本文中所述的是可以被用来校正使用包括用于LSI应用的(例如具有拜耳图样的)彩色像素阵列的传感器获取的图像的不同方法。这些方法可以校正彩色像素在相干波长下的敏感度差异。在第一方法中,可以通过将线性或非线性校正应用于每个像素来校正不同敏感度对像素的效果。对于每种色彩的像素来说(即对于在像素上具有不同彩色滤波器的像素来说)所应用的校正可以是不同的。在一些变体中,该校正可以包括通过乘积因子的乘法。在其他变体中,该校正可以包括校正因子的另一形式(例如线性或非线性函数)。为了简单起见,每当在本文中使用“校正因子”时,它可以是乘积因子或者任何其他形式的校正,无论是线性的还是非线性的。
在一些变体中,例如,可以将三个校正因子用于具有拜耳滤波器的传感器:一个用于阵列中的所有红色像素,一个用于阵列中的所有绿色像素,并且一个用于阵列中的所有蓝色像素。在其他变体中,例如,可以将四个校正因子用于具有拜耳滤波器的传感器:一个用于所有红色像素,一个用于所有蓝色像素,并且两个不同的校正因子用于绿色像素。这可能是可取的,因为在拜耳图样中两个绿色像素可能具有轻微不同的光谱响应,并且照此对于两个绿色像素中的每一个可以使用不同的校正因子。在其他(非拜耳)彩色像素阵列图样类型中,可以基于应用于该像素的不同滤波器来使用更多或更少校正因子。对于每个个体传感器或者对于传感器的组合,校正因子也可以是不同的。
在一些变体中,可以从理论上确定用于特定传感器的校正因子中的一个或多个。在其他变体中,可以用实验方法确定用于特定传感器的校正因子中的一个或多个,例如通过对利用处于与要在具有传感器的LSI中使用的相干光源相同的波长的非相干光(即将不会在图像中导致散斑的光)照亮的均匀对象或目标进行成像。然后可以计算均匀对象或目标的图像中的所有彩色像素的均值。当校正因子是乘积因子时,则可以选取用于每个像素的乘积因子以使得在将每个像素值乘以对于该色彩的乘积因子之后,结果得到的图像是均匀图像(即在那里每个像素具有相同的值)。该步骤可以例如在***的制造期间执行一次、以规则间隔执行、或连续执行(例如在每次图像捕获期间或之前)。在一些变体中,可以应用时域滤波器以降低任何短期效果。
应该认识到,在其他变体中,被成像的对象可以是非均匀的,和/或照明可以与图像中结果得到的散斑相干。如果与被成像的结构相比图像分辨率是可接受的并且图像分辨率(像素的数目)足够高,则此类图像的不同彩色像素的均值的关系可能对于所有图像来说几乎保持不变,并且因此所有像素的均值可以被用来确定校正因子。图7示出对于从手的110帧记录确定的拜耳类型图像传感器的示例性校正因子,在这里校正因子是从每一帧单独确定的。该曲线示出跨各帧的校正因子的检测的良好稳定性。可选地,可以通过时域滤波来进一步改进校正因子准确性。
在一些变体中,用于传感器的校正因子可以在统计上维持一段时间。在这些变体中的一些中,可能存在一组预先确定的校正因子。然后可能基于先前和/或当前图像来随着时间更新该校正因子。
如本文中所述的,在使用一个或多个校正因子校正所获取的散斑图像之后,可以使用LSI算法来处理该图像以确定灌注测量结果。
特定通道设置
在用来对彩色像素在相干波长下的敏感度差异进行校正的方法的另一变体中,该图像传感器可以被配置成允许不同模拟或数字增益设置用于每个色彩通道。该增益可以包括例如乘积因子(以及在一些变体中偏移值)。利用这样的传感器,可以为每个色彩通道分离地调整所检测的光子的数目以及信号输出之间的关系。该成像***的控制单元可以设置该增益以使得它将校正因子应用于每个色彩通道。因此,在这些变体中,可以在使用经过调整的与色彩有关的增益的图像传感器内而不是在后续处理期间完成对相干波长下不同像素敏感度的校正。该校正因子可以是固定的或不变的,或者可以随时间更新校正因子中的一个或多个。在后面的方法中,每当确定一组新的校正因子时,可以更新该传感器的增益设置。
在用来对彩色像素在相干波长下的敏感度差异进行校正的方法的另一变体中,可以使用如本文中所述的特定通道增益设置并且部分地通过处理(例如利用校正因子)来部分完成校正。一个示例包括使用来自传感器的增益,但是在处理中添加偏移。类似地,该传感器可以另外或备选地被配置成允许从对于不同色彩通道的信号输出添加或减去不同偏移值以便校正图像(例如具有基于色彩通道的黑度级调整)。
分离的LSI处理
在一些变体中,对彩色像素在相干波长下的敏感度差异的校正可以不应用于所获取的图像,而可以对每个色彩通道单独执行LSI算法或执行LSI算法的一部分。例如,空域LSI算法可以针对传感器的每个色彩通道分离地分析空间对比度。因此,例如在使用具有四像素阵列的经典拜耳图样的情况下,LSI算法可以被处理四次,对于阵列中的四种彩色像素每一种都处理一次。然后可对结果得到的四个灌注图像求平均或者否则将其组合以产生单个灌注图像。以这种方式为每个色彩通道分离地计算灌注可以避免在将LSI算法应用于确定灌注之前将校正因子应用于像素值的需要,因为分离地分析不同的彩色像素(它们对照明光(例如相干近红外照明)有不同的敏感度)。在该变体中,通常,用于每个分离的色彩通道上被用于空域LSI的内核尺寸可能更小以补偿每个单个LSI图像(即从单个像素色彩生成的LSI图像)的降低的图像分辨率,但是多个LSI图像的组合可以补偿归因于更小内核尺寸的增大的噪声。应该认识到,在一些变体中,该算法不需要执行完整的LSI算法来为每个色彩通道生成灌注图像。例如,可以在算法中的其他步骤处(诸如例如在计算对比图像之后)组合各通道。
图7、8和9图示与用来对图像传感器的彩色像素在相干波长下的敏感度差异进行校正的方法的示例有关的数据。来自手的记录的相同原始输入数据被用于所有算法。在一种方法中,参见图8C,在应用LSI算法(被称为拜耳校正的算法)之前将校正因子应用于每个色彩通道。在另一方法中,利用LSI处理算法来生成灌注图像,在这里将LSI算法分离地应用于来自图像传感器的每个色彩通道,而无需在应用LSI算法之前应用校正因子。在将LSI算法分离地应用于每个色彩通道以生成四个灌注图像之后,可以对该四个灌注图像求平均以生成图8B示出的单个灌注图像。为了比较,在没有任何校正(参见图8A)的情况下处理该数据。
对于拜耳校正的方法,测试两种方法以确定乘积因子。在一种方法中,所有原始图像都被处理以找到固定的乘积因子。在另一方法中,仅当前帧被用来确定乘积因子。图7是图示在其中当前帧被用来确定乘积因子的方法的图表。该图表示出为手的记录的每个帧(约110个帧)对于拜耳类型的图像传感器所确定的校正因子。如可以在这里看到的,为每个帧确定的校正因子是近似相同的。因此,在确定乘积因子的两种方法之间没有看到可见的差异,而且,测试工作台曲线显示两种方法之间基本上没有差异。在一些变体中,可以使用持久的过程来找到校正图样,并且它可能很可能用来检测帧上的图样。
在测试工作台上对这些方法进一步进行比较。图9中的数据图示拜耳校正的(图8C)和分离通道处理的(图8B)程序示出可比较的结果,它们类似于使用单色图像传感器的结果。尽管在从单色传感器和拜耳校正的(图8C)和分离通道(图8B)方法获得的结果之间存在一些极小差异,但这种差异并非看起来在临床上是可视觉感知的。相比之下,图9示出未经校正的结果(图8A)与单色、经过拜耳校正的和分离通道的结果明显不同。
本文中所述的方法和***适用于具有彩色像素图样的任何传感器。例如,该方法和***适用于非经典拜耳图样图像传感器,诸如例如在像素上具有其他彩色滤波器分布或具有其他彩色滤波器的传感器。本文中结合拜耳图样的各个实施例的描述是适用的并且可适配于任何其他特定图样。在此说明书中,“彩色像素”涉及主要检测具体波长范围的光的像素,而与实际实施方式无关。尽管利用像素上面的彩色滤波器完成对于常规彩色传感器的实施方式,但是本文中所述的方法和***适用于由感测不同色彩的像素阵列制成的所有类型的彩色传感器,在这里所有像素都可能对相干波长有些敏感(例如所有彩色传感器都具有在NIR中变得近似透明的彩色马赛克滤波器但是不具有NIR截止滤波器),与实际实施方式无关。
光源和传感器类型
在一些变体中,可以有可能通过选取相干光源和图像传感器来另外或备选地降低来自传感器像素图样的不想要的效果以使得图像传感器对所有像素的相干光源波长同样足够敏感。在这些变体中,可能不需要如本文中所述的用于对彩色像素在相干波长下的敏感度差异进行校正的方法。
例如,在一些拜耳类型图像传感器中,红色、蓝色和两个绿色像素在约830nm以上可能具有同等的敏感度。可以通过传感器类型和传感器校准来改变在其以上所有传感器像素同样足够敏感的波长阈值。图2示出具有红色、绿色和蓝色像素的图像传感器的一个示例。如这里所示出的,所有三个像素类型在860nm以上近似同样敏感。因此,用于与该传感器一起使用的相干光源可以在约825nm到约900nm之间选取。在该范围中的波长可以在仍对所有彩色像素产生足够同等响应的同时提供进入组织的良好穿透深度。应该认识到,这样的图像传感器不限于拜耳类型的传感器并且可能具有任何适当的像素图样。
降低来自环境光的不想要的效果
本文中还描述了用于降低LSI中的环境光(即非相干光)的不想要的效果的***和方法。在LSI中,除了来自相干源的光之外的光的检测可能降低散斑对比度。这进而可能降低灌注图像的质量。因此,本文中所述的***的一些变体可以被配置成检测、降低或消除、以及/或者校正环境光。
降低环境光
在一些变体中,可以例如通过对到达激光散斑图像传感器的光进行滤波来降低环境光的不想要的效果。例如,在图1中示出的变体中,滤波器113(例如带通或长通滤波器)可仅使相干光源141的波长通过。例如,如果相干光源141处于约808nm则可以使用780nm长通滤波器。图11中的滤波器1113可能类似地仅使相干光源1141的波长通过。因为大多数图像传感器对具有约900nm以上的波长的光不敏感或者具有降低的敏感度,所以在一些变体中长通滤波器可能是足够的并且可能不需要带通滤波器。有这样的环境光滤波器可以减少相干光源波长以外的环境光到达激光散斑图像传感器。
对环境光进行检测和/或校正
除了(例如使用滤波器113或1113)光学地滤除环境光之外或者作为其替代选择,本文中所述的***可以对到达激光散斑图像传感器的环境光进行检测和/或校正。当不采用如上所述的环境光滤波器时,图像传感器可以接收环境光,包括可见环境光和在相干光源波长中的环境光。甚至当如上所述采用环境光滤波器时,相干光源波长内的环境光(例如近红外光)可能仍到达激光散斑图像传感器。
可以使用任何适当的方法(诸如本文中所述的方法,包括使用激光散斑图像传感器、专用环境光传感器和/或白光图像传感器)来检测环境光。一旦进行了检测,就可以针对环境光来校正激光散斑图像。另外或备选地,该***可以被配置成向用户警告环境光的存在。例如,如果环境图像满足特定阈值,则该***可以被配置成向用户警告关于可能影响LSI的准确性的环境光状况。
使用激光散斑图像传感器
在一些变体中,本文中所述的***可以使用激光散斑图像传感器来校正或补偿环境光。可以通过例如反复地接通和断开环境光源来完成对环境光的校正。这可以使用控制单元(诸如图1中的控制单元210)来完成。该控制单元可以允许在没有相干光的情况下从激光散斑图像传感器收集至少一个图像帧,其应该被称为环境图像。该环境图像然后可以被用来确定环境光状况。该信息可以被用来从散斑图像减去环境光。在一些变体中,例如可以从每个获取的散斑图像减去环境图像。可以可选地利用不同的传感器设置(诸如例如不同的曝光时间或增益)来获取环境图像。在这种情况下,可以处理环境图像以便在从散斑图像减去该环境图像之前考虑不同传感器设置(例如通过使每个像素值乘以一个因子)。拍摄环境图像的频率可能取决于应用。在许多医疗应用中,可能以散斑图像的帧速率或者至少每秒一次来获取环境图像。然后可以使用处理单元(例如图1的处理单元220)通过LSI算法来处理针对环境光校正的散斑图像。
在其他变体中,激光散斑图像传感器(例如图1的激光散斑图像传感器110)可以具有比被相干光源(例如图1的相干光源141)照亮的区域更大的视场。照明区域之外的区域可能不被用于产生散斑图像,而是用来检测环境光。在激光散斑成像期间该区域中的光量可能对应于干扰环境光并且可能被用来校正散斑图像。
使用分离的环境光传感器
这里所述的***可能另外或备选地包括专用环境光传感器(即其与被用来获取散斑图像或白光图像的图像传感器分离)。该环境光传感器可以包括用来检测环境光的单个像素、小像素阵列或全图像传感器。该环境光传感器还可以包括用来将目标区域成像到感测电子器件上的透镜或其他光学元件。
在某些情况下该环境光传感器可以被配置成测量相干光源的波长范围内的环境光。例如,当相干光源在近红外波长中提供照明时,该环境光传感器可以被配置成测量近红外环境光。在一些变体中,该环境光传感器可以是RGBW传感器(也被称为W-RBG传感器)或RGBIR传感器(也被称为IR-RGB传感器)。这些传感器可以包括具有用白色(即宽波长范围)或红外像素替换绿色像素的经过修改的拜耳图样的滤波器。因此,这些类型的传感器可以被用来区分近红外和可见环境光。在其他变体中,该环境光传感器可以包括长通或带通滤波器(与图1中的激光散斑图像传感器110前面使用的滤波器113相似或相同),以便将到达传感器的光限制成相干光源的波长范围中的光。
在一些变体中,该环境光传感器可以被定位成使得它测量被相干光源照亮的区域内的环境光。在这些变体中,该相干光源可被接通和断开,并且该环境光传感器可以被控制成使得它在断开阶段期间检测干扰环境光。在其他变体中,该环境光传感器可以被定位成使得它测量靠近被相干光源照亮的区域但在其外面的环境光。在这些变体中,通常可以假设这样的环境光代表被相干光源照亮的区域中的环境光。
使用白光图像传感器
在包括白光图像传感器的***中,该白光图像传感器可以另外或备选地被用来检测和/或校正环境光。例如,白光图像传感器(例如图11A-11C中的白光图像传感器1120)可以被配置成具有比白光照明区域更大的视场。在白光照明区域外面的区域上检测到的光量可以被用来确定干扰环境光。
应该认识到,如本文中所述的环境光检测或补偿可以结合被配置成仅使如本文中所述的相干光源的波长通过的波长滤波器来使用。这可以允许对具有与相干光源相同的波长的环境光的校正。例如,如果相干光在可见范围内,则这可能是相关的。如果相干光在近红外波长内,则这也可能是相关的,因为一些环境光(诸如阳光或强手术室灯)可能包含近红外光。
还应该认识到,本文中关于使用彩色图像传感器的激光散斑成像而描述的环境光减少、检测和/或校正技术被更广泛地适用并且还可以例如与使用用于激光散斑成像的单色图像传感器的***和方法一起使用。
白光图像的获取
在LSI的一些变体中(诸如在一些临床应用中),可能希望从相同或相似的表面并且在与散斑图像相同或相似的时间获取白光彩色图像。
利用相同传感器的获取
在一些变体中,本文中所述的方法和***可以使用与用于白光和激光散斑成像两者相同的彩色图像传感器。
在这些变体中的一些中,这可以通过接通和断开相干光源来实现。例如,返回到图1,在一些变体中,可以利用与散斑图像相同的图像传感器110来获取白光图像。在这些变体中的一些中,没有滤波器113位于组织150和图像传感器110之间,而在其他变体中,该***可以包括被配置成使可见光和相干光中的至少大部分通过的滤波器113(例如带通或长通滤波器)。控制单元210可以反复地接通/断开相干光源141。与接通/断开相干光源同步地,控制单元还可以起到用来调整图像传感器110的获取参数(诸如图像传感器110的曝光时间和增益)的作用。当白光照明明显比相干光照明更弱时在白光图像的获取期间调整这些参数可以改进图像质量。在这些情况下,对于使用相干光源的LSI的图像传感器110的曝光时间可能太短而不能在正常光条件下获取合理的白光图像。
该图像传感器可以包括任何适当的彩色图像传感器。在一些变体中,该传感器可以包括拜耳类型传感器。在其他变体中,该图像传感器可以包括RGBW传感器(也被称为W-RBG传感器)、RGBIR传感器(也被称为IR-RGB传感器)或相似类型的传感器。这些传感器包括具有用白色(即宽波长范围)或红外像素替换绿色像素的经过修改的拜耳图样的滤波器。当图像传感器是RGBW或RGBIR传感器等时,可以通过如上所述接通和断开相干光源来获取白光和散斑图像。这可能是有利的,因为如本文中所述的这可以允许对环境光的检测和/或校正。
图10A和10B示出此类交替图像获取的示例序列。以310示出相干光控制线。在图10A中示出的变体中,相干光控制可以在散斑图像获取301期间启用(即可以打开相干光)以及在白光图像获取303期间禁用(即可以关闭相干光)。在各图像的获取之间,可以在时段302内重新配置传感器。两个模式301和303的获取/曝光时间可以是不同的。其他序列还可以包括例如一个获取模式(例如散斑图像)的多个获取以及然后使其他模式(例如白光模式)的单个或多个帧。
在一些变体中,全图像传感器(即所有像素)可以被用来生成散斑图像。在这些变体中,可以使用本文中所述的方法中一个来校正归因于彩色图像传感器的图样(例如拜耳图样)的散斑图像的失真。还可以使用本文中所述的方法来校正散斑图像以降低环境光的效果。在某些情况下,环境光图像的获取可以与白光图像的获取同时(即它是与白光图像相同的图像数据),而在其他情况下如本文中更详细描述的可以与白光图像分离地获取环境光图像。在这些情况下,获取序列可以包含用来获取环境光图像的分离的时段304(如图10B中所示)。在利用与散斑图像相同的传感器配置来获取环境图像的情况下这可能是优选的。
在其他变体中,传感器像素的子集可以被用于散斑图像。也就是说,不是使用全图像传感器来生成散斑图像,而是仅可以使用传感器的单个色彩通道。在这些变体中,散斑图像可以具有比彩色图像更低的分辨率,因为它仅使用传感器的像素的子集。例如,仅红色像素可以被用来产生散斑图像。在该示例中,优选地可以选取具有可见光范围中的波长(诸如红色)的相干光源,但是该变体可以与也产生近红外光的相干光源一起工作。作为另一示例,在RGBW或RGBIR图像传感器被用于白光成像和散斑成像二者时,仅图像传感器的白色或红外色彩通道可以被用于生成散斑图像。在该示例中,优选地可以选取具有近红外范围中的波长的相干光源。
在其他变体中,该传感器可以被用来在不接通和断开相干光源的情况下获取白光和散斑图像。可以同时获取白光和散斑图像,并且单次曝光可以提供两个图像。例如,该传感器可以包括经过修改的RGBW或RGBIR传感器。该传感器可以被修改成降低红色、绿色和蓝色像素对近红外光的敏感度。在图13中示出这样的传感器(经过修改的RGBIR传感器)的一个示例。如这里所示出的,对于红色、绿色和蓝色像素而言,该传感器可能对近红外光没有敏感度或者具有非常小的敏感度,而红外像素(或在RGBW传感器的情况下白色像素)可能对近红外光敏感。该红色、绿色和蓝色通道可以被用来生成白光图像,而白色(在RGBW传感器的情况下)或红外(在RGBIR传感器的情况下)像素可以被用来生成来自近红外相干光源的散斑图像。当该传感器是RGBW传感器的情况下,可以使用邻近RGB像素值针对环境光进一步校正白色像素。在这些变体中,在组织和图像传感器之间可能不需要带通或长通滤波器,因为可能希望可见光和相干光到达图像传感器。
在其中相同彩色图像传感器被用来获取白光和散斑图像的又一些其他变体中,位于组织和图像传感器之间的滤波器113可以被配置成使得它可以通过控制单元220来启用或禁用。相干光源可以使用非可见范围中的(诸如近红外中)的波长。该滤波器可以被控制成使得能够或不能将可见光传递到图像传感器。这样的配置可以包括用于移动滤波器或光电部件的机械部件。该滤波器可以被控制成使得当获取白光图像时它允许可见光通过,而且在散斑图像的获取期间它阻止可见光。在这样的实施例中,不一定需要执行环境光校正。
利用不同传感器的获取
在其他变体中,可以利用与用来获取激光散斑图像的图像传感器不同的图像传感器来获取白光图像。图11A-11C示出具有用于白光和散斑图像的分离的图像传感器的成像***的示例。应该认识到,在这些变体中,激光散斑图像传感器可以包括彩色图像传感器(例如本文中所述的彩色图像传感器(诸如拜耳类型传感器、RGBW传感器、RGBIR传感器等等)中的任一个),或者它可以包括单色传感器。
参考图11A,两个图像传感器1110和1120部分地共享光学路径。分束器1130(诸如例如分色镜)可以将从组织1150返回的光分成激光散斑成像路径1152和白光成像路径1154。
分束器1130使相干光源的波长处的大部分光通过激光散斑成像路径1152。如图11A中所示,可以在该路径1152中实施滤波器1113(例如长通或带通滤波器)、透镜***1112和孔径1111。在一些变体中,该滤波器1113可以被省略,因为例如分束器1130也被配置为滤波器,或者因为实施了环境光校正,如本文中更详细描述的。图像传感器1110(激光散斑图像传感器)可以是彩色图像传感器并且可以被配置用于如本文中所述的受控曝光时间。
在其中使用分离的激光散斑和白光图像传感器的一些变体中,可以实施激光散斑成像路径中的线偏振。例如,可以在激光散斑图像传感器的成像路径中实施线偏振滤波器。作为另一示例,可以使用用于分束器(例如分束器1130)的偏振分束器(或偏振分束器立方体)来实施线偏振。在这些示例中,可以在激光散斑图像传感器(例如激光散斑图像传感器1110)之前实施长通或带通滤波器1113。
可以通过分束器1130将大多数可见光指引到图像传感器1120(白光图像传感器)。分离的透镜***1121(其也可以起滤波器的作用)和/或孔径(没有被示出)可以被集成在路径1154中。通常,CMOS或CCD彩色传感器可以被用于白光图像传感器1120。如结合图1所述的,可以通过相干光源1141(例如激光器)和包括射束扩展器1142(例如工程漫射器和/或透镜***)的光学器件来生成照明光。
两个图像传感器1110和1120可以被连接至控制单元和处理单元,诸如关于图1所述的控制单元220和处理单元230。该控制单元可以控制通过图像传感器1110和1120的图像的获取。该处理单元可以处理激光散斑图像并且生成灌注图像,或者在其他变体中,该处理可以由分离的处理单元来执行。来自白光图像传感器1120的数据可以被处理成产生彩色图像。在一些变体中,该图像可以被按缩放以便彼此匹配。
在其他变体中,该白光和散斑图像传感器可以具有分离的光学路径。例如,在图11B中图示的变体中,图像传感器1110和1120可以被布置成基本上平行或者在它们之间具有小角度,以使得在没有分束器的情况下每个传感器都可以具有分离的光学路径。可能优选的是光学路径非常靠近,因为这可以最小化图像的失真和/或偏移。被用来产生灌注和彩色图像的一个或多个处理单元可以被配置成校正该图像中的一个或二者以补偿任何失真和/或偏移。
应该认识到,本文中所述的***的光学元件不需要按照图11A和11B中所示的顺序来布置,并且可能具有其他适当的布置。例如,图11C图示包括分束器(以使得两个图像传感器1110和1120共享它们的光学路径的一部分)的***,具有使得来自组织1150的光在到达分束器之前通过一个或多个光学元件的布置。如在这里所示的,从组织1150返回的光可在到达分束器1130之前通过物镜***1156和孔径1111。该光的一部分可能被分束器1130反射并且行进通过滤波器1113(例如长通或带通滤波器)到达图像传感器1110(激光散斑图像传感器)。该光的剩余部分可能通过分束器1130并行进通过滤波器1158到达图像传感器1120(白光图像传感器)。通过使透镜***1156位于组织1150和分束器1130之间,该透镜***可以沿着白光和激光散斑图像传感器的光学路径的共享部分,以使得在***中可能仅需要单个透镜***。
在具有单个透镜***而不是针对两个传感器中的每一个具有不同透镜***(如例如在图11A中所示,一个透镜***沿着白光成像路径并且一个透镜***沿着激光散斑传感器路径,每一个都位于分束器和相应的图像传感器之间)可能允许成像***的尺寸、复杂性和成本的显著降低。应该认识到,在其他变体中,可以适当地重新布置诸如滤波器、透镜***、孔径和分束器之类的一个或多个光学元件的位置。
在一些变体中,白光图像传感器1120可以包括拜耳滤波器。在这些变体中,可以使用拜耳转换算法来执行原始白光图像传感器数据到彩色图像的转换。在其他变体中,该白光图像传感器1120可以是RGBW传感器(也被称为W-RBG传感器)、RGBIR传感器(也被称为IR-RGB传感器)或相似类型的传感器。这些传感器包括具有用白色(即宽波长范围)或红外像素替换绿色像素的经过修改的拜耳图样的滤波器。在图12A中示出RGBIR传感器中的不同像素的示例性光谱响应,并且在图12B中示出RGBW传感器中的不同像素的示例性光谱响应。应该认识到,在又一些其他变体中,白光图像传感器可以不是彩色图像传感器,并且可以反而包括一个或多个单色图像传感器。
使用具有白色或红外像素的传感器可能对另外允许在不需要带通或长通滤波器的情况下计算环境光量是有利的。当使用RGBW或RGBIR传感器时,可以将来自白色或红外像素的信号与来自其它彩色像素(RGB)的信号相比较以确定可以被用来调整散斑图像的环境光量。一般来说,该比较可以在相干照明源关闭时完成。因为散斑场可能在各像素之间添加大的对比度,所以该比较可能通常在像素的更大规模内核内而不是在2x2像素拜耳图样像素组内完成。可以通过统计地比较此类内核内的色彩通道来确定可见光量。在一些变体中,校准数据(诸如来自白色表面的图像)可被用来优化该比较的统计。在一个说明性示例中,将来自白色或红外像素的信号与来自其它彩色像素的信号进行比较可以包括:对14x14像素内核中的每个色彩通道的值进行平均,使用每个色彩通道的加权和来计算可见光量,以及将可见光量与相同像素内核内部的W/IR通道的平均值进行比较。
在其中该***使用用于散斑和白光图像的两个分离的图像传感器1110和1120的一些变体中,白光图像传感器可以是RGBW或RGBIR类型的传感器,并且其视场可能比相干光源1141的照明区域更大。RGBW或RGBIR图像传感器可能被修改成降低到达RGB像素的近红外光量。图13图示这样的经过修改的RGBIR图像传感器的示例性光谱响应。因此,这样的经过修改的传感器可能对用于RGB像素的近红外光不具有敏感度或具有降低的敏感度,而W或IR像素照常对近红外光敏感。备选地,在一些变体中,该***可以使用分别用于散斑和白光图像的两个分离的图像传感器1110和1120,但是具有典型、未经修改的RGBW或RGBIR滤波器。在这些变体中,可以使用图像处理和/或通过如上面所述讨论的使相干光源产生脉冲来移除散斑噪声。在一些变体中,该白光图像传感器可以接收从组织的照明区返回并由分束器1130(其不是与波长相关的(例如偏振分束器))指引的相干光源的波长的光(如图11A的布置中所示的)。在其他变体中,白光和散斑图像传感器可能具有分离的光学路径,如上面参考图11B所述的。白光图像传感器的RGB通道可能被用来生成白光图像而W或IR通道可能被用来确定环境光。如先前所述的,使用W/IR像素检测到的环境光可被用来调整散斑图像以补偿环境光。一些变体可以使激光脉冲化和/或在照明区域之外具有成像区域以便进一步改进环境光检测。
返回图1,该控制单元210可以包括微处理器、微控制器或控制成像***内部的事件顺序的任何其他状态机能胜任的电子器件。例如,该控制单元210可以配置(一个或多个)图像传感器和设置参数(诸如曝光时间和增益)。可以连续地(例如在每个帧或每秒之前)调整这些参数中的一些。在相同传感器被用于白光图像和散斑图像的实施例中可以连续调整曝光时间。还可以在散斑图像的获取期间连续调整增益以便调整图像的亮度并防止饱和,因为正常情况下曝光时间是保持固定的。在一些变体中,可以控制相干光源的功率以调整散斑图像的亮度。
可以使用处理单元220来执行(一个或多个)散斑图像的处理。在一些变体中,该处理单元可以包括用于使用大规模并行算法来执行计算的GPU。在另一变体中,可以使用FPGA(现场可编程门阵列)或AISC来完成该处理。在又一变体中,可以使用DSP或任何其他CPU或微处理器来完成该处理。该处理可以被分成若干个处理单元,每一个都具有不同的实施例。将控制单元210和处理单元220组合在相同单元中也可以是可能的。
成像***的操作员(例如卫生保健专业人员,诸如医生、护士或技术人员)可能使用该***来可视化或测量血流和灌注。可以在许多临床应用中使用本文中所述的方法和***,该临床应用诸如例如伤口护理(例如烧伤护理,慢性溃疡,褥疮,皮肤移植,或高压氧舱)、手术(例如***再造,皮瓣,肢体灌注,或美容手术)、或心血管应用(例如糖尿病、风湿病或外周血管疾病)。
在操作中,操作员可以首先开启成像***。在启动之后,操作员可以选取以输入某些数据(诸如例如病人信息),或者使用用户接口(人机接口或“HMI”)改变设置。当完成或省略该步骤时,该***可以开始可视化模式。在该模式中,相机可以连续拍摄和处理图像。该图像(例如灌注图像)可以被显示在***显示器上。操作员可以定向和定位该***以可视化感兴趣的区域。操作员可能能够实时看到感兴趣的区域的灌注。在一些变体中,操作员可能能够拍摄灌注的快照和/或视频,它们可以被存储以供随后使用。例如,快照或视频可能被存储在内部或外部非易失性存储器上以供随后访问或导出。在这些变体中的一些中,可以存储该快照或视频连同元数据(诸如病人信息和/或日期/时间)以及/或感兴趣的区域的白光图像。
尽管已经结合详细示出且描述的各个实施例图示和描述了本发明,但是不意图限于所示的细节,因为可以在不以任何方式偏离本发明的范围的情况下做出各种修改和结构变化。为了清楚和简洁描述的目的,在这里将特征描述为相同或分离的实施例的一部分,然而,将会认识到本公开内容的范围包括具有所述特征中的所有或一些特征的组合的实施例。可以在不以任何方式偏离本发明的范围的情况下进行所图示的实施例以及本发明的其他实施例的部件、步骤、细节以及操作顺序的形式、布置的各种修改,并且在参考该描述时这些修改对本领域技术人员来说将是显而易见的。因此,设想所附权利要求将覆盖这样的修改和实施例,就像它们落入本发明的真实范围内一样。对于术语“例如”和“诸如”以及其语法等同物,短语“以及在没有限制的情况下”被理解成遵循除非另外明确说明。如本文中所使用的,单数形式“一”、“一个”和“该”包括复数指示物,除非上下文另外清楚地指示。

Claims (15)

1.一种用于对对象的组织进行成像的方法,该方法包括:
利用具有相干波长的相干光照亮组织;
使用彩色图像传感器来获取组织的图像数据,所述彩色图像传感器具有像素,所述像素中的一些对应于第一颜色,所述像素中的一些对应于第二颜色,并且所述像素中的一些对应于第三颜色;以及
通过对每组相同颜色的像素分离地使用激光散斑对比分析来处理图像数据计算单独的图像并组合单独计算的图像以生成组织的灌注图像。
2.根据权利要求1所述的方法,还包括在图像数据获取期间使相干光在打开状态和关闭状态之间交替。
3.根据权利要求2所述的方法,其中在相干光的关闭状态期间获取的图像数据包括用来生成白光图像的白光图像数据。
4.根据权利要求1所述的方法,还包括显示组织的灌注图像。
5.根据权利要求1所述的方法,其中该相干波长的范围从750nm到850nm。
6.根据权利要求1所述的方法,其中通过对所述单独计算的图像进行平均来组合以生成组织的灌注图像。
7.一种用于对对象的组织进行成像的***,该***包括:
相干光源,其用来生成具有相干波长的相干光;
彩色图像传感器,其用来获取组织的图像数据,所述彩色图像传感器具有像素,所述像素中的一些对应于第一颜色,所述像素中的一些对应于第二颜色,并且所述像素中的一些对应于第三颜色;以及
处理器,其用来通过对每组相同颜色的像素分离地使用激光散斑对比分析来处理图像数据计算单独的图像并组合单独计算的图像以生成组织的灌注图像。
8.根据权利要求7所述的***,还包括控制单元,其与彩色图像传感器、处理器或其组合通信以便控制彩色图像传感器、处理器、相干光源或其组合。
9.根据权利要求7所述的***,还包括用来在图像数据获取期间使相干光在打开状态和关闭状态之间交替的装置。
10.根据权利要求9所述的***,其中在相干光的关闭状态期间获取的图像数据包括用来生成白光图像的白光图像数据。
11.根据权利要求10所述的***,其中该图像数据包括环境光图像数据,并且该处理器还生成环境光图像。
12.根据权利要求7所述的***,其中该相干波长的范围从750nm到850nm。
13.根据权利要求7所述的***,还包括用来显示组织的灌注图像的显示器。
14.根据权利要求13所述的***,还包括用来显示组织的灌注图像和白光图像的显示器。
15.根据权利要求7所述的***,其中通过对所述单独计算的图像进行平均来组合以生成组织的灌注图像。
CN201680039851.4A 2015-05-07 2016-05-06 使用彩色图像传感器的用于组织的激光散斑成像的方法和*** Active CN107735015B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562158298P 2015-05-07 2015-05-07
US62/158298 2015-05-07
PCT/CA2016/050526 WO2016176781A1 (en) 2015-05-07 2016-05-06 Methods and systems for laser speckle imaging of tissue using a color image sensor

Publications (2)

Publication Number Publication Date
CN107735015A CN107735015A (zh) 2018-02-23
CN107735015B true CN107735015B (zh) 2021-09-10

Family

ID=57217441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680039851.4A Active CN107735015B (zh) 2015-05-07 2016-05-06 使用彩色图像传感器的用于组织的激光散斑成像的方法和***

Country Status (6)

Country Link
US (1) US10169862B2 (zh)
EP (1) EP3291725B1 (zh)
JP (1) JP6501915B2 (zh)
CN (1) CN107735015B (zh)
CA (1) CA2985224A1 (zh)
WO (1) WO2016176781A1 (zh)

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309919B1 (en) 2008-07-10 2019-03-06 Ecole Polytechnique Federale De Lausanne (EPFL) EPFL-TTO Functional optical coherent imaging
US10575737B2 (en) 2012-04-27 2020-03-03 Novadaq Technologies ULC Optical coherent imaging medical device
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
EP2872035B1 (en) 2012-07-10 2020-09-30 Aïmago S.A. Perfusion assessment multi-modality optical medical device
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
JP6860000B2 (ja) * 2016-03-03 2021-04-14 ソニー株式会社 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
AU2017268341A1 (en) 2016-05-17 2018-12-20 Rebound Therapeutics Corporation Methods and devices for color detection to localize the blood mass of an intracerebral hematoma
JP6685198B2 (ja) * 2016-07-27 2020-04-22 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP3545392A4 (en) * 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
RU2636880C1 (ru) * 2016-12-26 2017-11-28 Общество с ограниченной ответственностью "ЦИИР ЭОС-Медика" (ООО "ЦИИР ЭОС-Медика") Устройство для неинвазивного измерения потока микроциркуляции крови
US10514335B2 (en) * 2017-09-08 2019-12-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for optical spectrometer calibration
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11026712B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Surgical instruments comprising a shifting mechanism
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11413042B2 (en) 2017-10-30 2022-08-16 Cilag Gmbh International Clip applier comprising a reciprocating clip advancing member
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US10849697B2 (en) 2017-12-28 2020-12-01 Ethicon Llc Cloud interface for coupled surgical devices
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US10892899B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Self describing data packets generated at an issuing instrument
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11100631B2 (en) * 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US20190201087A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Smoke evacuation system including a segmented control circuit for interactive surgical platform
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11344326B2 (en) 2018-03-08 2022-05-31 Cilag Gmbh International Smart blade technology to control blade instability
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11166716B2 (en) 2018-03-28 2021-11-09 Cilag Gmbh International Stapling instrument comprising a deactivatable lockout
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
JP2021164494A (ja) * 2018-07-02 2021-10-14 ソニーグループ株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
CN112770668A (zh) 2018-07-16 2021-05-07 布鲁恩医疗创新有限责任公司 灌注和氧合测量
CN108986724A (zh) * 2018-08-17 2018-12-11 矽力杰半导体技术(杭州)有限公司 环境光感测方法、感测***及电子设备
WO2020084917A1 (ja) * 2018-10-24 2020-04-30 ソニー株式会社 医療システム及び情報処理方法
EP3886686A4 (en) * 2018-11-27 2022-07-20 Continuse Biometrics Ltd. SYSTEM AND METHOD FOR REMOTE MONITORING OF BIOMEDICAL PARAMETERS
JP2022523061A (ja) 2019-01-28 2022-04-21 ザ ジェネラル ホスピタル コーポレイション レーザ走査型顕微鏡視のスペックルベース画像歪み補正
US20200257185A1 (en) * 2019-02-12 2020-08-13 The Regents Of The University Of California Motion stabilized laser speckle imaging
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11291444B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
IL278987A (en) * 2019-12-05 2021-06-30 Continuse Biometrics Ltd System and method for passively monitoring a sample
WO2021163603A1 (en) * 2020-02-14 2021-08-19 Activ Surgical, Inc. Systems and methods for processing laser speckle signals
EP4103035A4 (en) * 2020-02-14 2024-06-12 Activ Surgical, Inc. SYSTEMS AND METHODS FOR PROCESSING LASER GRANULAR SIGNALS
CN111429457B (zh) * 2020-06-03 2020-09-11 中国人民解放军总医院 图像局部区域亮度智能评价方法、装置、设备及介质
NL2026505B1 (en) * 2020-09-18 2022-05-23 Limis Dev B V Motion-compensated laser speckle contrast imaging
EP4170322B1 (en) * 2021-10-21 2023-11-15 Tata Consultancy Services Limited Portable speckle imaging system and method for automated speckle activity map based dynamic speckle analysis
WO2023200692A1 (en) * 2022-04-13 2023-10-19 The Regents Of The University Of California Variable exposure portable perfusion monitor
WO2023212190A1 (en) * 2022-04-28 2023-11-02 Board Of Regents, The University Of Texas System Continuous blood flow visualization with laser speckle contrast imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269217B1 (en) * 1998-05-21 2001-07-31 Eastman Kodak Company Multi-stage electronic motion image capture and processing system
CN101566504A (zh) * 2008-04-25 2009-10-28 北京中视中科光电技术有限公司 一种激光散斑的计量方法及装置

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU608807B2 (en) 1987-03-03 1991-04-18 Hitoshi Fujii Apparatus for monitoring bloodstream
JPS63214238A (ja) 1987-03-03 1988-09-06 藤居 良子 血流分布表示装置
US6485413B1 (en) 1991-04-29 2002-11-26 The General Hospital Corporation Methods and apparatus for forward-directed optical scanning instruments
US5267016A (en) 1991-11-27 1993-11-30 United Technologies Corporation Laser diode distance measurement
US5685313A (en) 1994-05-31 1997-11-11 Brain Monitor Ltd. Tissue monitor
DE19506484C2 (de) 1995-02-24 1999-09-16 Stiftung Fuer Lasertechnologie Verfahren und Vorrichtung zur selektiven nichtinvasiven Lasermyographie (LMG)
GB9610700D0 (en) 1996-05-22 1996-07-31 Moor Instr Ltd Apparatus for imaging microvascular blood flow
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
EP1007901B1 (en) 1997-06-02 2009-04-29 Joseph A. Izatt Doppler flow imaging using optical coherence tomography
JP3990012B2 (ja) 1997-11-14 2007-10-10 株式会社トプコン 医用実体顕微鏡
US6178340B1 (en) 1998-08-24 2001-01-23 Eduardo Svetliza Three-dimensional infrared imager for subcutaneous puncture and study of vascular network
AT409451B (de) 1999-12-14 2002-08-26 Hoffmann La Roche Vorrichtung zur bestimmung der örtlichen verteilung einer messgrösse
GB0006598D0 (en) 2000-03-17 2000-05-10 Isis Innovation Three-dimensional reconstructions from images
AU2001288372A1 (en) 2000-08-23 2002-03-04 Philadelphia Ophthalmologic Imaging Systems, Inc. System and method for tele-ophthalmology
US7685005B2 (en) 2000-08-29 2010-03-23 Medtronic, Inc. Medical device systems implemented network scheme for remote patient management
JP4241038B2 (ja) 2000-10-30 2009-03-18 ザ ジェネラル ホスピタル コーポレーション 組織分析のための光学的な方法及びシステム
US6650928B1 (en) 2000-11-27 2003-11-18 Ge Medical Systems Global Technology Company, Llc Color parametric and composite maps for CT perfusion
US7061622B2 (en) 2001-08-03 2006-06-13 Case Western Reserve University Aspects of basic OCT engine technologies for high speed optical coherence tomography and light source and other improvements in optical coherence tomography
US6728561B2 (en) 2001-08-14 2004-04-27 University Of Alabama In Huntsville Multispectral image processing method, apparatus and computer program product for determining the blood oxygen saturation in a vessel
US7113817B1 (en) 2001-10-04 2006-09-26 Wintec, Llc Optical imaging of blood circulation velocities
US20030118649A1 (en) 2001-10-04 2003-06-26 Jinming Gao Drug delivery devices and methods
EP1332718A1 (en) 2002-02-01 2003-08-06 Stichting Voor De Technische Wetenschappen Laser doppler perfusion imaging using a CMOS image sensor
US7381404B2 (en) 2002-07-02 2008-06-03 The Regents Of The University Of California Treatment for dry macular degeneration
RU2302196C2 (ru) 2002-07-15 2007-07-10 Итамар Медикал Лтд. Накожный зонд, устройство и способ для неинвазивного определения состояния здоровья
US6763256B2 (en) 2002-08-16 2004-07-13 Optical Sensors, Inc. Pulse oximeter
US7123363B2 (en) 2003-01-03 2006-10-17 Rose-Hulman Institute Of Technology Speckle pattern analysis method and system
JP4048274B2 (ja) 2003-03-06 2008-02-20 国立大学法人九州工業大学 パッチテスト測定用の血流状態表示装置
US20040225222A1 (en) 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
EP1716804A4 (en) 2004-02-20 2009-06-24 Riken METHOD AND INSTRUMENT FOR THE OPTICAL MEASUREMENT OF THE RETINA FUNCTION
KR101076816B1 (ko) 2004-03-31 2011-10-25 가부시키가이샤 다케시바 덴키 초음파 요량 센서
SE0401004D0 (sv) 2004-04-19 2004-04-19 Gert Nilsson Non-invasive method to monitor microcalculation
GB0409463D0 (en) 2004-04-28 2004-06-02 Ibm Method for removal of moving objects from a video stream
KR20070027540A (ko) 2004-04-30 2007-03-09 가부시키가이샤 모리타 세이사쿠쇼 생체 관찰기기, 구강 내 촬영장치 및 의료용 진료기구
US20060111620A1 (en) 2004-11-23 2006-05-25 Squilla John R Providing medical services at a kiosk
JP2006180926A (ja) 2004-12-24 2006-07-13 Mitaka Koki Co Ltd 医療用表示装置
WO2006107947A2 (en) 2005-04-04 2006-10-12 Hypermed, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
WO2006111909A1 (en) 2005-04-20 2006-10-26 Cvl Cosmetics S.A. Instrument and method for high-speed perfusion imaging
US20130296715A1 (en) 2005-04-20 2013-11-07 Ecole Polytechnique Federale De Lausanne (Epfl) Instrument and method for high-speed perfusion imaging
US8185176B2 (en) 2005-04-26 2012-05-22 Novadaq Technologies, Inc. Method and apparatus for vasculature visualization with applications in neurosurgery and neurology
JP2008539905A (ja) 2005-05-06 2008-11-20 エダ リサーチ アンド ディベロップメント カンパニー,リミティド 心臓周期に関連する血管における赤血球の運動の撮像および分析
DE112006002099A5 (de) 2005-05-31 2008-05-21 W.O.M. World Of Medicine Ag Verfahren und Vorrichtung zur optischen Charakterisierung von Gewebe
JP2007125144A (ja) 2005-11-02 2007-05-24 Omega Wave Kk レーザー血流画像装置
DE102006004583A1 (de) 2006-02-01 2007-08-09 Siemens Ag Optische Abtasteinrichtung
JP5079240B2 (ja) 2006-02-06 2012-11-21 株式会社ニデック 網膜機能計測装置
US20090130650A1 (en) 2006-02-17 2009-05-21 Weihong Tan Methods for the production of highly sensitive and specific cell surface probes
US20070225606A1 (en) 2006-03-22 2007-09-27 Endothelix, Inc. Method and apparatus for comprehensive assessment of vascular health
JP4661688B2 (ja) 2006-05-24 2011-03-30 株式会社島津製作所 光生体計測装置、光生体計測装置用プログラム及び光生体計測方法
GB0612096D0 (en) 2006-06-19 2006-07-26 Greater Glasgow Nhs Board Functional imaging of the retina
US20070291277A1 (en) 2006-06-20 2007-12-20 Everett Matthew J Spectral domain optical coherence tomography system
US8244333B2 (en) 2006-06-29 2012-08-14 Accuvein, Llc Scanned laser vein contrast enhancer
US8223143B2 (en) 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
JP5290512B2 (ja) 2006-12-11 2013-09-18 日立アロカメディカル株式会社 画像形成システム
US8961932B2 (en) 2007-03-30 2015-02-24 David G. Silverman “Micro-patch” for assessment of the local microvasculature and microcirculatory vasoreactivity
WO2008130907A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to identify individuals
DE102007018641B8 (de) 2007-04-19 2009-10-08 Carl Zeiss Surgical Gmbh Navigationssystem für Gehirnoperationen
WO2009008745A2 (en) 2007-07-06 2009-01-15 Industrial Research Limited Laser speckle imaging systems and methods
JPWO2009028136A1 (ja) 2007-08-29 2010-11-25 パナソニック株式会社 蛍光観察装置
DE102007048362B9 (de) 2007-10-09 2017-08-17 Carl Zeiss Meditec Ag System und Verfahren zum Untersuchen eines Objekts
US20100113940A1 (en) 2008-01-10 2010-05-06 The Ohio State University Research Foundation Wound goggles
US9332942B2 (en) 2008-01-28 2016-05-10 The General Hospital Corporation Systems, processes and computer-accessible medium for providing hybrid flourescence and optical coherence tomography imaging
DE102008017390A1 (de) 2008-04-02 2009-10-08 Carl Zeiss Surgical Gmbh Verfahren und Vorrichtung zum Aufnehmen von Farbbildern und LDI-Signalen von einem Objekt
KR101442313B1 (ko) * 2008-05-22 2014-09-19 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 카메라 센서 교정
EP2309919B1 (en) 2008-07-10 2019-03-06 Ecole Polytechnique Federale De Lausanne (EPFL) EPFL-TTO Functional optical coherent imaging
US8249697B2 (en) 2008-10-07 2012-08-21 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Cardiac output monitor with compensation for tissue perfusion
JP2011027895A (ja) 2009-07-23 2011-02-10 Mitaka Koki Co Ltd 顕微鏡システム
US20110099031A1 (en) 2009-10-28 2011-04-28 Nair Deepthi S Real time capture and communication of in-transit patient medical information
GB0921477D0 (en) * 2009-12-08 2010-01-20 Moor Instr Ltd Apparatus for measuring blood parameters
WO2011084528A1 (en) 2009-12-15 2011-07-14 Emory University Office Of Technology Transfer System and method for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
WO2011117779A2 (en) 2010-03-26 2011-09-29 Aïmago S.A. Optical coherent imaging medical device
US8996086B2 (en) 2010-09-17 2015-03-31 OptimumTechnologies, Inc. Digital mapping system and method
CN101926644B (zh) 2010-09-21 2011-12-14 华中科技大学 脑皮层功能多模式成像***
US20120078113A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC Convergent parameter instrument
JP5712573B2 (ja) 2010-11-26 2015-05-07 花王株式会社 血流画像の形成方法
EP2663222B1 (en) 2011-01-10 2021-10-27 East Carolina University Methods and systems for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US9226673B2 (en) * 2011-01-10 2016-01-05 East Carolina University Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US10575737B2 (en) 2012-04-27 2020-03-03 Novadaq Technologies ULC Optical coherent imaging medical device
EP2872035B1 (en) 2012-07-10 2020-09-30 Aïmago S.A. Perfusion assessment multi-modality optical medical device
US9134121B2 (en) * 2012-08-20 2015-09-15 Canon Kabushiki Kaisha Determining material properties using speckle statistics
US10058256B2 (en) * 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269217B1 (en) * 1998-05-21 2001-07-31 Eastman Kodak Company Multi-stage electronic motion image capture and processing system
CN101566504A (zh) * 2008-04-25 2009-10-28 北京中视中科光电技术有限公司 一种激光散斑的计量方法及装置

Also Published As

Publication number Publication date
US20160328848A1 (en) 2016-11-10
EP3291725A4 (en) 2018-11-07
JP2018514335A (ja) 2018-06-07
WO2016176781A1 (en) 2016-11-10
EP3291725A1 (en) 2018-03-14
CA2985224A1 (en) 2016-11-10
US10169862B2 (en) 2019-01-01
JP6501915B2 (ja) 2019-04-17
CN107735015A (zh) 2018-02-23
EP3291725B1 (en) 2024-07-24

Similar Documents

Publication Publication Date Title
CN107735015B (zh) 使用彩色图像传感器的用于组织的激光散斑成像的方法和***
US11224335B2 (en) Image capturing system and electronic endoscope system
Magdalena Nowara et al. SparsePPG: Towards driver monitoring using camera-based vital signs estimation in near-infrared
RU2550427C2 (ru) Способ и система для выполнения фотоплетизмографии
JP6763719B2 (ja) 生体情報測定装置、生体情報測定方法及びプログラム
JP7229996B2 (ja) 流れを視覚化するための機械学習を使用したスペックルコントラスト分析
JP6356051B2 (ja) 分析装置及び分析装置の作動方法
US20120169995A1 (en) Method and device for producing high-quality fundus images
CN112507930B (zh) 一种利用光照均衡法改善人脸视频心率检测的方法
JP2014157428A (ja) 画像表示装置、画像表示方法、及び、プログラム
CN112912713B (zh) 系数确定装置、色素浓度计算装置以及系数确定方法
EP3824799A1 (en) Device, apparatus and method for imaging an object
CN109561808A (zh) 分析装置
JP2021023490A (ja) 生体情報検出装置
US20220343517A1 (en) Device, method and system for registering a first image frame and a second image frame
Arimoto et al. Retinal blood oxygen saturation mapping by multispectral imaging and morphological angiography
Liu et al. FPGA-based remote pulse rate detection using photoplethysmographic imaging
CN111345902A (zh) 用于创建发萤光的荧光团的hdr单色图像的特别用于显微镜和内窥镜的***和方法
JPWO2021001340A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210113

Applicant after: Stryker Europe Holdings Ltd.

Address before: Delaware, USA

Applicant before: Stryker Europe Holdings Ltd.

Effective date of registration: 20210113

Address after: Delaware, USA

Address before: Delaware, USA

Applicant before: Stryker Europe Holdings Ltd.

Effective date of registration: 20210113

Address after: Ai Erlankekejun

Applicant after: Stryker Europe Operations Ltd.

Address before: Delaware, USA

Applicant before: Stryker Europe Holdings Ltd.

Effective date of registration: 20210113

Address after: Delaware, USA

Applicant after: Stryker Europe Holdings Ltd.

Address before: michigan

Applicant before: Stryker Europe holding LLC

Effective date of registration: 20210113

Address after: michigan

Applicant after: Stryker Europe holding LLC

Address before: Ontario, Canada

Applicant before: NOVADAQ TECHNOLOGIES ULC

Effective date of registration: 20210113

Address after: Ontario, Canada

Applicant after: NOVADAQ TECHNOLOGIES ULC

Address before: Ontario, Canada

Applicant before: NOVADAQ TECHNOLOGIES Inc.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240423

Address after: michigan

Patentee after: STRYKER Corp.

Country or region after: U.S.A.

Address before: Ai Erlankekejun

Patentee before: Stryker Europe Operations Ltd.

Country or region before: Ireland