CN110840379B - 图像采集***和电子内窥镜*** - Google Patents

图像采集***和电子内窥镜*** Download PDF

Info

Publication number
CN110840379B
CN110840379B CN201911241393.4A CN201911241393A CN110840379B CN 110840379 B CN110840379 B CN 110840379B CN 201911241393 A CN201911241393 A CN 201911241393A CN 110840379 B CN110840379 B CN 110840379B
Authority
CN
China
Prior art keywords
image
image data
index
wavelength region
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911241393.4A
Other languages
English (en)
Other versions
CN110840379A (zh
Inventor
千叶亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN110840379A publication Critical patent/CN110840379A/zh
Application granted granted Critical
Publication of CN110840379B publication Critical patent/CN110840379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N21/474Details of optical heads therefor, e.g. using optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3148Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using three or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • G01N33/4925Blood measuring blood gas content, e.g. O2, CO2, HCO3
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了图像采集***和电子内窥镜***。该图像采集***包括:光源设备,其发射照射光,所述照射光包含多个波长区域;图像提取设备,其具有RGB滤光器;以及图像处理单元,其配置为计算第一指数,所述第一指数表示包含在活体组织中的第一生物物质与第二生物物质的摩尔浓度比,其中,所述多个波长区域包括:第一波长区域,其对应于B滤光器;以及第二波长区域,其对应于G滤光器,其中:在第一波长区域中,图像数据B的值依据所述摩尔浓度比而变化;第二波长区域包含活体组织的多个等吸收点,并且,在第二波长区域中,图像数据G的值取常量而不取决于所述摩尔浓度比。

Description

图像采集***和电子内窥镜***
本申请是申请号为201510549104.2、申请日为2015年8月31日、发明名称为电子内窥镜***的中国专利申请的分案申请。
技术领域
本发明涉及图像采集***(image capturing system)和电子内窥镜***。
背景技术
最近,已经提出了具备采集光谱图像的功能的内窥镜设备(光谱内窥镜设备)。使用这样的光谱内窥镜设备,能够获得包含活体组织(例如消化器官中的黏膜)的光谱特性(例如,反射率光谱)的图像信息。已知的是,活体组织的反射率光谱(reflectivityspectrum)反映关于包含在作为测量目标的受测活体组织的表面层附近的成分的类型或密度的信息。具体而言,已知通过对构成活体组织的多种物质的吸光率(absorbance)进行线性叠加,可以获得根据活体组织的反射率光谱计算的吸光率。
已知病变部分中的活体组织在成分和成分的量上与健康部分中的活体组织不同。现有研究显示,以癌症为代表的病变部分异常与血液的状态密切相关,即,与整体的血容量(blood volume)和氧饱和度(oxygen saturation)密切相关。使用感兴趣的两个活体组织的在可见光区的光谱特征量来对两个活体组织进行定性和定量的分析在光谱分析化学中是经常使用的。因此,通过将包含病变部分的活体组织的血液的光谱特性与仅包含健康部分的活体组织的血液的光谱特性进行比较,能够估计活体组织是否包含病变部分。
光谱图像由使用具有不同波长的光采集的多个图像信息构成。随着光谱图像中包含的波长信息(用于获得图像信息的波长的数量)增加,所获得的涉及活体组织的信息变得更精确。日本专利临时公开第2012-245223A号(下文中,称为专利文献1)公开了光谱内窥镜设备的示例,其在400nm到800nm的波长区域内以5nm的波长间隔获得光谱图像。
发明内容
然而,为了如同专利文献1所述地以高度的波长分辨率获得光谱图像,必须在改变照射光的波长的同时采集大量图像。此外,因为分析图像所需的计算量很大,所以分析需要很长的计算时间。即,为了获得对于辅助诊断有效的信息,必须重复执行相对复杂的采集和计算,而这需要很长的时间。
本发明的益处在于,其提供的图像采集***和电子内窥镜***能够在短时间内获得表示生物物质的分布的图像信息,例如氧饱和度的分布。
根据本发明的一个方面,提供了一种图像采集***,其包括:光源设备,其发射照射光,照射光包含彼此分开的多个波长区域;图像提取设备,其通过对以照射光照射的作为受测体的活体组织的图像进行采集而产生图像数据,图像提取设备具有RGB滤光器;以及图像处理单元,其配置为基于通过图像提取设备产生的图像数据来计算第一指数,第一指数表示包含在活体组织中的第一生物物质与第二生物物质的摩尔浓度比。在该配置中,多个波长区域包括:第一波长区域,其对应于RGB滤光器的B滤光器;以及第二波长区域,其对应于RGB滤光器的G滤光器。在第一波长区域中,由图像提取设备的附接了B滤光器的光接收元件采集的活体组织的图像数据B的值依据摩尔浓度比而变化。第二波长区域包含活体组织的多个等吸收点,并且,在第二波长区域中,由图像提取设备的附接了G滤光器的光接收元件采集的活体组织的图像数据G的值取常量而不取决于摩尔浓度比。图像处理单元配置为基于图像数据B和图像数据G计算与摩尔浓度比具有相关性的第一指数。
使用该配置,能够在短时间内获得表示例如氧饱和度的分布的生物物质的分布的图像信息。
在至少一个方面,光源设备可以包括:白光源;以及滤光器,其将照射光从白光源所发射的白光分离。
在至少一个方面,可以将第一指数定义为通过将图像数据B除以图像数据G所获得的值。
在至少一个方面,多个波长区域可以包括对应于RGB滤光器的R滤光器的第三波长区域。在该情况下,将活体组织在第三波长区域中的吸光率视为几乎为零;并且,图像处理单元配置为,基于图像数据G和由图像提取设备的附接了R滤光器的光接收元件采集的活体组织的图像数据R,计算第二指数,所述第二指数与第一生物组织与第二生物组织的摩尔浓度的和具有相关性的。
在至少一个方面,可以将第二指数定义为通过将图像数据G除以图像数据R所获得的值。
在至少一个方面,该图像采集***可以进一步包括存储器,其存储基准线图像数据BLR、BLG和BLB,基准线图像数据BLR、BLG和BLB分别对应于通过对以照射光照射的颜色参考板进行采集而获得的R、G和B的图像数据。
在至少一个方面,该图像处理单元可以配置为,使用由下列表达式定义的标准化图像数据RS、GS和BS代替图像数据R、图像数据G和图像数据B来计算第一指数和第二指数:
Figure BDA0002306330890000031
Figure BDA0002306330890000032
Figure BDA0002306330890000033
在至少一个方面,该图像处理单元可以配置为,产生表示第一指数在活体组织中的分布的第一指数图像。
在至少一个方面,第一指数图像数据可以是像素值为第一指数的图像数据。
在至少一个方面,第一生物物质可以是氧合血红蛋白;第二生物物质可以是去氧血红蛋白;并且第一指数可以与氧饱和度具有相关性。
在至少一个方面,图像处理单元可以配置为,基于第一指数和第二指数来计算第三指数,第三指数表示活体组织的恶性肿瘤的可能性的程度。
在至少一个方面,对于具有低于第一参考值的第一指数以及高于第二参考值的第二指数的像素,可以将表示恶性肿瘤的高可能性的值赋给第三指数。
在至少一个方面,第二波长区域可以由活体组织的第一对等吸收点分隔,并且可以包括处于由第一对等吸收点所限定的范围内的活体组织的第二对等吸收点。
根据本发明的另一方面,提供了一种电子内窥镜***,其包括:上述的图像采集***;以及电子镜(electronic scope),其设置有图像提取设备。
附图说明
图1示出了血红蛋白的透射光谱。
图2是画出在波长区域W2中的血液的透射光量与氧饱和度之间的关系的图。
图3是画出在波长区域W7中的血液的透射光量与氧饱和度之间的关系的图。
图4是示出根据本发明的实施方案的电子内窥镜***的配置的框图。
图5示出了固态图像提取设备的滤色器的透射光谱。
图6示出了滤光器的透射光谱。
图7是示出根据实施方案的分析过程的流程图。
图8A和图8B是根据实施方案的电子内窥镜***所产生的图像的示例,其中图8A是内窥镜图像,而图8B是氧饱和度分布的图像。
图9是画出模拟结果的图,其中,对在对应于波长区域W2的滤光器的透射波长区域移动时引起的指数X的误差进行了模拟。
具体实施方式
在下文中,参考所附附图描述根据本发明的实施方案。下文中,通过示例的方式,将对作为本发明的实施方案的电子内窥镜***进行解释。
下面解释的根据实施方案的电子内窥镜***基于使用具有不同波长区域的光采集的多个图像(在该实施方案中,由R、G、B三原色图像构成一个彩色图像)来定量分析受测体的生物信息(例如,氧饱和度和血容量),并且该电子内窥镜***对分析结果进行成像和显示。在下面解释的使用根据实施方案的电子内窥镜***进行的对于例如氧饱和度的定量分析中,利用了血液在可见光区域的光谱特性依据氧饱和度而连续改变的特征。
血红蛋白的光谱特性和氧饱和度的计算原理
在详细解释根据本发明的实施方案的电子内窥镜***的配置之前,将解释根据实施方案的在可见光区域中的血红蛋白的光谱特性和氧饱和度的计算原理。
图1示出了血红蛋白的透射光谱(transmittance spectrum)。血红蛋白的光谱特性依据氧饱和度(氧合血红蛋白相对于总血红蛋白的比率)而改变。图1中的实线指示的波形表示的是100%的氧饱和度的情况下(即,氧合血红蛋白HbO2)的透射光谱,而长虚线指示的波形表示的是0%的氧饱和度的情况下(即,去氧血红蛋白Hb)的透射光谱。此外,短虚线指示的波形表示的是处在中间氧饱和度(10%、20%、30%,……90%)的血红蛋白(氧合血红蛋白与去氧血红蛋白的混合物)的透射光谱。
通过下面的等式(1),根据光透射T来计算血红蛋白的吸光率A。
A=-logT (1)
因为图1所示的血红蛋白的透射光谱是两种成分的光学光谱,其中各个成分(氧合血红蛋白和去氧血红蛋白)的总密度为常量,所以出现了等吸光点E1(424nm)、E2(452nm)、E3(502nm)、E4(528nm)、E5(546nm)、E6(570nm)和E7(584nm)。在每个等吸收点,吸光率A(即,透射T)取常量而不取决于各个成分的密度比(即,氧饱和度)。在该实施方案中,将从等吸收点E1到等吸收点E2的波长区域定义为波长区域W1,从等吸收点E2到等吸收点E3的波长区域定义为波长区域W2,从等吸收点E3到等吸收点E4的波长区域定义为波长区域W3,从等吸收点E4到等吸收点E5的波长区域定义为波长区域W4,从等吸收点E5到等吸收点E6的波长区域定义为波长区域W5,而从等吸收点E6到等吸收点E7的波长区域定义为波长区域W6。
在相邻的等吸收点之间,吸光率根据氧饱和度的增加而单调增加或减小。此外,在相邻的等吸收点之间,血红蛋白的吸光率A相对于氧饱和度近似线性地改变。图2是画出在波长区域W2中的血液的透射光量(竖直轴)与氧饱和度(水平轴)之间的关系的曲线图。竖直轴的透射光量表示的是在整个波长区域W2内的积分值。根据图2,应当理解的是,在波长区域W2,血红蛋白的吸光率相对于氧饱和度近似线性地降低。应当注意的是,在相邻的波长区域W1内,血红蛋白的吸光率相对于氧饱和度线性增高。尽管精确地说,光透射是符合比尔–朗伯(Beer-Lambert)定律的变化的量,但是在相对窄的波长区域(例如20nm到80nm的范围)内可以认为光透射是近似线性地改变的。
关注从等吸收点E4到等吸收点E7的波长区域(即,从波长区域W4到W6的连续波长区域,在此实施方案中定义为波长区域W7),在波长区域W4和W6内,血液的吸光率根据氧饱和度的增加而单调增加;然而,在波长区域W5内,血液的吸光率根据氧饱和度的增加而反而单调减小。然而,本发明的发明人已经发现,在波长区域W5中的血液的吸光率的减小量近似等于在波长区域W4和W6中的血液的吸光率的增加量,因此,在整个波长区域W7中,血液的吸光率近似变为不取决于氧饱和度的常量。
图3是画出波长区域W7内的血液的透射光量(竖直轴)与氧饱和度(水平轴)之间的关系的曲线图。竖直轴的透射光量是在整个波长区域W7的积分值。透射光量的平均值是0.267(任意单位),而标准差是1.86×10-5。根据图3,应当理解为,作为整体,血液的透射光量在波长区域W7内近似变为不取决于氧饱和度的常量。
此外,如图1所示,在大于或等于大约630nm的波长区域(尤其是大于或等于650nm的区域)中,血红蛋白的吸光率很小,而且即使在氧饱和度改变时在光吸光率中也几乎不出现变化。当使用氙灯作为白光源时,可以在小于或等于750nm的波长区域内(尤其在小于或等于720nm的波长区域内)得到用于白光源的足够大量的光。因此,例如,在将650到720nm的波长区域当做是对于血红蛋白不具有吸收的透明区域时,该波长区域可以用作对于透射光量的参考波长区域。在该实施方案中,将650nm到720nm的波长区域定义为波长区域WR。
如上所述,已知的是,在波长区域W2中的血红蛋白的吸光率AW2依据氧饱和度的增加而线性减小。因为可以认为在波长区域W7(波长区域W4到W6)中的血红蛋白的吸光率AW7是无关于氧饱和度的常量,所以吸光率AW2相对于吸光率AW7的值表示反映氧饱和度的指数。具体而言,通过下面的等式(2)定义的指数X表示氧饱和度。
X=AW2-AW7 (2)
因此,通过预先实验地获得氧饱和度与指数X之间的关系或通过计算,可以根据指数X来估计氧饱和度。
电子内窥镜***的一般配置
图4为示出根据本实施方案的电子内窥镜***1的配置的框图。如图4所示,电子内窥镜***1包括电子镜100、处理器200和监视器300。
处理器200包括***控制器202、时序控制器204、图像处理电路220、灯208以及滤光器设备260。***控制器202执行存储在存储器212中的各种程序,并且整体控制整个电子内窥镜***1。***控制器202连接至操作面板214。***控制器202改变电子内窥镜***1的操作以及用于电子内窥镜***1的操作的参数。时序控制器204输出时钟脉冲,该时钟脉冲用于对电子内窥镜***1中的各个电路的各种类型的操作的时序进行调整。
灯208在通过灯电源启动器206激活之后发射照射光L。例如,灯208是高亮度灯(例如氙灯、卤素灯、汞灯或金属卤化物灯)或者LED(发光二极管)。照射光L是具有主要从可见光区域扩展到不可见红外区域的光谱的光(或者是至少包括可见光区域的白光)。
在灯208与聚光透镜210之间,设置了滤光器设备260。滤光器设备260包括滤光器驱动单元264和附接到滤光器驱动单元264的滤光器262。滤光器驱动单元264配置为,通过使滤光器262在垂直于光路的方向上滑动,而能够使滤光器262在照射光L的光路上的位置(由实线指示)与从光路缩回的位置(由虚线指示)之间移动。应当注意到,滤光器驱动单元264的配置不限于上述配置,而滤光器驱动单元264可以配置为,通过使滤光器262关于旋转轴(其从滤光器262的重心偏移)旋转,而使得滤光器262***照明光L的光路中或是从照明光L的光路移开。稍后将解释关于滤光器262的细节。
根据实施方案的电子内窥镜***1配置为能够以三种工作模式工作:正常观测模式,其中从灯208发射的白光在不作改变的情况下(或在去除了红外成分和/或紫外成分的情况下)用作照射光(正常光Ln)并进行内窥镜观测;特殊观测模式,其中将通过使白光穿过滤光器262而获得的经滤波的光Lf用作照射光并进行内窥镜观测;以及基准线测量模式,其中获得了用于特殊观测模式的修正值。在正常观测模式下,滤光器262设置在从光路缩回的位置处;而在特殊观测模式下,滤光器262设置在光路上。
穿过了滤光器260的照射光L(经滤波的光Lf或正常光Ln)通过聚光透镜210汇聚到LCB(光承载束)102的入口端面,并被导引到LCB 102的内部。
被导引到LCB 102的内部的照射光传播经过LCB 102,并从设置在电子镜100的尖端部分的LCB 102的出口端面发射,并且经由光分布透镜104而照射受测体。从受照射光照射的受测体返回的光经由物镜106而在固态图像提取设备108的光接收表面上形成光学图像。
固态图像提取设备108是单片彩色CCD(电荷耦合器件)图像传感器,其具有拜尔(Bayer)式像素阵列。固态图像提取设备108根据在光接收表面上的每个像素处转化的光学图像的光量而积累电荷,并且产生和输出图像信号(图像数据)。固态图像提取设备108具有所谓的片上滤光器,其中允许红光穿过的R滤光器、允许绿光穿过的G滤光器以及允许蓝光穿过的B滤光器直接形成在各自的光接收元件上。由固态图像提取设备108产生的图像信号包括:由附接了R滤光器的光接收元件所采集的图像信号R、由附接了G滤光器的光接收元件所采集的图像信号G以及由附接了B滤光器的光接收元件所采集的图像信号B。
图5示出了固态图像提取设备108的R滤光器、G滤光器以及B滤光器的透射光谱。R滤光器是允许具有大约600nm或更大波长的包括波长区域WR的波长区域的光穿过的滤光器。G滤光器是允许具有大约510nm到630nm的包括波长区域W7的波长区域的光穿过的滤光器。B滤光器是允许具有大约510nm或更小波长的包括波长区域W1和W2的波长区域的光穿过的滤光器。如下所述,滤光器262具有这样的光学特性:只有在三个波长区域WR、W7和W2中的光被选择性地允许穿过该滤光器。已经穿过滤光器262的具有WR、W7和W2的波长区域的光的光学图像然后被附接了R滤光器、G滤光器和B滤光器的固态图像提取设备108的光接收元件提取,并且作为图像信号R、G和B输出。
固态图像提取设备108不限于CCD图像传感器,而可以替换为其他类型的图像提取设备,例如CMOS(互补金属氧化物半导体)图像传感器。
如图4所示,在电子镜100的连接部分设置了驱动器信号处理电路110。来自固态图像提取设备108的图像信号以场周期输入到驱动器信号处理电路110。驱动器信号处理电路110对于从固态图像提取设备108输入的图像信号执行预定的处理,并且向处理器200的图像处理电路220输出经处理的图像信号。
驱动器信号处理电路110访问存储器112以读出电子镜100的独有信息。存储在存储器112中的电子镜100的独有信息包括例如:固态图像提取设备108的敏感性和像素数量,可操作场率(operable field rates)以及型号。驱动器信号处理电路110将从存储器112读取的独有信息输出到***控制器202。
***控制器202基于电子镜100的独有信息而执行各种类型的操作,并且生成控制信号。通过使用所生成的控制信号,***控制器202控制在处理器200中的各个电路的操作和时序,从而执行与连接至处理器200的电子镜相适应的的处理。
根据通过***控制器202的时序控制,时序控制器204向驱动器信号处理电路110供应时钟脉冲。根据从时序控制器204供应的时钟脉冲,驱动器信号处理电路110与由处理器200处理的视频的场率同步地驱动和控制固态图像提取设备108。
图像处理电路220执行预定的信号处理(例如颜色插值、矩阵运算和Y/C分离),并且产生用于监视器表示的图像数据,然后将所产生的用于监视器表示的图像数据转化为预定的视频格式信号。将所转化的视频格式信号输出到监视器300。结果,受测体的图像显示在监视器300的显示屏上。
图像处理电路220包括分析处理电路230。分析处理电路230执行分析过程。在特殊观测模式下,分析处理电路230基于所获得的图像信号R(红)、G(绿)和B(蓝)来执行光谱分析过程,计算与作为受测体的活体组织中的氧饱和度相关的指数值并且产生用于可视化显示计算结果的图像数据。
如上所述,根据实施方案的电子内窥镜***1配置为能够在三个工作模式下工作,所述三个工作模式包括正常观测模式,其中将发射自灯208的白光(正常光Ln)用作照射光;特殊观测模式,其中使用通过使白光经过滤光器262而获得的经滤波的光Lf作为照射光而执行光谱分析;以及基准线测量模式,其用于获得用于特殊观测的修正值。模式之间的切换通过用户对电子镜100的操作单元或对处理器200的操作面板214的操作而执行。
在正常观测模式下,***控制器202控制滤光器设备260以将滤光器262从光路缩回,并且通过以正常光Ln照射受测体而进行图像采集。然后,在根据需要而对图像数据进行图像处理之后,***控制器202将通过固态图像提取设备108获得的图像数据转化为视频信号,并且在监视器300上显示对应于图像数据的图像。
在特殊观测模式和基准线测量模式下,***控制器202控制滤光器设备260以将滤光器262设置在光路上,并且通过以经滤波的光Lf照射受测体而进行图像采集。此外,在特殊观测模式下,基于通过固态图像提取设备108获得的图像数据而执行分析过程(稍后描述)。
在基准线测量模式下,使用颜色参考板(比如,消色差扩散板或标准反射器)而在经滤波的光Lf的照射下进行图像采集,并且获得了用于特殊观测模式的标准化过程(稍后描述)的数据。
在分析处理电路230的内部存储器中,在基准线测量模式中通过使用经过滤的光Lf而获得的三原色图像数据R(x,y)、G(x,y)和B(x,y)分别作为基准线图像数据BLR(x,y)、BLG(x,y)和BLB(x,y)而存储在分析处理电路的内部存储器中。应当注意到,R(x,y)、G(x,y)和B(x,y)中的每个是在像素(x,y)的图像数据的值,而BLR(x,y)、BLG(x,y)和BLB(x,y)中的每个是在像素(x,y)的基准线图像数据的值。像素(x,y)通过水平方向上的坐标x和竖直方向上的坐标y而得以识别。
滤光器的配置和特性
图6示出了滤光器262的透射光谱。滤光器262是所谓的多峰值介电多层滤光器(multi-peak dielectric multilayer filter),其具有这样的光学性能:至少在可见光波长区域中,只有在三个波长区域WR、W7和W2中的光被选择性地允许穿过滤光器262。滤光器262在波长区域W2、W7和WR中的每个具有平坦的透射,而且将波长区域W7中的透射设定为低于其他波长区域W2和WR的透射。这是因为,既然在该实施方案中使用的白光源的光发射光谱在波长区域W7具有峰值,那么在波长区域W2、W7和WR中的光量在穿过滤光器262之后可以在波长区域W2、W7和WR中维持为基本相同的光量,从而可以使接收的光数据的噪声水平保持为常量。可以基于实际使用的光源的光谱波长亮度特性以及光接收元件的敏感性特性而确定滤光器的透射特性。作为光滤光器262,可以使用其他类型的滤光器(例如,吸收型滤光器或将介电多层用作波长敏感的反射涂层的标准具滤光器)。
在特殊观测模式下的分析过程
接下来,将解释在特殊观测模式下执行的分析过程。
图7是示出分析过程的流程图。在分析过程中,首先,通过固态图像提取设备108对受测体进行采集,而分析处理电路230获得由固态图像提取设备108产生的三原色图像数据R(x,y)、G(x,y)和B(x,y)(S1)。
接下来,分析处理电路230执行像素选择过程S2,在该过程中,通过使用图像数据R(x,y)、G(x,y)和B(x,y)来选择作为之后的分析过程(S3至S6)的目标的像素(x,y)。
对于不包含血液的部分或者组织的颜色主要受到除血红蛋白之外的其他物质影响的部分,即使在根据像素的颜色计算出了氧饱和度或血容量时,获得有意义的值也是不可能的。因此,来自这样的部分的信息成为噪声。如果对这样的噪声进行了计算并且将其提供给医生,则该噪声不仅变成对于合适的诊断的障碍,而且还导致向图像处理电路220施加无意义的负载的有害影响,并因而降低了处理速度。为此,在根据实施方案的图像产生过程中,选择适用于分析过程的像素(记录了血红蛋白的光谱特征的像素),并且仅对所选择的像素执行分析过程。
在像素选择过程S2中,仅将满足所有下列条件(3)至(5)的像素选择为用于分析过程的目标像素。
B(x,y)/G(x,y)>a1 (3)
R(x,y)/G(x,y)>a2 (4)
R(x,y)/B(x,y)>a3 (5)
其中a1、a2和a3是正的常数。
上述三个条件是基于血液的透射光谱中的“G成分<B成分<R成分”的大小相关性而设定的。应当注意到,像素选择过程S2可以通过仅使用上述三个条件中的一个或两个而执行。例如,通过关注对血液是独有的红色,可以仅使用条件(4)和/或条件(5)来执行像素选择过程S2。
接下来,分析处理电路230执行标准化过程S3。根据实施方案的标准化过程S3是这样的过程,其用于通过修正电子内窥镜***1自身的光学特性(例如,滤光器的透射或图像提取设备的光接收敏感性)而能够执行定量分析。
在标准化过程中,使用通过使用穿过滤光器262的经滤波的光Lf所获得的图像数据R(x,y)以及基准线图像数据BLR(x,y),分析处理电路230通过下面的表达式(6)来计算标准化图像数据RS(x,y)。
RS(x,y)=R(x,y)/BLR(x,y) (6)
相似地,根据下面的表达式(7)和(8),计算标准化图像数据GS(x,y)和BS(x,y)。
GS(x,y)=G(x,y)/BLG(x,y) (7)
BS(x,y)=B(x,y)/BLB(x,y) (8)
尽管在下面的解释中使用了标准化图像数据RS(x,y)、GS(x,y)和BS(x,y),但是对于指数的计算可以在不执行标准化过程的情况下通过使用图像数据R(x,y)、G(x,y)和B(x,y)替代标准化数据RS(x,y)、GS(x,y)和BS(x,y)来进行。
接下来,分析处理电路230通过下面的表达式(9)计算第一指数X,第一指数X具有与氧饱和度的相关性(S4)。
X=Bs(x,y)/Gs(X,y) (9)
图像数据G(x,y)表示由已穿过滤光器262的在波长区域W7中的光形成的光学图像。图像数据B(x,y)表示由已穿过滤光器262的在波长区域W2中的光形成的光学图像。如上所述,活体组织针对波长区域W2中的光的反射率(即,图像数据B的值)取决于氧饱和度和总血红蛋白量两者。另一方面,活体组织针对波长区域W7中的光的反射率(即,图像数据G的值)不取决于氧饱和度,但是取决于总血红蛋白量。通过将标准化反射率BS(修正后的图像数据B的值)除以标准化反射率GS(修正后的图像数据G的值),能够消除总血红蛋白量的作用。此外,通过这样的除法,还可以消除照射光IL(经滤波的光Lf)相对于活体组织的入射角或者活体组织的表面条件的作用,从而可以仅提取氧饱和度的作用。因此,第一指数X成为用于表示氧饱和度合适的指数。
接下来,分析处理电路230根据下面的表达式(10)计算第二指数Y(S5),第二指数Y具有与活体组织中的血容量(总血红蛋白量)的相关性。
Y=GS(x,y)/RS(x,y) (10)
如上所述,标准化反射率GS不取决于氧饱和度但取决于总血红蛋白量。另一方面,因为标准化反射率RS(修正后的图像数据R的值)是活体组织在波长区域WR(其中对于血红蛋白几乎不存在吸收)中的反射率,所以标准化反射率RS不取决于氧饱和度也不取决于总血红蛋白量。通过将标准化反射率GS除以标准化反射率RS,可以消除照射光IL至活体组织的入射角度或活体组织的表面条件对活体组织的反射率的作用,从而仅提取对于总血红蛋白量的作用。因此,第二指数Y成为对于总血红蛋白量适用的指数。
接下来,分析处理电路230基于第一指数X和第二指数Y而计算第三指数Z,第三指数Z表示恶性肿瘤的可能性。
已知恶性肿瘤的组织通过血管化而具有比正常组织更大的总血红蛋白量,而且因为恶性肿瘤的组织中的氧的新陈代谢是显著的,所以恶性肿瘤的组织中的氧饱和度低于正常组织的氧饱和度。为此,分析处理电路230提取这样的像素,其具有小于预定参考值(第一参考值)的通过表达式(9)计算的表示氧饱和度的第一指数X和大于预定参考值(第二参考值)的通过表达式(10)计算的表示的总血红蛋白量的第二指数Y,并且分析处理电路230将表示恶性肿瘤的可能性的“1”赋给所提取的像素的第三指数Z,并将“0”赋给其他像素的第三指数Z。
可以将第一指数X、第二指数Y和第三指数Z中的每个定义为二进制指数,第三指数Z可以计算为第一指数X和第二指数Y的逻辑积或逻辑和。在该情况下,例如,通过在表达式(9)的右侧项小于预定值时定义X=1(低氧饱和度),在表达式(9)的右侧项大于或等于预定值时定义X=0(正常值),在表达式(10)的右侧项大于或等于预定值时定义Y=1(大血容量)以及在表达式(10)的右侧项小于预定值时定义Y=0(正常值),可以将Z计算为Z=X·Y(逻辑积)或Z=X+Y(逻辑和)。
前述是将第三指数Z定义为二进制指数的示例;然而,可以将第三指数Z定义为表示恶性肿瘤的可能性的程度的多值(或连续值)指数。在该情况下,表示恶性肿瘤的可能性的程度的第三指数Z(x,y)可以基于从第一参考值或第一指数X(x,y)的平均值的偏差以及从第二参考值或第二指数Y(x,y)的平均值的偏差来计算。例如,第三指数Z(x,y)可以计算为第一指数X(x,y)的偏差和第二指数Y(x,y)的偏差的和或积。
接下来,分析处理电路230产生指数图像数据,其中第一指数X(x,y)、第二指数Y(x,y)和第三指数Z(x,y)中的一个预先由用户指定为像素值(亮度)(S7)。应当注意到,在步骤S7中,可以产生用于全部第一指数X(x,y)、第二指数Y(x,y)和第三指数Z(x,y)的指数图像数据。
接下来,分析处理电路230执行对于图像数据R(x,y)、G(x,y)和B(x,y)的颜色修正过程S8。因为穿过滤光器262的经过滤的光Lf包括三原色光谱成分R(波长区域WR)、G(波长区域W7)和B(波长区域W2),所以能够使用经过滤的光Lf获得彩色图像。然而,因为经过滤的光Lf的光谱的波带受到限制,所以通过使用经过滤的光Lf而采集的图像相比于通过使用正常光Ln而采集的图像而具有相对不自然的色调。为此,在该实施方案中,对于通过使用经过滤的光Lf获得的图像数据R(x,y)、G(x,y)和B(x,y)执行颜色修正过程S8,使得通过使用经过滤的光Lf而采集的图像的色调接近通过使用正常光Ln而采集的图像的色调。
例如,通过将事先获得的修正值CR、CG和CB加到图像数据R(x,y)、G(x,y)和B(x,y)或将图像数据R(x,y)、G(x,y)和B(x,y)乘以修正值CR、CG和CB而执行颜色修正过程S8。可选地,通过除了用于正常光Ln的颜色矩阵Mn外准备用于经过滤的光Lf的颜色矩阵Mf,可以通过颜色矩阵运算来执行颜色修正。修正值CR、CG和CB以及颜色矩阵Mf基于电子内窥镜***1通过采集以经过滤的光Lf照射的颜色参考板而获得的图像数据而预先设定,并且存储在分析处理电路230的内部存储器中。可以将该分析过程配置为省略颜色修正过程S8。
接下来,分析处理电路230基于经过颜色修正过程S8的图像数据和在步骤S7产生的指数图像数据等而产生用于在监视器300上显示的图像数据(S9)。在图像数据产生过程S9,可以产生用于例如多图像表示、内窥镜图像表示和指数图像表示的各种类型的图像数据;在多图像表示中,颜色修正后的内窥镜图像以及一个或多个类型指数图像并排显示在一个屏幕上;在内窥镜图像表示中,仅显示颜色修正后的内窥镜图像;在指数图像表示中,仅显示由用户指定的一个或多个类型的指数图像。对待产生的图像数据的类型的选择通过用户对电子镜100的操作单元或对处理器200的操作面板214的操作而进行。此外,例如从处理器200的操作面板214输入的例如患者信息的相关信息以叠加的方式显示在显示屏上。
图8A和图8B是显示在监视器300上的示例。具体而言,图8A是内窥镜图像,而图8B是第一指数X(x,y)的指数图像。图8A和图8B中的每个是通过对这样的状态的右手进行观测而获得的:其中中指的近端指间关节周围的部分受到橡胶带压迫。图8B显示了氧饱和度在相对于右中指的按压部分的末端部分由于压力导致血液流动受阻而变低的状态。此外,可以看出,在紧邻受压部分的近侧,动脉血液停留并因此氧饱和度局部变高。
在特殊观测模式下,通过在在监视器300上显示包括内窥镜图像和指数图像的两个屏幕的情况下进行内窥镜观测,能够有把握找到显示出总血红蛋白量和氧饱和度的特征改变的恶性肿瘤。此外,当找到具有恶性肿瘤可能性的部分时,通过对电子镜100进行操作而从特殊观测模式切换到正常观测模式,并进而在整个屏幕上显示具有适当颜色再现性的正常观测图像,可以进行更精确的诊断。根据实施方案的电子内窥镜***1配置为,通过对电子镜100进行操作,经由在使滤光器262***光路或从光路缩回的同时简单地改变图像处理方式,能够在正常观测模式和特殊观测模式之间容易且快速地切换。
此外,在电子内窥镜***1中,采用了将光分为三个波长区域W2、W7和WR的多峰值滤光器262,并且进一步采用了使三个波长区域W2、W7和WR的光分别穿过固态图像提取设备108的B滤光器、G滤光器和R滤光器的配置。使用该配置,通过采集一个帧(2场),能够产生内窥镜图像和指数图像的帧。因此,能够获得具有高有效帧率的视频图像。
只要能够获得具有希望的精确度的指数X和Y,滤光器262的三个透射波长区域可以从由血红蛋白的等吸收点定义的波长区域W2、W7和WR有所偏移。图9是画出模拟结果的图,其中,在对在对应于波长区域W2(452nm至502nm)的滤光器262的透射波长区域移动时所导致的指数X的误差进行了模拟。在图9中,水平轴表示氧饱和度,竖直轴表示指数X的误差。
在图9中,画出的点A表示的是,当使用配置为允许从波长区域W2向更长波长侧移动2nm的454nm至504nm的波长区域的光经过的滤光器262时所导致的误差。画出的点B表示的是,当使用配置为允许从波长区域W2向更短波长侧移动6nm的446nm至496nm的波长区域的光经过的滤光器262时所导致的误差。画出的点C表示的是,当使用配置为允许从波长区域W2向更短波长侧移动12nm的440nm至490nm的波长区域的光经过的滤光器262时所导致的误差。画出的点的每个的误差小于8%。此外,应当理解为,该图显示了这样的趋势:相对于透射波长区域向更短波长侧移动的情况,透射波长区域向更长波长侧移动的情况中的误差会更大。
已经报道,正常活体组织中的氧饱和度大于或等于大约90%,而相比之下,恶性肿瘤中的氧饱和度小于或等于大约40%。因此,一般认为,如果将指数X的误差限制为小于或等于大约±5%,则对于识别恶性肿瘤的目的而言,该指数在实际使用中已成为足够可用的。
因此,关于滤光器262的透射波长区域对应于波长区域W2的偏移量,±12nm的范围(或者-12nm至+10nm的范围,这是考虑到当透射波长区域移动到更长波长侧时误差会更大)是足够可接受的。至少在图9中画出的条件的范围内(即,在-12nm至+2nm的波长移动量的范围内),可以将指数X的误差限制到在实际使用中足够可用的范围。
此外,尽管图9显示的是在不改变波长宽度的情况下移动波长时的模拟结果;但是,可以认为,基本相同的容差可以应用到附加波长宽度的增加或减小的波长区域的移动。即,可以认为,对于对应于波长区域W2的透射波长区域的较长波长边和较短波长边中的每个,允许±12nm(优选地,-12nm至+10nm,更加优选地,-12nm至+2nm)的范围内的误差。
此外,也可以认为,关于对应于波长区域W7和波长区域WR中的每个的波长区域,能够接受至少基本相同的容差。
根据上述实施方案,使用了具有在整个波长区域的吸收不取决于氧饱和度的特性的相对宽的波长区域,以替代波长区域极窄的等吸收点。因此,不必使用具有极窄波带并具有高光谱能量密度的光(例如激光),并且即使在使用具有低光谱能量密度的窄带光(例如这样的光,其波长区域是通过带通滤光器而从白光分离的)的情况下,也能够精确对关于血红蛋白密度(血液密度)的信息进行估计而不受氧饱和度的影响。
上文是关于本发明的实施方案的解释。本发明并不限于上述实施方案,而是能够在本发明的范围内以各种变化方式变化。例如,本发明包括在说明书中清楚地描述的实施方案与根据上述实施方案而容易实现的实施方案的组合。
在上述实施方案中,描述了将波长区域W2用作用于特殊观测模式的对于蓝色的波长范围的示例;然而,波长区域W1可以用来代替波长区域W2。波长区域W1具有这样的特性:氧合血红蛋白的吸收与去氧血红蛋白的吸收之间的差异大于波长区域W2的氧合血红蛋白的吸收与去氧血红蛋白的吸收之间的差异。因此,通过使用波长区域W1,能够以高敏感性检测氧饱和度的改变。另一方面,波长区域W2具有这样的特性:血红蛋白的吸收小于波长区域W1的血红蛋白的吸收,并且,当使用氙灯作为灯208时,灯208的发光强度变得更高,并因此可以获得更大的光量。为此,通过使用波长区域W2,能够以高精确度(低噪声)检测氧饱和度。
上述实施方案是光谱分析结果显示为灰阶指数图像或单色指数图像的示例;然而,分析结果的显示方式不限于这样的示例。例如,图像数据R(x,y)、G(x,y)和B(x,y)可以依据指数的值而变化。例如,对于指数的值超过参考值的像素,可以执行增加像素亮度的过程、改变像素的彩色相位(color phase)的过程(例如,通过增加红色成分而增强红色的过程,或以将彩色相位旋转预定的角度的过程)或者使像素闪烁的过程(或周期性改变彩色相位的过程)。
在上述实施方案中,固态图像提取设备108解释为用于采集彩色图像的具有片上颜色滤光器的固态图像提取设备;然而,本发明不限于这样的配置。例如,可以使用用于采集单色图像的具有所谓帧序列式颜色滤光器(frame sequential type color filter)的固态图像提取设备。颜色滤光器可以设置在从灯208延伸到固态图像提取设备108的光路上的任意点。
在上述实施方案中,滤光器260设置在光源侧以对照射光IL进行滤波;然而,本发明不限于这样的配置。滤光器260可以设置在图像提取设备侧,并且可以对从受测体返回的光进行滤波。
在上述实施方案中,本发明应用于作为数字相机的示例的电子内窥镜***;然而,本发明可以应用于使用其他类型的数字相机(例如,数字单反相机或数字摄像机)的***。例如,当本发明应用于数字静物摄影机(digital still camera)时,可以进行对于体表组织的观测以及在颅骨切开术期间进行对于脑组织的观测(例如,对于脑血容量的快速检测)。

Claims (12)

1.一种图像采集***,包括:
光源设备,其发射照射光,所述照射光包含彼此分开的多个波长区域;
图像提取设备,其通过对以照射光照射的作为受测体的活体组织的图像进行采集而产生图像数据,所述图像提取设备具有RGB滤光器;以及
图像处理单元,其配置为使用通过所述图像提取设备产生的图像数据来选择目标像素,并且基于所述目标像素来计算指数,所述指数表示包含在所述活体组织中的第一生物物质与第二生物物质的摩尔浓度比,
其中,所述多个波长区域包括:
第一波长区域,其对应于所述RGB滤光器的B滤光器;
第二波长区域,其对应于所述RGB滤光器的G滤光器;以及
第三波长区域,其对应于所述RGB滤光器的R滤光器,
其中:
在所述第一波长区域中,由具有RGB滤光器的所述图像提取设备的附接了B滤光器的光接收元件采集的所述活体组织的图像数据B的值依据所述摩尔浓度比而变化;
所述第二波长区域包含所述活体组织的多个等吸收点,并且,在所述第二波长区域中,由所述图像提取设备的附接了G滤光器的光接收元件采集的所述活体组织的图像数据G的值为常量而不取决于所述摩尔浓度比;并且
所述图像处理单元配置为,基于所述图像数据B和所述图像数据G计算与所述摩尔浓度比具有相关性的第一指数,基于所述图像数据G和通过所述图像提取设备的附接了R滤光器的光接收元件采集的所述活体组织的图像数据R而计算第二指数,所述第二指数与所述第一生物物质与所述第二生物物质的摩尔浓度的和具有相关性,
所述第二指数定义为通过将所述图像数据G除以所述图像数据R所获得的值;
将满足以下至少一个条件的像素选择作为目标像素:
B(x,y)/G(x,y)>a1
R(x,y)/G(x,y)>a2
R(x,y)/B(x,y)>a3
其中,a1、a2、a3是大于1的常数。
2.根据权利要求1所述的图像采集***,
其中,所述光源设备包括:
白光源;以及
滤光器,其将所述照射光从所述白光源所发射的白光分离。
3.根据权利要求1或2所述的图像采集***,其中,所述第一指数定义为通过将所述图像数据B除以所述图像数据G所获得的值。
4.根据权利要求1或2所述的图像采集***,
进一步包括存储器,其存储基准线图像数据BLR、BLG和BLB,所述基准线图像数据BLR、BLG和BLB分别对应于通过对以所述照射光照射的颜色参考板进行采集而获得的R、G和B颜色的图像数据。
5.根据权利要求4所述的图像采集***,
其中所述图像处理单元配置为,使用由下列表达式定义的标准化图像数据RS、GS和BS代替图像数据R、图像数据G和图像数据B来计算指数:
RS=R/BLR
GS=G/BLG
RS=B/BLB
6.根据权利要求1或2所述的图像采集***,其中,所述图像处理单元配置为,产生表示所述第一指数在所述活体组织中的分布的第一指数图像数据。
7.根据权利要求6所述的图像采集***,其中,所述第一指数图像数据是以所述第一指数为像素值的图像数据。
8.根据权利要求1或2所述的图像采集***,
其中:
所述第一生物物质是氧合血红蛋白;
所述第二生物物质是去氧血红蛋白;并且
所述第一指数与氧饱和度具有相关性。
9.根据权利要求1或2所述的图像采集***,
其中所述图像处理单元配置为,基于所述第一指数和所述第二指数来计算第三指数,所述第三指数表示所述活体组织为恶性肿瘤的可能性的程度。
10.根据权利要求9所述的图像采集***,
其中,对于具有所述第一指数低于第一参考值且所述第二指数高于第二参考值的像素,将表示所述活体组织为恶性肿瘤的可能性高的值赋给所述第三指数。
11.根据权利要求1或2所述的图像采集***,
所述第二波长区域通过所述活体组织的一对等吸收点分隔,在所述第二波长区域的内部包括所述活体组织的另外的一对等吸收点。
12.根据权利要求1或2所述的图像采集***,
其为电子内窥镜***。
CN201911241393.4A 2014-09-03 2015-08-31 图像采集***和电子内窥镜*** Active CN110840379B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-179036 2014-09-03
JP2014179036A JP6204314B2 (ja) 2014-09-03 2014-09-03 電子内視鏡システム
CN201510549104.2A CN105380587A (zh) 2014-09-03 2015-08-31 图像采集***和电子内窥镜***

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510549104.2A Division CN105380587A (zh) 2014-09-03 2015-08-31 图像采集***和电子内窥镜***

Publications (2)

Publication Number Publication Date
CN110840379A CN110840379A (zh) 2020-02-28
CN110840379B true CN110840379B (zh) 2022-05-17

Family

ID=54014716

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510549104.2A Pending CN105380587A (zh) 2014-09-03 2015-08-31 图像采集***和电子内窥镜***
CN201911241393.4A Active CN110840379B (zh) 2014-09-03 2015-08-31 图像采集***和电子内窥镜***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510549104.2A Pending CN105380587A (zh) 2014-09-03 2015-08-31 图像采集***和电子内窥镜***

Country Status (4)

Country Link
US (2) US10426325B2 (zh)
EP (2) EP2992805B1 (zh)
JP (1) JP6204314B2 (zh)
CN (2) CN105380587A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
SG11201608738SA (en) * 2014-05-05 2016-11-29 Helen Of Troy Ltd Otoscope and otoscopic method based on spectral analysis
EP3278710B1 (en) * 2015-04-02 2020-04-22 FUJIFILM Corporation Processor device and endoscopic system
WO2017142399A1 (en) * 2016-02-16 2017-08-24 Stichting Het Nederlands Kanker Instituut-Antoni van Leeuwenhoek Ziekenhuis Method, apparatus and software for detection and localization of hidden defects in optically diffuse media
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6629639B2 (ja) * 2016-03-07 2020-01-15 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN109414158A (zh) * 2016-06-29 2019-03-01 奥林巴斯株式会社 内窥镜
JP6570484B2 (ja) 2016-07-04 2019-09-04 Hoya株式会社 分析装置
WO2018021240A1 (ja) * 2016-07-25 2018-02-01 学校法人同志社 病態診断支援システム、病態診断データ生成システム、および病態診断支援方法
CN109475281B (zh) * 2016-09-02 2021-08-20 Hoya株式会社 电子内窥镜***
US10905318B2 (en) 2016-10-14 2021-02-02 Hoya Corporation Endoscope system
WO2018079217A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム及びその作動方法
US11602277B2 (en) 2017-01-16 2023-03-14 Hoya Corporation Endoscope system and image display device
JP6850871B2 (ja) 2017-03-31 2021-03-31 Hoya株式会社 電子内視鏡システム
JP2020062063A (ja) * 2017-03-31 2020-04-23 国立大学法人九州大学 ヘモグロビン定量装置、ヘモグロビン定量方法及びヘモグロビン定量プログラム
GB2561863A (en) 2017-04-25 2018-10-31 Sumitomo Chemical Co Methods for colorimetric analysis
JP6439083B1 (ja) * 2017-05-02 2018-12-19 オリンパス株式会社 内視鏡システム
JP6960773B2 (ja) * 2017-05-26 2021-11-05 池上通信機株式会社 撮像画像処理システム
DE112019004271T5 (de) * 2018-08-31 2021-05-27 Hoya Corporation Endoskopsystem und Verfahren zum Bedienen des Endoskopsystems
JPWO2020066670A1 (ja) * 2018-09-27 2021-06-10 Hoya株式会社 電子内視鏡システム
DE112020002107T5 (de) * 2019-04-26 2022-03-03 Hoya Corporation Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
CN115731205B (zh) * 2022-11-28 2024-04-26 北京大学 内窥镜的图像处理装置、方法、电子设备及存储介质

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5362149A (en) 1976-11-15 1978-06-03 Matsushita Electric Ind Co Ltd Arrester circuit
JPS559755A (en) 1978-07-08 1980-01-23 Hitoshi Hatano Mannmade gatheringgplace for fish
JPS583731A (ja) 1981-06-30 1983-01-10 Aida Eng Ltd フアインブランキング加工用機械プレス
JPS607857A (ja) 1983-06-27 1985-01-16 テルモ株式会社 腹膜透析用装置
JPH0679594A (ja) 1992-08-27 1994-03-22 Hitachi Cable Ltd 金型プレートのジグ研削加工方法
US5408998A (en) 1994-03-10 1995-04-25 Ethicon Endo-Surgery Video based tissue oximetry
JP2001314370A (ja) 2000-05-08 2001-11-13 Olympus Optical Co Ltd 光源装置
JP3583731B2 (ja) 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
JP3607857B2 (ja) 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
EP1302152B1 (en) 2000-07-21 2013-03-20 Olympus Corporation Endoscope apparatus
JP3559755B2 (ja) 2000-07-27 2004-09-02 オリンパス株式会社 内視鏡装置
US6678398B2 (en) 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP4590095B2 (ja) 2000-12-07 2010-12-01 オリンパス株式会社 光源装置
JP3884265B2 (ja) 2001-10-22 2007-02-21 オリンパス株式会社 内視鏡装置
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP2003093343A (ja) 2001-09-21 2003-04-02 Fuji Photo Optical Co Ltd 内視鏡装置
US6932762B2 (en) 2001-09-21 2005-08-23 Fujinon Corporation Endoscope having red component cut filter
US20050027166A1 (en) 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
US7949387B2 (en) 2004-03-19 2011-05-24 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Method for evaluating relative oxygen saturation in body tissues
JP4559149B2 (ja) 2004-07-23 2010-10-06 オリンパス株式会社 照明光学系、照明光学系を用いた照明装置、及び照明光学系又は照明光学系を用いた照明装置を用いた観察システム
JP4855728B2 (ja) 2005-07-27 2012-01-18 オリンパスメディカルシステムズ株式会社 照明装置及び観察装置
JP5208430B2 (ja) 2007-01-31 2013-06-12 オリンパス株式会社 生体組織用蛍光観察装置
JP5219440B2 (ja) 2007-09-12 2013-06-26 キヤノン株式会社 測定装置
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
JP2009153621A (ja) 2007-12-25 2009-07-16 Olympus Corp 生体観察装置および内視鏡装置
WO2010044432A1 (ja) 2008-10-17 2010-04-22 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5541914B2 (ja) 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
US8879352B2 (en) * 2010-01-25 2014-11-04 The Arizona Board Of Regents On Behalf Of The University Of Arizona Ultrasonic/photoacoustic imaging devices and methods
US9420153B2 (en) 2010-02-10 2016-08-16 Hoya Corporation Electronic endoscope system
WO2011099322A1 (ja) 2010-02-10 2011-08-18 Hoya株式会社 電子内視鏡システム
JP2013521900A (ja) * 2010-03-17 2013-06-13 ズオン、ハイシャン 高速マルチスペクトルイメージングの方法および装置と癌検出および局在診断への応用
JP5452300B2 (ja) * 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5457247B2 (ja) 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5597021B2 (ja) 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
JP5076036B2 (ja) 2010-06-25 2012-11-21 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2012047806A1 (en) 2010-10-08 2012-04-12 Edwards Lifesciences Corporation System, method and computer program product for optical measurement of blood parameters
JP5231511B2 (ja) * 2010-11-09 2013-07-10 富士フイルム株式会社 内視鏡診断装置
JP5303012B2 (ja) * 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5222934B2 (ja) 2010-12-21 2013-06-26 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5496075B2 (ja) 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置
JP5752423B2 (ja) 2011-01-11 2015-07-22 富士フイルム株式会社 分光計測システムおよび分光計測システムの作動方法
JP2012235962A (ja) 2011-05-13 2012-12-06 Hoya Corp 電子内視鏡装置
JP5611892B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2012245223A (ja) 2011-05-30 2012-12-13 Hoya Corp 電子内視鏡装置及び分光画像最適化方法
JP5579672B2 (ja) 2011-08-15 2014-08-27 富士フイルム株式会社 内視鏡システム、及び光源装置
EP2754379B1 (en) 2011-09-05 2019-07-03 FUJIFILM Corporation Endoscope system and image display method
JP2014530668A (ja) 2011-09-15 2014-11-20 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 組織励起を用いた蛍光検体の測定
JP5331860B2 (ja) 2011-09-15 2013-10-30 富士フイルム株式会社 内視鏡システム及び光源装置
JP5923099B2 (ja) 2011-09-29 2016-05-24 Hoya株式会社 診断システム
JP6146955B2 (ja) * 2012-03-13 2017-06-14 キヤノン株式会社 装置、表示制御方法、及びプログラム
EP2700349A4 (en) 2012-03-30 2015-08-26 Olympus Medical Systems Corp ENDOSCOPIC DEVICE
JP2014000301A (ja) * 2012-06-20 2014-01-09 Fujifilm Corp 光源装置及び内視鏡システム
JP5623469B2 (ja) * 2012-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5702755B2 (ja) 2012-07-24 2015-04-15 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
JP5774563B2 (ja) 2012-09-04 2015-09-09 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP5690790B2 (ja) 2012-09-21 2015-03-25 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5670399B2 (ja) 2012-09-26 2015-02-18 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP2014230647A (ja) 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
CN105324064B (zh) 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6257926B2 (ja) 2013-05-31 2018-01-10 Hoya株式会社 波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置
JP6010571B2 (ja) 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6039639B2 (ja) 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6121368B2 (ja) * 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6085649B2 (ja) 2014-08-29 2017-02-22 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム

Also Published As

Publication number Publication date
EP3106079B1 (en) 2021-12-29
EP2992805B1 (en) 2022-01-05
JP6204314B2 (ja) 2017-09-27
CN110840379A (zh) 2020-02-28
EP3106079A1 (en) 2016-12-21
US20190374096A1 (en) 2019-12-12
JP2016052391A (ja) 2016-04-14
US10426325B2 (en) 2019-10-01
US11224335B2 (en) 2022-01-18
EP2992805A1 (en) 2016-03-09
CN105380587A (zh) 2016-03-09
US20160058274A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
CN110840379B (zh) 图像采集***和电子内窥镜***
WO2017145529A1 (ja) 計算システム
CN105615894B (zh) 分析装置以及分析方法
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP5923099B2 (ja) 診断システム
JP6195328B2 (ja) 分析装置
CN111989023B (zh) 内窥镜***及使内窥镜***工作的方法
WO2017119239A1 (ja) 内視鏡装置
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
JP6284451B2 (ja) 内視鏡装置
JP6615369B2 (ja) 内視鏡システム
CN109561808B (zh) 分析装置
JP6783168B2 (ja) 内視鏡システム及び分析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant