WO2017119239A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2017119239A1
WO2017119239A1 PCT/JP2016/086884 JP2016086884W WO2017119239A1 WO 2017119239 A1 WO2017119239 A1 WO 2017119239A1 JP 2016086884 W JP2016086884 W JP 2016086884W WO 2017119239 A1 WO2017119239 A1 WO 2017119239A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
parameter
light
oxygen saturation
endoscope apparatus
Prior art date
Application number
PCT/JP2016/086884
Other languages
English (en)
French (fr)
Inventor
千葉 亨
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to CN201680012463.7A priority Critical patent/CN107427186B/zh
Priority to US15/552,604 priority patent/US10925527B2/en
Publication of WO2017119239A1 publication Critical patent/WO2017119239A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Definitions

  • the present invention relates to an endoscope apparatus that acquires biological information such as a concentration of a biological substance in a biological tissue based on an image obtained by photographing the biological tissue.
  • Patent Document 1 An endoscope apparatus having a function of quantifying the concentration of a biological substance (for example, hemoglobin) in a biological tissue that is a subject from color information of an endoscopic image is known.
  • An example of such an endoscope apparatus is described in International Publication No. 2014/192781 pamphlet (hereinafter referred to as “Patent Document 1”).
  • the endoscope apparatus described in Patent Document 1 is based on color information of two endoscopic images photographed using two types of illumination lights in the absorption band of hemoglobin near 500 to 600 nm. Then, an index indicating the total hemoglobin concentration and an index indicating the oxygen saturation are calculated.
  • the absorption band of hemoglobin near 500-600 nm has a large absorption coefficient, and the change in absorption with respect to the change in oxygen saturation is also large. Therefore, the distribution of total hemoglobin concentration and oxygen saturation can be detected with high sensitivity by using an image taken using illumination light in the 500-600 nm band.
  • hemoglobin has a larger absorption in the 500-600 nm band than other absorption bands, when a biological tissue with a high total hemoglobin concentration is observed, the change in the amount of received light with respect to the total hemoglobin concentration and oxygen saturation is small. Thus, there is a problem that sensitivity is lowered.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an endoscope apparatus capable of acquiring oxygen saturation of a living tissue having a high total hemoglobin concentration from image information of the living tissue.
  • An endoscope apparatus is based on a light source device, an imaging unit that images a living tissue illuminated by light emitted from the light source device to generate RGB color image data, and RGB color image data. And a feature amount acquisition unit that acquires a feature amount of the biological tissue.
  • the feature amount acquisition unit calculates a first parameter having a correlation with the oxygen saturation in the biological tissue from the RGB color image data.
  • the first parameter is one of the following [a] and [b].
  • R is first normal observation image data R that is an R component of normal observation image data captured under illumination of white light
  • G is second normal observation image data G that is a G component of the normal observation image data
  • B is third normal observation image data B which is a B component of the normal observation image data
  • W is the first special observation image data W that is the G component of the RBG color image data captured under the illumination of the first special light.
  • the feature amount acquisition unit acquires the oxygen saturation based on the corrected first parameter obtained by multiplying the first parameter by the first correction value for correcting the influence of the total hemoglobin concentration. Also good.
  • the feature amount acquisition unit may include a first storage unit that holds a numerical table or a function representing a relationship between the corrected first parameter and the oxygen saturation.
  • the feature amount acquisition unit may acquire the first correction value based on the second parameter having a correlation with the total hemoglobin concentration.
  • the feature amount acquisition unit may include a second storage unit that holds a numerical table or a function that represents the relationship between the second parameter and the total hemoglobin concentration.
  • the second parameter may be any one of the following [c] to [e].
  • R is the first normal observation image data R
  • G is the second normal observation image data G
  • W is the first special observation image data W.
  • This configuration makes it possible to obtain an index of total hemoglobin concentration by simple calculation of image data.
  • the feature amount acquisition unit may acquire the total hemoglobin concentration based on the second parameter.
  • the first special light may have a wavelength range from the vicinity of the equiabsorption point E1 of hemoglobin appearing at 528 ⁇ 5 nm to the vicinity of the isosbestic point E4 appearing at 584 ⁇ 5 nm. .
  • This configuration makes it possible to easily acquire an accurate total hemoglobin concentration that does not depend on oxygen saturation.
  • the light source device includes a white light source and a first optical filter that extracts the first special light from the white light emitted from the white light source, and switches between the white light and the first special light. It is good also as a structure which emits.
  • the oxygen saturation can be accurately detected by a light source device having a simple configuration including one white light source and one optical filter.
  • the feature amount acquisition unit calculates oxygen saturation based on the first parameter
  • the oxygen saturation may be calculated based on the third parameter reflecting the absorption of the hemoglobin in the 500-600 nm absorption band.
  • the light source device may further include a second optical filter that extracts the second special light from the white light emitted from the white light source.
  • the third parameter is N / W.
  • W is the first special observation image data W
  • N is the second special observation image data N that is the G component of the RBG color image data captured under the illumination of the second special light
  • the second special light has a wavelength range from the vicinity of the equiabsorption point E2 of hemoglobin appearing at 547 ⁇ 5 nm to the vicinity of the isosbestic point E3 appearing at 569 ⁇ 5 nm.
  • the feature amount acquisition unit may include a third storage unit that holds a numerical table or a function that represents the relationship between the third parameter and the oxygen saturation.
  • An endoscope apparatus captures color image data by imaging a light source device capable of generating first light and second light, and a living tissue illuminated by light generated by the light source device.
  • An imaging unit including an RGB color filter that can be generated, and a feature amount acquisition unit that acquires a feature amount of a living tissue based on color image data.
  • the absorption of hemoglobin is the oxygen saturation level.
  • the feature amount acquisition unit selects whether to acquire the oxygen saturation of the living tissue based on either the first image data imaged by the first passing light or the second image data imaged by the second passing light. It has a selection part and acquires oxygen saturation of living tissue based on image data which the selection part selected.
  • the feature amount acquisition unit can generate a first parameter that is an index of the oxygen saturation of the living tissue and a second parameter that is an index of the total hemoglobin concentration of the living tissue. And when the total hemoglobin concentration corresponding to the value of the second parameter is greater than or equal to a predetermined value, the selection unit selects acquisition of oxygen saturation based on the first image data, and the total corresponding to the value of the second parameter When the hemoglobin concentration is less than a predetermined value, it may be configured to select acquisition of oxygen saturation based on the second image data.
  • the endoscope apparatus may include a feature amount distribution image generation unit that generates a feature amount distribution image representing the distribution of the feature amount in the living tissue based on the feature amount.
  • the imaging unit may include an endoscope provided at the distal end.
  • the configuration of the embodiment of the present invention it is possible to acquire the oxygen saturation of a living tissue having a high total hemoglobin concentration from the image information of the living tissue.
  • 1 is a block diagram of an endoscope apparatus according to an embodiment of the present invention. It is a transmission spectrum of the color filter incorporated in an image sensor. It is an external view of a rotation filter. It is a flowchart showing the spectroscopic analysis process which concerns on embodiment of this invention.
  • (A) is a display example of a normal observation image
  • (B) and (C) are two-dimensional display examples of an oxygen saturation distribution image.
  • An endoscope apparatus is based on a plurality of images captured under illumination of light having different wavelength ranges, such as biological information of a subject (for example, total hemoglobin concentration, oxygen saturation, etc.
  • This is a device that quantitatively analyzes a feature amount of a living tissue and displays the analysis result as an image.
  • the property that the spectral characteristics of blood that is, the spectral characteristics of hemoglobin
  • the spectral characteristics of hemoglobin continuously change according to the total hemoglobin concentration and oxygen saturation is used.
  • FIG. 1 shows a transmission spectrum of hemoglobin.
  • FIG. 2 shows an absorption spectrum of hemoglobin near 550 nm. Hemoglobin has a strong absorption band around 550 nm. The absorption spectrum of hemoglobin varies depending on the oxygen saturation (the proportion of oxygenated hemoglobin HbO in the total hemoglobin). 1 and 2, the solid line is a spectrum when the oxygen saturation is 100% (that is, oxygenated hemoglobin HbO), and the long broken line is a spectrum when the oxygen saturation is 0% (that is, reduced hemoglobin). Hb) spectrum. The short dashed line is a spectrum of hemoglobin (a mixture of oxygenated hemoglobin HbO and reduced hemoglobin Hb) at an intermediate oxygen saturation (10, 20, 30,... 90%).
  • oxygenated hemoglobin HbO and reduced hemoglobin Hb have different peak wavelengths.
  • oxygenated hemoglobin HbO has an absorption peak P1 near a wavelength of 542 nm (for example, 542 ⁇ 5 nm) and an absorption peak P3 near a wavelength of 576 nm (for example, 576 ⁇ 5 nm).
  • reduced hemoglobin Hb has an absorption peak P2 near 556 nm (for example, 556 ⁇ 5 nm).
  • FIG. 2 is a two-component absorption spectrum in which the sum of the concentrations of each component (oxygenated hemoglobin HbO, reduced hemoglobin Hb) is constant.
  • the wavelength region sandwiched between the isosbestic points E1 and E2 is sandwiched between the wavelength region R1 and the wavelength region sandwiched between the isosbestic points E2 and E3 is sandwiched between the wavelength region R2 and the isosbestic points E3 and E4.
  • This wavelength region is called a wavelength region R3.
  • a wavelength region sandwiched between the isosbestic points E1 and E4 (that is, a combination of the wavelength regions R1, R2, and R3) is referred to as a wavelength region R0.
  • the wavelength band R2 is also referred to as an N band (Narrow-band)
  • the wavelength band R0 is also referred to as a W band (Wide-band).
  • the absorption of hemoglobin increases or decreases linearly with respect to oxygen saturation between adjacent isosbestic points. Further, between adjacent isosbestic points, the absorption of hemoglobin changes almost linearly with respect to the oxygen saturation.
  • the hemoglobin absorptions A R1 and A R3 in the wavelength regions R1 and R3 increase linearly with respect to the oxygenated hemoglobin concentration. Further, the absorption A R2 of hemoglobin in the wavelength range R2 linearly increases relative to the concentration of reduced hemoglobin.
  • oxygen saturation is defined by the following formula 1.
  • Equation 1 Equations 2 and 3 representing the concentrations of oxygenated hemoglobin and reduced hemoglobin are obtained.
  • the hemoglobin absorptions A R1 , A R2 and A R3 are characteristic quantities that depend on both the oxygen saturation Sat and the total hemoglobin concentration tHb.
  • the integrated value A R0 of the absorption of hemoglobin in the wavelength range R0 composed of the wavelength ranges R1, R2 and R3 is almost independent of the oxygen saturation Sat and is determined by the total hemoglobin concentration tHb. It has been found to be a value. Therefore, it is possible to quantify the total hemoglobin concentration tHb from the absorption A R0.
  • the oxygen saturation Sat can be determined from the total hemoglobin concentration tHb determined from the absorption A R0 and the absorption A R1 , A R2, or A R3 . As shown in FIG. 2, among the wavelength regions R1, R2, and R3, the amount of change in absorption due to the oxygen saturation Sat (that is, the area of the region surrounded by the solid waveform and the long dashed waveform) is greatest in the wavelength region R2, the most sensitive characteristic amount absorbed a R2 is relative oxygen saturation degree sat wavelength range R2.
  • the spectral characteristics of living tissue are affected by light scattering by the living tissue. That is, the light scattering of the living tissue becomes an error factor in quantifying the total hemoglobin concentration tHb and the oxygen saturation Sat. In order to perform accurate quantification from the image information of living tissue, it is necessary to correct the influence of scattering.
  • the inventor's research group conducted research on indices of total hemoglobin concentration tHb and oxygen saturation Sat that can be obtained from image information of living tissue, and the three groups that do not depend on light scattering represented by the following formula 4-6.
  • Parameters W / R, W / (R + G) and N / W were created.
  • Parameters W / R and W / (R + G) is based on the quantitative relationship between the absorption A R0 described above the total hemoglobin concentration tHb, a parameter indicative of the total hemoglobin concentration tHb.
  • the parameter N / W is a parameter serving as an index of the oxygen saturation Sat based on the quantitative relationship between the absorption AR2 and the oxygen saturation Sat described above.
  • W (x, y) is the value of the pixel (x, y) of the image data captured under illumination of the W band light
  • N (x, y) is under illumination of the N band light. This is the value of the pixel (x, y) of the captured image data.
  • the W band and the N band are included in the pass wavelength range of the G color filter of the single-plate primary color image sensor. That is, the W-band and N-band light images are picked up by the color pixels to which the G color filter is attached, and are obtained as G digital color image data.
  • R (x, y) and G (x, y) are the values of the pixel (x, y) of the image data captured under white light illumination.
  • R (x, y) is a value of R digital color image data captured by a color pixel to which an R color filter is attached
  • G (x, y) is a color to which a G color filter is attached. It is a value of G digital color image data imaged by a pixel.
  • Parameters W / R and W / (R + G) are sensitive to the total hemoglobin concentration tHb, but have little sensitivity to the intensity of scattering and the oxygen saturation Sat. Therefore, the value of the total hemoglobin concentration tHb that hardly includes errors due to the intensity of scattering and the oxygen saturation Sat can be acquired from the parameter W / R or W / (R + G).
  • the parameter N / W is sensitive to the total hemoglobin concentration tHb and the oxygen saturation Sat, but has little sensitivity to the intensity of scattering. Therefore, if the total hemoglobin concentration tHb is known, the value of the oxygen saturation Sat containing almost no error due to scattering can be obtained from the parameter N / W.
  • the bottom of the absorption band of 500 to 600 nm extends to around 800 nm.
  • the absorption of hemoglobin decreases linearly and monotonically with respect to the oxygen saturation Sat.
  • the absorption A R4 in the wavelength region R4 (especially the 600-650 nm band) is small compared to the 500-600 nm band, but the fluctuation range with respect to the change in the oxygen saturation Sat (that is, the sensitivity to the oxygen saturation Sat) is large. It can be an indicator of the oxygen saturation Sat.
  • the parameters R / (R + G + B) and R / W created by the present inventor are each an absorption A R4 having a correlation with the oxygen saturation. (Equation 7 and Equation 8).
  • an index indicating the absorption A R4 (and oxygen saturation Sat) can be easily calculated from the image data of the living tissue.
  • B (x, y) is the value of the pixel (x, y) of the image data captured under white light illumination.
  • B (x, y) is a value of B digital color image data captured by a color pixel to which a B color filter is attached.
  • Absorption A R4 is dependent on the total hemoglobin concentration tHb. Accordingly, the parameters R / (R + G + B) and R / W, which are indicators of the absorption A R4 , also depend on the total hemoglobin tHb. In order to obtain an accurate oxygen saturation Sat, it is necessary to correct the influence of the total hemoglobin concentration tHb for each parameter R / (R + G + B) or R / W.
  • FIG. 3 is a graph plotting the relationship between the oxygen saturation Sat and the parameter R / (R + G + B). Even if the oxygen saturation Sat is the same value, the value of the parameter R / (R + G + B) increases as the total hemoglobin concentration tHb increases, and an accurate oxygen saturation Sat is obtained only from the parameter R / (R + G + B). I can't.
  • FIG. 4 is a graph in which the parameter ⁇ R / (R + G + B) obtained by multiplying the parameter R / (R + G + B) by the correction value ⁇ (tHb) determined by the total hemoglobin concentration tHb is plotted against the oxygen saturation Sat.
  • the values at all the total hemoglobin concentrations tHb are distributed on substantially the same curve, and the parameter ⁇ R / (R + G + B) is a value that hardly depends on the total hemoglobin concentration tHb.
  • the parameter R / G created by the present inventor is an index indicating the total hemoglobin concentration tHb (Equation 9).
  • an index indicating the total hemoglobin concentration tHb can be easily calculated from the image data of the living tissue.
  • FIG. 5 is a graph plotting the relationship between the experimentally obtained parameter R / G and the correction value ⁇ . Using this graph, the value of the correction value ⁇ can be obtained from the value of the parameter R / G.
  • Equation 4-6 using the absorption in the wavelength range R1-R3 (particularly illumination of light in the wavelength range R2 with a narrow wavelength range and a small amount of light)
  • the parameter N / W) of Expression 6 using the image data N captured below is suitable for evaluation of a living tissue having a relatively low total hemoglobin concentration tHb.
  • the parameters of Equation 7-9 using the absorption in the wavelength region R4 are suitable for evaluation of a living tissue having a relatively high total hemoglobin concentration tHb. .
  • the concentration of biological substances in biological tissues (specifically, based on strong absorption in the wavelength region R1-R3) Calculates the total hemoglobin concentration tHb and oxygen saturation Sat), and for biological tissues with a relatively high total hemoglobin concentration tHb, the concentration of the biological material in the biological tissue is determined based on the weak absorption in the wavelength region R4. calculate.
  • the wavelength region used for the calculation of the oxygen saturation Sat is selected according to the total hemoglobin concentration tHb, it is possible to accurately acquire the oxygen saturation Sat over a wide concentration range.
  • FIG. 6 is a block diagram of the endoscope apparatus 1 according to the embodiment of the present invention.
  • the endoscope apparatus 1 according to this embodiment includes an electronic endoscope 100, a processor 200, and a monitor 300.
  • the electronic endoscope 100 and the monitor 300 are detachably connected to the processor 200.
  • the processor 200 includes a light source unit 400 and an image processing unit 500.
  • the electronic endoscope 100 has an insertion tube 110 that is inserted into the body of a subject. Inside the electronic endoscope 100, a light guide 131 that extends over substantially the entire length is provided. One end portion (tip portion 131a) of the light guide 131 is disposed at the tip portion (insertion tube tip portion 111) of the insertion tube 110, and the other end portion (base end portion 131b) of the light guide 131 is connected to the processor 200. It is connected.
  • the processor 200 is an example of a white light source, and includes a light source unit 400 including a light source lamp 430 that generates white light WL having a large amount of light, such as a xenon lamp, and the illumination generated by the light source unit 400.
  • the light IL is incident on the base end 131 b of the light guide 131.
  • the light incident on the proximal end 131b of the light guide 131 is guided to the distal end portion 131a through the light guide 131 and is emitted from the distal end portion 131a.
  • a light distribution lens 132 is provided at the distal end portion 111 of the insertion tube of the electronic endoscope 100 so as to face the distal end portion 131 a of the light guide 131, and illumination emitted from the distal end portion 131 a of the light guide 131.
  • the light IL passes through the light distribution lens 132 and illuminates the living tissue T in the vicinity of the insertion tube distal end portion 111.
  • the insertion tube distal end portion 111 is provided with an objective optical system 121 and an image sensor 141 which is an example of an image pickup unit.
  • a part (return light) of the illumination light IL reflected or scattered on the surface of the living tissue T is incident on the objective optical system 121 and is condensed and imaged on the light receiving surface of the image sensor 141.
  • the image sensor 141 of the present embodiment is a CCD (Charge Coupled Device) image sensor for color image capturing, which includes a color filter 141a on its light receiving surface.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the color filter 141 a includes an R color filter that transmits red light, a G color filter that transmits green light, and a B color filter that transmits blue light, and is arranged on each light receiving element of the image sensor 141. It is a so-called on-chip filter formed directly.
  • the R, G, and B filters have spectral characteristics as shown in FIG. That is, the R color filter of the present embodiment is a filter that passes light having a wavelength longer than about 570 nm, the G color filter is a filter that passes light having a wavelength of about 500 nm to 620 nm, and the B color filter is It is a filter that allows light having a wavelength shorter than about 530 nm to pass through.
  • the image sensor 141 is controlled to be driven in synchronization with a signal processing circuit 550 described later, and periodically captures an image signal corresponding to a subject image formed on the light receiving surface (for example, at 1/30 second intervals). )Output.
  • the imaging signal output from the imaging element 141 is sent to the image processing unit 500 of the processor 200 via the cable 142.
  • the image processing unit 500 includes an A / D conversion circuit 510, a temporary storage memory 520, a controller 530, a video memory 540, and a signal processing circuit 550.
  • the A / D conversion circuit 510 performs A / D conversion on an imaging signal input from the imaging device 141 of the electronic endoscope 100 via the cable 142 and outputs digital image data.
  • Digital image data output from the A / D conversion circuit 510 is sent to and stored in the temporary storage memory 520.
  • the digital image data includes R digital image data captured by a light receiving element to which an R color filter is mounted, G digital image data captured by a light receiving element to which a G color filter is mounted, and light reception to which a B color filter is mounted.
  • B digital image data imaged by the element is included.
  • R digital image data, G digital image data, and B digital image data are also referred to as single color image data (R single color image data, G single color image data, and B single color image data).
  • the controller 530 processes one or more digital image data stored in the temporary storage memory 520, generates screen data to be displayed on the monitor 300, and sends this to the video memory 540.
  • the controller 530 may generate screen data generated from a single digital image data, screen data in which images of a plurality of digital image data are arranged, or each pixel (x, y) based on a plurality of digital image data.
  • a reflection spectrum of the living tissue T is generated, and thereby, screen data including an image obtained by color-coding the healthy part and the lesioned part, and a graph display of the reflection spectrum of the living tissue T corresponding to a specific pixel (x, y) are displayed.
  • the generated screen data and the like are generated and stored in the video memory 540.
  • the signal processing circuit 550 generates and outputs a video signal in a predetermined format (for example, a format conforming to the NTSC standard or the DVI standard) based on the screen data stored in the video memory 540.
  • the video signal output from the signal processing circuit 550 is input to the monitor 300.
  • an endoscopic image captured by the electronic endoscope 100 is displayed on the monitor 300.
  • the processor 200 functions as a video processor for processing the imaging signal output from the imaging device 141 of the electronic endoscope 100 and the illumination light IL for illuminating the living tissue T as the subject. It also has a function as a light source device to be supplied to the light guide 131 of the endoscope 100.
  • the light source unit 400 which is an example of a light source device, includes a condensing lens 440, a rotation filter 410, a filter control unit 420, and a condensing lens 450 in addition to the light source 430 described above.
  • the substantially parallel white light WL emitted from the light source 430 is collected by the condenser lens 440, passes through the rotary filter 410, and is collected again by the condenser lens 450, and is then proximal to 131 b of the light guide 131. Is incident on.
  • the rotary filter 410 is movable between an application position on the optical path of the white light WL and a retracted position outside the optical path by a moving means (not shown) such as a linear guide way.
  • the configuration of the light source unit 400 is not limited to that shown in FIG.
  • a lamp that generates convergent light in the light source 430 may be employed.
  • a configuration may be adopted in which the white light WL is condensed before the condenser lens 440 and is incident on the condenser lens 440 as diffused light.
  • a configuration in which a collimator lens is used instead of the condenser lens 440 and the white light WL is incident on the rotary filter 410 in a substantially parallel light state may be employed.
  • a collimator lens such as a dielectric multilayer filter
  • the incident angle of the white light WL to the optical filter is caused by causing the substantially parallel white light WL to enter the rotary filter 410.
  • a lamp that generates divergent light may be used for the light source 430.
  • a collimator lens is used instead of the condensing lens 440 and the substantially parallel white light WL is incident on the rotary filter 410.
  • the rotary filter 410 is a disc-shaped optical unit including a plurality of optical filters, and is configured such that the pass wavelength range is switched according to the rotation angle.
  • the rotation angle of the rotary filter 410 is controlled by a filter control unit 420 connected to the controller 530.
  • the controller 530 controls the rotation angle of the rotary filter 410 via the filter control unit 420, the spectrum of the illumination light IL that passes through the rotary filter 410 and is supplied to the light guide 131 is switched.
  • FIG. 8 is an external view (front view) of the rotary filter 410.
  • the rotary filter 410 includes a substantially disk-shaped frame 411 and three fan-shaped optical filters 415, 416 and 418.
  • the optical filters 415 and 416 are examples of a first optical filter and a second optical filter, respectively.
  • Three fan-shaped windows 414a, 414b and 414c are formed at equal intervals around the central axis of the frame 411, and optical filters 415, 416 and 418 are fitted into the windows 414a, 414b and 414c, respectively.
  • the optical filters of the present embodiment are all dielectric multilayer filters, but other types of optical filters (for example, absorption optical filters and etalon filters using dielectric multilayer films as reflective films). May be used.
  • a boss hole 412 is formed on the central axis of the frame 411.
  • An output shaft of a servo motor (not shown) provided in the filter control unit 420 is inserted into the boss hole 412 and fixed, and the rotary filter 410 rotates together with the output shaft of the servo motor.
  • FIG. 8 shows a state where the white light WL is incident on the optical filter 415.
  • the optical filters on which the white light WL is incident are 415, 416, In this order, the spectrum order of the illumination light IL passing through the rotation filter 410 is switched.
  • Optical filters 415 and 416 are optical bandpass filters that selectively pass light in the 550 nm band. As shown in FIG. 2, the optical filter 415 allows light in the wavelength region from the equiabsorption points E1 to E4 (that is, the wavelength region R0 (W band)) to pass through with low loss, and the light in other wavelength regions. Is configured to shut off. Further, the optical filter 416 is configured to pass light in the wavelength region from the equiabsorption points E2 to E3 (that is, the wavelength region R2 (N band)) with low loss and block light in the other wavelength regions. Has been.
  • the wavelength range R1 includes the peak wavelength of the absorption peak P1 derived from oxygenated hemoglobin
  • the wavelength range R2 includes the peak wavelength of the absorption peak P2 derived from reduced hemoglobin
  • the region R3 includes the peak wavelength of the absorption peak P3 derived from oxygenated hemoglobin.
  • the wavelength range R0 includes the peak wavelengths of the three absorption peaks P1, P2, and P3.
  • the W band and the N band which are the pass wavelength ranges of the optical filters 415 and 416, are included in the pass wavelength range of the G color filter of the color filter 141a. Accordingly, the subject image formed by the light that has passed through the optical filter 415 or 416 is captured by the light receiving element to which the G color filter of the imaging element 141 is attached, and is obtained as G digital image data.
  • the optical filter 418 is an ultraviolet cut filter, and the illumination light IL (that is, white light) that has passed through the optical filter 418 is normally used to capture an observation image. Note that the optical filter 418 may not be used, and the window 414c of the frame 411 may be opened.
  • the illumination light IL that has passed through the optical filter 415 or 416 is also referred to as special light (or special observation light), and white light (or broadband light) that has passed through the optical filter 418 is normal light (or normal observation). Also called light.
  • a neutral density filter (ND filter) 419 is attached to the window 414a so as to overlap the optical filter 415.
  • the neutral density filter 419 has no wavelength dependence over the entire visible light range, and reduces only the amount of light without changing the spectrum of the illumination light IL.
  • the neutral density filter 419 the amount of illumination light IL that has passed through the optical filter 415 and the neutral density filter 419 is adjusted to be approximately the same as the amount of illumination light IL that has passed through the optical filter 416. As a result, even when the illumination light IL that has passed through any of the optical filters 415 and 416 is used, it is possible to capture an image with appropriate exposure with the same exposure time.
  • a fine metal mesh is used as the neutral density filter 419.
  • a neutral density filter such as a slit or a half mirror may be used.
  • the transmittance of the optical filters 415 and 416 themselves may be adjusted without using the neutral density filter.
  • a neutral density filter may be attached to the windows 414b and 414c.
  • the amount of light passing through may be adjusted by changing the central angle (that is, the opening area) of the windows 414a to 414c.
  • a through hole 413 is formed in the peripheral edge of the frame 411.
  • the through hole 413 is formed at the same position (phase) as the boundary between the window 414a and the window 414c in the rotation direction of the frame 411.
  • a photo interrupter 422 for detecting the through hole 413 is arranged so as to surround a part of the peripheral edge of the frame 411.
  • the photo interrupter 422 is connected to the filter control unit 420.
  • the endoscope apparatus 1 of the present embodiment has two operation modes, a normal observation mode and a spectroscopic analysis mode.
  • the normal observation mode is an operation mode in which a color image is captured using the illumination light IL (normal light) that has passed through the optical filter 418.
  • spectroscopic analysis mode spectroscopic analysis is performed based on digital image data captured using illumination light IL (special light) that has passed through each of the optical filters 415 and 416, and a distribution image of biomolecules in a biological tissue (for example, This is a mode for displaying an oxygen saturation distribution image.
  • the operation mode of the endoscope apparatus 1 is switched by a user operation on an operation panel (not shown) of the processor 200 or an operation button (not shown) of the electronic endoscope 100, for example.
  • the controller 530 controls the moving means to move the rotary filter 410 from the application position to the retracted position.
  • the rotary filter 410 is disposed at the application position.
  • the controller 530 controls the filter control unit 420 to stop the rotary filter 410 at a position where the white light WL enters the optical filter 418.
  • the digital image data picked up by the image pickup device 141 is subjected to predetermined image processing such as demosaic, then converted to a video signal and displayed on the monitor 300.
  • the controller 530 controls the filter control unit 420 to rotate the rotary filter 410 at a constant rotation speed, and while the biological filter illuminates by the illumination light IL that has passed through each of the optical filters 415, 416, and 418.
  • the tissue T is imaged sequentially. Then, based on the digital image data acquired using the illumination light IL that has passed through each of the optical filters 415 and 416, an image showing the distribution of biomolecules in the biological tissue is generated, and this and the optical filter 418 are used.
  • a display screen in which the acquired normal observation images are arranged is generated, further converted into a video signal, and displayed on the monitor 300.
  • the filter control unit 420 detects the phase of rotation of the rotary filter 410 based on the timing when the photo interrupter 422 detects the through hole 413, and uses this as the phase of the timing signal supplied from the controller 530. In comparison, the rotation phase of the rotary filter 410 is adjusted.
  • the timing signal from the controller 530 is synchronized with the drive signal for the image sensor 141. Accordingly, the rotary filter 410 is rotationally driven at a substantially constant rotational speed in synchronization with the driving of the image sensor 141.
  • the rotation of the rotation filter 410 is the optical filters 415, 416, and 418 on which the white light WL is incident every time one image (three frames of R, G, and B) is captured by the image sensor 141. Control is performed so that the windows 414a to 414c are switched.
  • FIG. 9 is a flowchart showing the procedure of the spectroscopic analysis process.
  • the filter control unit 420 rotationally drives the rotary filter 410 at a constant rotational speed. Then, the illumination light IL that has passed through the optical filters 415, 416, and 418 is sequentially supplied from the light source unit 400, and imaging using each illumination light IL is sequentially performed (S1).
  • the B digital image data B (x, y) is stored in the internal memory 531 of the controller 530.
  • the image processing unit 500 uses the R digital image data R (x, y), G digital image data G (x, y), and B digital image data B (x, y) acquired in step S1. Then, the pixel selection process S2 for selecting the pixels to be subjected to the following analysis process (processes S3-S7) is performed.
  • the image processing unit 500 is an example of a feature amount acquisition unit that acquires a feature amount of a living tissue.
  • pixels suitable for the analysis processing that is, pixels in which the spectroscopic characteristics of hemoglobin are recorded are selected, and the analysis processing is performed only on the selected pixels. It is configured.
  • a 1 , a 2 , and a 3 are positive constants.
  • the above three conditional expressions are set based on the magnitude relationship of the values of G component ⁇ B component ⁇ R component in the blood transmission spectrum. Note that the pixel selection process S2 is performed using only one or two of the above three conditional expressions (for example, using only the expressions 11 and 12 focusing on the red color peculiar to blood). May be.
  • the image processing unit 500 performs a first analysis process S4.
  • a numerical table T1 (or a function) representing the quantitative relationship between the parameter W / R and the total hemoglobin concentration tHb, the relationship between the total hemoglobin concentration tHb and the parameter N / W, and the oxygen saturation Sat.
  • a numerical table T2 (or function) representing the numerical value
  • a numerical table T3 (or function) representing the relationship between the parameter R / G and the correction value ⁇
  • a numerical table T4 representing the relationship between the parameter ⁇ R / (R + G + B) and the oxygen saturation Sat. (Or function) is held.
  • the nonvolatile memory 532 is an example of first to third storage units.
  • the numerical table T1 is used to calculate the total hemoglobin concentration tHb from the G digital image data W (x, y) and the R digital image data R (x, y) acquired in the process S1. Get the value.
  • Equation 13 the parameter W / R (x, y) is calculated for each pixel (x, y) by Equation 13.
  • the value of the total hemoglobin concentration tHb (x, y) corresponding to the value of the parameter W / R (x, y) calculated by the mathematical formula 13 is read and acquired.
  • the spectroscopic analysis mode includes a first spectroscopic analysis mode (hereinafter referred to as “first mode”) that acquires the oxygen saturation Sat based on absorption in the 550 nm band (wavelength range R0), and a 650 nm band (wavelength range R4).
  • first mode a first spectroscopic analysis mode
  • second mode a second spectroscopic analysis mode for acquiring the oxygen saturation Sat based on the absorption.
  • the second spectroscopic analysis mode using the 650 nm band which does not absorb hemoglobin so much and has a high sensitivity to oxygen saturation, is suitable.
  • the analysis mode selection process S4 a parameter having a correlation with the blood content (total hemoglobin concentration) in the living tissue is calculated, and either the first mode or the second mode is used based on the parameter. Select what to do.
  • the pixel (x, y) that satisfies the condition expressed by the mathematical formula 14 is determined as an image of a living tissue with a relatively low blood content, and the first mode is selected. Select. Further, regarding the pixel (x, y) that does not satisfy the condition expressed by Expression 14, it is determined that the image is a biological tissue having a relatively high blood content, and the second mode is selected.
  • a 4 is a positive constant.
  • Numerical formula 14 It is set as the structure which selects the 1st mode when satisfying a conditional expression using the conditional expression represented by Numerical formula 15, and selects a 2nd mode when not satisfying. You can also.
  • a 5 is a positive constant.
  • conditional expression used in the analysis mode selection process S4 is not limited to Expression 14 or Expression 15. Other parameters having a correlation with the content of blood in the living tissue may be used.
  • the boundary condition (constant a 4 or a 5 ) of the analysis mode selection process S4 is, for example, selected so that the errors in the analysis results in the first mode and the second mode are approximately the same (that is, the spectral analysis mode with less errors is selected To be set).
  • the second mode can be selected when the error due to scattering is sufficiently small. In this case, even if the correction of scattering is omitted in the second mode, sufficient analysis accuracy can be ensured.
  • the second analysis process is a process for obtaining the oxygen saturation using a parameter N / W that is an index of absorption in the 550 nm band (specifically, the N band).
  • a non-volatile memory 532 of the controller 530 holds a numerical table T2 (or function) representing the quantitative relationship between the total hemoglobin concentration tHb, the parameter N / W, and the oxygen saturation Sat.
  • the numerical value table T2 three numerical values (hereinafter referred to as “numerical value set”) of total hemoglobin concentration tHb, parameter N / W, and oxygen saturation Sat are registered in association with each other.
  • the G digital image data W (x, y) and N (x, y) acquired in the process S1 and the total acquired in the first analysis process S3 are used.
  • the value of the oxygen saturation Sat (x, y) of each pixel is acquired from the value of the hemoglobin concentration tHb (x, y).
  • Equation 16 the parameter N / W (x, y) is calculated for each pixel (x, y) by Equation 16.
  • the third analysis process is a process for obtaining the oxygen saturation using the parameter R / (R + G + B) or R / W that is an index of absorption in the 600-700 nm band (wavelength range R4).
  • the non-volatile memory 532 of the controller 530 holds a numerical table T3 (or function) representing the relationship shown in FIG. 5 between the parameter R / G and the correction value ⁇ .
  • the correction value ⁇ is obtained from the value of the parameter R / G (x, y) for each pixel (x, y).
  • the non-volatile memory 532 of the controller 530 holds a numerical table T4 (or function) representing the relationship shown in FIG. 4 between the parameter ⁇ R / (R + G + B) and the oxygen saturation Sat.
  • the controller 530 calculates the parameter ⁇ R / (R + G + B) for each pixel (x, y) by Equation 17, and obtains the value of the oxygen saturation Sat corresponding to the calculated value of the parameter ⁇ R / (R + G + B) from the numerical value table T4. To do.
  • the parameter ⁇ R / W may be used to obtain the oxygen saturation Sat.
  • the constant ⁇ is a correction value for removing the influence of the total hemoglobin concentration tHb from the parameter R / W, and corresponds to the correction value ⁇ .
  • the numerical value table T3 represents the relationship between the parameter R / G and the correction value ⁇
  • the numerical value table T4 represents the relationship between the parameter ⁇ R / W and the oxygen saturation Sat.
  • the nonvolatile memory 532 of the controller 530 stores a numerical table (or function) representing the relationship between the oxygen saturation Sat (x, y) and the display color (pixel value).
  • the controller 530 refers to the numerical table (or function) and displays the display corresponding to the oxygen saturation Sat (x, y) obtained in the second analysis process S5 or the third analysis process S6. Get the pixel value representing the color.
  • the controller 530 also outputs R digital image data R (x, y) and G digital image data G (x, y) captured using the illumination light IL (white light) that has passed through the optical filter (ultraviolet cut filter) 418. ) And B digital image data B (x, y), normal observation image data is generated.
  • FIG. 10 shows a display example of image data generated by the controller 530.
  • the controller 530 is an example of a feature amount distribution image generation unit.
  • FIG. 10A is a display example of a normal observation image.
  • FIG. 10B is a display example of oxygen saturation distribution image data generated from the oxygen saturation Sat (x, y) acquired by the second analysis process S5 described above.
  • FIG. 10C is a display example of oxygen saturation distribution image data generated from the oxygen saturation Sat (x, y) acquired by the third analysis process S6 described above.
  • FIG. 10 observes the back side of a human tongue. In the oxygen saturation distribution images of FIGS.
  • the controller 530 generates screen data for displaying the normal observation image and the oxygen saturation distribution image side by side on one screen from the generated oxygen saturation distribution image data and normal observation image data, and stores them in the video memory 540.
  • the controller 530 displays the patient ID on the display screen that displays only the oxygen saturation distribution image, the display screen that displays only the normal observation image, the oxygen saturation distribution image and / or the normal observation image in accordance with a user operation.
  • Various display screens can be generated, such as a display screen in which incidental information such as information and observation conditions is displayed in a superimposed manner.
  • the controller 530 determines that the total hemoglobin concentration acquired in the first analysis process S3 is greater than a predetermined reference value (first reference value), and the oxygen saturation acquired in the second analysis process S5 or the third analysis process S6. Pixels whose degrees Sat are smaller than a predetermined reference value (second reference value) are extracted, and for example, lesion-weighted image data in which highlight display processing is performed on the corresponding pixels of normal observation image data is generated. A lesion-enhanced image can be displayed on the monitor 300 together with the observation image and / or the oxygen saturation distribution image (or alone).
  • a process of increasing the pixel value of the corresponding pixel for example, a process of changing the hue (for example, a process of increasing the red component by increasing the R component, or a process of rotating the hue by a predetermined angle) ), A process of blinking the corresponding pixel (or changing the hue periodically).
  • the controller 530 uses, for example, a deviation from the average value of the oxygen saturation Sat (x, y) and a deviation from the average value of the total hemoglobin concentration tHb (x, y) instead of the lesion-emphasized image data. Based on this, an index Z (x, y) indicating the degree of suspicion of a malignant tumor may be calculated to generate image data (malignancy suspicion image data) having the index Z as a pixel value.
  • the present invention is applied to the analysis of the hemoglobin concentration distribution in the biological tissue.
  • another biological substance that changes the color of the biological tissue for example, a secretion product such as a hormone.
  • the present invention can also be applied to analysis of concentration distribution.
  • the image sensor 141 of the present embodiment has been described as an image sensor for color image capturing provided with R, G, and B primary color filters on the front surface thereof, but is not limited to this configuration.
  • an image sensor for capturing a color image including a Y, Cy, Mg, G complementary color filter may be used.
  • the image sensor 141 of the present embodiment has been described as an image sensor for color image imaging including the on-chip color filter 141a.
  • the image sensor 141 is not limited to this configuration. It is good also as a structure provided with the color filter of what is called a field sequential system using this image pick-up element.
  • the color filter 141a is not limited to an on-chip configuration, and can be arranged in the optical path from the light source 430 to the image sensor 141.
  • the rotary filter 410 is used.
  • the present invention is not limited to this configuration, and other types of wavelength tunable filters whose pass wavelength band can be switched can be used. .
  • the rotation filter 410 is provided on the light source side and the irradiation light IL is filtered.
  • the present invention is not limited to this configuration.
  • 410 may be provided on the image sensor side (for example, between the objective optical system 121 and the image sensor 131) to filter the return light from the subject.
  • the white illumination light IL is used when photographing the R digital image R (x, y) data used in the third analysis process S6.
  • An optical filter that accurately extracts the wavelength region R4 may be provided, and the oxygen saturation Sat may be acquired based on the R digital image data photographed under the illumination light IL in the wavelength region R4 that has passed through the optical filter.
  • the pass wavelength region R4 of the optical filter can be set within the wavelength range from the isosbestic point E4 to 800 nm, but the absorption is relatively large and the sensitivity to oxygen saturation is high. It is preferable to set within a wavelength range of 700 nm (particularly 650-650 nm). For example, it is good also as a structure which acquires oxygen saturation Sat based on R digital image data R417 (x, y) imaged using the illumination light IL which passed the optical filter 417 of the said embodiment.
  • a configuration is used in which imaging is performed at predetermined time intervals while rotating the rotary filter 410 at a constant rotation speed.
  • the present invention is limited to this configuration.
  • the rotation position of the rotary filter 410 may be changed stepwise at predetermined time intervals, and imaging may be performed while the rotary filter 410 is stationary.
  • spectral analysis processing is performed using image data (RAW data) output from the image sensor.
  • interpolation processing demosaic processing
  • linear matrix processing linear matrix processing
  • white balance processing a predetermined color
  • Spectral analysis processing can also be performed using image data after various image processing such as color conversion processing to a space (for example, sRGB space).
  • a white light source such as a xenon lamp is used as a light source that generates broadband light for illumination, but a non-white light having a sufficient amount of light over the entire pass wavelength range of each optical filter to be used. It is also possible to use a light source that generates a wide band of light.
  • a transmission type optical filter is used, but a reflection type optical filter that reflects the pass wavelength band may be used.
  • the above embodiment is an example in which the present invention is applied to an electronic endoscope apparatus which is a form of a digital camera.
  • digital cameras for example, a digital single lens reflex camera and a digital video camera
  • the present invention can also be applied to the system used.
  • a digital still camera it is possible to observe body surface tissue and brain tissue during craniotomy (for example, rapid examination of cerebral blood flow).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本発明の一実施形態に係る内視鏡装置は、光源装置と、光源装置が発する光で照明された生体組織を撮像してカラー画像データを生成する、撮像素子を備えた撮像部と、カラー画像データに基づいて、生体組織の特徴量を取得する特徴量取得部と、を備え、特徴量取得部が、カラー画像データに基づいて、生体組織の第1特徴量に対して感度を有し、且つ、生体組織による光散乱に対して実質的に感度を有しない、第1パラメータを生成する第1パラメータ生成部と、第1パラメータに基づいて第1特徴量を取得する第1特徴量取得部と、を備える。

Description

内視鏡装置
 本発明は、生体組織を撮影した画像に基づいて、生体組織中の生体物質の濃度等の生体情報を取得する内視鏡装置に関する。
 内視鏡画像の色情報から、被写体である生体組織中の生体物質(例えば、ヘモグロビン)の濃度を定量する機能を備えた内視鏡装置が知られている。このような内視鏡装置の一例が国際公開第2014/192781号パンフレット(以下「特許文献1」と記す。)に記載されている。
 特許文献1に記載の内視鏡装置は、ヘモグロビンの500-600nm付近の吸収帯内の2種類の波長域の照明光をそれぞれ使用して撮影した2つの内視鏡画像の色情報に基づいて、総ヘモグロビン濃度を示す指標と、酸素飽和度を示す指標を計算する。
 ヘモグロビンの500-600nm付近の吸収帯は、吸収係数が大きく、また、酸素飽和度の変化に対する吸収の変化も大きい。そのため、500-600nm帯の照明光を使用して撮影した画像を用いることで、総ヘモグロビン濃度や酸素飽和度の分布を高い感度で検出することができる。
 しかしながら、ヘモグロビンは500-600nm帯の吸収が他の吸収帯に比較して大きいため、総ヘモグロビン濃度の高い生体組織を観察した場合には、総ヘモグロビン濃度や酸素飽和度に対する受光量の変化が小さくなり、感度が低下するという問題があった。
 本発明は上記の事情に鑑みてなされたものであり、総ヘモグロビン濃度の高い生体組織の酸素飽和度を生体組織の画像情報から取得可能な内視鏡装置を提供することを目的とする。
 本発明の一実施形態に係る内視鏡装置は、光源装置と、光源装置が発する光で照明される生体組織を撮像してRGBカラー画像データを生成する撮像部と、RGBカラー画像データに基づいて、生体組織の特徴量を取得する特徴量取得部と、を備える。特徴量取得部は、RGBカラー画像データから生体組織中の酸素飽和度との相関を有する第1パラメータを計算する。第1パラメータは、次の[a]及び[b]のいずれかである。
   [a] R/(R+G+B)
   [b] R/W
   但し、
    Rは白色光の照明下で撮像された通常観察画像データのR成分である第1通常観察画像データRであり、
    Gは前記通常観察画像データのG成分である第2通常観察画像データGであり、
    Bは前記通常観察画像データのB成分である第3通常観察画像データBであり、
    Wは第1特殊光の照明下で撮像されたRBGカラー画像データのG成分である第1特殊観察画像データWである。
 また、上記の内視鏡装置において、特徴量取得部が、第1パラメータに総ヘモグロビン濃度の影響を補正する第1補正値を乗じた補正第1パラメータに基づいて酸素飽和度を取得する構成としてもよい。
 この構成によれば、総ヘモグロビン量に依存しない正確な酸素飽和度を容易に取得することができる。
 また、上記の内視鏡装置において、特徴量取得部が、補正第1パラメータと酸素飽和度との関係を表す数値テーブル又は関数を保持する第1記憶部を備えた構成としてもよい。
 また、上記の内視鏡装置において、特徴量取得部が、総ヘモグロビン濃度との相関を有する第2パラメータに基づいて第1補正値を取得する構成としてもよい。
 また、上記の内視鏡装置において、特徴量取得部が、第2パラメータと総ヘモグロビン濃度との関係を表す数値テーブル又は関数を保持する第2記憶部を備えた構成としてもよい。
 また、上記の内視鏡装置において、第2パラメータが、次の[c]から[e]のいずれかである構成としてもよい。
  [c] R/G
  [d] W/R
  [e] W/(R+G)
  但し、
   Rは第1通常観察画像データRであり、
   Gは第2通常観察画像データGであり、
   Wは第1特殊観察画像データWである。
 この構成によれば、画像データの簡単な計算により総ヘモグロビン濃度の指標を取得することが可能になる。
 また、上記の内視鏡装置において、特徴量取得部が、第2パラメータに基づいて総ヘモグロビン濃度を取得する構成としてもよい。
 また、上記の内視鏡装置において、第1特殊光が、528±5nmに現れるヘモグロビンの等吸収点E1付近から、584±5nmに現れる等吸収点E4付近までの波長範囲を有する構成としてもよい。
 この構成によれば、酸素飽和度に依存しない、正確な総ヘモグロビン濃度を容易に取得することが可能になる。
 また、上記の内視鏡装置において、光源装置が、白色光源と、白色光源が発する白色光から第1特殊光を取り出す第1光学フィルタと、を備え、白色光と第1特殊光とを切り替えて発する構成としてもよい。
 この構成によれば、一つの白色光源と一枚の光学フィルタを備えた簡単な構成の光源装置により酸素飽和度の正確な検出が可能になる。
 また、上記の内視鏡装置において、特徴量取得部が、第2パラメータの値に相当する総ヘモグロビン濃度が所定値以上のときに、第1パラメータに基づいて酸素飽和度を計算し、第2パラメータの値に相当する総ヘモグロビン濃度が所定値未満のときに、ヘモグロビンの500-600nm吸収帯の吸収を反映する第3パラメータに基づいて酸素飽和度を計算する構成としてもよい。
 この構成によれば、総ヘモグロビン濃度の広い範囲において、画像情報から正確な酸素飽和度を取得することが可能になる。
 また、上記の内視鏡装置において、光源装置が、白色光源が発する白色光から第2特殊光を取り出す第2光学フィルタを更に備える構成としてもよい。この場合、第3パラメータがN/Wである、
  但し、
   Wは第1特殊観察画像データWであり、
   Nは第2特殊光の照明下で撮像されたRBGカラー画像データのG成分である第2特殊観察画像データNであり、
   第2特殊光が、547±5nmに現れるヘモグロビンの等吸収点E2付近から、569±5nmに現れる等吸収点E3付近までの波長範囲を有する。
 この構成によれば、簡単な構成により、散乱による誤差が少ない正確な酸素飽和度を取得することが可能になる。
 また、上記の内視鏡装置において、特徴量取得部が、第3パラメータと酸素飽和度との関係を表す数値テーブル又は関数を保持する第3記憶部を備えた構成としてもよい。
 本発明の一実施形態に係る内視鏡装置は、第1光と第2光とを発生可能な光源装置と、光源装置が発生する光で照明された生体組織を撮像してカラー画像データを生成可能な、RGBカラーフィルタを備えた撮像部と、カラー画像データに基づいて生体組織の特徴量を取得する特徴量取得部と、を備える。第1光が撮像部のRカラーフィルタを通過した第1通過光と、第2光が撮像部のGカラーフィルタを通過した第2通過光のそれぞれに対して、ヘモグロビンの吸収が酸素飽和度と相関を有する。特徴量取得部は、第1通過光によって撮像された第1画像データと、第2通過光によって撮像された第2画像データのいずれに基づいて生体組織の酸素飽和度を取得するかを選択する選択部を有し、選択部が選択した画像データに基づいて生体組織の酸素飽和度を取得する。
 また、上記の内視鏡装置において、特徴量取得部が、生体組織の酸素飽和度の指標となる第1パラメータと、生体組織の総ヘモグロビン濃度の指標となる第2パラメータと、を生成可能であり、選択部が、第2パラメータの値に相当する総ヘモグロビン濃度が所定値以上である場合に、第1画像データに基づく酸素飽和度の取得を選択し、第2パラメータの値に相当する総ヘモグロビン濃度が所定値未満である場合に、第2画像データに基づく酸素飽和度の取得を選択する構成としてもよい。
 また、上記の内視鏡装置において、特徴量に基づき、生体組織における特徴量の分布を表す特徴量分布画像を生成する特徴量分布画像生成部を備えた構成としてもよい。
 また、上記の内視鏡装置において、撮像部が先端部に設けられた内視鏡を備えた構成としてもよい。
 本発明の一実施形態の構成によれば、総ヘモグロビン濃度の高い生体組織の酸素飽和度を生体組織の画像情報から取得することが可能になる。
へモグロビンの透過スペクトルである。 へモグロビンの500-600nm帯の吸収スペクトルである。 酸素飽和度とパラメータR/(R+G+B)との関係を表すグラフである。 酸素飽和度とパラメータαR/(R+G+B)との関係を表すグラフである。 パラメータR/Gと補正値αとの関係を表すグラフである。 本発明の実施の形態に係る内視鏡装置のブロック図である。 撮像素子に内蔵されるカラーフィルタの透過スペクトルである。 回転フィルタの外観図である。 本発明の実施形態に係る分光分析処理を表すフローチャートである。 本発明の実施の形態に係る内視鏡装置によって生成される画像情報の表示例である。(A)は通常観察画像の表示例であり、(B)及び(C)は酸素飽和度分布画像の2次元表示例である。
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 以下に説明する本発明の実施形態に係る内視鏡装置は、波長域の異なる光の照明下で撮像した複数の画像に基づいて被写体の生体情報(例えば、総ヘモグロビン濃度や酸素飽和度等の生体組織の特徴量)を定量的に分析して、分析結果を画像化して表示する装置である。この装置による総ヘモグロビン濃度及び酸素飽和度の定量分析では、血液の分光特性(すなわち、ヘモグロビンの分光特性)が総ヘモグロビン濃度や酸素飽和度に応じて連続的に変化する性質が利用される。
<生体組織の分光特性と生体情報の計算原理>
 本発明の実施形態に係る内視鏡装置の詳しい構成を説明する前に、ヘモグロビンの分光特性と、本発明の実施形態に係る酸素飽和度等の生体組織の特徴量(生体情報)の計算原理について説明する。
[500-600nm帯の吸収を利用した計算]
 図1にヘモグロビンの透過スペクトルを示す。また、図2に550nm付近のヘモグロビンの吸収スペクトルを示す。ヘモグロビンは、550nm付近に強い吸収帯を有している。ヘモグロビンの吸収スペクトルは、酸素飽和度(全ヘモグロビンのうち酸素化ヘモグロビンHbOが占める割合)に応じて変化する。図1及び図2において、実線は、酸素飽和度が100%の場合の(すなわち、酸素化ヘモグロビンHbOの)スペクトルであり、長破線は、酸素飽和度が0%の場合の(すなわち、還元ヘモグロビンHbの)スペクトルである。また、短破線は、その中間の酸素飽和度(10、20、30、・・・90%)におけるヘモグロビン(酸素化ヘモグロビンHbOと還元ヘモグロビンHbの混合物)のスペクトルである。
 図2に示されるように、500-600nm帯において、酸素化ヘモグロビンHbOと還元ヘモグロビンHbは互いに異なるピーク波長を有している。具体的には、酸素化ヘモグロビンHbOは、波長542nm付近(例えば542±5nm)の吸収ピークP1と、波長576nm付近(例えば576±5nm)の吸収ピークP3を有している。一方、還元ヘモグロビンHbは、556nm付近(例えば556±5nm)に吸収ピークP2を有している。図2は、各成分(酸素化ヘモグロビンHbO、還元ヘモグロビンHb)の濃度の和が一定となる2成分系の吸収スペクトルであるため、各成分の濃度(すなわち、酸素飽和度)によらず吸収が一定となる等吸収点E1(528nm付近[例えば528±5nm])、E2(547nm付近[例えば547±5nm])、E3(569nm付近[例えば569±5nm])、E4(584nm付近[例えば584±5nm])が現れる。以下の説明では、等吸収点E1とE2とで挟まれた波長領域を波長域R1、等吸収点E2とE3とで挟まれた波長領域を波長域R2、等吸収点E3とE4とで挟まれた波長領域を波長域R3と呼ぶ。また、等吸収点E1とE4とで挟まれた波長領域(すなわち波長域R1、R2及びR3を合わせたもの)を波長域R0と呼ぶ。また、以下の説明において、波長域R2をN帯(Narrow-band)、波長域R0をW帯(Wide-band)とも称する。
 図2に示されるように、隣接する等吸収点間では、ヘモグロビンの吸収は酸素飽和度に対して線形的に増加又は減少する。また、隣接する等吸収点間では、ヘモグロビンの吸収は、酸素飽和度に対してほぼ線形的に変化する。
 具体的には、波長域R1、R3におけるヘモグロビンの吸収AR1、AR3は、酸素化ヘモグロビンの濃度に対して線形的に増加する。また、波長域R2におけるヘモグロビンの吸収AR2は、還元ヘモグロビンの濃度に対して線形的に増加する。
 ここで、酸素飽和度は次の数式1により定義される。
Figure JPOXMLDOC01-appb-M000001
   但し、
    Sat:酸素飽和度
    [Hb]:還元ヘモグロビンの濃度
    [HbO]:酸素化ヘモグロビンの濃度
    [Hb]+[HbO]:総ヘモグロビン濃度(tHb)
 また、数式1より、酸素化ヘモグロビン及び還元ヘモグロビンの濃度を表す数式2、数式3が得られる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 従って、ヘモグロビンの吸収AR1、AR2及びAR3は、酸素飽和度Satと総ヘモグロビン濃度tHbの両方に依存する特性量となる。
 また、本発明者の研究により、波長域R1、R2及びR3からなる波長域R0におけるヘモグロビンの吸収の積分値AR0は、ほぼ、酸素飽和度Satには依存せず、総ヘモグロビン濃度tHbによって決まる値となることが判明している。従って、吸収AR0から総ヘモグロビン濃度tHbを定量することができる。
 また、吸収AR0から定量した総ヘモグロビン濃度tHbと、吸収AR1、AR2又はAR3とから、酸素飽和度Satを定量することができる。なお、図2に示されるように、波長域R1、R2及びR3のうち、酸素飽和度Satによる吸収の変化量(すなわち、実線の波形と長破線の波形とで囲まれた領域の面積)は波長域R2において最も大きく、波長域R2の吸収AR2が酸素飽和度Satに対して最も感度の高い特性量となる。
 また、生体組織の分光特性は、生体組織による光散乱の影響を受ける。すなわち、生体組織の光散乱は、総ヘモグロビン濃度tHbや酸素飽和度Satの定量において誤差要因となる。生体組織の画像情報から正確な定量を行うためには、散乱の影響を補正する必要がある。
 本発明者の研究グループは、生体組織の画像情報から取得可能な総ヘモグロビン濃度tHb及び酸素飽和度Satの指標について研究を行い、以下の数式4-6で表される光散乱に依存しない3つのパラメータW/R、W/(R+G)及びN/Wを創出した。パラメータW/R及びW/(R+G)は、上述した吸収AR0と総ヘモグロビン濃度tHbとの定量的な関係に基づく、総ヘモグロビン濃度tHbの指標となるパラメータである。また、パラメータN/Wは、上述した吸収AR2と酸素飽和度Satとの定量的な関係に基づく、酸素飽和度Satの指標となるパラメータである。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 ここで、W(x,y)はW帯の光の照明下で撮像された画像データの画素(x,y)の値であり、N(x,y)はN帯の光の照明下で撮像された画像データの画素(x,y)の値である。なお、W帯及びN帯は、単板式原色系カラー撮像素子のGカラーフィルタの通過波長域に含まれる。すなわち、W帯及びN帯の光の像は、Gカラーフィルタが装着された色画素によって撮像され、Gデジタルカラー画像データとして得られる。
 また、R(x,y)及びG(x,y)は、それぞれ白色光の照明下で撮像された画像データの画素(x,y)の値である。具体的には、R(x,y)はRカラーフィルタが装着された色画素によって撮像されるRデジタルカラー画像データの値であり、G(x,y)はGカラーフィルタが装着された色画素によって撮像されるGデジタルカラー画像データの値である。
 パラメータW/R及びW/(R+G)は、総ヘモグロビン濃度tHbに対して感度を有するが、散乱の強さや酸素飽和度Satに対しては殆ど感度を有しない。そのため、パラメータW/R又はW/(R+G)から、散乱の強さや酸素飽和度Satに起因する誤差を殆ど含まない総ヘモグロビン濃度tHbの値を取得することができる。
 また、パラメータN/Wは、総ヘモグロビン濃度tHb及び酸素飽和度Satに対して感度を有するが、散乱の強さに対しては殆ど感度を有しない。そのため、総ヘモグロビン濃度tHbが既知であれば、パラメータN/Wから、散乱に起因する誤差を殆ど含まない酸素飽和度Satの値を得ることができる。
[600-700nm帯の吸収を利用した計算]
 また、図1に示されるように、500-600nmの吸収帯の裾が800nm付近まで延びている。600-700nm帯(以下、「波長域R4」と呼ぶ。)においては、ヘモグロビンの吸収は、酸素飽和度Satに対して線形的に単調に減少する。波長域R4(特に、600-650nm帯)の吸収AR4は、500-600nm帯と比べると小さいものの、酸素飽和度Satの変化に対する変動幅(すなわち、酸素飽和度Satに対する感度)は大きく、やはり酸素飽和度Satの指標となり得る。
 生体組織の画像データから吸収AR4を厳密に計算することは困難であるが、本発明者が創出したパラメータR/(R+G+B)及びR/Wは、それぞれ酸素飽和度と相関を有する吸収AR4を示す指標となる(数式7、数式8)。パラメータR/(R+G+B)又はR/Wを使用することで、生体組織の画像データから吸収AR4(そして酸素飽和度Sat)を示す指標を容易に計算することが可能になる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 数式7において、B(x,y)は、白色光の照明下で撮像された画像データの画素(x,y)の値である。具体的には、B(x,y)はBカラーフィルタが装着された色画素によって撮像されるBデジタルカラー画像データの値である。
 吸収AR4は総ヘモグロビン濃度tHbに依存する。従って、吸収AR4の指標であるパラメータR/(R+G+B)及びR/Wも総ヘモグロビンtHbに依存する。正確な酸素飽和度Satを得るためには、各パラメータR/(R+G+B)又はR/Wについて、総ヘモグロビン濃度tHbの影響を補正する必要がある。
 次に、パラメータR/(R+G+B)を例に、総ヘモグロビン濃度tHbに由来する誤差を補正する方法について説明する。
 図3は、酸素飽和度SatとパラメータR/(R+G+B)との関係をプロットしたグラフである。酸素飽和度Satが同じ値であっても、総ヘモグロビン濃度tHbが大きいほどパラメータR/(R+G+B)の値は大きくなっており、パラメータR/(R+G+B)のみからは正確な酸素飽和度Satを得ることができない。
 図4は、パラメータR/(R+G+B)に総ヘモグロビン濃度tHbによって決まる補正値α(tHb)を乗じたパラメータαR/(R+G+B)を酸素飽和度Satに対してプロットしたグラフである。図4では、全ての総ヘモグロビン濃度tHbにおける値が略同一曲線上に分布しており、パラメータαR/(R+G+B)が総ヘモグロビン濃度tHbに殆ど依存しない値となっている。
 補正値α(tHb)の値は、所定の基準条件(例えば、Sat=0、tHb=40)におけるパラメータR/(R+G+B)の値を、この基準条件と同じ酸素飽和度Sat(この例では、Sat=0)での各総ヘモグロビン濃度tHbにおけるパラメータR/(R+G+B)の値で除算することで得られる。
 生体組織の画像データから総ヘモグロビン濃度tHbの値を厳密に計算することは困難であるが、本発明者が創出したパラメータR/Gは総ヘモグロビン濃度tHbを示す指標となる(数式9)。パラメータR/Gを使用することで、生体組織の画像データから総ヘモグロビン濃度tHbを示す指標を容易に計算することが可能になる。
Figure JPOXMLDOC01-appb-M000009
 図5は、実験的に取得したパラメータR/Gと補正値αとの関係をプロットしたグラフである。このグラフを使用して、パラメータR/Gの値から補正値αの値を得ることができる。
 500-600nm帯(波長域R1-R3)は吸収が大きいため、波長域R1-R3における吸収を利用した数式4-6のパラメータ(特に、波長域が狭く光量が少ない波長域R2の光の照明下で撮像した画像データNを使用する数式6のパラメータN/W)は、総ヘモグロビン濃度tHbが比較的に少ない生体組織の評価に適している。
 一方、600-700nm帯(波長域R4)は吸収が小さいため、波長域R4における吸収を利用した数式7-9のパラメータは、総ヘモグロビン濃度tHbが比較的に高い生体組織の評価に適している。
 以下に説明する本発明の実施形態では、総ヘモグロビン濃度tHbが比較的に低い生体組織に対しては、波長域R1-R3における強い吸収に基づいて生体組織中の生体物質の濃度(具体的には、総ヘモグロビン濃度tHb及び酸素飽和度Sat)を計算し、総ヘモグロビン濃度tHbが比較的に高い生体組織に対しては、波長域R4における弱い吸収に基づいて生体組織中の生体物質の濃度を計算する。このように、総ヘモグロビン濃度tHbの大きさに応じて、酸素飽和度Satの計算に使用する波長域を選択する構成により、広い濃度範囲にわたって正確な酸素飽和度Satの取得が可能になる。
<内視鏡装置の構成>
 図6は、本発明の実施形態に係る内視鏡装置1のブロック図である。本実施形態の内視鏡装置1は、電子内視鏡100、プロセッサ200及びモニタ300を備えている。電子内視鏡100及びモニタ300は、プロセッサ200に着脱可能に接続されている。また、プロセッサ200には、光源部400及び画像処理部500が内蔵されている。
 電子内視鏡100は、被検者の体内に挿入される挿入管110を有している。電子内視鏡100の内部には、略全長に亘って延びるライトガイド131が設けられている。ライトガイド131の一端部(先端部131a)は、挿入管110の先端部(挿入管先端部111)に配置されており、ライトガイド131の他端部(基端部131b)は、プロセッサ200に接続されている。プロセッサ200は、白色光源の一例であって、キセノンランプ等の光量の大きい白色光WLを生成する光源ランプ430等を備えた光源部400を内蔵しており、この光源部400によって生成された照明光ILは、ライトガイド131の基端131bに入射するようになっている。ライトガイド131の基端131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111には、ライトガイド131の先端部131aと対向して配置された配光レンズ132が設けられており、ライトガイド131の先端部131aから放射される照明光ILは、配光レンズ132を通過して、挿入管先端部111の近傍の生体組織Tを照明する。
 また、挿入管先端部111には対物光学系121及び撮像部の一例である撮像素子141が設けられている。生体組織Tの表面で反射又は散乱された照明光ILの一部(戻り光)は、対物光学系121に入射し、集光されて、撮像素子141の受光面上で結像する。本実施形態の撮像素子141は、その受光面にカラーフィルタ141aを備えたカラー画像撮像用のCCD(Charge Coupled Device)イメージセンサである。撮像素子141には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の他の種類の撮像素子を使用してもよい。
 カラーフィルタ141aは、赤色の光を通過させるRカラーフィルタと、緑色の光を通過させるGカラーフィルタと、青色の光を通過させるBカラーフィルタとが配列され、撮像素子141の各受光素子上に直接形成された、いわゆるオンチップフィルタである。R、G、Bの各フィルタは、図7に示されるような分光特性を有している。すなわち、本実施形態のRカラーフィルタは、波長約570nmより長波長の光を通過させるフィルタであり、Gカラーフィルタは、波長約500nm~620nmの光を通過させるフィルタであり、Bカラーフィルタは、波長約530nmより短波長の光を通過させるフィルタである。
 撮像素子141は、後述する信号処理回路550と同期して駆動するように制御され、受光面上で結像した被写体像に対応する撮像信号を、周期的に(例えば、1/30秒間隔で)出力する。撮像素子141から出力された撮像信号は、ケーブル142を介してプロセッサ200の画像処理部500に送られる。
 画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を備えている。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される撮像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。デジタル画像データには、Rカラーフィルタが装着された受光素子によって撮像されたRデジタル画像データ、Gカラーフィルタが装着された受光素子によって撮像されたGデジタル画像データ及びBカラーフィルタが装着された受光素子によって撮像されたBデジタル画像データが含まれている。なお、本明細書において、Rデジタル画像データ、Gデジタル画像データ及びBデジタル画像データを、単色画像データ(R単色画像データ、G単色画像データ及びB単色画像データ)とも称する。
 コントローラ530は、一時記憶メモリ520に記憶された単数又は複数のデジタル画像データを処理してモニタ300に表示させる画面データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一のデジタル画像データから生成された画面データ、複数のデジタル画像データの画像が並べられた画面データ、或いは複数のデジタル画像データに基づいて画素(x,y)毎に生体組織Tの反射スペクトルを生成し、これによって健常部と病変部とを色別した画像を含む画面データや、特定の画素(x,y)に対応する生体組織Tの反射スペクトルのグラフ表示を含む画面データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている画面データに基づいて所定の形式(例えば、NTSC規格やDVI規格に準拠した形式)のビデオ信号を生成して出力する。信号処理回路550から出力されたビデオ信号は、モニタ300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、モニタ300に表示される。
 このように、プロセッサ200は、電子内視鏡100の撮像素子141から出力される撮像信号を処理するビデオプロセッサとしての機能と、被写体である生体組織Tを照明するための照明光ILを電子内視鏡100のライトガイド131に供給する光源装置としての機能とを兼ね備えたものである。
 光源装置の一例である光源部400は、上述の光源430の他に、集光レンズ440、回転フィルタ410、フィルタ制御部420及び集光レンズ450を備えている。光源430から射出される略平行光の白色光WLは、集光レンズ440によって集光され、回転フィルタ410を通過した後、集光レンズ450によって再度集光されて、ライトガイド131の基端131bに入射する。なお、回転フィルタ410は、リニアガイドウェイ等の移動手段(不図示)によって、白色光WLの光路上の適用位置と光路外の退避位置との間で移動可能になっている。
 なお、光源部400の構成は、図6に示されるものに限定されない。例えば、光源430に収束光を発生するランプを採用してもよい。この場合、例えば、白色光WLを集光レンズ440の手前で集光させ、拡散光として集光レンズ440に入射させる構成を採用してもよい。
 また、集光レンズ440を使用せず、光源430が発生する略平行光を直接回転フィルタ410に入射させる構成を採用してもよい。
 また、収束光を発生するランプを使用する場合、集光レンズ440の替わりにコリメータレンズを使用して、略平行光の状態で白色光WLを回転フィルタ410に入射させる構成を採用してもよい。例えば、回転フィルタ410に誘電体多層膜フィルタ等の干渉型の光学フィルタを使用する場合、略平行光の白色光WLを回転フィルタ410に入射させることで、光学フィルタへの白色光WLの入射角を均一にすることにより、より良好なフィルタ特性を得ることができる。
 また、光源430に発散光を発生するランプを採用してもよい。この場合にも、集光レンズ440の替わりにコリメータレンズを使用して、略平行光の白色光WLを回転フィルタ410に入射させる構成を採用することができる。
 回転フィルタ410は、複数の光学フィルタを備えた円盤型の光学ユニットであり、その回転角度に応じて通過波長域が切り替わるように構成されている。回転フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御される。コントローラ530がフィルタ制御部420を介して回転フィルタ410の回転角度を制御することにより、回転フィルタ410を通過してライトガイド131に供給される照明光ILのスペクトルが切り替えられる。
 図8は、回転フィルタ410の外観図(正面図)である。回転フィルタ410は、略円盤状のフレーム411と、3つの扇形の光学フィルタ415、416及び418を備えている。光学フィルタ415、416は、それぞれ、第1光学フィルタ、第2光学フィルタの一例である。フレーム411の中心軸の周りには3つの扇状の窓414a、414b及び414cが等間隔で形成されており、各窓414a、414b及び414cには、それぞれ光学フィルタ415、416及び418が嵌め込まれている。なお、本実施形態の光学フィルタは、いずれも誘電体多層膜フィルタであるが、他の方式の光学フィルタ(例えば、吸収型の光学フィルタや誘電体多層膜を反射膜として用いたエタロンフィルタ等)を用いてもよい。
 また、フレーム411の中心軸上にはボス穴412が形成されている。ボス穴412には、フィルタ制御部420が備えるサーボモータ(不図示)の出力軸が差し込まれて固定され、回転フィルタ410はサーボモータの出力軸と共に回転する。
 図8には、白色光WLが光学フィルタ415に入射する状態が示されているが、回転フィルタ410が矢印で示される方向に回転すると、白色光WLが入射する光学フィルタが、415、416、418の順に切り替わり、これにより回転フィルタ410を通過する照明光ILのスペクトル順次が切り替えられる。
 光学フィルタ415及び416は、550nm帯の光を選択的に通過させる光バンドパスフィルタである。図2に示されるように、光学フィルタ415は、等吸収点E1からE4までの波長域(すなわち、波長域R0(W帯))の光を低損失で通過させ、それ以外の波長領域の光を遮断するように構成されている。また、光学フィルタ416は、等吸収点E2からE3までの波長域(すなわち、波長域R2(N帯))の光を低損失で通過させ、それ以外の波長領域の光を遮断するように構成されている。
 図2に示されるように、波長域R1には酸素化ヘモグロビンに由来する吸収ピークP1のピーク波長が含まれ、波長域R2には還元ヘモグロビンに由来する吸収ピークP2のピーク波長が含まれ、波長域R3には酸素化ヘモグロビンに由来する吸収ピークP3のピーク波長が含まれている。また、波長域R0には、3つの吸収ピークP1、P2、P3の各ピーク波長が含まれている。
 また、光学フィルタ415及び416の通過波長域であるW帯及びN帯(図2)は、カラーフィルタ141aのGカラーフィルタの通過波長域に含まれている。従って、光学フィルタ415又は416を通過した光によって形成される被写体像は、撮像素子141のGカラーフィルタが装着された受光素子によって撮像され、Gデジタル画像データとして得られる。
 また、光学フィルタ418は、紫外線カットフィルタであり、光学フィルタ418を通過した照明光IL(すなわち白色光)は、通常観察像の撮像に使用される。なお、光学フィルタ418を使用せず、フレーム411の窓414cを開放した構成としてもよい。また、本明細書において、光学フィルタ415又は416を通過した照明光ILを特殊光(又は特殊観察光)とも称し、光学フィルタ418を通過した白色光(又は広帯域光)を通常光(又は通常観察光)とも称する。
 また、窓414aには、光学フィルタ415に重ねて、減光フィルタ(NDフィルタ)419が取り付けられている。減光フィルタ419は、可視光全域に亘って波長依存性が無く、照明光ILのスペクトルを変化させずに光量のみを低減する。減光フィルタ419の使用によって、光学フィルタ415及び減光フィルタ419を通過した照明光ILの光量が、光学フィルタ416を通過した照明光ILの光量と略同程度に調整される。これにより、光学フィルタ415、416のいずれを通過した照明光ILを用いた場合でも、同じ露出時間で適正露出での撮像が可能になる。
 本実施形態では、減光フィルタ419として、目の細かな金属メッシュが使用されている。金属メッシュ以外にも、スリットやハーフミラー等の他方式の減光フィルタを使用してもよい。また、減光フィルタを使用せずに、光学フィルタ415、416自体の透過率を調整してもよい。また、窓414b、414cにも減光フィルタを取り付けてもよい。また、窓414a~414cの中心角(すなわち開口面積)を変えることで通過光量を調整してもよい。また、減光フィルタを使用せずに、使用する光学フィルタ毎に露出時間を調整してもよい。
 フレーム411の周縁部には、貫通孔413が形成されている。貫通孔413は、フレーム411の回転方向において、窓414aと窓414cとの境界部と同じ位置(位相)に形成されている。フレーム411の周囲には、貫通孔413を検出するためのフォトインタラプタ422が、フレーム411の周縁部の一部を囲むように配置されている。フォトインタラプタ422は、フィルタ制御部420に接続されている。
 本実施形態の内視鏡装置1は、通常観察モードと分光分析モードの2つの動作モードを有している。通常観察モードは、光学フィルタ418を通過した照明光IL(通常光)を用いてカラー画像を撮影する動作モードである。分光分析モードは、光学フィルタ415及び416のそれぞれを通過した照明光IL(特殊光)を使用して撮像したデジタル画像データに基づいて分光分析を行い、生体組織中の生体分子の分布画像(例えば酸素飽和度分布画像)を表示するモードである。内視鏡装置1の動作モードは、例えばプロセッサ200の操作パネル(不図示)や電子内視鏡100の操作ボタン(不図示)に対するユーザ操作によって切り換えられる。
 通常観察モードにおいては、コントローラ530は、移動手段を制御して、回転フィルタ410を適用位置から退避位置へ移動させる。なお、分光分析モードでは、回転フィルタ410は適用位置に配置される。また、回転フィルタ410が移動手段を有しない場合は、コントローラ530は、フィルタ制御部420を制御して、白色光WLが光学フィルタ418に入射する位置で回転フィルタ410を静止させる。そして、撮像素子141によって撮像されたデジタル画像データに対してデモザイク等の所定の画像処理を施した後に、ビデオ信号に変換して、モニタ300に画面表示させる。
 分光分析モードにおいては、コントローラ530は、フィルタ制御部420を制御して、回転フィルタ410を一定の回転数で回転駆動させながら、光学フィルタ415、416及び418のそれぞれを通過した照明光ILによる生体組織Tの撮像を順次行う。そして、各光学フィルタ415及び416のそれぞれを通過した照明光ILを用いて取得したデジタル画像データに基づいて生体組織中の生体分子の分布を示す画像を生成し、これと光学フィルタ418を用いて取得した通常観察画像とを並べた表示画面を生成して、更にビデオ信号に変換して、モニタ300に表示させる。
 分光分析モードでは、フィルタ制御部420は、フォトインタラプタ422が貫通孔413を検出するタイミングに基づいて、回転フィルタ410の回転の位相を検出し、これをコントローラ530から供給されるタイミング信号の位相と比較して、回転フィルタ410の回転の位相を調整する。コントローラ530からのタイミング信号は、撮像素子141の駆動信号と同期している。従って、回転フィルタ410は、撮像素子141の駆動と同期して、略一定の回転数で回転駆動される。具体的には、回転フィルタ410の回転は、撮像素子141による1画像分(R,G,Bの3フレーム)の撮像が行われる毎に、白色光WLが入射する光学フィルタ415、416、418(窓414a~c)が切り替わるように制御される。
 次に、分光分析モードにおいて実行される分光分析処理について説明する。図9は、分光分析処理の手順を表すフローチャートである。
 ユーザ操作によって、分光分析モードが選択されている場合は、上述したように、フィルタ制御部420は回転フィルタ410を一定の回転数で回転駆動する。そして、光源部400からは、光学フィルタ415、416、418を通過した照明光ILが順次供給され、各照明光ILを用いた撮像が順次行われる(S1)。具体的には、光学フィルタ415を通過した照明光ILを用いて撮像したGデジタル画像データW(x,y)、光学フィルタ416を通過した照明光ILを用いて撮像したGデジタル画像データN(x,y)並びに光学フィルタ(紫外線カットフィルタ)418を通過した照明光IL(白色光)を用いて撮像したRデジタル画像データR(x,y)、Gデジタル画像データG(x,y)及びBデジタル画像データB(x,y)がコントローラ530の内部メモリ531に記憶される。
 次に、画像処理部500は、処理S1にて取得したRデジタル画像データR(x,y)、Gデジタル画像データG(x,y)及びBデジタル画像データB(x,y)を用いて、以下の分析処理(処理S3-S7)の対象とする画素を選別する画素選別処理S2を行う。画像処理部500は、生体組織の特徴量を取得する特徴量取得部の一例である。
 血液を含んでいない箇所や、生体組織の色がヘモグロビン以外の物質により支配的な影響を受けている箇所については、画素の色情報から酸素飽和度や血流量を計算しても意味のある値は得られず、単なるノイズとなる。このようなノイズを医師に提供すると、医師による診断の妨げとなるだけでなく、画像処理部500に無用な負荷を与えて処理速度を低下させるという弊害が生じる。そこで、本実施形態の分析処理は、分析処理に適した画素(すなわち、ヘモグロビンの分光学的特徴が記録された画素)を選別して、選別された画素に対してのみ分析処理を行うように構成されている。
 画素選別処理S2では、以下の数式10、数式11及び数式12の条件を全て充足する画素のみが分析処理の対象画素として選別される。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 ここで、a、a、aは正の定数である。
 上記の3つの条件式は、血液の透過スペクトルにおける、G成分<B成分<R成分の値の大小関係に基づいて設定されている。なお、上記の3つの条件式のうちの1つ又は2つのみを使用して(例えば、血液に特有の赤色に注目して数式11及び数式12のみを使用して)画素選別処理S2を行っても良い。
 次に、画像処理部500は、第1分析処理S4を行う。コントローラ530の不揮発性メモリ532には、パラメータW/Rと総ヘモグロビン濃度tHbとの定量関係を表す数値テーブルT1(又は関数)、総ヘモグロビン濃度tHb及びパラメータN/Wと酸素飽和度Satとの関係を表す数値テーブルT2(又は関数)、パラメータR/Gと補正値αとの関係を表す数値テーブルT3(又は関数)並びにパラメータαR/(R+G+B)と酸素飽和度Satとの関係を表す数値テーブルT4(又は関数)が保持されている。不揮発性メモリ532は、第1~第3記憶部の一例である。第1分析処理S3では、この数値テーブルT1を使用して、処理S1にて取得したGデジタル画像データW(x,y)及びRデジタル画像データR(x,y)から、総ヘモグロビン濃度tHbの値を取得する。
 具体的には、まず数式13により、各画素(x,y)についてパラメータW/R(x,y)が計算される。
Figure JPOXMLDOC01-appb-M000013
 次に、数値テーブルT1を参照して、数式13により計算されたパラメータW/R(x,y)の値に対応する総ヘモグロビン濃度tHb(x,y)の値が読み取られて取得される。
 不揮発性メモリ532に保持された数値テーブルT1(並びに、後述する数値テーブルT2、T3及びT4)の定量関係は、予め理論計算や実験によって得られたものである。
 次に、画像処理部500は、分析モード選択処理S4を行う。分光分析モードには、550nm帯(波長域R0)の吸収に基づいて酸素飽和度Satを取得する第1分光分析モード(以下「第1モード」という。)と、650nm帯(波長域R4)の吸収に基づいて酸素飽和度Satを取得する第2分光分析モード(以下「第2モード」という。)が含まれる。血液の含有量が比較的に少ない生体組織を分析する場合には、ヘモグロビンの強い吸収を有する550nm帯を使用する第1分光分析モードが適している。また、血液の含有量が比較的に多い生体組織を分析する場合には、ヘモグロビンの吸収が余り強くなく、また酸素飽和度に対する感度が大きい650nm帯を使用する第2分光分析モードが適している。分析モード選択処理S4では、生体組織中の血液含有量(総ヘモグロビン濃度)との相関を有するパラメータを計算して、このパラメータに基づいて第1モードと第2モードのいずれの分光分析モードを採用するかを選択する。
 本実施形態の分析モード選択処理S4では、数式14で表される条件を充足する画素(x,y)について、血液の含有量が比較的に少ない生体組織の像と判断して、第1モードを選択する。また、数式14で表される条件を充足しない画素(x,y)については、血液の含有量が比較的に多い生体組織の像と判断して、第2モードを選択する。
Figure JPOXMLDOC01-appb-M000014
 ここで、aは正の定数である。
 また、上記の数式14の替わりに、数式15で表される条件式を使用して、条件式を充足する場合に第1モードを選択し、充足しない場合に第2モードを選択する構成とすることもできる。
Figure JPOXMLDOC01-appb-M000015
 ここで、aは正の定数である。
 なお、分析モード選択処理S4で使用される条件式は、数式14や数式15に限定されるものではない。生体組織中の血液の含有量との相関を有する他のパラメータを使用してもよい。
 分析モード選択処理S4の境界条件(定数a又はa)は、例えば、第1モードと第2モードによる分析結果の誤差が同程度となるように(すなわち、誤差の少ない分光分析モードが選択されるように)設定される。
 また、血液の含有量が多く、ヘモグロビンによる吸収が強くなるほど、照明光ILが生体組織の深部まで到達し難くなるため、生体組織による散乱の影響は減少する。そこで、散乱による誤差が十分に小さくなる場合に第2モードを選択する構成とすることもできる。この場合、第2モードにおいて散乱の補正を省略しても、十分な分析精度を確保することが可能になる。
 分析モード選択処理S4において第1モードが選択されると、次に、画像処理部500は、第2分析処理S5を行う。第2分析処理は、550nm帯(具体的にはN帯)の吸収の指標となるパラメータN/Wを使用して酸素飽和度を取得する処理である。コントローラ530の不揮発性メモリ532には、総ヘモグロビン濃度tHb、パラメータN/W及び酸素飽和度Satの定量関係を表す数値テーブルT2(又は関数)が保持されている。数値テーブルT2には、総ヘモグロビン濃度tHb、パラメータN/W及び酸素飽和度Satの3つの数値(以下「数値セット」という。)が関連付けられて登録されている。第2分析処理S4では、この数値テーブルT2を使用して、処理S1にて取得したGデジタル画像データW(x,y)、N(x,y)及び第1分析処理S3にて取得した総ヘモグロビン濃度tHb(x,y)の値から、各画素の酸素飽和度Sat(x,y)の値を取得する。
 具体的には、まず数式16により、各画素(x,y)についてパラメータN/W(x,y)が計算される。
Figure JPOXMLDOC01-appb-M000016
 次に、各画素(x,y)について、数値テーブルT2を参照して、第1分析処理S3にて取得した総ヘモグロビン濃度tHb(x,y)の値と、数式16により計算されたパラメータN/W(x,y)の値に最も近い数値セットを抽出し、抽出した数値セットの酸素飽和度Satの値が読み取られて、当該画素(x,y)の酸素飽和度Sat(x,y)の値として取得される。
 分析モード選択処理S4において第2モードが選択されると、画像処理部500は、第3分析処理S6を行う。第3分析処理は、600-700nm帯(波長域R4)の吸収の指標となるパラメータR/(R+G+B)又はR/Wを使用して酸素飽和度を取得する処理である。
 コントローラ530の不揮発性メモリ532には、パラメータR/Gと補正値αとの図5に示される関係を表す数値テーブルT3(又は関数)が保持されている。この数値テーブルT3を使用して、各画素(x,y)について、パラメータR/G(x,y)の値から補正値αを取得する。
 また、コントローラ530の不揮発性メモリ532には、パラメータαR/(R+G+B)と酸素飽和度Satとの図4に示される関係を表す数値テーブルT4(又は関数)が保持されている。コントローラ530は、数式17により、各画素(x,y)についてパラメータαR/(R+G+B)を計算し、パラメータαR/(R+G+B)の計算値に対応する酸素飽和度Satの値を数値テーブルT4から取得する。
Figure JPOXMLDOC01-appb-M000017
 また、パラメータαR/(R+G+B)の代わりに、パラメータβR/Wを使用して酸素飽和度Satを取得する構成としてもよい。定数βは、パラメータR/Wから総ヘモグロビン濃度tHbの影響を除去するための補正値であり、補正値αに対応するものである。この場合、数値テーブルT3はパラメータR/Gと補正値βとの関係を表すものとなり、数値テーブルT4はパラメータβR/Wと酸素飽和度Satと関係を表すものとなる。
 また、コントローラ530の不揮発性メモリ532には、酸素飽和度Sat(x,y)と表示色(画素値)との関係を表す数値テーブル(又は関数)が記憶されている。そして、処理S7において、コントローラ530は、この数値テーブル(又は関数)を参照して、第2分析処理S5又は第3分析処理S6で得られた酸素飽和度Sat(x,y)に対応する表示色を表す画素値を取得する。
 また、コントローラ530は、光学フィルタ(紫外線カットフィルタ)418を通過した照明光IL(白色光)を使用して撮像したRデジタル画像データR(x,y)、Gデジタル画像データG(x,y)及びBデジタル画像データB(x,y)から、通常観察画像データを生成する。
 図10にコントローラ530が生成する画像データの表示例を示す。コントローラ530は特徴量分布画像生成部の一例である。図10(A)は、通常観察画像の表示例である。図10(B)は、上述の第2分析処理S5により取得した酸素飽和度Sat(x,y)から生成した酸素飽和度分布画像データの表示例である。さらに、図10(C)は、上述の第3分析処理S6により取得した酸素飽和度Sat(x,y)から生成した酸素飽和度分布画像データの表示例である。なお、図10は、ヒトの舌の裏側を観察したものである。図10(B)及び図10(C)の酸素飽和度分布画像においては、光量の不足により酸素飽和度Sat(x,y)の値を十分な精度で得ることができない領域は、非表示にされている(すなわち、黒く塗り潰されている)。図10(B)では、光量の少ないN帯の照明光ILで撮像したGデジタル画像データN(x,y)が酸素飽和度Sat(x,y)の計算に使用されるため、殆どの画素(x,y)について酸素飽和度Sat(x,y)を十分な精度で計算することができず、その結果、大半の領域が非表示となっている。一方、図10(C)では、比較的に光量の多い照明光ILで撮像した画像データが酸素飽和度Sat(x,y)の計算に使用されるため、殆どの画素(x,y)について酸素飽和度Sat(x,y)が十分な精度で計算され、階調をもった画像として描出されている。
 更に、コントローラ530は、生成した酸素飽和度分布画像データ及び通常観察画像データから、1画面上に通常観察画像と酸素飽和度分布画像を並べて表示する画面データを生成して、ビデオメモリ540に記憶させる。なお、コントローラ530は、ユーザ操作に応じて、酸素飽和度分布画像のみを表示する表示画面や、通常観察画像のみを表示する表示画面、酸素飽和度分布画像及び/又は通常観察画像に患者のID情報や観察条件等の付帯情報をスーパーインポーズ表示した表示画面等、種々の表示画面を生成することができる。
 悪性腫瘍の組織では、血管新生により正常な組織よりも総ヘモグロビン濃度が多く、尚且つ、酸素の代謝が顕著であるため酸素飽和度Satは正常な組織よりも低いことが知られている。そこで、コントローラ530は、第1分析処理S3により取得した総ヘモグロビン濃度が所定の基準値(第1基準値)よりも大きく、且つ、第2分析処理S5又は第3分析処理S6により取得した酸素飽和度Satが所定の基準値(第2基準値)よりも小さい画素を抽出して、例えば通常観察画像データの対応する画素に対して強調表示処理を行った病変部強調画像データを生成し、通常観察画像及び/又は酸素飽和度分布画像と共に(或いは単独で)病変部強調画像をモニタ300に表示させることもできる。
 強調表示処理としては、例えば、該当する画素の画素値を増加させる処理や、色相を変化させる処理(例えば、R成分を増加させて赤味を強くする処理や、色相を所定角度だけ回転させる処理)、該当する画素を明滅させる(あるいは、周期的に色相を変化させる)処理がある。
 また、コントローラ530が、病変部強調画像データの代わりに、例えば、酸素飽和度Sat(x,y)の平均値からの偏差と、総ヘモグロビン濃度tHb(x,y)の平均値からの偏差に基づいて、悪性腫瘍の疑いの度合を示す指標Z(x,y)を計算して、指標Zを画素値とする画像データ(悪性疑い度画像データ)を生成する構成としてもよい。
 以上が本発明の実施形態および該実施形態の具体的実施例の説明であるが、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲内において様々な変形が可能である。
 また、上記の実施形態では、生体組織中のヘモグロビンの濃度分布の分析に本発明を適用したものであるが、生体組織の色を変化させる別の生体物質(例えば、ホルモン等の分泌物)の濃度分布の分析にも本発明を適用することができる。
 また、本実施形態の撮像素子141は、その前面にR、G、Bの原色系カラーフィルタを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、Y、Cy、Mg、Gの補色系カラーフィルタを備えたカラー画像撮像用の撮像素子を用いてもよい。
 また、本実施形態の撮像素子141は、オンチップのカラーフィルタ141aを備えたカラー画像撮像用の撮像素子であるとして説明したが、この構成に限定されるものではなく、例えば、白黒画像撮像用の撮像素子を用い、いわゆる面順次方式のカラーフィルタを備えた構成としてもよい。また、カラーフィルタ141aは、オンチップの構成に限定されるものではなく、光源430から撮像素子141までの光路中への配置が可能である。
 また、上記の実施形態では、回転フィルタ410が使用されるが、本発明はこの構成に限定されるものではなく、通過波長域が切り換え可能な他の方式の波長可変フィルタを使用することもできる。
 また、上記の実施形態では、回転フィルタ410が光源側に設けられ、照射光ILに対してフィルタリングを行う構成が採用されているが、本発明はこの構成に限定されるものではなく、回転フィルタ410を撮像素子側(例えば、対物光学系121と撮像素子131との間)に設けて、被写体からの戻り光をフィルタリングする構成とすることもできる。
 また、上記の実施形態では、第3分析処理S6で使用されるRデジタル画像R(x,y)データを撮影する際に、白色光の照明光ILが使用されているが、回転フィルタ410に波長域R4を正確に取り出す光学フィルタを設けて、この光学フィルタを通過した波長域R4の照明光ILの下で撮影されたRデジタル画像データに基づいて酸素飽和度Satを取得する構成としてもよい。この場合、光学フィルタの通過波長域R4は、等吸収点E4から800nmまでの波長範囲内で設定することができるが、比較的に吸収が大きく、且つ、酸素飽和度に対する感度が高い、600-700nm(特に、650-650nm)の波長範囲内で設定することが好ましい。例えば、上記実施形態の光学フィルタ417を通過した照明光ILを用いて撮像したRデジタル画像データR417(x,y)に基づいて酸素飽和度Satを取得する構成としてもよい。
 また、上記の実施形態では、分光分析モードにおいて、回転フィルタ410を一定の回転数で回転させながら、所定の時間間隔で撮像を行う構成が採用されているが、本発明はこの構成に限定されるものではなく、例えば、回転フィルタ410の回転位置を所定の時間間隔で段階的に変化させ、回転フィルタ410が静止した状態で撮像を行う構成としてもよい。
 また、上記の実施形態では、撮像素子から出力された画像データ(RAWデータ)を使用して分光分析処理が行われるが、補間処理(デモザイク処理)、リニアマトリックス処理、ホワイトバランス処理、所定の色空間(例えばsRGB空間)への色変換処理等の各種画像処理後の画像データを使用して分光分析処理を行うこともできる。
 また、上記の実施形態では、照明用の広帯域光を発生する光源としてキセノンランプ等の白色光源が使用されるが、使用する各光学フィルタの通過波長域全域に亘って十分な光量を有する非白色の広帯域光を発生する光源を使用することもできる。
 また、上記の実施形態では、透過型の光学フィルタが使用されるが、通過波長域を反射する反射型の光学フィルタを使用してもよい。
 また、上記の実施形態は、本発明をデジタルカメラの一形態である電子内視鏡装置に適用した例であるが、他の種類のデジタルカメラ(例えば、デジタル一眼レフカメラやデジタルビデオカメラ)を使用したシステムに本発明を適用することもできる。例えば、本発明をデジタルスチルカメラに適用すると、体表組織の観察や開頭手術時の脳組織の観察(例えば、脳血流量の迅速検査)を行うことができる。

Claims (16)

  1.  光源装置と、
     前記光源装置が発する光で照明された生体組織を撮像してRGBカラー画像データを生成する撮像部と、
     前記RGBカラー画像データに基づいて前記生体組織の特徴量を取得する特徴量取得部と、
    を備え、
     前記特徴量取得部が、
      前記RGBカラー画像データから前記生体組織中の酸素飽和度との相関を有する第1パラメータを計算し、
      前記第1パラメータが、次の[a]及び[b]のいずれかである、
       [a] R/(R+G+B)
       [b] R/W
       但し、
        Rは白色光の照明下で撮像された通常観察画像データのR成分である第1通常観察画像データRであり、
        Gは前記通常観察画像データのG成分である第2通常観察画像データGであり、
        Bは前記通常観察画像データのB成分である第3通常観察画像データBであり、
        Wは第1特殊光の照明下で撮像されたRBGカラー画像データのG成分である第1特殊観察画像データWである、
    内視鏡装置。
  2.  前記特徴量取得部が、前記第1パラメータに総ヘモグロビン濃度の影響を補正する第1補正値を乗じた補正第1パラメータに基づいて酸素飽和度を取得する、
    請求項1に記載の内視鏡装置。
  3.  前記特徴量取得部が、前記補正第1パラメータと酸素飽和度との関係を表す数値テーブル又は関数を保持する第1記憶部を備えた、
    請求項2に記載の内視鏡装置。
  4.  前記特徴量取得部が、総ヘモグロビン濃度との相関を有する第2パラメータに基づいて前記第1補正値を取得する、
    請求項2又は請求項3に記載の内視鏡装置。
  5.  前記特徴量取得部が、前記第2パラメータと総ヘモグロビン濃度との関係を表す数値テーブル又は関数を保持する第2記憶部を備えた、
    請求項4に記載の内視鏡装置。
  6.  前記第2パラメータが、次の[c]から[e]のいずれかである、
      [c] R/G
      [d] W/R
      [e] W/(R+G)
      但し、
       Rは前記第1通常観察画像データRであり、
       Gは前記第2通常観察画像データGであり、
       Wは前記第1特殊観察画像データWである、
    請求項4又は請求項5に記載の内視鏡装置。
  7.  前記特徴量取得部が、前記第2パラメータに基づいて総ヘモグロビン濃度を取得する、
    請求項6に記載の内視鏡装置。
  8.  前記第1特殊光が、528±5nmに現れるヘモグロビンの等吸収点E1付近から、584±5nmに現れる等吸収点E4付近までの波長範囲を有する、
    請求項1から請求項7のいずれか一項に記載の内視鏡装置。
  9.  前記特徴量取得部が、
      前記第2パラメータの値に相当する総ヘモグロビン濃度が所定値以上のときに、前記第1パラメータに基づいて酸素飽和度を計算し、
      前記第2パラメータの値に相当する総ヘモグロビン濃度が所定値未満のときに、ヘモグロビンの500-600nm吸収帯の吸収を反映する第3パラメータに基づいて酸素飽和度を計算する、
    請求項4から請求項7のいずれか一項に記載の内視鏡装置。
  10.  前記光源装置が、
      白色光源と、
      前記白色光源が発する白色光から前記第1特殊光を取り出す第1光学フィルタと、
    を備え、
      前記白色光と前記第1特殊光とを切り替えて発する、
    請求項1から請求項9のいずれか一項に記載の内視鏡装置。
  11.  前記光源装置が、
      前記白色光源が発する白色光から第2特殊光を取り出す第2光学フィルタ
    を更に備え、
     前記第3パラメータがN/Wである、
      但し、
       Wは前記第1特殊観察画像データWであり、
       Nは前記第2特殊光の照明下で撮像されたRBGカラー画像データのG成分である前記第2特殊観察画像データNであり、
       前記第2特殊光が、547±5nmに現れるヘモグロビンの等吸収点E2付近から、569±5nmに現れる等吸収点E3付近までの波長範囲を有する、
    請求項10に記載の内視鏡装置。
  12.  前記特徴量取得部が、前記第3パラメータと酸素飽和度との関係を表す数値テーブル又は関数を保持する第3記憶部を備えた、
    請求項10又は請求項11に記載の内視鏡装置。
  13.  第1光と第2光とを発生可能な光源装置と、
     前記光源装置が発生する光で照明された生体組織を撮像してカラー画像データを生成可能な、RGBカラーフィルタを備えた撮像部と、
     前記カラー画像データに基づいて前記生体組織の特徴量を取得する特徴量取得部と、
    を備え、
     前記第1光が前記撮像部のRカラーフィルタを通過した第1通過光と、前記第2光が前記撮像部のGカラーフィルタを通過した第2通過光のそれぞれに対して、ヘモグロビンの吸収が酸素飽和度と相関を有し、
     前記特徴量取得部が、
      前記第1通過光によって撮像された第1画像データと、前記第2通過光によって撮像された第2画像データのいずれに基づいて前記生体組織の酸素飽和度を取得するかを選択する選択部を有し、
      前記選択部が選択した画像データに基づいて前記生体組織の酸素飽和度を取得する、
    内視鏡装置。
  14.  前記特徴量取得部が、
      前記生体組織の酸素飽和度の指標となる第1パラメータと、
      前記生体組織の総ヘモグロビン濃度の指標となる第2パラメータと、を生成可能であり、
     前記選択部が、
      前記第2パラメータの値に相当する総ヘモグロビン濃度が所定値以上である場合に、前記第1画像データに基づく酸素飽和度の取得を選択し、
      前記第2パラメータの値に相当する総ヘモグロビン濃度が前記所定値未満である場合に、前記第2画像データに基づく酸素飽和度の取得を選択する、
    請求項13に記載の内視鏡装置。
  15.  前記特徴量に基づき、前記生体組織における該特徴量の分布を表す特徴量分布画像を生成する特徴量分布画像生成部を備えた、
    請求項1から請求項14のいずれか一項に記載の内視鏡装置。
  16.  前記撮像部が先端部に設けられた内視鏡を備えた、
    請求項1から請求項15のいずれか一項に記載の内視鏡装置。
PCT/JP2016/086884 2016-01-08 2016-12-12 内視鏡装置 WO2017119239A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680012463.7A CN107427186B (zh) 2016-01-08 2016-12-12 内窥镜装置
US15/552,604 US10925527B2 (en) 2016-01-08 2016-12-12 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-002275 2016-01-08
JP2016002275 2016-01-08

Publications (1)

Publication Number Publication Date
WO2017119239A1 true WO2017119239A1 (ja) 2017-07-13

Family

ID=59274342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086884 WO2017119239A1 (ja) 2016-01-08 2016-12-12 内視鏡装置

Country Status (3)

Country Link
US (1) US10925527B2 (ja)
CN (1) CN107427186B (ja)
WO (1) WO2017119239A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155815A1 (ja) * 2018-02-06 2019-08-15 富士フイルム株式会社 内視鏡システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
JP6435275B2 (ja) * 2013-12-20 2018-12-05 オリンパス株式会社 内視鏡装置
EP3278710B1 (en) * 2015-04-02 2020-04-22 FUJIFILM Corporation Processor device and endoscopic system
JP6850871B2 (ja) 2017-03-31 2021-03-31 Hoya株式会社 電子内視鏡システム
CN113616189A (zh) * 2021-07-15 2021-11-09 武汉大学 睑结膜血红蛋白量检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012183240A (ja) * 2011-03-07 2012-09-27 Hoya Corp 電子内視鏡装置、電子内視鏡用プロセッサ、光源装置及び電子内視鏡システム
WO2012153568A1 (ja) * 2011-05-10 2012-11-15 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
WO2013111623A1 (ja) * 2012-01-25 2013-08-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
WO2014192781A1 (ja) * 2013-05-30 2014-12-04 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006166939A (ja) * 2004-12-10 2006-06-29 Olympus Corp 画像処理方法
WO2007031946A2 (en) * 2005-09-12 2007-03-22 Dvp Technologies Ltd. Medical image processing
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5419931B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 内視鏡システム、光源装置、及び内視鏡システムの作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012183240A (ja) * 2011-03-07 2012-09-27 Hoya Corp 電子内視鏡装置、電子内視鏡用プロセッサ、光源装置及び電子内視鏡システム
WO2012153568A1 (ja) * 2011-05-10 2012-11-15 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
WO2013111623A1 (ja) * 2012-01-25 2013-08-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
WO2014192781A1 (ja) * 2013-05-30 2014-12-04 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法及び装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155815A1 (ja) * 2018-02-06 2019-08-15 富士フイルム株式会社 内視鏡システム
JPWO2019155815A1 (ja) * 2018-02-06 2021-01-14 富士フイルム株式会社 内視鏡システム
JP7057381B2 (ja) 2018-02-06 2022-04-19 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
CN107427186B (zh) 2019-07-12
US20180049679A1 (en) 2018-02-22
CN107427186A (zh) 2017-12-01
US10925527B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
JP6356051B2 (ja) 分析装置及び分析装置の作動方法
WO2017119239A1 (ja) 内視鏡装置
JP6204314B2 (ja) 電子内視鏡システム
JP6783721B2 (ja) 分析装置
JP2017148392A (ja) 計算システム
JP6467562B2 (ja) 内視鏡システム
JP6284451B2 (ja) 内視鏡装置
WO2018043728A1 (ja) 内視鏡システム及び特徴量算出方法
JP6615369B2 (ja) 内視鏡システム
JP6783168B2 (ja) 内視鏡システム及び分析装置
WO2018008008A1 (ja) 分析装置
CN109788893B (zh) 内窥镜***
JP6584147B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15552604

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883739

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883739

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP