WO2022255072A1 - プロセッサ装置及びその作動方法並びに内視鏡システム - Google Patents

プロセッサ装置及びその作動方法並びに内視鏡システム Download PDF

Info

Publication number
WO2022255072A1
WO2022255072A1 PCT/JP2022/020364 JP2022020364W WO2022255072A1 WO 2022255072 A1 WO2022255072 A1 WO 2022255072A1 JP 2022020364 W JP2022020364 W JP 2022020364W WO 2022255072 A1 WO2022255072 A1 WO 2022255072A1
Authority
WO
WIPO (PCT)
Prior art keywords
oxygen saturation
image signal
wavelength band
band
light
Prior art date
Application number
PCT/JP2022/020364
Other languages
English (en)
French (fr)
Inventor
孝明 齋藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023525700A priority Critical patent/JPWO2022255072A5/ja
Priority to DE112022002872.6T priority patent/DE112022002872T5/de
Publication of WO2022255072A1 publication Critical patent/WO2022255072A1/ja
Priority to US18/519,075 priority patent/US20240081616A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers

Definitions

  • the present invention relates to a processor device that calculates the oxygen saturation of an observation target, its operating method, and an endoscope system.
  • oxygen saturation imaging has been known in the medical field using endoscopes.
  • hemoglobin oxygen saturation is calculated from a small number of spectral information of visible light.
  • the spectroscopic signal is affected by the light absorption of the specific pigment, so the calculated oxygen saturation deviates.
  • corrective imaging is performed to acquire the spectral characteristics of the observed tissue. is corrected and used for subsequent oxygen saturation calculations (see Patent Documents 1 and 2).
  • the correction method performed before calculating the oxygen saturation it is premised on imaging the same place on the tissue at the time of imaging for correction and at the time of subsequent observation.
  • the present invention provides a processor device, an operating method thereof, and an endoscope system capable of accurately calculating oxygen saturation even when observing a plurality of tissues having different spectral characteristics. aim.
  • a processor device of the present invention comprises a processor, the processor comprising a first image signal corresponding to a first wavelength band sensitive to a specific pigment concentration of a specific pigment other than blood hemoglobin among pigments contained in an observation target; a second image signal corresponding to a second wavelength band sensitive to oxygen saturation of blood hemoglobin, a third image signal corresponding to a third wavelength band sensitive to blood volume, and A first wavelength band, a second wavelength band, and a fourth image signal corresponding to a fourth wavelength band longer than the third wavelength band are acquired, and the second image signal, the third image signal, and the fourth Calculate a calculated value by arithmetic processing based on the image signal, refer to the oxygen saturation calculation table, calculate the oxygen saturation based on the calculated value, and based on the first image signal and the third image signal, Calculate the dye concentration Calculate the specific dye concentration, monitor the specific dye concentration during calculation of the oxygen saturation, and perform correction notification regarding correction of the oxygen saturation calculation table based on the monitoring result of the specific dye concentration .
  • the processor calculates a first difference or a first ratio between the sequentially calculated specific dye density and a predetermined reference density for the specific dye density, and when the first difference or the first ratio is outside the specific range In addition, it is preferable to perform notification for correction.
  • the processor calculates a specific dye density average value that is an average value of specific dye densities calculated within a certain period of time, and calculates a second difference or a second difference between the specific dye density average value and a predetermined reference density for the specific dye density. 2 ratio is calculated, and when the second difference or the second ratio is out of the specific range, it is preferable to perform correction notification.
  • the reference concentration is preferably the specific dye concentration at the timing when the oxygen saturation calculation table is corrected.
  • the reference concentration is preferably predetermined for each patient or each site.
  • the specific dye is preferably a yellow dye.
  • the first wavelength band is 450 ⁇ 10 nm
  • the second wavelength band is 470 ⁇ 10 nm
  • the third wavelength band is the green band
  • the fourth wavelength band is the red band.
  • the processor device of the present invention described above, a first semiconductor light source that emits a first blue light, a second semiconductor light source that emits a second blue light having a longer wavelength than the first blue light, a third semiconductor light source that emits a green light, and a light source unit having a fourth semiconductor light source that emits red light, and a light source processor that controls turning on and off of the first semiconductor light source, the second semiconductor light source, the third semiconductor light source, and the fourth semiconductor light source.
  • an endoscope having an imaging sensor provided with a B color filter having a blue transmission band, a G color filter having a green transmission band, and an R color filter having a red transmission band, wherein the first wavelength band is , the wavelength band of light transmitted through the B color filter in the green light, the second wavelength band is the wavelength band of light transmitted through the B color filter in the second blue light, and the third wavelength band is green.
  • the fourth wavelength band is the wavelength band of the light that has passed through the G color filter, and the fourth wavelength band is the wavelength band of the red light that has passed through the R color filter.
  • the blue transmission band is 380-560 nm
  • the green transmission band is 450-630 nm
  • the red transmission band is 580-760 nm.
  • the processor includes a first image signal corresponding to a first wavelength band sensitive to a specific pigment concentration of a specific pigment other than blood hemoglobin among pigments contained in an observation target, and blood a second image signal corresponding to a second wavelength band sensitive to oxygen saturation of medium hemoglobin; a third image signal corresponding to a third wavelength band sensitive to blood volume; obtaining a first wavelength band, a second wavelength band, and a fourth image signal corresponding to a fourth wavelength band longer than the third wavelength band; 4 Calculate a calculated value by arithmetic processing based on the image signal, refer to the oxygen saturation calculation table, calculate the oxygen saturation based on the calculated value, and calculate the oxygen saturation based on the first image signal and the third image signal , the step of calculating the specific dye concentration, the step of monitoring the specific dye concentration during the calculation of the oxygen saturation, and the correction of the oxygen saturation calculation table based on the monitoring result of the specific dye concentration. and a step of performing notification for correction regarding.
  • FIG. 1 is an external view of an endoscope system
  • FIG. 2 is a block diagram showing functions of the endoscope system of the first embodiment
  • FIG. 4 is a graph showing spectral sensitivity of an imaging sensor
  • FIG. 4 is an explanatory diagram showing emission of illumination light and imaging of an observation target in a normal mode
  • FIG. 4 is an explanatory diagram showing emission of illumination light and imaging of an observation target in an oxygen saturation mode
  • It is a block diagram which shows the function of an oxygen saturation image processing part. It is a graph showing the positions of oxygen saturation contour lines in a two-dimensional space formed by ln(B2/G1) on the vertical axis and ln(R1/G1) on the horizontal axis. It is explanatory drawing which shows the correction method of the table for oxygen saturation calculation.
  • FIG. 4 is a graph showing the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin. It is explanatory drawing which shows the calculation method of oxygen saturation. It is a graph which shows the extinction coefficient of a yellow pigment. It is explanatory drawing regarding the notification for correction
  • FIG. 10 is an explanatory diagram showing display of a message box, which is one of notifications for correction.
  • FIG. 4 is an explanatory diagram showing a specific dye density calculated for a given time TL; It is a flow chart which shows a series of flows of oxygen saturation mode. It is a block diagram which shows the function of the endoscope system of 2nd Embodiment.
  • FIG. 4 is a plan view of a rotating filter;
  • the endoscope system 10 has an endoscope 12 , a light source device 13 , a processor device 14 , a display 15 and a user interface 16 .
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14 .
  • the light source device 13 supplies illumination light to the endoscope 12 .
  • the endoscope 12 is used to illuminate an observation target with illumination light, capture an image of the observation target, and acquire an endoscopic image.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the body of an observation target, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion. and a portion 12d.
  • the bending portion 12c bends by operating the operation portion 12b.
  • the distal end portion 12d irradiates an observation target with illumination light and receives reflected light from the observation target to capture an image of the observation target.
  • the distal end portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b includes a mode switching switch 12f used for mode switching operation, a still image acquisition instruction switch 12g used for instructing acquisition of a still image to be observed, and a zoom operation unit 12h used for operating the zoom lens 21b. is provided.
  • the processor device 14 is electrically connected with the display 15 and the user interface 16 .
  • the processor device 14 receives image signals from the endoscope 12 and performs various processes based on the image signals.
  • the display 15 outputs and displays an observation target image or information processed by the processor device 14 .
  • the user interface 16 has a keyboard, mouse, touch pad, microphone, etc., and has a function of receiving input operations such as function settings.
  • the endoscope system 10 has two modes, a normal mode and an oxygen saturation mode, and these three modes are switched by the user operating the mode switch 12f.
  • the display 15 displays a normal image with natural colors obtained by imaging an observation target using white light as illumination light.
  • the oxygen saturation mode the oxygen saturation of the observation target is calculated based on the image signal from the endoscope 12 with reference to the oxygen saturation calculation table TBL. Then, an oxygen saturation image obtained by imaging the calculated oxygen saturation in pseudo color or the like is displayed on the display 15 .
  • the tissue color correction button 12j When the tissue color correction button 12j is operated while the oxygen saturation mode is being executed, the tissue color correction mode is executed.
  • the oxygen saturation calculation table TBL In the tissue color correction mode, the oxygen saturation calculation table TBL is corrected in order to calculate the oxygen saturation that matches the tissue color under observation.
  • the oxygen saturation In the oxygen saturation mode, the oxygen saturation is calculated using the corrected oxygen saturation calculation table TBL. Further, during the calculation of the oxygen saturation, the concentration of the specific dye is monitored, and based on the monitoring result, a correction notification regarding the correction of the oxygen saturation calculation table TBL is made.
  • the light source device 13 includes a light source section 20 and a light source processor 21 that controls the light source section 20 .
  • the light source unit 20 has, for example, a plurality of semiconductor light sources, which are turned on or off. When turned on, the light emission amount of each semiconductor light source is controlled to emit illumination light for illuminating the observation target.
  • the light source unit 20 includes a BS-LED (Blue Short-wavelength Light Emitting Diode) 20a, a BL-LED (Blue Long-wavelength Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and It has four colors of R-LED (Red Light Emitting Diode) 20d.
  • the BS-LED 20a (first semiconductor light source) emits a first blue light BS of 450 nm ⁇ 10 nm.
  • the BL-LED 20b (second semiconductor light source) emits second blue light BL of 470 nm ⁇ 10 nm.
  • the G-LED 20c (third semiconductor light source) emits green light G in the green band.
  • the center wavelength of the green light G is preferably 540 nm.
  • the R-LED 20d (fourth semiconductor light source) emits red light R in the red band.
  • the center wavelength of the red light R is preferably 620 nm. Note that the center wavelength and peak wavelength of each of the LEDs 20a to 20d may be the same or different.
  • the light source processor 21 independently controls the lighting or extinguishing of the LEDs 20a to 20d, the amount of light emitted when the LEDs 20a to 20d are lit, and the like by independently inputting control signals to the LEDs 20a to 20d. Lighting or extinguishing control in the light source processor 21 differs depending on each mode. In the normal mode, the BS-LED 20a, the G-LED 20c, and the R-LED 20d are turned on simultaneously to simultaneously emit the first blue light BS, green light G, and red light R (see the figure).
  • the oxygen saturation mode or the tissue color correction mode light emission for three frames with different light emission patterns is repeated (see figure).
  • the BS-LED 20a, the G-LED 20c, and the R-LED 20d are turned on at the same time, thereby emitting the first blue light BS, the green light G, and the red light R at the same time.
  • the BL-LED 20b, the G-LED 20c, and the R-LED 20d are lit at the same time, thereby emitting the second blue light BL, the green light G, and the red light R at the same time.
  • green light G is emitted by turning on the G-LED 20c.
  • the light emitted by each of the LEDs 20a to 20d is incident on the light guide 25 via the optical path coupling section 23 composed of mirrors, lenses, and the like.
  • the light guide 25 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 13 and the processor device 14).
  • the light guide 25 propagates the light from the optical path coupling portion 23 to the distal end portion 12 d of the endoscope 12 .
  • An illumination optical system 30 and an imaging optical system 31 are provided at the distal end portion 12 d of the endoscope 12 .
  • the illumination optical system 30 has an illumination lens 32 , and the illumination light propagated by the light guide 25 is applied to the observation target via the illumination lens 32 .
  • the imaging optical system 31 has an objective lens 42 and an imaging sensor 44 . Light from the observation target irradiated with the illumination light enters the imaging sensor 44 via the objective lens 42 . As a result, an image of the observation target is formed on the imaging sensor 44 .
  • the imaging sensor 44 is a color imaging sensor that captures an image of an observation target illuminated with illumination light.
  • Each pixel of the imaging sensor 44 includes a B pixel (blue pixel) having a B (blue) color filter, a G pixel (green pixel) having a G (green) color filter, and an R pixel having an R (red) color filter ( red pixels) are provided.
  • the imaging sensor 44 is preferably a Bayer array color imaging sensor in which the ratio of the number of B pixels, G pixels, and R pixels is 1:2:1.
  • the B color filter BF mainly transmits light in the blue band, specifically light in the wavelength band of 380 to 560 nm (blue transmission band).
  • a peak wavelength at which the transmittance is maximum exists in the vicinity of 460 to 470 nm.
  • the G color filter GF mainly transmits light in the green band, specifically, light in the wavelength band of 450 to 630 nm (green transmission band).
  • the R color filter RF mainly transmits light in the red band, specifically light in the range of 580 to 760 nm (red transmission band).
  • CMYG four-color image signals are output. Therefore, by converting the CMYG four-color image signals into RGB three-color image signals by complementary color-primary color conversion, Image signals of RGB colors similar to those of the imaging sensor 44 can be obtained.
  • a CDS/AGC (Correlated Double Sampling/Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on analog image signals obtained from the imaging sensor 44 .
  • the image signal that has passed through the CDS/AGC circuit 46 is converted into a digital image signal by an A/D (Analog/Digital) converter 48 .
  • a digital image signal after A/D conversion is input to the processor unit 14 .
  • the processor device 14 includes an image signal acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing switching unit 56, a normal image processing unit 58, an oxygen saturation image processing unit 60, A video signal generator 64 is provided.
  • the processor unit 14 has a program memory (not shown) incorporated with a program for each process.
  • a central control unit (not shown) configured by a processor executes programs in a program memory to generate an image signal acquisition unit 50, a DSP 52, a noise reduction unit 54, an image processing switching unit 56, and a normal image. Functions of the processing unit 58, the oxygen saturation image processing unit 60, and the video signal generation unit 64 are realized.
  • a calculation value calculation unit 70 included in the oxygen saturation image processing unit 60, an oxygen saturation calculation unit 71, an image generation unit 72, a specific dye concentration calculation unit 73, and a concentration monitoring unit 74 , the function of the notification unit 75 is realized.
  • the image signal acquisition unit 50 receives image signals input from the endoscope 12 and transmits the received image signals to the DSP 52 .
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, demosaicing processing, and YC conversion processing on the received image signal.
  • defect correction process signals of defective pixels of the imaging sensor 44 are corrected.
  • offset processing the dark current component is removed from the image signal subjected to the defect correction processing, and an accurate zero level is set.
  • the gain correction process adjusts the signal level of each image signal by multiplying the image signal of each color after the offset process by a specific gain. Linear matrix processing for improving color reproducibility is performed on the image signal of each color after the gain correction processing.
  • gamma conversion processing adjusts the brightness and saturation of each image signal.
  • the image signal after linear matrix processing is subjected to demosaic processing (also referred to as isotropic processing or synchronizing processing), and interpolated to generate missing color signals for each pixel.
  • demosaic processing causes all pixels to have RGB signals.
  • the DSP 52 performs YC conversion processing on each image signal after the demosaic processing, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 54 .
  • the noise reduction unit 54 performs noise reduction processing using, for example, the moving average method or the median filter method, on the image signal that has undergone demosaic processing or the like by the DSP 56 .
  • the noise-reduced image signal is input to the image processing switching section 56 .
  • the image processing switching unit 56 switches the transmission destination of the image signal from the noise reduction unit 54 to either the normal image processing unit 58 or the oxygen saturation image processing unit 60 depending on the set mode. Specifically, when the normal mode is set, the image signal from the noise reduction section 54 is input to the normal image processing section 58 . When the oxygen saturation mode is set, the image signal from the noise reduction section 54 is input to the oxygen saturation image processing section 60 .
  • the normal image processing unit 58 further performs 3 ⁇ 3 matrix processing, gradation conversion processing, and three-dimensional LUT (Look Up Table) processing on the input Rc image signal, Gc image signal, and Bc image signal for one frame. and other color conversion processing. Then, various color enhancement processes are applied to the RGB image data that has undergone the color conversion process. Structural enhancement processing such as spatial frequency enhancement is applied to the color-enhanced RGB image data.
  • the RGB image data subjected to structure enhancement processing is input to the video signal generator 64 as a normal image.
  • the oxygen saturation image processing unit 60 calculates the oxygen saturation using the image signal obtained in the oxygen saturation mode. A method for calculating the oxygen saturation will be described later.
  • An oxygen saturation image is generated by imaging the calculated oxygen saturation in pseudo-color or the like. This oxygen saturation image is input to the video signal generator 64 .
  • the video signal generator 64 converts the normal image from the normal image processor 58 or the oxygen saturation image from the oxygen saturation image processor 60 into a video signal that enables full-color display on the display 15 .
  • the converted video signal is input to display 15 .
  • the display 15 displays a normal image or an oxygen saturation image.
  • the imaging control unit 45 controls the imaging sensor 44 so as to capture an image of the object under illumination with the first blue light BS, green light G, and red light R for each frame. Control.
  • the B pixels of the imaging sensor 44 output the Bc image signals
  • the G pixels output the Gc image signals
  • the R pixels output the Rc image signals.
  • the imaging control unit 45 controls imaging.
  • the B pixel of the sensor 44 outputs the B1 image signal
  • the G pixel outputs the G1 image signal
  • the R pixel outputs the R1 image signal.
  • the imaging control unit 45 outputs a B2 image signal from the B pixel of the imaging sensor 44, A G2 image signal is output from the G pixel, and an R2 image signal is output from the R pixel.
  • the imaging control unit 45 outputs the B3 image signal from the B pixel of the imaging sensor 44, outputs the G3 image signal from the G pixel, and outputs the G3 image signal from the G pixel.
  • An R3 image signal is output from the pixel.
  • the B3 image signal, the B2 image signal, the G1 image signal, and the R1 image signal among the image signals for the three frames are used to calculate the oxygen saturation and the specific pigment concentration.
  • the B3 image signal (first image signal) contains image information regarding the wavelength band (first wavelength band) of the light transmitted through the B color filter BF among the green light emitted in the third frame.
  • the B2 image signal (second image signal) contains image information on the wavelength band of at least the second blue light BL transmitted through the B color filter BF among the light emitted in the second frame.
  • the G1 image signal (third image signal) contains image information regarding at least the wavelength band of the light transmitted through the G color filter GF in the green light G among the light emitted in the first frame.
  • the R1 image signal (fourth image signal) contains image information relating to the wavelength band of at least the red light R transmitted through the R color filter RF among the light emitted in the first frame.
  • the oxygen saturation image processing unit 60 includes a calculation value calculation unit 70, an oxygen saturation calculation unit 71, an image generation unit 72, a specific dye concentration calculation unit 73, and a concentration monitoring unit 74. , and a notification unit 75 .
  • the signal ratio calculator 70 calculates a calculated value by arithmetic processing based on the B2 image signal, the G1 image signal, and the R1 image signal. Specifically, the calculated value calculation unit 70 uses the signal ratio B2/G1 between the B2 image signal and the G1 image signal and the signal ratio R1/ G1 is calculated.
  • the signal ratio B2/G1 and the signal ratio R1/G1 are preferably logarithmized (ln). Further, the color difference signals Cr and Cb calculated from the B2 image signal, the G1 image signal, and the R1 image signal, or the saturation S and hue H may be used as the calculated values.
  • the oxygen saturation calculation unit 71 refers to the oxygen saturation calculation table TBL and calculates the oxygen saturation based on the calculated value.
  • the correlation between the signal ratios B2/G1 and R1/G1 and the oxygen saturation is stored in the oxygen saturation calculation table TBL.
  • the correlation is expressed in a two-dimensional space formed by the vertical axis Ln (B2/G1) and the horizontal axis Ln (R1/G1), as shown in FIG.
  • Combined contour lines are formed generally along the horizontal axis direction.
  • the isopleth lines are positioned further downward in the vertical axis direction as the oxygen saturation increases. For example, the contour line 77 of 100% oxygen saturation is located below the contour line 78 of 0% oxygen saturation.
  • the correlation between the signal ratios B2/G1 and R1/G1 and the oxygen saturation is changed according to the specific pigment concentration (yellow pigment, etc.) that affects the calculation of the oxygen saturation. It is possible to correct the contents of the table so that it can be done.
  • the oxygen saturation calculation table TBL is corrected by operating the tissue color correction button 12j. Changing the correlation corresponds to adjusting the intervals, positions, etc. of the contour lines shown in FIG. For example, when the specific dye concentration is the concentration CP, the correlation in the oxygen saturation calculation table TBL is changed to the first correlation, as shown in FIG. 8A. Further, when the specific dye concentration is a concentration CQ different from the concentration CP, as shown in FIG. 8B, the correlation of the oxygen saturation calculation table TBL is changed to a second correlation different from the first correlation. be done.
  • the above correlation is closely related to the light absorption properties and light scattering properties of oxygenated hemoglobin (graph 80) and reduced hemoglobin (graph 81) shown in FIG.
  • a wavelength band in which the difference in absorption coefficient between oxyhemoglobin and deoxyhemoglobin is large such as the wavelength band of 470 ⁇ 10 nm of the second blue light BL
  • the amount of light absorbed changes depending on the oxygen saturation of hemoglobin.
  • Information is easy to handle. Therefore, the oxygen saturation can be calculated by using the signal ratio B2/G1 including the B2 image signal corresponding to the second blue light BL with a center wavelength of 470 nm.
  • the signal ratio B2/G1 is highly dependent not only on oxygen saturation but also on blood volume.
  • the oxygen saturation can be obtained accurately without being affected by the blood volume.
  • the green light wavelength band of 540 ⁇ 20 nm contained in the G1 image signal is a wavelength band in which the amount of light absorption is likely to change depending on the amount of blood, since the absorption coefficient of hemoglobin is relatively high.
  • the oxygen saturation calculation unit 74 refers to the oxygen saturation calculation table TBL and calculates the oxygen saturation corresponding to the signal ratios B2/G1 and R1/G1 for each pixel. For example, as shown in FIG. 10, the oxygen saturation corresponding to the signal ratios B2 * /G1 * and R1 * /G1 * of the specific pixel is "40%". Therefore, the oxygen saturation calculator 74 calculates the oxygen saturation of the specific pixel as "40%".
  • the signal ratios B2/G1 and R1/G1 rarely become extremely large or extremely small. That is, the combinations of the values of the signal ratios B2/G1 and R1/G1 are distributed below the isopleth line 77 (see FIG. 7) of the upper limit of the oxygen saturation of 100%, or conversely, when the oxygen saturation is 0 It is almost never distributed above the isoline 78 (see FIG. 7) of the lower limit of %. However, when distributed below the upper limit contour line 77, the oxygen saturation is set to 100%, and when distributed above the lower limit contour line 78, the oxygen saturation calculation unit 71 sets the oxygen saturation to 0. %.
  • the reliability of the oxygen saturation in that pixel is low.
  • the oxygen saturation may be displayed so that it can be understood, and the oxygen saturation level may not be calculated.
  • the image generation unit 72 uses the oxygen saturation calculated by the oxygen saturation calculation unit 71 to generate an oxygen saturation image in which the oxygen saturation is visualized.
  • the image generation unit 76 acquires the B1 image signal, the G1 image signal, and the R1 image signal (corresponding to a normal image), and applies a gain corresponding to the oxygen saturation to each pixel of these image signals. apply to Then, the B1 image signal, the G1 image signal, and the R1 image signal to which the gain is applied are used to generate RGB image data.
  • the image generator 76 multiplies all of the B1 image signal, the G1 image signal, and the R1 image signal by the same gain "1" for pixels with an oxygen saturation of 60% or more.
  • the B1 image signal is multiplied by a gain of less than "1”
  • the G1 image signal and the R1 image signal are multiplied by a gain of "1" or more.
  • the oxygen saturation image is the RGB image data generated using the B1 image signal, G1 image signal, and R1 image signal after the gain processing.
  • the high oxygen region (region where the oxygen saturation is 60 to 100%) is represented in the same color as the normal observation image.
  • hypoxic regions regions where the oxygen saturation is 0 to 60%
  • hypoxic regions regions where the oxygen saturation is below a specific value are represented in colors (pseudo colors) different from those of the normal observation image.
  • the image generation unit 72 multiplies the gain for pseudo-coloring only the hypoxic region, but also applies the gain according to the oxygen saturation even in the hyperoxic region, and the entire oxygen saturation image is obtained. Pseudo-coloring may be used. Also, the low-oxygen region and the high-oxygen region are separated by the oxygen saturation of 60%, but this boundary is also arbitrary.
  • the specific pigment concentration calculation unit 73 calculates the specific pigment concentration of the specific pigment based on the B3 image signal and the G1 image signal.
  • the specific pigment concentration calculator 73 constantly calculates the specific pigment concentration during the oxygen saturation mode.
  • the specific dye is a dye other than blood hemoglobin among the dyes contained in the observation target, and is a dye that affects the calculation of the oxygen saturation.
  • Specific pigments include, for example, yellow pigments. As shown in FIG. 11, the absorption coefficient of the yellow dye has the highest peak near the wavelength of 450 ⁇ 10 nm. Therefore, the first wavelength band near the wavelength of 450 ⁇ 10 nm is the wavelength band in which the amount of light absorption is likely to change according to the concentration of the yellow pigment. Image information regarding the first wavelength band is included in the B3 image signal. Therefore, when the specific pigment is a yellow pigment, the specific pigment concentration calculator 73 calculates the signal ratio B3/G1 as the pigment concentration of the yellow pigment. Although the signal value of the signal ratio B3/G1 does not change with the oxygen saturation, the signal value changes with the concentration of the yellow pigment and the amount of blood.
  • the concentration monitoring unit 74 monitors the specific dye concentration during the calculation of the oxygen saturation.
  • the notification for correction is preferably performed by voice or display on the display 15.
  • the notification for correction is displayed on the display 15, as shown in FIG.
  • the contents of the message box MB are preferably contents prompting the user to perform tissue color correction (for example, "please operate the tissue color correction button 12j").
  • the notification unit 75 determines whether or not the second difference D2 or the second ratio P2 obtained at regular time intervals falls within a specific range. As a result, the notification for correction is performed only when the specific dye density to be monitored continues to be out of the specific range, so it frequently goes out of the specific range due to fluctuations due to noise or temporary changes in the observation location. The notification for correction will not be executed at this time.
  • the notification unit 75 does not perform correction notification as long as the second difference D2 or the second ratio P2 is within the specific range.
  • the notification unit 75 executes correction notification when the second difference D2 or the second ratio P2 is out of the specific range. Note that, as shown in FIG. 14, the average value Cave of the specific dye densities is calculated by calculating N specific dye densities C1, C2, . is a natural number).
  • the reference concentration is preferably the specific dye concentration at the timing when the oxygen saturation calculation table TBL is corrected. Specifically, it is preferable to use the specific dye density calculated by the specific density calculation unit 73 at the timing when the tissue color correction button 12j is operated as the reference density. In addition, it is preferable to predetermine the reference concentration for each patient or each site. For example, depending on the patient, the conditions of pretreatment (residual condition of yellow pigment) before endoscopic diagnosis may differ. In this case, it is preferable to change the reference concentration for each patient.
  • the reference density is changed by the user operating the user interface 16 .
  • the mode changeover switch 12f Operate the mode changeover switch 12f to set the oxygen saturation mode.
  • the object to be observed is illuminated for three frames with different light emission patterns.
  • the specific dye density is calculated from the image signals obtained by illumination for these three frames.
  • the user operates the tissue color correction button 12j while viewing the place where the user wants to observe the oxygen saturation.
  • the specific dye density calculated at the timing when the tissue color correction button 12j is operated is used as the reference density, and the oxygen saturation calculation table TBL is corrected according to the reference density.
  • the corrected oxygen saturation calculation table TBL is referred to, and the oxygen saturation is calculated based on the image signal obtained by illumination for three frames.
  • the calculated oxygen saturation is imaged as an oxygen saturation image and displayed on the display 15 .
  • the calculation of the oxygen saturation it is monitored whether or not the first difference D1 between the specific pigment concentration and the reference concentration falls within a specific range. If the first difference D1 or the like falls within the specific range, the calculation of the oxygen saturation is continued without executing the notification for correction. On the other hand, when the first difference D1 or the like is not pasted on the specific range, the notification for correction is executed.
  • the user When the user considers that the oxygen saturation calculation table TBL needs to be corrected, the user operates the tissue color correction button 12j to recorrect the oxygen saturation calculation table TBL. The above series of flows are repeated as long as the oxygen saturation mode is continued.
  • a broadband light source such as a xenon lamp and a rotary filter are used to illuminate the observation target.
  • a monochrome image sensor is used to capture an image of the observation target. Other than that, it is the same as the first embodiment.
  • a broadband light source 102, a rotating filter 104, and a filter switching section 105 are provided in place of the four-color LEDs 20a to 20d in the light source device 13.
  • the imaging optical system 31 is provided with a monochrome imaging sensor 106 having no color filter instead of the color imaging sensor 44 .
  • the broadband light source 102 is a xenon lamp, a white LED, or the like, and emits white light with a wavelength range from blue to red.
  • the rotating filter 104 includes an inner filter 108 provided inside and an outer filter 109 provided outside (see FIG. 17).
  • the filter switching unit 105 moves the rotary filter 104 in the radial direction.
  • the inner filter 108 of the rotary filter 104 is inserted into the optical path of the white light, and the oxygen saturation is adjusted.
  • the outer filter 109 of the rotating filter 104 is inserted into the white light path.
  • the inner filter 108 includes, along the circumferential direction, a B1 filter 108a that transmits the first blue light BS out of the white light, a G filter 108b that transmits the green light G out of the white light, and a white light.
  • An R filter 108c is provided for transmitting the red light R of the light. Therefore, in the normal mode, rotation of the rotary filter 104 causes the first blue light BS, the green light G, and the red light R to alternately irradiate the observation object.
  • a B1 filter 109a that transmits the first blue light BS of the white light
  • a B2 filter 109b that transmits the second blue light BL of the white light
  • a B2 filter 109b that transmits the second blue light BL of the white light.
  • a G filter 109c for transmitting green light G and an R filter 109d for transmitting red light R of white light are provided. Therefore, in the oxygen saturation mode, rotation of the rotary filter 104 alternately irradiates the observation target with the first blue light BS, the second blue light BL, the green light G, and the red light R.
  • the monochrome imaging sensor 106 captures an image of the observation target. Thereby, a Bc image signal, a Gc image signal, and an Rc image signal are obtained. Then, based on these three-color image signals, a normal image is generated in the same manner as in the first embodiment.
  • the monochrome imaging sensor 106 captures an image of the observation target each time the observation target is illuminated with the first blue light BS, the second blue light BL, the green light G, and the red light R.
  • a B3 image signal, a B2 image signal, a G1 image signal, and an R1 image signal are obtained. Based on these four-color image signals, an oxygen saturation image is generated in the same manner as in the first embodiment.
  • the hardware structure of a processing unit that executes various processes is as follows.
  • Various processors include CPU (Central Processing Unit), GPU (Graphical Processing Unit), FPGA (Field Programmable Gate Array), etc.
  • Programmable Logic Device which is a processor whose circuit configuration can be changed after manufacturing, and a dedicated electric circuit, which is a processor with a circuit configuration specially designed to execute various processes. .
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same or different type (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and A combination of GPUs, etc.).
  • a plurality of processing units may be configured by one processor.
  • configuring a plurality of processing units in one processor first, as represented by computers such as clients and servers, one processor is configured by combining one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disc drive) or SSD (solid state drive).
  • endoscope system 12 endoscope 12a insertion portion 12b operation portion 12c bending portion 12d tip portion 12f mode changeover switch 12g still image acquisition instruction switch 12h zoom operation portion 12j tissue color correction button 13 light source device 14 processor device 15 display 16 user Interface 20
  • R-LED 21 light source processor 23 optical path integration unit 25 light guide 30 illumination optical system 31 imaging optical system 32 illumination lens 42 objective lens 44 imaging sensor 45 imaging control unit 46 CDS/AGC circuit 48
  • A/D converter 50 image signal acquisition unit 52 DSP 54 noise reduction unit 56 image signal switching unit 58 normal image processing unit 60 oxygen saturation image processing unit 64 video signal generation unit 70 calculation value calculation unit 71 oxygen saturation calculation unit 72 image generation unit 73 specific pigment concentration calculation unit 74 concentration monitoring Unit 75 Reporting units 77, 78 Contour lines 80, 81 Graph 100 Endoscope system 102 Broadband light source 104 Rotating filter 105 Filter switching unit 106 Imaging sensor 108 Inner filter 108a B1 filter

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

分光特性が異なる複数の組織を観察する場合であっても、精度良く酸素飽和度を算出することができるようにするプロセッサ装置及びその作動方法並びに内視鏡システムを提供する。 酸素飽和度算出用テーブルTBLを参照し、演算値に基づいて酸素飽和度を算出する。B3画像信号、及びG1画像信号に基づいて、ヘモグロビン以外の特定色素の特定色素濃度を算出する。特定色素濃度と基準濃度との第1差分D1が特定範囲内か否かをモニタリングする。特定色素濃度のモニタリング結果に基づいて、酸素飽和度算出用テーブルTBLの補正に関する補正用報知を行う。

Description

プロセッサ装置及びその作動方法並びに内視鏡システム
 本発明は、観察対象の酸素飽和度を算出するプロセッサ装置及びその作動方法並びに内視鏡システムに関する。
 また、近年では、内視鏡を使用する医療分野においては、酸素飽和度イメージングが知られている。酸素飽和度イメージングでは、可視光の少数の分光情報からヘモグロビン酸素飽和度を演算する。酸素飽和度の演算においては、ヘモグロビン以外に、黄色色素などの特定色素が観察組織に存在する場合には、分光信号が特定色素の光吸収の影響を受けるため、演算される酸素飽和度がずれる問題がある。これを解決するために、酸素飽和度観察前に、観察組織の分光特性を取得するための補正用の撮像を行い、補正用の撮像で得られた信号に基づいて、酸素飽和度演算のアルゴリズムを補正し、それ以降の酸素飽和度演算に使用することが行われている(特許文献1、2参照)。
特許第6412252号公報 特許第6039639号公報
 上記のように、酸素飽和度の算出前に行う補正方式では、補正用の撮像時と、それ以降の観察時で組織上の同じ場所を撮像することが前提となっている。しかし、実際の臨床使用時においては、一度補正用の撮像を実施した後、他の場所も観察することが想定され、その場合、組織の分光特性が最初の補正時と異なる場所を観察した場合、算出される酸素飽和度値が真値からずれる可能性がある。
 本発明は、分光特性が異なる複数の組織を観察する場合であっても、精度良く酸素飽和度を算出することができるようにするプロセッサ装置及びその作動方法並びに内視鏡システムを提供することを目的とする。
 本発明のプロセッサ装置は、プロセッサを備え、プロセッサは、観察対象に含まれる色素のうち血中ヘモグロビン以外の特定色素の特定色素濃度に感度を持つ第1波長帯域に対応する第1画像信号と、血中ヘモグロビンの酸素飽和度に感度を持つ第2波長帯域に対応する第2画像信号と、血液量に感度を持つ第3波長帯域に対応する第3波長帯域に対応する第3画像信号と、第1波長帯域、第2波長帯域、第3波長帯域よりも長波長の第4波長帯域に対応する第4画像信号と、を取得し、第2画像信号、第3画像信号、及び、第4画像信号に基づく演算処理によって、演算値を算出し、酸素飽和度算出用テーブルを参照し、演算値に基づいて酸素飽和度を算出し、第1画像信号、及び第3画像信号に基づいて、色素濃度を算出する特定色素濃度を算出し、酸素飽和度の算出中に特定色素濃度をモニタリングし、特定色素濃度のモニタリング結果に基づいて、酸素飽和度算出用テーブルの補正に関する補正用報知を行う。
 プロセッサは、順次算出される特定色素濃度と、特定色素濃度について予め定められた基準濃度との第1差分又は第1比率を算出し、第1差分又は第1比率が特定範囲外となった場合に、補正用報知を行うことが好ましい。プロセッサは、一定時間内に算出した特定色素濃度の平均値である特定色素濃度平均値を算出し、特定色素濃度平均値と、特定色素濃度について予め定められた基準濃度との第2差分又は第2比率を算出し、第2差分又は第2比率が特定範囲外となった場合に、補正用報知を行うことが好ましい。
 基準濃度は、酸素飽和度算出用テーブルの補正が行われたタイミングの特定色素濃度であることが好ましい。基準濃度は、患者毎又は部位毎に予め定められていることが好ましい。特定色素は黄色色素であることが好ましい。第1波長帯域は450±10nmであり、第2波長帯域は470±10nmであり、第3波長帯域は緑色帯域であり、第4波長帯域は赤色帯域であることが好ましい。
 上記記載の本発明のプロセッサ装置と、第1青色光を発する第1半導体光源、第1青色光よりも長波長の第2青色光を発する第2半導体光源、緑色光を発する第3半導体光源、及び、赤色光を発する第4半導体光源を有する光源部と、第1半導体光源、第2半導体光源、第3半導体光源、及び第4半導体光源の点灯と消灯を制御する光源用プロセッサとを有する光源装置と、青色透過帯域を有するBカラーフィルタ、緑色透過帯域を有するGカラーフィルタ、及び赤色透過帯域を有するRカラーフィルタが設けられた撮像センサを有する内視鏡とを備え、第1波長帯域は、緑色光のうちBカラーフィルタを透過した光の波長帯域であり、第2波長帯域は、第2青色光のうちBカラーフィルタを透過した光の波長帯域であり、第3波長帯域は、緑色光のうちGカラーフィルタを透過した光の波長帯域であり、第4波長帯域は、赤色光のうちRカラーフィルタを透過した光の波長帯域である。
 青色透過帯域は380~560nmであり、緑色透過帯域は450~630nmであり、赤色透過帯域は580~760nmであることが好ましい。
 本発明のプロセッサ装置の作動方法は、プロセッサが、観察対象に含まれる色素のうち血中ヘモグロビン以外の特定色素の特定色素濃度に感度を持つ第1波長帯域に対応する第1画像信号と、血中ヘモグロビンの酸素飽和度に感度を持つ第2波長帯域に対応する第2画像信号と、血液量に感度を持つ第3波長帯域に対応する第3波長帯域に対応する第3画像信号と、第1波長帯域、第2波長帯域、第3波長帯域よりも長波長の第4波長帯域に対応する第4画像信号と、を取得するステップと、第2画像信号、第3画像信号、及び、第4画像信号に基づく演算処理によって、演算値を算出し、酸素飽和度算出用テーブルを参照し、演算値に基づいて酸素飽和度を算出し、第1画像信号、及び第3画像信号に基づいて、特定色素濃度を算出する特定色素濃度を算出するステップと、酸素飽和度の算出中に特定色素濃度をモニタリングするステップと、特定色素濃度のモニタリング結果に基づいて、酸素飽和度算出用テーブルの補正に関する補正用報知を行うステップとを有する。
 本発明によれば、分光特性が異なる複数の組織を観察する場合であっても、精度良く酸素飽和度を算出することができるようにする。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 撮像センサの分光感度を示すグラフである。 通常モードにおける照明光の発光及び観察対象の撮像を示す説明図である。 酸素飽和度モードにおける照明光の発光及び観察対象の撮像を示す説明図である。 酸素飽和度画像処理部の機能を示すブロック図である。 縦軸がln(B2/G1)、横軸がln(R1/G1)で形成される二次元空間における酸素飽和度の等値線の位置を示すグラフである。 酸素飽和度算出用テーブルの補正方法を示す説明図である。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度の算出方法を示す説明図である。 黄色色素の吸光係数を示すグラフである。 補正用報知に関する説明図である。 補正用報知の一つであるメッセージボックスの表示を示す説明図である。 一定時間TLで算出される特定色素濃度を示す説明図である。 酸素飽和度モードの一連の流れを示すフローチャートである。 第2実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。
 [第1実施形態]
 図1に示すように、内視鏡システム10は、内視鏡12と、光源装置13と、プロセッサ装置14と、ディスプレイ15と、ユーザーインターフェース16とを有する。内視鏡12は、光源装置13と光学的に接続され、且つ、プロセッサ装置14と電気的に接続される。光源装置13は、照明光を内視鏡12に供給する。
 内視鏡12は、観察対象に照明光を照明し、観察対象を撮像して内視鏡画像を取得するために用いられる。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bを操作することにより湾曲動作する。先端部12dは、照明光を観察対象に向けて照射し、且つ、観察対象からの反射光を受光して観察対象を撮像する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。操作部12bには、モードの切り替え操作に用いるモード切替スイッチ12fと、観察対象の静止画の取得指示に用いられる静止画取得指示スイッチ12gと、ズームレンズ21bの操作に用いられるズーム操作部12hとが設けられている。
 プロセッサ装置14は、ディスプレイ15及びユーザーインターフェース16と電気的に接続される。プロセッサ装置14は、内視鏡12からの画像信号を受信し、画像信号に基づいて各種処理を行う。ディスプレイ15は、プロセッサ装置14で処理された観察対象の画像又は情報等を出力表示する。ユーザーインターフェース16は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。
 内視鏡システム10は、通常モード、酸素飽和度モードの2つのモードを有しており、これら3つのモードは、ユーザーがモード切替スイッチ12fを操作することによって切り替えられる。通常モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの通常画像をディスプレイ15に表示する。酸素飽和度モードは、酸素飽和度算出用テーブルTBLを参照して、内視鏡12からの画像信号に基づいて、観察対象の酸素飽和度を算出する。そして、算出した酸素飽和度を擬似カラーなどで画像化した酸素飽和度画像をディスプレイ15に表示する。
 なお、酸素飽和度モードの実行中に、組織色補正用ボタン12jが操作された場合には、組織色補正モードが実行される。組織色補正モードでは、観察中の組織色に合う酸素飽和度を算出するために、酸素飽和度算出用テーブルTBLを補正する。そし、酸素飽和度モードでは、補正後の酸素飽和度算出用テーブルTBLを用いて、酸素飽和度の算出が行われる。また、酸素飽和度の算出中には、特定色素濃度がモニタリングされ、モニタリングの結果に応じて、酸素飽和度算出用テーブルTBLの補正に関する補正用報知を行う。
 図2に示すように、光源装置13は、光源部20と、光源部20を制御する光源用プロセッサ21とを備えている。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、BS-LED(Blue Short -wavelength Light Emitting Diode)20a、BL-LED(Blue Long-wavelength Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
 BS-LED20a(第1半導体光源)は、450nm±10nmの第1青色光BSを発する。BL-LED20b(第2半導体光源)は、470nm±10nmの第2青色光BLを発する。G-LED20c(第3半導体光源)は、緑色帯域の緑色光Gを発する。緑色光Gの中心波長は540nmであることが好ましい。R-LED20d(第4半導体光源)は、赤色帯域の赤色光Rを発する。赤色光Rの中心波長は620nmであることが好ましい。なお、各LED20a~20dにおける中心波長とピーク波長は、同じであってもよく、異なっても良い。
 光源用プロセッサ21は、各LED20a~20dに対して独立に制御信号を入力することによって、各LED20a~20dの点灯又は消灯、点灯時の発光量などを独立に制御する。光源用プロセッサ21における点灯又は消灯制御は、各モードによって異なっている。通常モードでは、BS-LED20a、G-LED20c、及び、R-LED20dを同時に点灯することによって、第1青色光BS、緑色光G、赤色光Rを同時に発光する(図参照)。
 酸素飽和度モード又は組織色補正モードでは、発光パターンがそれぞれ異なる3フレーム分の発光が繰り返し行われる(図参照)。1フレーム目においては、BS-LED20a、G-LED20c、及び、R-LED20dを同時に点灯することによって、第1青色光BS、緑色光G、及び赤色光Rを同時に発光する。2フレーム目においては、BL-LED20b、G-LED20c、及び、R-LED20dを同時に点灯することによって、第2青色光BL、緑色光G、及び赤色光Rを同時に発光する。3フレーム目においては、G-LED20cを点灯することによって、緑色光Gを発光する。
 各LED20a~20dが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置13及びプロセッサ装置14を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
 内視鏡12の先端部12dには、照明光学系30と撮像光学系31が設けられている。照明光学系30は照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系31は、対物レンズ42及び撮像センサ44を有している。照明光が照射された観察対象からの光は、対物レンズ42を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。
 撮像センサ44は、照明光で照明中の観察対象を撮像するカラー撮像センサである。撮像センサ44の各画素には、B(青色)カラーフィルタを有するB画素(青色画素)、G(緑色)カラーフィルタを有するG画素(緑色画素)、R(赤色)カラーフィルタを有するR画素(赤色画素)のいずれかが設けられている。例えば、撮像センサ44は、B画素とG画素とR画素の画素数の比率が、1:2:1であるベイヤー配列のカラー撮像センサであることが好ましい。
 図3に示すように、BカラーフィルタBFは、主として青色帯域の光、具体的には、波長帯域が380~560nm(青色透過帯域)の光を透過させる。透過率が最大となるピーク波長は460~470nm付近に存在する。GカラーフィルタGFは、主として緑色帯域の光、具体的には、波長帯域が450~630nm(緑色透過帯域)の光を透過させる。RカラーフィルタRFは、主として赤色帯域の光、具体的には580~760nm(赤色透過帯域)の光を透過させる。
 撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。
 撮像センサ44は、撮像制御部45によって駆動制御される。撮像制御部45における各モードの制御は後述する。CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置14に入力される。
 プロセッサ装置14は、画像信号取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、通常画像処理部58と、酸素飽和度画像処理部60と、映像信号生成部64とを備えている。プロセッサ装置14には、各処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサによって構成される中央制御部(図示しない)がプログラム用メモリ内のプログラムを実行することによって、画像信号取得部50と、DSP52と、ノイズ低減部54と、画像処理切替部56と、通常画像処理部58と、酸素飽和度画像処理部60と、映像信号生成部64との機能が実現する。これに伴い、酸素飽和度画像処理部60に含まれる後述の演算値算出部70と、酸素飽和度算出部71と、画像生成部72と、特定色素濃度算出部73と、濃度モニタリング部74と、報知部75との機能が実現する。
 画像信号取得部50は、内視鏡12から入力される画像信号を受信し、受信した画像信号をDSP52に送信する。DSP52は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。
 その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
 ノイズ低減部54は、DSP56でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部56に入力される。
 画像処理切替部56は、設定されているモードによって、ノイズ低減部54からの画像信号の送信先を、通常画像処理部58、酸素飽和度画像処理部60のいずれかに切り替える。具体的には、通常モードにセットされている場合には、ノイズ低減部54からの画像信号を通常画像処理部58に入力する。また、酸素飽和度モードに設定されている場合、ノイズ低減部54からの画像信号を酸素飽和度画像処理部60に入力する。
 通常画像処理部58は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、さらに3×3のマトリックス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理を施す。そして、色変換処理済みのRGB画像データに対して、各種色彩強調処理を施す。この色彩強調処理済みのRGB画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調処理を施したRGB画像データは、通常画像として映像信号生成部64に入力される。
 酸素飽和度画像処理部60は、酸素飽和度モード時に得られる画像信を用いて、酸素飽和度を算出する。酸素飽和度の算出方法については後述する。算出した酸素飽和度を疑似カラーなどで画像化した酸素飽和度画像を生成する。この酸素飽和度画像は、映像信号生成部64に入力される。
 映像信号生成部64は、通常画像処理部58からの通常画像、又は酸素飽和度画像処理部60からの酸素飽和度画像を、ディスプレイ15上においてフルカラーの表示を可能にする映像信号に変換する。変換済みの映像信号はディスプレイ15に入力される。これにより、ディスプレイ15には通常画像または酸素飽和度画像が表示される。
 以下、撮像制御部45における各モードの撮像制御について説明する。図4に示すように、通常モードでは、撮像制御部45は、第1青色光BS、緑色光G、赤色光Rで照明中の観察対象を1フレーム毎に撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。
 図5に示すように、酸素飽和度モードでは、1フレーム目で、第1青色光BS、緑色光G、及び赤色光Rが観察対象に照明された場合には、撮像制御部45によって、撮像センサ44のB画素からB1画像信号が出力され、G画素からG1画像信号が出力され、R画素からR1画像信号が出力される。2フレーム目で、第2青色光BL、緑色光G、及び赤色光Rが観察対象に照明された場合には、撮像制御部45によって、撮像センサ44のB画素からB2画像信号が出力され、G画素からG2画像信号が出力され、R画素からR2画像信号が出力される。3フレーム目で、緑色光Gが観察対象に照明された場合には、撮像制御部45によって、撮像センサ44のB画素からB3画像信号が出力され、G画素からG3画像信号が出力され、R画素からR3画像信号が出力される。
 酸素飽和度モードでは、酸素飽和度の算出及び特定色素濃度の算出のために、上記の3フレーム分の画像信号のうち、B3画像信号、B2画像信号、G1画像信号、R1画像信号が用いられる。B3画像信号(第1画像信号)は、3フレーム目に発光した緑色光のうちBカラーフィルタBFを透過した光の波長帯域(第1波長帯域)に関する画像情報が含まれている。B2画像信号(第2画像信号)は、2フレーム目に発光した光のうち、少なくとも第2青色光BLの中でBカラーフィルタBFを透過した光の波長帯域に関する画像情報が含まれている。G1画像信号(第3画像信号)は、1フレーム目に発光した光のうち、少なくとも緑色光Gの中でGカラーフィルタGFを透過した光の波長帯域に関する画像情報が含まれている。R1画像信号(第4画像信号)は、1フレーム目に発光した光のうち、少なくとも赤色光Rの中でRカラーフィルタRFを透過した光の波長帯域に関する画像情報が含まれている。
 以下、酸素飽和度の算出方法について説明する。図6に示すように、酸素飽和度画像処理部60は、演算値算出部70と、酸素飽和度算出部71と、画像生成部72と、特定色素濃度算出部73と、濃度モニタリング部74と、報知部75とを備えている。信号比算出部70は、B2画像信号、G1画像信号、R1画像信号に基づく演算処理によって演算値を算出する。具体的には、演算値算出部70は、酸素飽和度の算出に用いる演算値として、B2画像信号とG1画像信号の信号比B2/G1と、R1画像信号とG1画像信号の信号比R1/G1とを算出する。なお、信号比B2/G1と信号比R1/G1については、それぞれ対数化(ln)することが好ましい。また、演算値としては、B2画像信号、G1画像信号、及びR1画像信号から算出される色差信号Cr、Cb、又は、彩度S、色相Hなどを用いてもよい。
 酸素飽和度算出部71は、酸素飽和度算出用テーブルTBLを参照し、演算値に基づいて、酸素飽和度を算出する。酸素飽和度算出用テーブルTBLには、信号比B2/G1、R1/G1と、酸素飽和度との相関関係が記憶されている。相関関係を、縦軸Ln(B2/G1)、横軸Ln(R1/G1)で形成される二次元空間で表現した場合には、図7に示すように、酸素飽和度が同じ部分を繋ぎあわせた等値線が、ほぼ横軸方向に沿って、形成されている。また、等値線は、酸素飽和度が大きくなるほど、縦軸方向に対して、より下方側に位置している。例えば、酸素飽和度が100%の等値線77は、酸素飽和度が0%の等値線78よりも下方に位置している。
 酸素飽和度算出用テーブルTBLは、酸素飽和度の算出に影響を与える特定色素濃度(黄色色素など)に合わせて、信号比B2/G1、R1/G1と、酸素飽和度との相関関係を変更することができるように、テーブルの内容を補正できるようになっている。酸素飽和度算出用テーブルTBLの補正は、組織色補正用ボタン12jが操作に従って行われる。相関関係の変更は、図7に示す等値線の間隔、位置などの調整に対応している。例えば、特定色素濃度が濃度CPの場合には、図8(A)に示すように、酸素飽和度算出用テーブルTBLの相関関係が第1相関関係に変更される。また、特定色素濃度が濃度CPと異なる濃度CQの場合には、図8(B)に示すように、酸素飽和度算出用テーブルTBLの相関関係が第1相関関係と異なる第2相関関係に変更される。
 上記相関関係は、図9に示す酸化ヘモグロビン(グラフ80)や還元ヘモグロビン(グラフ81)の吸光特性や光散乱特性と密接に関連し合っている。例えば、第2青色光BLの波長帯域470±10nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長帯域では、ヘモグロビンの酸素飽和度によって吸光量が変化するため、酸素飽和度の情報を取り扱いやすい。したがって、中心波長470nmの第2青色光BLの光に対応するB2画像信号を含む信号比B2/G1を用いることで、酸素飽和度の算出が可能となる。しかしながら、信号比B2/G1は酸素飽和度だけでなく、血液量にも依存度が高い。そこで、信号比B2/G1に加えて、主として血液量に依存して変化する信号比R1/G1を用いることで、血液量に影響されることなく、酸素飽和度を正確に求めることができる。なお、G1画像信号に含まれる緑色光の波長帯域540±20nmは、ヘモグロビンの吸光係数が比較的高いため、血液量によって吸光量が変化しやすい波長帯域である。
 酸素飽和度算出部74は、酸素飽和度算出用テーブルTBLを参照し、信号比B2/G1,R1/G1に対応する酸素飽和度を画素毎に算出する。例えば、図10に示すように、特定画素の信号比B2/G1,R1/G1に対応する酸素飽和度は「40%」である。したがって、酸素飽和度算出部74は、特定画素の酸素飽和度を「40%」と算出する。
 なお、信号比B2/G1,R1/G1が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B2/G1,R1/G1の各値の組み合わせが、酸素飽和度100%の上限の等値線77(図7参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線78(図7参照)よりも上方に分布したりすることはほとんどない。但し、上限の等値線77より下方に分布する場合には酸素飽和度を100%とし、下限の等値線78より上方に分布する場合には酸素飽和度算出部71は酸素飽和度を0%とする。また、信号比B2/G1,R1/G1に対応する点が上限の等値線77と下限の等値線78との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をし、酸素飽和度を算出しないようにしても良い。
 画像生成部72は、酸素飽和度算出部71で算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部76は、B1画像信号,G1画像信号,及びR1画像信号(通常画像に相当)を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したB1画像信号,G1画像信号,及びR1画像信号を用いてRGB画像データを生成する。
 例えば、画像生成部76は、酸素飽和度が60%以上の画素ではB1画像信号,G1画像信号,及びR1画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素では、B1画像信号に対して「1」未満のゲインを乗じ、G1画像信号及びR1画像信号に対しては「1」以上のゲインを乗じる。このゲイン処理後のB1画像信号,G1画像信号,及びR1画像信号を用いて生成したRGB画像データが酸素飽和度画像である。
 画像生成部72が生成した酸素飽和度画像では、高酸素の領域(酸素飽和度が60~100%の領域)では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域(酸素飽和度が0~60%の領域)は、通常観察画像とは異なる色(疑似カラー)で表される。
 なお、本実施形態では、画像生成部72は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度60%で分けているがこの境界も任意である。
 特定色素濃度算出部73は、B3画像信号とG1画像信号に基づいて、特定色素の特定色素濃度を算出する。特定色素濃度算出部73は、酸素飽和度モードの間、常時、特定色素濃度を算出する。特定色素は、観察対象に含まれる色素のうち血中ヘモグロビン以外の色素であって、酸素飽和度の算出に影響を与える色素である。
 特定色素としては、例えば、黄色色素が含まれる。黄色色素の吸光係数は、図11に示すように、波長450±10nm付近で最も高くなるピークを有している。したがって、波長450±10nm付近の第1波長帯域が、黄色色素の濃度に応じて吸光量が変化しやすい波長帯域である。第1波長帯域に関する画像情報は、B3画像信号に含まれている。そこで、特定色素濃度算出部73では、特定色素を黄色色素とする場合に、黄色色素の色素濃度として、信号比B3/G1を算出する。信号比B3/G1は、酸素飽和度によって信号値は変化しないものの、黄色色素の濃度や血液量によって信号値が変化する。
 濃度モニタリング部74は、酸素飽和度の算出中に、特定色素濃度をモニタリングする。報知部75は、特定色素濃度のモニタリング結果に基づいて、酸素飽和度算出用テーブルTBLの補正に関する補正用報知を行う。具体的には、濃度モニタリング部74は、特定色素濃度算出部73で順次算出される特定色素濃度CXと、特定色素濃度について予め定められた基準濃度CSとの第1差分D1(=|CX-CS|)又は第1比率P1(CX/CS)を算出することが好ましい。そして、図12に示すように、報知部75は、第1差分D1又は第1比率P1が特定範囲内に入っている限りは、補正用報知は実行しない。一方、報知部75は、第1差分D1又は第1比率P1が特定範囲外となった場合に、補正用報知を実行する。
 補正用報知は、音声又はディスプレイ15での表示で行うことが好ましい。例えば、補正用報知をディスプレイ15での表示で行う場合には、図13に示すように、酸素飽和度画像の観察を妨げないように、ディスプレイ15において、酸素飽和度画像などを表示する画像表示領域RINの周辺部、又は、画像表示領域以外ROUTに、補正用報知としてメッセージボックスMBを小さく表示することが好ましい(図13では、メッセージボックスMBを画像表示領域RINに表示)。メッセージボックスMBの内容は、ユーザーに組織色補正を促す内容(例えば、「組織色補正用ボタン12jを操作して下さい」など)であることが好ましい。
 また、濃度モニタリング部74は、一定時間内に特定色素濃度算出部73で算出した特定色素濃度の平均値Caveと、特定色素濃度について予め定められた基準濃度CSとの第2差分D2(=|Cave-CS|)又は第2比率P2(Cave/CS)を算出してもよい。報知部75は、一定時間毎に得られる第2差分D2又は第2比率P2が特定範囲内に入っているか否かの判定を行う。これにより、モニタリングする特定色素濃度が、特定範囲外が継続して維持される場合にのみ補正用報知が行われるため、ノイズによる変動や一時的な観察場所の変更で特定範囲外となって頻繁に補正用報知が実行されることがなくなる。
 なお、報知部75は、上記の第1差分又は第1比率P1の場合と同様に、第2差分D2又は第2比率P2が特定範囲内に入っている限りは、補正用報知は実行しない。一方、報知部75は、第2差分D2又は第2比率P2が特定範囲外となった場合に、補正用報知を実行する。なお、特定色素濃度の平均値Caveは、図14に示すように、一定時間TL内に、特定色素濃度算出部73で算出したN個の特定色素濃度C1、C2、・・・、CN(Nは自然数)の合計値(C1+C2+・・・+CN)をNで除した値とすることが好ましい。
 なお、基準濃度は、酸素飽和度算出用テーブルTBLの補正が行われたタイミングの特定色素濃度であることが好ましい。具体的には、組織色補正用ボタン12jが操作されたタイミングで、特定濃度算出部73で算出される特定色素濃度を、基準濃度とすることが好ましい。また、基準濃度は、患者毎又は部位毎に予め定めることが好ましい。例えば、患者によっては、内視鏡診断前の前処理(黄色色素の残存状況)の状況などが異なることがあるため、この場合には、患者毎に基準濃度を変更することが好ましい。また、食道又は胃などの上部消化管を観察する場合と、大腸などの下部消化管を観察する場合とでは、観察対象に黄色色素が含まれる状況がことなることがあるため、この場合には、部位毎に基準濃度を変更することが好ましい。基準濃度の変更は、ユーザーがユーザーインターフェース16を操作して行われる。
 次に、酸素飽和度モードの一連の流れについて、図15のフローチャートに沿って説明する。モード切替スイッチ12fを操作して、酸素飽和度モードに設定する。これにより、発光パターンがそれぞれ異なる3フレーム分の照明が観察対象に行われる。これら3フレーム分の照明で得られる画像信号から、特定色素濃度を算出する。そして、実際の酸素飽和度の観察に入る前に、ユーザーは、酸素飽和度を観察したい場所を視野に入れて、組織色補正ボタン12jを操作する。組織色補正ボタン12jを操作したタイミングで算出される特定色素濃度を基準濃度とし、基準濃度に合わせて、酸素飽和度算出用テーブルTBLが補正される。そして、補正後の酸素飽和度算出用テーブルTBLを参照し、3フレーム分の照明で得られる画像信号に基づいて、酸素飽和度が算出される。算出された酸素飽和度は、酸素飽和度画像として画像化されてディスプレイ15に表示される。
 そして、酸素飽和度の算出中には、特定色素濃度と基準濃度との第1差分D1等が特定範囲内に入っているか否かのモニタリングが行われる。第1差分D1等が特定範囲内に入っている場合には、補正用報知は実行せず、酸素飽和度の算出を継続する。一方、第1差分D1等が特定範囲に貼っていない場合には、補正用報知を実行する。ユーザーは、酸素飽和度算出用テーブルTBLの補正が必要と考える場合には、組織色補正ボタン12jを操作して、酸素飽和度算出用テーブルTBLの再補正を行う。以上の一連の流れは、酸素飽和度モードを継続している限り、繰り返し行われる。
 [第2実施形態]
 第2実施形態では、上記第1実施形態で示した4色のLED20a~20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
 図16に示すように、第2実施形態の内視鏡システム100では、光源装置13において、4色のLED20a~20dに代えて、広帯域光源102、回転フィルタ104、フィルタ切替部105が設けられている。また、撮像光学系31には、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ106が設けられている。
 広帯域光源102はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ104は、内側に設けられた内側フィルタ108と、外側に設けられた外側フィルタ109とを備えている(図17参照)。フィルタ切替部105は、回転フィルタ104を径方向に移動させるものであり、モード切替SW12fにより通常モードにセットしたときに、回転フィルタ104の内側フィルタ108を白色光の光路に挿入し、酸素飽和度モードにセットしたときに、回転フィルタ104の外側フィルタ109を白色光の光路に挿入する。
 図17に示すように、内側フィルタ108には、周方向に沿って、白色光のうち第1青色光BSを透過させるB1フィルタ108a、白色光のうち緑色光Gを透過させるGフィルタ108b、白色光のうち赤色光Rを透過させるRフィルタ108cが設けられている。したがって、通常モード時には、回転フィルタ104の回転により、第1青色光BS、緑色光G、赤色光Rが交互に観察対象に照射される。
 外側フィルタ109には、周方向に沿って、白色光のうち第1青色光BSを透過させるB1フィルタ109aと、白色光のうち第2青色光BLを透過させるB2フィルタ109bと、白色光のうち緑色光Gを透過させるGフィルタ109cと、白色光のうち赤色光Rを透過させるRフィルタ109dとが設けられている。したがって、酸素飽和度モード時には、回転フィルタ104が回転することで、第1青色光BS、第2青色光BL、緑色光G、赤色光Rが交互に観察対象に照射される。
 内視鏡システム100では、通常モード時には、第1青色光BS、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら3色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
 一方、酸素飽和度モード時には、第1青色光BS、第2青色光BL、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、B3画像信号と、B2画像信号、G1画像信号、R1画像信号が得られる。これら4色の画像信号に基づいて、第1実施形態と同様の方法で、酸素飽和度画像の生成が行われる。
 上記実施形態において、画像信号取得部50、ノイズ低減部54、画像信号切替部56、通常画像処理部58、酸素飽和度画像処理部60、映像信号生成部64、演算値算出部70、酸素飽和度算出部71、画像生成部72、特定色素濃度算出部73、濃度モニタリング部74、報知部75といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12f モード切替スイッチ
12g 静止画取得指示スイッチ
12h ズーム操作部
12j 組織色補正ボタン
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 ユーザーインターフェース
20 光源部
20a BS-LED
20b BL―ELD
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路統合部
25 ライトガイド
30 照明光学系
31 撮像光学系
32 照明レンズ
42 対物レンズ
44 撮像センサ
45 撮像制御部
46 CDS/AGC回路
48 A/Dコンバータ
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 画像信号切替部
58 通常画像処理部
60 酸素飽和度画像処理部
64 映像信号生成部
70 演算値算出部
71 酸素飽和度算出部
72 画像生成部
73 特定色素濃度算出部
74 濃度モニタリング部
75 報知部
77、78 等値線
80、81 グラフ
100 内視鏡システム
102 広帯域光源
104 回転フィルタ
105 フィルタ切替部
106 撮像センサ
108 内側フィルタ
108a B1フィルタ
108b Gフィルタ
108c Rフィルタ
109 外側フィルタ
109a B1フィルタ
109b B2フィルタ
109c Gフィルタ
109d Rフィルタ
BF Bカラーフィルタ
GF Gカラーフィルタ
MB メッセージボックス
RF Rカラーフィルタ
RIN 画像表示領域
ROUT 画像表示領域以外
TBL 酸素飽和度算出用テーブル
 

Claims (10)

  1.  プロセッサを備え、
     前記プロセッサは、
     観察対象に含まれる色素のうち血中ヘモグロビン以外の特定色素の特定色素濃度に感度を持つ第1波長帯域に対応する第1画像信号と、血中ヘモグロビンの酸素飽和度に感度を持つ第2波長帯域に対応する第2画像信号と、血液量に感度を持つ第3波長帯域に対応する第3波長帯域に対応する第3画像信号と、前記第1波長帯域、前記第2波長帯域、前記第3波長帯域よりも長波長の第4波長帯域に対応する第4画像信号と、を取得し、
     前記第2画像信号、前記第3画像信号、及び、前記第4画像信号に基づく演算処理によって、演算値を算出し、
     酸素飽和度算出用テーブルを参照し、前記演算値に基づいて前記酸素飽和度を算出し、
     前記第1画像信号、及び前記第3画像信号に基づいて、前記特定色素濃度を算出する特定色素濃度を算出し、
     前記酸素飽和度の算出中に前記特定色素濃度をモニタリングし、
     前記特定色素濃度のモニタリング結果に基づいて、前記酸素飽和度算出用テーブルの補正に関する補正用報知を行うプロセッサ装置。
  2.  前記プロセッサは、
     順次算出される特定色素濃度と、前記特定色素濃度について予め定められた基準濃度との第1差分又は第1比率を算出し、
     前記第1差分又は第1比率が特定範囲外となった場合に、前記補正用報知を行う請求項1記載のプロセッサ装置。
  3.  前記プロセッサは、
     一定時間内に算出した特定色素濃度の平均値である特定色素濃度平均値を算出し、
     前記特定色素濃度平均値と、前記特定色素濃度について予め定められた基準濃度との第2差分又は第2比率を算出し、
     前記第2差分又は第2比率が特定範囲外となった場合に、前記補正用報知を行う請求項1記載のプロセッサ装置。
  4.  前記基準濃度は、前記酸素飽和度算出用テーブルの補正が行われたタイミングの前記特定色素濃度である請求項1または2記載のプロセッサ装置。
  5.  前記基準濃度は、患者毎又は部位毎に予め定められている請求項1または2記載のプロセッサ装置。
  6.  前記特定色素は黄色色素である請求項1ないし5いずれか1項記載のプロセッサ装置。
  7.  前記第1波長帯域は450±10nmであり、前記第2波長帯域は470±10nmであり、前記第3波長帯域は緑色帯域であり、前記第4波長帯域は赤色帯域である請求項1ないし6いずれか1項記載のプロセッサ装置。
  8.  請求項1ないし7いずれか1項記載のプロセッサ装置と、
     第1青色光を発する第1半導体光源、前記第1青色光よりも長波長第2青色光を発する第2半導体光源、緑色光を発する第3半導体光源、及び、赤色光を発する第4半導体光源を有する光源部と、前記第1半導体光源、第2半導体光源、第3半導体光源、及び第4半導体光源の点灯と消灯を制御する光源用プロセッサとを有する光源装置と、
     青色透過帯域を有するBカラーフィルタ、緑色透過帯域を有するGカラーフィルタ、及び赤色透過帯域を有するRカラーフィルタが設けられた撮像センサを有する内視鏡とを備え、
     前記第1波長帯域は、前記緑色光のうち前記Bカラーフィルタを透過した光の波長帯域であり、
     前記第2波長帯域は、前記第2青色光のうち前記Bカラーフィルタを透過した光の波長帯域であり、
     前記第3波長帯域は、前記緑色光のうち前記Gカラーフィルタを透過した光の波長帯域であり、
     前記第4波長帯域は、前記赤色光のうち前記Rカラーフィルタを透過した光の波長帯域である内視鏡システム。
  9.  前記青色透過帯域は380~560nmであり、前記緑色透過帯域は450~630nmであり、前記赤色透過帯域は580~760nmである請求項8記載の内視鏡システム。
  10.  プロセッサが、
     観察対象に含まれる色素のうち血中ヘモグロビン以外の特定色素の特定色素濃度に感度を持つ第1波長帯域に対応する第1画像信号と、血中ヘモグロビンの酸素飽和度に感度を持つ第2波長帯域に対応する第2画像信号と、血液量に感度を持つ第3波長帯域に対応する第3波長帯域に対応する第3画像信号と、前記第1波長帯域、前記第2波長帯域、前記第3波長帯域よりも長波長の第4波長帯域に対応する第4画像信号と、を取得するステップと、
     前記第2画像信号、前記第3画像信号、及び、前記第4画像信号に基づく演算処理によって、演算値を算出するステップと、
     酸素飽和度算出用テーブルを参照し、前記演算値に基づいて前記酸素飽和度を算出するステップと、
     前記第1画像信号、及び前記第3画像信号に基づいて、前記特定色素濃度を算出する特定色素濃度を算出するステップと、
     前記酸素飽和度の算出中に前記特定色素濃度をモニタリングするステップと、
     前記特定色素濃度のモニタリング結果に基づいて、前記酸素飽和度算出用テーブルの補正に関する補正用報知を行うステップとを有するプロセッサ装置の作動方法。
     
PCT/JP2022/020364 2021-06-01 2022-05-16 プロセッサ装置及びその作動方法並びに内視鏡システム WO2022255072A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023525700A JPWO2022255072A5 (ja) 2022-05-16 内視鏡システム及びその作動方法
DE112022002872.6T DE112022002872T5 (de) 2021-06-01 2022-05-16 Prozessorvorrichtung, verfahren des betreibens derselben und endoskopsystem
US18/519,075 US20240081616A1 (en) 2021-06-01 2023-11-27 Processor device, method of operating the same, and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-092261 2021-06-01
JP2021092261 2021-06-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/519,075 Continuation US20240081616A1 (en) 2021-06-01 2023-11-27 Processor device, method of operating the same, and endoscope system

Publications (1)

Publication Number Publication Date
WO2022255072A1 true WO2022255072A1 (ja) 2022-12-08

Family

ID=84324395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020364 WO2022255072A1 (ja) 2021-06-01 2022-05-16 プロセッサ装置及びその作動方法並びに内視鏡システム

Country Status (3)

Country Link
US (1) US20240081616A1 (ja)
DE (1) DE112022002872T5 (ja)
WO (1) WO2022255072A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015160013A (ja) * 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP2017018503A (ja) * 2015-07-14 2017-01-26 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2018108314A (ja) * 2017-01-06 2018-07-12 Hoya株式会社 キャリブレーション用試料、内視鏡システム、及びキャリブレーション用試料の作製方法
JP6412252B2 (ja) * 2015-04-02 2018-10-24 富士フイルム株式会社 プロセッサ装置及び内視鏡システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039639B2 (ja) 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015160013A (ja) * 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6412252B2 (ja) * 2015-04-02 2018-10-24 富士フイルム株式会社 プロセッサ装置及び内視鏡システム
JP2017018503A (ja) * 2015-07-14 2017-01-26 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2018108314A (ja) * 2017-01-06 2018-07-12 Hoya株式会社 キャリブレーション用試料、内視鏡システム、及びキャリブレーション用試料の作製方法

Also Published As

Publication number Publication date
DE112022002872T5 (de) 2024-03-14
US20240081616A1 (en) 2024-03-14
JPWO2022255072A1 (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
US10264955B2 (en) Processor device and method for operating same, and endoscopic system and method for operating same
US10194849B2 (en) Endoscope system and method for operating the same
US11399751B2 (en) Endoscope system and method of operating endoscope system
JP6561000B2 (ja) 内視鏡システム及びその作動方法
JP6690003B2 (ja) 内視鏡システム及びその作動方法
US20220211251A1 (en) Image processing device, endoscope system, and method of operating image processing device
US11311185B2 (en) Endoscope system
JPWO2019092948A1 (ja) 内視鏡システム、内視鏡画像の生成方法及びプロセッサ
JP6979510B2 (ja) 内視鏡システム及びその作動方法
US11937788B2 (en) Endoscope system
US11744437B2 (en) Medical image processing system
EP3593703A1 (en) Endoscope system and method of operating same
CN112137564A (zh) 医用图像处理装置及内窥镜***以及医用图像处理装置的工作方法
WO2022255072A1 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム
US11969152B2 (en) Medical image processing system
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
WO2023132138A1 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム
WO2023119856A1 (ja) 内視鏡システム及びその作動方法
WO2023119795A1 (ja) 内視鏡システム及びその作動方法
US12004723B2 (en) Endoscope system for controlling an amount of illumination light

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815824

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525700

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022002872

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22815824

Country of ref document: EP

Kind code of ref document: A1