WO2013164962A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2013164962A1
WO2013164962A1 PCT/JP2013/061893 JP2013061893W WO2013164962A1 WO 2013164962 A1 WO2013164962 A1 WO 2013164962A1 JP 2013061893 W JP2013061893 W JP 2013061893W WO 2013164962 A1 WO2013164962 A1 WO 2013164962A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
component
filter
unit
matrix
Prior art date
Application number
PCT/JP2013/061893
Other languages
English (en)
French (fr)
Inventor
俊二 武井
信行 道口
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2013533799A priority Critical patent/JP5498626B1/ja
Priority to CN201380004188.0A priority patent/CN103987309B/zh
Priority to EP13785225.7A priority patent/EP2769665A4/en
Publication of WO2013164962A1 publication Critical patent/WO2013164962A1/ja
Priority to US14/291,112 priority patent/US9265406B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04CROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; ROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT PUMPS
    • F04C2270/00Control; Monitoring or safety arrangements
    • F04C2270/04Force
    • F04C2270/041Controlled or regulated
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/102Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscope apparatus, and more particularly, to an endoscope apparatus that images light including a plurality of wavelength band components.
  • Endoscopic devices in the medical field are conventionally used for applications such as observation in the body cavity of a subject.
  • an endoscopic device in the medical field is generated, for example, with a light source device that supplies illumination light to be irradiated to a site to be observed in a body cavity, and illumination light irradiation to the site to be observed in a body cavity.
  • an image processing device that generates an image of the site to be observed based on the return light imaged by the endoscope.
  • the above-described frame-sequential imaging method is generated when, for example, frame-sequential light obtained by time-division of illumination light having a plurality of wavelength band components is irradiated to an observation site. It can be realized by a configuration in which the return light is imaged by an imaging element in which a color filter is not provided on the imaging surface.
  • the above-described simultaneous imaging method includes, for example, a plurality of return light beams that are generated when illumination light having a plurality of wavelength band components is irradiated on a site to be observed, each having a predetermined spectral sensitivity characteristic. It can be realized by a configuration in which a color filter in which minute filters are arranged in a predetermined arrangement is imaged by an image sensor provided on the imaging surface.
  • Japanese Patent Application Laid-Open No. 2008-036035 discloses an endoscope apparatus configured by adopting the above-described simultaneous imaging method.
  • each filter included in the above-described color filter generally has a spectral sensitivity characteristic that transmits not only light of a predetermined color component but also light in a wide band from the visible range to the near infrared range. It is configured as follows.
  • an R filter included in a general Bayer array RGB color filter has a spectral sensitivity characteristic that transmits not only red light but also part of blue light and green light. Is configured to do. For this reason, when the light transmitted through the R filter described above is imaged, a mixed color image including other color components other than red and red is generated instead of a red single color image.
  • the illumination light band is limited so that the band is in accordance with the spectral sensitivity characteristic of each filter included in the color filter. Attempts have been made to solve this problem.
  • image processing is performed such that the color mixture image generated as described above is separated into independent images for each wavelength band component. Therefore, attempts have been made to solve the above-described problems.
  • the present invention has been made in view of the above-described circumstances, and suitably separates an image including a plurality of color components captured by a simultaneous imaging method as an image for each wavelength band component independent of each other.
  • An object of the present invention is to provide an endoscopic device capable of performing the above.
  • An endoscope apparatus includes an imaging unit that receives and captures return light including a plurality of wavelength band components generated when illumination light is applied to a subject with different spectral sensitivities for each color component.
  • a correction processing unit that performs a correction process on a spectral spectrum distribution for each color component included in the image of the subject obtained by the imaging unit imaging the return light, and based on the result of the correction process,
  • An image separation processing unit that performs a process of separating an object image for each wavelength band component included in the return light.
  • the figure which shows the example at the time of making the shape of the spectrum distribution of the red component RD and the green component GD in FIG. 3 correspond with the shape of the spectrum distribution of the blue component BD.
  • the figure which shows an example of the spectrum distribution obtained as a calculation result when the calculation which concerns on image separation is performed using the matrix which comprises a spectrum distribution correction function The figure which shows the structure of the principal part of the endoscope apparatus which concerns on the 1st modification in the Example of this invention.
  • the figure which shows an example of the spectral sensitivity characteristic of R filter, G filter, B filter, and Ye filter which were provided in the color filter of the endoscope apparatus of FIG. The figure which shows the example different from FIG.5 and FIG.8 of the spectrum distribution obtained as a calculation result when the calculation which concerns on image separation is performed using the matrix which does not have a spectrum distribution correction function.
  • FIG. 1 is a diagram illustrating a configuration of a main part of an endoscope apparatus according to an embodiment of the present invention.
  • the endoscope apparatus 1 can be inserted into a body cavity of a subject, and is configured to capture a subject such as a living tissue existing in the body cavity and acquire image data.
  • the generated scope 2, the light source device 3 configured to supply the illumination light emitted to the subject to the scope 2, and the video signal corresponding to the image data acquired by the scope 2 are generated and output.
  • the processor 4 configured as described above, the display device 5 configured to display an image according to the video signal output from the processor 4, and input of information according to a user's operation is performed on the processor 4.
  • an input device 6 having a function as an information input unit capable of receiving the information.
  • a light guide 7 configured to transmit light supplied from the light source device 3 to the distal end portion of the scope 2 is inserted into the scope 2.
  • the scope 2 is configured, for example, as an endoscope having a narrow insertion portion, and is illuminated by the illumination optical system 21 that emits the illumination light transmitted by the light guide 7 to the subject, and the illumination light.
  • An objective optical system 22 that forms an image of the return light from the subject, an imaging device 23 in which an imaging surface is disposed at an imaging position of the objective optical system 22, and a color filter 23a attached to the imaging surface of the imaging device 23;
  • the filter switching device 24 disposed on the optical path between the objective optical system 22 and the color filter 23a is provided at the tip.
  • the scope 2 includes a mode switch 25 that can give an instruction related to switching of the observation mode of the endoscope apparatus 1 and a storage unit that stores predetermined information used for image processing of the processor 4 in advance. 26.
  • the image sensor 23 is configured to drive based on an image sensor drive signal output from the processor 4 to image a subject, generate an image signal corresponding to the captured subject, and output the image signal to the processor 4. ing.
  • the color filter 23 a corresponds to each pixel of the image sensor 23 with a plurality of R (red) filters, G (green) filters, and B (blue) filters each having predetermined spectral sensitivity characteristics (optical characteristics). It is formed by arranging in a Bayer array (in a checkered pattern) at a position. In the present embodiment, for example, it is assumed that an R filter, a G filter, and a B filter each having spectral sensitivity characteristics as shown in FIG. 2 are provided in the color filter 23a.
  • FIG. 2 is a diagram illustrating an example of spectral sensitivity characteristics of an R filter, a G filter, and a B filter provided in the color filter of the endoscope apparatus of FIG.
  • the R filter of the color filter 23a is configured to have spectral sensitivity characteristics (optical characteristics) such that the transmittance from the red region to the near infrared region is relatively higher than the transmittances of other wavelength bands ( (See FIG. 2). That is, the R filter of the color filter 23a is configured such that the transmittance in the wavelength band of FL light described later is relatively higher than the transmittance in other wavelength bands.
  • the G filter of the color filter 23a has a spectral sensitivity characteristic (optical characteristic) such that the transmittance in the green region is relatively higher than the transmittance in other wavelength bands (see FIG. 2). That is, the G filter of the color filter 23a is configured such that the transmittance of a wavelength band of REF light described later is relatively higher than the transmittance of other wavelength bands.
  • the B filter of the color filter 23a has a spectral sensitivity characteristic (optical characteristic) such that the transmittance in the blue region is relatively higher than the transmittance in other wavelength bands (see FIG. 2).
  • the filter switching device 24 detects that the endoscope device 1 has been switched to the white light observation mode based on the filter switching signal output from the light source device 3, the objective optical system 22 and the color filter 23a The pumping light cut filter 24a is retracted from the optical path between the two. Further, when the excitation light cut filter 24a is retracted from the optical path between the objective optical system 22 and the color filter 23a, the filter switching device 24 receives each wavelength band incident through the objective optical system 22. Is transmitted to the color filter 23a side.
  • the filter switching device 24 detects that the endoscope device 1 has been switched to the fluorescence observation mode based on the filter switching signal output from the light source device 3, the objective optical system 22 and the color filter 23a are detected.
  • the excitation light cut filter 24a is inserted on the optical path between the two.
  • the filter switching device 24 receives each wavelength band incident through the objective optical system 22. Among the light, only the light in a predetermined wavelength band corresponding to the optical characteristics of the excitation light cut filter 24a is transmitted to the color filter 23a side. Specifically, for example, the excitation light cut filter 24a blocks NBX light described later (the transmittance of the NBX light is set to approximately 0) and substantially transmits light in a wavelength band other than the NBX light. It is configured to have optical characteristics.
  • the mode change switch 25 gives an instruction to switch the observation mode of the endoscope apparatus 1 to one of the observation modes selected from the white light observation mode and the fluorescence observation mode in accordance with the operation of the operator or the like. It is configured to be able to.
  • the storage unit 26 constituted by a nonvolatile memory or the like stores in advance predetermined information used for arithmetic processing for obtaining a matrix MAUA described later.
  • the storage unit 26 is configured to output predetermined information to the processor 4 when it is detected that the scope 2 and the processor 4 are connected. Details of the predetermined information stored in the storage unit 26 will be described later.
  • the light source device 3 includes an LED light source unit 31, an LED driving unit 32, and a condensing optical system 33 that condenses light emitted from the LED light source unit 31 and supplies the light guide 7 to the light guide 7.
  • the LED light source unit 31 includes an LED 31a that emits WB light that is broadband light, an LED 31b that emits NBX light that is narrow band light, an LED 31c that emits NBR light that is narrow band light, an optical element 31d, and an optical element 31e. , And is configured.
  • the LED 31a includes, for example, a white LED and is configured to emit white light as WB light.
  • the LED 31b is configured to emit light in a wavelength band including an excitation wavelength of a predetermined fluorescent substance such as a fluorescent probe as NBX light.
  • the LED 31c is configured to emit light in a wavelength band that does not overlap with NBX light as NBR light.
  • the optical element 31d is composed of, for example, a half mirror, etc., and transmits the WB light emitted from the LED 31a to the optical element 31e side, and reflects the NBX light emitted from the LED 31b to the optical element 31e side. It has characteristics.
  • the optical element 31e is composed of, for example, a half mirror, and transmits the WB light and the NBX light emitted through the optical element 31d to the condensing optical system 33 side, and condenses the NBR light emitted from the LED 31c.
  • the optical characteristic is reflected to the optical system 33 side.
  • the LED drive unit 32 is configured to be able to supply a drive current for driving each LED provided in the LED light source unit 31. Further, the LED drive unit 32 changes the magnitude of the drive current supplied from the LED drive unit 32 to the LED light source unit 31 based on the dimming signal output from the processor 4. The intensity (light quantity) of light (WB light, NBX light, and NBR light) emitted from the LED can be changed. Further, the LED drive unit 32 is configured to be able to emit or extinguish each LED provided in the LED light source unit 31 based on a dimming signal output from the processor 4.
  • the processor 4 includes a preprocessing unit 41, an A / D conversion unit 42, an image processing unit 43, a D / A conversion unit 44, a light control unit 45, a mode switching control unit 46, and an image sensor driving unit 47. And a filter switching control unit 48.
  • the preprocessing unit 41 performs processing such as signal amplification and noise removal on the imaging signal output from the scope 2, and outputs the processed imaging signal to the A / D conversion unit 42 and the dimming unit 45. It is configured as follows.
  • the A / D conversion unit 42 is configured to convert an analog imaging signal output from the preprocessing unit 41 into digital image data and output the digital image data to the image processing unit 43.
  • the image processing unit 43 has a function capable of performing processing such as gamma correction and edge enhancement on the image data output from the A / D conversion unit 42.
  • the image processing unit 43 includes a spectrum distribution correction unit 43a and a matrix calculation unit 43b.
  • the spectrum distribution correction unit 43 a having a function as a correction processing unit performs a process described later on the basis of predetermined information output from the storage unit 26 in connection with the connection between the scope 2 and the processor 4.
  • a matrix C having a correction function is acquired.
  • the matrix calculation unit 43b having a function as an image separation processing unit includes predetermined information output from the storage unit 26 when the scope 2 and the processor 4 are connected, and the matrix C acquired by the spectrum distribution correction unit 43a. Then, a calculation process for obtaining a matrix MAUA having both a spectral distribution correction function and an image separation function is performed by performing the process described below based on the above. In addition, the matrix calculation unit 43b performs calculation by applying the matrix MAUA to the image data input to the image processing unit 43 in the fluorescence observation mode, and further, calculates each wavelength band component obtained as a result of the calculation. A process of assigning image data to the R channel, the G channel, and the B channel of the display device 5 is performed. Details of the processing of the matrix calculation unit 43b will be described later.
  • the image processing unit 43 detects that the endoscope apparatus 1 has been switched to the fluorescence observation mode based on the mode switching signal output from the mode switching control unit 46, the processing of the matrix calculation unit 43b.
  • the image data assigned to the R, G, and B color channels of the display device 5 are subjected to processing such as gamma correction and edge enhancement, and output to the D / A converter 44.
  • the image processing unit 43 detects that the endoscope apparatus 1 has been switched to the white light observation mode based on the mode switching signal output from the mode switching control unit 46, the A / D conversion unit Each color component included in the image data output from 42 is assigned to each of the R, G, and B color channels of the display device 5, and further processing such as gamma correction and edge enhancement is performed on the image data assigned to each color channel. And output to the D / A converter 44. That is, according to the image processing unit 43 of the present embodiment, when the endoscope apparatus 1 is switched to the white light observation mode, the calculation process using the matrix MAUA (by the matrix calculation unit 43b) is not performed. It is configured as follows.
  • the D / A conversion unit 44 is configured to convert the image data output from the image processing unit 43 into an analog video signal and output the analog video signal to the display device 5.
  • the light control unit 45 is configured to output a light control signal corresponding to the brightness of the imaging signal output from the preprocessing unit 41.
  • the dimming unit 45 causes the endoscope apparatus 1 to enter the white light observation mode based on the mode switching signal output from the mode switching control unit 46 and the imaging signal output from the preprocessing unit 41.
  • the LED 31b and the LED 31c are extinguished, and a dimming signal for causing the LED 31a to emit light with an intensity suitable for observation in the white light observation mode is output to the LED drive unit 32.
  • the dimming unit 45 indicates that the endoscope apparatus 1 has been switched to the fluorescence observation mode based on the mode switching signal output from the mode switching control unit 46 and the imaging signal output from the preprocessing unit 41. Is detected, the LED 31a is extinguished, and a dimming signal for causing the LED 31b and the LED 31c to simultaneously emit light with an intensity suitable for observation in the fluorescence observation mode is output to the LED drive unit 32.
  • the mode switching control unit 46 When the mode switching control unit 46 detects that the mode switching switch 25 has instructed to switch the observation mode of the endoscope apparatus 1 to the white light observation mode, the mode switching control unit 46 operates according to the white light observation mode. A mode switching signal for performing the above is output to each of the image processing unit 43, the light control unit 45, the image sensor driving unit 47, and the filter switching control unit 48. Further, when the mode switching control unit 46 detects that the mode switching switch 25 is instructed to switch the observation mode of the endoscope apparatus 1 to the fluorescence observation mode, the mode switching control unit 46 operates according to the fluorescence observation mode. A mode switching signal for performing the above is output to each of the image processing unit 43, the light control unit 45, the image sensor driving unit 47, and the filter switching control unit 48.
  • the imaging element driving unit 47 Based on the mode switching signal output from the mode switching control unit 46, the imaging element driving unit 47 causes the imaging operation to be performed at a timing according to the currently selected observation mode, and according to the currently selected observation mode.
  • An image sensor drive signal that generates an image signal using the obtained gain is output to the image sensor 23.
  • the filter switching control unit 48 detects that the endoscope apparatus 1 has been switched to the white light observation mode based on the mode switching signal output from the mode switching control unit 46, the filter switching control unit 48 and the objective optical system 22 A filter switching signal for operating the pumping light cut filter 24a to be retracted from the optical path to the filter 23a is output to the filter switching device 24.
  • the filter switching control unit 48 detects that the endoscope apparatus 1 has been switched to the fluorescence observation mode based on the mode switching signal output from the mode switching control unit 46, the filter switching control unit 48 and the objective optical system 22 A filter switching signal for causing the pumping light cut filter 24a to be inserted on the optical path to the color filter 23a is output to the filter switching device 24.
  • a user such as an operator connects each part of the endoscope apparatus 1, and further operates the mode switch 25 after turning on the power of each part of the endoscope apparatus 1.
  • Set the observation mode to the white light observation mode.
  • mode switch control unit 46 When the mode switch control unit 46 detects that the mode switch 25 is instructed to switch the observation mode of the endoscope apparatus 1 to the white light observation mode, the mode switch control unit 46 performs an operation according to the white light observation mode. Mode switching signals are output to the image processing unit 43, the light control unit 45, the image sensor driving unit 47, and the filter switching control unit 48.
  • the LED drive unit 32 extinguishes the LED 31b and the LED 31c of the LED light source unit 31 based on the dimming signal output from the dimming unit 45, and causes the LED 31a to emit light with intensity suitable for observation in the white light observation mode.
  • WB light (white light) as illumination light supplied from the light source device 3 passes through the light guide 7 and the illumination optical system 21 to the subject.
  • the reflected light of the WB light emitted and emitted to the subject enters the objective optical system 22 as return light from the observation target portion 101.
  • the filter switching device 24 operates to retract the excitation light cut filter 24a from the optical path between the objective optical system 22 and the color filter 23a based on the filter switching signal output from the filter switching control unit 48. .
  • the WB light incident on the color filter 23a is split into three color component lights of R light, G light, and B light, and the light of the three separated color components is imaged.
  • An image pickup signal received by the image pickup surface of the element 23 and obtained by picking up the received light of the three color components is output from the image pickup element 23.
  • the pre-processing unit 41 performs processing such as signal amplification and noise removal on the imaging signal output from the scope 2, and outputs the processed imaging signal to the A / D conversion unit 42.
  • the A / D conversion unit 42 converts the analog imaging signal output from the preprocessing unit 41 into digital image data and outputs the digital image data to the image processing unit 43.
  • Image data including BC is generated.
  • the image processing unit 43 When the image processing unit 43 detects that the endoscope apparatus 1 has been switched to the white light observation mode based on the mode switching signal output from the mode switching control unit 46, the image processing unit 43 outputs the signal from the A / D conversion unit 42.
  • the RC, GC, and BC color components included in the image data are assigned to the R, G, and B color channels of the display device 5, and the image data assigned to the color channels are subjected to gamma correction, edge enhancement, and the like. Processing is performed and output to the D / A converter 44.
  • the display device 5 displays an image of the subject corresponding to the video signal output through the D / A conversion unit 44.
  • an observation image (color image) corresponding to the white light observation mode is displayed on the display device 5.
  • the user administers a fluorescent probe (fluorescent substance) accumulated in a diseased tissue such as cancer to the subject (observation target region 101) before starting observation of the observation target region 101 in the fluorescence observation mode.
  • a fluorescent probe fluorescent substance
  • the excitation wavelength of the fluorescent probe (fluorescent substance) in this example is included in the wavelength band of NBX light.
  • the fluorescent probe (fluorescent substance) in the present embodiment is excited by NBX light, fluorescence in a wavelength band that does not overlap with NBR light is emitted.
  • the user performs the insertion operation of the scope 2 while viewing the observation image in the white light observation mode displayed on the display device 5, so that the distal end portion of the scope 2 is located in the vicinity of the desired observation target region 101 in the subject. Arrange.
  • the user or the like operates the mode switch 25 to give an instruction to switch the observation mode of the endoscope apparatus 1 to the fluorescence observation mode.
  • the mode switching control unit 46 When the mode switching control unit 46 detects that the mode switching switch 25 is instructed to switch the observation mode of the endoscope apparatus 1 to the fluorescence observation mode, the mode switch control unit 46 performs an operation according to the fluorescence observation mode.
  • the mode switching signal is output to each of the image processing unit 43, the light control unit 45, the image sensor driving unit 47, and the filter switching control unit 48.
  • the LED driving unit 32 Based on the dimming signal output from the dimming unit 45, the LED driving unit 32 extinguishes the LED 31a of the LED light source unit 31 and simultaneously emits light so that the LED 31b and the LED 31c have intensity suitable for observation in the fluorescence observation mode.
  • the NBX light and the NBR light supplied from the light source device 3 are emitted to the observation target part 101 through the light guide 7 and the illumination optical system 21.
  • the NBX light emitted from the illumination optical system 21 acts as excitation light
  • the NBR light emitted from the illumination optical system 21 acts as reference light, so that FL light as fluorescence and reflection of NBR light are reflected.
  • Mixed light of REF light, which is light, is incident on the objective optical system 22 as return light from the observation target region 101.
  • the filter switching device 24 operates based on the filter switching signal output from the filter switching control unit 48 so that the excitation light cut filter 24a is inserted on the optical path between the objective optical system 22 and the color filter 23a. To do.
  • the filter switching device 24 in the fluorescence observation mode, the light that has passed through the R filter of the excitation light cut filter 24a and the color filter 23a and the G filter of the excitation light cut filter 24a and the color filter 23a are changed.
  • the light that has passed through and the light that has passed through the B filter of the excitation light cut filter 24a and the color filter 23a are received by the imaging surface of the image sensor 23, and an imaging signal obtained by imaging each received light is also obtained. Output from the image sensor 23.
  • the imaging element 23 and the color filter 23a receive and capture the return light including a plurality of wavelength band components generated by the illumination light irradiation on the observation target portion 101 with different spectral sensitivities for each color component. It functions as a part.
  • the pre-processing unit 41 performs processing such as signal amplification and noise removal on the imaging signal output from the scope 2, and outputs the processed imaging signal to the A / D conversion unit 42.
  • the A / D conversion unit 42 converts the analog imaging signal output from the preprocessing unit 41 into digital image data and outputs the digital image data to the image processing unit 43. And by such processing of the A / D conversion unit 42, a red component RD, a green component GD, a blue component BD corresponding to the intensity of the FL light and the REF light received by the imaging surface of the image sensor 23, Is generated.
  • the matrix processing unit 43 When the image processing unit 43 detects that the endoscope apparatus 1 has been switched to the fluorescence observation mode based on the mode switching signal output from the mode switching control unit 46, the matrix processing unit performs arithmetic processing using the matrix MAUA. Operate to implement at 43b.
  • the storage unit 26 detects, for example, each filter (R filter) of the color filter 23a as the predetermined information used for the arithmetic processing for acquiring the matrix MAUA when detecting that the scope 2 and the processor 4 are connected. , G filter and B filter) and information indicating the spectral distribution of FL light and REF light, which are return lights emitted from the subject in the fluorescence observation mode, to the image processing unit 43 of the processor 4. Output.
  • the spectral distribution correction unit 43a includes information indicating spectral sensitivity characteristics of the image sensor 23 including each filter (R filter, G filter, and B filter) of the color filter 23a, FL light emitted from the subject in the fluorescence observation mode, and REF. Based on the information indicating the spectral distribution of light, the spectral distribution of the red component RD, the green component GD, and the blue component BD included in the image data input to the image processing unit 43 in the fluorescence observation mode is acquired.
  • the spectral distribution correction unit 43a normalizes the spectral distribution of the red component RD, the green component GD, and the blue component BD acquired as described above by a predetermined method.
  • FIG. 3 is a diagram illustrating an example of the spectral distribution of the normalized red component RD, green component GD, and blue component BD.
  • the spectral distributions obtained according to the signals for the respective color components are different from each other in the FL light band having a peak wavelength near 660 nm.
  • Such a difference in spectral distribution between the color components has a wavelength distribution in which the spectral sensitivity of each color component of the imaging device 23 (each filter of the color filter 23a) in the wavelength band of FL light is different. It occurs due to that. Therefore, in order to suitably perform the image separation by the matrix calculation unit 43b, the difference in the spectral distribution between the color components as illustrated in FIG. 3 is corrected in advance before the processing related to the image separation is performed. It is necessary to keep.
  • the spectrum distribution correction unit 43a obtains a matrix C of 3 rows and 3 columns in which each coefficient is set so that the shapes of the normalized spectrum distributions match each other.
  • the spectrum distribution correction unit 43a for example, a 3 ⁇ 3 matrix in which each coefficient is set so that the shape of the spectrum distribution of each color component shown in FIG. 3 is as shown in FIG. Get C.
  • FIG. 4 is a diagram illustrating an example in which the shape of the spectral distribution of the red component RD and the green component GD in FIG. 3 is matched with the shape of the spectral distribution of the blue component BD.
  • the spectral distribution correction unit 43a has a spectral distribution shape of the other two color components with respect to the spectral distribution shape of any one color component selected from the red component RD, the green component GD, and the blue component BD.
  • the matrix C in which the coefficients are set so as to match each other may be acquired, or each coefficient is set so that the shapes of the spectral distributions of the red component RD, the green component GD, and the blue component BD match the predetermined shapes, respectively.
  • the set matrix C may be acquired.
  • the matrix C acquired through the processing of the spectral distribution correction unit 43a as described above is the spectral distribution of each color component (red component RD, green component GD, and blue component BD) before normalization, that is, fluorescence.
  • the spectral distribution shapes of the respective color components (red component RD, green component GD, and blue component BD) of image data generated based on FL light and REF light received on the imaging surface of the image sensor 23 in the observation mode are similar to each other. It has a spectral distribution correction function that can be corrected so as to obtain a simple shape.
  • the matrix calculation unit 43b has a matrix C of 3 rows and 3 columns acquired by the processing of the spectrum distribution correction unit 43a as described above, and each filter of the color filter 23a (R filter, G filter, and B filter).
  • the matrix MAUA is obtained by performing the following processing based on the information indicating the spectral sensitivity characteristics of the light and the information indicating the spectral distribution of the FL light and REF light emitted from the subject in the fluorescence observation mode.
  • the matrix calculation unit 43b obtains information indicating the spectral sensitivity characteristics of each filter (R filter, G filter, and B filter) of the color filter 23a and the spectral distribution of FL light and REF light emitted from the subject in the fluorescence observation mode. And a matrix corresponding to the intensities of the red component RD, the green component GD, and the blue component BD included in the image data I RGB input to the image processing unit 43 in the fluorescence observation mode based on the information shown in the following equation (1): It is determined as follows.
  • R FL represents the intensity of the red component based on the wavelength component of the FL light received through the R filter of the color filter 23a
  • G FL is received through the G filter of the color filter 23a.
  • B FL represents the intensity of the green component based on the wavelength component of the emitted FL light
  • B FL represents the intensity of the blue component based on the wavelength component of the FL light received through the B filter of the color filter 23a
  • R REF represents the color filter 23a.
  • G REF represents the intensity of the green component based on the wavelength component of the REF light received through the G filter of the color filter 23a
  • B REF represents the intensity of the blue component based on the wavelength component of the REF light received through the B filter of the color filter 23a.
  • a matrix for separating image data of two independent color components from each color component included in the image data input to the image processing unit 43 in the fluorescence observation mode is set as a MAU.
  • the matrix indicating the image data of the latter two color components is set as S, the relationship shown in the following mathematical formulas (2) and (3) is established.
  • the matrix calculation unit 43b calculates a matrix MAU of 2 rows and 3 columns by performing calculation of the following formula (4) based on the above formulas (2) and (3).
  • (C ⁇ I RGB ) + in the following equation (4) is the product of the matrix C of 3 rows and 3 columns and the matrix I RGB of 3 rows and 2 columns as shown in equation (1) above. Represents the pseudo inverse matrix of
  • the wavelength component of the REF light from each color component included in the image data input to the image processing unit 43 in the fluorescence observation mode can be separated.
  • the matrix calculation unit 43b has the coefficient set so that the image data of the blue component REFBD having the same intensity as the image data of the green component REFGD described above can be obtained.
  • the coefficients M11, M12, M13, M21, M22, and M23 in the following formula (5) are the coefficients included in the matrix MAU of 2 rows and 3 columns obtained through the calculation of the formula (4). Assume that they are the same value.
  • the matrix calculation unit 43b is emitted from the subject in the fluorescence observation mode and the matrix C of 3 rows and 3 columns, information indicating the spectral sensitivity characteristics of each filter (R filter, G filter, and B filter) of the color filter 23a. Based on the information indicating the spectral distribution of the FL light and the REF light, the matrix MAUA as expressed by the above formula (5) is obtained by performing the processing as described above.
  • the matrix calculation unit 43b performs calculation by applying the previously acquired matrix MAUA to the red component RD, the green component GD, and the blue component BD included in the image data input to the image processing unit 43 in the fluorescence observation mode.
  • the image data of the red component FLRD having the intensity corresponding to the coefficients M11, M12, and M13 and the intensity corresponding to the coefficients M21, M22, and M23, as represented by the following formula (6), are provided.
  • Image data of the green component REFGD to be obtained and image data of the blue component REFBD having intensities according to the coefficients M21, M22, and M23 are acquired.
  • the matrix calculation unit 43b assigns the image data of the red component FLRD to the R channel of the display device 5, assigns the image data of the green component REFGD to the G channel of the display device 5, and assigns the image data of the blue component REFBD to the display device 5. Assigned to the B channel.
  • the image processing unit 43 performs processing such as gamma correction and edge enhancement on the image data assigned to the R, G, and B color channels of the display device 5 by the processing of the matrix calculation unit 43b.
  • the data is output to the conversion unit 44.
  • the display device 5 displays an image of the subject corresponding to the video signal output through the D / A conversion unit 44.
  • an observation image (pseudo color image) corresponding to the fluorescence observation mode is displayed on the display device 5.
  • the R filter, G filter, and B filter of the color filter 23a each have transmission characteristics in a wide band from the visible range to the near infrared range. Therefore, the red component RD input to the image processing unit 43 in the fluorescence observation mode of this embodiment includes a component based on the wavelength component of the FL light received through the R filter of the color filter 23a and the R of the color filter 23a. A component based on the wavelength component of the REF light received through the filter is mixed.
  • the green component GD included in the image data input to the image processing unit 43 in the fluorescence observation mode of the present embodiment includes a component based on the wavelength component of the FL light received through the G filter of the color filter 23a, A component based on the wavelength component of the REF light received through the G filter of the color filter 23a is mixed. Therefore, if the red component RD is assigned to the R channel of the display device 5 as it is and the green component GD is assigned to the G channel of the display device 5 as it is, an observation image having the originally intended color tone may not be displayed. This causes the problem.
  • the matrix MAUA having an image separation function is used before the color components are assigned to the R, G, and B channels of the display device 5.
  • the matrix calculation unit 43b By performing the processing performed in the matrix calculation unit 43b, it is possible to obtain image data of the red component FLRD and the green component REFGD, which are image data independent of each other for each wavelength band component.
  • the matrix MAUA has two functions of a spectral distribution correction function and an image separation function, so that the image data of the red component FLRD and the green component REFGD can be mutually independent for each wavelength band component.
  • the spectral sensitivity characteristic of each filter (R filter, G filter and B filter) included in the color filter 23a and the wavelength of the return light (FL light and REF light) incident on the color filter 23a It can be obtained as image data in which color mixing caused by the combination of the bands is eliminated.
  • the matrix C included in each of the above formulas (2) and (4) includes, for example, each of the spectral distribution matching signals between the signals of the respective color components in order to include the spectral distribution correction function in the matrix MAUA. It is set as a matrix having coefficients.
  • the matrix C is a unit matrix, that is, when it is assumed that the matrix MAUA does not substantially have a spectrum distribution correction function, an operation using the matrix MAUA is performed.
  • FIG. 5 is a diagram illustrating an example of a spectrum distribution obtained as a calculation result when a calculation related to image separation is performed using a matrix that does not have a spectrum distribution correction function.
  • the output values of other wavelength band components other than the wavelength band component corresponding to the FL light as the red light having a peak wavelength near 660 nm almost fluctuate from near zero.
  • the wavelength components of FL light are appropriately separated.
  • the wavelength band component corresponding to REF light in addition to the wavelength band component corresponding to REF light as green light having a peak wavelength near 550 nm, the wavelength band corresponding to FL light. It can be seen that there is a clear fluctuation in the output value of the component, that is, the wavelength component of the REF light is not properly separated.
  • FIG. 6 is a diagram illustrating an example of a spectral distribution obtained as a calculation result when a calculation related to image separation is performed using a matrix having a spectral distribution correction function.
  • the output values of the other wavelength band components other than the wavelength band component corresponding to the FL light as the red light having a peak wavelength near 660 nm almost fluctuate from near zero.
  • the wavelength components of FL light are appropriately separated.
  • an image including a plurality of color components obtained by the simultaneous imaging method can be suitably separated as an image for each wavelength band component independent of each other.
  • the endoscope apparatus 1 has information indicating spectral sensitivity characteristics of each filter (R filter, G filter, and B filter) of the color filter 23a when the scope 2 and the processor 4 are connected. And information indicating the spectral distribution of FL light and REF light, which are return lights emitted from the subject in the fluorescence observation mode, are output from the storage unit 26, and further, the matrix C is obtained based on the output information. It is not restricted to what comprises the structure that the process which concerns on etc. is performed.
  • the endoscope apparatus 1 includes, for example, image sensor identification information that can identify the type of the image sensor 23 (and the color filter 23a) provided in the scope 2, and observation by the scope 2.
  • the fluorescent probe identification information that can identify the type of fluorescent probe corresponding to the transmission wavelength band of the excitation light cut filter 24a in advance in the storage unit 26, and the type of the imaging element and the fluorescent probe A configuration may be provided in which a plurality of matrices C calculated in advance according to the combination with the types are stored in the spectrum distribution correction unit 43a.
  • the spectrum distribution correction unit 43a is configured to use the matrix MAUA based on the imaging element identification information and the fluorescent probe identification information output from the storage unit 26 when the scope 2 and the processor 4 are connected. It is possible to easily and quickly acquire one matrix C used for processing related to the acquisition from a plurality of previously calculated matrices C.
  • information about the fluorescent probe used in the fluorescence observation mode is input by operating the input device 6, and the input fluorescent probe information is included in the input fluorescent probe information.
  • the configuration may be such that the corresponding matrix C is set (by the spectrum distribution correction unit 43a).
  • each coefficient of the matrix MAUA may be configured to be changed to an arbitrary value according to the input operation of the input device 6.
  • fluorescent images of a plurality of fluorescent probes having substantially the same excitation wavelength and different fluorescence wavelengths included in the wavelength band of NBX light are captured.
  • information on one fluorescent probe selected from the plurality of fluorescent probes can be input by operating the input device 6, and Based on the information and the above-described imaging element identification information, one matrix C used for processing related to the acquisition of the matrix MAUA is acquired (by the spectrum distribution correction unit 43a) from the plurality of matrices C calculated in advance.
  • a configuration such as (selected) may be provided.
  • the matrix MAUA obtained through the above-described processing is a fluorescent probe having a fluorescence wavelength between the red range and the near infrared range, such as Cy5, Cy5.5, Cy7, ICG, and IR-Dye800. Is adapted to the case where observation is performed by administering to the site to be observed 101. However, for example, by appropriately changing a part of the processing related to the acquisition of the matrix MAUA, it is suitable for performing observation by administering a fluorescent probe having a fluorescent wavelength in the green region such as fluorescein to the observation target region 101.
  • the matrix MAUA can also be acquired. In such a case, considering that the FL light becomes light in the green region, the wavelength band of the REF light is set to a wavelength band that does not overlap with the FL light, such as the red region. Is desirable.
  • the green fluorescence emitted from the fluorescein administered to the observation target region 101 and the near infrared fluorescence emitted from the ICG administered to the observation target site 101 are simultaneously observed.
  • the present invention can also be applied to the case of simultaneously observing fluorescence emitted from a subject to which a plurality of fluorescent probes having different fluorescence wavelengths are administered.
  • the matrix C and the matrix MAUA acquired by the present embodiment are not limited to those in which the respective coefficients are set so as to match the FL light and the REF light as the return light generated in the fluorescence observation mode.
  • Narrow blue as return light (reflected light) generated in narrowband light observation mode for observing capillaries existing on the surface of the mucosa and blood vessels deeper than the surface of the biological mucosa (hereinafter also referred to as the middle layer)
  • Each coefficient may be set so as to be adapted to the band light and the green narrow band light. A specific example in such a case will be described below.
  • FIG. 7 is a diagram illustrating a configuration of a main part of the endoscope apparatus according to the first modification example of the embodiment of the present invention.
  • the endoscope apparatus 1 ⁇ / b> A is configured by replacing the scope 2 ⁇ / b> A configured by removing the filter switching device 24 from the scope 2 and the LED light source unit 31 of the light source device 3 with an LED light source unit 311.
  • the light source device 3 ⁇ / b> A and a processor 4 ⁇ / b> A configured by removing the filter switching control unit 48 from the processor 4 are included.
  • the mode changeover switch 25 of the scope 2A switches the observation mode of the endoscope apparatus 1A to one of the observation modes selected from the white light observation mode and the narrow band light observation mode according to the operation of the operator or the like. It is comprised so that instruction
  • the LED light source unit 311 observes the LED 31a that emits WB light that is broadband light, the LED 31f that emits NBG light that can observe blood vessels present in the middle layer of the biological mucosa, and the capillaries that exist on the surface layer of the biological mucosa.
  • the LED 31g emits NBB light, which is possible light, an optical element 31h, and an optical element 31i.
  • the LED 31f is configured to emit, as NBG light, narrowband light whose center wavelength is set to 540 nm, for example.
  • the LED 31g is configured to emit, as NBB light, narrowband light whose center wavelength is set to 415 nm, for example.
  • the optical element 31h is composed of, for example, a half mirror, and the like, and transmits the WB light emitted from the LED 31a to the optical element 31i side, and reflects the NBG light emitted from the LED 31f to the optical element 31i side. It has characteristics.
  • the optical element 31i is composed of, for example, a half mirror, and transmits the WB light and NBG light emitted through the optical element 31h to the condensing optical system 33 side, and condenses the NBB light emitted from the LED 31g.
  • the optical characteristic is reflected to the optical system 33 side.
  • the spectrum distribution correction unit 43a of the processor 4A performs processing based on predetermined information output from the storage unit 26 when the scope 2A and the processor 4A are connected, thereby obtaining a matrix Ca having a spectrum distribution correction function. get.
  • the matrix calculation unit 43b of the processor 4A performs processing based on predetermined information output from the storage unit 26 when the scope 2A and the processor 4A are connected, and the matrix Ca acquired by the spectrum distribution correction unit 43a. As a result, a calculation process for obtaining a matrix MAUB having both a spectrum distribution correction function and an image separation function is performed. In addition, the matrix calculation unit 43b of the processor 4A performs calculation by applying the matrix MAUB to the image data input to the image processing unit 43 in the narrowband light observation mode, and further obtained as a result of the calculation. A process of assigning image data of each wavelength band component to the R channel, G channel, and B channel of the display device 5 is performed.
  • the dimming unit 45 of the processor 4A switches the endoscope apparatus 1A to the white light observation mode based on the mode switching signal output from the mode switching control unit 46 and the imaging signal output from the preprocessing unit 41. When this is detected, the LED 31f and the LED 31g are extinguished, and a dimming signal for causing the LED 31a to emit light with an intensity suitable for observation in the white light observation mode is output to the LED drive unit 32.
  • the dimming unit 45 of the processor 4A allows the endoscope apparatus 1A to operate in the narrowband light observation mode based on the mode switching signal output from the mode switching control unit 46 and the imaging signal output from the preprocessing unit 41.
  • the LED 31a When it is detected that the LED 31a has been switched to, the LED 31a is extinguished, and a dimming signal for simultaneously causing the LED 31f and the LED 31g to emit light with an intensity suitable for observation in the narrow-band light observation mode is output to the LED drive unit 32. .
  • the mode switching control unit 46 of the processor 4A detects that the mode switching switch 25 has instructed the switching of the observation mode of the endoscope apparatus 1A to the white light observation mode
  • the mode switching control unit 46 enters the white light observation mode.
  • a mode switching signal for performing a corresponding operation is output to each of the image processing unit 43, the light control unit 45, and the image sensor driving unit 47.
  • the mode switching control unit 46 of the processor 4A detects that the mode switching switch 25 has instructed to switch the observation mode of the endoscope apparatus 1A to the narrow-band light observation mode, the narrow-band operation is performed.
  • a mode switching signal for performing an operation according to the light observation mode is output to each of the image processing unit 43, the light control unit 45, and the image sensor driving unit 47.
  • the user places the distal end portion of the scope 2A in the vicinity of the desired observation target region 101 in the subject by performing an insertion operation of the scope 2A while viewing the observation image in the white light observation mode displayed on the display device 5.
  • the user or the like operates the mode switch 25 to give an instruction to switch the observation mode of the endoscope apparatus 1A to the narrowband light observation mode.
  • the mode switching control unit 46 When the mode switching control unit 46 detects that the mode switching switch 25 is instructed to switch the observation mode of the endoscope apparatus 1A to the narrowband light observation mode, the mode switch control unit 46 performs an operation according to the narrowband light observation mode. A mode switching signal to be performed is output to each of the image processing unit 43, the light control unit 45, and the image sensor driving unit 47.
  • the LED driving unit 32 Based on the dimming signal output from the dimming unit 45, the LED driving unit 32 extinguishes the LED 31a of the LED light source unit 31, and the LED 31f and the LED 31g have an intensity suitable for observation in the narrowband light observation mode. Simultaneously emit light.
  • the LED drive unit 32 in the narrow band light observation mode, the NBG light and the NBB light supplied from the light source device 3A are emitted to the observation target region 101 through the light guide 7 and the illumination optical system 21.
  • the mixed light of the REG light that is the reflected light of the NBG light and the REG light that is the reflected light of the NBB light is incident on the objective optical system 22 as return light from the observation target portion 101.
  • the image sensor 23 receives light that has passed through the R filter of the color filter 23a, light that has passed through the G filter of the color filter 23a, and light that has passed through the B filter of the color filter 23a. An imaging signal obtained by imaging each of the lights is generated and output.
  • the pre-processing unit 41 performs processing such as signal amplification and noise removal on the imaging signal output from the scope 2A, and outputs the imaging signal subjected to the processing to the A / D conversion unit 42.
  • the A / D conversion unit 42 converts the analog imaging signal output from the preprocessing unit 41 into digital image data and outputs the digital image data to the image processing unit 43. Then, by such processing of the A / D conversion unit 42, the red component RD1, the green component GD1, and the blue component BD1 corresponding to the intensities of the REG light and the REB light received by the imaging element 23 (imaging surface thereof). Are generated.
  • the image processing unit 43 When the image processing unit 43 detects that the endoscope apparatus 1A has been switched to the narrowband light observation mode based on the mode switching signal output from the mode switching control unit 46, the image processing unit 43 performs a calculation process using the matrix MAUB.
  • the calculation unit 43b operates to be performed.
  • processing related to acquisition of the matrix MAUB having both the spectral distribution correction function and the image separation function will be described. Note that the processing related to the acquisition of the matrix MAUB is performed at any timing before the observation mode of the endoscope apparatus 1A is switched to the narrowband light observation mode.
  • the storage unit 26 detects, for example, each filter (R filter) of the color filter 23a as predetermined information used for arithmetic processing for acquiring the matrix MAUB when it is detected that the scope 2A and the processor 4A are connected.
  • G filter and B filter information indicating spectral sensitivity characteristics and information indicating spectral distribution of REG light and REB light which are return light emitted from the subject in the narrow-band light observation mode, and an image processing unit of the processor 4A Output to 43.
  • the spectral distribution correction unit 43a includes information indicating spectral sensitivity characteristics of the image sensor 23 including each filter (R filter, G filter, and B filter) of the color filter 23a, and REG light emitted from the subject in the narrowband light observation mode. And the spectral distribution of the red component RD1, the green component GD1, and the blue component BD1 included in the image data input to the image processing unit 43 in the narrowband light observation mode based on the information indicating the spectral distribution of the REB light. .
  • the spectral distribution correction unit 43a converts the spectral distributions of the red component RD1, the green component GD1, and the blue component BD1 acquired as described above to the above-described method (the peak value of the signal intensity at each peak wavelength is set to 1.0, respectively). Normalization). And by performing such normalization, the difference in the spectral distribution between the color components becomes obvious.
  • the spectrum distribution correction unit 43a obtains a matrix Ca of 3 rows and 3 columns in which coefficients are set so that the shapes of the normalized spectrum distributions match each other.
  • the matrix Ca acquired through the processing of the spectral distribution correction unit 43a as described above is a spectral distribution of each color component (red component RD1, green component GD1, and blue component BD1) before normalization, that is, a narrow distribution.
  • the shape of the spectral distribution of each color component (red component RD1, green component GD1, and blue component BD1) of the image data generated based on the REG light and REB light received on the imaging surface of the image sensor 23 in the band light observation mode is It has a spectral distribution correction function that can be corrected so as to have similar shapes.
  • the matrix calculation unit 43b has a 3 ⁇ 3 matrix Ca acquired by the processing of the spectrum distribution correction unit 43a as described above, and each filter of the color filter 23a (R filter, G filter, and B filter).
  • the matrix MAUB is obtained by performing the following processing based on the information indicating the spectral sensitivity characteristics of the light and the information indicating the spectral distribution of the REG light and REB light emitted from the subject in the narrow-band light observation mode. .
  • the matrix calculation unit 43b includes information indicating spectral sensitivity characteristics of each filter (R filter, G filter, and B filter) of the color filter 23a, and spectra of REG light and REB light emitted from the subject in the narrowband light observation mode. Based on the information indicating the distribution, a matrix corresponding to the intensities of the red component RD1, the green component GD1, and the blue component BD1 included in the image data I ′ RGB input to the image processing unit 43 in the narrowband light observation mode is as follows: It is defined as the following formula (7).
  • R REB represents the intensity of the red component based on the wavelength component of the REB light received through the R filter of the color filter 23a
  • G REB is received through the G filter of the color filter 23a.
  • B REB represents the intensity of the green component based on the wavelength component of the REB light
  • B REB represents the intensity of the blue component based on the wavelength component of the REB light received through the B filter of the color filter 23a
  • R REG represents the color filter 23a.
  • G REG represents the intensity of the red component based on the wavelength component of the REG light received through the R filter
  • G REG represents the intensity of the green component based on the wavelength component of the REG light received through the G filter of the color filter 23a
  • B REG represents the intensity of the blue component based on the wavelength component of the REG light received through the B filter of the color filter 23a.
  • a matrix for separating image data of two independent color components from each color component included in the image data input to the image processing unit 43 in the narrowband light observation mode is set as MAUb.
  • the matrix indicating the image data of the two color components after separation is set as S, the relationship shown in the following mathematical expressions (8) and (9) is established.
  • the matrix calculation unit 43b calculates a matrix MAUb of 2 rows and 3 columns by performing calculation of the following formula (10) based on the formulas (8) and (9). Note that (Ca ⁇ I ′ RGB ) + in the following equation (10) is a 3 ⁇ 3 matrix C, a 3 ⁇ 2 matrix I ′ RGB as shown in the above equation (7), and It represents a pseudo inverse matrix of the product of
  • the wavelength component of the REB light from the color components included in the image data input to the image processing unit 43 in the narrowband light observation mode According to the processing using the matrix MAUb obtained through the calculation of the above formula (10), the wavelength component of the REB light from the color components included in the image data input to the image processing unit 43 in the narrowband light observation mode.
  • the image data including only the blue component REBBD based on can be separated.
  • the REG light is obtained from each color component included in the image data input to the image processing unit 43 in the narrowband light observation mode.
  • Image data including only the green component REGGD based on the wavelength component can be separated.
  • the matrix calculation unit 43b of the first modification example has coefficients set so that, for example, the image data of the red component RRRD having the same intensity as the image data of the green component REGGD described above can be obtained.
  • a matrix MAUB of 3 rows and 3 columns as expressed by Equation (11) is obtained.
  • the coefficients M31, M32, M33, M41, M42, and M43 in the following formula (11) are the coefficients included in the matrix MAUb of 2 rows by 3 columns obtained through the calculation of the formula (10). Assume that they are the same value.
  • the matrix calculation unit 43b receives the matrix Ca of 3 rows and 3 columns, information indicating the spectral sensitivity characteristics of each filter (R filter, G filter, and B filter) of the color filter 23a, and the subject in the narrowband light observation mode.
  • the matrix MAUB as expressed by the above formula (11) is obtained by performing the processing as described above based on the information indicating the spectral distribution of the REG light and REB light emitted.
  • the matrix calculation unit 43b applies the previously acquired matrix MAUB to the red component RD1, the green component GD1, and the blue component BD1 included in the image data input to the image processing unit 43 in the narrowband light observation mode.
  • the image data of the red component RERRD having the intensity corresponding to the coefficients M31, M32, and M33 and the intensity corresponding to the coefficients M31, M32, and M33, as represented by the following formula (12):
  • the image data of the green component REGGD having the above and the image data of the blue component REBBD having the intensity corresponding to the coefficients M41, M42 and M43 are acquired.
  • the matrix calculation unit 43b assigns the image data of the red component RRRD to the R channel of the display device 5, assigns the image data of the green component REGGD to the G channel of the display device 5, and assigns the image data of the blue component REGBD to the display device 5. Assigned to the B channel.
  • the image processing unit 43 performs processing such as gamma correction and edge enhancement on the image data assigned to the R, G, and B color channels of the display device 5 by the processing of the matrix calculation unit 43b.
  • the data is output to the conversion unit 44.
  • the display device 5 displays an image of the subject corresponding to the video signal output through the D / A conversion unit 44.
  • an observation image corresponding to the narrowband light observation mode is displayed on the display device 5.
  • FIG. 8 is a diagram showing an example different from FIG. 5 of a spectrum distribution obtained as a calculation result when a calculation related to image separation is performed using a matrix that does not have a spectrum distribution correction function.
  • the output is also clear in the wavelength band component corresponding to the REG light. It can be seen that the value fluctuates, that is, the wavelength component of the REB light is not properly separated.
  • the wavelength band component corresponding to the REG light in addition to the wavelength band component corresponding to the REG light as the green light having the peak wavelength near 540 nm, the wavelength band component corresponding to the REB light is also clear. It can be seen that the output value fluctuates, that is, the wavelength component of the REG light is not properly separated.
  • FIG. 9 is a diagram showing an example different from FIG. 6 of a spectrum distribution obtained as a calculation result when a calculation related to image separation is performed using a matrix having a spectrum distribution correction function.
  • an image including a plurality of color components obtained by the simultaneous imaging method can be preferably separated as an image for each wavelength band component independent of each other.
  • the matrix C and the matrix MAUA acquired by the present embodiment are not limited to those in which the respective coefficients are set so as to match the FL light and the REF light as the return light generated in the fluorescence observation mode.
  • Red narrow band as the return light (reflected light) generated in the deep blood vessel observation mode for observing blood vessels existing in the middle layer of the mucosa and thick blood vessels existing deeper than the middle layer of the biological mucosa (hereinafter also referred to as the deep layer)
  • Each coefficient may be set so as to suit light and green narrowband light.
  • FIG. 10 is a diagram illustrating a configuration of a main part of an endoscope apparatus according to a second modification example in the embodiment of the present invention.
  • the endoscope apparatus 1B includes a scope 2B configured by removing the filter switching device 24 from the scope 2 and replacing the color filter 23a of the scope 2 with the color filter 23b, and an LED of the light source device 3.
  • the light source device 3B is configured by replacing the light source unit 31 with the LED light source unit 312, and the processor 4B is configured by removing the filter switching control unit 48 from the processor 4.
  • the color filter 23b of the scope 2B is configured as a color filter of four primary colors.
  • the color filter 23b of the scope 2B includes a plurality of R (red) filters, G (green) filters, B (blue) filters, and Ye (each having respective spectral sensitivity characteristics (optical characteristics). Yellow) filters are formed by disposing them at positions corresponding to the respective pixels of the image sensor 23.
  • R red
  • G green
  • B blue
  • Ye each having respective spectral sensitivity characteristics
  • Yellow filters are formed by disposing them at positions corresponding to the respective pixels of the image sensor 23.
  • an R filter, a G filter, a B filter, and a Ye filter each having spectral sensitivity characteristics as shown in FIG. 11 are provided in the color filter 23b.
  • FIG. 11 is a diagram illustrating an example of spectral sensitivity characteristics of an R filter, a G filter, a B filter, and a Ye filter provided in the color filter of the endoscope apparatus of FIG.
  • the R filter of the color filter 23b has a spectral sensitivity characteristic (optical characteristics) such that the transmittance from the red region to the near infrared region is relatively higher than the transmittance of other wavelength bands. ) (See FIG. 11).
  • the G filter of the color filter 23b has spectral sensitivity characteristics (optical characteristics) such that the transmittance in the green region is relatively higher than the transmittance in other wavelength bands. It is configured (see FIG. 11).
  • the B filter of the color filter 23b has spectral sensitivity characteristics (optical characteristics) such that the transmittance in the blue region is relatively higher than the transmittance in other wavelength bands. It is configured (see FIG. 11).
  • the Ye filter of the color filter 23b has a spectral sensitivity characteristic (optical characteristic) such that the transmittance in the yellow region is relatively higher than the transmittance in other wavelength bands (see FIG. 11).
  • the mode changeover switch 25 of the scope 2B is for switching the observation mode of the endoscope apparatus 1B to one of the observation modes selected from the white light observation mode and the deep blood vessel observation mode according to the operation of the operator or the like. It is configured to be able to give instructions.
  • the LED light source unit 312 can observe the LED 31a that emits WB light that is broadband light, the LED 31f that emits NBG light that can observe blood vessels present in the middle layer of the biological mucosa, and the blood vessels that exist in the deep layer of the biological mucosa.
  • LED 31k that emits NBR1 light, which is natural light LED 31m that emits NBR2 light that can observe blood vessels existing in the deep layer of the biological mucous membrane, optical element 31h, optical element 31n, and optical element 31p. Configured.
  • the LED 31f is configured to emit, as NBG light, narrowband light whose center wavelength is set to 540 nm, for example.
  • the LED 31k is configured to emit, for example, narrowband light having a center wavelength set to 630 nm as NBR1 light.
  • the LED 31m is configured to emit, for example, narrowband light with a center wavelength set to 650 nm as NBR2 light.
  • the optical element 31h is composed of, for example, a half mirror and the like, and transmits the WB light emitted from the LED 31a to the optical element 31n side, and reflects the NBG light emitted from the LED 31f to the optical element 31n side. It has characteristics.
  • the optical element 31n is configured by, for example, a half mirror, and transmits WB light and NBG light emitted through the optical element 31h to the optical element 31p side, and transmits NBR1 light emitted from the LED 31k to the optical element 31p side. It has optical characteristics that reflect the light.
  • the optical element 31p is configured by, for example, a half mirror, and transmits the WB light, NBG light, and NR1 light emitted through the optical element 31n to the condensing optical system 33 side, and NBR2 light emitted from the LED 31m.
  • the optical characteristic is reflected to the condensing optical system 33 side.
  • the spectrum distribution correction unit 43a of the processor 4B performs processing based on predetermined information output from the storage unit 26 when the scope 2B and the processor 4B are connected, thereby obtaining a matrix Cb having a spectrum distribution correction function. get.
  • the matrix calculation unit 43b of the processor 4B performs processing based on predetermined information output from the storage unit 26 when the scope 2B and the processor 4B are connected, and the matrix Cb acquired by the spectrum distribution correction unit 43a. By performing the calculation, a calculation process for obtaining a matrix MAUC having both a spectral distribution correction function and an image separation function is performed.
  • the matrix calculation unit 43b of the processor 4B performs calculation by applying the matrix MAUC to the image data input to the image processing unit 43 in the deep blood vessel observation mode, and further, obtains each result obtained as a result of the calculation.
  • a process of assigning the image data of the wavelength band component to the R channel, the G channel, and the B channel of the display device 5 is performed.
  • the dimming unit 45 of the processor 4B switches the endoscope apparatus 1B to the white light observation mode based on the mode switching signal output from the mode switching control unit 46 and the imaging signal output from the preprocessing unit 41.
  • the LED 31f, LED 31k, and LED 31m are extinguished, and a dimming signal for causing the LED 31a to emit light with an intensity suitable for observation in the white light observation mode is output to the LED drive unit 32.
  • the dimming unit 45 of the processor 4B causes the endoscope apparatus 1 to enter the deep blood vessel observation mode based on the mode switching signal output from the mode switching control unit 46 and the imaging signal output from the preprocessing unit 41.
  • the LED 31a When it is detected that the LED 31a has been switched, the LED 31a is extinguished, and a dimming signal for causing the LED 31f, LED 31k, and LED 31m to emit light simultaneously with an intensity suitable for observation in the deep blood vessel observation mode is output to the LED drive unit 32. .
  • the mode switching control unit 46 of the processor 4B detects that the mode switching switch 25 has instructed to switch the observation mode of the endoscope apparatus 1B to the white light observation mode, the mode switching control unit 46 enters the white light observation mode.
  • a mode switching signal for performing a corresponding operation is output to each of the image processing unit 43, the light control unit 45, and the image sensor driving unit 47.
  • the mode switching control unit 46 of the processor 4B detects that the mode switching switch 25 has instructed to switch the observation mode of the endoscope apparatus 1B to the deep blood vessel observation mode, the deep blood vessel observation is performed.
  • a mode switching signal for performing an operation corresponding to the mode is output to each of the image processing unit 43, the light control unit 45, and the image sensor driving unit 47.
  • the user places the distal end portion of the scope 2B in the vicinity of the desired observation target region 101 in the subject by performing an insertion operation of the scope 2B while viewing the observation image in the white light observation mode displayed on the display device 5.
  • the user or the like operates the mode switch 25 to give an instruction to switch the observation mode of the endoscope apparatus 1B to the deep blood vessel observation mode.
  • mode switching control unit 46 When the mode switching control unit 46 detects that the mode switching switch 25 is instructed to switch the observation mode of the endoscope apparatus 1B to the deep blood vessel observation mode, the mode change control unit 46 performs an operation according to the deep blood vessel observation mode. Mode switching signals are output to the image processing unit 43, the light control unit 45, and the image sensor driving unit 47.
  • the LED driving unit 32 Based on the dimming signal output from the dimming unit 45, the LED driving unit 32 extinguishes the LED 31a of the LED light source unit 31, and the LED 31f, LED 31k, and LED 31m have an intensity suitable for observation in the deep blood vessel observation mode. To emit light simultaneously.
  • the NBG light, the NBR1 light, and the NBR2 light supplied from the light source device 3B pass through the light guide 7 and the illumination optical system 21 to be the observation target region 101.
  • the mixed light of the REG light that is the reflected light of the NBG light, the RERA light that is the reflected light of the NBR1 light, and the RERB light that is the reflected light of the NBR2 light is returned from the observation target region 101.
  • the light is incident on the objective optical system 22 as light.
  • the image sensor 23 passes the light that has passed through the R filter of the color filter 23b, the light that has passed through the G filter of the color filter 23b, the light that has passed through the B filter of the color filter 23b, and the Ye filter of the color filter 23b.
  • the received light is received, and an imaging signal obtained by imaging each received light is generated and output.
  • the pre-processing unit 41 performs processing such as signal amplification and noise removal on the imaging signal output from the scope 2B, and outputs the imaging signal subjected to the processing to the A / D conversion unit 42.
  • the A / D conversion unit 42 converts the analog imaging signal output from the preprocessing unit 41 into digital image data and outputs the digital image data to the image processing unit 43. Then, by such processing of the A / D conversion unit 42, the red component RD2 corresponding to the intensity of the REG light, the RERA light, and the RERB light received by the image pickup device 23 (the image pickup surface thereof), the green component GD2, Image data including the blue component BD2 and the yellow component YeD is generated.
  • the image processing unit 43 When the image processing unit 43 detects that the endoscope apparatus 1B has been switched to the deep blood vessel observation mode based on the mode switching signal output from the mode switching control unit 46, the image processing unit 43 performs the arithmetic processing using the matrix MAUC. It operates so that it may be implemented in the unit 43b.
  • processing related to acquisition of a matrix MAUC having both a spectral distribution correction function and an image separation function will be described. Note that the processing related to the acquisition of the matrix MAUC is performed at any timing before the observation mode of the endoscope apparatus 1B is switched to the deep blood vessel observation mode.
  • each filter (R filter) of the color filter 23b is used.
  • G filter, B filter, and Ye filter information indicating the spectral distribution of REG light, RERA light, and RERB light that are return light emitted from the subject in the deep blood vessel observation mode.
  • the image is output to the 4B image processing unit 43.
  • the spectral distribution correction unit 43a is emitted from the subject in the deep blood vessel observation mode and information indicating the spectral sensitivity characteristics of the image sensor 23 provided with each filter (R filter, G filter, B filter, and Ye filter) of the color filter 23b. Based on the information indicating the spectral distribution of the REG light, the RERA light, and the RERB light, the red component RD2, the green component GD2, the blue component BD2, and the image data input to the image processing unit 43 in the deep blood vessel observation mode, and The spectral distribution of the yellow component YeD is obtained.
  • the spectral distribution correction unit 43a obtains the spectral distribution of the red component RD2, the green component GD2, the blue component BD2, and the yellow component YeD acquired as described above (the peak value of the signal intensity at each peak wavelength). Is normalized by a method such that each is set to 1.0. And by performing such normalization, the difference in the spectral distribution between the color components becomes obvious.
  • the spectrum distribution correction unit 43a acquires a 4-by-4 matrix Cb in which coefficients are set so that the shapes of the normalized spectrum distributions match each other.
  • the matrix Cb acquired through the processing of the spectral distribution correction unit 43a as described above is the color component (red component RD2, green component GD2, blue component BD2, and yellow component YeD) before normalization.
  • Spectral distribution that is, each color component (red component RD2, green component GD2, blue component) of image data generated based on REG light, RERA light, and RERB light received on the imaging surface of the image sensor 23 in the deep blood vessel observation mode
  • a spectral distribution correction function capable of correcting the spectral distributions of BD2 and yellow component YeD) to have similar shapes is provided.
  • the matrix calculation unit 43b has a 4-row by 4-column matrix Cb acquired by the processing of the spectrum distribution correction unit 43a as described above and each filter (R filter, G filter, B filter, and color filter 23b).
  • each filter R filter, G filter, B filter, and color filter 23b.
  • the matrix calculation unit 43b includes information indicating spectral sensitivity characteristics of each filter (R filter, G filter, B filter, and Ye filter) of the color filter 23b, and REG light and RERA light emitted from the subject in the deep blood vessel observation mode. And the information indicating the spectral distribution of the RERB light, the red component RD2, the green component GD2, the blue component BD2, and the yellow component YeD included in the image data I RGBYe input to the image processing unit 43 in the deep blood vessel observation mode.
  • a matrix corresponding to the intensity is defined as the following formula (13).
  • R REG represents the intensity of the red component based on the wavelength component of the REG light received through the R filter of the color filter 23b
  • G REG is received through the G filter of the color filter 23b.
  • B REG represents the intensity of the green component based on the wavelength component of the REG light
  • B REG represents the intensity of the blue component based on the wavelength component of the REG light received through the B filter of the color filter 23b
  • Ye REG represents the color filter 23b.
  • the intensity of the blue component based on the wavelength component of the REG light received through the Ye filter is expressed.
  • R RERA represents the intensity of the red component based on the wavelength component of the RERA light received through the R filter of the color filter 23b, and G RERA is received through the G filter of the color filter 23b.
  • B RERA represents the intensity of the blue component based on the wavelength component of the RERA light received through the B filter of the color filter 23b
  • Ye RERA represents the color filter 23b.
  • the intensity of the blue component based on the wavelength component of the RERA light received through the Ye filter is expressed.
  • R RERB represents the intensity of the red component based on the wavelength component of the RERB light received through the R filter of the color filter 23b, and G RERB is received through the G filter of the color filter 23b.
  • B RERB represents the intensity of the green component based on the wavelength component of the RERB light
  • B RERB represents the intensity of the blue component based on the wavelength component of the RERB light received through the B filter of the color filter 23b
  • Ye RERB represents the color filter 23b. The intensity of the blue component based on the wavelength component of the RERB light received through the Ye filter is expressed.
  • a matrix for separating image data of three independent color components from each color component included in the image data input to the image processing unit 43 in the deep blood vessel observation mode is set as MAUC.
  • the matrix indicating the image data of the three color components after separation is set as S ′, the relationship shown in the following mathematical formulas (14) and (15) is established.
  • the matrix calculation unit 43b calculates the matrix MAUC of 3 rows and 4 columns by performing the following calculation (16) based on the above expressions (14) and (15).
  • the following in equation (16) (Cb ⁇ I RGBYe ) +, and matrix Cb of four rows and four columns, and four rows and three columns of the matrix I 'RGB shown as the equation (13), the Let us denote the pseudo inverse of the product.
  • M51 to M54, M61 to M64, and M71 to M74 each represent an arbitrary coefficient.
  • the wavelength components of the REG light are changed from the color components included in the image data input to the image processing unit 43 in the deep blood vessel observation mode.
  • 3 image data INR2 can be separated.
  • the matrix calculation unit 43b includes a matrix Cb of 4 rows and 4 columns, information indicating spectral sensitivity characteristics of each filter (R filter, G filter, B filter, and Ye filter) of the color filter 23b, and the deep blood vessel observation mode.
  • a matrix MAUC as expressed by the above equation (16) by performing the processing as described above based on the information indicating the spectral distribution of REG light, RERA light and RERB light emitted from the subject. To get.
  • the matrix calculation unit 43b uses the previously acquired matrix MAUC for the red component RD2, the green component GD2, the blue component BD2, and the yellow component YeD included in the image data input to the image processing unit 43 in the deep blood vessel observation mode.
  • image data ING including only color components corresponding to the wavelength components of REG light
  • image data INR1 including only color components corresponding to the wavelength components of RERA light
  • wavelength components of RERB light and image data INR2 including only the color component corresponding to.
  • the matrix operation unit 43b assigns the image data ING, the image data INR1, and the image data INR2 acquired as described above to arbitrary color channels (R, G, and B channels) of the display device 5, respectively.
  • the image processing unit 43 performs processing such as gamma correction and edge enhancement on the image data assigned to the R, G, and B color channels of the display device 5 by the processing of the matrix calculation unit 43b.
  • the data is output to the conversion unit 44.
  • the display device 5 displays an image of the subject corresponding to the video signal output through the D / A conversion unit 44.
  • an observation image corresponding to the deep blood vessel observation mode is displayed on the display device 5.
  • FIG. 12 is a diagram illustrating an example different from FIGS. 5 and 8 of the spectrum distribution obtained as a calculation result when the calculation related to image separation is performed using a matrix that does not have the spectrum distribution correction function.
  • the wavelength band component corresponding to the RERA light and the RERB light in addition to the wavelength band component corresponding to the REG light as the green light having the peak wavelength near 540 nm. It can be seen that the output value fluctuates clearly, that is, the wavelength band component of the REG light is not properly separated.
  • the wavelength band component corresponding to the RERA light in addition to the wavelength band component corresponding to the RERA light as the red light having the peak wavelength near 630 nm, the wavelength band corresponding to the REG light and the RERB light. It can be seen that there is a clear fluctuation in the output value of the component, that is, the wavelength band component of the RERA light is not properly separated.
  • the wavelength band component corresponding to RERB light in addition to the wavelength band component corresponding to RERB light as red light having a peak wavelength near 650 nm, the wavelength band corresponding to REG light and RERA light. It can be seen that there is a clear fluctuation in the output value of the component, that is, the wavelength band component of the RERB light is not properly separated.
  • FIG. 13 is a diagram showing an example different from FIGS. 6 and 9 of the spectrum distribution obtained as a calculation result when calculation related to image separation is performed using a matrix having a spectrum distribution correction function.
  • a clear output value in a wavelength band component other than the wavelength band component corresponding to the RERA light as red light having a peak wavelength near 630 nm is obtained. It can be seen that there is no fluctuation, that is, the wavelength component of the RERA light is appropriately separated.
  • a clear output value in a wavelength band component other than the wavelength band component corresponding to the RERB light as red light having a peak wavelength near 650 nm is obtained. It can be seen that there is no fluctuation, that is, the wavelength component of the RERB light is appropriately separated.
  • an image including a plurality of color components obtained by the simultaneous imaging method can be suitably separated as an image for each wavelength band component independent from each other.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Abstract

 内視鏡装置は、被写体に対する照明光の照射に伴って発生する複数の波長帯域成分を含む戻り光を、各色成分毎に異なる分光感度で受光して撮像する撮像部と、撮像部が前記戻り光を撮像することにより得られる被写体の画像に含まれる各色成分毎の分光スペクトル分布に対して補正処理を施す補正処理部と、補正処理の結果に基づき、被写体の画像を戻り光に含まれる各波長帯域成分毎に分離する処理を行う画像分離処理部と、を有する。

Description

内視鏡装置
 本発明は、内視鏡装置に関し、特に、複数の波長帯域成分を含む光を撮像する内視鏡装置に関するものである。
 医療分野における内視鏡装置は、被検者の体腔内の観察等の用途において従来用いられている。具体的には、医療分野における内視鏡装置は、例えば、体腔内の被観察部位へ照射される照明光を供給する光源装置、体腔内の被観察部位への照明光の照射に伴って発生する戻り光を撮像する内視鏡、及び、内視鏡により撮像された戻り光に基づいて被観察部位の画像を生成する画像処理装置を具備して構成されている。
 また、前述のような構成を具備する内視鏡装置の多くにおいては、面順次式または同時式のいずれかの撮像方式が採用されている。
 具体的には、前述の面順次式の撮像方式は、例えば、複数の波長帯域成分を具備する照明光を時分割することにより得られる面順次光が被観察部位へ照射された際に発生する戻り光を、カラーフィルタが撮像面に設けられていない撮像素子により撮像するような構成により実現され得る。
 また、前述の同時式の撮像方式は、例えば、複数の波長帯域成分を具備する照明光が被観察部位へ照射された際に発生する戻り光を、所定の分光感度特性をそれぞれ具備する複数の微小なフィルタを所定の配列で配置したカラーフィルタが撮像面に設けられた撮像素子により撮像するような構成により実現され得る。
 そして、例えば日本国特開2008-036035号公報には、前述の同時式の撮像方式を採用して構成された内視鏡装置が開示されている。
 ところで、前述のカラーフィルタに含まれる各フィルタは、一般的に、所定の色成分の光のみならず、可視域から近赤外域にかけての広い帯域の光を透過させるような分光感度特性を具備するように構成されている。
 具体的には、例えば、一般的なベイヤ配列のRGBカラーフィルタに含まれるRフィルタは、赤色の光のみならず、青色の光及び緑色の光の一部を透過させるような分光感度特性を具備するように構成されている。そのため、前述のRフィルタを透過した光を撮像した場合においては、赤色の単色画像ではなく、赤色及び赤色以外の他の色成分を含む混色画像が生成されてしまう。
 すなわち、前述の同時式の撮像方式においては、前述のカラーフィルタに含まれる各フィルタの分光感度特性に起因し、複数の色成分を含む画像を相互に独立した各波長帯域成分毎の画像として分離できない、という課題がある。
 一方、日本国特開2008-036035号公報によれば、前述のカラーフィルタに含まれる各フィルタの分光感度特性に応じた帯域となるように照明光の帯域を制限して照射することにより、前述の課題の解決が試みられている。また、このような照明光の帯域を制限して照射する方法の他に、例えば、前述のように生成された混色画像を各波長帯域成分毎の独立した画像に分離するような画像処理を行うことにより、前述の課題の解決が試みられている。
 しかし、以上に述べたような従来の方法によれば、前述のカラーフィルタに含まれる各フィルタの分光感度特性と、前述のカラーフィルタに入射される戻り光の波長帯域と、の組み合わせ次第では、各色成分毎の信号に応じて得られる波長情報が異なることに起因し、仮に前述の画像処理を実施したとしても、前述のように生成された混色画像を各波長帯域成分毎の独立した画像に好適に分離できないような状況が発生し、すなわち、前述の課題の少なくとも一部が未解決のままとなっている。
 本発明は、前述した事情に鑑みてなされたものであり、同時式の撮像方式により撮像された複数の色成分を含む画像を、相互に独立した各波長帯域成分毎の画像として好適に分離することが可能な内視鏡装置を提供することを目的としている。
 本発明の一態様の内視鏡装置は、被写体に対する照明光の照射に伴って発生する複数の波長帯域成分を含む戻り光を、各色成分毎に異なる分光感度で受光して撮像する撮像部と、前記撮像部が前記戻り光を撮像することにより得られる前記被写体の画像に含まれる各色成分毎の分光スペクトル分布に対して補正処理を施す補正処理部と、前記補正処理の結果に基づき、前記被写体の画像を前記戻り光に含まれる各波長帯域成分毎に分離する処理を行う画像分離処理部と、を有する。
本発明の実施例に係る内視鏡装置の要部の構成を示す図。 図1の内視鏡装置のカラーフィルタに設けられたRフィルタ、Gフィルタ、及び、Bフィルタの分光感度特性の一例を示す図。 正規化された赤色成分RD、緑色成分GD及び青色成分BDのスペクトル分布の例を示す図。 図3における赤色成分RD及び緑色成分GDのスペクトル分布の形状を、青色成分BDのスペクトル分布の形状に一致させた場合の例を示す図。 スペクトル分布補正機能を具備しないマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の一例を示す図。 スペクトル分布補正機能を具備するマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の一例を示す図。 本発明の実施例における第1の変形例に係る内視鏡装置の要部の構成を示す図。 スペクトル分布補正機能を具備しないマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図5とは異なる例を示す図。 スペクトル分布補正機能を具備するマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図6とは異なる例を示す図。 本発明の実施例における第2の変形例に係る内視鏡装置の要部の構成を示す図。 図10の内視鏡装置のカラーフィルタに設けられたRフィルタ、Gフィルタ、Bフィルタ、及び、Yeフィルタの分光感度特性の一例を示す図。 スペクトル分布補正機能を具備しないマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図5及び図8とは異なる例を示す図。 スペクトル分布補正機能を具備するマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図6及び図9とは異なる例を示す図。
 以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
 図1から図6は、本発明の実施例に係るものである。図1は、本発明の実施例に係る内視鏡装置の要部の構成を示す図である。
 内視鏡装置1は、図1に示すように、被検者の体腔内に挿入可能であるとともに、該体腔内に存在する生体組織等の被写体を撮像して画像データを取得するように構成されたスコープ2と、当該被写体へ出射される照明光をスコープ2に供給するように構成された光源装置3と、スコープ2により取得された画像データに応じた映像信号を生成して出力するように構成されたプロセッサ4と、プロセッサ4から出力される映像信号に応じた画像を表示するように構成された表示装置5と、ユーザの操作に応じた情報の入力等をプロセッサ4に対して行うことが可能な情報入力部としての機能を備えた入力装置6と、を有している。また、スコープ2の内部には、光源装置3から供給される光をスコープ2の先端部へ伝送するように構成されたライトガイド7が挿通されている。
 スコープ2は、例えば細長な挿入部を備えた内視鏡として構成されており、ライトガイド7により伝送された照明光を被写体に対して出射する照明光学系21と、当該照明光により照明された当該被写体からの戻り光を結像する対物光学系22と、対物光学系22の結像位置に撮像面が配置された撮像素子23と、撮像素子23の撮像面に取り付けられたカラーフィルタ23aと、対物光学系22とカラーフィルタ23aとの間の光路上に配置されたフィルタ切替装置24と、を先端部に有している。
 また、スコープ2は、内視鏡装置1の観察モードの切り替えに係る指示を行うことが可能なモード切替スイッチ25と、プロセッサ4の画像処理に用いられる所定の情報が予め格納されている記憶部26と、を有している。
 撮像素子23は、プロセッサ4から出力される撮像素子駆動信号に基づいて駆動することにより、被写体を撮像し、当該撮像した被写体に応じた撮像信号を生成してプロセッサ4へ出力するように構成されている。
 カラーフィルタ23aは、所定の分光感度特性(光学特性)をそれぞれ具備する複数のR(赤)フィルタ、G(緑)フィルタ、及び、B(青)フィルタを、撮像素子23の各画素に対応する位置にベイヤ配列で(市松状に)配置することにより形成されている。なお、本実施例においては、例えば、図2に示すような分光感度特性をそれぞれ具備するRフィルタ、Gフィルタ、及び、Bフィルタがカラーフィルタ23aに設けられているものとする。図2は、図1の内視鏡装置のカラーフィルタに設けられたRフィルタ、Gフィルタ、及び、Bフィルタの分光感度特性の一例を示す図である。
 カラーフィルタ23aのRフィルタは、赤色域から近赤外域までにおける透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図2参照)。すなわち、カラーフィルタ23aのRフィルタは、後述のFL光の波長帯域の透過率が他の波長帯域の透過率より相対的に高くなるように構成されている。
 カラーフィルタ23aのGフィルタは、緑色域における透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図2参照)。すなわち、カラーフィルタ23aのGフィルタは、後述のREF光の波長帯域の透過率が他の波長帯域の透過率より相対的に高くなるように構成されている。
 カラーフィルタ23aのBフィルタは、青色域における透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図2参照)。
 フィルタ切替装置24は、光源装置3から出力されるフィルタ切替信号に基づき、内視鏡装置1が白色光観察モードに切り替えられたことを検出した場合には、対物光学系22とカラーフィルタ23aとの間の光路上から励起光カットフィルタ24aを退避させる動作を行うように構成されている。また、フィルタ切替装置24は、対物光学系22とカラーフィルタ23aとの間の光路上から励起光カットフィルタ24aを退避している場合においては、対物光学系22を介して入射される各波長帯域の光をカラーフィルタ23a側へ透過させるように構成されている。
 一方、フィルタ切替装置24は、光源装置3から出力されるフィルタ切替信号に基づき、内視鏡装置1が蛍光観察モードに切り替えられたことを検出した場合には、対物光学系22とカラーフィルタ23aとの間の光路上に励起光カットフィルタ24aを介挿させる動作を行うように構成されている。
 また、フィルタ切替装置24は、対物光学系22とカラーフィルタ23aとの間の光路上に励起光カットフィルタ24aを介挿している場合においては、対物光学系22を介して入射される各波長帯域の光のうち、励起光カットフィルタ24aの光学特性に応じた所定の波長帯域の光のみをカラーフィルタ23a側へ透過させるように構成されている。具体的には、励起光カットフィルタ24aは、例えば、後述のNBX光を遮断する(NBX光の透過率が略0に設定されている)とともに、当該NBX光以外の波長帯域の光を略透過させる光学特性を具備して構成されている。
 モード切替スイッチ25は、内視鏡装置1の観察モードを、術者等の操作に応じて白色光観察モード及び蛍光観察モードから選択されたいずれか一方の観察モードに切り替えるための指示を行うことができるように構成されている。
 不揮発性メモリ等により構成される記憶部26には、後述のマトリクスMAUAを取得するための演算処理に用いられる所定の情報が予め格納されている。また、記憶部26は、スコープ2とプロセッサ4とが接続されたことを検出した際に、所定の情報をプロセッサ4へ出力するように構成されている。なお、記憶部26に格納される所定の情報の詳細については、後程説明する。
 光源装置3は、LED光源部31と、LED駆動部32と、LED光源部31において発せられた光を集光してライトガイド7へ供給する集光光学系33と、を有している。
 LED光源部31は、広帯域光であるWB光を発するLED31aと、狭帯域光であるNBX光を発するLED31bと、狭帯域光であるNBR光を発するLED31cと、光学素子31dと、光学素子31eと、を有して構成されている。
 LED31aは、例えば、白色LEDを具備し、白色光をWB光として発することができるように構成されている。
 LED31bは、蛍光プローブ等の所定の蛍光物質の励起波長を含む波長帯域の光をNBX光として発することができるように構成されている。
 LED31cは、NBX光と重複しない波長帯域の光をNBR光として発することができるように構成されている。
 光学素子31dは、例えばハーフミラー等により構成されており、LED31aから発せられたWB光を光学素子31e側へ透過させるとともに、LED31bから発せられたNBX光を光学素子31e側へ反射するような光学特性を具備している。
 光学素子31eは、例えばハーフミラー等により構成されており、光学素子31dを経て出射されたWB光及びNBX光を集光光学系33側へ透過させるとともに、LED31cから発せられたNBR光を集光光学系33側へ反射するような光学特性を具備している。
 LED駆動部32は、LED光源部31に設けられた各LEDを駆動させるための駆動電流を供給することができるように構成されている。また、LED駆動部32は、プロセッサ4から出力される調光信号に基づいてLED駆動部32からLED光源部31へ供給される駆動電流の大きさを変化させることにより、LED光源部31の各LEDから発せられる光(WB光、NBX光及びNBR光)の強度(光量)を変化させることができるように構成されている。さらに、LED駆動部32は、プロセッサ4から出力される調光信号に基づき、LED光源部31に設けられた各LEDを発光または消光させることができるように構成されている。
 プロセッサ4は、前処理部41と、A/D変換部42と、画像処理部43と、D/A変換部44と、調光部45と、モード切替制御部46と、撮像素子駆動部47と、フィルタ切替制御部48と、を有している。
 前処理部41は、スコープ2から出力される撮像信号に対して信号増幅及びノイズ除去等の処理を施し、当該処理を施した撮像信号をA/D変換部42及び調光部45へ出力するように構成されている。
 A/D変換部42は、前処理部41から出力されるアナログの撮像信号をデジタルの画像データに変換して画像処理部43へ出力するように構成されている。
 画像処理部43は、A/D変換部42から出力される画像データに対し、ガンマ補正及びエッジ強調等の処理を実施可能な機能を備えて構成されている。
 一方、画像処理部43は、スペクトル分布補正部43a及びマトリクス演算部43bを有して構成されている。
 補正処理部としての機能を備えたスペクトル分布補正部43aは、スコープ2とプロセッサ4との接続に伴って記憶部26から出力される所定の情報に基づいて後述の処理を行うことにより、スペクトル分布補正機能を具備するマトリクスCを取得する。
 画像分離処理部としての機能を備えたマトリクス演算部43bは、スコープ2とプロセッサ4との接続に伴って記憶部26から出力される所定の情報と、スペクトル分布補正部43aにより取得されたマトリクスCと、に基づいて後述の処理を行うことにより、スペクトル分布補正機能及び画像分離機能を兼ね備えたマトリクスMAUAを取得するための演算処理を行う。また、マトリクス演算部43bは、蛍光観察モードにおいて画像処理部43に入力される画像データに対してマトリクスMAUAを適用して演算を行い、さらに、当該演算の結果として得られた各波長帯域成分の画像データを表示装置5のRチャンネル、Gチャンネル、及び、Bチャンネルに割り当てる処理を行う。なお、マトリクス演算部43bの処理の詳細については、後程説明する。
 そして、画像処理部43は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1が蛍光観察モードに切り替えられたことを検出した場合には、マトリクス演算部43bの処理により表示装置5のR、G及びBの各色チャンネルに割り当てられた画像データに対し、ガンマ補正及びエッジ強調等の処理を施してD/A変換部44へ出力する。
 一方、画像処理部43は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1が白色光観察モードに切り替えられたことを検出した場合には、A/D変換部42から出力される画像データに含まれる各色成分を表示装置5のR、G及びBの各色チャンネルに割り当て、さらに、各色チャンネルに割り当てられた画像データに対し、ガンマ補正及びエッジ強調等の処理を施してD/A変換部44へ出力する。すなわち、本実施例の画像処理部43によれば、内視鏡装置1が白色光観察モードに切り替えられた場合には、マトリクスMAUAを用いた(マトリクス演算部43bによる)演算処理が行われないように構成されている。
 D/A変換部44は、画像処理部43から出力される画像データをアナログの映像信号に変換して表示装置5へ出力するように構成されている。
 調光部45は、前処理部41から出力される撮像信号の明るさに応じた調光信号を出力するように構成されている。具体的には、調光部45は、モード切替制御部46から出力されるモード切替信号と、前処理部41から出力される撮像信号とに基づき、内視鏡装置1が白色光観察モードに切り替えられたことを検出した場合には、LED31b及びLED31cを消光させるとともに、LED31aを白色光観察モードの観察に適した強度で発光させるための調光信号をLED駆動部32へ出力する。また、調光部45は、モード切替制御部46から出力されるモード切替信号と、前処理部41から出力される撮像信号とに基づき、内視鏡装置1が蛍光観察モードに切り替えられたことを検出した場合には、LED31aを消光させるとともに、LED31b及びLED31cを蛍光観察モードの観察に適した強度で同時に発光させるための調光信号をLED駆動部32へ出力する。
 モード切替制御部46は、モード切替スイッチ25において、内視鏡装置1の観察モードを白色光観察モードに切り替える旨の指示がなされたことを検出した場合には、白色光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、撮像素子駆動部47、及び、フィルタ切替制御部48の各部に対して出力する。また、モード切替制御部46は、モード切替スイッチ25において、内視鏡装置1の観察モードを蛍光観察モードに切り替える旨の指示がなされたことを検出した場合には、蛍光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、撮像素子駆動部47及びフィルタ切替制御部48の各部に対して出力する。
 撮像素子駆動部47は、モード切替制御部46から出力されるモード切替信号に基づき、現在選択されている観察モードに応じたタイミングで撮像動作を行わせるとともに、現在選択されている観察モードに応じたゲインを用いて撮像信号を生成させるような撮像素子駆動信号を撮像素子23へ出力する。
 フィルタ切替制御部48は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1が白色光観察モードに切り替えられたことを検出した場合には、対物光学系22とカラーフィルタ23aとの間の光路上から励起光カットフィルタ24aが退避されるように動作させるためのフィルタ切替信号をフィルタ切替装置24へ出力する。また、フィルタ切替制御部48は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1が蛍光観察モードに切り替えられたことを検出した場合には、対物光学系22とカラーフィルタ23aとの間の光路上に励起光カットフィルタ24aが介挿されるように動作させるためのフィルタ切替信号をフィルタ切替装置24へ出力する。
 次に、本実施例の内視鏡装置1の作用について説明する。
 術者等のユーザは、内視鏡装置1の各部を接続し、さらに、内視鏡装置1の各部の電源を投入した後においてモード切替スイッチ25を操作することにより、内視鏡装置1の観察モードを白色光観察モードに設定する。
 モード切替制御部46は、モード切替スイッチ25において、内視鏡装置1の観察モードを白色光観察モードに切り替える旨の指示がなされたことを検出すると、白色光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、撮像素子駆動部47、及び、フィルタ切替制御部48の各部に対して出力する。
 LED駆動部32は、調光部45から出力される調光信号に基づき、LED光源部31のLED31b及びLED31cを消光させるとともに、LED31aを白色光観察モードの観察に適した強度で発光させる。
 そして、このようなLED駆動部32の動作により、白色光観察モードにおいては、光源装置3から供給された照明光としてのWB光(白色光)がライトガイド7及び照明光学系21を経て被写体へ出射され、当該被写体へ出射されたWB光の反射光が観察対象部位101からの戻り光として対物光学系22に入射される。
 一方、フィルタ切替装置24は、フィルタ切替制御部48から出力されるフィルタ切替信号に基づき、対物光学系22とカラーフィルタ23aとの間の光路上から励起光カットフィルタ24aを退避させるように動作する。
 そのため、白色光観察モードにおいては、カラーフィルタ23aに入射されたWB光がR光、G光及びB光の3つの色成分の光に分光され、当該分光された3つの色成分の光が撮像素子23の撮像面で受光され、さらに、当該受光された3つの色成分の光を撮像して得た撮像信号が撮像素子23から出力される。
 前処理部41は、スコープ2から出力される撮像信号に対して信号増幅及びノイズ除去等の処理を施し、当該処理を施した撮像信号をA/D変換部42へ出力する。
 A/D変換部42は、前処理部41から出力されるアナログの撮像信号をデジタルの画像データに変換して画像処理部43へ出力する。そして、このようなA/D変換部42の処理により、撮像素子23の撮像面で受光されたR光、G光及びB光の強度に応じた赤色成分RCと、緑色成分GCと、青色成分BCと、を含む画像データが生成される。
 画像処理部43は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1が白色光観察モードに切り替えられたことを検出すると、A/D変換部42から出力される画像データに含まれるRC、GC及びBCの各色成分を表示装置5のR、G及びBの各色チャンネルに割り当て、さらに、当該各色チャンネルに割り当てられた画像データに対し、ガンマ補正及びエッジ強調等の処理を施してD/A変換部44へ出力する。
 そして、表示装置5は、D/A変換部44を経て出力された映像信号に応じた被写体の画像を表示する。
 すなわち、以上に述べたような動作等が白色光観察モードにおいて行われることにより、白色光観察モードに対応した観察画像(カラー画像)が表示装置5に表示される。
 一方、ユーザは、蛍光観察モードによる観察対象部位101の観察を開始する前に、癌等の病変組織に集積する蛍光プローブ(蛍光物質)を被検者(観察対象部位101)に投与する。なお、本実施例における蛍光プローブ(蛍光物質)の励起波長は、NBX光の波長帯域に含まれているものとする。また、本実施例における蛍光プローブ(蛍光物質)がNBX光により励起された際に、NBR光と重複しない波長帯域の蛍光が発せられるものとする。
 また、ユーザは、表示装置5に表示される白色光観察モードの観察画像を見ながらスコープ2の挿入操作を行うことにより、被検体内における所望の観察対象部位101の近傍にスコープ2の先端部を配置させる。そして、このような状態において、ユーザ等は、モード切替スイッチ25を操作することにより、内視鏡装置1の観察モードを蛍光観察モードに切り替える指示を行う。
 モード切替制御部46は、モード切替スイッチ25において、内視鏡装置1の観察モードを蛍光観察モードに切り替える旨の指示がなされたことを検出すると、蛍光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、撮像素子駆動部47、及び、フィルタ切替制御部48の各部に対して出力する。
 LED駆動部32は、調光部45から出力される調光信号に基づき、LED光源部31のLED31aを消光させるとともに、LED31b及びLED31cを蛍光観察モードの観察に適した強度となるように同時に発光させる。
 そして、このようなLED駆動部32の動作により、蛍光観察モードにおいては、光源装置3から供給されたNBX光及びNBR光がライトガイド7及び照明光学系21を経て観察対象部位101へ出射される。このとき、照明光学系21から出射されたNBX光が励起光として作用し、照明光学系21から出射されたNBR光が参照光として作用することにより、蛍光としてのFL光と、NBR光の反射光であるREF光と、の混合光が観察対象部位101からの戻り光として対物光学系22に入射される。
 一方、フィルタ切替装置24は、フィルタ切替制御部48から出力されるフィルタ切替信号に基づき、対物光学系22とカラーフィルタ23aとの間の光路上に励起光カットフィルタ24aを介挿させるように動作する。
 そして、このようなフィルタ切替装置24の動作により、蛍光観察モードにおいては、励起光カットフィルタ24a及びカラーフィルタ23aのRフィルタを通過した光と、励起光カットフィルタ24a及びカラーフィルタ23aのGフィルタを通過した光と、励起光カットフィルタ24a及びカラーフィルタ23aのBフィルタを通過した光と、が撮像素子23の撮像面で受光され、さらに、当該受光した各光を撮像して得た撮像信号が撮像素子23から出力される。
 すなわち、撮像素子23及びカラーフィルタ23aは、観察対象部位101に対する照明光の照射に伴って発生する複数の波長帯域成分を含む戻り光を、各色成分毎に異なる分光感度で受光して撮像する撮像部として機能する。
 前処理部41は、スコープ2から出力される撮像信号に対して信号増幅及びノイズ除去等の処理を施し、当該処理を施した撮像信号をA/D変換部42へ出力する。
 A/D変換部42は、前処理部41から出力されるアナログの撮像信号をデジタルの画像データに変換して画像処理部43へ出力する。そして、このようなA/D変換部42の処理により、撮像素子23の撮像面で受光されたFL光及びREF光の強度に応じた赤色成分RDと、緑色成分GDと、青色成分BDと、を含む画像データが生成される。
 画像処理部43は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1が蛍光観察モードに切り替えられたことを検出すると、マトリクスMAUAを用いた演算処理をマトリクス演算部43bにおいて実施させるように動作する。
 ここで、スペクトル分布補正機能及び画像分離機能を兼ね備えたマトリクスMAUAの取得に係る処理の具体例について説明する。なお、マトリクスMAUAの取得に係る処理の具体例として以下に説明する処理は、内視鏡装置1の観察モードが蛍光観察モードに切り替えられる前のいずれかのタイミングで実施されるものとする。
 記憶部26は、スコープ2とプロセッサ4とが接続されたことを検出した際に、マトリクスMAUAを取得するための演算処理に用いられる所定の情報として、例えば、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、蛍光観察モードにおいて被写体から発せられる戻り光であるFL光及びREF光のスペクトル分布を示す情報と、をプロセッサ4の画像処理部43へ出力する。
 スペクトル分布補正部43aは、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)を備えた撮像素子23の分光感度特性を示す情報と、蛍光観察モードにおいて被写体から発せられるFL光及びREF光のスペクトル分布を示す情報と、に基づき、蛍光観察モードにおいて画像処理部43に入力される画像データに含まれる赤色成分RD、緑色成分GD及び青色成分BDのスペクトル分布を取得する。
 また、スペクトル分布補正部43aは、前述のように取得した赤色成分RD、緑色成分GD及び青色成分BDのスペクトル分布を所定の手法で正規化する。
 具体的には、例えば、550nm付近のピーク波長を具備する緑色域の光がREF光として発せられ、660nm付近のピーク波長を具備する赤色域の光がFL光として発せられ、さらに、REF光のピーク波長及びFL光のピーク波長における信号強度のピーク値をそれぞれ1.0にするような手法で正規化を行った場合においては、赤色成分RD、緑色成分GD及び青色成分BDのスペクトル分布がそれぞれ図3に示すように正規化される。図3は、正規化された赤色成分RD、緑色成分GD及び青色成分BDのスペクトル分布の例を示す図である。
 図3によれば、各色成分毎の信号に応じて得られるスペクトル分布が、660nm付近のピーク波長を具備するFL光の帯域において相互に異なっている。そして、このような各色成分間のスペクトル分布の相異は、FL光の波長帯域における撮像素子23(カラーフィルタ23aの各フィルタ)の各色成分毎の分光感度がそれぞれ異なる波長分布を有していることに起因して発生する。従って、マトリクス演算部43bによる画像分離を好適に実施させるには、図3に例示したような各色成分間のスペクトル分布の相異を、画像分離に係る処理が実施される前に予め補正しておく必要がある。
 そこで、スペクトル分布補正部43aは、正規化されたスペクトル分布の形状を相互に一致させるように各係数を設定した、3行3列のマトリクスCを取得する。
 具体的には、スペクトル分布補正部43aは、例えば、図3に示した各色成分のスペクトル分布の形状が図4に示すような形状となるように各係数を設定した、3行3列のマトリクスCを取得する。図4は、図3における赤色成分RD及び緑色成分GDのスペクトル分布の形状を、青色成分BDのスペクトル分布の形状に一致させた場合の例を示す図である。
 なお、スペクトル分布補正部43aは、赤色成分RD、緑色成分GD及び青色成分BDの中から選択した任意の1つの色成分のスペクトル分布の形状に対し、他の2つの色成分のスペクトル分布の形状を一致させるように各係数を設定したマトリクスCを取得してもよく、または、赤色成分RD、緑色成分GD及び青色成分BDのスペクトル分布の形状を所定の形状にそれぞれ一致させるように各係数を設定したマトリクスCを取得してもよい。
 以上に述べたようなスペクトル分布補正部43aの処理を経て取得されるマトリクスCは、正規化される前の各色成分(赤色成分RD、緑色成分GD及び青色成分BD)のスペクトル分布、すなわち、蛍光観察モード時に撮像素子23の撮像面で受光されるFL光及びREF光に基づいて生成される画像データの各色成分(赤色成分RD、緑色成分GD及び青色成分BD)のスペクトル分布の形状が互いに相似な形状となるように補正可能なスペクトル分布補正機能を具備している。
 一方、マトリクス演算部43bは、以上に述べたようなスペクトル分布補正部43aの処理により取得された3行3列のマトリクスCと、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、蛍光観察モードにおいて被写体から発せられるFL光及びREF光のスペクトル分布を示す情報と、に基づいて以下のような処理等を行うことによりマトリクスMAUAを取得する。
 まず、マトリクス演算部43bは、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、蛍光観察モードにおいて被写体から発せられるFL光及びREF光のスペクトル分布を示す情報と、に基づき、蛍光観察モードにおいて画像処理部43に入力される画像データIRGBに含まれる赤色成分RD、緑色成分GD及び青色成分BDの強度に対応するマトリクスを以下の数式(1)のように定める。なお、以下の数式(1)において、RFLはカラーフィルタ23aのRフィルタを経て受光されたFL光の波長成分に基づく赤色成分の強度を表し、GFLはカラーフィルタ23aのGフィルタを経て受光されたFL光の波長成分に基づく緑色成分の強度を表し、BFLはカラーフィルタ23aのBフィルタを経て受光されたFL光の波長成分に基づく青色成分の強度を表し、RREFはカラーフィルタ23aのRフィルタを経て受光されたREF光の波長成分に基づく赤色成分の強度を表し、GREFはカラーフィルタ23aのGフィルタを経て受光されたREF光の波長成分に基づく緑色成分の強度を表し、BREFはカラーフィルタ23aのBフィルタを経て受光されたREF光の波長成分に基づく青色成分の強度を表すものとする。

Figure JPOXMLDOC01-appb-I000001

 ここで、蛍光観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、相互に独立した2つの色成分の画像データを分離するためのマトリクスがMAUとして設定され、さらに、分離後の2つの色成分の画像データを示すマトリクスがSとして設定された場合、以下の数式(2)及び(3)に示すような関係が成立する。

Figure JPOXMLDOC01-appb-I000002
Figure JPOXMLDOC01-appb-I000003

 そして、マトリクス演算部43bは、上記の数式(2)及び(3)に基づく以下の数式(4)の演算を行うことにより、2行3列のマトリクスMAUを求める。なお、以下の数式(4)における(C・IRGBは、3行3列のマトリクスCと、上記の数式(1)として示したような3行2列のマトリクスIRGBと、の積の擬似逆行列を表すものとする。

Figure JPOXMLDOC01-appb-I000004

 上記の数式(4)の演算を経て求められるマトリクスMAUを用いた処理によれば、蛍光観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、FL光の波長成分に基づく赤色成分FLRDのみを含む画像データを分離することができる。
 また、上記の数式(4)の演算を経て求められるマトリクスMAUを用いた処理によれば、蛍光観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、REF光の波長成分に基づく緑色成分REFGDのみを含む画像データを分離することができる。
 ところで、上記の数式(4)の演算を経て求められるマトリクスMAUを用いた処理によれば、前述の赤色成分FLRD及び緑色成分REFGDの画像データをそれぞれ得ることができる一方で、青色成分の画像データを得ることができない。そのため、本実施例のマトリクス演算部43bは、前述の緑色成分REFGDの画像データと同じ強度を具備する青色成分REFBDの画像データを得ることができるように係数が設定された、以下の数式(5)として表されるような3行3列のマトリクスMAUAを取得する。なお、以下の数式(5)における係数M11、M12、M13、M21、M22、及び、M23は、上記の数式(4)の演算を経て求められる2行3列のマトリクスMAUに含まれる各係数と同じ値であるとする。

Figure JPOXMLDOC01-appb-I000005

 すなわち、マトリクス演算部43bは、3行3列のマトリクスCと、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、蛍光観察モードにおいて被写体から発せられるFL光及びREF光のスペクトル分布を示す情報と、に基づいて以上に述べたような処理等を行うことにより、上記の数式(5)として表されるようなマトリクスMAUAを取得する。
 そして、マトリクス演算部43bは、蛍光観察モードにおいて画像処理部43に入力される画像データに含まれる赤色成分RD、緑色成分GD及び青色成分BDに対し、予め取得したマトリクスMAUAを適用して演算を行うことにより、以下の数式(6)として表されるような、係数M11、M12及びM13に応じた強度を具備する赤色成分FLRDの画像データと、係数M21、M22及びM23に応じた強度を具備する緑色成分REFGDの画像データと、係数M21、M22及びM23に応じた強度を具備する青色成分REFBDの画像データと、を取得する。

Figure JPOXMLDOC01-appb-I000006

 また、マトリクス演算部43bは、赤色成分FLRDの画像データを表示装置5のRチャンネルに割り当て、緑色成分REFGDの画像データを表示装置5のGチャンネルに割り当て、青色成分REFBDの画像データを表示装置5のBチャンネルに割り当てる。
 その後、画像処理部43は、マトリクス演算部43bの処理により表示装置5のR、G及びBの各色チャンネルに割り当てられた画像データに対し、ガンマ補正及びエッジ強調等の処理を施してD/A変換部44へ出力する。
 そして、表示装置5は、D/A変換部44を経て出力された映像信号に応じた被写体の画像を表示する。
 すなわち、以上に述べたような動作等が蛍光観察モードにおいて行われることにより、蛍光観察モードに対応した観察画像(擬似カラー画像)が表示装置5に表示される。
 ところで、カラーフィルタ23aのRフィルタ、Gフィルタ及びBフィルタは、それぞれ可視域から近赤外域にかけての広い帯域に透過特性を有している。そのため、本実施例の蛍光観察モード時に画像処理部43に入力される赤色成分RDには、カラーフィルタ23aのRフィルタを経て受光されたFL光の波長成分に基づく成分と、カラーフィルタ23aのRフィルタを経て受光されたREF光の波長成分に基づく成分と、が混在している。また、本実施例の蛍光観察モード時に画像処理部43に入力される画像データに含まれる緑色成分GDには、カラーフィルタ23aのGフィルタを経て受光されたFL光の波長成分に基づく成分と、カラーフィルタ23aのGフィルタを経て受光されたREF光の波長成分に基づく成分と、が混在している。そのため、もし仮に、赤色成分RDをそのまま表示装置5のRチャンネルに割り当て、かつ、緑色成分GDをそのまま表示装置5のGチャンネルに割り当てた場合、本来意図した色調の観察画像が表示されない場合がある、という問題点が生じる。
 そして、本実施例によれば、前述のような問題点を解消するために、表示装置5のR、G及びBチャンネルに色成分が割り当てられる前に、画像分離機能を具備するマトリクスMAUAを用いた処理がマトリクス演算部43bにおいて行われることにより、各波長帯域成分毎に相互に独立した画像データである、赤色成分FLRD及び緑色成分REFGDの画像データをそれぞれ得ることができる。
 また、本実施例によれば、マトリクスMAUAがスペクトル分布補正機能及び画像分離機能の2つの機能を兼ね備えることにより、赤色成分FLRD及び緑色成分REFGDの画像データを、各波長帯域成分毎に相互に独立した画像データであり、かつ、カラーフィルタ23aに含まれる各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性と、カラーフィルタ23aに入射される戻り光(FL光及びREF光)の波長帯域と、の組み合わせに起因して生じる混色が解消された画像データとして得ることができる。
 ところで、上記の数式(2)及び数式(4)にそれぞれ含まれるマトリクスCは、スペクトル分布補正機能をマトリクスMAUAに含ませるために、例えば、各色成分の信号間のスペクトル分布を一致させるような各係数を具備するマトリクスとして設定される。これに対し、例えば、マトリクスCが単位行列であると仮定した場合、すなわち、マトリクスMAUAが実質的にスペクトル分布補正機能を具備しないと仮定した場合には、マトリクスMAUAを用いた演算が行われることにより、図5のようなスペクトル分布を具備する各色成分の信号の出力値が得られる。図5は、スペクトル分布補正機能を具備しないマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の一例を示す図である。
 図5のR成分のスペクトル分布によれば、660nm付近のピーク波長を具備する赤色域の光としてのFL光に相当する波長帯域成分以外の他の波長帯域成分の出力値が0付近からほとんど変動しておらず、すなわち、FL光の波長成分については適切に分離されている。
 また、図5のG成分(B成分)のスペクトル分布によれば、550nm付近のピーク波長を具備する緑色域の光としてのREF光に相当する波長帯域成分以外に、FL光に相当する波長帯域成分においても明確な出力値の変動が生じており、すなわち、REF光の波長成分については適切に分離されていないことがわかる。
 一方、本実施例によれば、スペクトル分布補正機能を具備するマトリクスMAUAを用いた演算が行われることにより、例えば、図6のようなスペクトル分布を具備する各色成分の信号の出力値が得られる。図6は、スペクトル分布補正機能を具備するマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の一例を示す図である。
 図6のR成分のスペクトル分布によれば、660nm付近のピーク波長を具備する赤色域の光としてのFL光に相当する波長帯域成分以外の他の波長帯域成分の出力値が0付近からほとんど変動しておらず、すなわち、FL光の波長成分については適切に分離されている。
 また、図6のG成分(B成分)のスペクトル分布によれば、550nm付近のピーク波長を具備する緑色域の光としてのREF光に相当する波長帯域成分以外の他の波長帯域成分(FL光に相当する波長帯域成分)における明確な出力値の変動が生じておらず、すなわち、REF光の波長成分についても適切に分離されていることがわかる。
 従って、本実施例によれば、同時式の撮像方式により得られる複数の色成分を含む画像を、相互に独立した各波長帯域成分毎の画像として好適に分離することができる。
 なお、本実施例に係る内視鏡装置1は、スコープ2とプロセッサ4とが接続された際に、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、蛍光観察モードにおいて被写体から発せられる戻り光であるFL光及びREF光のスペクトル分布を示す情報と、が記憶部26から出力され、さらに、当該出力された各情報に基づいてマトリクスCの取得等に係る処理が行われるような構成を具備するものに限らない。
 具体的には、本実施例に係る内視鏡装置1は、例えば、スコープ2に設けられた撮像素子23(及びカラーフィルタ23a)の種類を識別可能な撮像素子識別情報と、スコープ2による観察に対応した(励起光カットフィルタ24aの透過波長帯域に適合した)蛍光プローブの種類を識別可能な蛍光プローブ識別情報と、を予め記憶部26に記憶させておくとともに、撮像素子の種類と蛍光プローブの種類との組み合わせに応じて予め算出した複数のマトリクスCをスペクトル分布補正部43aに記憶させておくような構成を具備していてもよい。そして、このような構成によれば、スペクトル分布補正部43aは、スコープ2とプロセッサ4とが接続された際に記憶部26から出力される撮像素子識別情報及び蛍光プローブ識別情報に基づき、マトリクスMAUAの取得に係る処理に用いられる1つのマトリクスCを、予め算出された複数のマトリクスCの中から簡易かつ高速に取得できる。
 なお、本実施例によれば、蛍光観察モードにおいて使用される蛍光プローブに関する情報(例えば蛍光薬剤の名称または識別コード等)が入力装置6の操作により入力され、当該入力された蛍光プローブの情報に応じたマトリクスCが(スペクトル分布補正部43aにより)設定されるような構成を具備していてもよい。
 また、本実施例によれば、マトリクスMAUAの各係数を、入力装置6の入力操作に応じた任意の値に変更できるように構成してもよい。
 また、本実施例によれば、例えば、NBX光の波長帯域に含まれる相互に略同一の励起波長を具備するとともに、相互に異なる蛍光波長を具備するような複数の蛍光プローブの蛍光像を撮像できるようにスコープ2が構成されている場合において、当該複数の蛍光プローブの中から選択した1つの蛍光プローブの情報を入力装置6の操作により入力できるようにし、さらに、当該入力された蛍光プローブの情報と前述の撮像素子識別情報とに基づき、予め算出された複数のマトリクスCの中から、マトリクスMAUAの取得に係る処理に用いられる1つのマトリクスCが(スペクトル分布補正部43aにより)取得される(選択される)ような構成を具備していてもよい。
 また、前述のような処理を経て取得されたマトリクスMAUAは、Cy5、Cy5.5、Cy7、ICG、及び、IR-Dye800等の、赤色域から近赤外域の間の蛍光波長を具備する蛍光プローブを観察対象部位101に投与して観察を行う場合に適合したものとなっている。但し、例えば、マトリクスMAUAの取得に係る処理の一部を適宜変更することにより、フルオレセイン等の緑色域の蛍光波長を具備する蛍光プローブを観察対象部位101に投与して観察を行う場合に適合したマトリクスMAUAを取得することもできる。なお、このような場合においては、FL光が緑色域の光になることを考慮し、REF光の波長帯域を、例えば赤色域のような、FL光に対して重複しない波長帯域に設定することが望ましい。
 また、本実施例は、例えば、観察対象部位101に投与されたフルオレセインから発せられる緑色域の蛍光と、観察対象部位101に投与されたICGから発せられる近赤外域の蛍光と、を同時に観察するような場合、すなわち、相互に異なる蛍光波長を具備する複数の蛍光プローブが投与された被写体から発せられる蛍光を同時に観察するような場合においても適用できる。
 また、本実施例により取得されるマトリクスC及びマトリクスMAUAは、蛍光観察モードにおいて発生する戻り光としてのFL光及びREF光に適合するように各係数が設定されるものに限らず、例えば、生体粘膜の表層に存在する毛細血管及び生体粘膜の表層よりも深い位置(以降、中層とも称する)に存在する血管を観察する狭帯域光観察モードにおいて発生する戻り光(反射光)としての青色の狭帯域光及び緑色の狭帯域光に適合するように各係数が設定されるものであってもよい。このような場合の具体例について以下に説明する。図7は、本発明の実施例における第1の変形例に係る内視鏡装置の要部の構成を示す図である。なお、以降においては、簡単のため、内視鏡装置1に係る既述の構成等を適用可能な部分に関する詳細な説明を省略するとともに、内視鏡装置1とは異なる構成等に有する部分に関して主に説明を行う。
 内視鏡装置1Aは、図7に示すように、スコープ2からフィルタ切替装置24を除いて構成されたスコープ2Aと、光源装置3のLED光源部31をLED光源部311に置き換えて構成された光源装置3Aと、プロセッサ4からフィルタ切替制御部48を除いて構成されたプロセッサ4Aと、を有している。
 スコープ2Aのモード切替スイッチ25は、内視鏡装置1Aの観察モードを、術者等の操作に応じて白色光観察モード及び狭帯域光観察モードから選択されたいずれか一方の観察モードに切り替えるための指示を行うことができるように構成されている。
 LED光源部311は、広帯域光であるWB光を発するLED31aと、生体粘膜の中層に存在する血管を観察可能な光であるNBG光を発するLED31fと、生体粘膜の表層に存在する毛細血管を観察可能な光であるNBB光を発するLED31gと、光学素子31hと、光学素子31iと、を有して構成されている。
 LED31fは、例えば、中心波長が540nmに設定された狭帯域な光をNBG光として発することができるように構成されている。
 LED31gは、例えば、中心波長が415nmに設定された狭帯域な光をNBB光として発することができるように構成されている。
 光学素子31hは、例えばハーフミラー等により構成されており、LED31aから発せられたWB光を光学素子31i側へ透過させるとともに、LED31fから発せられたNBG光を光学素子31i側へ反射するような光学特性を具備している。
 光学素子31iは、例えばハーフミラー等により構成されており、光学素子31hを経て出射されたWB光及びNBG光を集光光学系33側へ透過させるとともに、LED31gから発せられたNBB光を集光光学系33側へ反射するような光学特性を具備している。
 プロセッサ4Aのスペクトル分布補正部43aは、スコープ2Aとプロセッサ4Aとの接続に伴って記憶部26から出力される所定の情報に基づいて処理を行うことにより、スペクトル分布補正機能を具備するマトリクスCaを取得する。
 プロセッサ4Aのマトリクス演算部43bは、スコープ2Aとプロセッサ4Aとの接続に伴って記憶部26から出力される所定の情報と、スペクトル分布補正部43aにより取得されたマトリクスCaと、に基づいて処理を行うことにより、スペクトル分布補正機能及び画像分離機能を兼ね備えたマトリクスMAUBを取得するための演算処理を行う。また、プロセッサ4Aのマトリクス演算部43bは、狭帯域光観察モードにおいて画像処理部43に入力される画像データに対してマトリクスMAUBを適用して演算を行い、さらに、当該演算の結果として得られた各波長帯域成分の画像データを表示装置5のRチャンネル、Gチャンネル、及び、Bチャンネルに割り当てる処理を行う。
 プロセッサ4Aの調光部45は、モード切替制御部46から出力されるモード切替信号と、前処理部41から出力される撮像信号とに基づき、内視鏡装置1Aが白色光観察モードに切り替えられたことを検出した場合には、LED31f及びLED31gを消光させるとともに、LED31aを白色光観察モードの観察に適した強度で発光させるための調光信号をLED駆動部32へ出力する。また、プロセッサ4Aの調光部45は、モード切替制御部46から出力されるモード切替信号と、前処理部41から出力される撮像信号とに基づき、内視鏡装置1Aが狭帯域光観察モードに切り替えられたことを検出した場合には、LED31aを消光させるとともに、LED31f及びLED31gを狭帯域光観察モードの観察に適した強度で同時に発光させるための調光信号をLED駆動部32へ出力する。
 プロセッサ4Aのモード切替制御部46は、モード切替スイッチ25において、内視鏡装置1Aの観察モードを白色光観察モードに切り替える旨の指示がなされたことを検出した場合には、白色光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、及び、撮像素子駆動部47の各部に対して出力する。また、プロセッサ4Aのモード切替制御部46は、モード切替スイッチ25において、内視鏡装置1Aの観察モードを狭帯域光観察モードに切り替える旨の指示がなされたことを検出した場合には、狭帯域光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、及び、撮像素子駆動部47の各部に対して出力する。
 次に、第1の変形例の内視鏡装置1Aの作用について説明する。なお、内視鏡装置1Aの観察モードが白色光観察モードに設定された場合の各部の動作等については、内視鏡装置1と同様であるため、説明を省略する。
 ユーザは、表示装置5に表示される白色光観察モードの観察画像を見ながらスコープ2Aの挿入操作を行うことにより、被検体内における所望の観察対象部位101の近傍にスコープ2Aの先端部を配置させる。そして、このような状態において、ユーザ等は、モード切替スイッチ25を操作することにより、内視鏡装置1Aの観察モードを狭帯域光観察モードに切り替える指示を行う。
 モード切替制御部46は、モード切替スイッチ25において、内視鏡装置1Aの観察モードを狭帯域光観察モードに切り替える旨の指示がなされたことを検出すると、狭帯域光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、及び、撮像素子駆動部47の各部に対して出力する。
 LED駆動部32は、調光部45から出力される調光信号に基づき、LED光源部31のLED31aを消光させるとともに、LED31f及びLED31gを狭帯域光観察モードの観察に適した強度となるように同時に発光させる。
 そして、このようなLED駆動部32の動作により、狭帯域光観察モードにおいては、光源装置3Aから供給されたNBG光及びNBB光がライトガイド7及び照明光学系21を経て観察対象部位101へ出射されるとともに、NBG光の反射光であるREG光と、NBB光の反射光であるREB光と、の混合光が観察対象部位101からの戻り光として対物光学系22に入射される。
 一方、撮像素子23は、カラーフィルタ23aのRフィルタを通過した光と、カラーフィルタ23aのGフィルタを通過した光と、カラーフィルタ23aのBフィルタを通過した光と、をそれぞれ受光し、当該受光した各光を撮像して得た撮像信号を生成して出力する。
 前処理部41は、スコープ2Aから出力される撮像信号に対して信号増幅及びノイズ除去等の処理を施し、当該処理を施した撮像信号をA/D変換部42へ出力する。
 A/D変換部42は、前処理部41から出力されるアナログの撮像信号をデジタルの画像データに変換して画像処理部43へ出力する。そして、このようなA/D変換部42の処理により、撮像素子23(の撮像面)において受光されたREG光及びREB光の強度に応じた赤色成分RD1と、緑色成分GD1と、青色成分BD1と、を含む画像データが生成される。
 画像処理部43は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1Aが狭帯域光観察モードに切り替えられたことを検出すると、マトリクスMAUBを用いた演算処理をマトリクス演算部43bにおいて実施させるように動作する。
 ここで、スペクトル分布補正機能及び画像分離機能を兼ね備えたマトリクスMAUBの取得に係る処理について説明する。なお、マトリクスMAUBの取得に係る処理は、内視鏡装置1Aの観察モードが狭帯域光観察モードに切り替えられる前のいずれかのタイミングで実施されるものとする。
 記憶部26は、スコープ2Aとプロセッサ4Aとが接続されたことを検出した際に、マトリクスMAUBを取得するための演算処理に用いられる所定の情報として、例えば、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、狭帯域光観察モードにおいて被写体から発せられる戻り光であるREG光及びREB光のスペクトル分布を示す情報と、をプロセッサ4Aの画像処理部43へ出力する。
 スペクトル分布補正部43aは、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)を備えた撮像素子23の分光感度特性を示す情報と、狭帯域光観察モードにおいて被写体から発せられるREG光及びREB光のスペクトル分布を示す情報と、に基づき、狭帯域光観察モードにおいて画像処理部43に入力される画像データに含まれる赤色成分RD1、緑色成分GD1及び青色成分BD1のスペクトル分布を取得する。
 また、スペクトル分布補正部43aは、前述のように取得した赤色成分RD1、緑色成分GD1及び青色成分BD1のスペクトル分布を既述の手法(各ピーク波長における信号強度のピーク値をそれぞれ1.0にするような手法)で正規化する。そして、このような正規化が行われることにより、各色成分間のスペクトル分布の相異が顕在化する。
 さらに、スペクトル分布補正部43aは、正規化されたスペクトル分布の形状を相互に一致させるように各係数を設定した、3行3列のマトリクスCaを取得する。
 以上に述べたようなスペクトル分布補正部43aの処理を経て取得されるマトリクスCaは、正規化される前の各色成分(赤色成分RD1、緑色成分GD1及び青色成分BD1)のスペクトル分布、すなわち、狭帯域光観察モード時に撮像素子23の撮像面で受光されるREG光及びREB光に基づいて生成される画像データの各色成分(赤色成分RD1、緑色成分GD1及び青色成分BD1)のスペクトル分布の形状が互いに相似な形状となるように補正可能なスペクトル分布補正機能を具備している。
 一方、マトリクス演算部43bは、以上に述べたようなスペクトル分布補正部43aの処理により取得された3行3列のマトリクスCaと、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、狭帯域光観察モードにおいて被写体から発せられるREG光及びREB光のスペクトル分布を示す情報と、に基づいて以下のような処理等を行うことによりマトリクスMAUBを取得する。
 まず、マトリクス演算部43bは、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、狭帯域光観察モードにおいて被写体から発せられるREG光及びREB光のスペクトル分布を示す情報と、に基づき、狭帯域光観察モードにおいて画像処理部43に入力される画像データI’RGBに含まれる赤色成分RD1、緑色成分GD1及び青色成分BD1の強度に対応するマトリクスを以下の数式(7)のように定める。なお、以下の数式(7)において、RREBはカラーフィルタ23aのRフィルタを経て受光されたREB光の波長成分に基づく赤色成分の強度を表し、GREBはカラーフィルタ23aのGフィルタを経て受光されたREB光の波長成分に基づく緑色成分の強度を表し、BREBはカラーフィルタ23aのBフィルタを経て受光されたREB光の波長成分に基づく青色成分の強度を表し、RREGはカラーフィルタ23aのRフィルタを経て受光されたREG光の波長成分に基づく赤色成分の強度を表し、GREGはカラーフィルタ23aのGフィルタを経て受光されたREG光の波長成分に基づく緑色成分の強度を表し、BREGはカラーフィルタ23aのBフィルタを経て受光されたREG光の波長成分に基づく青色成分の強度を表すものとする。

Figure JPOXMLDOC01-appb-I000007

 ここで、狭帯域光観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、相互に独立した2つの色成分の画像データを分離するためのマトリクスがMAUbとして設定され、さらに、分離後の2つの色成分の画像データを示すマトリクスがSとして設定された場合、以下の数式(8)及び(9)に示すような関係が成立する。

Figure JPOXMLDOC01-appb-I000008
Figure JPOXMLDOC01-appb-I000009

 そして、マトリクス演算部43bは、上記の数式(8)及び(9)に基づく以下の数式(10)の演算を行うことにより、2行3列のマトリクスMAUbを求める。なお、以下の数式(10)における(Ca・I’RGBは、3行3列のマトリクスCと、上記の数式(7)として示したような3行2列のマトリクスI’RGBと、の積の擬似逆行列を表すものとする。

Figure JPOXMLDOC01-appb-I000010

 上記の数式(10)の演算を経て求められるマトリクスMAUbを用いた処理によれば、狭帯域光観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、REB光の波長成分に基づく青色成分REBBDのみを含む画像データを分離することができる。
 また、上記の数式(10)の演算を経て求められるマトリクスMAUbを用いた処理によれば、狭帯域光観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、REG光の波長成分に基づく緑色成分REGGDのみを含む画像データを分離することができる。
 ところで、上記の数式(10)の演算を経て求められるマトリクスMAUbを用いた処理によれば、前述の青色成分REBBD及び緑色成分REGGDの画像データをそれぞれ得ることができる一方で、赤色成分の画像データを得ることができない。そのため、第1の変形例のマトリクス演算部43bは、例えば、前述の緑色成分REGGDの画像データと同じ強度を具備する赤色成分RERRDの画像データを得ることができるように係数が設定された、以下の数式(11)として表されるような3行3列のマトリクスMAUBを取得する。なお、以下の数式(11)における係数M31、M32、M33、M41、M42、及び、M43は、上記の数式(10)の演算を経て求められる2行3列のマトリクスMAUbに含まれる各係数と同じ値であるとする。

Figure JPOXMLDOC01-appb-I000011

 すなわち、マトリクス演算部43bは、3行3列のマトリクスCaと、カラーフィルタ23aの各フィルタ(Rフィルタ、Gフィルタ及びBフィルタ)の分光感度特性を示す情報と、狭帯域光観察モードにおいて被写体から発せられるREG光及びREB光のスペクトル分布を示す情報と、に基づいて以上に述べたような処理等を行うことにより、上記の数式(11)として表されるようなマトリクスMAUBを取得する。
 そして、マトリクス演算部43bは、狭帯域光観察モードにおいて画像処理部43に入力される画像データに含まれる赤色成分RD1、緑色成分GD1及び青色成分BD1に対し、予め取得したマトリクスMAUBを適用して演算を行うことにより、以下の数式(12)として表されるような、係数M31、M32及びM33に応じた強度を具備する赤色成分RERRDの画像データと、係数M31、M32及びM33に応じた強度を具備する緑色成分REGGDの画像データと、係数M41、M42及びM43に応じた強度を具備する青色成分REBBDの画像データと、を取得する。

Figure JPOXMLDOC01-appb-I000012

 また、マトリクス演算部43bは、赤色成分RERRDの画像データを表示装置5のRチャンネルに割り当て、緑色成分REGGDの画像データを表示装置5のGチャンネルに割り当て、青色成分REBBDの画像データを表示装置5のBチャンネルに割り当てる。
 その後、画像処理部43は、マトリクス演算部43bの処理により表示装置5のR、G及びBの各色チャンネルに割り当てられた画像データに対し、ガンマ補正及びエッジ強調等の処理を施してD/A変換部44へ出力する。
 そして、表示装置5は、D/A変換部44を経て出力された映像信号に応じた被写体の画像を表示する。
 すなわち、以上に述べたような動作等が狭帯域光観察モードにおいて行われることにより、狭帯域光観察モードに対応した観察画像が表示装置5に表示される。
 ところで、例えば、上記の数式(8)及び数式(10)に含まれるマトリクスCaが単位行列であると仮定した場合、すなわち、マトリクスMAUBが実質的にスペクトル分布補正機能を具備しないと仮定した場合には、マトリクスMAUBを用いた演算が行われることにより、図8のようなスペクトル分布を具備する各色成分の信号の出力値が得られる。図8は、スペクトル分布補正機能を具備しないマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図5とは異なる例を示す図である。
 図8のB成分のスペクトル分布によれば、415nm付近のピーク波長を具備する青色域の光としてのREB光に相当する波長帯域成分以外に、REG光に相当する波長帯域成分においても明確な出力値の変動が生じており、すなわち、REB光の波長成分については適切に分離されていないことがわかる。
 また、図8のG成分のスペクトル分布によれば、540nm付近のピーク波長を具備する緑色域の光としてのREG光に相当する波長帯域成分以外に、REB光に相当する波長帯域成分においても明確な出力値の変動が生じており、すなわち、REG光の波長成分についても適切に分離されていないことがわかる。
 一方、第1の変形例によれば、スペクトル分布補正機能を具備するマトリクスMAUBを用いた演算が行われることにより、例えば、図9のようなスペクトル分布を具備する各色成分の信号の出力値が得られる。図9は、スペクトル分布補正機能を具備するマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図6とは異なる例を示す図である。
 図9のB成分のスペクトル分布によれば、415nm付近のピーク波長を具備する青色域の光としてのREB光に相当する波長帯域成分以外の他の波長帯域成分における明確な出力値の変動が生じておらず、すなわち、REB光の波長成分については適切に分離されている。
 また、図9のG成分のスペクトル分布によれば、540nm付近のピーク波長を具備する緑色域の光としてのREG光に相当する波長帯域成分以外の他の波長帯域成分における明確な出力値の変動が生じておらず、すなわち、REG光の波長成分についても適切に分離されていることがわかる。
 従って、第1の変形例によれば、同時式の撮像方式により得られる複数の色成分を含む画像を、相互に独立した各波長帯域成分毎の画像として好適に分離することができる。
 一方、本実施例により取得されるマトリクスC及びマトリクスMAUAは、蛍光観察モードにおいて発生する戻り光としてのFL光及びREF光に適合するように各係数が設定されるものに限らず、例えば、生体粘膜の中層に存在する血管及び生体粘膜の中層よりも深い位置(以降、深層とも称する)に存在する太い血管を観察する深層血管観察モードにおいて発生する戻り光(反射光)としての赤色の狭帯域光及び緑色の狭帯域光に適合するように各係数が設定されるものであってもよい。このような場合の具体例について以下に説明する。図10は、本発明の実施例における第2の変形例に係る内視鏡装置の要部の構成を示す図である。なお、以降においては、簡単のため、内視鏡装置1に係る既述の構成等を適用可能な部分に関する詳細な説明を省略するとともに、内視鏡装置1とは異なる構成等に有する部分に関して主に説明を行う。
 内視鏡装置1Bは、図10に示すように、スコープ2からフィルタ切替装置24を除くとともに、スコープ2のカラーフィルタ23aをカラーフィルタ23bに置き換えて構成されたスコープ2Bと、光源装置3のLED光源部31をLED光源部312に置き換えて構成された光源装置3Bと、プロセッサ4からフィルタ切替制御部48を除いて構成されたプロセッサ4Bと、を有している。
 スコープ2Bのカラーフィルタ23bは、4原色のカラーフィルタとして構成されている。具体的には、スコープ2Bのカラーフィルタ23bは、所定の分光感度特性(光学特性)をそれぞれ具備する複数のR(赤)フィルタ、G(緑)フィルタ、B(青)フィルタ、及び、Ye(黄)フィルタを、撮像素子23の各画素に対応する位置に配置することにより形成されている。なお、本実施例においては、例えば、図11に示すような分光感度特性をそれぞれ具備するRフィルタ、Gフィルタ、Bフィルタ、及び、Yeフィルタがカラーフィルタ23bに設けられているものとする。図11は、図10の内視鏡装置のカラーフィルタに設けられたRフィルタ、Gフィルタ、Bフィルタ、及び、Yeフィルタの分光感度特性の一例を示す図である。
 カラーフィルタ23bのRフィルタは、カラーフィルタ23aのRフィルタと同様に、赤色域から近赤外域までにおける透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図11参照)。
 カラーフィルタ23bのGフィルタは、カラーフィルタ23aのGフィルタと同様に、緑色域における透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図11参照)。
 カラーフィルタ23bのBフィルタは、カラーフィルタ23aのBフィルタと同様に、青色域における透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図11参照)。
 カラーフィルタ23bのYeフィルタは、黄色域における透過率が他の波長帯域の透過率より相対的に高くなるような分光感度特性(光学特性)を具備して構成されている(図11参照)。
 スコープ2Bのモード切替スイッチ25は、内視鏡装置1Bの観察モードを、術者等の操作に応じて白色光観察モード及び深層血管観察モードから選択されたいずれか一方の観察モードに切り替えるための指示を行うことができるように構成されている。
 LED光源部312は、広帯域光であるWB光を発するLED31aと、生体粘膜の中層に存在する血管を観察可能な光であるNBG光を発するLED31fと、生体粘膜の深層に存在する血管を観察可能な光であるNBR1光を発するLED31kと、生体粘膜の深層に存在する血管を観察可能な光であるNBR2光を発するLED31mと、光学素子31hと、光学素子31nと、光学素子31pと、を有して構成されている。
 LED31fは、例えば、中心波長が540nmに設定された狭帯域な光をNBG光として発することができるように構成されている。
 LED31kは、例えば、中心波長が630nmに設定された狭帯域な光をNBR1光として発することができるように構成されている。
 LED31mは、例えば、中心波長が650nmに設定された狭帯域な光をNBR2光として発することができるように構成されている。
 光学素子31hは、例えばハーフミラー等により構成されており、LED31aから発せられたWB光を光学素子31n側へ透過させるとともに、LED31fから発せられたNBG光を光学素子31n側へ反射するような光学特性を具備している。
 光学素子31nは、例えばハーフミラー等により構成されており、光学素子31hを経て出射されたWB光及びNBG光を光学素子31p側へ透過させるとともに、LED31kから発せられたNBR1光を光学素子31p側へ反射するような光学特性を具備している。
 光学素子31pは、例えばハーフミラー等により構成されており、光学素子31nを経て出射されたWB光、NBG光及びNR1光を集光光学系33側へ透過させるとともに、LED31mから発せられたNBR2光を集光光学系33側へ反射するような光学特性を具備している。
 プロセッサ4Bのスペクトル分布補正部43aは、スコープ2Bとプロセッサ4Bとの接続に伴って記憶部26から出力される所定の情報に基づいて処理を行うことにより、スペクトル分布補正機能を具備するマトリクスCbを取得する。
 プロセッサ4Bのマトリクス演算部43bは、スコープ2Bとプロセッサ4Bとの接続に伴って記憶部26から出力される所定の情報と、スペクトル分布補正部43aにより取得されたマトリクスCbと、に基づいて処理を行うことにより、スペクトル分布補正機能及び画像分離機能を兼ね備えたマトリクスMAUCを取得するための演算処理を行う。
 また、プロセッサ4Bのマトリクス演算部43bは、深層血管観察モードにおいて画像処理部43に入力される画像データに対してマトリクスMAUCを適用して演算を行い、さらに、当該演算の結果として得られた各波長帯域成分の画像データを表示装置5のRチャンネル、Gチャンネル、及び、Bチャンネルに割り当てる処理を行う。
 プロセッサ4Bの調光部45は、モード切替制御部46から出力されるモード切替信号と、前処理部41から出力される撮像信号とに基づき、内視鏡装置1Bが白色光観察モードに切り替えられたことを検出した場合には、LED31f、LED31k及びLED31mを消光させるとともに、LED31aを白色光観察モードの観察に適した強度で発光させるための調光信号をLED駆動部32へ出力する。また、プロセッサ4Bの調光部45は、モード切替制御部46から出力されるモード切替信号と、前処理部41から出力される撮像信号とに基づき、内視鏡装置1が深層血管観察モードに切り替えられたことを検出した場合には、LED31aを消光させるとともに、LED31f、LED31k及びLED31mを深層血管観察モードの観察に適した強度で同時に発光させるための調光信号をLED駆動部32へ出力する。
 プロセッサ4Bのモード切替制御部46は、モード切替スイッチ25において、内視鏡装置1Bの観察モードを白色光観察モードに切り替える旨の指示がなされたことを検出した場合には、白色光観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、及び、撮像素子駆動部47の各部に対して出力する。また、プロセッサ4Bのモード切替制御部46は、モード切替スイッチ25において、内視鏡装置1Bの観察モードを深層血管観察モードに切り替える旨の指示がなされたことを検出した場合には、深層血管観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、及び、撮像素子駆動部47の各部に対して出力する。
 次に、第2の変形例の内視鏡装置1Bの作用について説明する。なお、内視鏡装置1Bの観察モードが白色光観察モードに設定された場合の各部の動作等については、内視鏡装置1と同様であるため、説明を省略する。
 ユーザは、表示装置5に表示される白色光観察モードの観察画像を見ながらスコープ2Bの挿入操作を行うことにより、被検体内における所望の観察対象部位101の近傍にスコープ2Bの先端部を配置させる。そして、このような状態において、ユーザ等は、モード切替スイッチ25を操作することにより、内視鏡装置1Bの観察モードを深層血管観察モードに切り替える指示を行う。
 モード切替制御部46は、モード切替スイッチ25において、内視鏡装置1Bの観察モードを深層血管観察モードに切り替える旨の指示がなされたことを検出すると、深層血管観察モードに応じた動作を行わせるためのモード切替信号を画像処理部43、調光部45、及び、撮像素子駆動部47の各部に対して出力する。
 LED駆動部32は、調光部45から出力される調光信号に基づき、LED光源部31のLED31aを消光させるとともに、LED31f、LED31k及びLED31mを深層血管観察モードの観察に適した強度となるように同時に発光させる。
 そして、このようなLED駆動部32の動作により、深層血管観察モードにおいては、光源装置3Bから供給されたNBG光、NBR1光及びNBR2光がライトガイド7及び照明光学系21を経て観察対象部位101へ出射されるとともに、NBG光の反射光であるREG光と、NBR1光の反射光であるRERA光と、NBR2光の反射光であるRERB光と、の混合光が観察対象部位101からの戻り光として対物光学系22に入射される。
 一方、撮像素子23は、カラーフィルタ23bのRフィルタを通過した光と、カラーフィルタ23bのGフィルタを通過した光と、カラーフィルタ23bのBフィルタを通過した光と、カラーフィルタ23bのYeフィルタを通過した光と、をそれぞれ受光し、当該受光した各光を撮像して得た撮像信号を生成して出力する。
 前処理部41は、スコープ2Bから出力される撮像信号に対して信号増幅及びノイズ除去等の処理を施し、当該処理を施した撮像信号をA/D変換部42へ出力する。
 A/D変換部42は、前処理部41から出力されるアナログの撮像信号をデジタルの画像データに変換して画像処理部43へ出力する。そして、このようなA/D変換部42の処理により、撮像素子23(の撮像面)において受光されたREG光、RERA光及びRERB光の強度に応じた赤色成分RD2と、緑色成分GD2と、青色成分BD2と、黄色成分YeDと、を含む画像データが生成される。
 画像処理部43は、モード切替制御部46から出力されるモード切替信号に基づき、内視鏡装置1Bが深層血管観察モードに切り替えられたことを検出すると、マトリクスMAUCを用いた演算処理をマトリクス演算部43bにおいて実施させるように動作する。
 ここで、スペクトル分布補正機能及び画像分離機能を兼ね備えたマトリクスMAUCの取得に係る処理について説明する。なお、マトリクスMAUCの取得に係る処理は、内視鏡装置1Bの観察モードが深層血管観察モードに切り替えられる前のいずれかのタイミングで実施されるものとする。
 記憶部26は、スコープ2Bとプロセッサ4Bとが接続されたことを検出した際に、マトリクスMAUCを取得するための演算処理に用いられる所定の情報として、例えば、カラーフィルタ23bの各フィルタ(Rフィルタ、Gフィルタ、Bフィルタ及びYeフィルタ)の分光感度特性を示す情報と、深層血管観察モードにおいて被写体から発せられる戻り光であるREG光、RERA光及びRERB光のスペクトル分布を示す情報と、をプロセッサ4Bの画像処理部43へ出力する。
 スペクトル分布補正部43aは、カラーフィルタ23bの各フィルタ(Rフィルタ、Gフィルタ、Bフィルタ及びYeフィルタ)を備えた撮像素子23の分光感度特性を示す情報と、深層血管観察モードにおいて被写体から発せられるREG光、RERA光及びRERB光のスペクトル分布を示す情報と、に基づき、深層血管観察モードにおいて画像処理部43に入力される画像データに含まれる赤色成分RD2、緑色成分GD2、青色成分BD2、及び、黄色成分YeDのスペクトル分布を取得する。
 また、スペクトル分布補正部43aは、前述のように取得した赤色成分RD2、緑色成分GD2、青色成分BD2、及び、黄色成分YeDのスペクトル分布を既述の手法(各ピーク波長における信号強度のピーク値をそれぞれ1.0にするような手法)で正規化する。そして、このような正規化が行われることにより、各色成分間のスペクトル分布の相異が顕在化する。
 さらに、スペクトル分布補正部43aは、正規化されたスペクトル分布の形状を相互に一致させるように各係数を設定した、4行4列のマトリクスCbを取得する。
 以上に述べたようなスペクトル分布補正部43aの処理を経て取得されるマトリクスCbは、正規化される前の各色成分(赤色成分RD2、緑色成分GD2、青色成分BD2、及び、黄色成分YeD)のスペクトル分布、すなわち、深層血管観察モード時に撮像素子23の撮像面で受光されるREG光、RERA光及びRERB光に基づいて生成される画像データの各色成分(赤色成分RD2、緑色成分GD2、青色成分BD2、及び、黄色成分YeD)のスペクトル分布の形状が互いに相似な形状となるように補正可能なスペクトル分布補正機能を具備している。
 一方、マトリクス演算部43bは、以上に述べたようなスペクトル分布補正部43aの処理により取得された4行4列のマトリクスCbと、カラーフィルタ23bの各フィルタ(Rフィルタ、Gフィルタ、Bフィルタ及びYeフィルタ)の分光感度特性を示す情報と、深層血管観察モードにおいて被写体から発せられるREG光、RERA光及びRERB光のスペクトル分布を示す情報と、に基づいて以下のような処理等を行うことによりマトリクスMAUBを取得する。
 まず、マトリクス演算部43bは、カラーフィルタ23bの各フィルタ(Rフィルタ、Gフィルタ、Bフィルタ及びYeフィルタ)の分光感度特性を示す情報と、深層血管観察モードにおいて被写体から発せられるREG光、RERA光及びRERB光のスペクトル分布を示す情報と、に基づき、深層血管観察モードにおいて画像処理部43に入力される画像データIRGBYeに含まれる赤色成分RD2、緑色成分GD2、青色成分BD2及び黄色成分YeDの強度に対応するマトリクスを以下の数式(13)のように定める。なお、以下の数式(13)において、RREGはカラーフィルタ23bのRフィルタを経て受光されたREG光の波長成分に基づく赤色成分の強度を表し、GREGはカラーフィルタ23bのGフィルタを経て受光されたREG光の波長成分に基づく緑色成分の強度を表し、BREGはカラーフィルタ23bのBフィルタを経て受光されたREG光の波長成分に基づく青色成分の強度を表し、YeREGはカラーフィルタ23bのYeフィルタを経て受光されたREG光の波長成分に基づく青色成分の強度を表すものとする。また、以下の数式(13)において、RRERAはカラーフィルタ23bのRフィルタを経て受光されたRERA光の波長成分に基づく赤色成分の強度を表し、GRERAはカラーフィルタ23bのGフィルタを経て受光されたRERA光の波長成分に基づく緑色成分の強度を表し、BRERAはカラーフィルタ23bのBフィルタを経て受光されたRERA光の波長成分に基づく青色成分の強度を表し、YeRERAはカラーフィルタ23bのYeフィルタを経て受光されたRERA光の波長成分に基づく青色成分の強度を表すものとする。また、以下の数式(13)において、RRERBはカラーフィルタ23bのRフィルタを経て受光されたRERB光の波長成分に基づく赤色成分の強度を表し、GRERBはカラーフィルタ23bのGフィルタを経て受光されたRERB光の波長成分に基づく緑色成分の強度を表し、BRERBはカラーフィルタ23bのBフィルタを経て受光されたRERB光の波長成分に基づく青色成分の強度を表し、YeRERBはカラーフィルタ23bのYeフィルタを経て受光されたRERB光の波長成分に基づく青色成分の強度を表すものとする。

Figure JPOXMLDOC01-appb-I000013

 ここで、深層血管観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、相互に独立した3つの色成分の画像データを分離するためのマトリクスがMAUCとして設定され、さらに、分離後の3つの色成分の画像データを示すマトリクスがS’として設定された場合、以下の数式(14)及び(15)に示すような関係が成立する。

Figure JPOXMLDOC01-appb-I000014
Figure JPOXMLDOC01-appb-I000015

 そして、マトリクス演算部43bは、上記の数式(14)及び(15)に基づく以下の数式(16)の演算を行うことにより、3行4列のマトリクスMAUCを求める。なお、以下の数式(16)における(Cb・IRGBYeは、4行4列のマトリクスCbと、上記の数式(13)として示したような4行3列のマトリクスI’RGBと、の積の擬似逆行列を表すものとする。なお、下記数式(16)のM51~M54、M61~M64及びM71~M74は、それぞれ任意の係数を示すものとする。

Figure JPOXMLDOC01-appb-I000016

 上記の数式(16)の演算を経て求められるマトリクスMAUCを用いた処理によれば、深層血管観察モードにおいて画像処理部43に入力される画像データに含まれる各色成分から、REG光の波長成分に応じた色成分のみを含む第1の画像データINGと、RERA光の波長成分に応じた色成分のみを含む第2の画像データINR1と、RERB光の波長成分に応じた色成分のみを含む第3の画像データINR2と、を分離することができる。
 すなわち、マトリクス演算部43bは、4行4列のマトリクスCbと、カラーフィルタ23bの各フィルタ(Rフィルタ、Gフィルタ、Bフィルタ及びYeフィルタ)の分光感度特性を示す情報と、深層血管観察モードにおいて被写体から発せられるREG光、RERA光及びRERB光のスペクトル分布を示す情報と、に基づいて以上に述べたような処理等を行うことにより、上記の数式(16)として表されるようなマトリクスMAUCを取得する。
 そして、マトリクス演算部43bは、深層血管観察モードにおいて画像処理部43に入力される画像データに含まれる赤色成分RD2、緑色成分GD2、青色成分BD2及び黄色成分YeDに対し、予め取得したマトリクスMAUCを適用して演算を行うことにより、REG光の波長成分に応じた色成分のみを含む画像データINGと、RERA光の波長成分に応じた色成分のみを含む画像データINR1と、RERB光の波長成分に応じた色成分のみを含む画像データINR2と、を取得する。
 また、マトリクス演算部43bは、前述のように取得した画像データINGと、画像データINR1と、画像データINR2と、を表示装置5の任意の色チャンネル(R、G及びBチャンネル)にそれぞれ割り当てる。
 その後、画像処理部43は、マトリクス演算部43bの処理により表示装置5のR、G及びBの各色チャンネルに割り当てられた画像データに対し、ガンマ補正及びエッジ強調等の処理を施してD/A変換部44へ出力する。
 そして、表示装置5は、D/A変換部44を経て出力された映像信号に応じた被写体の画像を表示する。
 すなわち、以上に述べたような動作等が深層血管観察モードにおいて行われることにより、深層血管観察モードに対応した観察画像が表示装置5に表示される。
 ところで、例えば、上記の数式(14)及び数式(16)に含まれるマトリクスCbが単位行列であると仮定した場合、すなわち、マトリクスMAUCが実質的にスペクトル分布補正機能を具備しないと仮定した場合には、マトリクスMAUCを用いた演算が行われることにより、図12のようなスペクトル分布を具備する各色成分の信号の出力値が得られる。図12は、スペクトル分布補正機能を具備しないマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図5及び図8とは異なる例を示す図である。
 図12の画像データINGのスペクトル分布によれば、540nm付近のピーク波長を具備する緑色域の光としてのREG光に相当する波長帯域成分以外に、RERA光及びRERB光に相当する波長帯域成分においても明確な出力値の変動が生じており、すなわち、REG光の波長帯域成分については適切に分離されていないことがわかる。
 また、図12の画像データINR1のスペクトル分布によれば、630nm付近のピーク波長を具備する赤色域の光としてのRERA光に相当する波長帯域成分以外に、REG光及びRERB光に相当する波長帯域成分においても明確な出力値の変動が生じており、すなわち、RERA光の波長帯域成分についても適切に分離されていないことがわかる。
 また、図12の画像データINR2のスペクトル分布によれば、650nm付近のピーク波長を具備する赤色域の光としてのRERB光に相当する波長帯域成分以外に、REG光及びRERA光に相当する波長帯域成分においても明確な出力値の変動が生じており、すなわち、RERB光の波長帯域成分についても適切に分離されていないことがわかる。
 一方、第2の変形例によれば、スペクトル分布補正機能を具備するマトリクスMAUCを用いた演算が行われることにより、例えば、図13のようなスペクトル分布を具備する各色成分の信号の出力値が得られる。図13は、スペクトル分布補正機能を具備するマトリクスを用いて画像分離に係る演算が行われた場合の演算結果として得られるスペクトル分布の、図6及び図9とは異なる例を示す図である。
 図13の画像データINGのスペクトル分布によれば、540nm付近のピーク波長を具備する緑色域の光としてのREG光に相当する波長帯域成分以外の他の波長帯域成分における明確な出力値の変動が生じておらず、すなわち、REG光の波長帯域成分については適切に分離されている。
 また、図13の画像データINR1のスペクトル分布によれば、630nm付近のピーク波長を具備する赤色域の光としてのRERA光に相当する波長帯域成分以外の他の波長帯域成分における明確な出力値の変動が生じておらず、すなわち、RERA光の波長成分についても適切に分離されていることがわかる。
 また、図13の画像データINR2のスペクトル分布によれば、650nm付近のピーク波長を具備する赤色域の光としてのRERB光に相当する波長帯域成分以外の他の波長帯域成分における明確な出力値の変動が生じておらず、すなわち、RERB光の波長成分についても適切に分離されていることがわかる。
 従って、第2の変形例によれば、同時式の撮像方式により得られる複数の色成分を含む画像を、相互に独立した各波長帯域成分毎の画像として好適に分離することができる。
 なお、本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
 本出願は、2012年5月1日に日本国に出願された特願2012-104831号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (9)

  1.  被写体に対する照明光の照射に伴って発生する複数の波長帯域成分を含む戻り光を、各色成分毎に異なる分光感度で受光して撮像する撮像部と、
     前記撮像部が前記戻り光を撮像することにより得られる前記被写体の画像に含まれる各色成分毎の分光スペクトル分布に対して補正処理を施す補正処理部と、
     前記補正処理の結果に基づき、前記被写体の画像を前記戻り光に含まれる各波長帯域成分毎に分離する処理を行う画像分離処理部と、
     を有することを特徴とする内視鏡装置。
  2.  前記補正処理部は、前記戻り光に含まれる前記複数の波長帯域成分のスペクトル分布を示す情報と、前記撮像部の分光感度特性を示す情報と、に基づき、前記被写体の画像に含まれる各色成分毎のスペクトル分布を取得し、さらに、前記補正処理に用いる補正パラメータを、前記取得した各色成分毎のスペクトル分布が互いに相似な形状になるように設定する
     ことを特徴とする請求項1に記載の内視鏡装置。
  3.  前記戻り光に含まれる前記複数の色成分のスペクトル分布を示す情報と、前記撮像部の分光感度特性を示す情報と、が格納された記憶部をさらに有し、
     前記補正処理部は、前記記憶部から出力される各情報に基づき、前記補正処理に用いる補正パラメータを設定する
     ことを特徴とする請求項1に記載の内視鏡装置。
  4.  前記戻り光には、前記被写体としての生体組織に予め投与された蛍光物質が前記照明光により励起された際に発せられる蛍光に応じた一の波長帯域成分と、前記生体組織における前記照明光の反射により生じる反射光に応じた前記一の波長帯域成分とは異なる他の波長帯域成分と、が含まれている
     ことを特徴とする請求項1に記載の内視鏡装置。
  5.  前記生体組織に投与される蛍光物質に関する情報と、前記撮像部に含まれる撮像素子の種別を識別可能な情報と、が格納された記憶部をさらに有し、
     前記補正処理部は、前記記憶部から出力される各情報に基づき、前記補正処理に用いる補正パラメータを設定する
     ことを特徴とする請求項1に記載の内視鏡装置。
  6.  前記生体組織に投与される蛍光物質に関する情報を入力可能な情報入力部と、前記撮像部に含まれる撮像素子の種別を識別可能な情報が格納された記憶部と、をさらに有し、
     前記補正処理部は、前記情報入力部において入力された情報と、前記記憶部から出力される情報と、に基づき、予め算出された複数の補正パラメータの中から、前記補正処理に用いる補正パラメータを取得する
     ことを特徴とする請求項1に記載の内視鏡装置。
  7.  前記撮像部は、前記戻り光に含まれる波長帯域成分の数よりも多い複数の色成分毎に異なる分光感度を具備するように形成されたカラーフィルタと、前記カラーフィルタが撮像面に取り付けられた撮像素子と、を有して構成されている
     ことを特徴とする請求項1に記載の内視鏡装置。
  8.  前記戻り光には、前記被写体としての生体組織の表層に存在する毛細血管を観察可能な波長帯域成分と、前記生体組織の表層よりも深い位置である中層に存在する血管を観察可能な波長帯域成分と、が含まれている
     ことを特徴とする請求項1に記載の内視鏡装置。
  9.  前記戻り光には、前記被写体としての生体組織の中層に存在する血管を観察可能な波長帯域成分と、前記生体組織の中層よりも深い位置である深層に存在する血管を観察可能な波長帯域成分と、が含まれている
     ことを特徴とする請求項1に記載の内視鏡装置。
PCT/JP2013/061893 2012-05-01 2013-04-23 内視鏡装置 WO2013164962A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013533799A JP5498626B1 (ja) 2012-05-01 2013-04-23 内視鏡装置
CN201380004188.0A CN103987309B (zh) 2012-05-01 2013-04-23 内窥镜装置
EP13785225.7A EP2769665A4 (en) 2012-05-01 2013-04-23 ENDOSCOPE DEVICE
US14/291,112 US9265406B2 (en) 2012-05-01 2014-05-30 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-104831 2012-05-01
JP2012104831 2012-05-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/291,112 Continuation US9265406B2 (en) 2012-05-01 2014-05-30 Endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2013164962A1 true WO2013164962A1 (ja) 2013-11-07

Family

ID=49514362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061893 WO2013164962A1 (ja) 2012-05-01 2013-04-23 内視鏡装置

Country Status (5)

Country Link
US (1) US9265406B2 (ja)
EP (1) EP2769665A4 (ja)
JP (1) JP5498626B1 (ja)
CN (1) CN103987309B (ja)
WO (1) WO2013164962A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015177898A (ja) * 2014-03-19 2015-10-08 Hoya株式会社 内視鏡システム
CN105828693A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置
CN106455949A (zh) * 2014-06-16 2017-02-22 奥林巴斯株式会社 内窥镜装置
WO2017056784A1 (ja) * 2015-09-30 2017-04-06 オリンパス株式会社 撮像装置、内視鏡および内視鏡システム
JP2017093843A (ja) * 2015-11-25 2017-06-01 オリンパス株式会社 内視鏡システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105682536B (zh) * 2013-10-30 2018-02-13 奥林巴斯株式会社 光源装置和内窥镜装置
EP3222194A4 (en) * 2014-11-20 2018-08-01 Olympus Corporation Observation apparatus
CN104523214A (zh) * 2014-12-19 2015-04-22 佛山市南海区欧谱曼迪科技有限责任公司 一种窄带成像内窥镜装置
WO2016194150A1 (ja) * 2015-06-02 2016-12-08 オリンパス株式会社 特殊光内視鏡装置
CN105748029B (zh) * 2016-02-18 2017-09-29 深圳开立生物医疗科技股份有限公司 一种内窥镜成像***
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP6791821B2 (ja) * 2017-08-31 2020-11-25 富士フイルム株式会社 内視鏡システム
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
WO2019234829A1 (ja) 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008015826A1 (en) * 2006-08-03 2008-02-07 Olympus Medical Systems Corp. Endoscope device
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2012016545A (ja) * 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001556A (en) * 1987-09-30 1991-03-19 Olympus Optical Co., Ltd. Endoscope apparatus for processing a picture image of an object based on a selected wavelength range
US7172553B2 (en) * 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
CA2581656A1 (en) * 2003-09-26 2005-04-07 Tidal Photonics, Inc. Apparatus and methods relating to color imaging endoscope systems
JP4009626B2 (ja) * 2004-08-30 2007-11-21 オリンパス株式会社 内視鏡用映像信号処理装置
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US7420151B2 (en) * 2005-10-17 2008-09-02 Novadaq Technologies Inc. Device for short wavelength visible reflectance endoscopy using broadband illumination
US20090124854A1 (en) * 2007-11-09 2009-05-14 Fujifilm Corporation Image capturing device and image capturing system
DE102009058662A1 (de) * 2009-12-16 2011-06-22 Karl Storz GmbH & Co. KG, 78532 Verfahren zum Prüfen eines optischen Untersuchungssystems
JP5143293B2 (ja) * 2010-06-24 2013-02-13 オリンパスメディカルシステムズ株式会社 内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008015826A1 (en) * 2006-08-03 2008-02-07 Olympus Medical Systems Corp. Endoscope device
JP2008036035A (ja) 2006-08-03 2008-02-21 Olympus Medical Systems Corp 内視鏡装置
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2012016545A (ja) * 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2769665A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828693A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置
JP2015177898A (ja) * 2014-03-19 2015-10-08 Hoya株式会社 内視鏡システム
CN106455949A (zh) * 2014-06-16 2017-02-22 奥林巴斯株式会社 内窥镜装置
WO2017056784A1 (ja) * 2015-09-30 2017-04-06 オリンパス株式会社 撮像装置、内視鏡および内視鏡システム
US10441149B2 (en) 2015-09-30 2019-10-15 Olympus Corporation Imaging device, endoscope, and endoscope system
JP2017093843A (ja) * 2015-11-25 2017-06-01 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP5498626B1 (ja) 2014-05-21
EP2769665A1 (en) 2014-08-27
JPWO2013164962A1 (ja) 2015-12-24
US9265406B2 (en) 2016-02-23
CN103987309A (zh) 2014-08-13
US20140267657A1 (en) 2014-09-18
EP2769665A4 (en) 2015-08-26
CN103987309B (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
JP5498626B1 (ja) 内視鏡装置
US11224335B2 (en) Image capturing system and electronic endoscope system
JP5426620B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP5191090B2 (ja) 内視鏡装置
JP5405373B2 (ja) 電子内視鏡システム
JP5331904B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5496075B2 (ja) 内視鏡診断装置
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017085793A1 (ja) 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP2011200531A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報取得方法
WO2013084566A1 (ja) 内視鏡装置
US10285631B2 (en) Light source device for endoscope and endoscope system
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
JP5766773B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
WO2018047369A1 (ja) 内視鏡システム
EP2366326A2 (en) Endoscope image correcting device and endoscope apparatus
CN112584747A (zh) 内窥镜***
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
JP2011177532A (ja) 内視鏡装置
JP2012100733A (ja) 内視鏡診断装置
JP2016120026A (ja) 内視鏡システム及びその作動方法
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
JP6586206B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013533799

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13785225

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013785225

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE