WO2020008528A1 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及びプログラム Download PDF

Info

Publication number
WO2020008528A1
WO2020008528A1 PCT/JP2018/025211 JP2018025211W WO2020008528A1 WO 2020008528 A1 WO2020008528 A1 WO 2020008528A1 JP 2018025211 W JP2018025211 W JP 2018025211W WO 2020008528 A1 WO2020008528 A1 WO 2020008528A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
absorbance
peak wavelength
difference
Prior art date
Application number
PCT/JP2018/025211
Other languages
English (en)
French (fr)
Inventor
央樹 谷口
順平 高橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020528572A priority Critical patent/JP7090706B2/ja
Priority to PCT/JP2018/025211 priority patent/WO2020008528A1/ja
Publication of WO2020008528A1 publication Critical patent/WO2020008528A1/ja
Priority to US17/126,123 priority patent/US20210100441A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination

Definitions

  • the present invention relates to an endoscope apparatus, an operation method of the endoscope apparatus, a program, and the like.
  • transurethral resection of bladder tumor using an endoscope apparatus (transurethral resection of bladder tumor: TUR-Bt) is widely known.
  • TUR-Bt the tumor is excised with the perfusate filled in the bladder.
  • the bladder wall becomes thin and stretched under the influence of the perfusate. Since the procedure is performed in this state, there is a risk of perforation in TUR-Bt.
  • the bladder wall is composed of three layers: a mucous layer, a muscle layer, and a fat layer from the inside. Therefore, it is considered that the perforation can be suppressed by performing display using a form in which each layer can be easily identified.
  • Patent Literature 1 discloses a technique for enhancing information of a blood vessel at a specific depth based on an image signal captured by irradiation with light in a specific wavelength band.
  • Patent Literature 2 discloses a method of emphasizing a fat layer by irradiating illumination light in a plurality of wavelength bands in consideration of the absorption characteristics of ⁇ -carotene.
  • TUR-Bt the tumor is excised using an electric scalpel. Therefore, the tissue around the tumor undergoes thermal denaturation and changes color. For example, when the muscle layer is thermally denatured, the color changes to yellow, which is a color similar to the fat layer. Specifically, the myoglobin contained in the muscular layer changes to metmyoglobin due to thermal denaturation. Thereby, the heat-denatured muscle layer exhibits a yellow tone (brown tone). Therefore, when the emphasis process is simply performed on the fat layer, the heat-denatured muscle layer may be emphasized at the same time, and it is difficult to suppress the risk of perforation.
  • TUR-Bt is exemplified here, the problem that it is not easy to distinguish between a fat layer and a heat-denatured muscle layer is the same as when observing or performing a procedure on another part of a living body.
  • Patent Document 1 is a method for enhancing blood vessels, and does not disclose a method for enhancing a fat layer or a heat-denatured muscle layer.
  • Patent Literature 2 discloses a method of enhancing a fat layer, but does not consider a heat-denatured muscle layer, and it is difficult to discriminate between the two.
  • an endoscope apparatus an operation method of the endoscope apparatus, a program, and the like for presenting an image suitable for identifying a fat layer and a heat-denatured muscle layer.
  • One embodiment of the present invention is an illumination unit that emits a plurality of illumination lights including first light, second light, and third light, and captures return light from a subject based on the irradiation of the illumination unit.
  • An imaging unit a first image captured by the first light irradiation, a second image captured by the second light irradiation, and a third image captured by the third light irradiation
  • an image processing unit that generates a display image based on the image of the first light, and a difference between the absorbance of ⁇ -carotene at the peak wavelength of the first light and the absorbance of ⁇ -carotene at the peak wavelength of the second light.
  • the first absorbance is determined.
  • the difference is compared to the second absorbance difference.
  • the peak wavelength of the third light relates to an endoscope apparatus different from the peak wavelength of the first light and the peak wavelength of the second light.
  • Another aspect of the present invention is to irradiate a plurality of illumination lights including a first light, a second light, and a third light, and to image return light from a subject based on the irradiation of the plurality of illumination lights.
  • a display image is generated based on the difference between the absorbance of ⁇ -carotene at the peak wavelength of the first light and the absorbance of ⁇ -carotene at the peak wavelength of the second light as a first absorbance difference;
  • the difference between the absorbance of metmyoglobin at the peak wavelength of light and the absorbance of metmyoglobin at the peak wavelength of the second light is defined as a second absorbance difference, the first absorbance difference is smaller than the second absorbance difference.
  • a large peak wave of the third light The length relates to a method of operating the endoscope device different from the peak wavelength of the first light and the peak wavelength of the second light.
  • Still another aspect of the present invention is to irradiate a plurality of illumination lights including a first light, a second light, and a third light to an illumination unit, and to return light from a subject based on the illumination of the illumination unit.
  • Generating a display image based on the image causing the computer to execute the step of calculating the difference between the absorbance of ⁇ -carotene at the peak wavelength of the first light and the absorbance of ⁇ -carotene at the peak wavelength of the second light.
  • the first absorbance difference Is the second
  • the peak wavelength of the third light which is larger than the absorbance difference, relates to a program different from the peak wavelength of the first light and the peak wavelength of the second light.
  • FIGS. 1A and 1B are explanatory diagrams of TUR-Bt.
  • 3 illustrates a configuration example of an endoscope apparatus.
  • 3A and 3B are examples of spectral characteristics of illumination light according to the first embodiment
  • FIG. 3C is an explanatory diagram of the absorbance of each dye.
  • 5 is a flowchart illustrating the operation of the endoscope device.
  • 9 is a flowchart for explaining processing in a white light observation mode.
  • 5 is a flowchart for describing processing in a special light observation mode according to the first embodiment.
  • 4 is an example of spectral characteristics of a color filter of an image sensor.
  • 7 shows another configuration example of the endoscope apparatus.
  • 9A and 9B are examples of spectral characteristics of illumination light according to the second embodiment
  • FIG. 9C is an explanatory diagram of absorbance of each dye.
  • 9 is a flowchart illustrating processing in a special light observation mode according to the second embodiment.
  • TUR-Bt will be described as an example, but the method of the present embodiment can also be applied to other situations where it is necessary to distinguish between a fat layer and a heat-denatured muscle layer. That is, the technique of the present embodiment may be applied to other procedures for the bladder such as TUR-BO (transurethral lumpectomy of the bladder tumor), or may be performed for observation of a site different from the bladder. And may be applied to procedures.
  • TUR-BO transurethral lumpectomy of the bladder tumor
  • FIG. 1A is a schematic diagram illustrating a part of the bladder wall in a state where a tumor has developed.
  • the bladder wall is composed of three layers from the inside, a mucosal layer, a muscle layer, and a fat layer.
  • the tumor remains in the mucosal layer at a relatively early stage, but invades deep layers such as the muscle layer and the fat layer as it progresses.
  • FIG. 1A illustrates a tumor that has not invaded the muscle layer.
  • FIG. 1 (B) is a schematic diagram illustrating a part of the bladder wall after the tumor is excised by TUR-Bt.
  • TUR-Bt at least the mucosal layer around the tumor is excised. For example, a portion of the mucosal layer and the muscle layer close to the mucosal layer is to be resected. The resected tissue is subjected to pathological diagnosis, and the nature of the tumor and the depth to which the tumor has reached are examined.
  • the tumor is a non-muscle-invasive cancer as exemplified in FIG. 1 (A)
  • the tumor can be completely resected using TUR-Bt depending on the condition. That is, TUR-Bt is a technique that combines diagnosis and treatment.
  • TUR-Bt it is important to resect the bladder wall to a certain depth in consideration of completely resecting a relatively early tumor that has not invaded the muscular layer. For example, in order not to leave the mucosal layer around the tumor, it is desirable to be a part of the muscle layer to be resected. On the other hand, in TUR-Bt, the bladder wall is thinly stretched due to the influence of the perfusate. Therefore, excision to an excessively deep layer increases the risk of perforation. For example, it is desirable that the fat layer is not targeted for resection.
  • TUR-Bt discrimination between muscle layer and fat layer is important to achieve appropriate resection.
  • white light since the muscle layer has a white to red tone and the fat layer has a yellow tone, it seems that the two layers can be distinguished based on the color.
  • the muscle layer may be thermally degenerated.
  • the myoglobin contained in the muscle layer changes to metmyoglobin, the light absorption characteristics change.
  • the heat-denatured muscle layer has a yellow color, and it is difficult to distinguish the fat layer from the heat-denatured muscle layer.
  • Patent Document 2 discloses a method of highlighting a fat layer, but does not consider the similarity in color between the fat layer and the heat-denatured muscle layer. Therefore, it is difficult to distinguish the fat layer and the heat-denatured muscle layer by the conventional method, and there is a possibility that an appropriate technique cannot be realized.
  • the endoscope apparatus 1 includes the illumination unit 3, the imaging unit 10, and the image processing unit 17, as illustrated in FIG.
  • the illumination unit 3 emits a plurality of illumination lights including a first light, a second light, and a third light.
  • the imaging unit 10 images return light from the subject based on the irradiation of the illumination unit 3.
  • the image processing unit 17 includes a first image captured by irradiating the first light, a second image captured by irradiating the second light, and a third image captured by irradiating the third light.
  • a display image is generated based on the image.
  • the first light, the second light, and the third light are lights satisfying the following characteristics.
  • the difference between the absorbance of ⁇ -carotene at the peak wavelength of the first light and the absorbance of ⁇ -carotene at the peak wavelength of the second light is defined as the first absorbance difference, and the absorbance of metmyoglobin at the peak wavelength of the first light,
  • the first absorbance difference is larger than the second absorbance difference.
  • the peak wavelength of the third light is different from both the peak wavelength of the first light and the peak wavelength of the second light.
  • the peak wavelength is a wavelength at which the intensity of each light is maximum. Note that the absorbance difference here is assumed to be a positive value, for example, the absolute value of the difference between the two absorbances.
  • ⁇ -carotene is a pigment that is often contained in the fat layer
  • metmyoglobin is a pigment that is largely contained in the heat-denatured muscle layer. Since the first light and the second light have a relatively large difference in the absorbance of ⁇ -carotene, the correlation between the signal values of the first image and the second image is relatively low in the region where the fat layer is imaged. On the other hand, since the first light and the second light have a relatively small difference in the absorbance of metmyoglobin, the correlation between the signal values of the first image and the second image in the region where the heat-denatured muscular layer is imaged. Relatively high.
  • the fat layer and the heat-denatured muscle layer can be displayed in an easily distinguishable manner by using two lights in consideration of the light absorption characteristics of the dyes contained in the fat layer and the heat-denatured muscle layer. become.
  • the first absorbance difference is large enough to make the difference between the first absorbance difference and the second absorbance difference clear.
  • the difference between the first absorbance difference and the second absorbance difference is equal to or greater than a predetermined threshold.
  • the first absorbance difference is larger than the first threshold value Th1, and the second absorbance difference is smaller than the second threshold value Th2.
  • Th2 is a positive value close to 0, and Th1 is a larger value than Th2.
  • the absorbance of metmyoglobin at the peak wavelength of the first light is substantially equal to the absorbance of metmyoglobin at the peak wavelength of the second light.
  • the first absorbance difference and the second absorbance difference may have different values to such an extent that the difference becomes clear, and various modifications can be made to specific numerical values.
  • ⁇ ⁇ As described later with reference to FIG. 3 (C), the absorption characteristics of ⁇ -carotene and metmyoglobin are known. Therefore, without comparing two images captured using two lights, based on the signal value of one image captured using one light, it is determined whether ⁇ -carotene is dominant or metmyoglobin is dominant. Might seem to be able to be determined. For example, at the peak wavelength of light G2 described below, the absorbance of metmyoglobin is relatively high and the absorbance of ⁇ -carotene is relatively small.
  • the region where the signal value (pixel value) of the G2 image obtained by the irradiation of G2 light is relatively small is the thermally denatured muscle layer
  • the region where the signal value is relatively large is the fat layer. Seems like it can be done.
  • the concentration of the dye contained in the subject varies depending on the subject. Therefore, it is not easy to set a predetermined threshold value such that if the signal of the image is smaller than the predetermined threshold value, it is determined that the muscle layer is thermally denatured, and if the signal is larger than the predetermined threshold value, the signal is a fat layer. In other words, when only the signal value of the image obtained by one light irradiation is used, there is a possibility that the identification accuracy between the fat layer and the thermally denatured muscle layer is low.
  • the method of the present embodiment irradiates two lights and performs identification using the first image and the second image. Since the results of irradiating the same subject with two lights are compared, there is no problem with the variation in dye density for each subject. As a result, it is possible to perform the identification processing with higher accuracy than the determination using one signal value.
  • a subject different from both the fat layer and the thermally denatured muscle layer is captured in the captured image.
  • a mucosal layer and a muscle layer that is not thermally denatured are captured in the captured image.
  • the heat-denatured muscle layer is clearly indicated to that effect, and when simply described as “muscle layer”, the muscle layer indicates a muscle layer that has not been heat-denatured.
  • Both the mucosal layer and the muscular layer contain a large amount of myoglobin as a pigment. In observation using white light, a mucosal layer having a relatively high concentration of myoglobin is displayed in a color close to red, and a muscle layer having a relatively low concentration of myoglobin is displayed in a color close to white.
  • the first light and the second light have characteristics suitable for discriminating a fat layer and a heat-denatured muscle layer, but do not consider the discrimination of a subject different from any of these.
  • the illumination unit 3 of the present embodiment irradiates third light having a different peak wavelength from both the first light and the second light. This makes it possible to identify the subject even when there is a subject containing many pigments different from ⁇ -carotene and metmyoglobin. More specifically, it is possible to suppress erroneous enhancement of the mucous membrane layer and the muscular layer when performing an enhancement process for increasing the visibility of the fat layer.
  • the first absorbance difference is the third absorbance difference.
  • the absorbance of myoglobin at the peak wavelength of the first light is substantially equal to the absorbance of myoglobin at the peak wavelength of the second light.
  • the first light and the second light are light having the above characteristics, it can be determined that an area where the correlation between the signal values of the first image and the second image is relatively low corresponds to the fat layer.
  • the region where the correlation of the signal values is relatively high corresponds to the heat-denatured muscle layer or muscle layer or mucosal layer. Since only the region corresponding to the fat layer can be extracted from the captured image based on the first image and the second image, it is possible to appropriately emphasize the fat layer and not to emphasize other regions. For example, when the emphasis processing is performed on the entire image as in the example described below using the following equations (1) and (2), the pixel value of the region corresponding to the fat layer is greatly changed, and the thermal denaturation is performed.
  • the third absorbance difference is not limited to one smaller than the first absorbance difference.
  • the absorbance of myoglobin at the peak wavelength of the first light and the absorbance of myoglobin at the peak wavelength of the second light are not limited to substantially equal values, and may have any absorbance characteristics with respect to myoglobin.
  • the image processing unit 17 can identify a region determined to be either a fat layer or a thermally denatured muscle layer and a region determined to be another subject.
  • the image processing unit 17 detects a region that is either a fat layer or a heat-denatured muscle layer from the captured image as preprocessing, and targets only the detected region based on the first image and the second image. Perform emphasis processing. In this way, the mucosal layer and the muscular layer are excluded from the emphasis target in the preprocessing stage.
  • the first light and the second light need only be able to distinguish the fat layer and the heat-denatured muscle layer, there is no need to consider the light absorption characteristics of myoglobin, and the peak wavelength and the wavelength band can be flexibly selected. It is possible to have Details will be described later in a second embodiment.
  • FIG. 2 is a diagram illustrating a system configuration example of the endoscope apparatus 1.
  • the endoscope device 1 includes an insertion section 2, a main body section 5, and a display section 6.
  • the main unit 5 includes a lighting unit 3 connected to the insertion unit 2 and a processing unit 4.
  • the insertion part 2 is a part to be inserted into a living body.
  • the insertion unit 2 includes an illumination optical system 7 that irradiates the light input from the illumination unit 3 toward the subject, and an imaging unit 10 that captures reflected light from the subject.
  • the imaging unit 10 is specifically an imaging optical system.
  • the illumination optical system 7 includes a light guide cable 8 for guiding the light incident from the illumination unit 3 to the tip of the insertion unit 2 and an illumination lens 9 for diffusing the light and irradiating the object with the light.
  • the imaging unit 10 includes an objective lens 11 for condensing reflected light of a subject out of the light emitted by the illumination optical system 7 and an imaging element 12 for imaging the light condensed by the objective lens 11.
  • the image sensor 12 can be realized by various sensors such as a CCD (Charge Coupled Device) sensor and a CMOS (Complementary MOS) sensor. An analog signal sequentially output from the image sensor 12 is converted into a digital image by an A / D converter (not shown). Note that the A / D conversion unit may be included in the image sensor 12 or may be included in the processing unit 4.
  • the illumination unit 3 includes a plurality of light emitting diodes (LEDs) 13a to 13e that emit light in different wavelength bands, a mirror 14, and a dichroic mirror 15. Light emitted from each of the plurality of light emitting diodes 13a to 13e enters the same light guide cable 8 by the mirror 14 and the dichroic mirror 15.
  • FIG. 2 shows an example in which five light emitting diodes are provided, the number of light emitting diodes is not limited to this. For example, the number of light emitting diodes may be three or four as described later. Alternatively, the number of light emitting diodes may be six or more.
  • FIGS. 3A and 3B are diagrams showing spectral characteristics of the plurality of light emitting diodes 13a to 13e. 3A and 3B, the horizontal axis represents the wavelength, and the vertical axis represents the intensity of the irradiation light.
  • the illumination unit 3 of the present embodiment includes three light emitting diodes that emit light B1 in the blue wavelength band, light G1 in the green wavelength band, and light R1 in the red wavelength band.
  • the wavelength band of B1 is 450 nm to 500 nm
  • the wavelength band of G1 is 525 nm to 575 nm
  • the wavelength band of R1 is 600 nm to 650 nm.
  • the wavelength band of each light is a range of wavelengths indicating that the illumination light has an intensity equal to or higher than a predetermined threshold in the band.
  • the wavelength bands of B1, G1, and R1 are not limited thereto, and various wavelength bands, such as a blue wavelength band of 400 nm to 500 nm, a green wavelength band of 500 nm to 600 nm, and a red wavelength band of 600 nm to 700 nm, may be used. Modifications are possible.
  • the illumination unit 3 of the present embodiment includes two light emitting diodes that emit the narrow band light B2 in the blue wavelength band and the narrow band light G2 in the green wavelength band.
  • the first light in the present embodiment corresponds to B2, and the second light corresponds to G2. That is, the first light is a narrow band light having a peak wavelength in a range of 480 nm ⁇ 10 nm, and the second light is a narrow band light having a peak wavelength in a range of 520 nm ⁇ 10 nm.
  • the narrow-band light here is light having a narrower wavelength band than each of the RGB lights (B1, G1, R1 in FIG. 3A) used when capturing a white light image.
  • the half widths of B2 and G2 are several nm to several tens nm.
  • FIG. 3 (C) is a diagram showing the absorption characteristics of ⁇ -carotene, metmyoglobin and myoglobin.
  • the horizontal axis of FIG. 3C represents wavelength, and the vertical axis of FIG. 3C represents absorbance.
  • ⁇ -carotene contained in the fat layer has an absorption characteristic in which the absorbance sharply decreases in a wavelength band of 500 nm to 530 nm. Therefore, ⁇ -carotene has a difference in absorbance between 480 nm and 520 nm.
  • Metmyoglobin contained in the heat-denatured muscle layer has a small difference in absorbance between 480 nm and 520 nm.
  • myoglobin contained in the muscle layer has a small difference in absorbance between 480 nm and 520 nm.
  • the absorbance of metmyoglobin in the wavelength band of B2 is substantially equal to the absorbance of metmyoglobin in the wavelength band of G2, and myoglobin in the wavelength band of B2. Is substantially equal to the absorbance of myoglobin in the G2 wavelength band.
  • the absorbance of metmyoglobin in the wavelength band of B2 is, for example, the absorbance of metmyoglobin at the peak wavelength of B2, and the absorbance of metmyoglobin in the wavelength band of G2 is, for example, the absorbance of metmyoglobin at the peak wavelength of G2. is there. The same applies to myoglobin.
  • the difference between the signal value (pixel value and luminance value) of the B2 image obtained by irradiating B2 and the signal value of the G2 image obtained by irradiating G2 is small.
  • the absorbance in the B2 wavelength band is higher than the absorbance in the G2 wavelength band. Therefore, in a region including ⁇ -carotene, the signal value of the B2 image obtained by irradiating B2 is smaller than the signal value of the G2 image obtained by irradiating G2, and the B2 image is darker.
  • the processing unit 4 includes a memory 16, an image processing unit 17, and a control unit 18.
  • the memory 16 stores the image signal acquired by the image sensor 12 for each wavelength of the illumination light.
  • the memory 16 is a semiconductor memory such as an SRAM or a DRAM, but may use a magnetic storage device or an optical storage device.
  • the image processing unit 17 performs image processing on the image signal stored in the memory 16.
  • the image processing here includes enhancement processing based on a plurality of image signals stored in the memory 16 and processing of synthesizing a display image by allocating an image signal to each of a plurality of output channels.
  • the plurality of output channels are three channels of an R channel, a G channel, and a B channel, but three channels of a Y channel, a Cr channel, and a Cb channel may be used, or a channel having another configuration may be used. .
  • the image processing unit 17 includes an enhancement amount calculation unit 17a and an enhancement processing unit 17b.
  • the enhancement amount calculation unit 17a is, for example, an enhancement amount calculation circuit.
  • the emphasis processing unit 17b is, for example, an emphasis processing circuit.
  • the emphasis amount here is a parameter that determines the degree of emphasis in the emphasis processing.
  • the emphasis amount is a parameter of 0 or more and 1 or less, and the parameter is such that the smaller the value is, the larger the change amount of the signal value is.
  • the emphasis amount calculated by the emphasis amount calculation unit 17a is a parameter in which the smaller the value, the stronger the degree of emphasis.
  • various modifications can be made such that the emphasis amount is set as a parameter whose degree of emphasis increases as the value increases.
  • the enhancement amount calculation unit 17a calculates the enhancement amount based on the correlation between the first image and the second image. More specifically, the amount of enhancement used in the enhancement processing is calculated based on the correlation between the B2 image captured by the irradiation of B2 and the G2 image captured by the irradiation of G2.
  • the enhancement processing unit 17b performs an enhancement process on the display image based on the enhancement amount.
  • the emphasizing process is a process that makes it easier to distinguish between a fat layer and a heat-denatured muscle layer as compared to before the processing.
  • the display image in the present embodiment is an output image of the processing unit 4 and an image displayed on the display unit 6. Further, the image processing unit 17 may perform another image processing on the image acquired from the image sensor 12. For example, a known process such as a white balance process or a noise reduction process may be executed as a pre-process or a post-process of the enhancement process.
  • the control unit 18 controls to synchronize the imaging timing of the imaging element 12, the lighting timing of the light emitting diodes 13a to 13e, and the image processing timing of the image processing unit 17.
  • the control unit 18 is, for example, a control circuit or a controller.
  • the display unit 6 sequentially displays the display images output from the image processing unit 17. That is, a moving image having a display image as a frame image is displayed.
  • the display unit 6 is, for example, a liquid crystal display or an EL (Electro-Luminescence) display.
  • the external I / F unit 19 is an interface for the user to make an input or the like to the endoscope apparatus 1. That is, it is an interface for operating the endoscope apparatus 1 or an interface for setting operation of the endoscope apparatus 1.
  • the external I / F unit 19 includes a mode switching button for switching an observation mode, an adjustment button for adjusting image processing parameters, and the like.
  • the endoscope apparatus 1 may be configured as follows. That is, the endoscope apparatus 1 (the processing unit 4 in a narrow sense) includes a memory that stores information, and a processor that operates based on the information stored in the memory.
  • the information is, for example, a program or various data.
  • the processor performs image processing including emphasis processing, and irradiation control of the illumination unit 3.
  • the enhancement process is a process of determining an enhancement amount based on the first image (B2 image) and the second image (G2 image), and enhancing a given image based on the enhancement amount.
  • the image to be emphasized is, for example, an R1 image assigned to the output R channel, but various modifications can be made.
  • the function of each unit may be realized using individual hardware, or the function of each unit may be realized using integrated hardware.
  • a processor includes hardware, and the hardware can include at least one of a circuit that processes digital signals and a circuit that processes analog signals.
  • the processor can be configured using one or more circuit devices or one or more circuit elements mounted on a circuit board.
  • the circuit device is, for example, an IC or the like.
  • the circuit element is, for example, a resistor, a capacitor, or the like.
  • the processor may be, for example, a CPU (Central Processing Unit).
  • the processor is not limited to the CPU, and various processors such as a GPU (Graphics Processing Unit) or a DSP (Digital Signal Processor) can be used.
  • the processor may be a hardware circuit using an ASIC. Further, the processor may include an amplifier circuit and a filter circuit for processing an analog signal.
  • the memory may be a semiconductor memory such as an SRAM or a DRAM, may be a register, may be a magnetic storage device such as a hard disk device, or may be an optical storage device such as an optical disk device. May be.
  • the memory stores a computer-readable instruction, and the processor executes the instruction to implement the function of each unit of the processing unit 4 as a process.
  • the instruction here may be an instruction of an instruction set constituting a program or an instruction for instructing a hardware circuit of a processor to operate.
  • Each unit of the processing unit 4 of the present embodiment may be realized as a module of a program operating on a processor.
  • the image processing unit 17 is realized as an image processing module.
  • the control unit 18 is realized as a control module that performs synchronous control of the emission timing of the illumination light and the imaging timing of the imaging device 12, and the like.
  • the program that implements the processing performed by each unit of the processing unit 4 of the present embodiment can be stored in, for example, an information storage device that is a computer-readable medium.
  • the information storage device can be realized using, for example, an optical disk, a memory card, an HDD, or a semiconductor memory.
  • the semiconductor memory is, for example, a ROM.
  • the information storage device here may be the memory 16 in FIG. 2 or an information storage device different from the memory 16.
  • the processing unit 4 performs various processes of the present embodiment based on a program stored in the information storage device. That is, the information storage device stores a program for causing a computer to function as each unit of the processing unit 4.
  • the computer is a device including an input device, a processing unit, a storage unit, and an output unit.
  • the program is a program for causing a computer to execute processing of each unit of the processing unit 4.
  • the method of this embodiment causes the illumination unit 3 to irradiate the illumination unit 3 with a plurality of illumination lights including the first light, the second light, and the third light.
  • the return light is imaged, and the first image captured by the first light irradiation, the second image captured by the second light irradiation, and the third image captured by the third light irradiation
  • the step of generating a display image based on an image can be applied to a program that causes a computer to execute the step.
  • the steps executed by the program are the steps shown in the flowcharts of FIGS. 4 to 6 and FIG.
  • the first to third lights have the following characteristics as described above.
  • the difference between the absorbance of ⁇ -carotene at the peak wavelength of the first light and the absorbance of ⁇ -carotene at the peak wavelength of the second light is defined as the first absorbance difference
  • the absorbance of metmyoglobin at the peak wavelength of the first light is defined as the second absorbance difference
  • the first absorbance difference is larger than the second absorbance difference
  • the third light has a peak wavelength of the first light.
  • the peak wavelength of the second light is defined as the difference in the absorbance of metmyoglobin at the peak wavelength of the second light.
  • FIG. 4 is a flowchart illustrating processing of the endoscope apparatus 1.
  • the control unit 18 determines whether the observation mode is the white light observation mode (S101).
  • the illumination unit 3 sequentially turns on the three light emitting diodes corresponding to the three lights B1, G1, and R1 shown in FIG. , R1 are sequentially irradiated (S102).
  • the imaging unit 10 sequentially captures, using the imaging device 12, reflected light from the subject when each of the illumination lights is irradiated (S103).
  • the B1 image by the irradiation of B1, the G1 image by the irradiation of G1, and the R1 image by the irradiation of R1 are sequentially captured, and the obtained images (image data and image information) are sequentially stored in the memory 16.
  • the image processing unit 17 executes image processing corresponding to the white light observation mode based on the image stored in the memory 16 (S104).
  • FIG. 5 is a flowchart illustrating the process of S104.
  • the image processing unit 17 determines whether the image acquired in the process of S103 is a B1 image, a G1 image, or an R1 image (S201). If the image is a B1 image, the image processing unit 17 updates the display image by allocating the B1 image to the output B channel (S202). Similarly, if the image is a G1 image, the image processing unit 17 assigns the G1 image to the output G channel (S203). If the image is an R1 image, the image processing unit 17 assigns the R1 image to the output R channel (S204). .
  • images corresponding to the three types of illumination light B1, G1, and R1 are acquired, images are assigned to all of the three output channels, so that a white light image is generated. Note that the white light image may be updated every frame or once every three frames.
  • the generated white light image is transmitted to the display unit 6 and displayed.
  • the absorption in the B1 and G1 wavelength bands is larger than the absorption in the R1 wavelength band. Therefore, the region where myoglobin exists is displayed in a light red tone in the white light image. Specifically, the color is different between the mucosal layer having a high concentration of myoglobin and the muscle layer having a low concentration of myoglobin, and the mucosal layer is displayed in a color close to red, and the muscle layer is displayed in a color close to white. You.
  • the endoscope apparatus 1 of the present embodiment operates in a special light observation mode different from the white light observation mode.
  • the switching of the observation mode is performed using the external I / F unit 19, for example.
  • the illumination unit 3 sequentially switches the four light emitting diodes corresponding to the four lights B2, G1, G2, and R1 shown in FIG. By illuminating, B2, G1, G2, and R1 are sequentially irradiated (S105).
  • the imaging unit 10 sequentially captures the reflected light from the subject when the illumination light is emitted by the imaging device 12 (S106).
  • the B2 image, the G1 image, the G2 image, and the R1 image are sequentially captured, and the obtained images are sequentially stored in the memory 16.
  • the irradiation order and the imaging order of the four illumination lights can be variously modified.
  • the image processing unit 17 executes image processing corresponding to the special light observation mode based on the image stored in the memory 16 (S107).
  • FIG. 6 is a flowchart illustrating the process of S107.
  • the image processing unit 17 determines whether the image acquired in S106 is a B2 image, a G1 image, a G2 image, or an R1 image (S301). If the image is a B2 image, the image processing unit 17 assigns the B2 image to the output B channel (S302). Similarly, if the image is a G1 image, the image processing unit 17 assigns the G1 image to the output G channel (S303). If the image is an R1 image, the image processing unit 17 assigns the R1 image to the output R channel (S304). .
  • the enhancement amount calculation unit 17a of the image processing unit 17 calculates an enhancement amount based on the G2 image and the acquired B2 image (S305). Then, the enhancement processing unit 17b of the image processing unit 17 performs an enhancement process on the display image based on the calculated enhancement amount (S306).
  • the emphasis process on the display image is an emphasis process on at least one of the B2 image, the G1 image, and the R1 image assigned to each output channel.
  • FIG. 6 illustrates an example in which the enhancement amount calculation processing and the enhancement processing are performed at the G2 image acquisition timing, but the above processing may be performed at the B2 image acquisition timing. Alternatively, the enhancement amount calculation processing and the enhancement processing may be performed at both the G2 image acquisition timing and the B2 image acquisition timing.
  • the wavelength band of B2 is a wavelength band in which the absorbance of ⁇ -carotene is larger than that of G2.
  • B2 and G2 have a small difference in absorbance of myoglobin and a small difference in absorbance of metmyoglobin. Therefore, when the correlation between the B2 image and the G2 image is obtained, a region having a low correlation corresponds to a region containing a large amount of ⁇ -carotene, and a region having a high correlation corresponds to a region containing a large amount of myoglobin or metmyoglobin.
  • Emp is an enhancement amount image representing the enhancement amount.
  • (X, y) represents a position in the image.
  • B2 (x, y) represents a pixel value at (x, y) in the B2 image
  • G2 (x, y) represents a pixel value at (x, y) in the G2 image.
  • the emphasis amount in the present embodiment is not limited to the ratio itself shown in the above equation (1) but includes various information obtained based on the ratio. For example, the result of performing the clip processing is also included in the emphasis amount of the present embodiment.
  • the enhancement processing unit 17b performs a color conversion process on the display image based on the enhancement amount. Specifically, the value of the output R channel is adjusted using the following equation (2).
  • B ′ (x, y) B (x, y)
  • G ′ (x, y) G (x, y)
  • R ′ (x, y) R (x, y) ⁇ Emp (x, y) (2)
  • B, G, and R are B-channel, G-channel, and R-channel images before the enhancement processing, respectively.
  • B (x, y) is a pixel value at (x, y) of the B2 image
  • G (x, y) is a pixel value at (x, y) of the G1 image
  • R (x, y) are pixel values at (x, y) of the R1 image.
  • B ′, G ′, and R ′ are images of the B channel, G channel, and R channel after the enhancement processing, respectively.
  • the fat layer rich in ⁇ -carotene is displayed in green.
  • the color change in the region containing a large amount of metmyoglobin or myoglobin is small. Therefore, the mucosal layer and the muscle layer containing a large amount of myoglobin are displayed in red to white, and the heat-denatured muscle layer containing a large amount of metmyoglobin is displayed in yellow.
  • the boundary between the muscle layer and the fat layer can be displayed in a highly visible manner. It is.
  • the technique of the present embodiment is applied to TUR-Bt, it is possible to suppress perforation of the bladder wall when removing a tumor of the bladder.
  • the emphasis amount is not limited to the difference itself, but includes various information obtained based on the difference.
  • the result of normalization by G2 (x, y) as shown in the above equation (3) and the result of clip processing are also included in the enhancement amount.
  • the enhancement amount obtained using the above equation (3) is closer to 0 as the correlation between images is higher, and is closer to 1 as the correlation is lower. Therefore, when the process of reducing the red signal value in the region containing a large amount of ⁇ -carotene, that is, in the region where the correlation between the images is low, is realized using the enhancement amount image Emp of the above equation (3), the enhancement processing unit 17 b The following equation (4) is calculated.
  • B ′ (x, y) B (x, y)
  • G ′ (x, y) G (x, y)
  • R ′ (x, y) R (x, y) ⁇ ⁇ 1-Emp (x, y) ⁇ (4)
  • the fat layer containing a large amount of ⁇ -carotene is displayed in a green tone, and the mucosal layer and the muscle layer containing a large amount of myoglobin are displayed in a red to white tone.
  • the heat-denatured muscle layer rich in metmyoglobin is displayed in yellow.
  • the enhancement processing unit 17b may perform a color conversion process of changing the signal value of the output B channel by performing the calculation of the following expression (5).
  • B ′ (x, y) B (x, y) ⁇ Emp (x, y)
  • G ′ (x, y) G (x, y)
  • R ′ (x, y) R (x, y) (5)
  • the blue pixel value becomes smaller in the region including ⁇ -carotene.
  • fat layers rich in ⁇ -carotene are displayed in dark yellow.
  • the mucosal layer and the muscular layer rich in myoglobin are displayed in red to white, and the heat-denatured muscular layer rich in metmyoglobin is displayed in yellow.
  • both the fat layer and the heat-denatured muscle layer have a yellow tone, but since they have different densities, the boundary between the muscle layer and the fat layer can be displayed in a highly visible manner.
  • the enhancement processing unit 17b may perform a color conversion process for changing the signal value of the output G channel. Alternatively, the enhancement processing unit 17b may perform color conversion processing for changing the signal values of two or more channels.
  • the enhancement processing unit 17b may perform a saturation conversion process as the enhancement process.
  • the RGB color space of the composite image may be converted to the HSV color space. Conversion to the HSV color space is performed using the following equations (6) to (10).
  • Expression (6) represents the hue H when the luminance value of the R image is the highest among the B, G, and R images.
  • Expression (7) is the hue H when the luminance value of the G image is the highest among the B, G, and R images.
  • Equation (8) is the hue H that is the case where the luminance value of the B image is the highest among the B, G, and R images.
  • S is the saturation and V is the lightness.
  • Max (RGB (x, y)) is the highest pixel value of the R, G, B image at the position (x, y) in the image
  • Min (RGB (x, y)) is the value in the image.
  • the pixel value of the R, G, B image at the position (x, y) is the lowest value.
  • the enhancement processing unit 17b converts the data into the HSV color space using the above equations (6) to (10), and then uses the following equation (11) to convert the region including metmyoglobin into the HSV color space. Change the saturation.
  • S ′ (x, y) S (x, y) ⁇ 1 / (Emp (x, y)) (11)
  • 'S' is the saturation after enhancement
  • S is the saturation before enhancement. Since the enhancement amount Emp takes a value of 0 or more and 1 or less, the saturation after enhancement has a larger value than that before the enhancement.
  • the enhancement processing unit 17b After enhancing the saturation, the enhancement processing unit 17b returns the HSV color space to the RGB color space using the following equations (12) to (21). Note that the floor in the following equation (12) represents a truncation process.
  • h (x, y) floor ⁇ H (x, y) / 60 ⁇ (12)
  • P (x, y) V (x, y) ⁇ (1-S (x, y)) (13)
  • Q (x, y) V (x, y) ⁇ (1-S (x, y) ⁇ (H (x, y) / 60-h (x, y)) (14)
  • T (x, y) V (x, y) ⁇ (1-S (x, y) ⁇ (1-H (x, y) / 60 + h (x, y))
  • the emphasis processing unit 17b may perform a hue conversion process.
  • the enhancement processing unit 17b executes the hue conversion process by maintaining the values of the saturation S and the lightness V, for example, and applying the enhancement amount image Emp to the hue H.
  • the emphasizing process of the present embodiment is a process that facilitates the identification of the fat layer and the heat-denatured muscle layer, in other words, a process that improves the visibility of the boundary between the fat layer and the heat-denatured muscle layer.
  • Various modifications can be made to the specific processing contents.
  • G1 corresponds to the green wavelength band
  • R1 corresponds to the red wavelength band
  • B2 is a narrow band light in a blue wavelength band. Therefore, by allocating the B2 image to the output B channel, allocating the G1 image to the output G channel, and allocating the R1 image to the output R channel, it is possible to generate a display image with high color rendering properties.
  • the illumination unit 3 may include a light emitting diode that emits light G3 (not shown) in a wavelength band of 540 nm to 590 nm.
  • the illumination unit 3 sequentially emits four lights B2, G2, G3, and R1, and the imaging unit 10 sequentially captures a G2 image, a G2 image, a G3 image, and an R1 image.
  • the image processing unit 17 generates a display image with high color rendering by allocating the B2 image to the output B channel, allocating the G3 image to the output G channel, and allocating the R1 image to the output R channel.
  • the image assigned to the R channel is not limited to the R1 image, and may be an image captured by irradiation with light of another wavelength band corresponding to red.
  • the method of the present embodiment only needs to have a configuration capable of distinguishing between a fat layer and a heat-denatured muscle layer, and the generation of a display image with high color rendering is not an essential configuration.
  • a modified embodiment in which the irradiation of G1 or R1 is omitted in the special light observation mode in which four lights B2, G1, G2, and R1 are irradiated.
  • the G2 image is allocated to the output channel to which the image captured by the omitted light irradiation is allocated.
  • a display image is generated by allocating the B2 image to the output B channel, allocating the G1 image to the output G channel, and allocating the G2 image to the output R channel.
  • the emphasis process may be performed on the R channel as in the above example, may be performed on another channel, and may be a saturation conversion process or a hue conversion process.
  • the correspondence between the three captured images and the output channels described above is an example, and a display image may be generated by allocating each captured image to a different channel. In this case, since the display image in the special light observation mode is displayed in a pseudo color, the appearance of the operation field is greatly different from that in the white light observation mode.
  • a display image is generated by allocating a B2 image to an output B channel, allocating a G2 image to an output G channel, and allocating an R1 image to an output R channel.
  • a B2 image corresponding to blue is assigned to the B channel
  • a G2 image corresponding to green is assigned to the G channel, so that the color rendering is considered to be somewhat high.
  • the wavelength band widely used as green light is a wavelength band centered at 550 nm like G1, and the wavelength of G2 is shorter than that. That is, it is considered that the color rendering properties are reduced even when G1 is removed.
  • the technique of the present embodiment aims at distinguishing the fat layer from the heat-denatured muscle layer, and the white light observation mode itself is not an essential configuration. Therefore, the configuration may be such that the processing of S101 to S104 in FIG. 4 and the processing of FIG. 5 are omitted, and the processing of S105 to S107 and the processing of FIG. 6 are repeated.
  • the light emitting diodes for irradiating B1 can be omitted, and there are four light emitting diodes corresponding to B2, G1, G2, and R1, or three light emitting diodes excluding one of G1 and R1.
  • the illumination unit 3 of the present embodiment irradiates the third light in addition to at least the first light (B2) and the second light (G2).
  • the third light is light having a peak wavelength in a green wavelength band or light having a peak wavelength in a red wavelength band.
  • the light having a peak wavelength in the green wavelength band is light (G1) corresponding to a wavelength band of 525 nm to 575 nm or light (G3) corresponding to a wavelength band of 540 nm to 590 nm.
  • Light having a peak wavelength in the red wavelength band is light (R1) corresponding to a wavelength band of 600 nm to 650 nm.
  • the light corresponding to the wavelength band of 525 nm to 575 nm refers to light in which the intensity of irradiation light is equal to or more than a predetermined threshold value in the range of 525 nm to 575 nm.
  • the third light is, specifically, a light having a wider wavelength band than the first light and a wider wavelength band than the second light.
  • the first light and the second light according to the present embodiment are effective for discriminating whether or not the subject is a region containing a large amount of ⁇ -carotene, but is a region containing a large amount of metmyoglobin or a region containing a large amount of myoglobin. Is difficult to identify. In that regard, the addition of the third light makes it possible to distinguish between metmyoglobin and myoglobin.
  • the absorbance of myoglobin is larger than the wavelength band of B2 and the wavelength band of G2. Therefore, the color of the channel to which the G1 image is input is suppressed in the mucous membrane layer and the muscle layer, and the color of the channel to which the B2 image and the G2 image are input becomes dominant.
  • the absorbance of metmyoglobin is smaller than the wavelength bands of B2 and G2. Therefore, in the thermally denatured muscle layer, the color of the channel to which the G1 image is input is relatively strong, and the color of the channel to which the B2 image and the G2 image are input is relatively weak.
  • the display image is synthesized by inputting the B2 image, the G1 image, and the G2 image to each channel, the color of the fat layer and the color of the muscle layer or the mucous layer are different from each other, and the identification is easy. is there.
  • both the absorbance of metmyoglobin and the absorbance of myoglobin are smaller than the B2 wavelength band and the G2 wavelength band, but to a different extent. Therefore, when the display image is synthesized by inputting the B2 image, the G2 image, and the R1 image to each channel, the color of the fat layer is different from the color of the muscle layer or the mucous layer.
  • the wavelength band of the fourth light is set to a wavelength band that is not covered by the first to third lights among the wavelength bands of the visible light.
  • the illumination unit 3 outputs light (R1) having a peak wavelength in a red wavelength band to the fourth light. Irradiation as light.
  • the illumination unit 3 irradiates light having a peak wavelength in a green wavelength band as fourth light.
  • the image sensor 12 is a monochrome device.
  • the image sensor 12 may be a color device including a color filter.
  • the image sensor 12 may be a color CMOS or a color CCD.
  • FIG. 7 is an example of the spectral characteristics of the color filters included in the image sensor 12.
  • the color filters include three filters that transmit wavelength bands corresponding to each of RGB.
  • the color filters may be a Bayer array or another array.
  • the color filter may be a complementary color filter.
  • FIG. 8 is another configuration example of the endoscope apparatus 1.
  • the imaging unit 10 of the endoscope apparatus 1 includes a color separation prism 20 that separates reflected light from a subject for each wavelength band, and three imaging elements 12 a that capture light of each wavelength band separated by the color separation prism 20. , 12b, and 12c.
  • the illumination unit 3 simultaneously irradiates light of a plurality of different wavelength bands, and the imaging unit 10 Can be respectively captured.
  • the illumination unit 3 simultaneously turns on the light emitting diodes that irradiate B1, G1, and R1.
  • the imaging unit 10 enables white light observation by simultaneously capturing the B1 image, the G1 image, and the R1 image.
  • the illumination unit 3 alternately turns on a combination of light emitting diodes for irradiating B2 and G1 and a combination of light emitting diodes for irradiating G2 and R1.
  • the imaging unit 10 can perform special light observation by capturing a combination of the B2 image and the G1 image and a combination of the G2 image and the R1 image in a two-plane sequential method.
  • the above combination is considered in consideration of color separation, but other combinations may be used as long as G1 and G2 are not simultaneously combined.
  • each light irradiation is performed using a light emitting diode
  • a laser diode may be used instead.
  • B2 and G2 which are narrow band lights, may be replaced with laser diodes.
  • the configuration of the illumination unit 3 is not limited to the configuration including the light emitting diodes 13a to 13e, the mirror 14, and the dichroic mirror 15 illustrated in FIG.
  • the illumination unit 3 sequentially emits light of different wavelength bands by using a white light source such as a xenon lamp that emits white light and a filter turret having a color filter that transmits a wavelength band corresponding to each illumination light. May be.
  • the xenon lamp may be replaced with a combination of a phosphor and a laser diode that excites the phosphor.
  • the endoscope device a type in which a control device and a scope are connected and a user operates the scope to image the inside of the body can be assumed.
  • the present invention is not limited to this, and a surgery support system using a robot, for example, can be assumed as the endoscope apparatus to which the present invention is applied.
  • a surgery support system includes a control device, a robot, and a scope.
  • the scope is, for example, a rigid scope.
  • the control device is a device that controls the robot. That is, the user operates the operation unit of the control device to operate the robot, and performs an operation on the patient using the robot.
  • the scope is operated by passing through a robot, and the operation area is photographed.
  • the control device includes the processing unit 4 of FIG. The user operates the robot while watching the image displayed by the processing unit 4 on the display device.
  • the present invention can be applied to a control device in such a surgery support system. Note that the control device may be built in the robot.
  • Second Embodiment In the first embodiment, an example has been described in which the absorbance of myoglobin at the peak wavelength of the first light is substantially equal to the absorbance of myoglobin at the peak wavelength of the second light.
  • the first image and the second image it is possible to identify whether the pigment contained in the subject is ⁇ -carotene or myoglobin or metmyoglobin. That is, subjects such as a fat layer, a heat-denatured muscle layer, a muscle layer, and a mucous layer are photographed in the captured image, and the fat layer can be emphasized with emphasis on the fat layer. .
  • the first light and the second light satisfy the condition that the first absorbance difference is larger than the second absorbance difference. Is enough. In other words, the relationship between the absorbance of the first light myoglobin and the absorbance of the second light myoglobin can be set arbitrarily.
  • FIGS. 9A and 9B are diagrams illustrating spectral characteristics of a plurality of light emitting diodes in the present embodiment.
  • the horizontal axis represents the wavelength
  • the vertical axis represents the intensity of the irradiation light.
  • the illumination unit 3 of the present embodiment includes three light emitting diodes that emit light B1 in the blue wavelength band, light G1 in the green wavelength band, and light R1 in the red wavelength band. Each wavelength band is the same as in the first embodiment.
  • the illumination unit 3 of the present embodiment includes two light emitting diodes that emit a narrow band light B3 of a blue wavelength band and a narrow band light G2 of a green wavelength band.
  • B3 is narrow-band light having a peak wavelength in the range of, for example, 460 nm ⁇ 10 nm.
  • the absorbance of metmyoglobin in the wavelength band of B3 is substantially equal to the absorbance of metmyoglobin in the wavelength band of G2. Therefore, in the region including metmyoglobin, the difference between the signal value of the B3 image obtained by irradiating B3 and the signal value of the G2 image obtained by irradiating G2 is small.
  • the absorbance in the B3 wavelength band is higher than the absorbance in the G2 wavelength band. Therefore, in the region including ⁇ -carotene, the signal value of the B3 image obtained by irradiating B3 is smaller than the signal value of the G2 image obtained by irradiating G2, and the B3 image is darker.
  • the amount of change in the signal value in the region of the fat layer containing a large amount of ⁇ -carotene is increased, and in the region of the heat-denatured muscle layer containing a large amount of metmyoglobin.
  • the amount of change in the signal value can be reduced.
  • the absorbance of myoglobin in the wavelength band of B3 is higher than that in the wavelength band of G2. Therefore, when Emp obtained by using the above equation (22) is used for the emphasis processing, the emphasis processing for greatly changing the signal value is performed also on the region containing a large amount of myoglobin, specifically, the muscular layer and the mucosal layer. I will be.
  • the image processing unit 17 detects, from the captured image, a region determined to be either a fat layer or a heat-denatured muscle layer.
  • the emphasis processing unit 17b executes an emphasis process using the emphasis amount on only the detected area. In this way, a region containing a large amount of myoglobin is excluded at the stage of the detection processing, so that unnecessary emphasis processing can be suppressed.
  • the illumination unit 3 sequentially turns on three light emitting diodes corresponding to the four lights B3, G1, G2, and R1 shown in FIG. , G1, G2, and R1 are sequentially irradiated (S105).
  • the imaging unit 10 sequentially captures the reflected light from the subject when each of the illumination lights is irradiated using the imaging device 12 (S106).
  • the B3 image, the G1 image, the G2 image, and the R1 image are sequentially captured, and the obtained images are sequentially stored in the memory 16.
  • FIG. 10 is a flowchart illustrating the process of S107 in the third embodiment.
  • the image processing unit 17 determines whether the image acquired in S106 is a B3 image, a G1 image, a G2 image, or an R1 image (S501). If it is a B3 image, the image processing unit 17 assigns the B3 image to the output B channel (S502). Similarly, if the image is a G1 image, the image processing unit 17 assigns the G1 image to the output G channel (S503). If the image is an R1 image, the image processing unit 17 assigns the R1 image to the output R channel (S504). .
  • the enhancement amount calculation unit 17a of the image processing unit 17 calculates an enhancement amount based on the G2 image and the acquired B3 image (S505). Further, the image processing unit 17 performs a color determination process based on the display image before the enhancement process, and detects an area determined to be yellow (S506). For example, the image processing unit 17 obtains the color differences Cr and Cb based on the signal values of each of the RGB channels, and detects an area where Cr and Cb are within a predetermined range as a yellow area.
  • B3 is a narrow band light in a blue wavelength band. Therefore, when the B3 image is assigned to the B channel, the G1 image is assigned to the G channel, and the R1 image is assigned to the R channel, the color rendering of the display image is improved to some extent. As a result, the fat layer and the heat-denatured muscle layer are displayed in yellow, and the muscle layer and the mucous membrane layer are displayed in red to white. That is, in the special light observation mode, by detecting a region of a predetermined color based on an image assigned to each output channel, it is possible to detect a region presumed to be either a fat layer or a heat-denatured muscle layer. is there.
  • the enhancement processing unit 17b of the image processing unit 17 performs an enhancement process on the yellow area detected in S506 based on the enhancement amount calculated in S505 (S507).
  • the first embodiment it is possible to display the fat layer and the heat-denatured muscular layer using an easily distinguishable mode.
  • the first embodiment is advantageous in that the processing load is relatively light because the detection processing of the yellow region is unnecessary and the entire captured image can be subjected to the enhancement processing.
  • the second embodiment does not need to consider the absorbance of myoglobin when setting the wavelength bands of the first light and the second light, and thus has high flexibility in setting the wavelength band.
  • the processing for detecting the yellow area has been described as an example.
  • a modification may be made in which a red area and a white area are detected and areas other than the detection area in the captured image are subjected to the enhancement processing.
  • the first absorbance difference for ⁇ -carotene and the second absorbance difference for metmyoglobin are the first absorbance difference>
  • Various modifications can be made to the specific wavelength band as long as the difference is the second absorbance difference.
  • the contents of the enhancement amount calculation processing and the enhancement processing can be variously modified, and the imaging element 12 and the illumination unit 3 can also be variously modified.
  • SYMBOLS 1 ... Endoscope apparatus, 2 ... Insertion part, 3 ... Lighting part, 4 ... Processing part, 5 ... Body part, 6 ... Display part, 7 illumination optical system, 8 light guide cable, 9 illumination lens, 10 imaging unit, 11: Objective lens, 12, 12a to 12c: Image sensor, 13a to 13e: light emitting diode, 14: mirror, 15: dichroic mirror, 16 memory, 17 image processing unit, 17a enhancement amount calculation unit, 17b enhancement processing unit, 18: control unit, 19: external I / F unit, 20: color separation prism

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡装置１は、第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部３と、被検体からの戻り光を撮像する撮像部１０）と、第１～第３の光の照射によって撮像された第１～第３の画像に基づいて、表示画像を生成する画像処理部１７を含む。第１の光のβカロテンの吸光度と第２の光のβカロテンの吸光度の差を第１吸光度差とし、第１の光のメトミオグロビンの吸光度と第２の光のメトミオグロビンの吸光度の差を第２吸光度差とした場合において、第１吸光度差は第２吸光度差に比べて大きい。また第３の光のピーク波長は、第１の光のピーク波長及び第２の光のピーク波長と異なる。

Description

内視鏡装置、内視鏡装置の作動方法及びプログラム
　本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
　内視鏡装置を用いて、経尿道的に膀胱腫瘍を切除する手技（経尿道的膀胱腫瘍切除術：ＴＵＲ－Ｂｔ）が広く知られている。ＴＵＲ－Ｂｔでは、膀胱内に灌流液を満たした状態で腫瘍の切除が行われる。灌流液の影響によって、膀胱壁は薄く引き伸ばされた状態となる。この状態で手技が行われるため、ＴＵＲ－Ｂｔでは穿孔のリスクが伴う。
　膀胱壁は、内側から粘膜層、筋層、脂肪層の３層で構成されている。そのため、各層の識別が容易となる形態を用いて表示を行うことによって、穿孔を抑制することが可能と考えられる。
　内視鏡装置を用いた生体内の観察及び処置においては、画像処理によって特定の被写体を強調する手法が広く知られている。例えば特許文献１は、特定の波長帯域の光の照射によって撮像される画像信号に基づいて、特定の深さにある血管の情報を強調する手法を開示している。また特許文献２は、βカロテンの吸光特性を考慮した複数の波長帯域の照明光を照射することによって、脂肪層を強調する手法を開示している。
特開２０１６－６７７７５号公報 国際公開第２０１３／０５２２３２号
　ＴＵＲ－Ｂｔでは電気メスを用いて腫瘍を切除する。そのため、腫瘍周辺の組織が熱変性を生じて色が変化する。例えば、筋層が熱変性すると、脂肪層に類似した色である黄色に変化する。具体的には、筋層に含まれるミオグロビンが熱変性することによって、メトミオグロビンに変化する。これによって、熱変性した筋層は、黄色調（褐色調）を呈する。そのため、単純に脂肪層に対する強調処理を行った場合、熱変性した筋層も同時に強調されるおそれがあり、穿孔リスクの抑制が困難である。なお、ここではＴＵＲ－Ｂｔを例示したが、脂肪層と熱変性した筋層の識別が容易でないという課題は、生体の他の部位に対する観察や手技を行う場合においても同様である。
　特許文献１は、血管を強調する手法であり、脂肪層や熱変性した筋層を強調する手法を開示していない。特許文献２は、脂肪層を強調する手法を開示しているが、熱変性した筋層を考慮しておらず、両者の識別は困難である。
　本発明の幾つかの態様によれば、脂肪層と熱変性した筋層の識別に好適な画像を提示する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。
　本発明の一態様は、第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部と、前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する画像処理部と、を含み、前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、前記第１吸光度差は前記第２吸光度差に比べて大きく、前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なる内視鏡装置に関係する。
　本発明の他の態様は、第１の光、第２の光及び第３の光を含む複数の照明光を照射し、前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成し、前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、前記第１吸光度差は前記第２吸光度差に比べて大きく、前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なる内視鏡装置の作動方法に関係する。
　本発明のさらに他の態様は、第１の光、第２の光及び第３の光を含む複数の照明光を照明部に照射させ、前記照明部の照射に基づく被検体からの戻り光を撮像し、前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する、ステップをコンピュータに実行させ、前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、前記第１吸光度差は前記第２吸光度差に比べて大きく、前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なるプログラムに関係する。
図１（Ａ）、図１（Ｂ）はＴＵＲ－Ｂｔの説明図。 内視鏡装置の構成例。 図３（Ａ）、図３（Ｂ）は第１の実施形態の照明光の分光特性の例、図３（Ｃ）は各色素の吸光度の説明図。 内視鏡装置の動作を説明するフローチャート。 白色光観察モードでの処理を説明するフローチャート。 第１の実施形態の特殊光観察モードでの処理を説明するフローチャート。 撮像素子のカラーフィルタの分光特性の例。 内視鏡装置の他の構成例。 図９（Ａ）、図９（Ｂ）は第２の実施形態の照明光の分光特性の例、図９（Ｃ）は各色素の吸光度の説明図。 第２の実施形態の特殊光観察モードでの処理を説明するフローチャート。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．本実施形態の手法
　まず本実施形態の手法について説明する。なお、以下ではＴＵＲ－Ｂｔを例にとって説明を行うが、本実施形態の手法は、脂肪層と熱変性した筋層を識別する必要がある他の場面にも適用可能である。即ち、本実施形態の手法は、ＴＵＲ－ＢＯ（経尿道的膀胱腫瘍一塊切除術）等の膀胱を対象とした他の手技に適用してもよいし、膀胱とは異なる部位を対象とした観察や手技に適用してもよい。
　図１（Ａ）、図１（Ｂ）はＴＵＲ－Ｂｔの説明図である。図１（Ａ）は腫瘍が発生している状態の膀胱壁の一部を例示する模式図である。膀胱壁は内側から粘膜層、筋層、脂肪層の３層で構成される。腫瘍は、比較的初期の段階では粘膜層に留まるが、進行するにつれて筋層や脂肪層等の深い層に浸潤していく。図１（Ａ）では、筋層に浸潤していない腫瘍を例示している。
　図１（Ｂ）は、ＴＵＲ－Ｂｔによって腫瘍が切除された後の膀胱壁の一部を例示する模式図である。ＴＵＲ－Ｂｔでは、少なくとも腫瘍周辺の粘膜層が切除される。例えば、粘膜層、及び筋層のうちの粘膜層に近い一部が切除対象となる。切除された組織は、病理診断の対象となり、腫瘍の性質、及びどの深さまで腫瘍が達しているかが調べられる。また、図１（Ａ）に例示したように腫瘍が筋層非浸潤性がんの場合、病態によってはＴＵＲ－Ｂｔを用いて腫瘍を完全に切除可能である。即ち、ＴＵＲ－Ｂｔは診断と治療を兼ねた手技である。
　ＴＵＲ－Ｂｔにおいては、筋層に浸潤していない比較的早期の腫瘍を完全に切除することを考慮すれば、膀胱壁をある程度深い層まで切除することが重要である。例えば、腫瘍周辺の粘膜層を残さないために、筋層の途中まで切除対象とすることが望ましい。一方で、ＴＵＲ－Ｂｔにおいては、灌流液の影響によって膀胱壁が薄く引き伸ばされた状態となっている。そのため、過剰に深い層まで切除することによって、穿孔のリスクが増大してしまう。例えば、脂肪層は切除対象としないことが望ましい。
　ＴＵＲ－Ｂｔにおいて、適切な切除を実現するためには、筋層と脂肪層の識別が重要となる。一般的な白色光を用いた観察では、筋層は白色～赤色調を呈し、脂肪層は黄色調を呈するため、色に基づいて２つの層を識別可能なように思える。しかしＴＵＲ－Ｂｔにおいては腫瘍の切除に電気メスを用いるため、筋層が熱変性する場合がある。筋層に含まれるミオグロビンがメトミオグロビンに変化することによって、吸光特性が変化する。結果として、熱変性した筋層は黄色調を呈し、脂肪層と熱変性した筋層の識別が困難となる。
　特許文献２は、脂肪層を強調表示する手法を開示するものの、脂肪層と熱変性した筋層との色味の類似性を考慮していない。そのため、従来手法では脂肪層と熱変性した筋層の識別が困難であり、適切な手技を実現できないおそれがあった。
　本実施形態に係る内視鏡装置１は、図２に例示するように、照明部３と、撮像部１０と、画像処理部１７を含む。照明部３は、第１の光、第２の光及び第３の光を含む複数の照明光を照射する。撮像部１０は、照明部３の照射に基づく被検体からの戻り光を撮像する。画像処理部１７は、第１の光の照射によって撮像された第１の画像、第２の光の照射によって撮像された第２の画像、及び第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する。
　ここで、第１の光、第２の光、第３の光は、以下の特性を満たす光である。第１の光のピーク波長におけるβカロテンの吸光度と、第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、第１の光のピーク波長におけるメトミオグロビンの吸光度と、第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、第１吸光度差は第２吸光度差に比べて大きい。また第３の光のピーク波長は、第１の光のピーク波長及び第２の光のピーク波長のいずれとも異なる。ピーク波長とは、各光の強度が最大となる波長である。なお、ここでの吸光度差とは、正の値を想定しており、例えば２つの吸光度の差分絶対値である。
　βカロテンは、脂肪層に多く含まれる色素であり、メトミオグロビンは熱変性した筋層に多く含まれる色素である。第１の光と第２の光はβカロテンの吸光度差が相対的に大きいため、脂肪層を撮像した領域において、第１の画像と第２の画像の信号値の相関が相対的に低い。一方、第１の光と第２の光はメトミオグロビンの吸光度差が相対的に小さいため、熱変性した筋層を撮像した領域において、第１の画像と第２の画像の信号値の相関が相対的に高い。このように、脂肪層と熱変性した筋層に含まれる色素の吸光特性を考慮した２つの光を用いることによって、脂肪層と熱変性した筋層を識別が容易な態様で表示することが可能になる。なお望ましくは、第１吸光度差は、第２吸光度差との差が明確になる程度に値が大きく、例えば第１吸光度差と第２吸光度差の差分は所定閾値以上である。例えば、第１吸光度差は第１閾値Ｔｈ１よりも大きく、且つ、第２吸光度差は第２閾値Ｔｈ２よりも小さい。例えば、Ｔｈ２は０に近い正の値であり、Ｔｈ１はＴｈ２に比べて大きい値である。さらに望ましくは、第１の光のピーク波長におけるメトミオグロビンの吸光度と、第２の光のピーク波長におけるメトミオグロビンの吸光度は略等しい。ただし、第１吸光度差と第２吸光度差は、差異が明確となる程度に値が異なればよく、具体的な数値については種々の変形実施が可能である。
　図３（Ｃ）を用いて後述するように、βカロテンとメトミオグロビンの吸光特性は既知である。よって、２つの光を用いて撮像された２つの画像を比較しなくても、１つの光を用いて撮像された１つの画像の信号値から、βカロテンが支配的かメトミオグロビンが支配的かを判定可能なように思えるかもしれない。例えば、後述するＧ２の光のピーク波長では、メトミオグロビンの吸光度が相対的に高くβカロテンの吸光度が相対的に小さい。よって、Ｇ２の光の照射によって得られたＧ２画像の信号値（画素値）が相対的に小さい領域が熱変性した筋層であり、信号値が相対的に大きい領域が脂肪層であると判定できるようにも思える。しかし、被写体に含まれる色素の濃度は被写体に応じてばらつきがある。よって、画像の信号が所定閾値よりも小さければ熱変性した筋層であり、所定閾値よりも大きければ脂肪層であると判定できるような所定閾値を設定することは容易でない。換言すれば、１つの光の照射によって得られた画像の信号値のみを用いた場合、脂肪層と熱変性した筋層の識別精度が低いおそれがある。
　その点、本実施形態の手法は、２つの光を照射し、第１の画像と第２の画像を用いて識別を行う。同じ被写体に対して２つの光を照射した結果を比較するため、被写体ごとの色素濃度のばらつきが問題とならない。結果として、１つの信号値を用いた判定に比べて精度の高い識別処理が可能になる。
　なお、撮像された画像内に、脂肪層と熱変性した筋層のいずれとも異なる被写体が撮像される場合がある。ＴＵＲ－Ｂｔの例であれば、撮像画像には粘膜層及び熱変性していない筋層が撮像される。以下本明細書では、熱変性した筋層はその旨を明示し、単に「筋層」と表記した場合、当該筋層は熱変性していない筋層を表すものとする。粘膜層及び筋層は、いずれも色素としてミオグロビンを多く含む。白色光を用いた観察では、ミオグロビンの濃度が相対的に高い粘膜層は赤色に近い色味で表示され、ミオグロビンの濃度が相対的に低い筋層は白色に近い色味で表示される。
　第１の光と第２の光は、脂肪層と熱変性した筋層の識別に適した特性を有するが、このいずれとも異なる被写体の識別までは考慮していない。その点、本実施形態の照明部３は、第１の光と第２の光のいずれともピーク波長の異なる第３の光を照射する。これによって、βカロテンとメトミオグロビンのいずれとも異なる色素を多く含む被写体が存在する場合にも、当該被写体を識別することが可能になる。具体的には、脂肪層の視認性を高める強調処理を行う場合に、粘膜層や筋層を誤って強調することを抑制可能である。
　なお、望ましくは、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度の差を第３吸光度差とした場合において、第１吸光度差は第３吸光度差に比べて大きい。具体的には、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度は略等しい。
　第１の光及び第２の光を上記の特性となる光とした場合、第１の画像と第２の画像の信号値の相関が相対的に低い領域は、脂肪層に対応すると判定できる。換言すれば、信号値の相関が相対的に高い領域は、熱変性した筋層又は筋層又は粘膜層に対応すると判定できる。第１の画像と第２の画像に基づいて、撮像画像から脂肪層に対応する領域のみを抽出できるため、脂肪層を適切に強調するとともに、その他の領域を強調しないことが可能になる。例えば下式（１）、（２）を用いて後述する例のように、画像全体を対象として強調処理を行った場合に、脂肪層に対応する領域の画素値を大きく変化させるとともに、熱変性した筋層又は筋層又は粘膜層に対応する領域の画素値の変化量を相対的に小さくすることが可能になる。第１吸光度差が第３吸光度差に比べて大きい場合の具体例を、第１の実施形態において後述する。
　ただし第３吸光度差は、第１吸光度差に比べて小さいものに限定されない。換言すれば、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度は略等しいものに限定されず、ミオグロビンに関して任意の吸光特性を有してもよい。
　上述した通り、脂肪層と熱変性した筋層は類似する黄色調の色味を有するものの、粘膜層及び筋層は黄色調とは異なる色味を有する。そのため、画像処理部１７は色判定処理を行うことによって、脂肪層又は熱変性した筋層のいずれかと判定される領域と、それ以外の被写体であると判定される領域とを識別可能である。画像処理部１７は、前処理として撮像画像から脂肪層又は熱変性した筋層のいずれかである領域を検出し、検出された領域のみを対象として、第１の画像と第２の画像に基づく強調処理を実行する。このようにすれば、粘膜層及び筋層は前処理の段階において強調対象から除外される。第１の光と第２の光は、脂肪層と熱変性した筋層とを識別可能であればよいため、ミオグロビンに関する吸光特性を考慮する必要がなく、ピーク波長及び波長帯域の選択に柔軟性を持たせることが可能である。詳細については第２の実施形態において後述する。
２．第１の実施形態
　第１の実施形態について説明する。まず図２を用いて内視鏡装置１の構成について説明した後、処理の詳細を説明する。また、いくつかの変形例についても説明する。
２．１　システム構成例
　図２は、内視鏡装置１のシステム構成例を示す図である。内視鏡装置１は、挿入部２と、本体部５と、表示部６を含む。本体部５は、挿入部２に接続される照明部３と、処理部４を含む。
　挿入部２は、生体内へ挿入される部分である。挿入部２は、照明部３から入力された光を被写体に向けて照射する照明光学系７と、被写体からの反射光を撮像する撮像部１０を含む。撮像部１０とは、具体的には撮像光学系である。
　照明光学系７は、照明部３から入射された光を挿入部２の先端まで導光するライトガイドケーブル８と、光を拡散させて被写体に照射する照明レンズ９を含む。撮像部１０は、照明光学系７によって照射された光のうち、被写体の反射光を集光する対物レンズ１１と、対物レンズ１１によって集光された光を撮像する撮像素子１２を含む。撮像素子１２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary MOS）センサ等の種々のセンサによって実現できる。撮像素子１２から順次出力されるアナログ信号は、不図示のＡ／Ｄ変換部によってデジタルの画像に変換される。なおＡ／Ｄ変換部は、撮像素子１２に含まれてもよいし、処理部４に含まれてもよい。
　照明部３は、異なる波長帯域の光を射出する複数の発光ダイオード（ＬＥＤ：light emitting diode）１３ａ～１３ｅと、ミラー１４と、ダイクロイックミラー１５を含む。複数の発光ダイオード１３ａ～１３ｅのそれぞれから照射される光は、ミラー１４及びダイクロイックミラー１５によって同一のライトガイドケーブル８に入射する。なお、図２では発光ダイオードが５つの例を示したが、発光ダイオードの数はこれに限定されない。例えば、後述するように発光ダイオードは３つ或いは４つであってもよい。或いは、発光ダイオードは６つ以上であってもよい。
　図３（Ａ）、図３（Ｂ）は、複数の発光ダイオード１３ａ～１３ｅの分光特性を表す図である。図３（Ａ）、図３（Ｂ）の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部３は、青色の波長帯域の光Ｂ１、緑色の波長帯域の光Ｇ１、及び赤色の波長帯域の光Ｒ１を射出する３つの発光ダイオードを含む。例えば、Ｂ１の波長帯域とは４５０ｎｍ～５００ｎｍであり、Ｇ１の波長帯域とは５２５ｎｍ～５７５ｎｍであり、Ｒ１の波長帯域とは６００ｎｍ～６５０ｎｍである。各光の波長帯域とは、当該帯域において、照明光が所定閾値以上の強度を有することを表す波長の範囲である。ただしＢ１、Ｇ１、Ｒ１の波長帯域はこれに限定されず、青色の波長帯域を４００ｎｍ～５００ｎｍとし、緑色の波長帯域を５００ｎｍ～６００ｎｍとし、赤色の波長帯域を６００ｎｍ～７００ｎｍとする等の種々の変形実施が可能である。
　さらに本実施形態の照明部３は、青色の波長帯域の狭帯域光Ｂ２と、緑色の波長帯域の狭帯域光Ｇ２を射出する２つの発光ダイオードを含む。本実施形態における第１の光はＢ２に対応し、第２の光はＧ２に対応する。即ち、第１の光は、４８０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であり、第２の光は、５２０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光である。なお、ここでの狭帯域光とは、白色光画像を撮像する際に用いられるＲＧＢの各光（図３（Ａ）のＢ１，Ｇ１，Ｒ１）に比べて波長帯域が狭い光である。例えばＢ２及びＧ２の半値幅は数ｎｍ～数１０ｎｍである。
　図３（Ｃ）は、βカロテン、メトミオグロビン及びミオグロビンの吸光特性を示す図である。図３（Ｃ）の横軸は波長を表し、図３（Ｃ）の縦軸は吸光度を表す。
　脂肪層に含まれるβカロテンは、５００ｎｍ～５３０ｎｍの波長帯域において急激に吸光度が低下する吸光特性を有している。そのため、βカロテンは、４８０ｎｍと５２０ｎｍとで吸光度に差が生じている。熱変性した筋層に含まれるメトミオグロビンは４８０ｎｍと５２０ｎｍとで吸光度の差が小さい。また筋層に含まれるミオグロビンも、４８０ｎｍと５２０ｎｍとで吸光度の差が小さい。
　Ｂ２及びＧ２を図３（Ｂ）に示した波長に設定した場合、Ｂ２の波長帯域でのメトミオグロビンの吸光度とＧ２の波長帯域でのメトミオグロビンの吸光度は略等しく、Ｂ２の波長帯域でのミオグロビンの吸光度とＧ２の波長帯域でのミオグロビンの吸光度が略等しい。なお、Ｂ２の波長帯域でのメトミオグロビンの吸光度とは例えばＢ２のピーク波長におけるメトミオグロビンの吸光度であり、Ｇ２の波長帯域でのメトミオグロビンの吸光度とは例えばＧ２のピーク波長におけるメトミオグロビンの吸光度である。ミオグロビンについても同様である。このため、メトミオグロビン又はミオグロビンを多く含む領域では、Ｂ２を照射して得られるＢ２画像の信号値（画素値、輝度値）と、Ｇ２を照射して得られるＧ２画像の信号値の差が小さい。
　一方、βカロテンについてはＢ２の波長帯域での吸光度が、Ｇ２の波長帯域での吸光度と比較して高い。そのため、βカロテンが含まれる領域では、Ｇ２を照射して得られるＧ２画像の信号値に比べて、Ｂ２を照射して得られるＢ２画像の信号値が小さく、Ｂ２画像の方が暗くなる。
　処理部４は、メモリ１６と、画像処理部１７と、制御部１８を含む。メモリ１６は、撮像素子１２によって取得された画像信号を、照明光の波長ごとに記憶する。メモリ１６は、例えばＳＲＡＭ又はＤＲＡＭ等の半導体メモリであるが、磁気記憶装置や光学記憶装置を用いてもよい。
　画像処理部１７は、メモリ１６に記憶された画像信号に対する画像処理を行う。ここでの画像処理は、メモリ１６に記憶された複数の画像信号に基づく強調処理と、複数の出力チャンネルの各チャンネルに画像信号を割り当てることによって表示画像を合成する処理と、を含む。複数の出力チャンネルとは、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの３チャンネルであるが、Ｙチャンネル、Ｃｒチャンネル、Ｃｂチャンネルの３チャンネルを用いてもよいし、他の構成のチャンネルを用いてもよい。
　画像処理部１７は、強調量算出部１７ａと、強調処理部１７ｂを含む。強調量算出部１７ａは、例えば強調量算出回路である。強調処理部１７ｂは、例えば強調処理回路である。なお、ここでの強調量とは、強調処理における強調の程度を決定するパラメータである。下式（１）、（２）を用いて後述する例では、強調量とは０以上１以下のパラメータであり、値が小さくなるほど、信号値の変化量を大きくするパラメータである。即ち、後述する例においては、強調量算出部１７ａで算出される強調量とは、値が小さいほど、強調の程度が強くなるパラメータである。ただし、強調量を、値が大きいほど強調の程度が強くなるパラメータとする等の種々の変形実施が可能である。
　強調量算出部１７ａは、第１の画像と第２の画像の相関に基づいて、強調量を算出する。より具体的には、Ｂ２の照射によって撮像されたＢ２画像と、Ｇ２の照射によって撮像されたＧ２画像の相関に基づいて、強調処理に用いる強調量を算出する。強調処理部１７ｂは、強調量に基づいて表示画像に対して強調処理を行う。ここでの強調処理とは、処理前に比べて、脂肪層と熱変性した筋層の識別を容易にする処理である。また本実施形態における表示画像とは、処理部４の出力画像であり、表示部６において表示される画像である。また画像処理部１７は、撮像素子１２から取得した画像に対して、他の画像処理を行ってもよい。例えば、ホワイトバランス処理や、ノイズ低減処理等の公知の処理を、強調処理の前処理或いは後処理として実行してもよい。
　制御部１８は、撮像素子１２による撮像タイミングと、発光ダイオード１３ａ～１３ｅの点灯タイミングと、画像処理部１７の画像処理タイミングと、を同期させる制御を行う。制御部１８は、例えば制御回路又はコントローラである。
　表示部６は、画像処理部１７から出力される表示画像を順次表示する。即ち、表示画像をフレーム画像とする動画を表示する。表示部６は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。
　外部Ｉ／Ｆ部１９は、ユーザが内視鏡装置１に対して入力等を行うためのインターフェースである。即ち、内視鏡装置１を操作するためのインターフェース、或いは内視鏡装置１の動作設定を行うためのインターフェース等である。例えば、外部Ｉ／Ｆ部１９は、観察モードを切り替えるためのモード切り替えボタン、画像処理のパラメータを調整するための調整ボタン等を含む。
　なお、本実施形態の内視鏡装置１は以下のように構成されてもよい。即ち、内視鏡装置１（狭義には処理部４）は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、強調処理を含む画像処理、及び照明部３の照射制御を行う。強調処理は、第１の画像（Ｂ２画像）及び第２の画像（Ｇ２画像）に基づいて強調量を決定し、当該強調量に基づいて所与の画像を強調する処理である。強調対象の画像は、例えば出力のＲチャンネルに割り当てられるＲ１画像であるが、種々の変形実施が可能である。
　プロセッサは、例えば各部の機能が個別のハードウェアを用いて実現されてもよいし、或いは各部の機能が一体のハードウェアを用いて実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子を用いて構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部４の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
　また、本実施形態の処理部４の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像処理部１７は画像処理モジュールとして実現される。制御部１８は、照明光の発光タイミングと撮像素子１２の撮像タイミングの同期制御等を行う制御モジュールとして実現される。
　また、本実施形態の処理部４の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどを用いて実現できる。半導体メモリは例えばＲＯＭである。ここでの情報記憶装置は、図２のメモリ１６であってもよいし、メモリ１６と異なる情報記憶装置であってもよい。処理部４は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部４の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部４の各部の処理をコンピュータに実行させるためのプログラムである。
　換言すれば、本実施形態の手法は、第１の光、第２の光及び第３の光を含む複数の照明光を照明部３に照射させ、照明部３の照射に基づく被検体からの戻り光を撮像し、第１の光の照射によって撮像された第１の画像、第２の光の照射によって撮像された第２の画像、及び第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成するステップをコンピュータに実行させるプログラムに適用できる。プログラムが実行するステップとは、図４～図６、図１０のフローチャートに示す各ステップである。第１～第３の光は、上述した通り、以下の特性を有する。即ち、第１の光のピーク波長におけるβカロテンの吸光度と第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、第１の光のピーク波長におけるメトミオグロビンの吸光度と第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、第１吸光度差は第２吸光度差に比べて大きく、第３の光のピーク波長は、第１の光のピーク波長及び第２の光のピーク波長と異なる。
２．２　強調処理と表示画像生成処理
　図４は、内視鏡装置１の処理を説明するフローチャートである。この処理が開始されると、制御部１８は、観察モードが白色光観察モードであるか否かを判定する（Ｓ１０１）。白色光観察モードである場合（Ｓ１０１でＹｅｓ）、照明部３は図３（Ａ）に示した３つの光Ｂ１，Ｇ１，Ｒ１に対応する３つの発光ダイオードを順次点灯させることによって、Ｂ１，Ｇ１，Ｒ１を順次照射する（Ｓ１０２）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２を用いて順次撮像する（Ｓ１０３）。Ｓ１０３では、Ｂ１の照射によるＢ１画像、Ｇ１の照射によるＧ１画像、Ｒ１の照射によるＲ１画像が順次撮像され、取得された画像（画像データ、画像情報）が順次メモリ１６に記憶される。なお、３つの照明光の照射順序及び撮像順序については種々の変形実施が可能である。画像処理部１７は、メモリ１６に記憶された画像に基づいて、白色光観察モードに対応する画像処理を実行する（Ｓ１０４）。
　図５は、Ｓ１０４の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０３の処理において取得した画像がＢ１画像、Ｇ１画像、Ｒ１画像のいずれであるかを判定する（Ｓ２０１）。Ｂ１画像である場合、画像処理部１７は出力のＢチャンネルにＢ１画像を割り当てることによって表示画像を更新する（Ｓ２０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ２０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ２０４）。Ｂ１、Ｇ１、Ｒ１の３種類の照明光に対応する画像が取得された時点で、出力の３チャンネルの全てに画像が割り当てられるため、白色光画像が生成される。なお、白色光画像は、１フレームごとに更新されてもよいし、３フレームに１回の頻度で更新されてもよい。生成された白色光画像は、表示部６に送信され表示される。
　図３（Ｂ）、図３（Ｃ）に示した通り、ミオグロビンが存在する領域においては、Ｂ１及びＧ１の波長帯域での吸収が、Ｒ１の波長帯域での吸収よりも大きい。そのため、ミオグロビンが存在する領域は、白色光画像において淡い赤色調に表示される。なお、具体的にはミオグロビンの濃度が高い粘膜層と、ミオグロビンの濃度が低い筋層とで色味は異なり、粘膜層は赤色に近い色で表示され、筋層は白色に近い色で表示される。
　また、メトミオグロビンが存在する領域においては、ミオグロビンに比べてＧ１の吸収が小さくなる。そのため、メトミオグロビンが存在する領域は、黄色調に表示される。βカロテンが存在する領域においては、Ｂ１の波長帯域において吸収が非常に大きい。そのため、βカロテンが存在する領域は、黄色調に表示される。
　メトミオグロビンが多く含まれる熱変性した筋層と、βカロテンが多く含まれる脂肪層はどちらも黄色調に表示されるため、互いを識別することが難しい。より具体的には、穿孔リスクの指標となる脂肪層の識別が難しい。
　そこで本実施形態の内視鏡装置１は、白色光観察モードと異なる特殊光観察モードで動作を行う。なお観察モードの切り替えは、例えば外部Ｉ／Ｆ部１９を用いて行われる。図４に戻って説明を行う。Ｓ１０１で特殊光観察モードであると判定された場合（Ｓ１０１でＮｏ）、照明部３は図３（Ｂ）に示した４つの光Ｂ２，Ｇ１，Ｇ２，Ｒ１に対応する４つの発光ダイオードを順次点灯させることによって、Ｂ２，Ｇ１，Ｇ２，Ｒ１を順次照射する（Ｓ１０５）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２で順次撮像する（Ｓ１０６）。Ｓ１０６では、Ｂ２画像、Ｇ１画像、Ｇ２画像、Ｒ１画像が順次撮像され、取得された画像が順次メモリ１６に記憶される。なお、４つの照明光の照射順序及び撮像順序については種々の変形実施が可能である。画像処理部１７は、メモリ１６に記憶された画像に基づいて、特殊光観察モードに対応する画像処理を実行する（Ｓ１０７）。
　図６は、Ｓ１０７の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０６で取得した画像がＢ２画像、Ｇ１画像、Ｇ２画像、Ｒ１画像のいずれであるかを判定する（Ｓ３０１）。Ｂ２画像である場合、画像処理部１７は出力のＢチャンネルにＢ２画像を割り当てる（Ｓ３０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ３０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ３０４）。
　また、取得した画像がＧ２画像である場合、画像処理部１７の強調量算出部１７ａは、Ｇ２画像と、取得済みのＢ２画像とに基づいて、強調量を算出する（Ｓ３０５）。そして画像処理部１７の強調処理部１７ｂは、算出した強調量に基づいて、表示画像に対する強調処理を行う（Ｓ３０６）。表示画像に対する強調処理とは、出力の各チャンネルに割り当てられるＢ２画像、Ｇ１画像、Ｒ１画像のうちの少なくとも１つの画像に対する強調処理である。
　なお図６では、Ｇ２画像の取得タイミングにおいて、強調量の算出処理及び強調処理を行う例を示したが、Ｂ２画像の取得タイミングにおいて上記処理を実行してもよい。或いは、Ｇ２画像の取得タイミングとＢ２画像の取得タイミングの両方において強調量の算出処理及び強調処理を行ってもよい。
　図３（Ａ）、図３（Ｃ）に示した通り、Ｂ２の波長帯域はＧ２の波長帯域に比べてβカロテンの吸光度が大きい波長帯域である。また、Ｂ２とＧ２は、ミオグロビンの吸光度の差が小さく、且つ、メトミオグロビンの吸光度の差が小さい。従って、Ｂ２画像とＧ２画像の相関を求めた場合、相関が低い領域はβカロテンを多く含む領域に対応し、相関が高い領域はミオグロビン又はメトミオグロビンを多く含む領域に対応する。
　具体的には、強調量算出部１７ａは、第１の画像の信号値と第２の画像の信号値の比率に基づいて、強調量を算出する。このようにすれば、第１の画像と第２の画像の相関を容易な演算によって求めることが可能になる。より具体的には、下式（１）によって強調量を算出する。
　　Ｅｍｐ（ｘ，ｙ）＝Ｂ２（ｘ，ｙ）／Ｇ２（ｘ，ｙ）　…（１）
　上式（１）において、Ｅｍｐは強調量を表す強調量画像である。（ｘ，ｙ）は画像中の位置を表す。Ｂ２（ｘ，ｙ）はＢ２画像中の（ｘ，ｙ）における画素値を表し、Ｇ２（ｘ，ｙ）はＧ２画像中の（ｘ，ｙ）における画素値を表す。各（ｘ，ｙ）について上式（１）を演算することによって、強調量画像Ｅｍｐが取得される。換言すれば、１画素当たり１つの強調量が算出され、当該強調量の集合が強調量画像Ｅｍｐである。
　なお上式（１）では、Ｅｍｐ＞１となるときＥｍｐ＝１として値をクリップする。図３（Ａ）、図３（Ｃ）に示した通り、βカロテンの吸光度はＢ２の波長帯域が、Ｇ２の波長帯域に比べて大きい。よってβカロテンを含む領域においては、Ｅｍｐ＜１となる。またメトミオグロビン及びミオグロビンの吸光度に関しては、Ｂ２の波長帯域とＧ２の波長帯域で略等しくなる。そのため、メトミオグロビン又はミオグロビンを含む領域においては、Ｅｍｐ≒１となる。また、Ｅｍｐ≧１となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Ｅｍｐ＝１を上限としてクリップすることによって、βカロテンを含む領域のみを安定して強調可能な強調量を算出できる。なお、本実施形態の強調量は、上式（１）に示した比率そのものに限定されず、比率に基づいて求められる種々の情報を含む。例えば、上記クリップ処理を行った結果も、本実施形態の強調量に含まれる。
　強調処理部１７ｂは、強調量に基づいて、表示画像に対して色変換処理を行う。具体的には、下式（２）を用いて出力のＲチャンネルの値を調整する。
　　Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）
　　Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）
　　Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）×Ｅｍｐ（ｘ，ｙ）　…（２）
　ここでＢ，Ｇ，Ｒは、それぞれ強調処理前のＢチャンネル、Ｇチャンネル、Ｒチャンネルの画像である。本実施形態の例では、Ｂ（ｘ，ｙ）とはＢ２画像の（ｘ，ｙ）における画素値であり、Ｇ（ｘ，ｙ）とはＧ１画像の（ｘ，ｙ）における画素値であり、Ｒ（ｘ，ｙ）とはＲ１画像の（ｘ，ｙ）における画素値である。また、Ｂ’，Ｇ’，Ｒ’は、それぞれ強調処理後のＢチャンネル、Ｇチャンネル、Ｒチャンネルの画像である。上式（２）に示した強調処理を行うことによって、βカロテンを含む領域では赤色の信号値が小さくなる。
　結果として、βカロテンを多く含む脂肪層は緑色調で表示される。メトミオグロビン又はミオグロビンを多く含む領域の色味の変化は少ない。よってミオグロビンを多く含む粘膜層及び筋層は赤色調～白色調で表示され、メトミオグロビンを多く含む熱変性した筋層は黄色調で表示される。このように本実施形態の手法によれば、手技の中で筋層が熱変性する可能性がある場合にも、筋層と脂肪層との境界を視認性の高い態様で表示することが可能である。特に本実施形態の手法をＴＵＲ－Ｂｔに適用した場合は、膀胱の腫瘍を摘出する際に、膀胱壁の穿孔を抑制することが可能になる。
２．３　変形例
　以下、いくつかの変形例について説明する。
２．３．１　強調量算出処理、強調処理の変形例
　上式（１）では、強調量算出部１７ａは、Ｂ２画像とＧ２画像の比率に基づいて強調量を算出した。ただし強調量算出部１７ａは、第１の画像の信号値と第２の画像の信号値の差分に基づいて、強調量を算出してもよい。具体的には、下式（３）を用いて強調量を算出する。
　Ｅｍｐ（ｘ，ｙ）＝｛Ｇ２（ｘ，ｙ）－Ｂ２（ｘ，ｙ）｝／Ｇ２（ｘ，ｙ）　…（３）
　上式（３）では、Ｅｍｐ＜０となるときＥｍｐ＝０として値をクリップする。βカロテンの吸光度はＢ２の波長帯域が、Ｇ２の波長帯域に比べて大きい。よってβカロテンを含む領域においては、０≦Ｅｍｐ＜１となる。またメトミオグロビン及びミオグロビンの吸光度に関しては、Ｂ２の波長帯域とＧ２の波長帯域で略等しくなる。そのため、メトミオグロビン又はミオグロビンを含む領域においては、Ｅｍｐ≒０となる。Ｅｍｐ＜０となる場合、術具などの生体以外のものが被写体であるか、ノイズが影響していると考えられる。その点、Ｅｍｐ＝０を下限としてクリップすることによって、βカロテンを含む領域のみを安定して強調可能な強調量を算出できる。なお、ここでの強調量は、差分そのものに限定されず、差分に基づいて求められる種々の情報を含む。例えば、上式（３）に示したようにＧ２（ｘ，ｙ）による正規化を行った結果、及びクリップ処理を行った結果も、強調量に含まれる。
　なお、上式（３）を用いて求められる強調量は、画像間の相関が高いほど０に近く、相関が低いほど１に近づく。よってβカロテンを多く含む領域、即ち画像間の相関が低い領域の赤色の信号値を小さくするという処理を、上式（３）の強調量画像Ｅｍｐを用いて実現する場合、強調処理部１７ｂは下式（４）の演算を行う。
　　Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）
　　Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）
　　Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）×｛１－Ｅｍｐ（ｘ，ｙ）｝　…（４）
　上式（３）及び（４）を用いた処理を行うことによって、βカロテンを多く含む脂肪層は緑色調で表示され、ミオグロビンを多く含む粘膜層及び筋層は赤色調～白色調で表示され、メトミオグロビンを多く含む熱変性した筋層は黄色調で表示される。
　なお、以上では強調処理として、出力のＲチャンネルの信号値を変化させる色変換処理の例を説明したが、強調処理もこれに限定されない。例えば強調処理部１７ｂは、下式（５）の演算を行うことによって、出力のＢチャンネルの信号値を変化させる色変換処理を行ってもよい。
　　Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）×Ｅｍｐ（ｘ，ｙ）
　　Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）
　　Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）　　　　　　　　　　　　　…（５）
　上式（１）を用いて求められた強調量を用いて、上式（５）に示した強調処理を行うことによって、βカロテンを含む領域では青色の画素値が小さくなる。
　結果として、βカロテンを多く含む脂肪層は濃い黄色調で表示される。ミオグロビンを多く含む粘膜層及び筋層は赤色調～白色調で表示され、メトミオグロビンを多く含む熱変性した筋層は黄色調で表示される。この場合、脂肪層と熱変性した筋層はいずれも黄色調となるが、その濃さが異なるため、筋層と脂肪層との境界を視認性の高い態様で表示することが可能である。
　また強調処理部１７ｂは、出力のＧチャンネルの信号値を変化させる色変換処理を行ってもよい。或いは強調処理部１７ｂは、２以上のチャンネルの信号値を変化させる色変換処理を行ってもよい。
　また強調処理部１７ｂは、強調処理として、彩度変換処理を行ってもよい。彩度を強調する場合、合成画像のＲＧＢ色空間をＨＳＶ色空間に変換してもよい。ＨＳＶ色空間への変換は、下式（６）～（１０）を用いて行う。
　H(x,y)=(G(x,y)-B(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°　…（６）
　H(x,y)=(B(x,y)-R(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°+120°　…（７）
　H(x,y)=(R(x,y)-G(x,y))/(Max(RGB(x,y))-Min(RGB(x,y)))×60°+240°　…（８）
　S(x,y)=(Max(RGB(x,y))-Min(RGB(x,y)))/(Max(RGB(x,y))　…（９）
　V(x,y)=Max(RGB(x,y))　…（１０）
　なお、式（６）はＢ、Ｇ、Ｒの画像のうち、Ｒ画像の輝度値が最も高い場合である色相Ｈである。式（７）はＢ、Ｇ、Ｒの画像のうち、Ｇ画像の輝度値が最も高い場合である色相Ｈである。式（８）はＢ、Ｇ、Ｒの画像のうち、Ｂ画像の輝度値が最も高い場合である色相Ｈである。また上式（６）～（１０）において、Ｓは彩度であり、Ｖは明度である。また、Ｍａｘ（ＲＧＢ（ｘ、ｙ））は画像中の位置（ｘ、ｙ）におけるＲ、Ｇ、Ｂ画像の画素値が最も高い値であり、Ｍｉｎ（ＲＧＢ（ｘ、ｙ））は画像中の位置（ｘ、ｙ）におけるＲ、Ｇ、Ｂ画像の画素値が最も低い値である。
　彩度を強調する場合、強調処理部１７ｂは、上式（６）～（１０）を用いて、ＨＳＶ色空間へ変換した後、下式（１１）を用いて、メトミオグロビンが含まれる領域の彩度を変化させる。
　S'(x,y)=S(x,y)×1/(Emp(x,y))　…（１１）
　Ｓ’は強調後の彩度であり、Ｓは強調前の彩度である。強調量Ｅｍｐは０以上１以下の値をとるため、強調後の彩度は強調前と比べ、より大きな値となる。
　強調処理部１７ｂは、彩度を強調した後、下式（１２）～（２１）を用いてＨＳＶ色空間をＲＧＢ色空間へ戻す。なお下式（１２）のfloorは切り捨て処理を表す。
　h(x,y)=floor{H(x,y)/60}　…（１２）
　P(x,y)=V(x,y)×(1-S(x,y))　…（１３）
　Q(x,y)=V(x,y)×(1-S(x,y)×(H(x,y)/60-h(x,y))　…（１４）
　T(x,y)=V(x,y)×(1-S(x,y)×(1-H(x,y)/60+h(x,y))　…（１５）
　h(x,y)=0のとき
　　B(x,y)=P(x,y)
　　G(x,y)=T(x,y)
　　R(x,y)=V(x,y)　…（１６）
　h(x,y)=1のとき
　　B(x,y)=P(x,y)
　　G(x,y)=V(x,y)
　　R(x,y)=Q(x,y)　…（１７）
　h(x,y)=2のとき
　　B(x,y)=T(x,y)
　　G(x,y)=V(x,y)
　　R(x,y)=P(x,y)　…（１８）
　h(x,y)=3のとき
　　B(x,y)=V(x,y)
　　G(x,y)=Q(x,y)
　　R(x,y)=P(x,y)　…（１９）
　h(x,y)=4のとき
　　B(x,y)=V(x,y)
　　G(x,y)=P(x,y)
　　R(x,y)=T(x,y)　…（２０）
　h(x,y)=5のとき
　　B(x,y)=Q(x,y)
　　G(x,y)=P(x,y)
　　R(x,y)=V(x,y)　…（２１）
　また、強調処理部１７ｂは、色相変換処理を行ってもよい。強調処理部１７ｂは、例えば彩度Ｓ及び明度Ｖの値を維持し、色相Ｈに対して強調量画像Ｅｍｐを作用させることによって、色相変換処理を実行する。
　以上のように、本実施形態の強調処理は、脂肪層と熱変性した筋層の識別が容易となる処理、換言すれば脂肪層と熱変性した筋層の境界の視認性を向上させる処理であればよく、具体的な処理内容は種々の変形実施が可能である。
２．３．２　照明光に関する変形例
　以上では、白色光観察モードと特殊光観察モードを切り替え可能であり、照明部３が図３（Ａ）、図３（Ｂ）に示したように、Ｂ１，Ｇ１，Ｒ１，Ｂ２，Ｇ２の５つの照明光を照射する例を説明した。
　上述した特殊光観察モードでは、図３（Ｂ）に示した通り、Ｂ２，Ｇ１，Ｇ２，Ｒ１の光を照射する４つの発光ダイオードを用いた。Ｇ１は緑色の波長帯域に対応し、Ｒ１は赤色の波長帯域に対応する。またＢ２は青色の波長帯域の狭帯域光である。そのため、Ｂ２画像を出力のＢチャンネルに割り当て、Ｇ１画像を出力のＧチャンネルに割り当て、Ｒ１画像を出力のＲチャンネルに割り当てることによって、演色性の高い表示画像を生成することが可能である。
　ただし、演色性の高い表示画像の生成においては、各出力チャンネルに対して対応する色の画像を割り当てればよい。そのため、Ｇチャンネルに入力される画像はＧ１画像に限定されず、緑色に対応する異なる波長帯域の光であってもよい。例えば、照明部３は５４０ｎｍ～５９０ｎｍの波長帯域の光Ｇ３（不図示）を照射する発光ダイオードを有してもよい。特殊光観察モードでは、照明部３は、Ｂ２，Ｇ２，Ｇ３，Ｒ１の４つの光を順次照射し、撮像部１０はＧ２画像、Ｇ２画像、Ｇ３画像、Ｒ１画像を順次撮像する。画像処理部１７は、Ｂ２画像を出力のＢチャンネルに割り当て、Ｇ３画像を出力のＧチャンネルに割り当て、Ｒ１画像を出力のＲチャンネルに割り当てることによって、演色性の高い表示画像を生成する。同様に、Ｒチャンネルに割り当てる画像はＲ１画像に限定されず、赤色に対応する他の波長帯域の光の照射によって撮像される画像であってもよい。
　また本実施形態の手法は脂肪層と熱変性した筋層を識別可能な表示が可能な構成であればよく、演色性の高い表示画像の生成は必須の構成ではない。例えば、Ｂ２，Ｇ１，Ｇ２，Ｒ１の４つの光を照射する特殊光観察モードにおいてＧ１又はＲ１の照射を省略する変形実施が可能である。この場合、例えば表示画像の生成時に、省略した光の照射によって撮像した画像を割り当てていた出力チャンネルに、Ｇ２画像を割り当てる。
　例えば、Ｒ１を照射する発光ダイオードを除く場合、出力のＢチャンネルにＢ２画像を割り当て、出力のＧチャンネルにＧ１画像を割り当て、出力のＲチャンネルにＧ２画像を割り当てることによって、表示画像を生成する。強調処理は、上記の例と同様にＲチャンネルに対して行ってもよいし、他のチャンネルに対して行ってもよいし、彩度変換処理や色相変換処理を行ってもよい。なお、上述した３つの撮像画像と出力チャンネルとの対応関係は一例であり、各撮像画像を異なるチャンネルに割り当てて表示画像を生成してもよい。この場合、特殊光観察モードでの表示画像は疑似カラーでの表示となるため、白色光観察モードと比べて術野の見え方が大きく異なる。
　Ｇ１を照射する発光ダイオードを除く場合、出力のＢチャンネルにＢ２画像を割り当て、出力のＧチャンネルにＧ２画像を割り当て、出力のＲチャンネルにＲ１画像を割り当てることによって、表示画像を生成する。この場合、Ｂチャンネルに青色に対応するＢ２画像、Ｇチャンネルに緑色に対応するＧ２画像が割り当てられるため、演色性はある程度高いと考えられる。ただし、緑色の光として広く用いられる波長帯域はＧ１のように５５０ｎｍを中心とした波長帯域であり、Ｇ２はそれに比べると波長が短い。即ちＧ１を除いた場合にも、演色性は低下すると考えられる。
　以上のように、演色性を考慮するのであれば、Ｇ１及びＲ１の両方を照射することが望ましい。ただし、発光ダイオードを順次照射して撮像する場合、撮像タイミングが異なるため、画像間に位置ずれが生じる。Ｇ１とＲ１の両方を用いる場合、１周期が４フレームとなるが、いずれか一方を除く場合、１周期が３フレームとなる。即ち、位置ずれを抑制するという観点からすれば、Ｇ１とＲ１の一方を除いた方が有利である。
　また本実施形態の手法は脂肪層と熱変性した筋層を識別することを目的としており、白色光観察モード自体は必須の構成ではない。そのため、図４のＳ１０１～Ｓ１０４、図５の処理を省略し、Ｓ１０５～Ｓ１０７、図６の処理を繰り返す構成であってもよい。この場合、Ｂ１を照射する発光ダイオードを省略可能であり、発光ダイオードはＢ２，Ｇ１，Ｇ２，Ｒ１に対応する４つ、或いは、Ｇ１とＲ１のいずれか一方を除いた３つとなる。
　以上で説明したように、本実施形態の照明部３は、少なくとも第１の光（Ｂ２）及び第２の光（Ｇ２）に加えて、第３の光を照射する。第３の光は、緑色の波長帯域にピーク波長を有する光、又は、赤色の波長帯域にピーク波長を有する光である。緑色の波長帯域にピーク波長を有する光とは、５２５ｎｍ～５７５ｎｍの波長帯域に対応する光（Ｇ１）、又は、５４０ｎｍ～５９０ｎｍの波長帯域に対応する光（Ｇ３）である。赤色の波長帯域にピーク波長を有する光とは、６００ｎｍ～６５０ｎｍの波長帯域に対応する光（Ｒ１）である。ここで、５２５ｎｍ～５７５ｎｍの波長帯域に対応する光とは、５２５ｎｍ～５７５ｎｍの範囲において照射光の強度が所定閾値以上である光を表す。他の波長帯域に対応する光についても同様である。また、ここでの第３の光は、具体的には第１の光に比べて波長帯域が広く、且つ、第２の光に比べて波長帯域の広い光である。
　本実施形態の第１の光と第２の光は、被写体がβカロテンを多く含む領域であるか否かの識別に有効であるが、メトミオグロビンを多く含む領域であるかミオグロビンを多く含む領域であるかの識別が難しい。その点、第３の光を追加することによって、メトミオグロビンとミオグロビンの識別が可能になる。
　例えばＧ１の波長帯域では、ミオグロビンの吸光度はＢ２の波長帯域及びＧ２の波長帯域に比べて大きい。そのため、粘膜層及び筋層はＧ１画像が入力されるチャンネルの色味が抑えられ、Ｂ２画像及びＧ２画像が入力されるチャンネルの色味が支配的となる。一方、Ｇ１の波長帯域では、メトミオグロビンの吸光度はＢ２の波長帯域及びＧ２の波長帯域に比べて小さい。そのため、熱変性した筋層はＧ１画像が入力されるチャンネルの色味が相対的に強く、Ｂ２画像及びＧ２画像が入力されるチャンネルの色味が相対的に弱くなる。つまり、Ｂ２画像、Ｇ１画像、Ｇ２画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となり識別が容易である。
　Ｒ１を追加した場合も同様である。Ｒ１の波長帯域では、メトミオグロビンの吸光度もミオグロビンの吸光度もＢ２の波長帯域及びＧ２の波長帯域に比べて小さくなるが、その程度は異なる。よってＢ２画像、Ｇ２画像、Ｒ１画像を各チャンネルに入力することによって表示画像を合成した場合に、脂肪層の色味と、筋層又は粘膜層の色味が異なる色味となる。
　ただし表示画像の演色性を考慮すれば、第３の光に加えて第４の光を照射することが望ましい。第４の光の波長帯域は、可視光の波長帯域のうち、第１～第３の光でカバーされない波長帯域に設定される。具体的には、照明部３は、第３の光が緑色の波長帯域にピーク波長を有する光（Ｇ１又はＧ３）である場合、赤色の波長帯域にピーク波長を有する光（Ｒ１）を第４の光として照射する。また照明部３は、第３の光が赤色の波長帯域にピーク波長を有する光である場合、緑色の波長帯域にピーク波長を有する光を第４の光として照射する。
　このようにすれば、特殊光観察モードにおいても、演色性の高い表示画像を生成することが可能になる。
２．３．３　他の変形例
　また上記の例では、撮像素子１２がモノクロ素子であることを想定したが、撮像素子１２は、カラーフィルタを備えるカラー素子であってもよい。具体的には、撮像素子１２はカラーＣＭＯＳであってもよいし、カラーＣＣＤであってもよい。
　図７は、撮像素子１２が備えるカラーフィルタの分光特性の例である。カラーフィルタは、ＲＧＢのそれぞれに対応する波長帯域を透過する３つのフィルタを含む。カラーフィルタはベイヤ配列であってもよいし、他の配列であってもよい。またカラーフィルタは補色型のフィルタであってもよい。
　或いは、撮像素子１２は、複数のモノクロ素子から構成されてもよい。図８は内視鏡装置１の他の構成例である。内視鏡装置１の撮像部１０は、被写体から戻る反射光を波長帯域ごとに分離する色分解プリズム２０と、色分解プリズム２０によって分離された各波長帯域の光を撮像する３つの撮像素子１２ａ、１２ｂ、１２ｃを含む。
　撮像素子１２がカラーフィルタを有する場合、又は、複数の素子（１２ａ～１２ｃ）から構成される場合、照明部３が異なる複数の波長帯域の光を同時に照射し、撮像部１０が、各波長帯域に対応する画像をそれぞれ撮像することが可能である。
　例えば白色光観察モードでは、照明部３はＢ１、Ｇ１、Ｒ１を照射する発光ダイオードを同時に点灯させる。撮像部１０は、Ｂ１画像、Ｇ１画像及びＲ１画像を同時に撮像することによって、白色光観察が可能になる。
　特殊光観察モードでは、例えば照明部３は、Ｂ２とＧ１を照射する発光ダイオードの組み合わせと、Ｇ２とＲ１を照射する発光ダイオードの組み合わせを交互に点灯させる。撮像部１０は、Ｂ２画像とＧ１画像の組み合わせ、及びＧ２画像とＲ１画像の組み合わせを２面順次方式によって撮影することによって、特殊光観察が可能になる。なお、ここでは色分離を考慮して上記組み合わせとしたが、Ｇ１とＧ２が同時に点灯する組み合わせ以外であれば、他の組み合わせを用いてもよい。
　また、以上では各光の照射が発光ダイオードを用いて行われる例を説明したが、これに変えてレーザーダイオードを用いてもよい。特に、狭帯域光であるＢ２及びＧ２を、レーザーダイオードに置き換えてもよい。
　また、照明部３の構成も図２に示した発光ダイオード１３ａ～１３ｅ、ミラー１４、ダイクロイックミラー１５を含む構成に限定されない。例えば照明部３は、キセノンランプ等の白色光を照射する白色光源と、各照明光に対応する波長帯域を透過する色フィルタを有するフィルタターレットとを用いて、異なる波長帯域の光を順次照射してもよい。この場合、キセノンランプは、蛍光体と、当該蛍光体を励起するレーザーダイオードとの組み合わせに置き換えてもよい。
　また、内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。
　例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することによってロボットを動作させ、ロボットを用いて患者に対する手術を行う。また制御装置の操作部を操作することによって、ロボットを経由することによってスコープを操作し、手術領域を撮影する。制御装置は、図２の処理部４を含んでいる。ユーザは、処理部４が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。
３．第２の実施形態
　第１の実施形態では、第１の光のピーク波長におけるミオグロビンの吸光度と、第２の光のピーク波長におけるミオグロビンの吸光度が略等しい例について説明した。この場合、第１の画像と第２の画像を用いることによって、被写体に多く含まれる色素がβカロテンであるか、或いは、ミオグロビン又はメトミオグロビンであるかを識別可能になる。即ち、撮像画像中には脂肪層、熱変性した筋層、筋層、粘膜層等の被写体が撮影されるが、そのうちの脂肪層に対して、重点的に強調処理を行うことが可能になる。
　ただし、βカロテンとミオグロビンとの識別を他の手法によって実現可能であれば、第１の光と第２の光は、第１の吸光度差が第２の吸光度差よりも大きいという条件を満たせば足りる。換言すれば、第１の光のミオグロビンの吸光度と、第２の光のミオグロビンの吸光度とは関係は任意に設定可能になる。
　図９（Ａ）、図９（Ｂ）は、本実施形態における複数の発光ダイオードの分光特性を表す図である。図９（Ａ）、図９（Ｂ）の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部３は、青色の波長帯域の光Ｂ１、緑色の波長帯域の光Ｇ１、及び赤色の波長帯域の光Ｒ１を射出する３つの発光ダイオードを含む。各波長帯域は第１の実施形態と同様である。
　さらに本実施形態の照明部３は、青色の波長帯域の狭帯域光Ｂ３と、緑の波長帯域の狭帯域光Ｇ２を射出する２つの発光ダイオードを含む。Ｂ３は、例えば４６０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光である。
　Ｂ３の波長帯域でのメトミオグロビンの吸光度とＧ２の波長帯域でのメトミオグロビンの吸光度は略等しい。このため、メトミオグロビンを含む領域では、Ｂ３を照射して得られるＢ３画像の信号値と、Ｇ２を照射して得られるＧ２画像の信号値の差が小さい。
　一方、βカロテンについてはＢ３の波長帯域での吸光度が、Ｇ２の波長帯域での吸光度と比較して高い。そのため、βカロテンが含まれる領域では、Ｇ２を照射して得られるＧ２画像の信号値に比べて、Ｂ３を照射して得られるＢ３画像の信号値が小さく、Ｂ３画像の方が暗くなる。
　よって例えば下式（２２）を用いて強調量を算出することによって、βカロテンを多く含む脂肪層の領域における信号値の変化量を大きくし、メトミオグロビンを多く含む熱変性した筋層の領域における信号値の変化量を小さくすることが可能になる。
　　Ｅｍｐ（ｘ，ｙ）＝Ｂ３（ｘ，ｙ）／Ｇ２（ｘ，ｙ）　…（２２）
　ただし、ミオグロビンについて、Ｂ３の波長帯域での吸光度が、Ｇ２の波長帯域での吸光度と比較して高い。そのため上式（２２）を用いて求められるＥｍｐを強調処理に用いた場合、ミオグロビンを多く含む領域、具体的には筋層や粘膜層に対しても、信号値を大きく変化させる強調処理が行われてしまう。
　そこで本実施形態では、画像処理部１７は、撮像画像中から、脂肪層又は熱変性した筋層のいずれかであると判定される領域を検出する。強調処理部１７ｂは、検出された領域のみを対象として、強調量を用いた強調処理を実行する。このようにすれば、ミオグロビンを多く含む領域は検出処理の段階において除外されるため、不必要な強調処理を抑制可能である。
　本実施形態の内視鏡装置１の処理は図４と同様である。また白色光観察モードにおける処理も図５と同様である。
　一方特殊光観察モードであると判定された場合、照明部３は図９（Ｂ）に示した４つの光Ｂ３，Ｇ１，Ｇ２，Ｒ１に対応する３つの発光ダイオードを順次点灯させることによって、Ｂ３，Ｇ１，Ｇ２，Ｒ１を順次照射する（Ｓ１０５）。撮像部１０は、各照明光を照射したときの被写体における反射光を撮像素子１２を用いて順次撮像する（Ｓ１０６）。第２の実施形態におけるＳ１０６では、Ｂ３画像、Ｇ１画像、Ｇ２画像、Ｒ１画像が順次撮像され、取得された画像が順次メモリ１６に記憶される。
　図１０は、第３の実施形態におけるＳ１０７の処理を説明するフローチャートである。画像処理部１７は、Ｓ１０６で取得した画像がＢ３画像、Ｇ１画像、Ｇ２画像、Ｒ１画像のいずれであるかを判定する（Ｓ５０１）。Ｂ３画像である場合、画像処理部１７は出力のＢチャンネルにＢ３画像を割り当てる（Ｓ５０２）。同様に、Ｇ１画像である場合、画像処理部１７は出力のＧチャンネルにＧ１画像を割り当て（Ｓ５０３）、Ｒ１画像である場合、画像処理部１７は出力のＲチャンネルにＲ１画像を割り当てる（Ｓ５０４）。
　また、取得した画像がＧ２画像である場合、画像処理部１７の強調量算出部１７ａは、Ｇ２画像と、取得済みのＢ３画像とに基づいて、強調量を算出する（Ｓ５０５）。さらに画像処理部１７は、強調処理前の表示画像に基づいて色判定処理を行い、黄色であると判定される領域を検出する（Ｓ５０６）。例えば画像処理部１７は、ＲＧＢの各チャンネルの信号値に基づいて色差Ｃｒ，Ｃｂを求め、Ｃｒ及びＣｂが所定範囲内の領域を黄色領域として検出する。
　Ｂ３は青色の波長帯域の狭帯域光である。よって、ＢチャンネルにＢ３画像を割り当て、ＧチャンネルにＧ１画像を割り当て、ＲチャンネルにＲ１画像を割り当てた場合、表示画像の演色性はある程度高くなる。結果として、脂肪層及び熱変性した筋層は黄色調で表示され、筋層や粘膜層は赤色調～白色調で表示される。即ち、特殊光観察モードにおいて、各出力チャンネルに割り当てられる画像に基づいて所定色の領域を検出することで、脂肪層及び熱変性した筋層のいずれかであると推定される領域を検出可能である。
　そして画像処理部１７の強調処理部１７ｂは、Ｓ５０６で検出された黄色領域を対象として、Ｓ５０５で算出した強調量に基づく強調処理を行う（Ｓ５０７）。
　本実施形態の手法でも、第１の実施形態と同様に、脂肪層と熱変性した筋層を、識別が容易な態様を用いて表示することが可能になる。各実施形態を比較した場合、第１の実施形態は、黄色領域の検出処理が不要であり撮像画像全体を強調処理の対象とできるため、処理負荷が比較的軽いという点で利点がある。一方、第２の実施形態は、第１の光と第２の光の波長帯域を設定する際に、ミオグロビンの吸光度を考慮する必要がないため、波長帯域の設定の柔軟性が高いという点で利点がある。
　なお、以上では黄色領域を検出する処理を例示したが、例えば赤色領域及び白色領域を検出し、撮像画像のうちの検出領域以外の領域を強調処理の対象とするといった変形実施が可能である。
　また第１の光がＢ３であり、第２の光がＧ２である例を説明したが、本実施形態ではβカロテンに関する第１吸光度差とメトミオグロビンに関する第２吸光度差が、第１吸光度差＞第２吸光度差となればよく、具体的な波長帯域は種々の変形実施が可能である。
　また、ここではＧ１とＲ１のいずれか一方が第３の光であり、他方が第４の光である例を説明したが、いずれか一方を省略してよい点は第１の実施形態と同様である。またＧ１をＧ３に置き換える等、具体的な波長帯域についても種々の変形実施が可能である。
　また第１の実施形態と同様に、強調量算出処理及び強調処理の内容は種々の変形実施が可能であるし、撮像素子１２及び照明部３についても種々の変形実施が可能である。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内において、構成要素を変形することによって具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例において説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１…内視鏡装置、２…挿入部、３…照明部、４…処理部、５…本体部、６…表示部、
７…照明光学系、８…ライトガイドケーブル、９…照明レンズ、１０…撮像部、
１１…対物レンズ、１２，１２ａ～１２ｃ…撮像素子、
１３ａ～１３ｅ…発光ダイオード、１４…ミラー、１５…ダイクロイックミラー、
１６…メモリ、１７…画像処理部、１７ａ…強調量算出部、１７ｂ…強調処理部、
１８…制御部、１９…外部Ｉ／Ｆ部、２０…色分解プリズム

Claims (11)

  1. 　第１の光、第２の光及び第３の光を含む複数の照明光を照射する照明部と、
    　前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、
    　前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する画像処理部と、
    　を含み、
    　前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
    　前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
    　前記第１吸光度差は前記第２吸光度差に比べて大きく、
    　前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なることを特徴とする内視鏡装置。
  2. 　請求項１において、
    　前記第１の光のピーク波長におけるミオグロビンの吸光度と、前記第２の光のピーク波長におけるミオグロビンの吸光度の差を第３吸光度差とした場合において、
    　前記第１吸光度差は前記第３吸光度差に比べて大きいことを特徴とする内視鏡装置。
  3. 　請求項１において、
    　前記第１の光は、４８０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であり、
    　前記第２の光は、５２０ｎｍ±１０ｎｍの範囲にピーク波長を有する狭帯域光であることを特徴とする内視鏡装置。
  4. 　請求項３において、
    　前記第３の光は、緑色の波長帯域にピーク波長を有する光、又は赤色の波長帯域にピーク波長を有する光であることを特徴とする内視鏡装置。
  5. 　請求項４において、
    　前記照明部は、
    　前記第３の光が前記緑色の波長帯域にピーク波長を有する光である場合、前記赤色の波長帯域にピーク波長を有する光を第４の光として照射し、
    　前記第３の光が前記赤色の波長帯域にピーク波長を有する光である場合、前記緑色の波長帯域にピーク波長を有する光を第４の光として照射することを特徴とする内視鏡装置。
  6. 　請求項４において、
    　前記緑色の波長帯域にピーク波長を有する光は、５２５ｎｍ～５７５ｎｍの波長帯域に対応する光、又は、５４０～５９０ｎｍの波長帯域に対応する光であり、
    　前記赤色の波長帯域にピーク波長を有する光は、６００ｎｍ～６５０ｎｍの波長帯域に対応する光であることを特徴とする内視鏡装置。
  7. 　請求項１において、
    　前記画像処理部は、
    　前記第１の画像と前記第２の画像の相関に基づいて、強調量を算出する強調量算出部と、
    　前記強調量に基づいて前記表示画像に対して強調処理を行う強調処理部と、
    　を含むことを特徴とする内視鏡装置。
  8. 　請求項７において、
    　前記強調量算出部は、
    　前記第１の画像の信号値と前記第２の画像の信号値の比率又は差分に基づいて、前記強調量を算出することを特徴とする内視鏡装置。
  9. 　請求項７において、
    　前記強調処理部は、
    　前記強調量に基づいて、前記表示画像に対して色変換処理を行うことを特徴とする内視鏡装置。
  10. 　第１の光、第２の光及び第３の光を含む複数の照明光を照射し、
    　前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、
    　前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成し、
    　前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
    　前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
    　前記第１吸光度差は前記第２吸光度差に比べて大きく、
    　前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なることを特徴とする内視鏡装置の作動方法。
  11. 　第１の光、第２の光及び第３の光を含む複数の照明光を照明部に照射させ、
    　前記照明部の照射に基づく被検体からの戻り光を撮像し、
    　前記第１の光の照射によって撮像された第１の画像、前記第２の光の照射によって撮像された第２の画像、及び前記第３の光の照射によって撮像された第３の画像に基づいて、表示画像を生成する、
    　ステップをコンピュータに実行させ、
    　前記第１の光のピーク波長におけるβカロテンの吸光度と、前記第２の光のピーク波長におけるβカロテンの吸光度の差を第１吸光度差とし、
    　前記第１の光のピーク波長におけるメトミオグロビンの吸光度と、前記第２の光のピーク波長におけるメトミオグロビンの吸光度の差を第２吸光度差とした場合において、
    　前記第１吸光度差は前記第２吸光度差に比べて大きく、
    　前記第３の光のピーク波長は、前記第１の光のピーク波長及び前記第２の光のピーク波長と異なることを特徴とするプログラム。
PCT/JP2018/025211 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム WO2020008528A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020528572A JP7090706B2 (ja) 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム
PCT/JP2018/025211 WO2020008528A1 (ja) 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム
US17/126,123 US20210100441A1 (en) 2018-07-03 2020-12-18 Endoscope apparatus, operation method of endoscope apparatus, and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/025211 WO2020008528A1 (ja) 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/126,123 Continuation US20210100441A1 (en) 2018-07-03 2020-12-18 Endoscope apparatus, operation method of endoscope apparatus, and information storage medium

Publications (1)

Publication Number Publication Date
WO2020008528A1 true WO2020008528A1 (ja) 2020-01-09

Family

ID=69060815

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025211 WO2020008528A1 (ja) 2018-07-03 2018-07-03 内視鏡装置、内視鏡装置の作動方法及びプログラム

Country Status (3)

Country Link
US (1) US20210100441A1 (ja)
JP (1) JP7090706B2 (ja)
WO (1) WO2020008528A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335451A (ja) * 1993-03-19 1994-12-06 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2012170639A (ja) * 2011-02-22 2012-09-10 Fujifilm Corp 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
WO2016151672A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 生体観察装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6389652B2 (ja) 2014-06-13 2018-09-12 オリンパス株式会社 内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335451A (ja) * 1993-03-19 1994-12-06 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2012170639A (ja) * 2011-02-22 2012-09-10 Fujifilm Corp 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
WO2016151672A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 生体観察装置

Also Published As

Publication number Publication date
US20210100441A1 (en) 2021-04-08
JP7090706B2 (ja) 2022-06-24
JPWO2020008528A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US11381759B2 (en) Multi-function imaging
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
US9503692B2 (en) Image processing device, electronic apparatus, endoscope system, information storage device, and method of controlling image processing device
US9516282B2 (en) Image processing device, electronic apparatus, endoscope system, information storage device, and method of controlling image processing device
US10362928B2 (en) Image processing apparatus and image processing method
JP2019081044A (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2009120228A1 (en) Image processing systems and methods for surgical applications
WO2014084134A1 (ja) 観察装置
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
CN110769738B (zh) 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质
US20210088772A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage media
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
WO2020008528A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP7090705B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US20210401268A1 (en) Endoscope apparatus, operating method of endoscope apparatus, and information storage medium
CN111449611B (zh) 一种内窥镜***及其成像方法
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18925694

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020528572

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18925694

Country of ref document: EP

Kind code of ref document: A1