WO2016185733A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2016185733A1
WO2016185733A1 PCT/JP2016/052330 JP2016052330W WO2016185733A1 WO 2016185733 A1 WO2016185733 A1 WO 2016185733A1 JP 2016052330 W JP2016052330 W JP 2016052330W WO 2016185733 A1 WO2016185733 A1 WO 2016185733A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
frequency component
images
intensity
Prior art date
Application number
PCT/JP2016/052330
Other languages
English (en)
French (fr)
Inventor
昌士 弘田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017518774A priority Critical patent/JP6707533B2/ja
Publication of WO2016185733A1 publication Critical patent/WO2016185733A1/ja
Priority to US15/813,626 priority patent/US10356378B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program that perform image processing on an image acquired by an endoscope that observes the inside of a living body.
  • White light or narrow-band light is used as illumination light that illuminates the living body with an endoscope. Since narrow-band light has different absorption and scattering characteristics depending on the wavelength band, the characteristics of the subject corresponding to the wavelength band can be extracted by appropriately selecting the narrow-band light to be used. For example, since blue narrow-band light is easily absorbed by hemoglobin, fine blood vessels and the like on the submucosal surface layer appear clearly in the narrow-band image captured using blue narrow-band light. Absorption changes that occur in the subject according to such absorption and scattering characteristics of narrowband light are unlikely to appear in a white image captured with white light. Therefore, it is possible to perform more detailed endoscopic observation by generating an image having characteristics of both the narrow-band image and the white image.
  • Patent Document 1 an image having characteristics of both images is created by synthesizing an image captured by white light and an image captured by narrowband light and an image subjected to frequency filtering processing. Yes.
  • the present invention has been made in view of the above, and comprehensively extracts changes in absorbance appearing in a narrowband image according to the absorption and scattering characteristics of narrowband light, and converts the extracted absorbance change into other images.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program that can create a display image that does not affect visibility when they are combined.
  • an image processing apparatus includes an image acquisition unit that acquires a plurality of images including at least one narrowband image and having different wavelength component distributions; A specific frequency component in a first image that is a narrow-band image of the plurality of images, and a second image different from the first image and the first image of the plurality of images. Based on the correlation between the first image and the first image, light absorption information, which is image information representing a change in light absorption caused by the absorption of the narrowband light used to capture the first image, is extracted from the first image. And a display image creating unit that creates a display image by synthesizing the light absorption information with at least one of the plurality of images.
  • An image processing method includes an image acquisition step of acquiring a plurality of images including at least one narrowband image and having different wavelength component distributions, and a first narrowband image among the plurality of images. Imaging the first image based on a specific frequency component in the image and a correlation between the first image and the second image different from the first image among the plurality of images An absorption information extraction step for extracting, from the first image, absorption information, which is image information representing an absorption change caused by absorption of the narrowband light used in the absorption body, and at least one of the plurality of images
  • absorption information which is image information representing an absorption change caused by absorption of the narrowband light used in the absorption body, and at least one of the plurality of images
  • An image processing program includes an image acquisition step of acquiring a plurality of images including at least one narrowband image and having different wavelength component distributions, and a first narrowband image among the plurality of images. Imaging the first image based on a specific frequency component in the image and a correlation between the first image and the second image different from the first image among the plurality of images An absorption information extraction step for extracting, from the first image, absorption information, which is image information representing an absorption change caused by absorption of the narrowband light used in the absorption body, and at least one of the plurality of images
  • a display image creation step of creating a display image by combining the light absorption information with any of the images is executed by a computer.
  • the present invention by using a specific frequency component in the first image that is a narrow-band image and the correlation between the first image and the second image, the light absorption changes of various shapes and sizes are comprehensively covered.
  • the extraction of the structure such as the mucous membrane shape can be suppressed, so that the display that does not affect the visibility when the light absorption change extracted from the narrowband image is combined with another image An image can be created.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3 is a schematic diagram showing a ⁇ 415 image.
  • FIG. 4 is a flowchart showing the light absorption information extraction process according to Embodiment 1 of the present invention.
  • FIG. 5A is a schematic diagram showing a high-frequency component image.
  • FIG. 5B is a schematic diagram showing a relative intensity image.
  • FIG. 6 is a graph illustrating an example of a suppression function.
  • FIG. 7 is a schematic diagram illustrating a configuration of a synthesis unit included in the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 8 is a flowchart showing the absorption information extraction process in the first modification of the first embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is a flowchart showing an extraction process of light absorption information according to the second embodiment of the present invention.
  • FIG. 11 is a block diagram illustrating a configuration of a calculation unit included in an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 12 is a flowchart showing the operation of the image processing apparatus according to the third embodiment of the present invention.
  • FIG. 13 is a flowchart showing an extraction process for extracting the light absorption information of FIG. FIG.
  • FIG. 14 is a block diagram showing a configuration of the frequency component extraction unit of the arithmetic unit according to the first modification of the third embodiment of the present invention.
  • FIG. 15 is a flowchart showing an extraction process for extracting light absorption information according to the first modification of the third embodiment of the present invention.
  • FIG. 16 is a block diagram showing a configuration of the frequency component extraction unit of the arithmetic unit according to the second modification of the third embodiment of the present invention.
  • FIG. 17 is a flowchart showing extraction processing for extracting light absorption information according to the second modification of the third embodiment of the present invention.
  • FIG. 18 is a block diagram showing a configuration of a calculation unit provided in the image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 19 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment of the present invention.
  • FIG. 20 is a flowchart showing extraction processing for extracting the light absorption information of FIG.
  • FIG. 21 is a flowchart showing extraction processing for extracting light absorption information according to Modification 1 of Embodiment 4 of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to the first embodiment extracts an absorbance change that is difficult to appear in a white image based on a plurality of images acquired by an endoscope, and extracts the extracted absorbance change as one or more It is an apparatus that creates an image for display by combining with an image.
  • an endoscopic image including a narrow band image and a white image acquired by imaging the inside of a living body lumen with a general endoscope called a video scope or a capsule endoscope is processed. set to target.
  • the image processing apparatus 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, an image acquisition unit 20 that acquires image data of an endoscopic image, and an external operation.
  • An input unit 30 that generates an input signal, a display unit 40 that performs various displays, a storage unit 50 that stores image data and various programs acquired by the image acquisition unit 20, and predetermined image processing for the image data
  • an arithmetic unit 100 that executes
  • the control unit 10 includes a general-purpose processor such as a CPU (Central Processing Unit) and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • a general-purpose processor such as a CPU (Central Processing Unit) and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the various operations stored in the storage unit 50 are read to give instructions to each unit constituting the image processing apparatus 1 and data transfer, thereby supervising the overall operation of the image processing apparatus 1. And control.
  • the control unit 10 is a dedicated processor, the processor may execute various processes independently, or the processor and the storage unit 50 cooperate with each other by using various data stored in the storage unit 50 or the like. Various processes may be executed by combining them.
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the endoscope.
  • the image acquisition unit 20 when the image processing apparatus 1 is connected to a general endoscope system in which a video scope is inserted into the body, the image acquisition unit 20 is configured by an interface that captures image data generated in the endoscope system.
  • the image acquisition unit 20 when installing a server that stores image data generated in the endoscope system, the image acquisition unit 20 includes a communication device connected to the server, and performs image communication with the server to perform image communication. Get the data.
  • a portable storage medium may be used to transfer image data to and from the capsule endoscope.
  • the image acquisition unit 20 is configured by a reader device that detachably mounts a portable storage medium and reads out image data of the stored image.
  • the input unit 30 includes input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs input signals generated in response to external operations on these input devices to the control unit 10.
  • input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs input signals generated in response to external operations on these input devices to the control unit 10.
  • the display unit 40 is configured by a display device such as an LCD or an EL display, and displays various screens including an endoscopic image under the control of the control unit 10.
  • the storage unit 50 includes various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, an information storage device such as a built-in hard disk or a CD-ROM connected via a data communication terminal, and writing of information to the information storage device It is constituted by a reading device or the like.
  • the storage unit 50 operates the image processing device 1 and causes the image processing device 1 to execute various functions. Stores data used during execution.
  • the storage unit 50 includes at least one narrowband image acquired by an endoscope, and changes in absorbance extracted from the single narrowband image based on a plurality of images having different wavelength component distributions.
  • a program storage unit 51 for storing an image processing program for causing the image processing apparatus 1 to execute image processing for creating a display image obtained by combining the image with another image.
  • the calculation unit 100 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • the image processing program stored in the program storage unit 51 is read to include at least one narrowband image acquired by the endoscope, and a plurality of wavelength component distributions different from each other. Based on the image, image processing is executed to create a display image obtained by combining the change in absorbance extracted from the one narrowband image with another image.
  • the processor may execute various processes independently, or the processor and the storage unit 50 cooperate with each other by using various data stored in the storage unit 50 or the like. Image processing may be executed by combining them.
  • the calculation unit 100 creates an absorption information extraction unit 110 that extracts light absorption information from a plurality of images acquired by the image acquisition unit 20 and a display image by combining the extracted light absorption information with the image. And a display image creation unit 120.
  • an absorption information extraction unit 110 that extracts light absorption information from a plurality of images acquired by the image acquisition unit 20 and a display image by combining the extracted light absorption information with the image.
  • a display image creation unit 120 In the following, as an example, processing when a plurality of narrowband images having different center wavelengths are acquired will be described.
  • the light absorption information is image information representing a change in light absorption that appears in the narrow band image when the narrow band light used to capture the narrow band image is absorbed by the light absorber in the subject.
  • the change in absorption appearing in the narrow band image varies depending on the absorption and scattering characteristics of the narrow band light. For example, narrowband light having a central wavelength of about 415 nm is easily absorbed by hemoglobin, so that the amount of absorption of narrowband light increases in blood vessels and blood vessel growth regions through which blood containing hemoglobin flows, resulting in a change in absorption in the narrowband image. appear.
  • the light absorption information includes the pixel position of the region where the light absorption has changed and a value indicating the amount of light absorption change of the narrowband light at the pixel position.
  • the narrow band light is absorbed and the luminance is lowered, so the value representing the amount of light absorption change is a negative value.
  • the value representing the amount of change in absorption becomes smaller as the amount of absorption of narrowband light by the light absorber increases. That is, the absolute value increases.
  • the light absorption information extraction unit 110 extracts light absorption information appearing in the narrow band image based on the absorption and scattering characteristics of the narrow band light. Specifically, narrowband light having a center wavelength of around 415 nm is easily absorbed by hemoglobin and scattered by the mucous membrane in the lumen. On the other hand, narrowband light having a center wavelength of around 630 nm is difficult to be absorbed by hemoglobin and hardly scattered to the mucous membrane, and therefore has a characteristic that it easily reaches the inner part of the lumen.
  • the light absorption information extraction unit 110 Based on the difference in the characteristics of the narrow band light, the light absorption information extraction unit 110 extracts image information such as microvessels in the submucosal surface layer and regional absorption changes caused by blood vessel growth from the narrow band image as light absorption information. Extract.
  • image information such as microvessels in the submucosal surface layer and regional absorption changes caused by blood vessel growth from the narrow band image as light absorption information. Extract.
  • the narrow band image from which the light absorption information is acquired is referred to as a specific narrow band image.
  • the light absorption information extraction unit 110 includes a frequency component extraction unit 111, a relative intensity calculation unit 112, and a synthesis unit 113.
  • the frequency component extraction unit 111 creates a high frequency component image obtained by extracting a high frequency component as a specific frequency component by applying a high pass filter to the specific narrow band image (first image).
  • the relative intensity calculation unit 112 calculates the relative intensity between a plurality of narrowband images. Specifically, among the narrowband images other than the specific narrowband image among the plurality of narrowband images, the narrowband light having the least absorption with respect to the light absorber that appears in the specific narrowband image, specifically, the center wavelength 630 nm The relative intensity between the narrowband image (second image) captured by the nearby narrowband light and the specific narrowband image is calculated.
  • a narrow-band image captured by narrow-band light that has the least absorption with respect to the light absorber is referred to as a low-absorption image.
  • the relative intensity calculation unit 112 corrects the intensity of the low-absorption image according to the intensity of the specific narrowband image, and subtracts the corrected intensity of the low-absorption image from the intensity of the specific narrowband image. And a subtractor 112b for obtaining a relative intensity between the two images.
  • the synthesizing unit 113 comprehensively acquires the light absorption information appearing in the specific narrowband image based on the intensity of the high frequency component extracted by the frequency component extracting unit 111 and the relative intensity calculated by the relative intensity calculating unit 112.
  • the synthesis unit 113 includes an addition unit 113a that adds the intensity and relative intensity of the high frequency component at the same pixel position, and a suppression unit 113b that suppresses the output value according to the addition result.
  • the display image creation unit 120 includes a white image creation unit 121 that creates a white image from a plurality of narrowband images, and an image synthesis unit 122 that synthesizes the absorbance information extracted by the absorbance information extraction unit 110 into a white image.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 1.
  • the image acquisition unit 20 acquires a plurality of images including at least two narrowband images having different center wavelengths.
  • the plurality of images include images corresponding to the RGB wavelength bands. Specifically, a narrowband image with a center wavelength of 415 nm from which light absorption information is extracted and three narrowband images with center wavelengths of 460 nm, 540 nm, and 630 nm corresponding to the RGB wavelength bands are acquired.
  • a narrowband image with a center wavelength of 415 nm for extracting light absorption information a narrowband image with a center wavelength of 630 nm, which is a wavelength band that absorbs less light with respect to a light absorber that absorbs narrowband light with a center wavelength of 415 nm, and RGB wavelengths
  • a white image including a band may be acquired.
  • the former four narrow-band images are acquired.
  • the method for acquiring the narrowband image is not particularly limited.
  • An example of a method for acquiring a narrow band image by an endoscope is a method using an LED that emits light having a plurality of narrow band wavelength peaks.
  • an endoscope is provided with an LED that emits light having peaks centered at wavelengths of 460 nm, 540 nm, and 630 nm corresponding to the RGB wavelength band, and an LED that emits light having a peak centered at a wavelength of 415 nm.
  • These LEDs are caused to emit light alternately to irradiate the inside of the living body, and reflected light from the inside of the living body is acquired for each of the R (red) component, the G (green) component, and the B (blue) component by a color imaging device.
  • a color imaging device As a result, four types of narrow-band images having 415 nm, 460 nm, 540 nm, and 630 nm as center wavelengths can be obtained.
  • a narrowband filter is disposed in front of a white light source such as a xenon lamp, and a living body is sequentially irradiated with light narrowed by the narrowband filter
  • a white light source such as a xenon lamp
  • Another example is a method of sequentially driving a plurality of laser diodes that respectively emit narrowband light having different center wavelengths.
  • the narrow band image may be acquired by irradiating the inside of the living body with white light and causing the reflected light from the living body to enter the imaging element through the narrow band filter.
  • narrowband images with center wavelengths of 415 nm, 460 nm, 540 nm, and 630 nm are referred to as ⁇ 415 image, ⁇ 460 image, ⁇ 540 image, and ⁇ 630 image, respectively.
  • the actual center wavelength of the narrowband light when acquiring these narrowband images may be a value in the vicinity of the above-described values of 415 nm, 460 nm, 540 nm, and 630 nm.
  • FIG. 3 is a schematic diagram showing a ⁇ 415 image.
  • an absorption change region m13 in which an absorption change due to a fine blood vessel m11 or a slightly thicker blood vessel m12 existing from the submucosal surface layer to the middle layer, or an absorption change due to vascular hyperplasia, is observed.
  • image information representing these changes in absorbance is extracted as absorbance information.
  • FIG. 4 is a flowchart showing extraction processing of light absorption information in step S11.
  • 5A and 5B are schematic diagrams for explaining the extraction process of light absorption information.
  • the frequency component extraction unit 111 extracts a high frequency component by applying a high pass filter to the ⁇ 415 image.
  • the pixel position where the intensity is a negative value is a region where the absorption change of the narrowband light has occurred, and the intensity of the high frequency component represents the amount of change in absorption.
  • An image M2 illustrated in FIG. 5A is a high-frequency component image created based on the high-frequency component extracted by the high-pass filter process.
  • a relatively fine change in light absorption such as a fine blood vessel m11 or a slightly thick blood vessel m12 is easily extracted from the ⁇ 415 image, but in the light absorption change region m13 (see FIG. 3).
  • Such a region, that is, a light absorption change that is not so fine is difficult to extract.
  • the relative intensity change of the ⁇ 415 image with respect to the ⁇ 630 image is extracted as an absorption change using the characteristic that narrowband light having a center wavelength of 630 nm is not easily absorbed by hemoglobin.
  • the relative intensity calculation unit 112 calculates the average intensity of the ⁇ 415 image and the ⁇ 630 image. That is, the average value Avg 415 of the pixel values of the pixels in the ⁇ 415 image and the average value Avg 630 of the pixel values of the pixels in the ⁇ 630 image are calculated.
  • all the pixels in each image may be sufficient as the pixel which acquires a pixel value, and the pixel in a predetermined region of interest may be sufficient as it.
  • the intensity correction unit 112a the average value of the ratio Avg 415 / Avg 630 by the integrating the pixel value of each pixel in the lambda 630 image, the intensity level of intensity level lambda 415 images of lambda 630 images Perform correction to match.
  • the subtraction unit 112b obtains the relative intensity by subtracting the corrected ⁇ 630 image from the ⁇ 415 image. Specifically, the pixel value of the pixel in the corrected ⁇ 630 image at the same pixel position is subtracted from the pixel value of the pixel in the ⁇ 415 image. Among the relative intensities obtained thereby, the pixel position where the intensity is a negative value is a region where the absorption change of the narrowband light has occurred, and this relative intensity represents the amount of change in absorption.
  • An image M3 shown in FIG. 5B is a relative intensity image created based on the relative intensity obtained by subtracting the corrected ⁇ 630 image from the ⁇ 415 image.
  • a light absorption change that is not so fine like the slightly thick blood vessel m12 and the light absorption change region m13 can be easily extracted, but a fine light absorption like the fine blood vessel m11 (see FIG. 5A). Changes are difficult to extract. This is because subtracting the corrected ⁇ 630 image from the ⁇ 415 image cancels out structures such as mucous membranes with similar intensity levels, while the intensity variation in the ⁇ 630 image causes the intensity in the corrected ⁇ 630 image. Is partially smaller than the intensity of the ⁇ 415 image, and in such a portion, a fine change in light absorption in the ⁇ 415 image is easily offset.
  • the synthesis unit 113 adds the intensity of high-frequency components extracted from lambda 415 images, the relative strength of the lambda 415 image and lambda 630 images, for further suppression processing. That is, by adding the intensity and relative intensity of the high frequency component at the same pixel position between the high frequency component image shown in FIG. 5A and the relative intensity image shown in FIG. 5B, the light absorption information in the ⁇ 415 image is covered. To extract.
  • the absorption change extracted also as the high frequency component and extracted as the relative intensity is extracted twice by adding the intensity of the high frequency component and the relative intensity. become.
  • the value representing the amount of change in absorption is a negative value, in order to prevent double extraction of the change in absorption, the suppression process is performed so that the negative value in the addition result does not become too large.
  • the negative output value Iout is suppressed as the absolute value
  • Apply the suppression function I out f (
  • the added value after this suppression processing is output as light absorption information extracted from the ⁇ 415 image. Thereafter, the process returns to the main routine.
  • step S ⁇ b> 12 following step S ⁇ b> 11, the display image creation unit 120 creates a display image in which light absorption information is combined with a white image.
  • the white image creation unit 121 creates a white image using the ⁇ 460 image, the ⁇ 540 image, and the ⁇ 630 image corresponding to the RGB wavelength bands acquired in step S10. That is, the pixel value of each pixel in the white image is determined by using the ⁇ 460 image as the B component, the ⁇ 540 image as the G component, and the ⁇ 630 image as the R component. Then, the light absorption information acquired in step S11 is combined with this white image as a B component.
  • the method for synthesizing the light absorption information is not limited to this, and for example, the light absorption information may be synthesized as a G component.
  • the light absorption information may be directly combined with the white image.
  • the high frequency components extracted from lambda 415 images by combining the relative intensities of the lambda 415 image for lambda 630 image, absorbance information representing the absorbance change Can be exhaustively extracted from the ⁇ 415 image, and omission of extraction can be suppressed. Therefore, it is possible to present a lot of useful information for the user by combining and displaying such light absorption information with the white image.
  • step S115 the suppression process is performed on the assumption that the value representing the amount of change in absorption is a negative value.
  • the value representing the amount of change in light absorption may be processed as a positive value by inverting the magnitude of the high frequency component or the relative intensity, or by normalizing the intensity.
  • a function that suppresses a positive output value as the absolute value in the addition result increases may be used.
  • FIG. 7 is a schematic diagram illustrating a configuration of a combining unit included in the image processing apparatus according to the first modification.
  • the image processing apparatus according to the first modification includes a synthesis unit 123 shown in FIG. 7 instead of the synthesis unit 113 shown in FIG.
  • the synthesizing unit 123 includes an adding unit 123a that adds the high frequency component intensity and the relative intensity, and a selection unit 123b that selects one of the values of the high frequency component intensity and the relative intensity.
  • the configuration and operation of each unit of the calculation unit other than the synthesis unit 123 and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as those in the first embodiment.
  • FIG. 8 is a flowchart showing a process of extracting light absorption information in the first modification. Note that steps S111 to S114 shown in FIG. 8 are the same as those in the first embodiment (see FIG. 4).
  • step S131 following step S114 the synthesis unit 123 determines the intensity of the high frequency component at the same pixel position between the intensity of the high frequency component extracted in step S111 and the relative intensity calculated in step S114. It is determined whether the relative intensities are both negative. As described above, since the value representing the amount of change in absorption is a negative value, if the intensity and relative intensity of the high frequency component at the same pixel position are both negative, the change in absorption at the pixel position is the high frequency component. Means that it has also been extracted as a relative intensity.
  • step S131: Yes the selection unit 123b is the smaller of the intensity of the high frequency component and the relative intensity so as not to extract the absorption change twice. Value, that is, a value having a larger absolute value is selected (step S132). This selected value is output as light absorption information.
  • step S131 when at least one of the intensity and the relative intensity of the high frequency component is positive (step S131: No), the adding unit 123a adds the intensity of the high frequency component and the relative intensity (step S133). This added value is output as light absorption information. Thereafter, the process returns to the main routine.
  • the double extraction of the change in absorption can be suppressed with higher accuracy.
  • the suppression process of double extraction of the change in absorption is performed.
  • the value representing the amount of change in light absorption may be processed as a positive value by inverting the magnitude of the high frequency component or the relative intensity, or by normalizing the intensity.
  • step S131 of FIG. 8 it is determined whether or not the high frequency component intensity and the relative intensity are both positive. If both are positive, the higher one of the high frequency component intensity and the relative intensity is determined.
  • the light absorption information is extracted by adding the intensity of the high frequency component and the relative intensity (see step S133) when at least one of the values is negative (see step S132).
  • the sign of the intensity of the high frequency component and the sign of relative intensity are both the same as the sign of the value representing the amount of change in absorbance, select the value with the larger absolute value, otherwise The sum of the frequency component intensity and the relative intensity may be calculated.
  • the intensity of the high frequency components extracted from lambda 415 images have been simply added in the synthesis of the relative intensities of the lambda 415 image and lambda 630 images, the intensity of the high frequency component
  • the relative intensities may be added after appropriately weighted.
  • the weight for the intensity of the high frequency component is preferably set larger than the weight for the relative intensity.
  • FIG. 9 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to the second embodiment.
  • the configuration and operation of each unit of the image processing apparatus other than the arithmetic unit are the same as those in the first embodiment.
  • the calculation unit 200 included in the image processing apparatus according to the second embodiment includes an absorption information extraction unit 210 and a display image creation unit 120.
  • the configuration and operation of the display image creation unit 120 are the same as those in the first embodiment.
  • the light absorption information extraction unit 210 extracts a specific frequency component in each narrowband image, and a relative frequency component calculation that calculates the relative intensity of the specific frequency component between a plurality of narrowband images.
  • Unit 212 The light absorption information extraction unit 210 extracts a specific frequency component in each narrowband image, and a relative frequency component calculation that calculates the relative intensity of the specific frequency component between a plurality of narrowband images.
  • the operation of the image processing apparatus according to the second embodiment is the same as that in FIG. 2 as a whole, and the details of the light absorption information extraction process in step S11 are different from those in the first embodiment.
  • FIG. 10 is a flowchart showing the process of extracting light absorption information in the second embodiment.
  • a case where light absorption information is extracted from a ⁇ 415 image will be described.
  • step S211 the frequency component extraction unit 211 extracts a specific frequency component by applying a bandpass filter to the ⁇ 415 image and the ⁇ 630 image.
  • the band is expanded to the lower frequency side than the high-pass filter used in the first embodiment so that the light absorption change in a somewhat large region can be extracted.
  • lambda 630 since it is difficult-through the light absorbing material such as blood vessels in the image, in a specific frequency component image created by applying a bandpass filter to the lambda 630 images mainly the structure of mucous membrane shape extraction Is done.
  • the relative frequency component calculation unit 212 subtracts the intensity of the specific frequency component extracted from the ⁇ 630 image from the intensity of the specific frequency component extracted from the ⁇ 415 image, thereby obtaining a specific frequency.
  • the relative value of the component strength is obtained.
  • an average value Avg 415 of pixel values of pixels in the original ⁇ 415 image and an average value Avg 630 of pixel values of pixels in the original ⁇ 630 image are calculated.
  • the pixels from which the pixel values are acquired may be all the pixels in each image, or may be pixels in a predetermined region of interest.
  • the ratio Avg 415 / Avg 630 of these average values by integrating the pixel values of the pixels in the specific frequency component image based on the lambda 630 image, the intensity level of the specific frequency component image based on the lambda 630 image Correction that matches the intensity level of the specific frequency component image based on the ⁇ 415 image is performed.
  • the pixel value of the specific frequency component image based on the ⁇ 630 image at the same pixel position is subtracted from the pixel value of the specific frequency component image based on the ⁇ 415 image. To obtain the relative value.
  • the light absorption information extraction unit 210 outputs the relative value obtained by this subtraction process as light absorption information. Thereafter, the process returns to the main routine.
  • specific frequency components are extracted from the ⁇ 415 image and the ⁇ 630 image, respectively, and a relative value between the extracted specific frequency components is taken.
  • Absorption information can be acquired by a simple calculation process.
  • a narrow-band image having a center wavelength of 415 nm and a wide-band white image are acquired, and the R component of the pixel value of each pixel constituting the white image is narrowed with a center wavelength of 630 nm. You may use it instead of the pixel value of a zone
  • FIG. 11 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to the third embodiment.
  • the configuration and operation of each unit of the image processing apparatus other than the arithmetic unit are the same as those in the first embodiment.
  • the calculation unit 300 included in the image processing apparatus according to the third embodiment includes an absorption information extraction unit 310 and a display image creation unit 120.
  • the configuration and operation of the display image creation unit 120 are the same as those in the first embodiment.
  • the light absorption information extraction unit 310 extracts a specific frequency component in each narrowband image, and a relative frequency component calculation that calculates the relative intensity of the specific frequency component between a plurality of narrowband images.
  • the frequency component extraction unit 311 includes an intensity correction unit 311a that performs correction so as to match the intensity level of the first image with the intensity level of the second image.
  • the relative frequency component calculator 312 determines whether or not the positive and negative signs of the specific frequency component in the first and second images are the same as the sign of the value representing the change in absorbance, A difference calculation unit 312b that calculates a difference between the specific frequency components in the first and second images.
  • FIG. 12 is a flowchart showing the operation of the image processing apparatus according to the third embodiment.
  • the operation of the image processing apparatus according to the third embodiment is generally the same as that of FIG. 2 of the first embodiment described above.
  • step S30 and step S32 are the same as those of FIG. 2 of the first embodiment described above. Since the processing is the same as that in step S10 and step S12, description thereof is omitted.
  • a case where light absorption information is extracted from a ⁇ 415 image will be described.
  • the light absorption information extraction unit 310 extracts light absorption information from the ⁇ 415 image (step S31).
  • the ⁇ 415 image shows a change in absorbance from the submucosal surface layer to the middle layer. This includes an absorption change common to an absorption change appearing in an image having a close wavelength band such as a ⁇ 460 image.
  • the base image created by the processing described later includes the ⁇ 460 image, when the light absorption change comprehensively extracted from the ⁇ 415 image is combined with the base image, the blood vessels appearing in the base image are displayed. Changes in color may occur. Therefore, in the third embodiment, by using the relative intensity lambda 460 image, excluding the absorbance change in common with lambda 460 image, it extracts the absorbance change appearing strongly only lambda 415 images.
  • FIG. 13 is a flowchart showing the extraction process for extracting the light absorption information in step S31 of FIG.
  • the intensity correction unit 311a calculates the average intensity in the image from the ⁇ 415 image and the ⁇ 460 image (hereinafter simply referred to as “both images”) (step S311).
  • the intensity correction unit 311a corrects the intensity (intensity level) of both images to be equal based on the average intensity (step S312).
  • the frequency component calculation unit 311 calculates a frequency component from each of both images corrected by the intensity correction unit 311a (step S313). Thereafter, as in the second embodiment described above, when obtained by subtracting the frequency components in lambda 460 images from the frequency component in the lambda 415 image, not appear in lambda 415 image, absorbance change appearing only in the lambda 460 images in the difference image Appears as positive amplitude. Since the calculated difference image is combined with the base image as light absorption information, if the base image has a positive amplitude, there is a risk of canceling the light absorption change in the base image and lowering the blood vessel contrast.
  • the frequency component in the ⁇ 415 image and the frequency component in the ⁇ 460 image are both negative, that is, the subtraction is performed only in the region where the change in absorption appears in common in the ⁇ 415 image and the ⁇ 460 image. . That is, the determination unit 312a determines whether or not both frequency components in both images are negative (step S314). When the determination unit 312a determines that both frequency components in both images are negative (step S314: Yes), the image processing apparatus 1 proceeds to step S315 described later. On the other hand, when the determination unit 312a determines that at least one of the frequency components in both images is positive (step S314: No), the image processing apparatus 1 proceeds to step S316 described later.
  • step S315 the difference calculation unit 312b calculates the difference between the frequency components of both images. After step S315, the image processing apparatus 1 returns to the main routine of FIG.
  • step S316 the relative frequency component calculation unit 312 uses the frequency component in the ⁇ 415 image as light absorption information. After step S316, the image processing apparatus 1 returns to the main routine of FIG.
  • the light absorption information extraction unit 310 extracts the light absorption information using the relative intensity with respect to the ⁇ 460 image, but the image corresponding to the white B (blue) to G (green) band. Show similar light absorption characteristics, other images corresponding to the B to G band may be used as the ⁇ 540 image or the like.
  • FIG. 14 is a block diagram illustrating a configuration of the frequency component extraction unit of the calculation unit according to the first modification.
  • the image processing apparatus according to the first modification includes a relative frequency component calculation unit 313 illustrated in FIG. 14 instead of the relative frequency component calculation unit 312 illustrated in FIG.
  • the relative frequency component calculation unit 313 calculates the relative intensity of the specific frequency component between a plurality of narrowband images.
  • the relative frequency component calculation unit 313 includes a wavelength weight setting unit 313a that sets weights for the first and second images based on the wavelength bands of the light obtained by capturing the first and second images, Based on the weight set by the determination unit 313b and the wavelength weight setting unit 313a for determining whether the sign of the specific frequency component in the second image is the same as the sign of the value representing the change in absorbance.
  • a difference calculation unit 313c that calculates a difference between frequency components in the first and second images.
  • the configuration and operation of each unit of the calculation unit other than the relative frequency component calculation unit 312 illustrated in FIG. 11 and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as those in the embodiment. The same as in the third mode.
  • FIG. 15 is a flowchart showing an extraction process for extracting light absorption information according to the first modification.
  • the wavelength weight setting unit 313a sets weights for both images (step S411). Specifically, since light at ⁇ 460 has a smaller amount of absorption in hemoglobin than light at ⁇ 415 , if there is an absorption change common to the ⁇ 460 image and the ⁇ 415 image, the amount of change appearing in the ⁇ 460 image is ⁇ It tends to be smaller than 415 images. Therefore, the wavelength weight setting unit 313a, to the two images, the weights of the lambda 460 image sets weight to be greater than the weight of the lambda 415 images.
  • the wavelength weight setting unit 313a sets the weight with reference to a table indicating the weighting factor for each wavelength recorded in the storage unit 50.
  • Steps S412 to S414 correspond to the above-described steps S311 to S313 of FIG.
  • step S415 the determination unit 313b determines whether both frequency components in both images are negative.
  • step S415: Yes the determination unit 313b determines that both frequency components in both images are negative (step S415: Yes)
  • the image processing apparatus 1 proceeds to step S416 described later.
  • step S417 the image processing apparatus 1 proceeds to step S417 described later.
  • step S416 the difference calculation unit 313c calculates the difference after multiplying the frequency component of both images by the weight. After step S416, the image processing apparatus 1 returns to the main routine of FIG.
  • step S417 the difference calculation unit 313c uses the frequency component in the ⁇ 415 image as light absorption information. After step S417, the image processing apparatus 1 returns to the main routine of FIG.
  • the wavelength weight setting unit 313a sets the weight with reference to the table indicating the weighting factor for each wavelength recorded in the storage unit 50. For example, ⁇ 460 images or set weights based on the average value of a specific frequency component of the lambda 415 images respectively, be or set the weight based on the difference from the average value of a specific frequency component of the respective lambda 460 images and lambda 415 images Good.
  • the wavelength weight setting unit 313a may perform weighting using an exponentially increasing coefficient or a linearly increasing coefficient.
  • FIG. 16 is a block diagram illustrating the configuration of the frequency component extraction unit of the calculation unit according to the second modification.
  • the image processing apparatus according to the second modification includes a relative frequency component calculation unit 314 illustrated in FIG. 16 instead of the relative frequency component calculation unit 312 illustrated in FIG. 11.
  • the relative frequency component calculation unit 314 calculates the relative intensity of the specific frequency component between a plurality of narrowband images.
  • the relative frequency component calculation unit 314 includes a frequency weight setting unit 314a that sets weights for a plurality of frequency bands, and a plurality of frequencies in the first and second images based on the weight set by the frequency weight setting unit 314a.
  • the weight addition unit 314b that adds the frequency components in the band and whether the positive and negative signs in the addition results of the frequency components in the first and second images are the same as the sign of the value representing the change in absorbance are determined.
  • a difference calculation unit 314d that calculates a difference between the addition results of the frequency components in the first and second images.
  • each unit of the calculation unit other than the relative frequency component calculation unit 312 illustrated in FIG. 11 and the configuration and operation of each unit of the image processing apparatus other than the calculation unit are the same as those in the embodiment. The same as in the third mode.
  • FIG. 17 is a flowchart showing an extraction process for extracting light absorption information according to the second modification.
  • steps S511 and S512 are the same processes as steps S311 and S312 of FIG.
  • the frequency component calculation unit 311 calculates frequency components of a plurality of bands from both corrected images.
  • changes in absorption from the submucosal surface layer to the middle layer appear, among these, changes in absorption due to microvessels are high-frequency components, and regional absorption changes are medium-frequency components.
  • the amount of change due to fine blood vessels tends to be smaller than the amount of change due to regional light absorption changes. Therefore, when a frequency component in a band corresponding to the medium frequency is simply extracted from the high frequency, the high frequency component is buried in the medium frequency component, and there is a possibility that the amount of change due to the microvessel cannot be extracted.
  • the frequency weight setting unit 314a sets a weight according to the frequency band, and uses the set weight to synthesize each frequency component calculated in step S513 described above (step S514). .
  • This weight is set so as to increase as the frequency band is higher.
  • the frequency weight setting unit 314a sets the weight with reference to a table indicating the weight coefficient for each frequency recorded in the storage unit 50. Steps S515 to S517 are the same as steps S314 to S316 in FIG.
  • FIG. 18 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to the fourth embodiment.
  • the configuration and operation of each unit of the image processing apparatus other than the arithmetic unit are the same as those in the first embodiment.
  • the calculation unit 400 included in the image processing apparatus according to the fourth embodiment includes an absorption information extraction unit 410 and a display image creation unit 120.
  • the configuration and operation of the display image creation unit 120 are the same as those in the first embodiment.
  • the light absorption information extraction unit 410 extracts a specific frequency component in each narrowband image, and a relative frequency component calculation that calculates the relative intensity of the specific frequency component between a plurality of narrowband images. And a frequency component correction unit 413 that corrects the intensity of the frequency component in the specific narrowband image based on the relative frequency component.
  • the frequency component extraction unit 411 includes an intensity correction unit 411a that performs correction so that the intensity level of the first image is equal to the intensity level of the second image.
  • the relative frequency component calculation unit 412 includes a ratio calculation unit 412a that calculates the ratio of the specific frequency component in the first and second images.
  • the frequency component correction unit 413 includes a determination unit 413a that determines whether or not the positive and negative signs of the specific frequency component in the first and second images are the same as the sign of the value representing the change in absorbance.
  • FIG. 19 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment.
  • the operation of the image processing apparatus according to the fourth embodiment is generally the same as that of FIG. 2 of the first embodiment described above.
  • step S60 and step S62 are the same as those of FIG. 2 of the first embodiment described above. Since the processing is the same as that in step S10 and step S12, description thereof is omitted.
  • step S10 and step S12 description thereof is omitted.
  • a case where light absorption information is extracted from a ⁇ 415 image will be described.
  • FIG. 20 is a flowchart showing an extraction process for extracting light absorption information in step S61 of FIG.
  • the intensity correction unit 411a calculates the average intensity in the image from the ⁇ 415 image and the ⁇ 460 image (hereinafter simply referred to as “both images”) (step S611).
  • the intensity correction unit 411a corrects the intensity (intensity level) of both images to be equal based on the average intensity (step S612).
  • the frequency component calculation unit 411 calculates a frequency component from each of both images corrected by the intensity correction unit 411a (step S613).
  • the ratio calculation unit 412a calculates the ratio of the frequency component of the ⁇ 415 image to the frequency component of the ⁇ 460 image (step S614).
  • the determination unit 413a determines whether or not the frequency components in both images are negative (step S615).
  • the determination unit 312a determines that both frequency components in both images are negative (step S615: Yes)
  • the image processing apparatus 1 proceeds to step S616 described later.
  • the determination unit 413a determines that at least one of the frequency components in both images is positive (step S615: No)
  • the image processing apparatus 1 proceeds to step S617 described later.
  • step S616 the frequency component correction unit 413 performs correction so that the absolute value of the frequency component of the ⁇ 415 image decreases as the ratio decreases, based on the ratio calculated in step S614.
  • the correction method is performed, for example, by referring to a coefficient table recorded in the storage unit 50 and multiplying the obtained coefficient by the frequency component of the ⁇ 415 image.
  • the image processing apparatus 1 returns to the main routine of FIG.
  • step S617 the light absorption information extraction unit 410 sets the frequency component in the ⁇ 415 image as light absorption information.
  • the image processing apparatus 1 returns to the main routine of FIG.
  • the light absorption that appears strongly only in a specific narrow band image by correcting the frequency component in the specific narrow band image using the correlation between the images having sufficient absorption of hemoglobin. Changes can be extracted.
  • FIG. 21 is a flowchart showing an extraction process for extracting light absorption information in the first modification. In the following, a case where light absorption information is extracted from a ⁇ 600 image will be described.
  • the intensity correction unit 411a calculates the average intensity in the image from the ⁇ 540 image, the ⁇ 600 image, and the ⁇ 630 image (step S711).
  • the intensity correction unit 411a corrects the intensities (intensity levels) of the ⁇ 540 image, the ⁇ 600 image, and the ⁇ 630 image based on the average intensity (step S712).
  • the frequency component calculation unit 411 calculates a frequency component from the ⁇ 540 image, the ⁇ 600 image, and the ⁇ 630 image corrected by the intensity correction unit 411a (step S713).
  • the ratio calculation unit 412a calculates the ratio of the frequency component of the ⁇ 600 image to the frequency component of the ⁇ 630 image (step S714).
  • the determination unit 413a determines whether or not both frequency components in the ⁇ 630 image and the ⁇ 600 image are negative (step S715).
  • the determination unit 312a determines that both frequency components in the ⁇ 630 image and the ⁇ 600 image are negative (step S715: Yes)
  • the image processing apparatus 1 proceeds to step S716 described later.
  • the determination unit 413a determines that at least one of the frequency components in the ⁇ 630 image and the ⁇ 600 image is positive (step S715: No)
  • the image processing apparatus 1 proceeds to step S717 described later. .
  • step S716 the frequency component correction unit 413 corrects the absolute value of the frequency component of the ⁇ 600 image to be smaller as the ratio is smaller, based on the ratio calculated in step S714, and provides the temporary absorption information of the correction result.
  • the correction method is performed, for example, by referring to a coefficient table recorded in the storage unit 50 and multiplying the obtained coefficient by the frequency component of the ⁇ 600 image.
  • step S717 the light absorption information extraction unit 410 sets the frequency component in the ⁇ 600 image as temporary light absorption information.
  • the ratio calculation unit 412a calculates the ratio of the frequency component of the ⁇ 600 image to the frequency component of the ⁇ 540 image (step S718). After calculating the ratio, the determination unit 413a determines whether the frequency components in the ⁇ 540 image and the ⁇ 600 image are both negative (step S719). When the determination unit 312a determines that both frequency components in the ⁇ 540 image and the ⁇ 600 image are negative (step S715: Yes), the image processing apparatus 1 proceeds to step S720 described later. In contrast, when the determination unit 413a determines that at least one of the frequency components in the ⁇ 540 image and the ⁇ 600 image is positive (step S715: No), the image processing apparatus 1 proceeds to step S721 to be described later. .
  • step S720 based on the ratio calculated in step S718, the frequency component correction unit 413 corrects the absolute value of the temporary light absorption information to be smaller as the ratio is smaller, and displays the correction result as light absorption information.
  • the correction method is performed, for example, by referring to a coefficient table recorded in the storage unit 50 and multiplying the obtained coefficient by provisional light absorption information.
  • step S721 the light absorption information extraction unit 410 sets the temporary light absorption information as light absorption information. After step S721, the image processing apparatus 1 returns to the main routine of FIG.
  • the frequency component in a specific narrowband image is corrected by using a plurality of correlations between images, so that only a specific narrowband image is stronger with higher accuracy.
  • the change in absorbance that appears can be extracted.
  • the first to fourth embodiments described above, the first to third modifications of the first embodiment, the first and second modifications of the third embodiment, and the first modification of the fourth embodiment are the image processing stored in the storage device. It can be realized by executing the program on a computer system such as a personal computer or a workstation. In addition, such a computer system is used by being connected to other computer systems, servers, and other devices via a public line such as a local area network (LAN), a wide area network (WAN), or the Internet. Also good. In this case, the image processing apparatuses according to Embodiments 1 to 4, Modifications 1 to 3 of Embodiment 1, Modifications 1 to 2 of Embodiment 3, and Modification 1 of Embodiment 4 are connected to these networks.
  • LAN local area network
  • WAN wide area network
  • the image data of the intraluminal image is acquired via the network, the image processing result is output to various output devices (viewers, printers, etc.) connected via these networks, or the network is connected via these networks.
  • the image processing result may be stored in a storage device (such as a storage medium and its reading device).
  • Embodiments 1 to 4 Modifications 1 to 3 of Embodiment 1, Modifications 1 to 2 of Embodiment 3, and Modification 1 of Embodiment 4.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiments and modifications. For example, some constituent elements may be excluded from all the constituent elements shown in each embodiment or modification, or may be formed by appropriately combining the constituent elements shown in different embodiments or modifications. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

狭帯域光の吸収散乱特性に応じて狭帯域画像に現れる吸光変化を網羅的に抽出すると共に、吸光変化を画像に合成した際に視認性に影響を与えることのない表示画像を作成することができる画像処理装置等を提供する。画像処理装置１は、少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得部２０と、狭帯域画像である第１の画像における特定の周波数成分、及び、上記第１の画像と異なる第２の画像と上記第１の画像との間の相関に基づいて、第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を第１の画像から抽出する吸光情報抽出部１１０と、複数の画像のうちの少なくともいずれかの画像に吸光情報を合成することにより表示画像を作成する表示画像作成部１２０とを備える。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本発明は、生体内を観察する内視鏡により取得された画像に対する画像処理を行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　内視鏡により生体内を照射する照明光としては、白色光や狭帯域光が用いられる。狭帯域光は波長帯域によって吸収散乱特性が異なるため、使用する狭帯域光を適宜選択することにより、波長帯域に応じた被写体の特徴を抽出することができる。例えば、青色の狭帯域光はヘモグロビンに吸収され易いため、青色の狭帯域光を使用して撮像された狭帯域画像には、粘膜下表層の微細血管等が鮮明に表れる。このような狭帯域光の吸収散乱特性に応じて被写体で生じる吸光変化は、白色光により撮像された白色画像には表れ難い。そのため、狭帯域画像及び白色画像の両者の特徴を併せ持つ画像を生成することで、より詳細な内視鏡観察が可能になる。
　例えば特許文献１には、白色光により撮像された画像に対し、狭帯域光により撮像された画像に周波数フィルタリング処理を施した画像を合成することによって、両画像の特徴を併せ持つ画像を作成している。
特開２０１２－１２５４６１号公報
　上述した狭帯域画像には、微細な血管の他にも、血管増生によって生じる領域的な吸光変化等、様々な形状や大きさの吸光変化が現れる。そのため、これらの吸光変化を上記特許文献１に開示された手法により網羅的に抽出することは困難である。これらの吸光変化を網羅的に抽出するためには、例えば狭帯域画像に周波数フィルタリングを施す際の周波数帯域を広くすることも考えられる。しかし、この場合には、吸光変化以外に、粘膜形状等の構造も抽出され易くなる。そのため、狭帯域画像から抽出した吸光変化を他の画像に合成した際に、画像の視認性が低下するといった影響を与えてしまう。
　本発明は、上記に鑑みて為されたものであって、狭帯域光の吸収散乱特性に応じて狭帯域画像に現れる吸光変化を網羅的に抽出すると共に、抽出した吸光変化を他の画像に合成した際に視認性に影響を与えることのない表示画像を作成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得部と、前記複数の画像のうちの狭帯域画像である第１の画像における特定の周波数成分、及び、前記複数の画像のうちの前記第１の画像と異なる第２の画像と前記第１の画像との間の相関に基づいて、前記第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を前記第１の画像から抽出する吸光情報抽出部と、前記複数の画像のうちの少なくともいずれかの画像に前記吸光情報を合成することにより表示画像を作成する表示画像作成部と、を備えることを特徴とする。
　本発明に係る画像処理方法は、少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得ステップと、前記複数の画像のうちの狭帯域画像である第１の画像における特定の周波数成分、及び、前記複数の画像のうちの前記第１の画像と異なる第２の画像と前記第１の画像との間の相関に基づいて、前記第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を前記第１の画像から抽出する吸光情報抽出ステップと、前記複数の画像のうちの少なくともいずれかの画像に前記吸光情報を合成することにより表示画像を作成する表示画像作成ステップと、を含むことを特徴とする。
　本発明に係る画像処理プログラムは、少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得ステップと、前記複数の画像のうちの狭帯域画像である第１の画像における特定の周波数成分、及び、前記複数の画像のうちの前記第１の画像と異なる第２の画像と前記第１の画像との間の相関に基づいて、前記第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を前記第１の画像から抽出する吸光情報抽出ステップと、前記複数の画像のうちの少なくともいずれかの画像に前記吸光情報を合成することにより表示画像を作成する表示画像作成ステップと、をコンピュータに実行させることを特徴とする。
　本発明によれば、狭帯域画像である第１の画像における特定の周波数成分及び第１の画像と第２の画像との相関を用いることにより、様々な形状や大きさの吸光変化を網羅的に抽出することができると共に、粘膜形状等の構造の抽出を抑制することができるので、狭帯域画像から抽出した吸光変化を他の画像に合成した際に視認性に影響を与えることのない表示画像を作成することが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、λ415画像を示す模式図である。 図４は、本発明の実施の形態１における吸光情報の抽出処理を示すフローチャートである。 図５Ａは、高周波成分画像を示す模式図である。 図５Ｂは、相対強度画像を示す模式図である。 図６は、抑制関数の例を示すグラフである。 図７は、本発明の実施の形態１の変形例１に係る画像処理装置が備える合成部の構成を示す模式図である。 図８は、本発明の実施の形態１の変形例１における吸光情報の抽出処理を示すフローチャートである。 図９は、本発明の実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１０は、本発明の実施の形態２における吸光情報の抽出処理を示すフローチャートである。 図１１は、本発明の実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１２は、本発明の実施の形態３に係る画像処理装置の動作を示すフローチャートである。 図１３は、図１２の吸光情報を抽出する抽出処理を示すフローチャートである。 図１４は、本発明の実施の形態３の変形例１に係る演算部の周波数成分抽出部の構成を示すブロック図である。 図１５は、本発明の実施の形態３の変形例１に係る吸光情報を抽出する抽出処理を示すフローチャートである。 図１６は、本発明の実施の形態３の変形例２に係る演算部の周波数成分抽出部の構成を示すブロック図である。 図１７は、本発明の実施の形態３の変形例２に係る吸光情報を抽出する抽出処理を示すフローチャートである。 図１８は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１９は、本発明の実施の形態４に係る画像処理装置の動作を示すフローチャートである。 図２０は、図１９の吸光情報を抽出する抽出処理を示すフローチャートである。 図２１は、本発明の実施の形態４の変形例１に係る吸光情報を抽出する抽出処理を示すフローチャートである。
　以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、内視鏡により取得された複数の画像をもとに、白色画像には現れ難い吸光変化を抽出し、抽出した吸光変化を１つ又は複数の画像と合成して表示用の画像を作成する装置である。
　以下の説明においては、ビデオスコープと呼ばれる一般的な内視鏡又はカプセル型内視鏡によって生体の管腔内を撮像することにより取得された狭帯域画像及び白色画像を含む内視鏡画像を処理対象とする。
　図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡画像の画像データを取得する画像取得部２０と、外部からの操作により入力信号を発生させる入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記憶部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
　制御部１０は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサやＡＳＩＣ（Application　Specific　Integrated　Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１０が汎用プロセッサである場合、記憶部５０が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、制御部１０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して種々の処理を実行してもよい。
　画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムに画像処理装置１に接続する場合、画像取得部２０は、内視鏡システムにおいて生成された画像データを取り込むインタフェースによって構成される。また、内視鏡システムにおいて生成された画像データを保存するサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って画像データを取得する。或いは、生体内を移動しながら撮像を行うカプセル型内視鏡を用いる場合には、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データを受け渡ししても良く、この場合、画像取得部２０は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像の画像データを読み出すリーダ装置によって構成される。
　入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。
　表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって構成され、制御部１０の制御の下で、内視鏡画像を含む各種画面を表示する。
　記憶部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ－ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部５０は、画像取得部２０によって取得された内視鏡画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部５０は、内視鏡によって取得された少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像に基づき、該１つの狭帯域画像から抽出した吸光変化を他の画像と合成した表示画像を作成する画像処理を当該画像処理装置１に実行させる画像処理プログラムを記憶するプログラム記憶部５１を有する。
　演算部１００は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１００が汎用プロセッサである場合、プログラム記憶部５１が記憶する画像処理プログラムを読み込むことにより、内視鏡によって取得された少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像に基づき、該１つの狭帯域画像から抽出した吸光変化を他の画像と合成した表示画像を作成する画像処理を実行する。また、演算部１００が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部５０が記憶する各種データ等を用いることで、プロセッサと記憶部５０が協働又は結合して画像処理を実行してもよい。
　次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、画像取得部２０が取得した複数の画像から吸光情報を抽出する吸光情報抽出部１１０と、抽出した吸光情報を画像と合成した表示用の画像を作成する表示画像作成部１２０とを備える。以下においては、一例として、中心波長が互いに異なる複数の狭帯域画像を取得した場合の処理を説明する。
　ここで、吸光情報とは、狭帯域画像の撮像に用いられた狭帯域光が被写体内の吸光体に吸収されることによって当該狭帯域画像に現れる吸光変化を表す画像情報のことである。狭帯域画像に現れる吸光変化は、狭帯域光の吸収散乱特性に応じて異なる。例えば、中心波長が４１５ｎｍ近傍の狭帯域光はヘモグロビンに吸収され易いため、ヘモグロビンを含む血液が流れる血管や血管増生領域において狭帯域光の吸収量が増加することにより、狭帯域画像に吸光変化が現れる。この吸光が変化した領域の画素位置と、該画素位置における狭帯域光の吸光変化量を表す値とが、吸光情報に含まれる。吸光が変化した領域においては、狭帯域光が吸収されて輝度が低下するので、吸光変化量を表す値は負の値となる。吸光変化量を表す値は、吸光体による狭帯域光の吸収量が多いほど値が小さくなる。即ち、絶対値が大きくなる。
　吸光情報抽出部１１０は、狭帯域光の吸収散乱特性に基づいて狭帯域画像に現れる吸光情報を抽出する。具体的には、中心波長が４１５ｎｍ近傍の狭帯域光は、ヘモグロビンに吸収され易く、且つ管腔内の粘膜に散乱され易いという特性がある。反対に、中心波長が６３０ｎｍ近傍の狭帯域光は、ヘモグロビンに吸収され難く、粘膜にも散乱され難いため、管腔内の奥まで到達し易いという特性がある。吸光情報抽出部１１０は、このような狭帯域光の特性の違いに基づき、粘膜下表層の微細血管や、血管増生によって生じる領域的な吸光変化等の画像情報を、吸光情報として狭帯域画像から抽出する。以下、吸光情報を取得する狭帯域画像のことを、特定狭帯域画像という。
　吸光情報抽出部１１０は、周波数成分抽出部１１１と、相対強度算出部１１２と、合成部１１３とを備える。周波数成分抽出部１１１は、特定狭帯域画像（第１の画像）にハイパスフィルタを適用することにより、特定の周波数成分として高周波数成分を抽出した高周波数成分画像を作成する。
　相対強度算出部１１２は、複数の狭帯域画像間における相対強度を算出する。詳細には、複数の狭帯域画像のうち特定狭帯域画像以外の狭帯域画像の中で、特定狭帯域画像に表れる吸光体に対して吸収が最も少ない狭帯域光、具体的には中心波長６３０ｎｍ近傍の狭帯域光によって撮像された狭帯域画像（第２の画像）と、特定狭帯域画像との間の相対強度を算出する。以下、上記吸光体に対する吸収が最も少ない狭帯域光によって撮像された狭帯域画像を、低吸光画像という。相対強度算出部１１２は、低吸光画像の強度を特定狭帯域画像の強度に合わせて補正する強度補正部１１２ａと、特定狭帯域画像の強度から補正済みの低吸光画像の強度を減算することにより、両画像間の相対強度を求める減算部１１２ｂとを備える。
　合成部１１３は、周波数成分抽出部１１１が抽出した高周波数成分の強度と、相対強度算出部１１２が算出した相対強度とに基づき、特定狭帯域画像に現れる吸光情報を網羅的に取得する。詳細には、合成部１１３は、同一の画素位置における高周波数成分の強度と相対強度とを加算する加算部１１３ａと、この加算結果に応じて出力値を抑制する抑制部１１３ｂとを備える。
　表示画像作成部１２０は、複数の狭帯域画像から白色画像を作成する白色画像作成部１２１と、吸光情報抽出部１１０が抽出した吸光情報を白色画像に合成する画像合成部１２２とを備える。
　次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。まず、ステップＳ１０において、画像取得部２０は、中心波長が互いに異なる少なくとも２つの狭帯域画像を含む複数の画像を取得する。この複数の画像には、ＲＧＢそれぞれの波長帯域に相当する画像を含めるものとする。具体的には、吸光情報を抽出する中心波長４１５ｎｍの狭帯域画像と、ＲＧＢの波長帯域に相当する中心波長４６０ｎｍ、５４０ｎｍ、及び６３０ｎｍの３つの狭帯域画像と、を取得する。或いは、吸光情報を抽出する中心波長４１５ｎｍの狭帯域画像と、中心波長４１５ｎｍの狭帯域光を吸収する吸光体に対して吸収が少ない波長帯域である中心波長６３０ｎｍの狭帯域画像と、ＲＧＢの波長帯域を含む白色画像とを取得しても良い。本実施の形態１においては、前者である４つの狭帯域画像を取得することとする。
　狭帯域画像を取得する方法は特に限定されない。内視鏡による狭帯域画像の取得方法の一例として、複数の狭帯域の波長ピークを有する光を発光するＬＥＤを用いる方法が挙げられる。例えば、ＲＧＢの波長帯域に相当する波長４６０ｎｍ、５４０ｎｍ、６３０ｎｍを中心とするピークを有する光を発光するＬＥＤと、波長４１５ｎｍを中心とするピークを有する光を発光するＬＥＤとを内視鏡に設け、これらのＬＥＤを交互に発光させて生体内を照射し、生体内からの反射光をカラーの撮像素子により、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分別に取得する。それにより、４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍをそれぞれ中心波長とする４種類の狭帯域画像を得ることができる。
　或いは、狭帯域画像の取得方法の別の例として、キセノンランプ等の白色光源の前方に狭帯域フィルタを配置し、該狭帯域フィルタにより狭帯域化された光で生体内を順次照射する方法や、中心波長が互いに異なる狭帯域光をそれぞれ発光する複数のレーザーダイオードを順次駆動する方法も挙げられる。さらには、生体内を白色光により照射し、生体からの反射光を、狭帯域フィルタを介して撮像素子に入射させることにより、狭帯域画像を取得しても良い。
　以下においては、中心波長が４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍの狭帯域画像をそれぞれ、λ415画像、λ460画像、λ540画像、λ630画像と記す。なお、これらの狭帯域画像を取得する際の狭帯域光の実際の中心波長は、上述した４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６３０ｎｍの各値の近傍の値であっても良い。
　続くステップＳ１１において、吸光情報抽出部１１０は、λ415画像から吸光情報を抽出する。図３は、λ415画像を示す模式図である。図３に示すλ415画像Ｍ１においては、粘膜下表層から中層に存在する微細血管ｍ１１や少し太い血管ｍ１２による吸光変化や、血管増生による吸光変化が領域的に表れる吸光変化領域ｍ１３等が観察される。本実施の形態１においては、これらの吸光変化を表す画像情報を吸光情報として抽出する。
　図４は、ステップＳ１１における吸光情報の抽出処理を示すフローチャートである。また、図５Ａ及び図５Ｂは、吸光情報の抽出処理を説明するための模式図である。
　ステップＳ１１１において、周波数成分抽出部１１１は、λ415画像にハイパスフィルタを適用することにより、高周波数成分を抽出する。抽出された高周波数成分のうち、強度が負の値となる画素位置が、狭帯域光の吸光変化が生じた領域であり、この高周波数成分の強度が吸光変化量を表す。
　図５Ａに示す画像Ｍ２は、ハイパスフィルタ処理により抽出された高周波数成分をもとに作成した高周波成分画像である。図５Ａに示すように、ハイパスフィルタを適用する場合、微細血管ｍ１１や少し太い血管ｍ１２のように比較的細かい吸光変化はλ415画像から抽出され易いが、吸光変化領域ｍ１３（図３参照）のような領域的な、即ち、あまり細かくない吸光変化は抽出され難い。
　そこで、次のステップＳ１１２以降において、中心波長６３０ｎｍの狭帯域光はヘモグロビンに吸収され難いという特性を利用して、λ630画像に対するλ415画像の相対的な強度変化を吸光変化として抽出する。
　ステップＳ１１２において、相対強度算出部１１２は、λ415画像及びλ630画像の平均強度を算出する。つまり、λ415画像内の画素の画素値の平均値Ａｖｇ415と、λ630画像内の画素の画素値の平均値Ａｖｇ630とを算出する。ここで、画素値を取得する画素は、各画像内の全画素であっても良いし、所定の関心領域内の画素であっても良い。
　続くステップＳ１１３において、強度補正部１１２ａは、平均値の比Ａｖｇ415／Ａｖｇ630をλ630画像内の各画素の画素値に積算することにより、λ630画像の強度レベルをλ415画像の強度レベルに合わせる補正を行う。
　続くステップＳ１１４において、減算部１１２ｂは、λ415画像から補正後のλ630画像を減算することにより、相対強度を求める。詳細には、λ415画像内の画素の画素値から、同一の画素位置における補正後のλ630画像内の画素の画素値を減算する。それによって得られた相対強度のうち、強度が負の値となる画素位置が、狭帯域光の吸光変化が生じた領域であり、この相対強度が吸光変化量を表す。
　図５Ｂに示す画像Ｍ３は、λ415画像から補正後のλ630画像を減算することにより得られた相対強度をもとに作成された相対強度画像である。図５Ｂに示すように、相対強度画像においては、少し太い血管ｍ１２や吸光変化領域ｍ１３のようにあまり細かくない吸光変化は抽出され易い一方、微細血管ｍ１１（図５Ａ参照）のような細かな吸光変化は抽出され難くなる。これは、補正後のλ630画像をλ415画像から減算することにより、強度レベルが近い粘膜等の構造が相殺される一方、λ630画像における強度のばらつきにより、補正後のλ630画像において強度が部分的にλ415画像の強度よりも小さくなってしまうことがあり、そのような部分においてはλ415画像における細かな吸光変化が相殺され易いからである。
　そこで、続くステップＳ１１５において、合成部１１３は、λ415画像から抽出した高周波数成分の強度と、λ415画像とλ630画像との相対強度とを加算し、さらに抑制処理を行う。つまり、図５Ａに示す高周波数成分画像と図５Ｂに示す相対強度画像との間で同じ画素位置の高周波数成分の強度と相対強度とを加算することにより、λ415画像内の吸光情報を網羅的に抽出する。
　この際、少し太い血管ｍ１２のように、高周波数成分としても抽出され、相対強度としても抽出された吸光変化は、高周波数成分の強度と相対強度とを加算することにより２重抽出されることになる。上述したように、吸光変化量を表す値は負の値となるので、吸光変化の２重抽出を防ぐため、加算結果における負の値が大きくなりすぎないように抑制処理を行う。
　具体的には、同じ画素位置における高周波数成分の強度と相対強度との加算値Ｉaddに対し、図６に示すように、絶対値｜Ｉadd｜が大きいほど負の出力値Ｉoutを抑制する抑制関数Iout＝ｆ（｜Ｉadd｜）を適用する。この抑制処理後の加算値が、λ415画像から抽出された吸光情報として出力される。その後、処理はメインルーチンに戻る。
　ステップＳ１１に続くステップＳ１２において、表示画像作成部１２０は、白色画像に吸光情報を合成した表示画像を作成する。詳細には、まず、白色画像作成部１２１が、ステップＳ１０において取得したＲＧＢそれぞれの波長帯域に相当するλ460画像、λ540画像、及びλ630画像を用いて白色画像を作成する。即ち、λ460画像をＢ成分、λ540画像をＧ成分、λ630画像をＲ成分とすることにより、白色画像内の各画素の画素値を決定する。そして、この白色画像に、ステップＳ１１において取得した吸光情報をＢ成分として合成する。なお、吸光情報の合成方法はこれに限定されず、例えば、吸光情報をＧ成分として合成しても良い。また、ステップＳ１０において白色画像そのものを取得した場合には、この白色画像に吸光情報を直接合成すれば良い。
　以上説明したように、本発明の実施の形態１によれば、λ415画像から抽出した高周波数成分と、λ630画像に対するλ415画像の相対強度とを組み合わせることにより、吸光変化を表す吸光情報をλ415画像から網羅的に抽出し、抽出漏れを抑制することが可能になる。従って、このような吸光情報を白色画像と合成して表示することで、ユーザにとって多くの有用な情報を提示することが可能となる。
　なお、上記実施の形態１のステップＳ１１５（図４参照）においては、吸光変化量を表す値が負の値であることを前提として抑制処理を行っている。しかしながら、高周波数成分の強度や相対強度の正負を反転したり、規格化するなどして、吸光変化量を表す値を正の値として処理を行っても良い。この場合には、上記ステップＳ１１５において、加算結果における絶対値が大きいほど正の出力値を抑制する関数を用いれば良い。抑制関数としては、例えば、図６に示すグラフIout＝ｆ（｜Ｉadd｜）を｜Ｉadd｜軸に対して反転させた形状となる。
（実施の形態１の変形例１）
　次に、本発明の実施の形態１の変形例１について説明する。図７は、本変形例１に係る画像処理装置が備える合成部の構成を示す模式図である。本変形例１に係る画像処理装置は、図１に示す合成部１１３の代わりに、図７に示す合成部１２３を備える。
　合成部１２３は、高周波数成分の強度と相対強度とを加算する加算部１２３ａと、高周波数成分の強度と相対強度とのうちのいずれかの値を選択する選択部１２３ｂとを備える。なお、合成部１２３以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。
　図８は、本変形例１における吸光情報の抽出処理を示すフローチャートである。なお、図８に示すステップＳ１１１～Ｓ１１４は、実施の形態１と同様である（図４参照）。
　ステップＳ１１４に続くステップＳ１３１において、合成部１２３は、ステップＳ１１１において抽出された高周波数成分の強度と、ステップＳ１１４において算出された相対強度との間で、同一の画素位置における高周波数成分の強度及び相対強度が共に負であるか否かを判定する。上述したように、吸光変化量を表す値は負の値となるため、同一の画素位置における高周波数成分の強度と相対強度とが共に負である場合、その画素位置における吸光変化が高周波数成分として抽出され、さらに相対強度としても抽出されたことを意味する。
　高周波数成分の強度及び相対強度が共に負であった場合（ステップＳ１３１：Ｙｅｓ）、選択部１２３ｂは、２重に吸光変化を抽出しないよう、高周波数成分の強度と相対強度とのうち小さい方の値、即ち絶対値が大きい方の値を選択する（ステップＳ１３２）。この選択された値が、吸光情報として出力される。
　一方、高周波数成分の強度及び相対強度の少なくとも一方が正であった場合（ステップＳ１３１：Ｎｏ）、加算部１２３ａは、高周波数成分の強度と相対強度とを加算する（ステップＳ１３３）。この加算された値が、吸光情報として出力される。その後、処理はメインルーチンに戻る。
　以上説明したように、本変形例１によれば、吸光変化の２重抽出をより精度良く抑制することができる。
　なお、上記変形例１においては、吸光変化量を表す値が負の値であることを前提として、吸光変化の２重抽出の抑制処理を行っている。しかしながら、高周波数成分の強度や相対強度の正負を反転したり、規格化するなどして、吸光変化量を表す値を正の値として処理を行っても良い。
　この場合には、図８のステップＳ１３１において、高周波数成分の強度及び相対強度が共に正であるか否かを判定し、共に正であるときには高周波数成分の強度と相対強度とのうち大きい方の値を選択し（ステップＳ１３２参照）、少なくとも一方が負であるときには高周波数成分の強度と相対強度とを加算する（ステップＳ１３３参照）ことにより、吸光情報を抽出する。要は、高周波数成分の強度及び相対強度の正負の符号が共に吸光変化量を表す値の符号と同一である場合には絶対値が大きい方の値を選択し、それ以外の場合には高周波数成分の強度と相対強度との加算値を算出すれば良い。
（実施の形態１の変形例２）
　次に、本発明の実施の形態１の変形例２について説明する。上記実施の形態１においては、λ415画像から抽出した高周波数成分の強度と、λ415画像とλ630画像との相対強度とを合成する際に単純に加算したが、高周波数成分の強度と相対強度とにそれぞれ適宜重みをつけた上で加算しても良い。この際、微細な吸光変化は視認性が低いので、高周波数成分の強度に対する重みを、相対強度に対する重みよりも大きく設定すると良い。
（実施の形態１の変形例３）
　次に、本発明の実施の形態１の変形例３について説明する。上記実施の形態１においては、狭帯域画像を複数取得した場合の処理を説明したが、狭帯域画像は少なくとも１つあれば良い。例えば、中心波長が４１５ｎｍの狭帯域画像と広帯域の白色画像とを取得し、白色画像を構成する各画素の画素値のＲ成分を、上記実施の形態１における中心波長が６３０ｎｍの狭帯域画像の画素値の代わりに用いても良い。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図９は、本実施の形態２に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。
　図９に示すように、本実施の形態２に係る画像処理装置が備える演算部２００は、吸光情報抽出部２１０及び表示画像作成部１２０を備える。このうち、表示画像作成部１２０の構成及び動作は、実施の形態１と同様である。
　吸光情報抽出部２１０は、各狭帯域画像における特定の周波数成分を抽出する周波数成分抽出部２１１と、複数の狭帯域画像間における上記特定の周波数成分の相対的な強度を算出する相対周波数成分算出部２１２とを備える。
　次に、本実施の形態２に係る画像処理装置の動作を説明する。本実施の形態２に係る画像処理装置の動作は、全体として図２と同様であり、このうち、ステップＳ１１における吸光情報の抽出処理の詳細が実施の形態１と異なる。
　図１０は、本実施の形態２における吸光情報の抽出処理を示すフローチャートである。以下においても、実施の形態１と同様に、λ415画像から吸光情報を抽出する場合を説明する。
　ステップＳ１０（図２参照）に続くステップＳ２１１において、周波数成分抽出部２１１は、λ415画像及びλ630画像にバンドパスフィルタを適用することにより、特定の周波数成分を抽出する。抽出する周波数成分としては、ある程度大きな領域の吸光変化も抽出できるように、実施の形態１において用いたハイパスフィルタよりも低周波側に帯域を拡げる。
　λ415画像にバンドパスフィルタを適用することにより作成された特定周波数成分画像においては、図３に示すような微細な血管ｍ１１や少し太い血管ｍ１２に加えて、吸光変化領域ｍ１３のような領域的な吸光変化も抽出され易くなる。一方で、帯域を低周波側に拡げたことにより、粘膜形状等の構造も抽出される可能性が生じる。
　これに対し、λ630画像には血管等の吸光体が写り難いため、λ630画像にバンドパスフィルタを適用することにより作成された特定周波数成分画像においては、主に粘膜形状等の構造が抽出される。
　続くステップＳ２１２において、相対周波数成分算出部２１２は、λ415画像から抽出された特定の周波数成分の強度から、λ630画像から抽出された特定の周波数成分の強度を減算することにより、特定の周波数成分の強度の相対値を求める。
　詳細には、まず、もとのλ415画像内の画素の画素値の平均値Ａｖｇ415と、もとのλ630画像内の画素の画素値の平均値Ａｖｇ630とを算出する。なお、画素値を取得する画素は、各画像内の全画素であっても良いし、所定の関心領域内の画素であっても良い。そして、これらの平均値の比Ａｖｇ415／Ａｖｇ630を、λ630画像に基づく特定周波数成分画像内の各画素の画素値に積算することにより、λ630画像に基づく特定周波数成分画像の強度レベルをλ415画像に基づく特定周波数成分画像の強度レベルに合わせる補正を行う。このように、特定周波数成分画像同士の強度レベルを揃えた上で、λ415画像に基づく特定周波数成分画像の画素値から、同一画素位置におけるλ630画像に基づく特定周波数成分画像の画素値を減算することにより相対値を求める。
　それにより、λ415画像から抽出された特定の周波数成分に含まれる粘膜形状等の構造を表す情報を除去することができる。吸光情報抽出部２１０は、この減算処理に得られた相対値を吸光情報として出力する。その後、処理はメインルーチンに戻る。
　以上説明したように、本発明の実施の形態２によれば、λ415画像及びλ630画像から特定の周波数成分をそれぞれ抽出し、抽出された特定の周波数成分の間の相対値を取るという簡単な演算処理によって吸光情報を取得することができる。
　なお、上記実施の形態２においても、必ずしも複数の狭帯域画像を取得する必要はない。例えば、上述した変形例３と同様に、中心波長が４１５ｎｍの狭帯域画像と広帯域の白色画像とを取得し、白色画像を構成する各画素の画素値のＲ成分を、中心波長が６３０ｎｍの狭帯域画像の画素値の代わりに用いても良い。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図１１は、本実施の形態３に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。
　図１１に示すように、本実施の形態３に係る画像処理装置が備える演算部３００は、吸光情報抽出部３１０及び表示画像作成部１２０を備える。このうち、表示画像作成部１２０の構成及び動作は、実施の形態１と同様である。
　吸光情報抽出部３１０は、各狭帯域画像における特定の周波数成分を抽出する周波数成分抽出部３１１と、複数の狭帯域画像間における上記特定の周波数成分の相対的な強度を算出する相対周波数成分算出部３１２と、を備える。
　周波数成分抽出部３１１は、第１の画像の強度レベルと前記第２の画像の強度レベルとを合わせるよう補正を行う強度補正部３１１ａを有する。
　相対周波数成分算出部３１２は、第１及び第２の画像における上記特定の周波数成分の正負の符号が共に吸光変化を表す値の符号と同一であるか否かを判定する判定部３１２ａと、第１及び第２の画像における上記特定の周波数成分の差分を算出する差分算出部３１２ｂと、を有する。
　次に、本実施の形態３に係る画像処理装置の動作を説明する。図１２は、本実施の形態３に係る画像処理装置の動作を示すフローチャートである。本実施の形態３に係る画像処理装置の動作は、全体として上述した実施の形態１の図２と同様であり、このうち、ステップＳ３０及びステップＳ３２は、上述した実施の形態１の図２のステップＳ１０及びステップＳ１２と同様の処理のため、説明を省略する。また、以下においては、実施の形態１と同様に、λ415画像から吸光情報を抽出する場合について説明する。
　図１２に示すように、まず、吸光情報抽出部３１０は、λ415画像から吸光情報を抽出する（ステップＳ３１）。実施の形態１において上述したように、λ415画像には、粘膜下表層から中層における吸光変化が表れる。この中には、λ460画像等の波長帯域が近い画像に表れる吸光変化と共通する吸光変化が含まれる。また、後述する処理で作成するベース画像には、λ460画像が含まれているため、λ415画像から網羅的に抽出した吸光変化をベース画像に合成した場合、ベース画像に表れている血管の色に変化が生じる場合がある。このため、本実施の形態３では、λ460画像に対する相対強度を用いることによって、λ460画像と共通する吸光変化を除外し、λ415画像にのみ強く表れる吸光変化を抽出する。
　図１３は、図１２のステップＳ３１の吸光情報を抽出する抽出処理を示すフローチャートである。
　図１３に示すように、まず、強度補正部３１１ａは、λ415画像及びλ460画像（以下、単に「両画像」という）から画像中の平均強度を算出する（ステップＳ３１１）。
　続いて、強度補正部３１１ａは、平均強度に基づいて、両画像の強度（強度レベル）が同等となるように補正する（ステップＳ３１２）。
　その後、周波数成分算出部３１１は、強度補正部３１１ａによって補正された両画像それぞれから周波数成分を算出する（ステップＳ３１３）。この後、上述した実施の形態２のように、λ415画像における周波数成分からλ460画像における周波数成分を減算した場合、λ415画像に表れず、λ460画像のみに表れる吸光変化が差分画像において正の振幅として表れる。この算出された差分画像は、吸光情報としてベース画像に合成されるため、ベース画像に正の振幅がある場合、ベース画像における吸光変化を打ち消し、血管のコントラストを下げる等の恐れがある。そこで、本実施の形態１では、λ415画像における周波数成分とλ460画像における周波数成分が共に負である、つまり、λ415画像及びλ460画像に共通して吸光変化が表れる領域のみで減算する。即ち、判定部３１２ａは、両画像における周波数成分が共に負であるか否かを判定する（ステップＳ３１４）。判定部３１２ａが両画像における周波数成分が共に負であると判定した場合（ステップＳ３１４：Ｙｅｓ）、画像処理装置１は、後述するステップＳ３１５へ移行する。これに対して、判定部３１２ａが両画像における周波数成分の少なくとも一方が正であると判定した場合（ステップＳ３１４：Ｎｏ）、画像処理装置１は、後述するステップＳ３１６へ移行する。
　ステップＳ３１５において、差分算出部３１２ｂは、両画像の周波数成分の差分を算出する。ステップＳ３１５の後、画像処理装置１は、図１２のメインルーチンへ戻る。
　ステップＳ３１６において、相対周波数成分算出部３１２は、λ415画像における周波数成分を吸光情報とする。ステップＳ３１６の後、画像処理装置１は、図１２のメインルーチンへ戻る。
　以上説明した本実施の形態３によれば、ヘモグロビンの吸光が十分ある画像同士の相関を利用することによって、特定の狭帯域画像のみで強く表れる吸光変化を抽出することができる。
　なお、本実施の形態３では、吸光情報抽出部３１０がλ460画像に対する相対強度を用いて吸光情報を抽出していたが、白色のＢ（青色）からＧ（緑色）の帯域に相当する画像は、類似した吸光特性を示すため、λ540画像等をＢからＧの帯域に相当する他の画像を用いてもよい。
（実施の形態３の変形例１）
　次に、本発明の実施の形態３の変形例１について説明する。図１４は、本変形例１に係る演算部の周波数成分抽出部の構成を示すブロック図である。本変形例１に係る画像処理装置は、図１１に示す相対周波数成分算出部３１２に換えて、図１４に示す相対周波数成分算出部３１３を備える。
　相対周波数成分算出部３１３は、複数の狭帯域画像間における上記特定の周波数成分の相対的な強度を算出する。相対周波数成分算出部３１３は、第１及び第２の画像を撮影した光の波長帯域に基づいて、第１及び第２の画像に対して重みを設定する波長重み設定部３１３ａと、第１及び第２の画像における上記特定の周波数成分の正負の符号が共に前記吸光変化を表す値の符号と同一であるか否かを判定する判定部３１３ｂと、波長重み設定部３１３ａが設定した重みに基づいて、第１及び第２の画像における周波数成分の差分を算出する差分算出部３１３ｃと、を有する。本変形例１に係る画像処理装置は、図１１に示す相対周波数成分算出部３１２以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態３と同様である。
　図１５は、本変形例１に係る吸光情報を抽出する抽出処理を示すフローチャートである。
　図１５に示すように、まず、波長重み設定部３１３ａは、両画像に対して重みを設定する（ステップＳ４１１）。具体的には、λ460の光は、λ415の光よりヘモグロビンにおける吸収量が小さいため、λ460画像とλ415画像に共通する吸光変化があった場合、λ460画像に表れる変化量がλ415画像より小さくなり易い。このため、波長重み設定部３１３ａは、両画像に対して、λ460画像の重みがλ415画像の重みより大きくなるように重みを設定する。設定方法は、例えば、波長重み設定部３１３ａが、記憶部５０に記録された波長毎の重み係数を示すテーブルを参照して重みを設定する。ステップＳ４１２～ステップＳ４１４は、上述した図１３のステップＳ３１１～ステップＳ３１３それぞれに対応するため、説明を省略する。
　ステップＳ４１５において、判定部３１３ｂは、両画像における周波数成分が共に負であるか否かを判定する。判定部３１３ｂが両画像における周波数成分が共に負であると判定した場合（ステップＳ４１５：Ｙｅｓ）、画像処理装置１は、後述するステップＳ４１６へ移行する。これに対して、判定部３１３ｂが両画像における周波数成分の少なくとも一方が正であると判定した場合（ステップＳ４１５：Ｎｏ）、画像処理装置１は、後述するステップＳ４１７へ移行する。
　ステップＳ４１６において、差分算出部３１３ｃは、両画像の周波数成分に重みを乗算した後に差分を算出する。ステップＳ４１６の後、画像処理装置１は、図１２のメインルーチンへ戻る。
　ステップＳ４１７において、差分算出部３１３ｃは、λ415画像における周波数成分を吸光情報とする。ステップＳ４１７の後、画像処理装置１は、図１２のメインルーチンへ戻る。
　以上説明した本実施の形態３の変形例１によれば、波長帯域に応じた重みを設定することによって、特定の狭帯域画像のみで強く表れる吸光変化をより精度良く抽出することができる。
　なお、本実施の形態３の変形例１では、波長重み設定部３１３ａが記憶部５０に記録された波長毎の重み係数を示すテーブルを参照して重みを設定していたが、例えばλ460画像とλ415画像それぞれの特定の周波数成分の平均値に基づく重みを設定したり、λ460画像とλ415画像それぞれの特定の周波数成分の平均値からの差に基づく重みを設定したりしてもよい。もちろん、波長重み設定部３１３ａは、指数的に増加する係数やリニアに増加する係数を用いて重み付けを行ってもよい。
（実施の形態３の変形例２）
　次に、本発明の実施の形態３の変形例２について説明する。図１６は、本変形例２に係る演算部の周波数成分抽出部の構成を示すブロック図である。本変形例２に係る画像処理装置は、図１１に示す相対周波数成分算出部３１２に換えて、図１６に示す相対周波数成分算出部３１４を備える。
　相対周波数成分算出部３１４は、複数の狭帯域画像間における上記特定の周波数成分の相対的な強度を算出する。相対周波数成分算出部３１４は、複数の周波数帯域毎に重みを設定する周波数重み設定部３１４ａと、周波数重み設定部３１４ａが設定した上記重みに基づいて、第１及び第２の画像における複数の周波数帯域における周波数成分を加算する重み加算部３１４ｂと、第１及び第２の画像における上記周波数成分の加算結果における正負の符号が共に前記吸光変化を表す値の符号と同一であるか否かを判定する判定部３１４ｃと、第１及び第２の画像における上記周波数成分の加算結果の差分を算出する差分算出部３１４ｄと、を有する。本変形例２に係る画像処理装置は、図１１に示す相対周波数成分算出部３１２以外の演算部の各部の構成及び動作、並びに演算部以外の画像処理装置の各部の構成及び動作は、実施の形態３と同様である。
　図１７は、本変形例２に係る吸光情報を抽出する抽出処理を示すフローチャートである。図１７において、ステップＳ５１１及びステップＳ５１２は、上述した図１３のステップＳ３１１及びステップＳ３１２それぞれと同様の処理であるため、説明を省略する。
　ステップＳ５１３において、周波数成分算出部３１１は、補正後の両画像にから複数帯域の周波数成分を算出する。実施の形態１で述べたように、λ415画像には、粘膜下表層から中層における吸光変化が表れ、これらの内で微細血管による吸光変化が高周波成分に、領域的な吸光変化が中周波成分に表れる。ただし、微細血管による変化量は領域的な吸光変化による変化量に比べて小さくなり易い。そのため、単純に高周波から中周波に相当する帯域の周波数成分を抽出した場合、高周波成分が中周波成分に埋もれてしまい、微細血管による変化量を抽出できない可能性がある。そこで、本変形例２では、周波数重み設定部３１４ａは、周波数帯域に応じて重みを設定し、この設定した重みを利用して上述したステップＳ５１３において算出した各周波数成分を合成する（ステップＳ５１４）。この重みは、高周波側の周波数帯域であるほど大きくなるように設定する。例えば、周波数重み設定部３１４ａは、記憶部５０に記録された周波数毎の重み係数を示すテーブルを参照して重みを設定する。ステップＳ５１５～ステップＳ５１７は、上述した図１３のステップＳ３１４～ステップＳ３１６それぞれと同様の処理であるため、説明を省略する。
　以上説明した本実施の形態３の変形例２によれば、周波数帯域に応じた重みを設定することによって、特定の狭帯域画像のみで強く表れる吸光変化をより精度良く抽出することができる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。図１８は、本実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。なお、演算部以外の画像処理装置の各部の構成及び動作は、実施の形態１と同様である。
　図１８に示すように、本実施の形態４に係る画像処理装置が備える演算部４００は、吸光情報抽出部４１０及び表示画像作成部１２０を備える。このうち、表示画像作成部１２０の構成及び動作は、実施の形態１と同様である。
　吸光情報抽出部４１０は、各狭帯域画像における特定の周波数成分を抽出する周波数成分抽出部４１１と、複数の狭帯域画像間における上記特定の周波数成分の相対的な強度を算出する相対周波数成分算出部４１２と、上記相対周波数成分を基に特定の狭帯域画像における周波数成分の強度を補正する周波数成分補正部４１３と、を備える。
　周波数成分抽出部４１１は、第１の画像の強度レベルと前記第２の画像の強度レベルとが同等になるよう補正を行う強度補正部４１１ａを有する。
　相対周波数成分算出部４１２は、第１及び第２の画像における上記特定の周波数成分の比率を算出する比率算出部４１２ａを有する。
　周波数成分補正部４１３は、第１及び第２の画像における上記特定の周波数成分の正負の符号が共に吸光変化を表す値の符号と同一であるか否かを判定する判定部４１３ａを有する。
　次に、本実施の形態４に係る画像処理装置の動作を説明する。図１９は、本実施の形態４に係る画像処理装置の動作を示すフローチャートである。本実施の形態４に係る画像処理装置の動作は、全体として上述した実施の形態１の図２と同様であり、このうち、ステップＳ６０及びステップＳ６２は、上述した実施の形態１の図２のステップＳ１０及びステップＳ１２と同様の処理のため、説明を省略する。また、以下においては、実施の形態１と同様に、λ415画像から吸光情報を抽出する場合について説明する。
　図２０は、図１９のステップＳ６１の吸光情報を抽出する抽出処理を示すフローチャートである。
　図２０に示すように、まず、強度補正部４１１ａは、λ415画像及びλ460画像（以下、単に「両画像」という）から画像中の平均強度を算出する（ステップＳ６１１）。
　続いて、強度補正部４１１ａは、平均強度に基づいて、両画像の強度（強度レベル）が同等となるように補正する（ステップＳ６１２）。
　その後、周波数成分算出部４１１は、強度補正部４１１ａによって補正された両画像それぞれから周波数成分を算出する（ステップＳ６１３）。そして、比率算出部４１２ａが、λ460画像の周波数成分に対するλ415画像の周波数成分の比率を算出する（ステップＳ６１４）。比率を算出した後は、実施例３と同様に、判定部４１３ａは、両画像における周波数成分が共に負であるか否かを判定する（ステップＳ６１５）。判定部３１２ａが両画像における周波数成分が共に負であると判定した場合（ステップＳ６１５：Ｙｅｓ）、画像処理装置１は、後述するステップＳ６１６へ移行する。これに対して、判定部４１３ａが両画像における周波数成分の少なくとも一方が正であると判定した場合（ステップＳ６１５：Ｎｏ）、画像処理装置１は、後述するステップＳ６１７へ移行する。
　ステップＳ６１６において、周波数成分補正部４１３は、ステップＳ６１４で算出された比率を基に、比率が小さいほどλ415画像の周波数成分の絶対値が小さくなるよう補正する。補正方法は、例えば、記憶部５０に記録された係数テーブルを参照し、得られた係数とλ415画像の周波数成分を乗算することで行う。ステップＳ６１６の後、画像処理装置１は、図１９のメインルーチンへ戻る。
　ステップＳ６１７において、吸光情報抽出部４１０は、λ415画像における周波数成分を吸光情報とする。ステップＳ６１７の後、画像処理装置１は、図１９のメインルーチンへ戻る。
　以上説明した本実施の形態４によれば、ヘモグロビンの吸光が十分ある画像同士の相関を利用して特定の狭帯域画像における周波数成分を補正することにより、特定の狭帯域画像のみで強く表れる吸光変化を抽出することができる。
（実施の形態４の変形例１）
　次に、本発明の実施の形態４の変形例１について説明する。図２１は、本変形例１における吸光情報を抽出する抽出処理を示すフローチャートである。また、以下においては、λ600画像から吸光情報を抽出する場合について説明する。
　図２１に示すように、まず、強度補正部４１１ａは、λ540画像、λ600画像、λ630画像から画像中の平均強度を算出する（ステップＳ７１１）。
　続いて、強度補正部４１１ａは、平均強度に基づいて、λ540画像、λ600画像、λ630画像の強度（強度レベル）が同等となるように補正する（ステップＳ７１２）。
　その後、周波数成分算出部４１１は、強度補正部４１１ａによって補正されたλ540画像、λ600画像、λ630画像から周波数成分を算出する（ステップＳ７１３）。そして、比率算出部４１２ａが、λ630画像の周波数成分に対するλ600画像の周波数成分の比率を算出する（ステップS７１４）。比率を算出した後は、判定部４１３ａは、λ630画像とλ600画像における周波数成分が共に負であるか否かを判定する（ステップＳ７１５）。判定部３１２ａがλ630画像とλ600画像における周波数成分が共に負であると判定した場合（ステップＳ７１５：Ｙｅｓ）、画像処理装置１は、後述するステップＳ７１６へ移行する。これに対して、判定部４１３ａがλ630画像とλ600画像における周波数成分の少なくとも一方が正であると判定した場合（ステップＳ７１５：Ｎｏ）、画像処理装置１は、後述するステップＳ７１７へ移行する。
　ステップＳ７１６において、周波数成分補正部４１３は、ステップＳ７１４で算出された比率を基に、比率が小さいほどλ600画像の周波数成分の絶対値が小さくなるよう補正し、補正結果を仮吸光情報する。補正方法は、例えば、記憶部５０に記録された係数テーブルを参照し、得られた係数とλ600画像の周波数成分を乗算することで行う。
　ステップＳ７１７において、吸光情報抽出部４１０は、λ600画像における周波数成分を仮吸光情報とする。
　続いて、比率算出部４１２ａが、λ540画像の周波数成分に対するλ600画像の周波数成分の比率を算出する（ステップＳ７１８）。比率を算出した後、判定部４１３ａは、λ540画像とλ600画像における周波数成分が共に負であるか否かを判定する（ステップＳ７１９）。判定部３１２ａがλ540画像とλ600画像における周波数成分が共に負であると判定した場合（ステップＳ７１５：Ｙｅｓ）、画像処理装置１は、後述するステップＳ７２０へ移行する。これに対して、判定部４１３ａがλ540画像とλ600画像における周波数成分の少なくとも一方が正であると判定した場合（ステップＳ７１５：Ｎｏ）、画像処理装置１は、後述するステップＳ７２１へ移行する。
　ステップＳ７２０において、周波数成分補正部４１３は、ステップＳ７１８で算出された比率を基に、比率が小さいほど仮吸光情報の絶対値が小さくなるよう補正し、補正結果を吸光情報する。補正方法は、例えば、記憶部５０に記録された係数テーブルを参照し、得られた係数と仮吸光情報を乗算することで行う。ステップＳ７２０の後、画像処理装置１は、図１９のメインルーチンへ戻る。
　ステップＳ７２１において、吸光情報抽出部４１０は、仮吸光情報を吸光情報とする。ステップＳ７２１の後、画像処理装置１は、図１９のメインルーチンへ戻る。
　以上説明した本実施の形態４の変形例１によれば、画像同士の相関を複数利用して特定の狭帯域画像における周波数成分を補正することにより、より精度良く特定の狭帯域画像のみで強く表れる吸光変化を抽出することができる。
　以上説明した実施の形態１～４、実施の形態１の変形例１～３及び実施の形態３の変形例１～２、実施の形態４の変形例１は、記憶装置に記憶された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１～４、実施の形態１の変形例１～３及び実施の形態３の変形例１～２、実施の形態４の変形例１に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記憶媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
　本発明は、実施の形態１～４、実施の形態１の変形例１～３及び実施の形態３の変形例１～２、実施の形態４の変形例１に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
　１　画像処理装置
　１０　制御部
　２０　画像取得部
　３０　入力部
　４０　表示部
　５０　記憶部
　５１　プログラム記憶部
　１００、２００、３００、４００　演算部
　１１０、２１０、３１０、４１０　吸光情報抽出部
　１１１、２１１、２１２、４１１　周波数成分抽出部
　１１２、３１２、３１３、３１４、４１２　相対周波数成分算出部
　４１３　周波数成分補正部
　１１２ａ、３１１ａ、４１１ａ　強度補正部
　１１２ｂ　減算部
　１１３、１２３　合成部
　１１３ａ、１２３ａ　加算部
　１１３ｂ　抑制部
　１２１　白色画像作成部
　１２２　画像合成部
　１２３ｂ　選択部
　１２０　表示画像作成部
　３１２ａ、３１３ｂ、３１４ｃ、４１３ａ　判定部
　３１２ｂ、３１３ｃ、３１４ｄ　差分算出部
　３１３ａ　波長重み設定部
　３１４ａ　周波数重み設定部
　３１４ｂ　重み加算部
　４１２ａ　比率算出部

Claims (23)

  1. 　少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得部と、
    　前記複数の画像のうちの狭帯域画像である第１の画像における特定の周波数成分、及び、前記複数の画像のうちの前記第１の画像と異なる第２の画像と前記第１の画像との間の相関に基づいて、前記第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を前記第１の画像から抽出する吸光情報抽出部と、
    　前記複数の画像のうちの少なくともいずれかの画像に前記吸光情報を合成することにより表示画像を作成する表示画像作成部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記第２の画像は、前記第１の画像の撮像に用いられた狭帯域光よりも、前記吸光体に対する吸収が少ない光によって撮像された狭帯域画像である、ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記吸光情報抽出部は、
    　前記第１の画像における前記特定の周波数成分を抽出する周波数成分抽出部と、
    　前記第１の画像と前記第２の画像との相対強度を算出する相対強度算出部と、
    　前記周波数成分抽出部が抽出した前記特定の周波数成分の強度と、前記相対強度算出部が算出した前記相対強度とを合成する合成部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記相対強度算出部は、
    　前記第１の画像の強度レベルと前記第２の画像の強度レベルとを合わせる補正を行う強度補正部と、
    　強度レベルの補正後の前記第１の画像と前記第２の画像との間で画像の強度を減算することにより、前記相対強度を求める減算部と、
    を備えることを特徴とする請求項３に記載の画像処理装置。
  5. 　前記合成部は、同一の画素位置における前記特定の周波数成分の強度と前記相対強度とを加算する加算部を備えることを特徴とする請求項３に記載の画像処理装置。
  6. 　前記吸光情報は、前記吸光変化が生じている画素位置と、該画素位置における前記吸光変化の量を表す値とを含み、
    　前記合成部は、前記加算部による加算結果に対し、絶対値が大きいほど出力値を抑制する抑制部をさらに備えることを特徴とする請求項５に記載の画像処理装置。
  7. 　前記吸光情報は、前記吸光変化が生じている画素位置と、該画素位置における前記吸光変化の量を表す値とを含み、
    　前記合成部は、
    　同一の画素位置における前記特定の周波数成分の強度と前記相対強度とを加算する加算部と、
    　同一の画素位置における前記特定の周波数成分の強度と前記相対強度とのうちのいずれかの値を選択する選択部と、
    を備え、
    　前記特定の周波数成分の強度及び前記相対強度の正負の符号が共に前記吸光変化の量を表す値の符号と同一である場合に前記選択部による選択結果を出力し、前記特定の周波数成分の強度と前記相対強度との間で正負の符号が異なる場合又は前記特定の周波数成分の強度及び前記相対強度の正負の符号が共に前記吸光変化の量を表す値の符号と異なる場合に前記加算部による加算結果を出力し、
    ことを特徴とする請求項３に記載の画像処理装置。
  8. 　前記選択部は、前記特定の周波数成分の強度と前記相対強度とのうち絶対値が大きい方を選択する、ことを特徴とする請求項７に記載の画像処理装置。
  9. 　前記吸光情報抽出部は、
    　前記第１及び第２の画像における前記特定の周波数成分を抽出する周波数成分抽出部と、
    　前記第２の画像における前記特定の周波数成分の強度に対する前記第１の画像における前記特定の周波数成分の強度の相対値を算出する相対周波数成分算出部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  10. 　前記複数の画像は、ＲＧＢそれぞれの波長帯域に相当する複数の狭帯域画像を含み、
    　前記表示画像作成部は、前記複数の狭帯域画像に基づいて白色画像を作成し、該白色画像に対して前記吸光情報を合成する、ことを特徴とする請求項１に記載の画像処理装置。
  11. 　前記複数の画像は白色画像を含み、
    　前記表示画像作成部は、前記白色画像に対して吸光情報を合成する、
    ことを特徴とする請求項１に記載の画像処理装置。
  12. 　前記複数の画像は、生体の管腔内を撮像することにより取得された画像である、ことを特徴とする請求項１に記載の画像処理装置。
  13. 　前記相対周波数成分算出部は、前記第１及び第２の画像における前記特定の周波数成分の差分を算出する差分算出部を備えることを特徴とする請求項９に記載の画像処理装置。
  14. 　前記相対周波数成分算出部は、前記第１及び第２の画像における前記特定の周波数成分の正負の符号が共に前記吸光変化を表す値の符号と同一であるか否かを判定する判定部を備え、
    　前記差分算出部は、前記判定部によって共に同一であると判定された領域のみ前記差分を算出することを特徴とする請求項１３に記載の画像処理装置。
  15. 　前記相対周波数成分算出部は、
    　前記第１及び第２の画像を撮影した光の波長帯域に基づいて前記第１及び第２の画像に対して重みを設定する波長重み設定部と、
    　を備え、
    　前記差分算出部は、前記波長重み設定部が設定した前記重みに基づいて、前記第１及び第２の画像における周波数成分の差分を算出することを特徴とする請求項１３に記載の画像処理装置。
  16. 　前記周波数成分算出部は、
    　前記特定の周波数成分を複数の周波数帯域に分割して算出し、
    　前記差分算出部は、
    　前記複数の周波数帯域毎に重みを設定する周波数重み設定部と、
    　前記周波数重み設定部が設定した前記重みに基づいて、前記第１及び第２の画像における前記複数の周波数帯域における周波数成分を加算する重み加算部と、
    　を備え、
    　前記差分算出部は、前記重み加算部が加算した前記第１及び第２の画像における周波数成分の差分を算出することを特徴とする請求項１３に記載の画像処理装置。
  17. 　前記吸光情報抽出部は、
    　前記相対周波数成分に基づいて前記第１の画像における周波数成分の強度を補正する周波数成分補正部を更に備えることを特徴とする請求項９に記載の画像処理装置。
  18. 　前記相対周波数成分算出部は、前記第１及び第２の画像における前記特定の周波数成分の比率を算出する比率算出部を備えることを特徴とする請求項１７に記載の画像処理装置。
  19. 　前記相対周波数成分算出部は、前記第１と第２の画像に加えて更に１以上の画像を用いて、前記第１の画像と前記第１の画像以外の画像における周波数成分を基に複数の相対周波数成分を算出することを特徴とする請求項１７に記載の画像処理装置。
  20. 　前記周波数成分補正部は、前記第１の画像と前記第１の画像以外の画像における周波数成分の正負の符号が共に前記吸光変化を表す値の符号と同一であるか否かを判定する判定部を備え、前記判定部によって共に同一であると判定された領域のみ前記補正を行うことを特徴とする請求項１９に記載の画像処理装置。
  21. 　前記周波数成分抽出部は、前記第１の画像の強度レベルと前記第２の画像の強度レベルとを合わせる補正を行う強度補正部を備えることを特徴とする請求項９に記載の画像処理装置。
  22. 　少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得ステップと、
    　前記複数の画像のうちの狭帯域画像である第１の画像における特定の周波数成分、及び、前記複数の画像のうちの前記第１の画像と異なる第２の画像と前記第１の画像との間の相関に基づいて、前記第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を前記第１の画像から抽出する吸光情報抽出ステップと、
    　前記複数の画像のうちの少なくともいずれかの画像に前記吸光情報を合成することにより表示画像を作成する表示画像作成ステップと、
    を含むことを特徴とする画像処理方法。
  23. 　少なくとも１つの狭帯域画像を含み、波長成分の分布が互いに異なる複数の画像を取得する画像取得ステップと、
    　前記複数の画像のうちの狭帯域画像である第１の画像における特定の周波数成分、及び、前記複数の画像のうちの前記第１の画像と異なる第２の画像と前記第１の画像との間の相関に基づいて、前記第１の画像の撮像に用いられた狭帯域光を吸光体が吸収することによって生じた吸光変化を表す画像情報である吸光情報を前記第１の画像から抽出する吸光情報抽出ステップと、
    　前記複数の画像のうちの少なくともいずれかの画像に前記吸光情報を合成することにより表示画像を作成する表示画像作成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2016/052330 2015-05-21 2016-01-27 画像処理装置、画像処理方法、及び画像処理プログラム WO2016185733A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017518774A JP6707533B2 (ja) 2015-05-21 2016-01-27 画像処理装置、画像処理方法、及び画像処理プログラム
US15/813,626 US10356378B2 (en) 2015-05-21 2017-11-15 Image processing device, image processing method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2015/064651 2015-05-21
JP2015064651 2015-05-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/813,626 Continuation US10356378B2 (en) 2015-05-21 2017-11-15 Image processing device, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2016185733A1 true WO2016185733A1 (ja) 2016-11-24

Family

ID=57319757

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052330 WO2016185733A1 (ja) 2015-05-21 2016-01-27 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US10356378B2 (ja)
JP (1) JP6707533B2 (ja)
WO (1) WO2016185733A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019083020A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
EP3626156A4 (en) * 2017-05-15 2020-09-09 Sony Corporation ENDOSCOPE

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113543689A (zh) * 2019-03-19 2021-10-22 奥林巴斯株式会社 内窥镜装置、内窥镜装置的工作方法以及程序
CN114051723A (zh) * 2019-07-09 2022-02-15 富士胶片富山化学株式会社 图像生成装置、药剂识别装置、药剂显示装置、图像生成方法以及程序

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198794A (ja) * 2004-01-15 2005-07-28 Pentax Corp 内視鏡装置
JP2008036035A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 内視鏡装置
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2012080939A (ja) * 2010-10-07 2012-04-26 Hoya Corp 診断システム
WO2012081297A1 (ja) * 2010-12-17 2012-06-21 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡を用いた被写体画像を表示する方法
JP2012125461A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
JP2012125462A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
JP2012239816A (ja) * 2011-05-24 2012-12-10 Fujifilm Corp 内視鏡システム及び内視鏡診断支援方法
JP2014161627A (ja) * 2013-02-27 2014-09-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014212925A (ja) * 2013-04-25 2014-11-17 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015066127A (ja) * 2013-09-27 2015-04-13 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198794A (ja) * 2004-01-15 2005-07-28 Pentax Corp 内視鏡装置
JP2008036035A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 内視鏡装置
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2012080939A (ja) * 2010-10-07 2012-04-26 Hoya Corp 診断システム
JP2012125461A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
JP2012125462A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
WO2012081297A1 (ja) * 2010-12-17 2012-06-21 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡を用いた被写体画像を表示する方法
JP2012239816A (ja) * 2011-05-24 2012-12-10 Fujifilm Corp 内視鏡システム及び内視鏡診断支援方法
JP2014161627A (ja) * 2013-02-27 2014-09-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014212925A (ja) * 2013-04-25 2014-11-17 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015066127A (ja) * 2013-09-27 2015-04-13 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3626156A4 (en) * 2017-05-15 2020-09-09 Sony Corporation ENDOSCOPE
US11399699B2 (en) 2017-05-15 2022-08-02 Sony Corporation Endoscope including green light sensor with larger pixel number than pixel number of red and blue light sensors
WO2019083020A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
JPWO2019083020A1 (ja) * 2017-10-26 2020-10-22 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置

Also Published As

Publication number Publication date
US10356378B2 (en) 2019-07-16
JPWO2016185733A1 (ja) 2018-03-08
JP6707533B2 (ja) 2020-06-10
US20180077399A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6128888B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
WO2016185733A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5591570B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6020950B1 (ja) 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
CN111345903A (zh) 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
JP2015085152A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US20170311774A1 (en) Image processing apparatus, image processing method, and image processing program
JP6458205B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017221353A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
US7822247B2 (en) Endoscope processor, computer program product, endoscope system, and endoscope image playback apparatus
WO2018198251A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2023533018A (ja) オブジェクトを描く画像フレームの自動露光を管理しながらオブジェクトを割り引くための装置、システムおよび方法
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2017153978A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP5528122B2 (ja) 内視鏡装置
JP6344608B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP7174064B2 (ja) 画像信号処理装置、画像信号処理方法、プログラム
JP2017209343A (ja) 制御装置
WO2018198254A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN115812311A (zh) 用于管理描绘颜色偏差内容的图像帧的自动曝光的装置、***和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796128

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518774

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796128

Country of ref document: EP

Kind code of ref document: A1