WO2018105089A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2018105089A1
WO2018105089A1 PCT/JP2016/086633 JP2016086633W WO2018105089A1 WO 2018105089 A1 WO2018105089 A1 WO 2018105089A1 JP 2016086633 W JP2016086633 W JP 2016086633W WO 2018105089 A1 WO2018105089 A1 WO 2018105089A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
unit
frequency component
image
specific frequency
Prior art date
Application number
PCT/JP2016/086633
Other languages
English (en)
French (fr)
Inventor
井岡　健
渉 鬼城
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018555405A priority Critical patent/JPWO2018105089A1/ja
Priority to PCT/JP2016/086633 priority patent/WO2018105089A1/ja
Publication of WO2018105089A1 publication Critical patent/WO2018105089A1/ja
Priority to US16/391,159 priority patent/US10863149B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program for performing image processing on image data generated by an endoscope that captures an in-vivo image of a subject.
  • an endoscope for performing such a narrow-band light observation method by combining information of a special light observation image captured with special light with a normal light observation image captured with white light, a single observation image of a living body can be obtained.
  • a technique for observing capillaries and fine mucosa patterns present on the mucous membrane surface layer is known (see Patent Document 1).
  • feature information such as capillaries and mucous membrane fine patterns is extracted from the special light observation image using a high-pass filter, a band-pass filter, or the like for the special light observation image.
  • a composite image synthesized with the observation image is generated.
  • Patent Document 1 the feature information extracted by the filter is combined with the normal light observation image. Therefore, the luminance information included in the feature information is added to the luminance information of the normal light observation image. There is a problem that the color of the composite image changes from the original normal light observation image.
  • the present invention has been made in view of the above, and even when the feature information of the special light observation image is combined with the normal light observation image, the color of the composite image can be prevented from changing.
  • An object is to provide an image processing apparatus, an image processing method, and a program.
  • an image processing apparatus includes a first pixel that receives light in a red wavelength band, and a second pixel that receives light in a green wavelength band.
  • An acquisition unit that acquires image data generated by the imaging device formed by the image sensor, and a demosaicing process that interpolates a pixel value for the image data acquired by the acquisition unit, and the red wavelength Corresponding to first interpolation image data corresponding to light in the band, second interpolation image data corresponding to light in the green wavelength band, third interpolation image data corresponding to light in the blue wavelength band, and narrowband light 4th interpolation picture
  • An image generation unit that generates data, and a color space conversion unit that performs a color space conversion process of converting each of the first interpolation
  • the image processing method includes a first pixel that receives light in the red wavelength band, a second pixel that receives light in the green wavelength band, and a third pixel that receives light in the blue wavelength band.
  • the image data acquired in the step is subjected to a demosaicing process for interpolating pixel values to obtain first interpolated image data corresponding to the light in the red wavelength band and first light corresponding to the light in the green wavelength band.
  • An image generation step of generating second interpolation image data, third interpolation image data corresponding to the light in the blue wavelength band, and fourth interpolation image data corresponding to the narrowband light, and the first interpolation image data A color space conversion step for performing a color space conversion process for converting each of the second interpolation image data and the third interpolation image data into a luminance component and a color difference component; and a first specific frequency component included in the fourth interpolation image data
  • a color image generation step of generating color image data based on the result and the color difference component A first extraction step for extracting the luminance component, a synthesis step for synthesizing the luminance component converted in the color space conversion step and the first specific frequency component extracted in the first extraction step, and a synthesis synthesized
  • the program according to the present invention receives, in the image processing apparatus, a first pixel that receives light in the red wavelength band, a second pixel that receives light in the green wavelength band, and light in the blue wavelength band.
  • An image sensor is formed by forming a predetermined array pattern using a third pixel that receives light and a fourth pixel that receives at least narrowband light in a wavelength band narrower than any of red, green, and blue.
  • An acquisition step of acquiring the image data, and a first interpolation image data corresponding to the light in the red wavelength band by performing a demosaicing process for interpolating a pixel value on the image data acquired in the acquisition step Generating second interpolation image data corresponding to the light of the green wavelength band, third interpolation image data corresponding to the light of the blue wavelength band, and fourth interpolation image data corresponding to the narrowband light.
  • An image generation step a color space conversion step for performing color space conversion processing for converting each of the first interpolation image data, the second interpolation image data, and the third interpolation image data into a luminance component and a color difference component;
  • a first extraction step for extracting a first specific frequency component included in the interpolated image data, and the luminance component converted in the color space conversion step and the first specific frequency component extracted in the first extraction step are synthesized.
  • a color image generating step of generating color image data based on the combining step, the combining result combined in the combining step, and the color difference component.
  • the present invention even when the characteristic information of the special light observation image is combined with the normal light observation image, it is possible to prevent the color of the composite image from being changed.
  • FIG. 1 is a diagram schematically showing an overall configuration of an endoscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing functions of main parts of the endoscope system according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram schematically showing the configuration of the color filter according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing the relationship between the transmittance and wavelength of each broadband filter constituting the color filter according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing the relationship between the transmittance and wavelength of the narrowband filter NB constituting the color filter according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram schematically showing the characteristics of the filter constituting the extraction unit according to Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart showing an outline of processing executed by the processor according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram schematically showing a configuration of the extraction unit according to the modification of the first embodiment of the present invention.
  • FIG. 9 is a diagram schematically showing the characteristics of the filter constituting the extraction unit according to the modification of the first embodiment of the present invention.
  • FIG. 10 is a block diagram illustrating functions of main parts of the endoscope system according to Embodiment 2 of the present invention.
  • FIG. 11 is a flowchart showing an outline of processing executed by the processor according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram illustrating functions of main parts of the endoscope system according to the third embodiment of the present invention.
  • FIG. 13 is a flowchart showing an outline of processing executed by the processor according to Embodiment 3 of the present invention.
  • FIG. 14 is a block diagram showing functions of main parts of the endoscope system according to Embodiment 4 of the present invention.
  • FIG. 15 is a diagram schematically showing a configuration of a color filter according to Embodiment 4 of the present invention.
  • FIG. 16 is a diagram showing the relationship between the transmittance and wavelength of the narrowband filter NB and the narrowband filter NG constituting the color filter according to Embodiment 4 of the present invention.
  • FIG. 17 is a flowchart showing an outline of processing executed by the processor according to Embodiment 4 of the present invention.
  • FIG. 1 is a diagram schematically showing an overall configuration of an endoscope system according to Embodiment 1 of the present invention.
  • An endoscope system 1 shown in FIG. 1 includes an endoscope 2 that images the inside of a subject by being inserted into a body cavity of the subject, and a light source device that generates illumination light emitted from the distal end of the endoscope 2. 3, a display device 4 that displays an image corresponding to the image data that is captured and generated by the endoscope 2, and a display device 4 that performs predetermined image processing on the image data that is captured and generated by the endoscope 2. And a processor 5 that comprehensively controls the operation of the entire endoscope system 1.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that extends in a direction different from the direction in which 21 extends and incorporates various cables connected to the processor 5 and the light source device 3.
  • the insertion portion 21 is connected to a distal end portion 24 incorporating an imaging device (imaging portion) to be described later, a bendable bending portion 25 constituted by a plurality of bending pieces, and a proximal end side of the bending portion 25, and is flexible. And a long flexible tube portion 26 having the property.
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical direction and the left-right direction, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, a laser knife, and an inspection probe into the body cavity, and the light source device 3.
  • a treatment tool such as a biological forceps, a laser knife, and an inspection probe into the body cavity
  • the light source device 3 In addition to the processor 5, it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and gas supply means.
  • the treatment instrument inserted from the treatment instrument insertion portion 222 is exposed from an opening (not shown) via the distal end portion 24.
  • the universal cord 23 incorporates at least a light guide and an assembly cable.
  • the universal cord 23 has a connector portion 27 that can be attached to and detached from the light source device 3.
  • the connector part 27 has a coiled coil cable 27a extending, and has an electrical connector part 28 that is detachable from the processor 5 at the extended end of the coil cable 27a.
  • the connector unit 27 is configured using an FPGA (Field Programmable Gate Array) inside.
  • the light source device 3 is configured using, for example, a halogen lamp or a white LED (Light Emitting Diode).
  • the light source device 3 irradiates illumination light from the distal end side of the insertion portion of the endoscope 2 toward the subject under the control of the processor 5.
  • the display device 4 displays, under the control of the processor 5, an image corresponding to the image signal that has been subjected to image processing by the processor 5 and various types of information related to the endoscope system 1.
  • the display device 4 is configured using a display panel such as liquid crystal or organic EL (Electro Luminescence).
  • the processor 5 performs predetermined image processing on the RAW image data input from the endoscope 2 and outputs it to the display device 4.
  • the processor 5 is configured using a CPU (Central Processing Unit) or the like.
  • FIG. 2 is a block diagram illustrating functions of a main part of the endoscope system 1. Details of each part of the endoscope system 1 and a path of an electric signal in the endoscope system 1 will be described with reference to FIG.
  • the endoscope 2 includes an optical system 201 and an imaging unit 202.
  • the optical system 201 receives reflected light of the illumination light emitted from the light source device 3 on the imaging surface of the imaging unit 202 and forms a subject image.
  • the optical system 201 is configured using one or a plurality of lenses, a prism, and the like.
  • the imaging unit 202 receives the subject image formed on the light receiving surface by the optical system 201 and performs photoelectric conversion to generate subject image data (RAW image data).
  • the generated image data is output to the processor 5.
  • the imaging unit 202 images the subject at a reference frame rate, for example, a frame rate of 60 fps, and generates image data of the subject.
  • the imaging unit 202 includes an imaging element 211 and a color filter 212.
  • the image sensor 211 is an image sensor such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) that photoelectrically converts light received by a plurality of pixels arranged in a two-dimensional grid, and generates an electrical signal. Constructed using.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the color filter 212 includes a broadband filter R that transmits light in the red wavelength band, a broadband filter G that transmits light in the green wavelength band, a broadband filter B that transmits light in the blue wavelength band, and a blue wavelength. And a narrow band filter NB that transmits light in a wavelength band narrower than the blue wavelength band.
  • the filter unit is arranged in correspondence with the pixels of the image sensor 211. It becomes.
  • FIG. 3 is a diagram schematically showing the configuration of the color filter 212.
  • the color filter 212 includes two broadband filters R that transmit red components, eight broadband filters G that transmit green components, two broadband filters B that transmit blue components, and narrow bands.
  • the filter unit is formed using a predetermined array pattern in which four narrowband filters NB that transmit a certain amount of light are used as one set.
  • the color filter 212 is arranged at a position corresponding to one of the plurality of pixels of the image sensor 211 in which the individual filters forming the above-described arrangement pattern are arranged in a secondary grid pattern.
  • the narrow-band light in the first embodiment is blue narrow-band light (390 to 445 nm) for observation of capillaries on the mucosal surface layer.
  • Image data generated by the image sensor 211 using the color filter 212 configured as described above is converted into a color image by performing predetermined image processing by the processor 5 described later.
  • FIG. 4 is a diagram showing the relationship between the transmittance and the wavelength of each broadband filter constituting the color filter 212.
  • FIG. 5 is a diagram showing the relationship between the transmittance and wavelength of the narrowband filter NB constituting the color filter 212. 4 and 5, the horizontal axis indicates the wavelength (nm), and the vertical axis indicates the transmittance.
  • curve L B represents the relationship between the transmittance and the wavelength of the broadband filter B
  • the curve L G represents the relationship between the transmittance and the wavelength of the broad band filter G
  • the curve L R is the wideband filter R
  • the relationship between transmittance and wavelength is shown.
  • a curve LNB indicates the relationship between the transmittance of the narrowband filter NB and the wavelength. Further, a case where the peak wavelength of the narrowband filter NB is in the range of 390 nm to 445 nm in FIG. 5 will be described.
  • the spectral characteristic of the narrow band filter NB is narrower than that of the wide band filter B and is included in the wavelength band of the wide band filter B.
  • a pixel in which the broadband filter R is disposed is an R pixel (first pixel)
  • a pixel in which the broadband filter G is disposed is a G pixel (second pixel)
  • a broadband filter B is disposed.
  • the pixel is referred to as a B pixel (third pixel)
  • the pixel in which the narrowband filter NB is disposed is referred to as an NB pixel (fourth pixel).
  • the processor 5 includes an image processing unit 51, an input unit 52, a recording unit 53, and a control unit 54.
  • the image processing unit 51 is configured using a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), or the like.
  • the image processing unit 51 acquires image data from the endoscope 2, performs predetermined image processing on the acquired image data, and outputs the image data to the display device 4.
  • the image processing unit 51 includes an acquisition unit 511, an image generation unit 512, an extraction unit 513, a first color space conversion unit 514, a synthesis unit 515, a second color space conversion unit 516, and a color image generation unit 517. And having.
  • the image processing unit 51 functions as an image processing apparatus.
  • the acquisition unit 511 acquires image data generated by imaging by the endoscope 2 and outputs the acquired image data to the image generation unit 512.
  • the acquisition unit 511 includes pixel values (pixel value R, pixel value G, pixel value R, G pixel, B pixel, and NB pixel) that form an image corresponding to the image data generated by the endoscope 2.
  • Pixel value B and pixel value NB are acquired from the image sensor 211, and the acquired pixel value of each pixel is output to the image generation unit 512.
  • the image generation unit 512 Based on the pixel value of each pixel (each channel) input from the acquisition unit 511, the image generation unit 512 performs a well-known demosaicing process that complements the pixel value of a pixel with a missing pixel value, thereby performing red R image (first interpolation image data) corresponding to light of wavelength band, G image (second interpolation image data) corresponding to light of green wavelength band, B image (third image) corresponding to light of blue wavelength band Interpolated image data) and NB images (fourth interpolated image data) corresponding to narrowband light are generated.
  • the image generation unit 512 outputs the R image, the G image, and the B image to the first color space conversion unit 514 and outputs the NB image to the extraction unit 513.
  • the extraction unit 513 extracts a first specific frequency component from the NB image, which is a narrowband image input from the image generation unit 512, and outputs the extracted first specific frequency component to the synthesis unit 515. Specifically, the extraction unit 513 extracts a high frequency component higher than a predetermined threshold from the NB image. More specifically, as illustrated in FIG. 6, the extraction unit 513 uses, for example, a 3 ⁇ 3 high-pass filter F ⁇ b> 1 for the pixel value of each pixel constituting the NB pixel, and uses the high-frequency component NB_high of the NB image. Is extracted as a feature component of the NB image, and this high frequency component is output to the synthesizer 515.
  • the extraction unit 513 does not have to be a 3 ⁇ 3 high-pass filter, and can be changed as appropriate.
  • the extraction unit 513 may be a 4 ⁇ 4 or 5 ⁇ 5 high-pass filter.
  • the extraction unit 513 may be configured by combining a plurality of filters.
  • the first color space conversion unit 514 performs a known color space conversion process, for example, a YCrCb conversion process, on the R image, the G image, and the B image input from the image generation unit 512, thereby obtaining the luminance component Y and the color difference.
  • the component Cr and the color difference component Cb are respectively converted, the luminance component Y is output to the synthesis unit 515, and the color difference component Cr and the color difference component Cb are output to the second color space conversion unit 516.
  • the second color space conversion unit 516 performs a well-known color space conversion process on the luminance component Y ′ input from the combining unit 515, the color difference component Cr and the color difference component Cb input from the first color space conversion unit 514, For example, by performing RGB conversion processing, each of new observation image R ′, observation image G ′, and observation image B ′ in which the characteristic component of the narrowband image is added to the wideband image is generated.
  • the second color space conversion unit 516 outputs the observation image R ′, the observation image G ′, and the observation image B ′ to the color image generation unit 517.
  • the color image generation unit 517 generates color image data based on the observation image R ′, the observation image G ′, and the observation image B ′ input from the second color space conversion unit 516, and outputs them to the display device 4. Specifically, the color image generation unit 517 combines the pixel value of each pixel constituting the R ′ image, the pixel value of each pixel constituting the G ′ image, and the pixel value of each pixel constituting the B ′ image. Then, a color image is generated, and this color image is output to the display device 4.
  • the input unit 52 is configured using buttons, switches, and the like, and accepts input of instruction signals for instructing various processes executed by the endoscope system 1 and change signals for changing parameters.
  • the recording unit 53 is configured by using a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and the image data generated by the endoscope 2 and the program executed by the endoscope system 1 and information being processed. Record. Further, the recording unit 53 includes a program recording unit 53a that records a program executed by the endoscope system 1.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 54 is configured using a CPU or the like, and comprehensively controls each unit constituting the endoscope system 1.
  • the control unit 54 controls the emission timing of the illumination light of the light source device 3, the imaging timing of the imaging unit 202 of the endoscope 2, and the like.
  • FIG. 7 is a flowchart showing an outline of processing executed by the processor 5.
  • the acquisition unit 511 first acquires image data from the endoscope 2 (step S101).
  • the image generation unit 512 generates an image of each color by performing a demosaicing process based on the pixel value of each pixel input from the acquisition unit 511 (step S102).
  • the first color space conversion unit 514 performs color space conversion processing on the R image, G image, and B image input from the image generation unit 512 (step S103). Specifically, the first color space conversion unit 514 performs the YCrCb conversion process on the R image, the G image, and the B image input from the image generation unit 512, thereby performing the luminance component Y, the color difference component Cr, and Conversion into each of the color difference components Cb.
  • the extraction unit 513 extracts the first specific frequency component from the NB image that is a narrowband image input from the image generation unit 512 (step S104). Specifically, the extraction unit 513 uses the high-pass filter F1 shown in FIG. 6 described above for the pixel value of each pixel constituting the NB pixel, and uses the high-frequency component NB_high of the NB image as the feature component of the NB image. Extract.
  • the synthesis unit 515 synthesizes the first specific frequency component input from the extraction unit 513 with the luminance component Y input from the first color space conversion unit 514 (step S105). Specifically, the synthesizing unit 515 synthesizes the high frequency component NB_high, which is a characteristic component of the NB image input from the extraction unit 513, with the luminance component Y input from the first color space conversion unit 514.
  • the second color space conversion unit 516 converts the luminance component Y ′ input from the combining unit 515 and the color difference component Cr and color difference component Cb input from the first color space conversion unit 514 into RGB. Color space conversion processing is performed (step S106).
  • the color image generation unit 517 generates a color image based on the observation image R ′, the observation image G ′, and the observation image B ′ input from the second color space conversion unit 516 (step S107).
  • step S108: Yes when an instruction signal instructing the end of the examination by the endoscope system 1 is input (step S108: Yes), the processor 5 ends the present process. On the other hand, when the instruction signal instructing the end of the examination by the endoscope system 1 is not input (step S108: No), the processor 5 returns to step S101 described above.
  • the value obtained by multiplying the high frequency component NB_high of the NB image by the weighting coefficient ⁇ input by the input unit 52 is input from the first color space conversion unit 514 by the combining unit 515.
  • blue narrowband light (390 to 445 nm) has been described as an example, but green narrowband light (530 to 550 nm) is used to emphasize deep blood vessels in the deep part. Also good. *
  • Modification of Embodiment 1 Next, a modification of the first embodiment of the present invention will be described.
  • the modification of the first embodiment is different in configuration from the extraction unit 513 according to the first embodiment described above. Below, only the structure of the extraction part which concerns on the modification of this Embodiment 1 is demonstrated.
  • symbol is attached
  • FIG. 8 is a diagram schematically illustrating the configuration of the extraction unit according to the modification of the first embodiment.
  • the extraction unit 513a illustrated in FIG. 8 includes a low frequency component extraction unit 600 and a calculation unit 601.
  • the low frequency component extraction unit 600 extracts the low frequency component NB_low from the NB image that is a narrow band image.
  • the low-frequency component extraction unit 600 is configured using, for example, a 5 ⁇ 5 low-pass filter F2 shown in FIG.
  • the calculation unit 601 subtracts the low-frequency component NB_low extracted by the low-frequency component extraction unit 600 from the NB image that is a narrow-band image, so that the high-frequency component that is the first specific frequency component from the NB image that is the narrow-band image. NB_high is calculated.
  • the endoscope system according to the second embodiment is different in configuration from the endoscope system 1 according to the first embodiment described above. Specifically, the second embodiment is different in configuration from the processor 5 according to the first embodiment described above. Furthermore, the endoscope system according to the second embodiment is different from the process executed by the processor 5 according to the first embodiment described above. In the following, after describing the configuration of the endoscope system according to the second embodiment, the processing executed by the processor will be described. In addition, the same code
  • FIG. 10 is a block diagram illustrating functions of main parts of the endoscope system according to the second embodiment.
  • An endoscope system 1a shown in FIG. 10 includes a processor 5a instead of the processor 5 of the endoscope system 1 according to the first embodiment described above.
  • a processor 5a illustrated in FIG. 10 includes an image processing unit 51a instead of the image processing unit 51 according to the first embodiment described above.
  • the image processing unit 51a is configured using a GPU, FPGA, or the like, acquires image data from the endoscope 2, performs predetermined image processing on the acquired image data, and outputs the image data to the display device 4.
  • the image processing unit 51a includes an acquisition unit 511, an image generation unit 512, a first extraction unit 513b, a second extraction unit 513c, a first color space conversion unit 514, an addition unit 518, a subtraction unit 519, A synthesis unit 520a, a second color space conversion unit 516, and a color image generation unit 517 are included.
  • the image processing unit 51a functions as an image processing device.
  • the first extraction unit 513b extracts a first specific frequency component from the NB image that is a narrowband image input from the image generation unit 512, and outputs the extracted first specific frequency component to the addition unit 518. . Specifically, the first extraction unit 513b extracts a high frequency component higher than a predetermined first threshold value from the NB image. More specifically, the first extraction unit 513b uses, for example, the 3 ⁇ 3 high-pass filter F1 similar to that of the first embodiment described above for the pixel value of each pixel constituting the NB pixel, to generate an NB image. The high frequency component NB_high is extracted as a feature component of the NB image, and the high frequency component NB_high is output to the adder 518.
  • the second extraction unit 513c extracts a second specific frequency component from the luminance component Y of the broadband image input from the first color space conversion unit 514, and adds the extracted second specific frequency component to the addition unit 518 and The result is output to the subtraction unit 519.
  • the second extraction unit 513c extracts a high frequency component higher than a predetermined second threshold with respect to the luminance component Y of the broadband image. More specifically, the second extraction unit 513c uses, for example, the 3 ⁇ 3 high-pass filter F1 similar to that of the first embodiment described above for the luminance component Y, and thus the high-frequency component of the luminance component Y of the wideband image.
  • Y_high is extracted, and this high frequency component Y_high is output to the adder 518 and the subtractor 519.
  • the characteristics of the high-pass filter used by the first extraction unit 513b and the second extraction unit 513c may be the same or different from each other, but those having similar transmission characteristics are preferable.
  • the weighting coefficient ⁇ is a natural number from 0 to 1.
  • the subtracting unit 519 calculates the low frequency component Y_low based on the luminance component Y input from the first color space conversion unit 514 and the high frequency component Y_high of the luminance component Y of the broadband image input from the second extraction unit 513c.
  • the low frequency component Y_low is calculated and output to the synthesis unit 520a.
  • the subtraction unit 519 subtracts the high frequency component Y_high of the luminance component Y of the broadband image input from the second extraction unit 513c from the luminance component Y input from the first color space conversion unit 514 ( The low frequency component Y_low which is a residual component is calculated. More specifically, the subtraction unit 519 calculates the low frequency component Y_low by the following equation (2).
  • Y_low Y ⁇ Y_high (2)
  • the combining unit 520a calculates the luminance component Y ′ based on the luminance component Y′_high that is the addition component input from the addition unit 518 and the low-frequency component Y_low that is the difference component input from the subtraction unit 519.
  • the luminance component Y ′ is output to the second color space conversion unit 516.
  • FIG. 11 is a flowchart showing an outline of processing executed by the processor 5a.
  • step S201 corresponds to step S101 of FIG. 7 described above.
  • step S202 the first extraction unit 513b extracts a first specific frequency component from the NB image input from the image generation unit 512. Specifically, the first extraction unit 513b extracts the high frequency component NB_high of the NB image.
  • the second extraction unit 513c extracts a second specific frequency component from the luminance component Y of the broadband image input from the first color space conversion unit 514 (step S203). Specifically, the second extraction unit 513c extracts the high frequency component Y_high of the luminance component Y of the broadband image.
  • the adding unit 518 adds the high frequency component NB_high of the NB image input from the first extraction unit 513b and the luminance component of the wideband image input from the second extraction unit 513c according to the weighting coefficient ⁇ input by the input unit 52.
  • the luminance component Y′_high is calculated by adding the high frequency component Y_high of Y (step S204).
  • the subtraction unit 519 calculates a low frequency component Y_low based on the luminance component Y input from the first color space conversion unit 514 and the high frequency component Y_high of the wideband image input from the second extraction unit 513c. (Step S205).
  • the synthesis unit 520a calculates the luminance component Y ′ based on the luminance component Y′_high input from the addition unit 518 and the low frequency component Y_low input from the subtraction unit 519 (step S206).
  • Steps S207 to S209 correspond to steps S106 to S108 in FIG.
  • the addition unit 518 adds the high frequency component NB_high of the NB image input from the first extraction unit 513b and the second extraction unit 513c according to the weighting coefficient ⁇ input by the input unit 52.
  • the high-frequency component Y_high of the luminance component Y of the input broadband image is added to calculate the luminance component Y′_high of the addition component, but the input from the first extraction unit 513b without considering the weighting coefficient ⁇
  • the luminance component Y′_high of the addition component is calculated by simply adding the high frequency component NB_high of the NB image and the high frequency component Y_high of the luminance component Y of the broadband image input from the second extraction unit 513c. Good.
  • the endoscope system according to the third embodiment is different in configuration from the endoscope system 1a according to the second embodiment described above. Specifically, the third embodiment is different in configuration from the processor 5a according to the second embodiment described above. Furthermore, the endoscope system according to the third embodiment is different from the process executed by the processor 5a according to the second embodiment described above. Specifically, in Embodiment 2 described above, the value of the weighting coefficient ⁇ is input via the input unit 52. However, in Embodiment 3, the weighting coefficient ⁇ is automatically calculated. In the following, after describing the configuration of the endoscope system according to the third embodiment, processing executed by the processor will be described. In addition, the same code
  • FIG. 12 is a block diagram illustrating functions of main parts of the endoscope system according to the third embodiment.
  • An endoscope system 1b shown in FIG. 12 includes a processor 5b instead of the processor 5a of the endoscope system 1a according to the second embodiment described above.
  • a processor 5b illustrated in FIG. 12 includes an image processing unit 51b instead of the image processing unit 51a according to the second embodiment described above.
  • the image processing unit 51b is configured using a GPU, FPGA, or the like, acquires image data from the endoscope 2, performs predetermined image processing on the acquired image data, and outputs the image data to the display device 4.
  • the image processing unit 51b further includes a coefficient calculation unit 521 in addition to the configuration of the image processing unit 51a according to Embodiment 2 described above.
  • the coefficient calculation unit 521 has a high-frequency component NB_high (i, j) of each pixel in the narrowband image input from the first extraction unit 513b and a high-frequency component Y_high of each pixel in the wideband image input from the second extraction unit 513c. Based on (i, j), the adding unit 518 calculates a weighting coefficient ⁇ when adding the high frequency component NB_high of the narrowband image and the high frequency component Y_high of the wideband image.
  • FIG. 13 is a flowchart illustrating an outline of processing executed by the processor 5b.
  • steps S301 to S303 correspond to steps S201 to S203 of FIG. 11 described above, respectively.
  • the coefficient calculation unit 521 uses the high-frequency component NB_high (i, j) of each pixel in the narrowband image input from the first extraction unit 513b and each pixel in the wideband image input from the second extraction unit 513c.
  • the weighting coefficient ⁇ for each frame is calculated based on the high-frequency component Y_high (i, j). Specifically, when the sum of the high frequency components NB_high of each pixel in the narrowband image is Wa_NB_high and the sum Wa_Y_high of the high frequency components Y_high of each pixel in the wideband image, the coefficient calculation unit 521 has the following formulas (3) to (3) to ( The weighting coefficient ⁇ is calculated according to 5). (I, j) indicates the position of the pixel.
  • Step S305 to Step S310 correspond to Step S204 to Step S209 of FIG.
  • the coefficient calculation unit 521 receives the high frequency component NB_high (i, j) of each pixel in the narrowband image input from the first extraction unit 513b and the second extraction unit 513c.
  • the weighting coefficient ⁇ for each frame is calculated based on the high-frequency component Y_high (i, j) of each pixel in the wideband image to be performed, for example, the weighting coefficient ⁇ may be calculated for each pixel.
  • the weighting coefficient ⁇ (i, j) is calculated by the following equation (6).
  • the adder 518 adds the high frequency component NB_high (i, j) of the NB image input from the first extractor 513b according to the weighting coefficient ⁇ (i, j) calculated by the coefficient calculator 521 for each pixel, and the second The luminance component Y′_high (i, j) can be calculated by adding the high frequency component Y_high (i, j) of the luminance component Y of the broadband image input from the extraction unit 513c.
  • the endoscope system according to the fourth embodiment has a configuration different from that of the endoscope system 1a according to the second embodiment described above and a process to be executed. Specifically, in Embodiment 2 described above, the color filter transmits one type (one band) of narrowband light, but in Embodiment 4, there are at least two types of color filters (two bands). ) Of narrowband light.
  • processing executed by the processor will be described.
  • symbol is attached
  • FIG. 14 is a block diagram illustrating functions of main parts of the endoscope system according to the fourth embodiment.
  • An endoscope system 1c shown in FIG. 14 includes an endoscope 2c and a processor 5c instead of the endoscope 2 and the processor 5a of the endoscope system 1a according to the second embodiment described above.
  • the endoscope 2c includes an imaging unit 202c instead of the imaging unit 202 of the endoscope according to the second embodiment described above.
  • the imaging unit 202c includes a color filter 212c instead of the color filter 212 according to the second embodiment described above.
  • the color filter 212c includes a broadband filter R that transmits light in the red wavelength band, a broadband filter G that transmits light in the green wavelength band, a broadband filter B that transmits light in the blue wavelength band, and a blue wavelength.
  • a narrowband filter NB that transmits light in a wavelength band narrower than the blue wavelength band, and a narrowband filter that transmits light in a green wavelength band that is narrower than the green wavelength band NG, and the filter unit is arranged in correspondence with the pixels of the image sensor 211.
  • FIG. 15 is a diagram schematically showing the configuration of the color filter 212c.
  • the color filter 212c includes two broadband filters R that transmit red components, eight broadband filters G that transmit green components, two broadband filters B that transmit blue components, and narrow bands.
  • the color filter 212c is arranged at a position corresponding to one of the plurality of pixels of the image sensor 211 in which the individual filters forming the above-described arrangement pattern are arranged in a secondary grid pattern.
  • FIG. 16 is a diagram showing the relationship between the transmittance and the wavelength of the narrowband filter NB and the narrowband filter NG constituting the color filter 212c.
  • the horizontal axis indicates the wavelength (nm) and the vertical axis indicates the transmittance.
  • a curve L NB shows the relationship between the transmittance of the narrow band filter NB and the wavelength
  • a curve L NG shows the relationship between the transmittance of the narrow band filter NG and the wavelength.
  • the peak wavelength of the narrowband filter NB is in the range of 390 nm to 445 nm and the peak wavelength of the narrowband filter NG is in the range of 530 nm to 550 nm will be described.
  • the spectral characteristics of the narrowband filter NB are narrower than those of the wideband filter B and are included in the wavelength band of the wideband filter B.
  • the spectral characteristics of the narrow band filter NG are narrower than those of the wide band filter G and are included in the wavelength band of the wide band filter G.
  • a pixel in which the narrow band filter NG is arranged is referred to as an NG pixel.
  • a processor 5c illustrated in FIG. 14 includes an image processing unit 51c instead of the image processing unit 51a of the processor 5a according to the second embodiment.
  • the image processing unit 51c further includes a third extraction unit 513d in addition to the configuration of the image processing unit 51b.
  • the image generation unit 512c Based on the pixel value of each pixel (each channel) input from the acquisition unit 511, the image generation unit 512c performs a well-known demosaicing process that complements the pixel value of a pixel with a missing pixel value, thereby obtaining a red color.
  • R image first interpolation image data
  • G image second interpolation image data
  • B image third image corresponding to light of blue wavelength band Interpolation image data
  • an NB image corresponding to narrowband light fourth interpolation image data
  • an NG image corresponding to narrowband light fifth interpolation image data
  • the third extraction unit 513d extracts a specific frequency component from the NG image input from the image generation unit 512c, and outputs the extracted specific frequency component to the addition unit 518c. Specifically, the third extraction unit 513d extracts a high frequency component higher than a predetermined threshold from the NG image. More specifically, the third extraction unit 513d uses, for example, a 3 ⁇ 3 high-pass filter for the pixel value of each pixel constituting the NG image, and converts the high frequency component NG_high of the NG image to the feature component of the NG image. And outputs the high-frequency component NG_high to the adder 518c.
  • FIG. 17 is a flowchart showing an outline of processing executed by the processor 5c.
  • steps S401 to S403 correspond to the above-described steps S301 to S303 of FIG.
  • the third extraction unit 513d extracts a third specific frequency component from the NG image input from the image generation unit 512c. Specifically, the third extraction unit 513d uses, for example, a 3 ⁇ 3 high-pass filter for the pixel value of each pixel constituting the NG image, and uses the high frequency component NG_high of the NG image as the feature component of the NG image. The high frequency component NG_high is extracted and output to the adding unit 518c.
  • Steps S405 to S410 correspond to steps S305 to S310 in FIG.
  • the endoscope systems 1 and 1a to 1c are provided with the endoscopes 2 and 2c, the display device 4, the recording unit 53, and the control unit 54, respectively. These components may be deleted without departing from the scope of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the first to fourth embodiments. For example, some components may be deleted from all the components described in the first to fourth embodiments. Furthermore, the constituent elements described in the first to fourth embodiments may be appropriately combined.
  • the above-mentioned “unit” can be read as “means” or “circuit”.
  • the control unit can be read as control means or a control circuit.
  • input / output is described in RGB (primary colors).
  • CMY complementary colors
  • the image data is transmitted to the image processing apparatus via the transmission cable.
  • the image data need not be wired and may be wireless.
  • image data or the like may be transmitted to the image processing apparatus in accordance with a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • wireless communication may be performed according to other wireless communication standards.
  • the light source device and the image processing device are separately formed.
  • the present invention is not limited to this.
  • the image processing device and the light source device are integrated. It is good also as a formed structure.
  • the simultaneous endoscope has been described as an example.
  • the present invention can also be applied to a field sequential endoscope.
  • the embodiment of the present invention can be applied to an endoscope that can irradiate a predetermined narrow band light in addition to the narrow band light.
  • the embodiments of the present invention can be applied to flexible endoscopes (vertical endoscopes), sinus endoscopes, and capsule endoscopes in addition to rigid endoscopes. .
  • the endoscope is inserted into the subject.
  • the present invention can also be applied to, for example, a capsule endoscope or an imaging device that images the subject.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置は、Ｒ画像データ、Ｇ画像データおよびＢ画像データそれぞれを輝度成分Ｙと色差成分Ｃｂ，Ｃｒに変換する第１色空間変換部５１４と、ＮＢ画像データに含まれる第１特定周波数成分を抽出する抽出部５１３と、輝度成分Ｙと第１特定周波数成分とを合成する合成部５１５と、合成部５１５が合成した合成結果と、色差成分Ｃｂ，Ｃｒと、に基づいて、カラー画像データを生成するカラー画像生成部５１７と、を備える。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、被検体の体内画像を撮像する内視鏡が生成した画像データに対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。
　近年、内視鏡の観察方式として、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（以下、「特殊光」という）を用いた狭帯域光観察方式が知られている。
　このような狭帯域光観察方式を行う内視鏡として、白色光で撮像した通常光観察画像に、特殊光で撮像した特殊光観察画像の情報を合成することによって、一つの観察画像で生体の粘膜表層に存在する毛細血管および粘膜微細模様等を観察する技術が知られている（特許文献１参照）。この技術では、特殊光観察画像に対して、ハイパスフィルタやバンドパスフィルタ等を用いて、特殊光観察画像から毛細血管および粘膜微細模様等の特徴情報を抽出し、この抽出した特徴情報を通常光観察画像に合成した合成画像を生成する。
特許第５５０１２１０号公報
　しかしながら、上述した特許文献１では、フィルタによって抽出した特徴情報を通常光観察画像に合成しているため、通常光観察画像の輝度情報に、特徴情報に含まれる輝度情報を加算しているため、合成画像の色味が本来の通常光観察画像から変わってしまうという問題点があった。
　本発明は、上記に鑑みてなされたものであって、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得部と、と、前記取得部が取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成部と、前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換部と、前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出部と、前記色空間変換部が変換した前記輝度成分と前記第１抽出部が抽出した前記第１特定周波数成分とを合成する合成部と、前記合成部が合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成部と、を備えることを特徴とする。
　また、本発明に係る画像処理方法は、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれを受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、画像処理装置に、赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、を実行させることを特徴とする。
　本発明によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。 図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能を示すブロック図である。 図３は、本発明の実施の形態１に係るカラーフィルタの構成を模式的に示す図である。 図４は、本発明の実施の形態１に係るカラーフィルタを構成する各広帯域フィルタの透過率と波長との関係を示す図である。 図５は、本発明の実施の形態１に係るカラーフィルタを構成する狭帯域フィルタＮＢの透過率と波長との関係を示す図である。 図６は、本発明の実施の形態１に係る抽出部を構成するフィルタの特性を模式的に示す図である。 図７は、本発明の実施の形態１に係るプロセッサが実行する処理の概要を示すフローチャートである。 図８は、本発明の実施の形態１の変形例に係る抽出部の構成を模式的に示す図である。 図９は、本発明の実施の形態１の変形例に係る抽出部を構成するフィルタの特性を模式的に示す図である。 図１０は、本発明の実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。 図１１は、本発明の実施の形態２に係るプロセッサが実行する処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態３に係る内視鏡システムの要部の機能を示すブロック図である。 図１３は、本発明の実施の形態３に係るプロセッサが実行する処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態４に係る内視鏡システムの要部の機能を示すブロック図である。 図１５は、本発明の実施の形態４に係るカラーフィルタの構成を模式的に示す図である。 図１６は、本発明の実施の形態４に係るカラーフィルタを構成する狭帯域フィルタＮＢおよび狭帯域フィルタＮＧの透過率と波長との関係を示す図である。 図１７は、本発明の実施の形態４に係るプロセッサが実行する処理の概要を示すフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　〔内視鏡システムの構成〕
　図１は、本発明の実施の形態１に係る内視鏡システムの全体構成を模式的に示す図である。図１に示す内視鏡システム１は、被検体の体腔内に挿入することによって被検体の体内を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像して生成した画像データに対応する画像を表示する表示装置４と、内視鏡２が撮像して生成した画像データに所定の画像処理を施して表示装置４に表示させるとともに、内視鏡システム１全体の動作を統括的に制御するプロセッサ５と、を備える。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、プロセッサ５および光源装置３と接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、後述する撮像装置（撮像部）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部２２２と、光源装置３、プロセッサ５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイドと、集合ケーブルと、を少なくとも内蔵している。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端にプロセッサ５と着脱自在な電気コネクタ部２８を有する。コネクタ部２７は、内部にＦＰＧＡ（Field　Programmable　Gate　Array）を用いて構成される。
　光源装置３は、例えばハロゲンランプや白色ＬＥＤ（Light　Emitting　Diode）等を用いて構成される。光源装置３は、プロセッサ５の制御のもと、内視鏡２の挿入部の先端側から被写体に向けて照明光を照射する。
　表示装置４は、プロセッサ５の制御のもと、プロセッサ５が画像処理を施した画像信号に対応する画像および内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶や有機ＥＬ（Electro　Luminescence）等の表示パネル等を用いて構成される。
　プロセッサ５は、内視鏡２から入力されたＲＡＷ画像データに対して所定の画像処理を施して表示装置４へ出力する。プロセッサ５は、ＣＰＵ（Central　Processing　Unit）等を用いて構成される。
　次に、内視鏡システム１の要部の機能について説明する。図２は、内視鏡システム１の要部の機能を示すブロック図である。図２を参照して内視鏡システム１の各部の詳細および内視鏡システム１内の電気信号の経路について説明する。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　図２に示すように、内視鏡２は、光学系２０１と、撮像部２０２と、を備える。
　光学系２０１は、光源装置３が出射した照明光の反射光を撮像部２０２の撮像面に受光して被写体像を結像する。光学系２０１は、１つまたは複数のレンズおよびプリズム等を用いて構成される。
　撮像部２０２は、プロセッサ５の制御のもと、光学系２０１が受光面に結像した被写体像を受光して光電変換を行うことによって、被写体の画像データ（ＲＡＷ画像データ）を生成し、この生成した画像データをプロセッサ５へ出力する。具体的には、撮像部２０２は、基準のフレームレート、例えば６０ｆｐｓのフレームレートによって被検体を撮像して被検体の画像データを生成する。撮像部２０２は、撮像素子２１１と、カラーフィルタ２１２と、を有する。
　撮像素子２１１は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換し、電気信号を生成するＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像センサを用いて構成される。
　カラーフィルタ２１２は、赤色の波長帯域の光を透過する広帯域フィルタＲと、緑色の波長帯域の光を透過する広帯域フィルタＧと、青色の波長帯域の光を透過する広帯域フィルタＢと、青色の波長帯域であって、青色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＢと、を含むフィルタユニットを用いて構成され、このフィルタユニットを撮像素子２１１の画素に対応させて配置してなる。
　図３は、カラーフィルタ２１２の構成を模式的に示す図である。図３に示すように、カラーフィルタ２１２は、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる４つの狭帯域フィルタＮＢを１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２１２は、上述した配列パターンを形成する個々のフィルタが２次格子状に配列された撮像素子２１１の複数の画素のいずれかに対応する位置に配置される。ここで、本実施の形態１における狭帯域の光は、粘膜表層の毛細血管観察用の青色の狭帯域光（３９０～４４５ｎｍ）である。このように構成されたカラーフィルタ２１２を用いて撮像素子２１１で生成された画像データは、後述するプロセッサ５によって所定の画像処理が行われることによって、カラー画像に変換される。
　図４は、カラーフィルタ２１２を構成する各広帯域フィルタの透過率と波長との関係を示す図である。図５は、カラーフィルタ２１２を構成する狭帯域フィルタＮＢの透過率と波長との関係を示す図である。図４および図５において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図４において、曲線ＬＢが広帯域フィルタＢの透過率と波長との関係を示し、曲線ＬＧが広帯域フィルタＧの透過率と波長との関係を示し、曲線ＬＲが広帯域フィルタＲの透過率と波長との関係を示す。また、図５において、曲線ＬＮＢが狭帯域フィルタＮＢの透過率と波長との関係を示す。さらに、図５において、狭帯域フィルタＮＢのピーク波長が３９０ｎｍから４４５ｎｍの範囲にある場合について説明する。
　図４および図５に示すように、狭帯域フィルタＮＢの分光特性は、広帯域フィルタＢよりも狭く、広帯域フィルタＢの波長帯域に含まれる。なお、以下においては、広帯域フィルタＲが配置されてなる画素をＲ画素（第１画素）、広帯域フィルタＧが配置されてなる画素をＧ画素（第２画素）、広帯域フィルタＢが配置されてなる画素をＢ画素（第３画素）、狭帯域フィルタＮＢが配置されてなる画素をＮＢ画素（第４画素）という。
　〔プロセッサの構成〕
　次に、プロセッサ５の構成について説明する。
　プロセッサ５は、図２に示すように、画像処理部５１と、入力部５２と、記録部５３と、制御部５４と、を備える。
　画像処理部５１は、ＧＰＵ（Graphics　Processing　Unit）やＦＰＧＡ（Field　Programmable　Gate　Array）等を用いて構成される。画像処理部５１は、内視鏡２から画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１は、取得部５１１と、画像生成部５１２と、抽出部５１３と、第１色空間変換部５１４と、合成部５１５と、第２色空間変換部５１６と、カラー画像生成部５１７と、を有する。なお、本実施の形態１では、画像処理部５１が画像処理装置として機能する。
　取得部５１１は、内視鏡２が撮像して生成した画像データを取得し、取得した画像データを画像生成部５１２へ出力する。具体的には、取得部５１１は、内視鏡２が生成した画像データに対応する画像を構成するＲ画素、Ｇ画素、Ｂ画素およびＮＢ画素それぞれの画素値（画素値Ｒ、画素値Ｇ、画素値Ｂおよび画素値ＮＢ）を撮像素子２１１から取得し、取得した各画素の画素値を画像生成部５１２へ出力する。
　画像生成部５１２は、取得部５１１から入力された各画素（各チャンネル）の画素値に基づいて、画素値が欠損する画素の画素値を補完する周知のデモザイキング処理を行うことによって、赤色の波長帯域の光に対応するＲ画像（第１補間画像データ）、緑色の波長帯域の光に対応するＧ画像（第２補間画像データ）、青色の波長帯域の光に対応するＢ画像（第３補間画像データ）および狭帯域光に対応するＮＢ画像（第４補間画像データ）の各々を生成する。画像生成部５１２は、Ｒ画像、Ｇ画像およびＢ画像を第１色空間変換部５１４へ出力し、かつ、ＮＢ画像を抽出部５１３へ出力する。
　抽出部５１３は、画像生成部５１２から入力された狭帯域画像であるＮＢ画像に対して、第１特定周波数成分を抽出し、この抽出した第１特定周波数成分を合成部５１５へ出力する。具体的には、抽出部５１３は、ＮＢ画像に対して、所定の閾値より高い高周波成分を抽出する。より具体的には、図６に示すように、抽出部５１３は、ＮＢ画素を構成する各画素の画素値に対して、例えば３×３のハイパスフィルタＦ１を用いて、ＮＢ画像の高周波成分ＮＢ_highをＮＢ画像の特徴成分として抽出し、この高周波成分を合成部５１５へ出力する。なお、抽出部５１３は、３×３のハイパスフィルタである必要はなく、適宜変更することができ、例えば４×４や５×５のハイパスフィルタであってもよい。もちろん、抽出部５１３は、複数のフィルタを組み合わせて構成してもよい。
　第１色空間変換部５１４は、画像生成部５１２から入力されたＲ画像、Ｇ画像およびＢ画像に対して、周知の色空間変換処理、例えばＹＣｒＣｂ変換処理を行うことによって、輝度成分Ｙ、色差成分Ｃｒおよび色差成分Ｃｂそれぞれに変換し、輝度成分Ｙを合成部５１５へ出力し、かつ、色差成分Ｃｒおよび色差成分Ｃｂを第２色空間変換部５１６へ出力する。
　合成部５１５は、抽出部５１３から入力された高周波成分ＮＢ_highと、第１色空間変換部５１４から入力された輝度成分Ｙと、を合成し、この合成した輝度成分Ｙ’（Ｙ’＝Ｙ＋ＮＢ_high）を第２色空間変換部５１６へ出力する。
　第２色空間変換部５１６は、合成部５１５から入力された輝度成分Ｙ’、第１色空間変換部５１４から入力された色差成分Ｃｒおよび色差成分Ｃｂに対して、周知の色空間変換処理、例えばＲＧＢ変換処理を行うことによって、広帯域画像に狭帯域画像の特徴成分を付加した新たな観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’の各々を生成する。第２色空間変換部５１６は、観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’をカラー画像生成部５１７へ出力する。
　カラー画像生成部５１７は、第２色空間変換部５１６から入力された観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’に基づいて、カラー画像データを生成して表示装置４へ出力する。具体的には、カラー画像生成部５１７は、Ｒ’画像を構成する各画素の画素値、Ｇ’画像を構成する各画素の画素値およびＢ’画像を構成する各画素の画素値を合成してカラー画像を生成し、このカラー画像を表示装置４へ出力する。
　入力部５２は、ボタンやスイッチ等を用いて構成され、内視鏡システム１が実行する各種の処理を指示する指示信号やパラメータ等を変更する変更信号の入力を受け付ける。
　記録部５３は、ＲＯＭ（Reaｄ　Only　Memory）やＲＡＭ（Random　Access　Memory）等を用いて構成され、内視鏡２が生成した画像データ、および内視鏡システム１が実行するプログラムや処理中の情報を記録する。また、記録部５３は、内視鏡システム１が実行するプログラムを記録するプログラム記録部５３ａを有する。
　制御部５４は、ＣＰＵ等を用いて構成され、内視鏡システム１を構成する各部を統括的に制御する。制御部５４は、光源装置３の照明光の出射タイミングや内視鏡２の撮像部２０２の撮像タイミング等を制御する。
　〔プロセッサの処理〕
　次に、プロセッサ５が実行する処理について説明する。図７は、プロセッサ５が実行する処理の概要を示すフローチャートである。
　図７に示すように、まず、取得部５１１は、内視鏡２から画像データを取得する（ステップＳ１０１）。
　続いて、画像生成部５１２は、取得部５１１から入力された各画素の画素値に基づいて、デモザイキング処理を行うことによって各色の画像を生成する（ステップＳ１０２）。
　その後、第１色空間変換部５１４は、画像生成部５１２から入力されたＲ画像、Ｇ画像およびＢ画像に対して、色空間変換処理を行う（ステップＳ１０３）。具体的には、第１色空間変換部５１４は、画像生成部５１２から入力されたＲ画像、Ｇ画像およびＢ画像に対して、ＹＣｒＣｂ変換処理を行うことによって、輝度成分Ｙ、色差成分Ｃｒおよび色差成分Ｃｂそれぞれに変換する。
　続いて、抽出部５１３は、画像生成部５１２から入力された狭帯域画像であるＮＢ画像に対し、第１特定周波数成分を抽出する（ステップＳ１０４）。具体的には、抽出部５１３は、ＮＢ画素を構成する各画素の画素値に対して、上述した図６に示すハイパスフィルタＦ１を用いて、ＮＢ画像の高周波成分ＮＢ_highをＮＢ画像の特徴成分として抽出する。
　その後、合成部５１５は、第１色空間変換部５１４から入力された輝度成分Ｙに、抽出部５１３から入力された第１特定周波数成分を合成する（ステップＳ１０５）。具体的には、合成部５１５は、第１色空間変換部５１４から入力された輝度成分Ｙに、抽出部５１３から入力されたＮＢ画像の特徴成分である高周波成分ＮＢ_highを合成する。
　続いて、第２色空間変換部５１６は、合成部５１５から入力された輝度成分Ｙ’、第１色空間変換部５１４から入力された色差成分Ｃｒおよび色差成分Ｃｂに対して、ＲＧＢに変換する色空間変換処理を行う（ステップＳ１０６）。
　その後、カラー画像生成部５１７は、第２色空間変換部５１６から入力された観察画像Ｒ’、観察画像Ｇ’および観察画像Ｂ’に基づいて、カラー画像を生成する（ステップＳ１０７）。
　続いて、内視鏡システム１による検査の終了を指示する指示信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、プロセッサ５は、本処理を終了する。これに対して、内視鏡システム１による検査の終了を指示する指示信号が入力されていない場合（ステップＳ１０８：Ｎｏ）、プロセッサ５は、上述したステップＳ１０１へ戻る。
　以上説明した本発明の実施の形態１によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
　また、本発明の実施の形態１によれば、通常光観察画像と特殊光観察画像を合成する場合であっても、特殊光画像の特徴が高いコントラストで描写される新たな観察画像を得ることができる。
　また、本発明の実施の形態１では、合成部５１５がＮＢ画像の高周波成分ＮＢ_highに対して入力部５２によって入力された重み係数αを乗算した値に、第１色空間変換部５１４から入力された輝度成分Ｙを合成してもよい（Ｙ’＝Ｙ＋α×ＮＢ_high）。
　また、本発明の実施の形態１では、青色の狭帯域光（３９０～４４５ｎｍ）を例に説明したが、深部の太い血管を強調するために緑色の狭帯域光（５３０～５５０ｎｍ）であってもよい。　
（実施の形態１の変形例）
　次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例は、上述した実施の形態１に係る抽出部５１３と構成が異なる。以下においては、本実施の形態１の変形例に係る抽出部の構成のみを説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
　図８は、本実施の形態１の変形例に係る抽出部の構成を模式的に示す図である。図８に示す抽出部５１３ａは、低周波成分抽出部６００と、算出部６０１と、を有する。
　低周波成分抽出部６００は、狭帯域画像であるＮＢ画像から低周波成分ＮＢ_lowを抽出する。低周波成分抽出部６００は、例えば図９に示す５×５のローパスフィルタＦ２を用いて構成される。
　算出部６０１は、狭帯域画像であるＮＢ画像から低周波成分抽出部６００によって抽出された低周波成分ＮＢ_lowを減算することによって、狭帯域画像であるＮＢ画像から第１特定周波数成分である高周波成分ＮＢ_highを算出する。
　以上説明した本発明の実施の形態１の変形例によれば、上述した実施の形態１と同様に、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１と構成が異なる。具体的には、本実施の形態２は、上述した実施の形態１に係るプロセッサ５と構成が異なる。さらに、本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係るプロセッサ５が実行する処理と異なる。以下においては、本実施の形態２に係る内視鏡システムの構成を説明後、プロセッサが実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡システムの構成〕
　図１０は、本実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。図１０に示す内視鏡システム１ａは、上述した実施の形態１に係る内視鏡システム１のプロセッサ５に換えて、プロセッサ５ａを備える。
　〔プロセッサの構成〕
　図１０に示すプロセッサ５ａは、上述した実施の形態１に係る画像処理部５１に換えて、画像処理部５１ａを備える。
　画像処理部５１ａは、ＧＰＵやＦＰＧＡ等を用いて構成され、内視鏡２から画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１ａは、取得部５１１と、画像生成部５１２と、第１抽出部５１３ｂと、第２抽出部５１３ｃと、第１色空間変換部５１４と、加算部５１８と、減算部５１９と、合成部５２０ａと、第２色空間変換部５１６と、カラー画像生成部５１７と、を有する。なお、本実施の形態２では、画像処理部５１ａが画像処理装置として機能する。
　第１抽出部５１３ｂは、画像生成部５１２から入力された狭帯域画像であるＮＢ画像に対して、第１特定周波数成分を抽出し、この抽出した第１特定周波数成分を加算部５１８へ出力する。具体的には、第１抽出部５１３ｂは、ＮＢ画像に対して、所定の第１閾値より高い高周波成分を抽出する。より具体的には、第１抽出部５１３ｂは、ＮＢ画素を構成する各画素の画素値に対して、例えば上述した実施の形態１と同様の３×３のハイパスフィルタＦ１を用いて、ＮＢ画像の高周波成分ＮＢ_highをＮＢ画像の特徴成分として抽出し、この高周波成分ＮＢ_highを加算部５１８へ出力する。
　第２抽出部５１３ｃは、第１色空間変換部５１４から入力された広帯域画像の輝度成分Ｙに対して、第２特定周波数成分を抽出し、この抽出した第２特定周波数成分を加算部５１８および減算部５１９へ出力する。具体的には、第２抽出部５１３ｃは、広帯域画像の輝度成分Ｙに対して、所定の第２閾値より高い高周波成分を抽出する。より具体的には、第２抽出部５１３ｃは、輝度成分Ｙに対して、例えば上述した実施の形態１と同様の３×３のハイパスフィルタＦ１を用いて、広帯域画像の輝度成分Ｙの高周波成分Ｙ_highを抽出し、この高周波成分Ｙ_highを加算部５１８および減算部５１９へ出力する。なお、第１抽出部５１３ｂおよび第２抽出部５１３ｃが用いるハイパスフィルタの特性は、同じであってもよいし、互いに異なる特性であってもよいが、透過特性の近いものが好ましい。
　加算部５１８は、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を、制御部５４を介して入力部５２によって入力された高周波成分ＮＢ_highと、高周波成分Ｙ_highとを加算する際の重み付け係数αと、に基づいて、加算成分である輝度成分Ｙ’_highを算出し、この輝度成分Ｙ’_highを合成部５２０ａへ出力する。具体的には、以下の式（１）によって、加算成分である輝度成分Ｙ’_highを算出する。
　Ｙ’_high＝α×Ｙ’_high＋（１－α）×ＮＢ_high　・・・（１）
ここで、重み付け係数αは、０から１の自然数である。
　減算部５１９は、第１色空間変換部５１４から入力された輝度成分Ｙと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highとに基づいて、低周波成分Ｙ_lowを算出し、この低周波成分Ｙ_lowを合成部５２０ａへ出力する。具体的には、減算部５１９は、第１色空間変換部５１４から入力された輝度成分Ｙから第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highを減算した差分成分（残差成分）である低周波成分Ｙ_lowを算出する。より具体的には、減算部５１９は、以下の式（２）によって、低周波成分Ｙ_lowを算出する。
　Ｙ_low＝Ｙ－Ｙ_high　　　・・・（２）
　合成部５２０ａは、加算部５１８から入力された加算成分である輝度成分Ｙ’_highと、減算部５１９から入力された差分成分である低周波成分Ｙ_lowと、に基づいて、輝度成分Ｙ’を算出し、この輝度成分Ｙ’を第２色空間変換部５１６へ出力する。
　〔プロセッサの処理〕
　次に、プロセッサ５ａが実行する処理について説明する。図１１は、プロセッサ５ａが実行する処理の概要を示すフローチャートである。図１１において、ステップＳ２０１は、上述した図７のステップＳ１０１に対応する。
　ステップＳ２０２において、第１抽出部５１３ｂは、画像生成部５１２から入力されたＮＢ画像に対して、第１の特定周波数成分を抽出する。具体的には、第１抽出部５１３ｂは、ＮＢ画像の高周波成分ＮＢ_highを抽出する。
　続いて、第２抽出部５１３ｃは、第１色空間変換部５１４から入力された広帯域画像の輝度成分Ｙに対して、第２特定周波数成分を抽出する（ステップＳ２０３）。具体的には、第２抽出部５１３ｃは、広帯域画像の輝度成分Ｙの高周波成分Ｙ_highを抽出する。
　その後、加算部５１８は、入力部５２によって入力された重み付け係数αに従って、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を加算することによって輝度成分Ｙ’_highを算出する（ステップＳ２０４）。
　続いて、減算部５１９は、第１色空間変換部５１４から入力された輝度成分Ｙと、第２抽出部５１３ｃから入力された広帯域画像の高周波成分Ｙ_highとに基づいて、低周波成分Ｙ_lowを算出する（ステップＳ２０５）。
　その後、合成部５２０ａは、加算部５１８から入力された輝度成分Ｙ’_highと、減算部５１９から入力された低周波成分Ｙ_lowと、に基づいて、輝度成分Ｙ’を算出する（ステップＳ２０６）。
　ステップＳ２０７～ステップＳ２０９は、上述した図７のステップＳ１０６～ステップＳ１０８それぞれに対応する。
　以上説明した本発明の実施の形態２によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
　なお、本発明の実施の形態２では、加算部５１８が入力部５２によって入力された重み付け係数αに従って、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を加算して加算成分の輝度成分Ｙ’_highを算出していたが、重み付け係数αを考慮することなく、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_highと、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_highと、を単に加算して、加算成分の輝度成分Ｙ’_highを算出してもよい。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３に係る内視鏡システムは、上述した実施の形態２に係る内視鏡システム１ａと構成が異なる。具体的には、本実施の形態３は、上述した実施の形態２に係るプロセッサ５ａと構成が異なる。さらに、本実施の形態３に係る内視鏡システムは、上述した実施の形態２に係るプロセッサ５ａが実行する処理と異なる。具体的には、上述した実施の形態２では、入力部５２を介して重み付け係数αの値を入力していたが、本実施の形態３では、重み付け係数αを自動的に算出する。以下においては、本実施の形態３に係る内視鏡システムの構成を説明後、プロセッサが実行する処理について説明する。なお、上述した実施の形態２に係る内視鏡システム１ａと同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡システムの構成〕
　図１２は、本実施の形態３に係る内視鏡システムの要部の機能を示すブロック図である。図１２に示す内視鏡システム１ｂは、上述した実施の形態２に係る内視鏡システム１ａのプロセッサ５ａに換えて、プロセッサ５ｂを備える。
　〔プロセッサの構成〕
　図１２に示すプロセッサ５ｂは、上述した実施の形態２に係る画像処理部５１ａに換えて、画像処理部５１ｂを備える。
　画像処理部５１ｂは、ＧＰＵやＦＰＧＡ等を用いて構成され、内視鏡２から画像データを取得し、取得した画像データに対して所定の画像処理を施して表示装置４へ出力する。画像処理部５１ｂは、上述した実施の形態２に係る画像処理部５１ａの構成に加えて、係数算出部５２１をさらに有する。
　係数算出部５２１は、第１抽出部５１３ｂから入力される狭帯域画像における各画素の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力される広帯域画像における各画素の高周波成分Ｙ_high（ｉ，ｊ）と、に基づいて、加算部５１８が狭帯域画像の高周波成分ＮＢ_highと、広帯域画像の高周波成分Ｙ_highとを加算する際の重み付け係数αを算出する。
　〔プロセッサの処理〕
　次に、プロセッサ５ｂが実行する処理について説明する。図１３は、プロセッサ５ｂが実行する処理の概要を示すフローチャートである。図１３において、ステップＳ３０１～ステップＳ３０３は、上述した図１１のステップＳ２０１～ステップＳ２０３それぞれに対応する。
　ステップＳ３０４において、係数算出部５２１は、第１抽出部５１３ｂから入力される狭帯域画像における各画素の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力される広帯域画像における各画素の高周波成分Ｙ_high（ｉ，ｊ）と、に基づいて、１フレーム毎の重み付け係数αを算出する。具体的には、係数算出部５２１は、狭帯域画像における各画素の高周波成分ＮＢ_highの総和をＷａ_ＮＢ_high、広帯域画像における各画素の高周波成分Ｙ_highの総和Ｗａ_Ｙ_highとした場合、以下の式（３）～（５）によって、重み付け係数αを算出する。
Figure JPOXMLDOC01-appb-M000001
 （ｉ，ｊ）は、画素の位置を示す。
　ステップＳ３０５～ステップＳ３１０は、上述した図１１のステップＳ２０４～ステップＳ２０９それぞれに対応する。
　以上説明した本発明の実施の形態３によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
　なお、本発明の実施の形態３では、係数算出部５２１は、第１抽出部５１３ｂから入力される狭帯域画像における各画素の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力される広帯域画像における各画素の高周波成分Ｙ_high（ｉ，ｊ）と、に基づいて、１フレーム毎の重み付け係数αを算出していたが、例えば画素毎に重み付け係数αを算出してもよい。具体的には、以下の式（６）によって、重み付け係数α（ｉ，ｊ）を算出する。
Figure JPOXMLDOC01-appb-M000002
 加算部５１８は、画素毎に係数算出部５２１によって算出された重み付け係数α（ｉ，ｊ）に従って、第１抽出部５１３ｂから入力されたＮＢ画像の高周波成分ＮＢ_high（ｉ，ｊ）と、第２抽出部５１３ｃから入力された広帯域画像の輝度成分Ｙの高周波成分Ｙ_high（ｉ，ｊ）と、を加算することによって輝度成分Ｙ’_high（ｉ，ｊ）を算出することができる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。本実施の形態４に係る内視鏡システムは、上述した実施の形態２に係る内視鏡システム１ａと構成が異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態２では、カラーフィルタが１種類（１バンド）の狭帯域光を透過していていたが、本実施の形態４では、カラーフィルタが少なくとも２種類（２バンド）の狭帯域光を透過する。以下においては、本実施の形態４に係る内視鏡システムの構成を説明後、プロセッサが実行する処理について説明する。なお、上述した実施の形態２に係る内視鏡システム１ａと同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡システムの構成〕
　図１４は、本実施の形態４に係る内視鏡システムの要部の機能を示すブロック図である。図１４に示す内視鏡システム１ｃは、上述した実施の形態２に係る内視鏡システム１ａの内視鏡２およびプロセッサ５ａに換えて、内視鏡２ｃおよびプロセッサ５ｃを備える。
　〔内視鏡の構成〕
　まず、内視鏡２ｃの構成について説明する。
　内視鏡２ｃは、上述した実施の形態２に係る内視鏡の撮像部２０２に換えて、撮像部２０２ｃを備える。撮像部２０２ｃは、上述した実施の形態２に係るカラーフィルタ２１２に換えて、カラーフィルタ２１２ｃを有する。
　カラーフィルタ２１２ｃは、赤色の波長帯域の光を透過する広帯域フィルタＲと、緑色の波長帯域の光を透過する広帯域フィルタＧと、青色の波長帯域の光を透過する広帯域フィルタＢと、青色の波長帯域であって、青色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＢと、緑色の波長帯域であって、緑色の波長帯域よりも狭い波長帯域の光を透過する狭帯域フィルタＮＧと、を含むフィルタユニットを用いて構成され、このフィルタユニットを撮像素子２１１の画素に対応させて配置してなる。
　図１５は、カラーフィルタ２１２ｃの構成を模式的に示す図である。図１５に示すように、カラーフィルタ２１２ｃは、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび狭帯域の光を透過させる２つの狭帯域フィルタＮＢと、緑色の波長帯域よりも狭い波長帯域の光を透過する２つの狭帯域フィルタＮＧと、を１組とする所定の配列パターンを形成したフィルタユニットを用いて構成される。カラーフィルタ２１２ｃは、上述した配列パターンを形成する個々のフィルタが２次格子状に配列された撮像素子２１１の複数の画素のいずれかに対応する位置に配置される。
　図１６は、カラーフィルタ２１２ｃを構成する狭帯域フィルタＮＢおよび狭帯域フィルタＮＧの透過率と波長との関係を示す図である。図１６において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図１６において、曲線ＬＮＢが狭帯域フィルタＮＢの透過率と波長との関係を示し、曲線ＬＮＧが狭帯域フィルタＮＧの透過率と波長との関係を示す。さらに、図１６において、狭帯域フィルタＮＢのピーク波長を３９０ｎｍから４４５ｎｍの範囲、狭帯域フィルタＮＧのピーク波長を５３０ｎｍから５５０ｎｍの範囲にある場合について説明する。
　図１６に示すように、狭帯域フィルタＮＢの分光特性は、広帯域フィルタＢよりも狭く、広帯域フィルタＢの波長帯域に含まれる。また、狭帯域フィルタＮＧの分光特性は、広帯域フィルタＧよりも狭く、広帯域フィルタＧの波長帯域に含まれる。なお、以下においては、狭帯域フィルタＮＧが配置されてなる画素をＮＧ画素という。
　〔プロセッサの構成〕
　次に、プロセッサ５ｃの構成について説明する。
　図１４に示すプロセッサ５ｃは、上述した実施の形態２に係るプロセッサ５ａの画像処理部５１ａに換えて、画像処理部５１ｃを備える。画像処理部５１ｃは、画像処理部５１ｂの構成に加えて、第３抽出部５１３ｄをさらに有する。
　画像生成部５１２ｃは、取得部５１１から入力された各画素（各チャンネル）の画素値に基づいて、画素値が欠損する画素の画素値を補完する周知のデモザイキング処理を行うことによって、赤色の波長帯域の光に対応するＲ画像（第１補間画像データ）、緑色の波長帯域の光に対応するＧ画像（第２補間画像データ）、青色の波長帯域の光に対応するＢ画像（第３補間画像データ）、狭帯域光に対応するＮＢ画像（第４補間画像データ）および狭帯域光に対応するＮＧ画像（第５補間画像データ）の各々を生成する。画像生成部５１２ｃは、Ｒ画像、Ｇ画像およびＢ画像を第１色空間変換部５１４、ＮＢ画像を第１抽出部５１３ｂおよびＮＧ画像を第３抽出部５１３ｄそれぞれに出力する。
　第３抽出部５１３ｄは、画像生成部５１２ｃから入力されたＮＧ画像に対して、特定周波数成分を抽出し、この抽出した特定周波数成分を加算部５１８ｃへ出力する。具体的には、第３抽出部５１３ｄは、ＮＧ画像に対して、所定の閾値より高い高周波成分を抽出する。より具体的には、第３抽出部５１３ｄは、ＮＧ画像を構成する各画素の画素値に対して、例えば３×３のハイパスフィルタを用いて、ＮＧ画像の高周波成分ＮＧ_highをＮＧ画像の特徴成分として抽出し、この高周波成分ＮＧ_highを加算部５１８ｃへ出力する。
　加算部５１８ｃは、狭帯域画像ＮＢの高周波成分ＮＢ_highと、狭帯域画像ＮＧの高周波成分ＮＧ_highと、広帯域画像の高周波成分Ｙ_highと、入力部５２を介して入力される重み付け係数α，βと、に基づいて、輝度成分Ｙ’_highを算出する。具体的には、加算部５１８ｃは、以下の式（７）によって輝度成分Ｙ’_highを算出する。
　Ｙ’_high＝（１－α－β）Ｙ_high＋α×ＮＢ_high＋β×ＮＧ_high　
　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ・・・（７）
　〔プロセッサの処理〕
　次に、プロセッサ５ｃの処理について説明する。図１７は、プロセッサ５ｃが実行する処理の概要を示すフローチャートである。図１７において、ステップＳ４０１～ステップＳ４０３は、上述した図１３のステップＳ３０１～ステップＳ３０３それぞれに対応する。
　ステップＳ４０４において、第３抽出部５１３ｄは、画像生成部５１２ｃから入力されたＮＧ画像に対して、第３の特定周波数成分を抽出する。具体的には、第３抽出部５１３ｄは、ＮＧ画像を構成する各画素の画素値に対して、例えば３×３のハイパスフィルタを用いて、ＮＧ画像の高周波成分ＮＧ_highをＮＧ画像の特徴成分として抽出し、この高周波成分ＮＧ_highを加算部５１８ｃへ出力する。
　ステップＳ４０５～ステップＳ４１０は、上述した図１３のステップＳ３０５～ステップＳ３１０それぞれに対応する。
　以上説明した本発明の実施の形態４によれば、通常光観察画像に特殊光観察画像の特徴情報を合成した場合であっても、合成画像の色味が変わることを防止することができる。
（その他の実施の形態）
　また、本発明の実施の形態１～４では、内視鏡システム１，１ａ～１ｃに、内視鏡２，２ｃ、表示装置４、記録部５３および制御部５４の各々を設けていたが、これらの構成要素は発明の要旨を逸脱しない範囲内で削除してもよい。また、上述した実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。
　また、本発明の実施の形態では、上記してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本発明の実施の形態では、入出力をＲＧＢ（原色）で説明していたが、これに限定されることなく、入出力をＣＭＹ（補色）であっても適用することができる。
　また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
　また、本発明の実施の形態では、光源装置と画像処理装置（プロセッサ）とが別体で形成されていたが、これに限定されることなく、例えば画像処理装置と光源装置とが一体的に形成された構成としてもよい。
　また、本発明の実施の形態では、同時式の内視鏡を例に説明したが、面順次の内視鏡であっても適用することができる。さらに、本発明の実施の形態では、狭帯域光以外にも、所定の狭帯域光を照射可能な内視鏡であっても適用することができる。さらにまた、本発明の実施の形態では、硬性内視鏡以外にも、軟性内視鏡（上下内視鏡）、副鼻腔内視鏡およびカプセル型内視鏡であっても適用することができる。
　また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　１，１ａ～１ｃ　内視鏡システム
　２，２ｃ　内視鏡
　３　光源装置
　４　表示装置
　５，５ａ～５ｃ　プロセッサ
　２１　挿入部
　２２　操作部
　５１，５１ａ～５１ｃ　画像処理部
　５２　入力部
　５３　記録部
　５３ａ　プログラム記録部
　５４　制御部
　２０１　光学系
　２０２，２０２ｃ　撮像部
　２１１　撮像素子
　２１２，２１２ｃ　カラーフィルタ
　５１１，５１２ｃ　取得部
　５１３，５１３ａ　抽出部
　５１３ｂ　第１抽出部
　５１３ｃ　第２抽出部
　５１３ｄ　第３抽出部
　５１４　第１色空間変換部
　５１５，５２０ａ　合成部
　５１６　第２色空間変換部
　５１７　カラー画像生成部
　５１８，５１８ｃ　加算部
　５１９　減算部
　６０１　算出部
　５２１　係数算出部
　６００　低周波成分抽出部

Claims (9)

  1. 　赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得部と、
    　前記取得部が取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成部と、
    　前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換部と、
    　前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出部と、
    　前記色空間変換部が変換した前記輝度成分と前記第１抽出部が抽出した前記第１特定周波数成分とを合成する合成部と、
    　前記合成部が合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記第１抽出部は、所定の第１閾値より高い高周波成分を前記第１特定周波数成分として抽出することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記合成部が前記輝度成分と前記第１特定周波数成分とを合成する際の重み付け係数の入力を受け付ける入力部をさらに備え、
    　前記合成部は、前記重み付け係数に従って、前記輝度成分と前記第１特定周波数成分とを合成することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記輝度成分に含まれる第２特定周波数成分を抽出する第２抽出部と、
    　前記輝度成分から前記第２抽出部が抽出した前記第２特定周波数成分を減算した差分成分を算出する算出部と、
    　前記第１抽出部が抽出した前記第１特定周波数成分と、前記第２抽出部が抽出した前記第２特定周波数成分を加算した加算成分を算出する加算部と、
    　をさらに備え、
    　前記合成部は、前記算出部が算出した前記差分成分と、前記加算部が算出した加算成分と、を合成することを特徴とする請求項２に記載の画像処理装置。
  5. 　前記第１抽出部および前記第２抽出部は、所定の第２閾値より高い高周波成分を前記第１特定周波数成分または前記第２特定周波数成分として抽出することを特徴とする請求項４に記載の画像処理装置。
  6. 　前記第１特定周波数成分と前記第２特定周波数成分とを加算する際の重み付け係数の入力を受け付ける入力部をさらに備え、
    　前記加算部は、前記重み付け係数に従って、前記第１特定周波数成分と前記第２特定周波数成分とを加算して前記加算成分を算出することを特徴とする請求項５に記載の画像処理装置。
  7. 　前記第１特定周波数成分と前記第２特定周波数成分とに基づいて、前記第１特定周波数成分と前記第２特定周波数成分とを加算する際の重み付け係数を算出する係数算出部をさらに備え、
    　前記加算部は、前記重み付け係数に従って、前記第１特定周波数成分と前記第２特定周波数成分とを加算して前記加算成分を算出することを特徴とする請求項５に記載の画像処理装置。
  8. 　画像処理装置が実行する画像処理方法であって、
    　赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれを受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、
    　前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、
    　前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、
    　前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、
    　前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、
    　前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、
    　を含むことを特徴とする画像処理方法。
  9. 　画像処理装置に、
    　赤色の波長帯域の光を受光する第１画素と、緑色の波長帯域の光を受光する第２画素と、青色の波長帯域の光を受光する第３画素と、少なくとも前記赤色、前記緑色および前記青色のいずれよりも狭い波長帯域の狭帯域光を受光する第４画素と、を用いて所定の配列パターンを形成してなる撮像素子が生成した画像データを取得する取得ステップと、
    　前記取得ステップで取得した前記画像データに対して、画素値を補間するデモザイキング処理を行って、前記赤色の波長帯域の光に対応する第１補間画像データ、前記緑色の波長帯域の光に対応する第２補間画像データ、前記青色の波長帯域の光に対応する第３補間画像データおよび前記狭帯域光に対応する第４補間画像データを生成する画像生成ステップと、
    　前記第１補間画像データ、前記第２補間画像データおよび前記第３補間画像データそれぞれを輝度成分と色差成分に変換する色空間変換処理を行う色空間変換ステップと、
    　前記第４補間画像データに含まれる第１特定周波数成分を抽出する第１抽出ステップと、
    　前記色空間変換ステップで変換した前記輝度成分と前記第１抽出ステップで抽出した前記第１特定周波数成分とを合成する合成ステップと、
    　前記合成ステップで合成した合成結果と、前記色差成分と、に基づいて、カラー画像データを生成するカラー画像生成ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2016/086633 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム WO2018105089A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018555405A JPWO2018105089A1 (ja) 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム
PCT/JP2016/086633 WO2018105089A1 (ja) 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム
US16/391,159 US10863149B2 (en) 2016-12-08 2019-04-22 Image processing apparatus, image processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086633 WO2018105089A1 (ja) 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/391,159 Continuation US10863149B2 (en) 2016-12-08 2019-04-22 Image processing apparatus, image processing method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2018105089A1 true WO2018105089A1 (ja) 2018-06-14

Family

ID=62490798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086633 WO2018105089A1 (ja) 2016-12-08 2016-12-08 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10863149B2 (ja)
JP (1) JPWO2018105089A1 (ja)
WO (1) WO2018105089A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282168B2 (en) * 2017-10-23 2022-03-22 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
TW202044798A (zh) * 2019-01-30 2020-12-01 日商索尼股份有限公司 密碼化裝置、密碼化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198794A (ja) * 2004-01-15 2005-07-28 Pentax Corp 内視鏡装置
JP2012125461A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
WO2016129062A1 (ja) * 2015-02-10 2016-08-18 オリンパス株式会社 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6943837B1 (en) * 1999-12-31 2005-09-13 Intel Corporation Method and apparatus for colormetric channel balancing for solid state image sensor using time division multiplexed sampling waveforms
US8774519B2 (en) * 2012-08-07 2014-07-08 Apple Inc. Landmark detection in digital images
KR102069533B1 (ko) * 2013-05-03 2020-01-28 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
JPWO2017221335A1 (ja) * 2016-06-21 2019-04-11 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005198794A (ja) * 2004-01-15 2005-07-28 Pentax Corp 内視鏡装置
JP2012125461A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
WO2016129062A1 (ja) * 2015-02-10 2016-08-18 オリンパス株式会社 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20190253675A1 (en) 2019-08-15
US10863149B2 (en) 2020-12-08
JPWO2018105089A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
CN108109134B (zh) 图像处理装置及其工作方法
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
JP6121368B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
US10694100B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP5485215B2 (ja) 内視鏡装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
WO2016117036A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6463512B2 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
WO2018105089A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2018150627A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
JP6383829B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2017017735A1 (ja) 画像処理装置、表示制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923479

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018555405

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923479

Country of ref document: EP

Kind code of ref document: A1