WO2019175991A1 - 画像処理装置、内視鏡システム、画像処理方法およびプログラム - Google Patents

画像処理装置、内視鏡システム、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019175991A1
WO2019175991A1 PCT/JP2018/009816 JP2018009816W WO2019175991A1 WO 2019175991 A1 WO2019175991 A1 WO 2019175991A1 JP 2018009816 W JP2018009816 W JP 2018009816W WO 2019175991 A1 WO2019175991 A1 WO 2019175991A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
filter
image
pixel
interpolation
Prior art date
Application number
PCT/JP2018/009816
Other languages
English (en)
French (fr)
Inventor
直 菊地
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201880089177.XA priority Critical patent/CN111712177B/zh
Priority to JP2020506006A priority patent/JP7068438B2/ja
Priority to PCT/JP2018/009816 priority patent/WO2019175991A1/ja
Publication of WO2019175991A1 publication Critical patent/WO2019175991A1/ja
Priority to US17/012,149 priority patent/US20210007575A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an image processing apparatus, an endoscope system, an image processing method, and a program for performing image processing on an imaging signal captured by an endoscope.
  • a medical endoscope apparatus is configured by inserting a flexible insertion portion having an elongated shape in which an imaging element having a plurality of pixels is provided at a tip into a body cavity of a subject such as a patient. Since an in-vivo image in a body cavity can be acquired without incising the subject, the burden on the subject is small, and the spread is increasing.
  • the endoscope apparatus As an imaging method of the endoscope apparatus, there are a frame sequential type that obtains color information by irradiating illumination of different wavelength bands for each frame, and a simultaneous type that obtains color information by a color filter provided on the imaging element. It is used.
  • the frame sequential type is excellent in color separation performance and resolution, but color shift occurs in a dynamic scene.
  • the color shift does not occur in the simultaneous type, the color separation performance and resolution are inferior to the frame sequential type.
  • a white light observation method (WLI: White Light Imaging) using white illumination light (white light) and two narrow bands included in the blue and green wavelength bands, respectively.
  • Narrow band imaging (NBI) using illumination light (narrow band light) composed of band light is widely known.
  • a color image is generated using a signal in the green wavelength band as a luminance signal
  • a pseudo color image is generated using a signal in the blue wavelength band as a luminance signal.
  • the narrow-band light observation method can obtain an image that highlights capillaries and mucous membrane fine patterns existing on the surface of the mucous membrane of a living body.
  • the narrow-band light observation method a lesion in the mucosal surface layer of a living body can be found more accurately.
  • a color filter generally called a Bayer array is provided on the light receiving surface of the image sensor in order to obtain a captured image by a single-plate image sensor. Yes.
  • each pixel receives light in the wavelength band that has passed through the filter, and generates an electrical signal of a color component corresponding to the light in that wavelength band.
  • an interpolation process for interpolating signal values of missing color components without passing through a filter in each pixel is performed. Such interpolation processing is called demosaicing processing.
  • a color filter generally called a Bayer array is provided on the light receiving surface of the image sensor.
  • filters that transmit light in the red (R), green (G), and blue (B) wavelength bands (hereinafter referred to as “filter R”, “filter G”, and “filter B”) are combined into one filter. These are arranged for each pixel as a unit.
  • the present disclosure has been made in view of the above, and provides an image processing apparatus, an endoscope system, an image processing method, and a program that can generate a high-resolution image even if they are simultaneous. With the goal.
  • the image processing apparatus receives a plurality of pixels arranged in a two-dimensional grid and photoelectrically converts the image data to a predetermined value.
  • An image sensor generated in a frame, a first filter arranged in a pixel that is 1/2 or more of all pixels in the image sensor, and a plurality of types of second filters having spectral sensitivity characteristics different from those of the first filter
  • a detection unit that detects a displacement amount of each pixel between the image data of a plurality of frames generated by the imaging device, and at least based on the displacement amount detected by the detection unit.
  • a synthesizing unit that synthesizes the information of the pixel in which the first filter of the image data of one or more past frames is arranged with the image data of a reference frame, and the synthesizing unit generates
  • a generating unit configured to generate, as reference image data, first interpolated image data including information on the first filter at all pixel positions by performing interpolation processing on the synthesized image data generated by the generating unit; By referring to the reference image data and performing interpolation processing on the image data of the base frame, second interpolation image data including the information of the second filter at all pixel positions is converted into the plurality of types. And an interpolation unit that generates each second filter.
  • the image processing apparatus further includes a determination unit that determines whether the positional deviation amount detected by the detection unit is less than a threshold value, and the generation unit includes the determination unit If the positional deviation amount is determined to be less than a threshold value, the reference image data is generated using the composite image data, while the determination unit determines that the positional deviation amount is not less than the threshold value.
  • the reference image data is generated by performing an interpolation process on the image data of the base frame.
  • the generation unit includes the reference image data generated using the composite image data based on the positional deviation amount detected by the detection unit;
  • the reference image data generated by using the image data of the reference frame is weighted and combined to generate new reference image data.
  • the image processing apparatus is characterized in that, in the above disclosure, the first filter is a green filter that transmits light in a green wavelength band.
  • the image processing apparatus is characterized in that, in the above disclosure, the first filter is a cyan filter that transmits light in a blue wavelength band and light in a green wavelength band.
  • an endoscope system includes an endoscope that can be inserted into a subject, and an image processing device to which the endoscope is connected, and the endoscope is in a two-dimensional lattice shape.
  • An image sensor that generates image data in a predetermined frame by receiving and photoelectrically converting each of the plurality of arranged pixels, and a first image element that is arranged in half or more of all pixels in the image sensor.
  • a plurality of types of second filters having spectral sensitivity characteristics different from those of the first filter, and the first filter and the second filter are arranged corresponding to the plurality of pixels.
  • the image processing apparatus includes: a detection unit that detects a displacement amount of each pixel between the image data of a plurality of frames generated by the imaging device; and Based on the amount of positional deviation, combining the pixel information in which the first filter of the image data of at least one past frame is arranged with the image data of a reference frame to generate composite image data And a generating unit that generates, as reference image data, first interpolated image data including information on the first filter at all pixel positions by performing interpolation processing on the synthesized image data generated by the synthesizing unit.
  • An image processing method includes: an imaging element that generates image data in a predetermined frame by receiving and photoelectrically converting a plurality of pixels arranged in a two-dimensional grid; and all pixels in the imaging element Of the first filter and a plurality of types of second filters having different spectral sensitivity characteristics from the first filter, the first filter and the An image processing method executed by an image processing apparatus to which an endoscope comprising a second filter and a color filter arranged corresponding to the plurality of pixels can be connected, wherein the plurality of images generated by the imaging device A detection step of detecting a displacement amount of each pixel between the image data of a frame; and the image data of at least one past frame based on the displacement amount.
  • Combining the pixel information in which the first filter is arranged with the image data of the reference frame to generate combined image data, and performing interpolation processing on the combined image data A generation step of generating first interpolated image data including information on the first filter at a pixel position as reference image data; and interpolation processing for the image data of the reference frame with reference to the reference image data Performing an interpolation step of generating second interpolation image data including information on the second filter at all pixel positions for each of the plurality of types of second filters.
  • a program includes an image sensor that generates image data in a predetermined frame by receiving and photoelectrically converting a plurality of pixels arranged in a two-dimensional grid, and 1 of all the pixels in the image sensor. / A second filter having a spectral sensitivity characteristic different from that of the first filter, and the first filter and the second filter. And an image processing device that can be connected to an endoscope that includes a color filter that is arranged corresponding to the plurality of pixels, and each pixel between the image data of a plurality of frames generated by the imaging device.
  • a detection step for detecting a displacement amount, and the first filter of the image data of at least one past frame is arranged based on the displacement amount Combining the generated pixel information with the image data of the reference frame to generate composite image data, and performing interpolation processing on the composite image data so that the first filter is positioned at all pixel positions.
  • An interpolation step of generating second interpolation image data including information of the second filter for each of the plurality of types of second filters is performed.
  • FIG. 1 is a schematic configuration diagram of an endoscope system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a functional configuration of the endoscope system according to the first embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram illustrating an example of the configuration of the color filter according to the first embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of transmission characteristics of each filter constituting the color filter according to Embodiment 1 of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of spectral characteristics of each light emitted from the light source according to the first embodiment of the present disclosure.
  • FIG. 1 is a schematic configuration diagram of an endoscope system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a functional configuration of the endoscope system according to the first embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram illustrating an example of the configuration of the color filter according to the first embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of spectral characteristics of narrowband light emitted from the light source device according to Embodiment 1 of the present disclosure.
  • FIG. 7 is a flowchart illustrating an outline of processing executed by the processor device according to the first embodiment of the present disclosure.
  • FIG. 8 is a diagram schematically illustrating an image generated by the processor device according to the first embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram illustrating an example of a configuration of a color filter according to the second embodiment of the present disclosure.
  • FIG. 10 is a schematic diagram illustrating an example of a configuration of a color filter according to the second embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating an outline of processing executed by the processor device according to the first embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating an outline of processing executed by the processor device according to the first embodiment of the present disclosure.
  • FIG. 12 is a diagram schematically illustrating an image generated by the processor device according to the first embodiment of the present disclosure.
  • FIG. 13 is a block diagram illustrating a functional configuration of the image processing unit according to the third embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating an outline of processing executed by the processor device according to the first embodiment of the present disclosure.
  • FIG. 15 is a diagram schematically illustrating an image generated by the processor device according to the first embodiment of the present disclosure.
  • FIG. 16 is a flowchart illustrating an outline of processing executed by the processor device according to the first embodiment of the present disclosure.
  • FIG. 17 is a diagram schematically illustrating an image generated by the processor device according to the first embodiment of the present disclosure.
  • FIG. 18 is a schematic diagram illustrating an example of a configuration of a color filter according to a modification example of the first to fourth embodiments of the present disclosure.
  • FIG. 1 is a schematic configuration diagram of an endoscope system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a functional configuration of the endoscope system according to the first embodiment of the present disclosure.
  • the endoscope system 1 shown in FIGS. 1 and 2 is inserted into a subject such as a patient, images the inside of the subject, and outputs an in-vivo image corresponding to the image data to an external display device.
  • a user such as a doctor examines the presence or absence of each of a bleeding site, a tumor site, and an abnormal site, which are detection target sites, by observing the in-vivo images displayed on the display device.
  • the endoscope system 1 includes an endoscope 2, a light source device 3, a processor device 4, and a display device 5.
  • the endoscope 2 captures an observation site of the subject and inserts it into the subject to generate image data.
  • the light source device 3 supplies illumination light emitted from the distal end of the endoscope 2.
  • the processor device 4 performs predetermined image processing on the image data generated by the endoscope 2 and comprehensively controls the operation of the entire endoscope system 1.
  • the display device 5 displays an image corresponding to the image data subjected to image processing by the processor device 4.
  • the endoscope 2 includes an imaging optical system 200, an imaging element 201, a color filter 202, a light guide 203, an illumination lens 204, an A / D conversion unit 205, an imaging information storage unit 206, and an operation unit. 207.
  • the imaging optical system 200 collects at least light from the observation site.
  • the imaging optical system 200 is configured using one or a plurality of lenses.
  • the imaging optical system 200 may be provided with an optical zoom mechanism that changes the angle of view and a focus mechanism that changes the focus.
  • the image pickup element 201 includes pixels (photodiodes) that receive light arranged in a two-dimensional matrix, and generates image data by performing photoelectric conversion on the light received by each pixel.
  • the image sensor 201 is realized using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the color filter 202 is disposed on the light-receiving surface of each pixel of the image sensor 201, and has a plurality of filters that each transmit light of individually set wavelength bands.
  • FIG. 3 is a schematic diagram illustrating an example of the configuration of the color filter 202.
  • the color filter 202 shown in FIG. 3 includes an R filter that transmits light in the red wavelength band, two G filters that transmit light in the green wavelength band, and a B filter that transmits light in the blue wavelength band.
  • a configured Bayer array is formed.
  • the pixel P provided with an R filter that transmits light in the red wavelength band receives light in the red wavelength band.
  • the pixel P that receives light in the red wavelength band is referred to as an R pixel.
  • a pixel P that receives light in the green wavelength band is referred to as a G pixel
  • a pixel P that receives light in the blue wavelength band is referred to as a B pixel
  • a pixel P that receives light in the green wavelength band is referred to as a G pixel.
  • the R pixel, the G pixel, and the B pixel are described as primary color pixels.
  • blue, green and red wavelength bands H B, H G and H R the wavelength band H B is 390 nm ⁇ 500 nm
  • the wavelength band H G is 500 nm ⁇ 600 nm
  • the wavelength band H R is 600 nm ⁇ 700 nm.
  • FIG. 4 is a diagram illustrating an example of the transmission characteristics of each filter constituting the color filter 202.
  • the transmittance curve is standardized in a simulated manner so that the maximum values of the transmittance of each filter are equal.
  • the curve L B represents the transmittance curve of the B filter
  • curve L G represents a transmittance curve of G filters
  • the curve L R represents the transmittance curve of the R filter, also in FIG. 4, the horizontal An axis
  • the B filter transmits light in the wavelength band H B.
  • G filter transmits light in the wavelength band H G.
  • R filter transmits light in the wavelength band H R.
  • the image sensor 201 receives light in a wavelength band corresponding to each filter of the color filter 202.
  • the light guide 203 is configured using glass fiber or the like, and serves as a light guide path for illumination light supplied from the light source device 3.
  • the illumination lens 204 is provided at the tip of the light guide 203.
  • the illumination lens 204 diffuses the light guided by the light guide 203 and emits the light from the distal end of the endoscope 2 to the outside.
  • the illumination lens 204 is configured using one or a plurality of lenses.
  • the A / D conversion unit 205 performs A / D conversion on the analog image data (image signal) generated by the image sensor 201, and outputs the converted digital image data to the processor device 4.
  • the A / D conversion unit 205 is configured using an AD conversion circuit configured by a comparator circuit, a reference signal generation circuit, an amplifier circuit, and the like.
  • the imaging information storage unit 206 stores data including various programs for operating the endoscope 2, various parameters necessary for the operation of the endoscope 2, and identification information of the endoscope 2.
  • the imaging information storage unit 206 includes an identification information storage unit 206a that records identification information.
  • the identification information includes unique information (ID) of the endoscope 2, year type, specification information, transmission method, filter arrangement information in the color filter 202, and the like.
  • the imaging information storage unit 206 is realized using a flash memory or the like.
  • the operation unit 207 receives an input of an instruction signal for switching the operation of the endoscope 2, an instruction signal for causing the light source device to perform an illumination light switching operation, and outputs the received instruction signal to the processor device 4.
  • the operation unit 207 is configured using a switch, a jog dial, a button, a touch panel, and the like.
  • the light source device 3 includes an illumination unit 31 and an illumination control unit 32.
  • the illumination unit 31 supplies illumination light having different wavelength bands to the light guide 203 under the control of the illumination control unit 32.
  • the illumination unit 31 includes a light source 31a, a light source driver 31b, a switching filter 31c, a drive unit 31d, and a drive driver 31e.
  • the light source 31 a emits illumination light under the control of the illumination control unit 32.
  • the illumination light emitted from the light source 31a is emitted from the distal end of the endoscope 2 to the outside via the switching filter 31c, the condenser lens 31f, and the light guide 203.
  • the light source 31a is realized using a plurality of LED lamps or a plurality of laser light sources that irradiate light of different wavelength bands.
  • the light source 31a is configured using three LED lamps, LED 31a_B, LED 31a_G, and LED 31a_R.
  • FIG. 5 is a diagram illustrating an example of spectral characteristics of each light emitted from the light source 31a.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the intensity.
  • a curve L LEDB indicates the spectral characteristic of blue illumination light emitted by the LED 31a_B
  • a curve L LEDG indicates the spectral characteristic of green illumination light irradiated by the LED 31a_G
  • the curve L LEDR is irradiated by the LED 31a_R.
  • the spectral characteristics of red illumination light is spectral characteristics of red illumination light.
  • the LED 31a_B has a peak intensity in a blue wavelength band H B (for example, 380 nm to 480 nm).
  • the LED 31a_G has a peak intensity in a green wavelength band H G (for example, 480 nm to 580 nm).
  • LED31a_R has a peak intensity in the red wavelength band H R (e.g. 580 nm ⁇ 680 nm).
  • the light source driver 31b causes the light source 31a to emit illumination light by supplying a current to the light source 31a under the control of the illumination control unit 32.
  • the switching filter 31c is detachably disposed on the optical path of the illumination light emitted from the light source 31a, and transmits light in a predetermined wavelength band among the illumination light emitted from the light source 31a. Specifically, the switching filter 31c transmits blue narrow band light and green narrow band light. That is, the switching filter 31c transmits two narrow band lights when arranged on the optical path of the illumination light. More specifically, the switching filter 31c includes a narrow band T B (for example, 390 nm to 445 nm) included in the wavelength band H B and a narrow band T G (for example, 530 nm to 550 nm) included in the wavelength band H G. ) And light.
  • T B for example, 390 nm to 445 nm
  • T G for example, 530 nm to 550 nm
  • FIG. 6 is a diagram illustrating an example of spectral characteristics of narrowband light emitted from the light source device 3.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the intensity.
  • FIG. 6 shows the spectral characteristics of the narrow-band light in the narrow band T B to the curve L NB has passed through the switching filter 31c, the spectral narrowband light in a narrow band T G of curve L NG is transmitted through the switching filter 31c Show properties.
  • switching filter 31c passes light that is light and green narrow-band T G blue narrowband T B.
  • the light transmitted through the switching filter 31c is a narrow band illumination light comprising narrowband T B and narrowband T G.
  • These narrow bands T B and TG are wavelength bands of blue light and green light that are easily absorbed by hemoglobin in blood. This observation of an image with narrow-band illumination light is called a narrow-band light observation method (NBI method).
  • the drive unit 31d is configured by using a stepping motor, a DC motor, or the like, and inserts or retracts the switching filter 31c on the optical path of the illumination light emitted from the light source 31a under the control of the illumination control unit 32.
  • the drive unit 31d transmits the illumination light emitted from the light source 31a through the switching filter 31c.
  • the switching filter 31c is inserted (arranged) on the optical path of the illumination light emitted from the light source 31a.
  • the drive driver 31e supplies a predetermined current to the drive unit 31d under the control of the illumination control unit 32.
  • the condensing lens 31 f condenses the illumination light emitted from the light source 31 a and emits it to the light guide 203.
  • the condensing lens 31 f condenses the illumination light transmitted through the switching filter 31 c and emits it to the light guide 203.
  • the condenser lens 31f is configured using one or a plurality of lenses.
  • the illumination control unit 32 is configured using a CPU or the like.
  • the illumination control unit 32 controls the light source driver 31b based on the instruction signal input from the processor device 4 to turn on and off the light source 31a. Further, the illumination control unit 32 controls the drive driver 31e based on the instruction signal input from the processor device 4, and inserts or retracts the switching filter 31c on the optical path of the illumination light emitted from the light source 31a. By doing so, the type (band) of the illumination light emitted from the illumination unit 31 is controlled. Specifically, the illumination control unit 32 individually lights at least two LED lamps of the light source 31a in the case of the frame sequential type, while simultaneously lighting at least two LED lamps of the light source 31a in the case of the simultaneous type. Thus, the illumination light emitted from the illuminating unit 31 is controlled to be switched to either the frame sequential type or the simultaneous type.
  • the processor device 4 performs image processing on the image data received from the endoscope 2 and outputs the processed image data to the display device 5.
  • the processor device 4 includes an image processing unit 41, an input unit 42, a storage unit 43, and a control unit 44.
  • the image processing unit 41 is configured using a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), or the like.
  • the image processing unit 41 performs predetermined image processing on the image data and outputs it to the display device 5. Specifically, the image processing unit 41 performs OB clamp processing, gain adjustment processing, format conversion processing, and the like in addition to the interpolation processing described later.
  • the image processing unit 41 includes a detection unit 411, a generation unit 413, and an interpolation unit 414. In the first embodiment, the image processing unit 41 functions as an image processing apparatus.
  • the detection unit 411 detects the amount of displacement of each pixel between the image data of a plurality of frames generated by the image sensor 201. Specifically, the detection unit 411 uses the past image corresponding to the image data of the past frame and the latest image corresponding to the image data of the reference frame (latest frame) among the plurality of frames, The amount of displacement (motion vector) between the pixels is detected.
  • the synthesis unit 412 uses the information of the pixels in which the first filter of the image data of at least one past frame is arranged as the image of the reference frame (latest frame).
  • Composite image data is generated by combining the data.
  • the composition unit 412 generates a composite image including information of more than 1/2 G pixels by combining the information (pixel values) of G pixels of the past image with the information of G pixels of the latest image. To do.
  • the synthesis unit 412 combines the R pixel information (pixel value) of the past image corresponding to the image data of the past frame with the R pixel information of the latest image corresponding to the image data of the reference frame (latest frame).
  • An image is generated, and combined image data is generated by combining B pixel information (pixel value) of the past image with B pixel information of the latest image.
  • the generation unit 413 generates first interpolation image data including information on the first filter at all pixel positions as reference image data by performing interpolation processing on the combined image data generated by the combining unit 412.
  • the generation unit 413 generates, as a reference image, an interpolation image that includes G pixel information in all pixels by performing an interpolation process for interpolating G pixel information on the combined image generated by the combining unit 412.
  • the interpolation unit 414 refers to the reference image data generated by the generation unit 413 and performs interpolation processing on the image data of the base frame (latest frame), thereby including information on the second filter at all pixel positions. Two pieces of interpolated image data are generated for each of a plurality of types of second filters. Specifically, the interpolation unit 414 performs interpolation processing on each of the R pixel composite image and the B pixel composite image generated by the synthesis unit 412 based on the reference image generated by the generation unit 413. Then, an interpolation image including R pixel information in all pixels and an interpolation image including B pixel information in all pixels are generated.
  • the input unit 42 is configured using a switch, a button, a touch panel, and the like, receives an input of an instruction signal instructing an operation of the endoscope system 1, and outputs the received instruction signal to the control unit 44. Specifically, the input unit 42 receives an input of an instruction signal for switching the method of illumination light emitted by the light source device 3. For example, when the light source device 3 is irradiating illumination light simultaneously, the input unit 42 receives an input of an instruction signal that causes the light source device 3 to emit illumination light in a frame sequential manner.
  • the storage unit 43 is configured using a volatile memory or a non-volatile memory, and stores various types of information related to the endoscope system 1 and programs executed by the endoscope system 1.
  • the control unit 44 is configured using a CPU (Central Processing Unit).
  • the control unit 44 controls each unit constituting the endoscope system 1. For example, the control unit 44 switches the illumination light method irradiated by the light source device 3 based on the instruction signal for switching the illumination light method irradiated by the light source device 3 input from the input unit 42.
  • CPU Central Processing Unit
  • the display device 5 receives the image data generated by the processor device 4 via the video cable and displays an image corresponding to the image data.
  • the display device 5 displays various information related to the endoscope system 1 received from the processor device 4.
  • the display device 5 is configured using a liquid crystal or organic EL (Electro Luminescence) display monitor.
  • FIG. 7 is a flowchart showing an outline of processing executed by the processor device 4.
  • FIG. 8 is a diagram schematically illustrating an image generated by the processor device 4.
  • FIG. 8 in order to simplify the description, a case where one frame (one frame) of image data is used as the image data of the past frame will be described, but the present invention is not limited to this. Each image data may be used. Further, in FIG. 7 and FIG. 8, a case where the light source device 3 supplies white light to the endoscope 2 will be described.
  • control unit 44 drives the light source device 3 from the storage unit 43 when the endoscope 2 is connected to the light source device 3 and the processor device 4 and is ready to start imaging. Then, the observation method and the imaging setting of the endoscope are read, and imaging of the endoscope 2 is started (step S101).
  • the control unit 44 determines whether or not a plurality of frames (for example, two or more frames) of image data are held in the storage unit 43 (step S102).
  • a plurality of frames for example, two or more frames
  • the processor device 4 proceeds to step S104 described later.
  • the processor device 4 proceeds to step S103 described later.
  • step S103 the image processing unit 41 reads one frame of image data from the storage unit 43. Specifically, the image processing unit 41 reads the latest image data from the storage unit 43. After step S103, the processor device 4 proceeds to step S109 described later.
  • step S104 the image processing unit 41 reads image data of a plurality of frames from the storage unit 43. Specifically, the image processing unit 41 reads the image data of the past frame and the image data of the latest frame from the storage unit 43.
  • the detection unit 411 detects the amount of positional deviation between the image data of the past frame and the image data of the latest frame (step S105). Specifically, the detection unit 411 uses the past image corresponding to the image data of the past frame and the latest image corresponding to the image data of the latest frame, and the positional deviation amount between the pixels of the past image and the latest image ( Motion vector) is detected. For example, the detection unit 411 detects the amount of misalignment (motion vector) between two images when performing alignment processing of two images of the past image and the latest image, and the detected misregistration amount disappears. As described above, each pixel is moved and aligned with each pixel of the latest image as a reference.
  • a detection method for detecting the amount of positional deviation detection is performed using a known block matching process.
  • block matching processing an image (latest image) of a reference frame (latest frame) is divided into blocks of a certain size, for example, 8 pixels ⁇ 8 pixels, and a frame (past frame) to be aligned in this block unit. ) And the pixel of the image (past image) are calculated, a block having the smallest sum of absolute values (SAD) of the difference is searched, and the amount of displacement is detected.
  • SAD sum of absolute values
  • the synthesis unit 412 sets the G pixel information (pixel value) of the past image corresponding to the image data of the past frame to the latest corresponding to the image data of the latest frame.
  • the information is combined with information on G pixels of the image (step S106).
  • the latest image P N1 includes 1/2 G pixel information with respect to the entire image.
  • the composition unit 412 can generate a composite image including information of 1/2 or more G pixels by combining the information of G pixels of the past image. For example, as illustrated in FIG.
  • the combining unit 412 combines the information (pixel value) of the G pixel of the past image P F1 with the information of the G pixel of the latest image P G1 so A composite image PG_sum including the above information is generated.
  • the synthesis unit 412 is not limited to this, and the synthesis unit 412 performs G of each image data of a plurality of past frames.
  • the pixel information may be combined with the G pixel information of the latest frame image data.
  • the generation unit 413 performs an interpolation process for interpolating information on G pixels based on the synthesized image PG_sum generated by the synthesis unit 412, thereby using, as a reference image, an interpolation image that includes information on G pixels in all pixels.
  • Generate step S107. Specifically, as illustrated in FIG. 8, the generation unit 413 performs an interpolation process for interpolating G pixel information on the synthesized image PG_sum , thereby interpolating an image P including G pixel information in all pixels.
  • FG1 is generated as a reference image. Since the G pixel originally exists at a half position with respect to the entire image, information is included in the pixel position as compared with the R pixel and the B pixel. Therefore, the generation unit 413 can generate, as a reference image, an interpolated image PFG1 that has been subjected to interpolation processing with high accuracy by known bilinear interpolation processing, direction discrimination interpolation processing, or the like.
  • the synthesis unit 412 sets the R pixel information (pixel value) of the past image corresponding to the image data of the past frame to the latest corresponding to the image data of the latest frame. It generates a composite image of the R pixel by combining the information of the R pixel of the image P R1, and the synthesis of the B pixel by combining the information of the B pixels of the previous image of the B pixel information (pixel value) for the latest image An image is generated (step S108). Specifically, as illustrated in FIG.
  • the combining unit 412 combines the information (pixel value) of the B pixel of the past image P F1 with the information of the B pixel of the latest image P B1 to combine the B pixel composite image PB. It generates _Sum, and to generate a composite image PR _Sum R pixels by combining information of the R pixel of the past image P F1 (pixel value) to the information of the R pixel of the latest image P R1.
  • the interpolation unit 414 based on the reference image generation unit 413 generates, R image and B by performing the interpolation process on each of the composite image PB _Sum composite image PR _Sum and B pixels of the R pixel
  • An interpolated image of R pixels and an interpolated image of B pixels that include information on R pixels and B pixels in all pixels of the image are generated (step S109). Specifically, the interpolation unit 414, as shown in FIG.
  • an interpolated image P FR1 including information on R pixels in all pixels and an interpolated image P FB1 including information on B pixels in all pixels are generated.
  • the interpolation method using the reference image includes known joint bilateral interpolation processing or guided filter interpolation processing. Conventional interpolation processing using a reference image can perform interpolation with high accuracy, but if the correlation between the information to be interpolated and the information in the reference image is low, the information in the reference image is interpolated as the information to be interpolated decreases.
  • the combining unit 412 combines the information of each of the R pixel and the B pixel from the past image before performing the R pixel and B pixel interpolation processing using the reference image. Accordingly, after the information amount of the R pixel and the B pixel is increased, the interpolation unit 414 performs the interpolation process for each of the R pixel and the B pixel, so that the color separation performance can be improved. As a result, a high-resolution image (color image) can be output to the display device 5.
  • the interpolation unit 414 performs a known interpolation process on the latest image corresponding to the latest image data, thereby performing R pixel and G pixel. 3 images of B and B pixels are generated and output to the display device 5.
  • step S110: Yes when an instruction signal for instructing termination is received from the input unit 42 or the operation unit 207 (step S110: Yes), the processor device 4 terminates this processing. On the other hand, when the instruction signal for instructing termination is not received from the input unit 42 or the operation unit 207 (step S110: No), the processor device 4 returns to step S102 described above.
  • the interpolation unit 414 refers to the reference image data generated by the generation unit 413 and performs interpolation processing on the latest image corresponding to the image data of the latest frame. Since the second interpolated image data including the information of the second filter at the pixel position is generated for each of the plurality of types of second filters, a high-resolution image is generated and displayed on the display device 5 even in the simultaneous type. Can be output.
  • FIG. 9 is a schematic diagram illustrating an example of a configuration of a color filter according to the second embodiment of the present disclosure.
  • the color filter 202A shown in FIG. 9 is composed of 16 filters arranged in a 4 ⁇ 4 two-dimensional grid, and each filter is arranged in accordance with the arrangement of the pixels.
  • the color filter 202A transmits light in a wavelength band H R in a blue wavelength band H B of (B), wavelength band H G and red green (G) (R).
  • the color filter 202A includes a R filter transmitting light in a red wavelength band H R, G filter transmitting light in a green wavelength band H G, and B filter which transmits light in a blue wavelength range H B And a Cy filter that transmits light in a blue wavelength band and light in a green wavelength band.
  • the Cy filters are arranged in a checkered pattern at a ratio of 1/2 of the whole (eight), and the G filters are arranged at a ratio of 1/4 of the whole (four).
  • Each of the B and the filter R is arranged at a ratio of 1/8 (two).
  • FIG. 10 is a diagram showing an example of the transmission characteristics of each filter constituting the color filter 202A.
  • the transmittance curves are normalized in a simulated manner so that the maximum values of the transmittances of the filters are equal.
  • the curve L B represents the transmittance curve of the B filter
  • curve L G represents a transmittance curve of G filters
  • the curve L R represents the transmittance curve of the R filter
  • a curve L Cy is Cy filter
  • the transmittance curve is shown.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the transmittance.
  • Cy filter transmits the wavelength band H B and the wavelength band H G each light, light in a wavelength band H R absorbs (shading). That is, the Cy filter transmits light in the cyan wavelength band which is a complementary color.
  • complementary colors refers to the color composed by light including at least two wavelength bands of the wavelength band H B, H G, H R .
  • FIG. 11 is a flowchart showing an outline of processing executed by the processor device 4.
  • FIG. 12 is a diagram schematically illustrating an image generated by the processor device 4.
  • FIG. 12 for the sake of simplification of description, a case where one frame (one frame) of image data is used as the image data of the past frame will be described, but the present invention is not limited to this. Each image data may be used.
  • the light source device 3 supplies narrowband illumination light to the endoscope 2 will be described below.
  • the processor device 4 performs the same processing as in the first embodiment described above, thereby generating R, G, and B images. .
  • steps S201 to S205 correspond to the above-described steps S101 to S105 of FIG.
  • step S206 the synthesis unit 412, based on the positional deviation amount detected by the detection unit 411, the image data of the latest frame information Cy pixel of the past image P F2 (pixel value) corresponding to the image data of the past frame Are combined with information on the Cy pixels of the latest image P Cy1 corresponding to.
  • the synthesis unit 412 is not limited to this, and the synthesis unit 412 may select the Cy of each image data of the plurality of past frames.
  • the pixel information may be combined with the Cy pixel information of the latest frame image data.
  • the generation unit 413 performs an interpolation process for interpolating Cy pixel information on the basis of the composite image generated by the interpolation unit 414, thereby using, as a reference image, an interpolated image including Cy pixel information in all pixels of the image.
  • Generate step S207. Specifically, as illustrated in FIG. 12, the generation unit 413 performs an interpolation process that interpolates Cy pixel information on the synthesized image Cy_sum , thereby interpolating Cy pixel information in all pixels of the image.
  • the image PFcy is generated as a reference image. Since the Cy pixel originally exists at a half position with respect to all the pixels, the Cy pixel includes information at the pixel position as compared with the G pixel and the B pixel. Therefore, the generation unit 413 can generate, as a reference image, an interpolated image P Fcy that has been subjected to interpolation processing with high accuracy by known bilinear interpolation processing, direction discrimination interpolation processing, or the like.
  • the interpolation unit 414 performs interpolation processing on each of the B pixel composite image and the G pixel composite image, thereby performing all the pixels of the B image and the G image.
  • a B pixel interpolation image and a G pixel interpolation image including information on the B pixel and the G pixel are generated (step S208). Specifically, as illustrated in FIG.
  • the interpolation unit 414 includes the reference image (interpolation image P FCy ) generated by the generation unit 413 and the information (image P B2 ) of B pixels included in the latest image P N1 , Interpolation processing is performed using information on the G pixel (image P G2 ) to generate an interpolation image P FB2 of B pixel and an interpolation image P FG2 of G pixel. Cy pixels arranged in a checkered pattern have a high correlation with B pixels and G pixels. Therefore, the interpolation unit 414 performs interpolation processing using a reference image (interpolated image P FCy ) having at least the information amount (pixel value) of the B pixel and the G pixel, while maintaining the color separation performance.
  • a reference image interpolated image P FCy
  • Step S209 corresponds to step S109 of FIG. 7 described above.
  • the interpolation unit 414 performs interpolation processing for each of the B pixel and the G pixel using the Cy pixel reference image (interpolated image P FCy ). Even when the amount of information (pixel value) is small, interpolation processing can be performed with high accuracy while maintaining the color separation performance, so that the color separation performance can be improved and the B and G pixels can be combined. Processing can be omitted.
  • the configuration of the third embodiment is different from that of the image processing unit 401 according to the second embodiment described above. Specifically, in the third embodiment, it is determined whether to generate an interpolated image using the reference image based on the amount of positional deviation.
  • the processing executed by the processor device according to the third embodiment will be described.
  • FIG. 13 is a block diagram illustrating a functional configuration of the image processing unit according to the third embodiment of the present disclosure.
  • An image processing unit 401B illustrated in FIG. 13 further includes a determination unit 415 in addition to the configuration of the image processing unit 401 according to Embodiment 2 described above.
  • the determination unit 415 determines whether or not the displacement amount detected by the detection unit 411 is less than a threshold value.
  • FIG. 14 is a flowchart showing an outline of processing executed by the processor device 4.
  • FIG. 15 is a diagram schematically illustrating an image generated by the processor device 4.
  • the present invention is not limited to this. Each image data may be used.
  • the light source device 3 supplies narrowband illumination light to the endoscope 2 will be described below.
  • the processor device 4 performs the same processing as in the first embodiment described above, thereby generating R, G, and B images. .
  • step S301 to step S305 correspond to each of step S101 to step S105 of FIG. 7 described above.
  • step S306 the determination unit 415 determines whether or not the amount of positional deviation detected by the detection unit 411 is less than a threshold value.
  • the processor device 4 proceeds to step S307 described later.
  • the processor device 4 proceeds to step S308 described later.
  • step S307 the synthesis unit 412, based on the positional deviation amount detected by the detection unit 411, the image data of the latest frame information Cy pixel of the past image P F2 (pixel value) corresponding to the image data of the past frame Are combined with information on the Cy pixels of the latest image P Cy1 corresponding to. Specifically, as illustrated in FIG. 15, the synthesis unit 412 synthesizes Cy pixel information of the past image P F2 with the latest image P Cy1 , thereby including a composite image including information of 1/2 or more Cy pixels. PCy_sum is generated.
  • the processor device 4 proceeds to step S308 to be described later.
  • the synthesis unit 412 is not limited to this, and the synthesis unit 412 includes Cy of each image data of a plurality of past frames. The pixel information may be combined with the Cy pixel information of the latest frame image data.
  • the generation unit 413 performs an interpolation process for interpolating Cy pixel information based on the synthesized image or the latest image generated by the interpolation unit 414, thereby generating an interpolated image that includes Cy pixel information in all pixels of the image.
  • a reference image is generated (step S308). Specifically, when the determination unit 415 determines that the amount of positional deviation detected by the detection unit 411 is less than the threshold, the generation unit 413 generates the composite image Cy_sum when the synthesis unit 412 generates a composite image . On the other hand, by performing an interpolation process for interpolating Cy pixel information, an interpolated image PFCy including Cy pixel information in all pixels of the image is generated as a reference image.
  • the generation unit 413 uses the Cy pixel information (latest image P Cy1 ) of the latest image P N2.
  • Cy pixel information latest image P Cy1
  • an interpolated image P FCy including Cy pixel information in all pixels is generated as a reference image. That is, the generation unit 413 uses image data of only one frame because the resolution is relatively unimportant in the case of a scene with a large amount of motion (amount of positional deviation) during screening of the lesion of the subject using the endoscope 2. To generate a reference image.
  • Step S309 and step S310 correspond to step S209 and step S210 of FIG. 11 described above, respectively.
  • the determining unit 415 determines that the amount of positional deviation detected by the detecting unit 411 is less than the threshold value
  • the generating unit 413 generates the combined image when the combining unit 412 generates the combined image. Since the interpolation processing for interpolating Cy pixel information is performed on the synthesized image Cy_sum to generate the interpolated image P FCy including Cy pixel information in all pixels of the image as a reference image, the above-described embodiment In addition to the second effect, an optimal reference image can be generated according to the amount of motion of the scene, and an output image can be generated without generating artifacts even in a scene with a large motion.
  • FIG. 16 is a flowchart illustrating an outline of processing executed by the processor device.
  • FIG. 17 is a diagram schematically illustrating an image generated by the processor device 4.
  • Image data may be used.
  • the light source device 3 supplies narrowband illumination light to the endoscope 2 will be described below.
  • the processor device 4 performs the same processing as in the first embodiment described above, thereby generating R, G, and B images. .
  • steps S401 to S407 correspond to the above-described steps S101 to S107 of FIG.
  • step S ⁇ b> 408 the generation unit 413 generates an interpolation image including information on Cy pixels in all pixels by performing interpolation processing on the Cy pixels of the latest image corresponding to the image data of the latest frame. Specifically, as illustrated in FIG. 17, the generation unit 413 generates an interpolated image P FCy2 including information on Cy pixels in all pixels by performing an interpolation process on the latest image P Cy1 of Cy pixels. .
  • the generation unit 413 uses the reference image data generated using the composite image data and the reference image generated using the image data of the latest frame (standard frame) based on the positional deviation amount detected by the detection unit 411. New reference image data synthesized by weighting with the data is generated (step S409). Specifically, as illustrated in FIG. 17, the generation unit 413 increases the ratio of the reference image F Cy to the reference image F Cy2 when the amount of positional deviation detected by the detection unit 411 is less than the threshold. Is weighted to generate a reference image PFCy3 .
  • the generation unit 413 when the amount of misalignment detected by the detection unit 411 is less than the threshold, the generation unit 413 combines the ratio of combining the reference image F Cy2 and the reference image F Cy with a weight of 9: 1. PFCy3 is generated.
  • the generation unit 413 when the amount of displacement detected by the detection unit 411 is not less than the threshold value, the generation unit 413 performs weighting so that the ratio of the reference image F Cy to the reference image F Cy2 is small, and the reference image P Fcy3 is generated.
  • Step S410 and Step S411 correspond to Step S109 and Step S110 of FIG. 7, respectively.
  • FIG. 18 is a schematic diagram illustrating an example of a configuration of a color filter according to a modification example of the first to fourth embodiments of the present disclosure.
  • the color filter 202C is composed of 25 filters arranged in a two-dimensional grid of 5 ⁇ 5.
  • the Cy filter is arranged at a ratio (16) of 1/2 or more of the whole, the G filter is arranged by four, the filter B is arranged by four, and the filter R is arranged by two. ing.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the first to fourth embodiments of the present disclosure. For example, some components may be deleted from all the components described in the first to fourth embodiments of the present disclosure described above. Furthermore, the constituent elements described in the first to fourth embodiments of the present disclosure described above may be appropriately combined.
  • the processor device and the light source device are separate, but may be integrally formed.
  • the endoscope system is used.
  • a capsule endoscope, a video microscope for imaging a subject, an imaging function, and an irradiation function for irradiating illumination light are provided.
  • the present invention can also be applied to a mobile phone having a tablet and a tablet terminal having an imaging function.
  • the endoscope system includes a flexible endoscope.
  • an endoscope system including a rigid endoscope, and an industrial endoscope are used. Even an endoscopic system provided can be applied.
  • the endoscope system includes an endoscope that is inserted into a subject.
  • an endoscope system that includes a rigid endoscope, and a sinus cavity
  • an endoscope system such as an endoscope, an electric knife, and an inspection probe can be applied.
  • the “unit” described above can be read as “means”, “circuit”, and the like.
  • the control unit can be read as control means or a control circuit.
  • the program executed by the endoscope system according to the first to fourth embodiments of the present disclosure is a file data in an installable format or an executable format, and is a CD-ROM, a flexible disk (FD), a CD-R, Provided by being recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.
  • a computer-readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, or a flash memory.
  • the program executed by the endoscope system according to Embodiments 1 to 4 of the present disclosure is configured to be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. May be.
  • the program to be executed by the endoscope system according to the first to fourth embodiments of the present disclosure may be provided or distributed via a network such as the Internet.
  • data is transmitted and received in both directions via a cable.
  • the processor device may be an endoscope via a server or the like.
  • a file storing the generated image data may be transmitted over a network.
  • a signal is transmitted from the endoscope to the processor device via the transmission cable.
  • the signal need not be wired, for example, and may be wireless.
  • an image signal or the like may be transmitted from the endoscope to the processor device in accordance with a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)).
  • a predetermined wireless communication standard for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)
  • wireless communication may be performed according to other wireless communication standards.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

同時式であっても、高解像度の画像を生成することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供する。画像処理装置は、検出部（４１１）が検出した位置ずれ量に基づいて、合成画像データを生成する合成部（４１２）と、合成部（４１２）が生成した合成画像データに対して補間処理を行うことによって全画素位置に第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部（４１３）と、参照画像データを参照して、基準フレームの画像データに対して補間処理を行うことによって全画素位置に第２のフィルタの情報を含む第２の補間画像データを、複数種類の第２のフィルタ毎に生成する補間部（４１４）と、を備える。

Description

画像処理装置、内視鏡システム、画像処理方法およびプログラム
　本発明は、内視鏡が撮像した撮像信号に対して画像処理を行う画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。
　従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
　内視鏡装置の撮像方式として、フレーム毎に異なる波長帯域の照明を照射することでカラー情報を取得する面順次式と、撮像素子上に設けたカラーフィルタによりカラー情報を取得する同時式とが用いられている。面順次式は、色分離性能および解像度に優れるが、動的シーンでは色ズレが発生する。これに対して、同時式は、色ズレが発生しないが、色分離性能および解像度において面順次式に対して劣る。
　また、従来の内視鏡装置の観察方式として、白色の照明光（白色光）を用いた白色光観察方式（ＷＬＩ：White　Light　Imaging）と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（狭帯域光）を用いた狭帯域光観察方式（ＮＢＩ：Narrow　Band　Imaging）が広く知られている。白色光観察方式では緑色の波長帯域の信号を輝度信号としてカラー画像を生成し、挟帯域光観察方式では青色の波長帯域の信号を輝度信号として擬似カラー画像を生成する。このうち、狭帯域光観察方式は、生体の粘膜表層に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。このような内視鏡装置の観察方式に関して、白色光観察方式と、狭帯域光観察方式とを切り替えて観察することも知られている。
　上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、撮像素子の受光面上には、一般的にベイヤー配列と呼ばれるカラーフィルタが設けられている。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、その波長帯域の光に応じた色成分の電気信号を生成する。このため、カラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。このような補間処理は、デモザイキング処理と呼ばれる。また、撮像素子の受光面上には、一般的にベイヤー配列と呼ばれるカラーフィルタが設けられている。ベイヤー配列は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の波長帯域の光を透過するフィルタ（以下、「フィルタＲ」、「フィルタＧ」および「フィルタＢ」という）を１つのフィルタ単位（ユニット）として画素毎に配列したものである。
　近年、生体内において、白色光観察方式および狭帯域光観察方式のどちらでも高い解像感を得るために、原色カラーフィルタだけでなく、シアン（Ｃｙ）またはマゼンタ（Ｍｇ）のような補色カラーフィルタ（以下、「フィルタＣｙ」および「フィルタＭｇ」という）を混在させたフィルタ配置の技術が知られている（特許文献１）。この技術によれば、補色画素を混在させることによって、原色画素のみの場合に比べて青色波長帯域の情報を多く取得することができるので、狭帯域光観察方式の場合において毛細血管等の解像度を向上させることができる。
特開２０１５－１１６３２８号公報
　ところで、上述した特許文献１のように原色画素と補色画素が混在したフィルタ配置の撮像素子で撮像された画像データを用いた場合であっても、１フレームの画像データの情報のみに対してデモザイキング処理を施して生成したカラー画像データが面順次式と比べ情報量が不足しているため、解像度が低いという問題点があった。
　本開示は、上記に鑑みてなされたものであって、同時式であっても、高解像度の画像を生成することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置であって、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、を備えることを特徴とする。
　また、本開示に係る画像処理装置は、上記開示において、前記検出部が検出した前記位置ずれ量が閾値未満であるか否かを判定する判定部をさらに備え、前記生成部は、前記判定部によって前記位置ずれ量が閾値未満であると判定された場合、前記合成画像データを用いて前記参照画像データを生成する一方、前記判定部によって前記位置ずれ量が閾値未満でないと判定された場合、前記基準フレームの前記画像データに対して補間処理を行うことによって前記参照画像データを生成することを特徴とする。
　また、本開示に係る画像処理装置は、上記開示において、前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする。
　また、本開示に係る画像処理装置は、上記開示において、前記第１のフィルタは、緑色の波長帯域の光を透過する緑フィルタであることを特徴とする。
　また、本開示に係る画像処理装置は、上記開示において、前記第１のフィルタは、青色の波長帯域の光および緑色の波長帯域の光を透過するシアンフィルタであることを特徴とする。
　また、本開示に係る内視鏡システムは、被検体に挿入可能な内視鏡と、前記内視鏡が接続される画像処理装置と、を備え、前記内視鏡は、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記画像処理装置は、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、を備えることを特徴とする。
　本開示に係る画像処理方法は、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置が実行する画像処理方法であって、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、を含むことを特徴とする。
　本開示に係るプログラムは、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置に、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、を実行させることを特徴とする。
　本開示によれば、原色フィルタと補色フィルタが混在したフィルタ配置の撮像素子で撮像された画像データであっても、高解像度の画像を生成することができるという効果を奏する。
図１は、本開示の実施の形態１に係る内視鏡システムの概略構成図である。 図２は、本開示の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。 図３は、本開示の実施の形態１に係るカラーフィルタの構成の一例を示す模式図である。 図４は、本開示の実施の形態１に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図５は、本開示の実施の形態１に係る光源が出射する各光の分光特性の一例を示す図である。 図６は、本開示の実施の形態１に係る光源装置が出射する狭帯域光の分光特性の一例を示す図である。 図７は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。 図８は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。 図９は、本開示の実施の形態２に係るカラーフィルタの構成の一例を示す模式図である。 図１０は、本開示の実施の形態２に係るカラーフィルタの構成の一例を示す模式図である。 図１１は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。 図１２は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。 図１３は、本開示の実施の形態３に係る画像処理部の機能構成を示すブロック図である。 図１４は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。 図１５は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。 図１６は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。 図１７は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。 図１８は、本開示の実施の形態１～４の変形例に係るカラーフィルタの構成の一例を示す模式図である。
　以下、本開示を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　〔内視鏡システムの構成〕
　図１は、本開示の実施の形態１に係る内視鏡システムの概略構成図である。図２は、本開示の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、患者等の被検体に挿入して被検体の体内を撮像し、この画像データに対応する体内画像を外部の表示装置へ出力する。医者等の使用者は、表示装置で表示された体内画像の観察を行うことによって、検出対象部位である出血部位、腫瘍部位および異常部位それぞれの有無を検査する。
　内視鏡システム１は、内視鏡２と、光源装置３と、プロセッサ装置４と、表示装置５と、を備える。内視鏡２は、被検体に挿入することによって被検体の観察部位を撮像して画像データを生成する。光源装置３は、内視鏡２の先端から出射する照明光を供給する。プロセッサ装置４は、内視鏡２が生成した画像データに所定の画像処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する。表示装置５は、プロセッサ装置４が画像処理を施した画像データに対応する画像を表示する。
　〔内視鏡の構成〕
　まず、内視鏡２の詳細な構成について説明する。
　内視鏡２は、撮像光学系２００と、撮像素子２０１と、カラーフィルタ２０２と、ライトガイド２０３と、照明用レンズ２０４と、Ａ／Ｄ変換部２０５と、撮像情報記憶部２０６と、操作部２０７と、を備える。
　撮像光学系２００は、少なくとも観察部位からの光を集光する。撮像光学系２００は、一または複数のレンズを用いて構成される。なお、撮像光学系２００には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構を設けてもよい。
　撮像素子２０１は、光を受光する画素（フォトダイオード）が２次元マトリックス状に配置されてなり、各画素が受光した光に対して光電変換を行うことによって画像データを生成する。撮像素子２０１は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）やＣＣＤ（Charge　Coupled　Device）等のイメージセンサを用いて実現される。
　カラーフィルタ２０２は、撮像素子２０１の各画素の受光面上に配置されてなり、各々が個別に設定された波長帯域の光を透過する複数のフィルタを有する。
　〔カラーフィルタの構成〕
　図３は、カラーフィルタ２０２の構成の一例を示す模式図である。図３に示すカラーフィルタ２０２は、赤色の波長帯域の光を透過するＲフィルタと、緑色の波長帯域の光を透過する２つのＧフィルタと、青色の波長帯域の光を透過するＢフィルタとによって構成されたベイヤー配列をなす。赤色の波長帯域の光を透過するＲフィルタが設けられた画素Ｐは、赤色の波長帯域の光を受光する。以下、赤色の波長帯域の光を受光する画素ＰをＲ画素という。同様に、緑色の波長帯域の光を受光する画素ＰをＧ画素、青色の波長帯域の光を受光する画素ＰをＢ画素、緑色の波長帯域の光を受光する画素ＰをＧ画素という。なお、以下においては、Ｒ画素、Ｇ画素およびＢ画素が原色画素として説明する。ここで、青色、緑色および赤色の波長帯域ＨＢ，ＨＧおよびＨＲは、波長帯域ＨＢが３９０ｎｍ～５００ｎｍ、波長帯域ＨＧが５００ｎｍ～６００ｎｍ、波長帯域ＨＲが６００ｎｍ～７００ｎｍである。
　〔各フィルタの透過特性〕
　図４は、カラーフィルタ２０２を構成する各フィルタの透過特性の一例を示す図である。なお、図４においては、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図４において、曲線ＬＢがＢフィルタの透過率曲線を示し、曲線ＬＧがＧフィルタの透過率曲線を示し、曲線ＬＲがＲフィルタの透過率曲線を示し、また、図４において、横軸が波長（ｎｍ）を示し、縦軸が透過率（感度）を示す。
　図４に示すように、Ｂフィルタは、波長帯域ＨＢの光を透過する。Ｇフィルタは、波長帯域ＨＧの光を透過する。Ｒフィルタは、波長帯域ＨＲの光を透過する。このように、撮像素子２０１は、カラーフィルタ２０２の各フィルタに応じた波長帯域の光を受光する。
　図１および図２に戻り、内視鏡システム１の構成の説明を続ける。
　ライトガイド２０３は、グラスファイバ等を用いて構成され、光源装置３から供給された照明光の導光路をなす。
　照明用レンズ２０４は、ライトガイド２０３の先端に設けられる。照明用レンズ２０４は、ライトガイド２０３によって導光された光を拡散して内視鏡２の先端から外部に出射する。照明用レンズ２０４は、一または複数のレンズを用いて構成される。
　Ａ／Ｄ変換部２０５は、撮像素子２０１が生成したアナログの画像データ（画像信号）をＡ／Ｄ変換し、この変換したデジタルの画像データをプロセッサ装置４へ出力する。Ａ／Ｄ変換部２０５は、コンパレータ回路、参照信号生成回路およびアンプ回路等で構成されたＡＤ変換回路を用いて構成される。
　撮像情報記憶部２０６は、内視鏡２を動作させるための各種プログラム、内視鏡２の動作に必要な各種パラメータおよび内視鏡２の識別情報を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記録する識別情報記憶部２０６ａを有する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、伝送方式およびカラーフィルタ２０２におけるフィルタの配列情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。
　操作部２０７は、内視鏡２の動作を切り替える指示信号や光源装置に照明光の切替動作を行わせるための指示信号等の入力を受け付け、この受け付けた指示信号をプロセッサ装置４へ出力する。操作部２０７は、スイッチ、ジョグダイヤル、ボタンおよびタッチパネル等を用いて構成される。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。
　照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる照明光をライトガイド２０３へ供給する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、切替フィルタ３１ｃと、駆動部３１ｄと、駆動ドライバ３１ｅと、を有する。
　光源３１ａは、照明制御部３２の制御のもと、照明光を出射する。光源３１ａが出射した照明光は、切替フィルタ３１ｃや、集光レンズ３１ｆおよびライトガイド２０３を経由して内視鏡２の先端から外部に出射される。光源３１ａは、互いに異なる波長帯域の光を照射する複数のＬＥＤランプまたは複数のレーザ光源を用いて実現される。例えば、光源３１ａは、ＬＥＤ３１ａ＿Ｂ、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒの３つのＬＥＤランプを用いて構成される。
　図５は、光源３１ａが出射する各光の分光特性の一例を示す図である。図５において、横軸が波長を示し、縦軸が強度を示す。図５において、曲線ＬＬＥＤＢがＬＥＤ３１ａ＿Ｂによって照射される青色の照明光の分光特性を示し、曲線ＬＬＥＤＧがＬＥＤ３１ａ＿Ｇによって照射される緑色の照明光の分光特性を示し、曲線ＬＬＥＤＲがＬＥＤ３１ａ＿Ｒによって照射される赤色の照明光の分光特性を示す。
　図５の曲線ＬＬＥＤＢに示すように、ＬＥＤ３１ａ＿Ｂは、青色の波長帯域ＨＢ（例えば３８０ｎｍ～４８０ｎｍ）にピーク強度を有する。また、図５の曲線ＬＬＥＤＧに示すように、ＬＥＤ３１ａ＿Ｇは、緑色の波長帯域ＨＧ（例えば４８０ｎｍ～５８０ｎｍ）にピーク強度を有する。さらに、図５の曲線ＬＬＥＤＲに示すように、ＬＥＤ３１ａ＿Ｒは、赤色の波長帯域ＨＲ（例えば５８０ｎｍ～６８０ｎｍ）にピーク強度を有する。
　図１および図２に戻り、内視鏡システム１の構成の説明を続ける。
　光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することによって、光源３１ａに照明光を出射させる。
　切替フィルタ３１ｃは、光源３１ａが出射する照明光の光路上に挿脱自在に配置されてなり、光源３１ａが出射した照明光のうち所定の波長帯域の光を透過する。具体的には、切替フィルタ３１ｃは、青色の狭帯域光および緑色の狭帯域光を透過する。即ち、切替フィルタ３１ｃは、照明光の光路上に配置された場合、２つの狭帯域光を透過する。より具体的には、切替フィルタ３１ｃは、波長帯域ＨＢに含まれる狭帯域ＴＢ（例えば、３９０ｎｍ～４４５ｎｍ）の光と、波長帯域ＨＧに含まれる狭帯域ＴＧ（例えば、５３０ｎｍ～５５０ｎｍ）の光と、を透過する。
　図６は、光源装置３が出射する狭帯域光の分光特性の一例を示す図である。図６において、横軸が波長を示し、縦軸が強度を示す。また、図６において、曲線ＬＮＢが切替フィルタ３１ｃを透過した狭帯域ＴＢにおける狭帯域光の分光特性を示し、曲線ＬＮＧが切替フィルタ３１ｃを透過した狭帯域ＴＧにおける狭帯域光の分光特性を示す。
　図６の曲線ＬＮＢおよび曲線ＬＮＧに示すように、切替フィルタ３１ｃは、青色の狭帯域ＴＢの光および緑色の狭帯域ＴＧの光を透過する。切替フィルタ３１ｃを透過した光は、狭帯域ＴＢおよび狭帯域ＴＧからなる狭帯域照明光となる。この狭帯域ＴＢ，ＴＧは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。この狭帯域照明光による画像の観察を狭帯域光観察方式（ＮＢＩ方式）という。
　図１および図２に戻り、内視鏡システム１の構成の説明を続ける。
　駆動部３１ｄは、ステッピングモータやＤＣモータ等を用いて構成され、照明制御部３２の制御のもと、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入または光路上から退避させる。具体的には、駆動部３１ｄは、照明制御部３２の制御のもと、内視鏡システム１が白色光観察方式（ＷＬＩ方式）を行う場合、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上から退避させる一方、内視鏡システム１が狭帯域光観察方式（ＮＢＩ方式）を行う場合、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入（配置）する。
　駆動ドライバ３１ｅは、照明制御部３２の制御のもと、駆動部３１ｄに所定の電流を供給する。
　集光レンズ３１ｆは、光源３１ａが発した照明光を集光してライトガイド２０３へ出射する。また、集光レンズ３１ｆは、切替フィルタ３１ｃを透過した照明光を集光してライトガイド２０３へ出射する。集光レンズ３１ｆは、一または複数のレンズを用いて構成される。
　照明制御部３２は、ＣＰＵ等を用いて構成される。照明制御部３２は、プロセッサ装置４から入力される指示信号に基づいて、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させる。また、照明制御部３２は、プロセッサ装置４から入力される指示信号に基づいて、駆動ドライバ３１ｅを制御して切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入したり、退避させたりすることによって、照明部３１が出射する照明光の種類（帯域）を制御する。具体的には、照明制御部３２は、面順次式の場合、光源３１ａの少なくとも２つのＬＥＤランプを個別に点灯させる一方、同時式の場合、光源３１ａの少なくとも２つのＬＥＤランプを同時に点灯させることによって、照明部３１から出射される照明光を、面順次式および同時式のいずれか一方に切り替える制御を行う。
　〔プロセッサ装置の構成〕
　次に、プロセッサ装置４の構成について説明する。
　プロセッサ装置４は、内視鏡２から受信した画像データに対して画像処理を行って表示装置５へ出力する。プロセッサ装置４は、画像処理部４１と、入力部４２と、記憶部４３と、制御部４４と、を備える。
　画像処理部４１は、ＧＰＵ（Graphics　Processing　Unit）やＦＰＧＡ（Field　Programmable　Gate　Array）等を用いて構成される。画像処理部４１は、画像データに対して所定の画像処理を行って表示装置５へ出力する。具体的には、画像処理部４１は、後述する補間処理の他に、ＯＢクランプ処理、ゲイン調整処理およびフォーマット変換処理等を行う。画像処理部４１は、検出部４１１と、生成部４１３と、補間部４１４と、を有する。なお、実施の形態１では、画像処理部４１が画像処理装置として機能する。
　検出部４１１は、撮像素子２０１が生成した複数フレームの画像データ間の各画素の位置ずれ量を検出する。具体的には、検出部４１１は、複数フレームのうち過去フレームの画像データに対応する過去画像と基準フレーム（最新フレーム）の画像データに対応する最新画像とを用いて、過去画像と最新画像との画素間の位置ずれ量（動きベクトル）を検出する。
　合成部４１２は、検出部４１１が検出した位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの画像データの第１のフィルタが配置された画素の情報を、基準フレーム（最新フレーム）の画像データに合成して合成画像データを生成する。具体的には、合成部４１２は、過去画像のＧ画素の情報（画素値）を最新画像のＧ画素の情報に合成することによって、１／２以上のＧ画素の情報を含む合成画像を生成する。また、合成部４１２は、過去フレームの画像データに対応する過去画像のＲ画素の情報（画素値）を基準フレーム（最新フレーム）の画像データに対応する最新画像のＲ画素の情報に合成した合成画像を生成し、かつ、過去画像のＢ画素の情報（画素値）を最新画像のＢ画素の情報に合成した合成画像データを生成する。
　生成部４１３は、合成部４１２が生成した合成画像データに対して補間処理を行うことによって全画素位置に第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する。生成部４１３は、合成部４１２が生成した合成画像に対して、Ｇ画素の情報を補間する補間処理を行うことによって全画素にＧ画素の情報を含む補間画像を参照画像として生成する。
　補間部４１４は、生成部４１３が生成した参照画像データを参照して、基準フレーム（最新フレーム）の画像データに対して補間処理を行うことによって全画素位置に第２のフィルタの情報を含む第２の補間画像データを、複数種類の第２のフィルタ毎に生成する。具体的には、補間部４１４は、生成部４１３が生成した参照画像に基づいて、合成部４１２が生成したＲ画素の合成画像およびＢ画素の合成画像の各々に対して補間処理を行うことによって、全画素にＲ画素の情報を含む補間画像および全画素にＢ画素の情報を含む補間画像の各々を生成する。
　入力部４２は、スイッチ、ボタンおよびタッチパネル等を用いて構成され、内視鏡システム１の動作を指示する指示信号の入力を受け付け、この受け付けた指示信号を制御部４４へ出力する。具体的には、入力部４２は、光源装置３が照射する照明光の方式を切り替える指示信号の入力を受け付ける。例えば、入力部４２は、光源装置３が同時式で照明光を照射している場合、光源装置３に面順次式で照明光を照射させる指示信号の入力を受け付ける。
　記憶部４３は、揮発性メモリや不揮発性メモリを用いて構成され、内視鏡システム１に関する各種情報や内視鏡システム１が実行するプログラムを記憶する。
　制御部４４は、ＣＰＵ（Central　Processing　Unit）を用いて構成される。制御部４４は、内視鏡システム１を構成する各部を制御する。例えば、制御部４４は、入力部４２から入力された光源装置３が照射する照明光の方式を切り替える指示信号に基づいて、光源装置３が照射する照明光の方式を切り替える。
　〔表示装置の構成〕
　次に、表示装置５の構成について説明する。
　表示装置５は、映像ケーブルを経由してプロセッサ装置４が生成した画像データを受信し、この画像データに対応する画像を表示する。また、表示装置５は、プロセッサ装置４から受信した内視鏡システム１に関する各種情報を表示する。表示装置５は、液晶または有機ＥＬ（Electro　Luminescence）の表示モニタ等を用いて構成される。
　〔プロセッサ装置の処理〕
　次に、プロセッサ装置４が実行する処理について説明する。図７は、プロセッサ装置４が実行する処理の概要を示すフローチャートである。図８は、プロセッサ装置４が生成する画像を模式的に示す図である。なお、図８においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、図７および図８においては、光源装置３は、白色光を内視鏡２に供給する場合について説明する。
　図７に示すように、まず、制御部４４は、内視鏡２が光源装置３およびプロセッサ装置４に接続され、撮像を開始する準備が整った場合、記憶部４３から光源装置３の駆動方法および観察方式および内視鏡の撮像設定の読込を行い、内視鏡２の撮影を開始する（ステップＳ１０１）。
　続いて、制御部４４は、記憶部４３に複数フレーム（例えば２フレーム以上）の画像データが保持されているか否かを判断する（ステップＳ１０２）。制御部４４によって記憶部４３に複数フレームの画像データが保持されていると判断された場合（ステップＳ１０２：Ｙｅｓ）、プロセッサ装置４は、後述するステップＳ１０４へ移行する。これに対して、制御部４４によって記憶部４３に複数フレームの画像データが保持されていないと判断された場合（ステップＳ１０２：Ｎｏ）、プロセッサ装置４は、後述するステップＳ１０３へ移行する。
　ステップＳ１０３において、画像処理部４１は、記憶部４３から１フレームの画像データの読込を行う。具体的には、画像処理部４１は、記憶部４３から最新の画像データの読込を行う。ステップＳ１０３の後、プロセッサ装置４は、後述するステップＳ１０９へ移行する。
　ステップＳ１０４において、画像処理部４１は、記憶部４３から複数フレームの画像データの読込を行う。具体的には、画像処理部４１は、記憶部４３から過去フレームの画像データと最新フレームの画像データとの読込を行う。
　続いて、検出部４１１は、過去フレームの画像データと最新フレームの画像データとの位置ずれ量を検出する（ステップＳ１０５）。具体的には、検出部４１１は、過去フレームの画像データに対応する過去画像と最新フレームの画像データに対応する最新画像とを用いて、過去画像と最新画像との画素間の位置ずれ量（動きベクトル）を検出する。例えば、検出部４１１は、過去画像と最新画像の２枚の画像の位置合わせ処理を行う場合、２枚の画像間の位置ずれ量（動きベクトル）を検出し、この検出した位置ずれ量がなくなるように各画素を移動させながら基準となる最新画像の各画素に位置合わせを行う。ここで、位置ずれ量を検出する検出方法として、既知のブロックマッチング処理を用いて検出する。ブロックマッチング処理は、基準となるフレーム（最新フレーム）の画像（最新画像）を一定の大きさのブロック、例えば８画素×８画素に分割し、このブロック単位で位置合わせ対象となるフレーム（過去フレーム）の画像（過去画像）の画素との差を算出し、この差の絶対値の和（ＳＡＤ）が最小となるブロックを探索し、位置ずれ量を検出する。
　その後、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像のＧ画素の情報（画素値）を最新フレームの画像データに対応する最新画像のＧ画素の情報に合成する（ステップＳ１０６）。具体的には、図８に示すように、最新画像ＰＮ１は、画像全体に対して１／２のＧ画素の情報を含む。このため、合成部４１２は、過去画像のＧ画素の情報を合成することによって、１／２以上のＧ画素の情報を含む合成画像を生成することができる。例えば、図８に示すように、合成部４１２は、過去画像ＰＦ１のＧ画素の情報（画素値）を最新画像ＰＧ１のＧ画素の情報に合成することによって、１／２以上のＧ画素の情報を含む合成画像ＰＧ_ｓｕｍを生成する。なお、図８では、説明を簡略化するため、過去画像が１フレームのみの場合について説明したが、これに限定されることなく、合成部４１２は、複数の過去フレームの各々の画像データのＧ画素の情報を最新フレーム画像データのＧ画素の情報に合成してもよい。
　続いて、生成部４１３は、合成部４１２が生成した合成画像ＰＧ_ｓｕｍに基づいて、Ｇ画素の情報を補間する補間処理を行うことによって全画素にＧ画素の情報を含む補間画像を参照画像として生成する（ステップＳ１０７）。具体的には、図８に示すように、生成部４１３は、合成画像ＰＧ_ｓｕｍに対して、Ｇ画素の情報を補間する補間処理を行うことによって全画素にＧ画素の情報を含む補間画像ＰＦＧ１を参照画像として生成する。Ｇ画素は、もともと画像全体に対して１／２の位置に存在しているため、Ｒ画素やＢ画素に比べて、画素位置に情報を含む状態となっている。このため、生成部４１３は、既知のバイリニア補間処理や方向判別補間処理等によって高精度に補間処理を行った補間画像ＰＦＧ１を参照画像として生成することができる。
　その後、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像のＲ画素の情報（画素値）を最新フレームの画像データに対応する最新画像ＰＲ１のＲ画素の情報に合成してＲ画素の合成画像を生成し、かつ、過去画像のＢ画素の情報（画素値）を最新画像のＢ画素の情報に合成してＢ画素の合成画像を生成する（ステップＳ１０８）。具体的には、図８に示すように、合成部４１２は、過去画像ＰＦ１のＢ画素の情報（画素値）を最新画像ＰＢ１のＢ画素の情報に合成してＢ画素の合成画像ＰＢ_ｓｕｍを生成し、かつ、過去画像ＰＦ１のＲ画素の情報（画素値）を最新画像ＰＲ１のＲ画素の情報に合成してＲ画素の合成画像ＰＲ_ｓｕｍを生成する。
　続いて、補間部４１４は、生成部４１３が生成した参照画像に基づいて、Ｒ画素の合成画像ＰＲ_ｓｕｍおよびＢ画素の合成画像ＰＢ_ｓｕｍの各々に対して補間処理を行うことによってＲ画像およびＢ画像の全画素にＲ画素およびＢ画素の情報を含むＲ画素の補間画像およびＢ画素の補間画像を生成する（ステップＳ１０９）。具体的には、補間部４１４は、図８に示すように、生成部４１３が生成した参照画像（補間画像ＰＦＧ）に基づいて、合成画像ＰＲ_ｓｕｍおよび合成画像ＰＢ_ｓｕｍの各々に対して補間処理を行うことによって、全画素にＲ画素の情報を含む補間画像ＰＦＲ１、および全画素にＢ画素の情報を含む補間画像ＰＦＢ１を生成する。ここで、参照画像を用いた補間方法としては、既知のジョイントバイラテラル補間処理またはガイデッドフィルタ補間処理等である。従来の参照画像を用いた補間処理は、高精度に補間を行うことができるが、補間対象の情報と参照画像の情報の相関が低い場合、補間対象の情報が少ないほど参照画像の情報が補間画像に混入してしまい、色分離性能が悪くなる問題点があった。これに対して、実施の形態１によれば、参照画像を用いてＲ画素およびＢ画素の補間処理を行う前に、合成部４１２が過去画像からＲ画素およびＢ画素の各々の情報を合成することによって、Ｒ画素およびＢ画素の情報量を増加させた状態にした後に、補間部４１４がＲ画素およびＢ画素の各々の補間処理を行うので、色分離性能を向上させることができる。この結果、高解像度の画像（カラー画像）を表示装置５へ出力することができる。なお、補間部４１４は、記憶部４３に過去フレームの画像データが記憶されていない場合、最新の画像データに対応する最新画像に対して、周知の補間処理を行うことによって、Ｒ画素、Ｇ画素およびＢ画素の各々の３色の画像を生成して表示装置５へ出力する。
　その後、入力部４２または操作部２０７から終了を指示する指示信号を受信した場合（ステップＳ１１０：Ｙｅｓ）、プロセッサ装置４は、本処理を終了する。これに対して、入力部４２または操作部２０７から終了を指示する指示信号を受信していない場合（ステップＳ１１０：Ｎｏ）、プロセッサ装置４は、上述したステップＳ１０２へ戻る。
　以上説明した実施の形態１によれば、補間部４１４が生成部４１３によって生成された参照画像データを参照して、最新フレームの画像データに対応する最新画像に対して補間処理を行うことによって全画素位置に第２のフィルタの情報を含む第２の補間画像データを、複数種類の第２のフィルタ毎に生成するので、同時式であっても、高解像度の画像を生成して表示装置５へ出力することができる。
（実施の形態２）
　次に、本開示の実施の形態２について説明する。実施の形態２は、上述した実施の形態１に係るカラーフィルタ２０２と構成が異なる。以下においては、実施の形態２のカラーフィルタの構成を説明後、実施の形態２に係るプロセッサ装置が実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
　〔カラーフィルタの構成〕
　図９は、本開示の実施の形態２に係るカラーフィルタの構成の一例を示す模式図である。図９に示すカラーフィルタ２０２Ａは、４×４で２次元格子状に並べられた１６個のフィルタからなり、各フィルタを画素の配置に応じて並べられて配置したものである。カラーフィルタ２０２Ａは、青色（Ｂ）の波長帯域ＨＢ、緑色（Ｇ）の波長帯域ＨＧおよび赤色（Ｒ）の波長帯域ＨＲの光を透過する。また、カラーフィルタ２０２Ａは、赤色の波長帯域ＨＲの光を透過するＲフィルタと、緑色の波長帯域ＨＧの光を透過するＧフィルタ、青色の波長帯域ＨＢの光を透過するＢフィルタと、青色の波長帯域の光および緑色の波長帯域の光を透過するＣｙフィルタを有する。具体的には、カラーフィルタ２０２Ａは、Ｃｙフィルタが全体の１／２の割合（８つ）で市松状に配置され、Ｇフィルタが全体の１／４の割合（４つ）で配置され、フィルタＢよびフィルタＲの各々が１／８（２つ）の割合で配置されている。
　〔各フィルタの透過特性〕
　次に、カラーフィルタ２０２Ａを構成する各フィルタの透過特性について説明する。図１０は、カラーフィルタ２０２Ａを構成する各フィルタの透過特性の一例を示す図である。図１０において、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図１０において、曲線ＬＢがＢフィルタの透過率曲線を示し、曲線ＬＧがＧフィルタの透過率曲線を示し、曲線ＬＲがＲフィルタの透過率曲線を示し、曲線ＬＣｙがＣｙフィルタの透過率曲線を示す。また、図１０において、横軸が波長を示し、縦軸が透過率を示す。
　図１０に示すように、Ｃｙフィルタは、波長帯域ＨＢおよび波長帯域ＨＧそれぞれの光を透過し、波長帯域ＨＲの光を吸収（遮光）する。即ち、Ｃｙフィルタは、補色であるシアン色の波長帯域の光を透過する。なお、本明細書において、補色とは、波長帯域ＨＢ，ＨＧ，ＨＲのうち少なくとも二つの波長帯域を含む光により構成される色のことをいう。
　〔プロセッサ装置の処理〕
　次に、プロセッサ装置４が実行する処理について説明する。図１１は、プロセッサ装置４が実行する処理の概要を示すフローチャートである。図１２は、プロセッサ装置４が生成する画像を模式的に示す図である。なお、図１２においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置３が狭帯域照明光を内視鏡２へ供給する場合について説明する。なお、光源装置３が白色光を内視鏡２へ供給する場合、プロセッサ装置４は、上述した実施の形態１と同様の処理を行うことによって、Ｒ、ＧおよびＢ画像それぞれの画像を生成する。
　図１１において、ステップＳ２０１～ステップＳ２０５は、上述した図７のステップＳ１０１～ステップＳ１０５の各々に対応する。
　ステップＳ２０６において、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像ＰＦ２のＣｙ画素の情報（画素値）を最新フレームの画像データに対応する最新画像ＰＣｙ１のＣｙ画素の情報に合成する。最新画像ＰＮ２は、画像全体に対して１／２のＣｙ画素の情報を含む。このため、図１２に示すように、合成部４１２は、過去画像ＰＦ２のＣｙ画素の情報を最新画像ＰＣｙ１に合成することによって、１／２以上のＣｙ画素の情報を含む合成画像ＰＣｙ＿ｓｕｍを生成することができる。なお、図１２では、説明を簡略化するため、過去画像が１フレームのみの場合について説明したが、これに限定されることなく、合成部４１２は、複数の過去フレームの各々の画像データのＣｙ画素の情報を最新フレーム画像データのＣｙ画素の情報に合成してもよい。
　続いて、生成部４１３は、補間部４１４が生成した合成画像に基づいて、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像を参照画像として生成する（ステップＳ２０７）。具体的には、図１２に示すように、生成部４１３は、合成画像Ｃｙ_ｓｕｍに対して、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像ＰＦＣｙを参照画像として生成する。Ｃｙ画素は、もともと全画素に対して１／２の位置に存在しているため、Ｇ画素やＢ画素に比べて、画素位置に情報を含む状態となっている。このため、生成部４１３は、既知のバイリニア補間処理や方向判別補間処理等によって高精度に補間処理を行った補間画像ＰＦｃｙを参照画像として生成することができる。
　続いて、補間部４１４は、生成部４１３が生成した参照画像に基づいて、Ｂ画素の合成画像およびＧ画素の合成画像の各々に対して補間処理を行うことによってＢ画像およびＧ画像の全画素にＢ画素およびＧ画素の情報を含むＢ画素の補間画像およびＧ画素の補間画像を生成する（ステップＳ２０８）。具体的には、図１２に示すように、補間部４１４は、生成部４１３が生成した参照画像（補間画像ＰＦＣｙ）と最新画像ＰＮ１に含まれるＢ画素の情報（画像ＰＢ２）と、Ｇ画素（画像ＰＧ２）の情報とを用いて、補間処理を行うことによってＢ画素の補間画像ＰＦＢ２およびＧ画素の補間画像ＰＦＧ２を生成する。市松状に配置されたＣｙ画素は、Ｂ画素およびＧ画素と相関が高い。このため、補間部４１４は、Ｂ画素およびＧ画素の情報量（画素値）が少なくとも、Ｃｙ画素の参照画像（補間画像ＰＦＣｙ）を用いて補間処理を行うことによって、色分離性能を保ちながら高精度に補間処理を行うことができる。これにより、内視鏡システム１は、内視鏡２が狭帯域光観察方式を行った場合、高解像度の画像を出力することができる。ステップＳ２０８の後、プロセッサ装置４は、ステップＳ２０９へ移行する。ステップＳ２０９は、上述した図７のステップＳ１０９に対応する。
　以上説明した実施の形態２によれば、補間部４１４がＣｙ画素の参照画像（補間画像ＰＦＣｙ）を用いてＢ画素およびＧ画素の各々の補間処理を行うことによって、Ｂ画素およびＧ画素の情報量（画素値）が少ない場合であっても、色分離性能を保ちながら高精度に補間処理を行うことができるので、色分離性能を向上させることができるうえ、Ｂ画素およびＧ画素の合成処理の省略化を行うことができる。
（実施の形態３）
　次に、本開示の実施の形態３について説明する。実施の形態３は、上述した実施の形態２に係る画像処理部４０１と構成が異なる。具体的には、実施の形態３では、位置ずれ量に基づいて、参照画像を用いた補間画像を生成するか否かを判定する。以下においては、実施の形態３に係る画像処理部の構成を説明後、実施の形態３に係るプロセッサ装置が実行する処理について説明する。
　図１３は、本開示の実施の形態３に係る画像処理部の機能構成を示すブロック図である。図１３に示す画像処理部４０１Ｂは、上述した実施の形態２に係る画像処理部４０１の構成に加えて、判定部４１５をさらに備える。
　判定部４１５は、検出部４１１が検出した位置ずれ量が閾値未満であるか否かを判定する。
　〔プロセッサ装置の処理〕
　次に、プロセッサ装置４が実行する処理について説明する。図１４は、プロセッサ装置４が実行する処理の概要を示すフローチャートである。図１５は、プロセッサ装置４が生成する画像を模式的に示す図である。なお、図１５においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置３が狭帯域照明光を内視鏡２へ供給する場合について説明する。なお、光源装置３が白色光を内視鏡２へ供給する場合、プロセッサ装置４は、上述した実施の形態１と同様の処理を行うことによって、Ｒ、ＧおよびＢ画像それぞれの画像を生成する。
　図１４において、ステップＳ３０１～ステップＳ３０５は、上述した図７のステップＳ１０１～ステップＳ１０５の各々に対応する。
　ステップＳ３０６において、判定部４１５は、検出部４１１によって検出された位置ずれ量が閾値未満であるか否かを判定する。判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満であると判定した場合（ステップＳ３０６：Ｙｅｓ）、プロセッサ装置４は、後述するステップＳ３０７へ移行する。これに対して、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満でないと判定された場合（ステップＳ３０６：Ｎｏ）、プロセッサ装置４は、後述するステップＳ３０８へ移行する。
　ステップＳ３０７において、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像ＰＦ２のＣｙ画素の情報（画素値）を最新フレームの画像データに対応する最新画像ＰＣｙ１のＣｙ画素の情報に合成する。具体的には、図１５に示すように、合成部４１２は、過去画像ＰＦ２のＣｙ画素の情報を最新画像ＰＣｙ１に合成することによって、１／２以上のＣｙ画素の情報を含む合成画像ＰＣｙ＿ｓｕｍを生成する。ステップＳ３０７の後、プロセッサ装置４は、後述するステップＳ３０８へ移行する。なお、図１５では、説明を簡略化するため、過去画像が１フレームのみの場合について説明したが、これに限定されることなく、合成部４１２は、複数の過去フレームの各々の画像データのＣｙ画素の情報を最新フレーム画像データのＣｙ画素の情報に合成してもよい。
　続いて、生成部４１３は、補間部４１４が生成した合成画像または最新画像に基づいて、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像を参照画像として生成する（ステップＳ３０８）。具体的には、生成部４１３は、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満であると判定した場合において、合成部４１２が合成画像を生成したとき、合成画像Ｃｙ_ｓｕｍに対して、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像ＰＦＣｙを参照画像として生成する。これに対して、生成部４１３は、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満でないと判定した場合において、最新画像ＰＮ２のＣｙ画素の情報（最新画像ＰＣｙ１）に対して、Ｃｙ画素の情報を補間する補間処理を行うことによって全画素にＣｙ画素の情報を含む補間画像ＰＦＣｙを参照画像として生成する。即ち、生成部４１３は、内視鏡２による被検体の病変のスクリーニング時等の動き量（位置ずれ量）が大きいシーンの場合、解像度が比較的重要でないため、１フレームのみの画像データを用いて参照画像を生成する。
　ステップＳ３０９およびステップＳ３１０は、上述した図１１のステップＳ２０９およびステップＳ２１０それぞれに対応する。
　以上説明した実施の形態３によれば、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満であると判定した場合において、合成部４１２が合成画像を生成したとき、生成部４１３が合成画像Ｃｙ_ｓｕｍに対して、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像ＰＦＣｙを参照画像として生成するので、上述した実施の形態２の効果に加えて、シーンの動き量に応じて最適な参照画像の生成が可能となり、動きの大きいシーンであっても、アーティファクトが発生させることなく、出力画像を生成することができる。
（実施の形態４）
　次に、本開示の実施の形態４について説明する。上述した実施の形態２では、位置ずれ量に基づいて、過去画像のＣｙ画素の情報と最新画像のＣｙ画素の情報とを単に合成していたが、実施の形態４では、位置ずれ量に基づいて合成する際の重み付けを行って合成する。以下において、実施の形態４に係るプロセッサ装置が実行する処理について説明する。なお、上述した実施の形態２に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔プロセッサ装置の処理〕
　図１６は、プロセッサ装置が実行する処理の概要を示すフローチャートである。図１７は、プロセッサ装置４が生成する画像を模式的に示す図である。図１７においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置３が狭帯域照明光を内視鏡２へ供給する場合について説明する。なお、光源装置３が白色光を内視鏡２へ供給する場合、プロセッサ装置４は、上述した実施の形態１と同様の処理を行うことによって、Ｒ、ＧおよびＢ画像それぞれの画像を生成する。
　図１６において、ステップＳ４０１～ステップＳ４０７は、上述した図７のステップＳ１０１～ステップＳ１０７それぞれに対応する。
　ステップＳ４０８において、生成部４１３は、最新フレームの画像データに対応する最新画像のＣｙ画素に対して、補間処理を行うことによって全画素にＣｙ画素の情報を含む補間画像を生成する。具体的には、図１７に示すように、生成部４１３は、Ｃｙ画素の最新画像ＰＣｙ１に対して、補間処理を行うことによって全画素にＣｙ画素の情報を含む補間画像ＰＦＣｙ２を生成する。
　続いて、生成部４１３は、検出部４１１が検出した位置ずれ量に基づいて、合成画像データを用いて生成した参照画像データと、最新フレーム（基準フレーム）の画像データを用いて生成した参照画像データとの重み付けを行って合成した新たな参照画像データを生成する（ステップＳ４０９）。具体的には、図１７に示すように、生成部４１３は、検出部４１１が検出した位置ずれ量が閾値未満である場合、参照画像ＦＣｙ２に対して参照画像ＦＣｙの割合が高くなるように重み付けを行って参照画像ＰＦＣｙ３を生成する。例えば、生成部４１３は、検出部４１１が検出した位置ずれ量が閾値未満である場合、参照画像ＦＣｙ２と参照画像ＦＣｙとを合成する比率を９：１の重み付けによって合成することによって参照画像ＰＦＣｙ３を生成する。これに対して、生成部４１３は、検出部４１１が検出した位置ずれ量が閾値未満でない場合、参照画像ＦＣｙ２に対して参照画像ＦＣｙの割合が小さくなるように重み付けを行って参照画像ＰＦＣｙ３を生成する。
　ステップＳ４１０およびステップＳ４１１は、図７のステップＳ１０９およびステップＳ１１０それぞれに対応する。
　以上説明した実施の形態４によれば、生成部４１３が検出部４１１によって検出された位置ずれ量に基づいて、合成画像データを用いて生成した参照画像データと、最新フレーム（基準フレーム）の画像データを用いて生成した参照画像データとの重み付けを行って合成して新たな参照画像データを生成するので、複数フレームの画像データを用いる場合と１フレームのみの画像データを用いる場合の切り替わり時の急激な画質変化を低減することができる。
（その他の実施の形態）
　上述した実施の形態１～４では、カラーフィルタの構成を適宜変更することができる。図１８は、本開示の実施の形態１～４の変形例に係るカラーフィルタの構成の一例を示す模式図である。図１８に示すように、カラーフィルタ２０２Ｃは、５×５で２次元格子状に並べられた２５個のフィルタからなる。カラーフィルタ２０２Ｃは、Ｃｙフィルタが全体の１／２以上の割合（１６つ）で配置され、Ｇフィルタが４つで配置され、フィルタＢが４つで配置され、フィルタＲが２つで配置されている。
　また、本開示の実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。
　また、本開示の実施の形態１～４では、プロセッサ装置と光源装置とが別体であったが、一体的に形成してもよい。
　また、本開示の実施の形態１～４では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能および照明光を照射する照射機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
　また、本開示の実施の形態１～４では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
　また、本開示の実施の形態１～４では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、例えば硬性の内視鏡を備えた内視鏡システム、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
　また、本開示の実施の形態１～４では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本開示の実施の形態１～４に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本開示の実施の形態１～４に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示の実施の形態１～４に係る内視鏡システムに実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　また、本開示の実施の形態１～４は、ケーブルを介して双方向にデータを送受信していたが、これに限定されることなく、プロセッサ装置は、サーバ等を経由して内視鏡が生成した画像データを格納したファイルをネットワーク上に送信してもよい。
　また、本開示の実施の形態１～４では、伝送ケーブルを介して内視鏡からプロセッサ装置へ信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、内視鏡から画像信号等をプロセッサ装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。
　１　内視鏡システム
　２　内視鏡
　３　光源装置
　４　プロセッサ装置
　５　表示装置
　４１　画像処理部
　４２　入力部
　４３　記憶部
　４４　制御部
　２０１　撮像素子
　２０２,２０２Ａ,２０２Ｃ　カラーフィルタ
　４０１,４０１Ｂ　画像処理部
　４１１　検出部
　４１２　合成部
　４１３　生成部
　４１４　補間部
　４１５　判定部

Claims (8)

  1. 　２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置であって、
    　前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、
    　前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、
    　前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、
    　前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記検出部が検出した前記位置ずれ量が閾値未満であるか否かを判定する判定部をさらに備え、
    　前記生成部は、
    　前記判定部によって前記位置ずれ量が閾値未満であると判定された場合、前記合成画像データを用いて前記参照画像データを生成する一方、
    　前記判定部によって前記位置ずれ量が閾値未満でないと判定された場合、前記基準フレームの前記画像データに対して補間処理を行うことによって前記参照画像データを生成することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記第１のフィルタは、緑色の波長帯域の光を透過する緑フィルタであることを特徴とする請求項１～３のいずれか一つに記載の画像処理装置。
  5. 　前記第１のフィルタは、青色の波長帯域の光および緑色の波長帯域の光を透過するシアンフィルタであることを特徴とする請求項１～３のいずれか一つに記載の画像処理装置。
  6. 　被検体に挿入可能な内視鏡と、
    　前記内視鏡が接続される画像処理装置と、
    　を備え、
    　前記内視鏡は、
    　２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、
    　前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、
    　前記画像処理装置は、
    　前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、
    　前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、
    　前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、
    　前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、
    　を備えることを特徴とする内視鏡システム。
  7. 　２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置が実行する画像処理方法であって、
    　前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、
    　前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、
    　前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、
    　前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、
    　を含むことを特徴とする画像処理方法。
  8. 　２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置に、
    　前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、
    　前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、
    　前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、
    　前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2018/009816 2018-03-13 2018-03-13 画像処理装置、内視鏡システム、画像処理方法およびプログラム WO2019175991A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880089177.XA CN111712177B (zh) 2018-03-13 2018-03-13 图像处理装置、内窥镜***、图像处理方法及记录介质
JP2020506006A JP7068438B2 (ja) 2018-03-13 2018-03-13 画像処理装置、内視鏡システム、画像処理方法およびプログラム
PCT/JP2018/009816 WO2019175991A1 (ja) 2018-03-13 2018-03-13 画像処理装置、内視鏡システム、画像処理方法およびプログラム
US17/012,149 US20210007575A1 (en) 2018-03-13 2020-09-04 Image processing device, endoscope system, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009816 WO2019175991A1 (ja) 2018-03-13 2018-03-13 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/012,149 Continuation US20210007575A1 (en) 2018-03-13 2020-09-04 Image processing device, endoscope system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2019175991A1 true WO2019175991A1 (ja) 2019-09-19

Family

ID=67907542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009816 WO2019175991A1 (ja) 2018-03-13 2018-03-13 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20210007575A1 (ja)
JP (1) JP7068438B2 (ja)
CN (1) CN111712177B (ja)
WO (1) WO2019175991A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049666B (zh) * 2022-08-16 2022-11-08 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158840A (ja) * 2016-03-10 2017-09-14 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008256515A (ja) * 2007-04-04 2008-10-23 Hoya Corp チャート劣化検出方法
KR100992362B1 (ko) * 2008-12-11 2010-11-04 삼성전기주식회사 컬러 보간 장치
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
JP5962092B2 (ja) * 2012-03-16 2016-08-03 ソニー株式会社 画像処理装置と画像処理方法
CN105828693B (zh) * 2013-12-20 2018-11-06 奥林巴斯株式会社 内窥镜装置
JP2016015995A (ja) * 2014-07-04 2016-02-01 Hoya株式会社 電子内視鏡システム及び電子内視鏡用プロセッサ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158840A (ja) * 2016-03-10 2017-09-14 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KANO, HIROSHI: "The Journal of Institute of Image Electronics Engineers of Japan", THE JOURNAL OF INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 41, no. 3, 2012, pages 288 - 295, XP055642232 *
KUSAJIMA, TAKUYA ET AL.,: "Green Place Demosaicking by the Motion Compensated Inter Frame Interpolation", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMPUTER ENGINEERS (IEICE), vol. J98-D, no. 9, 2015, pages 1222 - 1225 *

Also Published As

Publication number Publication date
CN111712177B (zh) 2023-08-18
US20210007575A1 (en) 2021-01-14
JPWO2019175991A1 (ja) 2021-02-25
JP7068438B2 (ja) 2022-05-16
CN111712177A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN106388756B (zh) 图像处理装置及其工作方法以及内窥镜***
US10159404B2 (en) Endoscope apparatus
US9675238B2 (en) Endoscopic device
CN108109134B (zh) 图像处理装置及其工作方法
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
WO2014125724A1 (ja) 内視鏡装置
CN108778091B (zh) 内窥镜装置、图像处理装置、图像处理方法和记录介质
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
EP3085300A1 (en) Endoscope device
JP2015195845A (ja) 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
CN111093459A (zh) 内窥镜装置、图像处理方法以及程序
WO2019175991A1 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
WO2016104408A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
WO2019180983A1 (ja) 内視鏡システム、画像処理方法およびプログラム
WO2018105089A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2019221306A1 (ja) 内視鏡システム
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
WO2020230332A1 (ja) 内視鏡、画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2018192043A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909885

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020506006

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18909885

Country of ref document: EP

Kind code of ref document: A1