WO2019239854A1 - 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム - Google Patents

内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム Download PDF

Info

Publication number
WO2019239854A1
WO2019239854A1 PCT/JP2019/020678 JP2019020678W WO2019239854A1 WO 2019239854 A1 WO2019239854 A1 WO 2019239854A1 JP 2019020678 W JP2019020678 W JP 2019020678W WO 2019239854 A1 WO2019239854 A1 WO 2019239854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
endoscopic
endoscope
image quality
quality
Prior art date
Application number
PCT/JP2019/020678
Other languages
English (en)
French (fr)
Inventor
正明 大酒
麻依子 遠藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020525396A priority Critical patent/JP7130038B2/ja
Publication of WO2019239854A1 publication Critical patent/WO2019239854A1/ja
Priority to JP2022132527A priority patent/JP7350954B2/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to an endoscopic image processing apparatus, an endoscopic image processing method, and an endoscopic image processing program, and in particular, an endoscopic image processing apparatus and an endoscope that perform image recognition on an endoscopic image.
  • the present invention relates to an image processing method and an endoscope image processing program.
  • Patent Documents 1 and 2 There are known techniques for detecting a lesion part by image recognition from an endoscopic image photographed by an endoscope apparatus and classifying a lesion by type (for example, Patent Documents 1 and 2).
  • Non-Patent Document 1 machine learning of images (Non-Patent Document 1) including deep learning (Deep Learning) is widely used.
  • image recognition such as classification and detection can be performed by learning a large amount of images according to a problem.
  • the present invention has been made in view of such circumstances, and provides an endoscope image processing apparatus, an endoscope image processing method, and an endoscope image processing program capable of recognizing an image without considering a difference in image quality. For the purpose.
  • An endoscopic image acquisition unit that acquires an endoscopic image captured by an endoscopic device, an image conversion processing unit that performs a process of converting the endoscopic image into an image of a standard image quality, and a standard image quality
  • An endoscope image processing apparatus comprising: an image recognition unit that performs image recognition on a converted image.
  • the acquired endoscopic image is converted into an image having a standard image quality, and image recognition is performed.
  • the image can be recognized without considering the difference in image quality of the captured endoscopic image.
  • the endoscope image is converted into an image of the standard image quality based on the adjustment value of the image quality set in the endoscope apparatus.
  • image recognition can be performed without considering the difference in image quality set in the endoscope apparatus.
  • the image conversion processing unit converts the endoscopic image into a reference quality image based on an image quality adjustment value set in the endoscopic device when the endoscopic image is output to the display device.
  • the endoscopic image when outputting an endoscopic image to a display device, the endoscopic image is converted into an image having a standard image quality based on an adjustment value of image quality set by the endoscopic device.
  • the image quality may be adjusted according to the operator's preference. According to this aspect, even when the image quality is adjusted, the image can be recognized with high accuracy.
  • the image conversion processing unit converts the endoscopic image into a reference quality image based on an image quality adjustment value set in the endoscopic device when the endoscopic image is stored as a still image.
  • the endoscopic image when the endoscopic image is stored as a still image, the endoscopic image is converted into an image of the standard image quality based on the image quality adjustment value set by the endoscopic device.
  • the image quality may be adjusted and stored. According to this aspect, even when the image quality is adjusted, the image can be recognized with high accuracy.
  • the endoscope image is converted into an image of the standard image quality based on the adjustment value.
  • the image conversion processing unit performs processing for converting an endoscopic image into a reference image quality image based on an adjustment value of an image quality change due to a light amount set in the endoscope apparatus. Endoscopic image processing device.
  • the endoscope image is converted into an image of the standard image quality based on the adjustment value.
  • the image conversion processing unit processes the endoscope image with a numerical value set for each endoscope apparatus in which the endoscope image is photographed, and converts the endoscope image into a reference image quality image
  • the endoscope image processing device according to (1), wherein:
  • the endoscopic image is processed with the numerical value set for each endoscopic device, and the endoscopic image is converted into an image of the standard image quality.
  • the image recognition unit is configured by a convolutional neural network learned from an image converted into the reference image quality.
  • processing for detecting a region of interest such as a lesion and / or classification of a recognition target such as a lesion is performed by image recognition.
  • a step of acquiring an endoscopic image photographed by the endoscopic device a step of performing a process of converting the endoscopic image into an image of a reference image quality, and an image for the image converted to the reference image quality Recognizing an endoscopic image processing method.
  • the acquired endoscopic image is converted into an image having a standard image quality, and image recognition is performed.
  • the image can be recognized without considering the difference in image quality of the captured endoscopic image.
  • a function for acquiring an endoscopic image photographed by an endoscope apparatus, a function for performing processing for converting an endoscopic image into an image of a reference image quality, and an image for an image converted to the reference image quality An endoscope image processing program for causing a computer to realize a function of performing recognition.
  • the acquired endoscopic image is converted into an image having a standard image quality, and image recognition is performed.
  • the image can be recognized without considering the difference in image quality of the captured endoscopic image.
  • FIG. 1 is a block diagram showing an overall system configuration of an endoscope system including an endoscope apparatus and an endoscope image processing apparatus.
  • Conceptual block diagram of an endoscopic device External view as an example of the endoscope apparatus shown in FIG. Schematic representation of blood vessels on the surface of the mucous membrane of living tissue
  • the figure which shows the example of a display of the observation image at the time of using narrow-band light as illumination light The figure which shows the example of a display of the observation image at the time of using white light as illumination light
  • Block diagram showing functions of an endoscope image processing apparatus The figure which shows an example of the display of a recognition result
  • the flowchart which shows the procedure of the process of the image recognition implemented with an endoscope image processing apparatus A flowchart showing a processing procedure from acquisition of an image signal to output to a display device
  • FIG. 1 is a block diagram showing an overall system configuration of an endoscope system including an endoscope apparatus and an endoscope image processing apparatus.
  • an endoscope system 1 includes an endoscope apparatus 10, an endoscope image processing apparatus 100 that performs image recognition on an endoscope image captured by the endoscope apparatus 10, Is provided.
  • the endoscope apparatus 10 and the endoscope image processing apparatus 100 are connected via a network 2 such as a LAN (Local Area Network).
  • a network 2 such as a LAN (Local Area Network).
  • FIG. 2 is a conceptual block diagram of the endoscope apparatus.
  • FIG. 3 is an external view as an example of the endoscope apparatus shown in FIG.
  • the endoscope apparatus 10 of the present embodiment is configured as an endoscope apparatus capable of performing narrow band light observation using narrow band light in addition to normal observation using white light.
  • the endoscope apparatus 10 includes an endoscope 11 and an endoscope control device 13 to which the endoscope 11 is connected.
  • the endoscope 11 is an electronic endoscope (soft endoscope), and is detachably connected to the endoscope control device 13 via a connection unit 27.
  • a display device 21 and an input device 23 are connected to the endoscope control device 13.
  • the display device 21 is composed of a liquid crystal monitor, for example.
  • the input device 23 is composed of, for example, a keyboard and a mouse.
  • the endoscope 11 is connected to an endoscope insertion unit 15 to be inserted into a subject, an operation unit 25 for performing various operations, and an endoscope control device 13.
  • a connection unit 27 is provided.
  • the endoscope insertion part 15 is composed of a flexible soft part 31, a bending part 33, and a distal end hard part 35 in order from the operation part 25 side.
  • the distal end hard portion 35 is provided with a pair of illumination windows 37A and 37B, an observation window 38, and the like on the distal end surface.
  • An image sensor 17 is provided inside the observation window 38 via a photographing optical system 39.
  • the image sensor 17 includes a color image sensor having a predetermined color filter array (for example, a Bayer array), and includes a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and the like. .
  • the bending portion 33 is provided between the soft portion 31 and the distal end hard portion 35, and is bent according to the operation of the angle knob 41 provided in the operation portion 25. By operating the bending portion 33, the direction of the distal end hard portion 35, that is, the observation direction can be changed.
  • the operation unit 25 includes various operation members 43 such as a button for switching an observation mode (observation mode switching button) and a button for shooting a still image (shutter button). .
  • the connecting portion 27 is composed of a flexible cord, and has a light guide connector 19A and a video connector 19B for connecting to the endoscope control device 13 at the tip.
  • the endoscope control device 13 includes a light source device 47 that generates illumination light and a processor device 49 that processes an image signal from the image sensor 17.
  • the endoscope control device 13 is connected to the endoscope 11 via a light guide connector 19A and a video connector 19B. Connected. Further, the display device 21 and the input device 23 are connected to the processor device 49.
  • the processor device 49 processes an imaging signal transmitted from the endoscope 11 based on an instruction from the operation unit 25 and the input device 23 of the endoscope 11 and generates image data (endoscopic image data). And output to the display device 21.
  • the light source device 47 includes a first laser light source LD1 that is a semiconductor light emitting element having a central wavelength of 445 nm and a second laser light source LD2 that is a semiconductor light emitting element having a central wavelength of 405 nm as light sources. Light emission of the first laser light source LD1 and the second laser light source LD2 is individually controlled by the light source control unit 51.
  • the first laser light source LD1 and the second laser light source LD2 a broad area type InGaN laser diode can be used, and an InGaNAs laser diode, a GaNAs laser diode, or the like can also be used.
  • the structure using light-emitting bodies, such as a light emitting diode may be sufficient as the said light source.
  • Laser beams emitted from the first laser light source LD1 and the second laser light source LD2 are respectively input to optical fibers by a condensing lens (not shown), and a combiner 53 as a multiplexer and a coupler 55 as a demultiplexer. Then, the light is guided to the light guide connector 19A.
  • the laser beam obtained by combining the blue laser beam having the central wavelength of 445 nm and the purple laser beam having the central wavelength of 405 nm supplied to the light guide connector 19A is guided to the distal end hard portion 35 by the optical fibers 57A and 57B.
  • the blue laser light excites the phosphor 59 that is a wavelength conversion member disposed at the light emitting ends of the optical fibers 57A and 57B of the hard end portion 35 to generate fluorescence. Further, a part of the blue laser light passes through the phosphor 59 as it is and is emitted as white light illumination light together with the above-described fluorescence.
  • the violet laser light is transmitted without strongly exciting the phosphor 59 and is emitted as illumination light having a narrow band wavelength (narrow band light).
  • white light as used in the present specification is not limited to one that includes all the wavelength components of visible light, but is red (Red, R), green (Green, G), blue (Blue, B). It is only necessary to include light in a specific wavelength band. For example, light including a wavelength component from green to red, light including a wavelength component from blue to green, and the like are broadly included.
  • the phosphor 59 includes a plurality of types of phosphors (for example, phosphors including YAG phosphors or BAM (BaMgAl10O17)) that absorb green light from a part of blue laser light and emit light. Is done. As a result, green to yellow excitation light using blue laser light as excitation light and blue laser light that is transmitted without being absorbed by the phosphor 59 are combined into white (pseudo-white) illumination light.
  • types of phosphors for example, phosphors including YAG phosphors or BAM (BaMgAl10O17)
  • the light source controller 51 individually controls the emitted light amount of the blue laser light from the first laser light source LD1 and the emitted light amount of the violet laser light from the second laser light source LD2, and generates illumination light (white color) generated by the blue laser light.
  • Light) and illumination light (narrowband light) generated by violet laser light is set to a light amount ratio suitable for observation.
  • Illumination light set to a light amount ratio suitable for observation by the light source control unit 51 is emitted toward the observation region of the subject from a pair of illumination windows 37A and 37B provided in the distal end hard portion 35. Then, the region irradiated with the illumination light is imaged by the image sensor 17 from the observation window 38 via the photographing optical system 39.
  • An image signal output from the image sensor 17 is transmitted to an ADC (Analog-to-Digital Converter) 63 through a scope cable 61, converted into a digital signal by the ADC 63, and controlled by the endoscope of the processor device 49. Input to the unit 65.
  • ADC Analog-to-Digital Converter
  • the endoscope control unit 65 sends the input digital image signal to the image processing unit 67.
  • the image processing unit 67 performs necessary signal processing on the digital image signal, and generates image data (endoscopic image data) of an endoscopic image that is an observation image.
  • This image data is data having R, G, and B intensity values (luminance values) in pixel units.
  • the endoscope control unit 65 outputs the generated endoscope image data to the display device 21.
  • the endoscope control unit 65 stores the endoscope image data in the storage unit 69 as necessary. Further, the endoscope control unit 65 outputs endoscope image data to the endoscope image processing apparatus 100 as necessary.
  • the storage unit 69 is provided in the processor device 49.
  • the storage unit 69 may be connected to the processor device 49 via a network or connected to the network. It may be provided in a server or the like.
  • FIG. 4 is a diagram schematically showing blood vessels in the mucous membrane surface layer of a living tissue.
  • the mucosal surface layer of the living tissue is formed between the blood vessel B1 of the deep mucosa and the capillary blood vessel B2 such as a resinous vascular network to the mucosal surface layer, and the lesion of the living tissue is the capillary vessel B2 or the like. It has been reported to appear in the microstructure of Therefore, in endoscopic examinations, capillary blood vessels on the mucosal surface layer are image-enhanced and observed, and early detection of minute lesions, diagnosis of lesion areas, and the like have been attempted.
  • the incident light When illumination light is incident on a living tissue, the incident light propagates diffusively in the living tissue, but the absorption and scattering characteristics of the living tissue have wavelength dependence, and the shorter the wavelength, the stronger the scattering characteristics. Tend. That is, the depth of light changes depending on the wavelength of illumination light. For this reason, blood vessel information from capillary blood vessels on the surface of the mucosa is obtained when the illumination light is in the wavelength region ⁇ a near 400 nm, and blood vessel information including deeper blood vessels is obtained in the wavelength region ⁇ b near the wavelength of 500 nm. . For this reason, a light source having a central wavelength of 360 to 800 nm, preferably 365 to 515 nm, is used for blood vessel observation of a living tissue.
  • a central wavelength of 360 to 470 nm, preferably 400 to 420 nm is used for observation of a surface blood vessel.
  • the light source is used.
  • the fine pattern on the mucosal surface of the living tissue can be highlighted in the same wavelength range as in the case of capillaries.
  • FIG. 5 is a diagram showing a display example of an observation image when narrowband light is used as illumination light. As shown in the figure, when narrow-band light containing many visible short wavelength components is used as illumination light, an image in which fine capillaries on the surface of the mucosa and fine patterns on the surface of the mucosa are clearly projected can be obtained.
  • FIG. 6 is a diagram showing a display example of an observation image when white light is used as illumination light. As shown in the figure, when white light is used as illumination light, an entire image of the affected area where a blood vessel image of a relatively deep mucosa is projected is obtained.
  • the fine blood vessels on the surface of the mucous membrane of the living tissue and the fine pattern on the mucosal surface are emphasized, so that the image of the affected area and the observation position can be easily identified, that is, the affected area
  • the observation image is easy to perform endoscopic diagnosis.
  • the emitted light amounts of white light (blue laser light and phosphor light emission) and narrow band light (purple laser light) emitted from the distal end hard portion 35 are independently set. Controllable so that reflected light from both illumination lights is included in one frame of the captured image.
  • the image quality of the display image particularly the color tone, varies according to the operator.
  • the color tone of the endoscope image data is corrected and output to the display device 21 as necessary.
  • Color correction is performed by the image processing unit 67 based on an instruction from the input device 23 under the control of the endoscope control unit 65.
  • the endoscope apparatus 10 according to the present embodiment is implemented as follows.
  • the endoscope control unit 65 sets a correction matrix for performing matrix correction on R, G, and B intensity values (luminance values) based on the color tone adjustment value input from the input device 23.
  • the image processing unit 67 performs matrix correction on the endoscope image data based on the set correction matrix, and corrects the color tone.
  • the B intensity values are R1, G1, and B1
  • the R, G, and B intensity values R1, G1, and B1 of the pixels of the endoscope image data after the color tone correction are expressed by the following equation (1).
  • the coefficient aij of the correction matrix A is set based on the color tone adjustment value.
  • the endoscope control unit 65 acquires information on color tone adjustment values via the input device 23 and sets the correction matrix A.
  • the image processing unit 67 performs matrix correction on the R, G, and B intensity values of each pixel of the endoscope image data using the set correction matrix A, and corrects the color tone of the endoscope image data. Then, the corrected endoscopic image data is output to the display device 21.
  • FIG. 7 is a flowchart showing a processing procedure from acquisition of an image signal to output to a display device.
  • An image signal (digital image signal) output from the endoscope 11 is acquired (step S1), and image data (endoscopic image data) of an endoscopic image is generated from the acquired image signal (step S2). ). Then, color correction based on the adjustment value is performed on the generated endoscopic image data (step S3), and the endoscopic image data after the color correction is output to the display device 21 (step S4).
  • an endoscopic image can be displayed on the display device 21 with a color tone according to the operator's preference.
  • the endoscopic image is stored in the storage unit 69
  • the endoscope image data after the color tone correction is stored in the storage unit 69.
  • endoscopic image data after color tone correction is output to the endoscopic image processing apparatus 100.
  • Endoscopic image processing device The endoscopic image processing apparatus 100 acquires endoscopic image data from the endoscopic apparatus 10, detects a lesion included in the image by image recognition, classifies the detected lesion for each type, and notifies the classification. I do.
  • CNN convolutional neural network
  • the lesion is classified into a plurality of categories according to, for example, NICE classification or JNET classification.
  • NICE is an abbreviation for NBI International Colorectal Endoscopic.
  • JNET is an abbreviation for "the Japan Japan NBI Expert Expert Team”.
  • NBI registered trademark
  • Narrow band imaging registered trademark
  • NICE classification is classification based on non-enlarging NBI, and is classified into Type1, Type2, and Type3 for each of the three items of lesion color (Color), microvessel pattern (Vessels), and surface pattern (Surface pattern).
  • the Type 1 is a hyperplastic lesion
  • Type 2 is an adenoma to intramucosal cancer
  • Type 3 is a diagnostic index of SM (submucosa) deep invasive cancer.
  • the JNET classification is a classification of NBI magnifying endoscopic findings for colorectal tumors.
  • the JNET classification is classified into Type1, Type2A, Type2B, and Type3 for each item of “vessel pattern” and “surface pattern”.
  • the image recognition process is performed by recognizing two classifications of “cancerous” or “noncancerous” instead of or in combination with detailed classification such as NICE classification. Also good.
  • FIG. 8 is a block diagram showing a hardware configuration of the endoscope image processing apparatus.
  • the endoscopic image processing apparatus 100 is configured by a computer such as a personal computer or a workstation.
  • the computer includes a CPU (Central Processing Unit) 102, a RAM (Random Access Memory) 104, a ROM (read-only memory) 106, a communication interface (interface, I / F) 108, and an input / output interface 110. It is connected to the network 2 via the interface 108. Further, the storage device 112, the input device 114, and the display device 116 are connected via the input / output interface 110.
  • the storage device 112 is constituted by a storage device such as a hard disk drive (Hard Disk Drive, HDD), for example.
  • the input device 114 includes input devices such as a keyboard and a mouse.
  • the display device 116 is configured by a display device such as a liquid crystal monitor.
  • FIG. 9 is a block diagram showing functions of the endoscope image processing apparatus.
  • the endoscopic image processing apparatus 100 executes a predetermined control program (endoscopic image processing program), whereby an endoscopic image acquisition unit 120, an image conversion processing unit 122, and an image recognition unit. Functions as the unit 124 and the display control unit 126.
  • the program is stored in the ROM 106 or the storage device 112.
  • the endoscopic image acquisition unit 120 acquires endoscopic image data from the endoscopic device 10.
  • Endoscopic image data may be either moving image or still image data.
  • the image conversion processing unit 122 performs processing for converting the endoscopic image acquired by the endoscopic image acquiring unit 120 into an image having a standard image quality.
  • “reference image quality” refers to the image quality before the color tone correction performed by the endoscope apparatus 10 is performed.
  • the tone correction of the output image is performed as necessary.
  • a model (learned model) learned by machine learning is used for image recognition.
  • the bias in image quality is also learned.
  • the accuracy decreases when an image having an image quality that deviates from the bias in the image quality of the learned image group is recognized.
  • the learned image group deviates from the bias in image quality, and the accuracy is lowered when the image is recognized.
  • image processing is performed on the endoscope image data acquired from the endoscope apparatus 10, and the image quality is converted to the image quality before color tone correction.
  • the acquired endoscopic image data is subjected to matrix correction using a correction matrix B that is an inverse matrix A ⁇ 1 of the correction matrix A when color tone correction is performed, and converted to image data of reference image quality. .
  • R, G, B intensity values of each pixel of the acquired endoscopic image data are R1, G1, B1
  • correction matrix is B
  • R, G, B of each pixel of the converted endoscopic image data Are R2, G2, and B2
  • the R, G, and B intensity values R2, G2, and B2 of each pixel of the converted endoscopic image data are expressed by the following equation (2).
  • the image conversion processing unit 122 acquires information on the correction matrix A at the time of color tone correction from the endoscope apparatus 10 and sets a correction matrix B that is an inverse matrix thereof. Then, using the set correction matrix B, the R, G, and B intensity values of each pixel of the acquired endoscopic image data are subjected to matrix correction to convert the image quality. That is, the image quality is converted to the image quality before color correction.
  • the image recognition unit 124 performs image recognition processing on the endoscopic image that has been converted into the image of the standard image quality by the image conversion processing unit 122.
  • a lesion region of interest
  • the image recognition unit 124 is configured using a learned model learned by machine learning. This model is composed of, for example, a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the display control unit 126 acquires the recognition result by the image recognition unit 124 and causes the display device 116 to display the recognition result in a predetermined display mode.
  • FIG. 10 is a diagram showing an example of the recognition result display.
  • the recognition result is displayed over the recognized endoscope image.
  • the recognition result is displayed, for example, in a form that surrounds the detected lesion area with a frame. Further, the classification result of the lesion is displayed in the vicinity of the frame.
  • FIG. 11 is a flowchart showing a procedure of image recognition processing performed by the endoscope image processing apparatus.
  • endoscope image data is acquired from the endoscope apparatus 10 by the endoscope image acquisition unit 120 (step S11).
  • step S12 processing for converting the image quality of the recognition target to the standard image quality is performed based on the color tone adjustment value (step S12).
  • This process is performed by the image conversion processing unit 122.
  • the image conversion processing unit 122 converts the image quality of the acquired endoscope image data by performing matrix correction.
  • the correction matrix B used at this time is obtained from the correction matrix A for color tone correction when the endoscope image data to be recognized is generated. That is, it is obtained as an inverse matrix of the correction matrix A.
  • the image recognition unit 124 performs image recognition on the endoscopic image that has been converted to the reference image quality (step S13), and the recognition result is output to the display device 21 (step S14).
  • the image quality of the endoscopic image to be recognized is converted to the reference image quality, and the converted endoscope Image recognition is performed on the image.
  • image recognition can be performed accurately. That is, it is possible to recognize an image without considering a difference in image quality.
  • An endoscope apparatus may automatically correct image quality. For example, a change in image quality due to a change in the amount of illumination light may be automatically corrected.
  • the image quality is converted to a reference image quality based on the correction information, and the image is converted to the converted endoscopic image. Recognize.
  • the amount of illumination light that is, the emission of the first laser light source LD1 and the second laser light source LD2, according to the imaging distance (distance from the imaging surface of the image sensor to the subject).
  • the amount of light is controlled automatically.
  • the endoscope control unit 65 controls the amount of light emitted from the first laser light source LD1 and the amount of light emitted from the second laser light source LD2 so as to obtain an optimum light amount ratio according to the photographing distance.
  • the shooting distance information is acquired using, for example, autofocus information.
  • the light quantity ratio is set by, for example, preparing a table representing the relationship between the shooting distance and the optimum light quantity ratio in advance and referring to this table.
  • the endoscope control unit 65 refers to the table and changes the amount of light emitted from the second laser light source LD2 to the amount of light emitted from the first laser light source LD1 so as to emphasize the capillaries and the like on the mucous membrane surface layer as the imaging distance is shorter. Set relatively larger than. Moreover, in order to ensure the brightness of a distant view as the shooting distance increases, the amount of light emitted from the first laser light source LD1 is relatively larger than the amount of light emitted from the second laser light source LD2 so that the illumination light has high illuminance. Set larger.
  • the emitted light from the first laser light source LD1 is finally irradiated to the subject as white light
  • the emitted light from the second laser light source LD2 is irradiated to the subject as narrowband light.
  • the color of illumination light will change.
  • the illumination light becomes bluish.
  • the color tone of the endoscopic image that is the observation image changes according to the light amount ratio.
  • the color tone correction of the endoscope image is performed in accordance with the color of the illumination light that changes depending on the set light amount ratio so that the endoscope image is not affected by the color change of the illumination light.
  • the endoscope control unit 65 corrects the endoscope image data based on the set light amount ratio information so that there is no change in the color tone of the image.
  • the correction is performed, for example, by preparing a color tone correction table for each light quantity ratio in advance and referring to this color tone correction table.
  • the color tone correction table can be represented, for example, as a correction matrix for performing matrix correction on R, G, and B intensity values for each pixel of an endoscopic image.
  • the R, G, B intensity values of each pixel of the endoscope image data obtained by photographing are R3, G3, B3, the correction matrix is C, the R, G of each pixel of the endoscope image data after color tone correction.
  • B intensity values R4, G4, and B4 the R, G, and B intensity values R4, G4, and B4 of the pixels of the endoscopic image data after color correction are expressed by the following equation (3). .
  • the coefficient cij of the correction matrix C is set so as to cancel the color change of the illumination light due to the change in the light amount ratio, and a plurality of types of correction matrices C corresponding to the plurality of types of light amount ratios are facilitated in advance.
  • the image processing unit 67 performs matrix correction on the R, G, and B intensity values of each pixel of the endoscopic image data using the set correction matrix C, and corrects the color tone of the endoscopic image data. Then, the corrected endoscopic image data is output to the display device 21.
  • FIG. 12 is a flowchart showing a processing procedure from acquisition of an image signal to output to a display device.
  • the image signal output from the endoscope 11 is acquired (step S21), and image data (endoscopic image data) of the endoscopic image is generated from the acquired image signal (step S22). Then, the generated endoscopic image data is subjected to color tone correction based on a change in light amount (step S23), and the endoscopic image data after the color tone correction is output to the display device 21 (step S24).
  • endoscopic image data after color correction is output to the endoscopic image processing apparatus 100.
  • the endoscopic image processing apparatus 100 converts the image quality to the reference image quality based on the correction information, and after the conversion Image recognition is performed on the endoscopic image.
  • FIG. 13 is a flowchart showing a procedure of image recognition processing performed by the endoscope image processing apparatus.
  • endoscope image data is acquired from the endoscope apparatus 10 by the endoscope image acquisition unit 120 (step S31).
  • processing for converting the image quality of the recognition target to the reference image quality is performed based on the correction information of the color tone correction based on the change in the light amount (step S32).
  • the image conversion processing unit 122 converts the image quality of the acquired endoscope image data by performing matrix correction.
  • the correction matrix used at this time is obtained from the correction matrix C when the endoscopic image data to be recognized is color-tone corrected based on the change in the light amount. That is, it is obtained as an inverse matrix C ⁇ 1 of the correction matrix C.
  • the image recognition unit 124 performs image recognition on the endoscopic image after conversion to the reference image quality (step S33), and the recognition result is output to the display device 21 (step S34).
  • the image can be recognized with high accuracy. That is, it is possible to recognize an image without considering a difference in image quality.
  • FIG. 14 is a flowchart illustrating a processing procedure from acquisition of an image signal to output to a display device.
  • the image signal output from the endoscope 11 is acquired (step S41), and image data of the endoscopic image (endoscopic image data) is generated from the acquired image signal (step S42).
  • image data of the endoscopic image is generated from the acquired image signal (step S42).
  • color correction based on a change in the amount of light is performed on the generated endoscopic image data (step S43).
  • color tone correction is performed (step S44).
  • the endoscopic image data after color tone correction is output to the display device 21 (step S45).
  • endoscopic image data after color correction is output to the endoscopic image processing apparatus 100.
  • FIG. 15 is a flowchart illustrating a procedure of image recognition processing performed by the endoscope image processing apparatus.
  • endoscope image data is acquired from the endoscope apparatus 10 by the endoscope image acquisition unit 120 (step S51).
  • processing for converting the image quality of the recognition target is performed based on the correction information of the color tone correction based on the change in the light amount (step S52).
  • processing for converting the image quality of the recognition target is performed based on the correction information of the color correction based on the color tone adjustment value (step S53).
  • the image recognition unit 124 performs image recognition on the endoscopic image that has been converted to the reference image quality (step S54). Then, the recognition result is output to the display device 21 (step S55).
  • the image is converted into a standard image quality by performing conversion processing corresponding to each image quality correction. Then, the image can be recognized with high accuracy by converting the image into the image of the standard image quality and recognizing the image.
  • the image is converted into a reference image by performing an inverse conversion process according to the content of the image quality correction.
  • the image quality correction method is not limited to this.
  • the image quality may be corrected by performing image processing using an image processing parameter that adjusts a change in the image quality due to a preset amount of light.
  • the color tone may be corrected by performing image processing with an image processing parameter for adjusting the color tone.
  • the endoscopic image processing apparatus performs image recognition by converting the image quality of the endoscopic image to be recognized into the reference image quality.
  • the process of converting to the reference image quality is performed based on the content of the image quality correction performed on the endoscopic image to be recognized. That is, based on the content of the image quality correction, the image is converted into an image of the standard image quality by performing an inverse conversion process. At this time, for example, by acquiring information on the adjustment value of the image quality set in the endoscope apparatus, it can be easily converted into an image of the reference image quality.
  • an endoscopic device adjustment of image quality such as color tone is usually performed when displaying an endoscopic image, which is an observation image, on a display device. Therefore, when outputting an endoscopic image to a display device, it is preferable to perform processing of acquiring information on an adjustment value of image quality set in the endoscopic device and converting it to an image of reference image quality.
  • an endoscope apparatus when an endoscopic image is stored as a still image, image quality adjustment for the still image may be performed. In this way, when performing still image quality adjustment, when recognizing a still image of an endoscopic image, information on the adjustment value of the still image quality set in the endoscope apparatus is acquired. Thus, it is preferable to perform a process of converting the image into a standard image quality.
  • the content of the image quality correction differs depending on the endoscopic device in which the endoscopic image is taken. Therefore, the endoscopic image is processed with the numerical value set for each endoscopic device, and the endoscopic image It is preferable to perform a process of converting the image into a standard image quality.
  • the adjustment value varies depending on the operator, so it is preferable to perform image conversion processing according to the setting for each operator and convert the image into a reference image quality.
  • the image recognition unit is configured by a convolutional neural network learned by machine learning.
  • the configuration of the image recognition unit is not limited to this.
  • the image recognition unit can be configured by a learned model generated by machine learning using a known method.
  • the “reference image quality” can also be referred to as the image quality of the learning image group when the image recognition unit is generated.
  • the “process for converting to the reference image quality” can also be referred to as a process for converting to the image quality of the learning image group when the image recognition unit is generated.
  • the endoscope image to be recognized is directly acquired from the endoscope apparatus, but the acquisition destination of the endoscope image is not limited to this.
  • an endoscopic image stored in another storage device connected via a network, an endoscopic image recorded in a server, or the like may be acquired as an endoscopic image to be recognized.
  • the endoscopic image to be recognized may be either a moving image or a still image.
  • the moving image is configured as a time-series image including a plurality of frames.
  • ⁇ ⁇ Hardware configuration of endoscopic image processing apparatus can be realized by various processors.
  • Various processors are processors whose circuit configuration can be changed after manufacturing, such as a CPU (Central Processing Unit) and a FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and function as various processing units. Examples include a dedicated electric circuit that is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) or an application specific integrated circuit (ASIC).
  • PLD programmable logic device
  • ASIC application specific integrated circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of a CPU and an FPGA.
  • the plurality of processing units may be configured by one processor.
  • configuring a plurality of processing units with one processor first, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the function of the endoscope image processing device can be mounted on a processor device constituting the endoscope device.
  • Endoscope The electronic endoscope is not limited to a flexible endoscope but may be a rigid endoscope. Further, it may be a capsule endoscope.
  • the “specific wavelength band” is a band narrower than the white wavelength band. A specific example regarding a specific wavelength band is shown below.
  • the first example of the specific wavelength band is, for example, a visible blue band or a green band.
  • the wavelength band of the first example includes a wavelength band of 390 nm to 450 nm or a wavelength band of 530 nm to 550 nm, and the light of the first example is within a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm. It has a peak wavelength in the wavelength band.
  • the second example of the specific wavelength band is, for example, a red band in the visible range.
  • the wavelength band of the second example includes a wavelength band of 585 nm to 615 nm or a wavelength band of 610 nm to 730 nm, and the light of the second example is within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm. It has a peak wavelength in the wavelength band.
  • the third example of the specific wavelength band includes a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin, and the light in the third example peaks in a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin. Has a wavelength.
  • the wavelength band of the third example includes a wavelength band of 400 ⁇ 10 nm, a wavelength band of 440 ⁇ 10 nm, a wavelength band of 470 ⁇ 10 nm, or a wavelength band of 600 nm to 750 nm, and the light of the third example includes the above 400 ⁇ It has a peak wavelength in a wavelength band of 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm.
  • the fourth example of the specific wavelength band is used for observation of fluorescence emitted from the fluorescent substance in the living body (fluorescence observation), and is a wavelength band of excitation light that excites the fluorescent substance, for example, 390 nm to 470 nm.
  • the fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm to 820 nm or a wavelength band of 905 nm to 970 nm, and the light of the fifth example is within a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm. It has a peak wavelength in the wavelength band.
  • ⁇ Switching illumination light> As the type of the light source, a laser light source, a xenon light source, an LED light source (LED: Light-Emitting Diode), or an appropriate combination thereof can be adopted.
  • the type of light source, wavelength, filter presence / absence, etc. are preferably configured according to the type of subject, the purpose of observation, etc., and during observation, the wavelength of the illumination light according to the type of subject, the purpose of observation, etc. Are preferably combined and / or switched.
  • switching the wavelength for example, by rotating a disk-shaped filter (rotary color filter) provided in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of light to be irradiated is changed. You may switch.
  • the image sensor used for the endoscope is not limited to a color image sensor in which a color filter is provided for each pixel, and may be a monochrome image sensor.
  • a monochrome image sensor it is possible to pick up an image in a surface sequence (color sequence) by sequentially switching the wavelength of illumination light.
  • the wavelength of the emitted illumination light may be sequentially switched between purple, blue, green, and red, or illumination light emitted by a rotary color filter (red, green, blue, etc.) by irradiating white light
  • the wavelength may be switched.
  • the narrowband light may be infrared light having two or more wavelengths different from each other.
  • the processor device 49 may generate a special light image having information on a specific wavelength band based on a normal light image obtained by imaging using white light.
  • the processor device 49 converts a signal in a specific wavelength band into red (R), green (G) and blue (B), cyan (Cyan, C), magenta (Magenta, M), and normal light image. It can be obtained by performing calculations based on yellow (Yellow, Y) color information.
  • a program that causes a computer to realize the functions of the endoscope image processing apparatus described in the above embodiment is recorded on a computer-readable medium that is a non-transitory information storage medium such as an optical disk, a magnetic disk, or a semiconductor memory.
  • the program can be provided through this information storage medium.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

画質の差異を考慮せずに画像認識できる内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラムを提供する。内視鏡装置（１０）で撮影された内視鏡画像に対して画像認識を行う内視鏡画像処理装置（１００）は、内視鏡画像を取得する内視鏡画像取得部（１２０）と、内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部（１２２）と、基準画質に変換された画像に対して画像認識を行う画像認識部（１２４）と、認識結果を表示装置（１１４）に出力する出力制御部（１２６）と、を備える。画像変換処理部（１２２）は、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う。これにより、内視鏡装置で設定された画質の差異を考慮せずに画像認識できる。

Description

内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
　本発明は、内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラムに係り、特に、内視鏡画像に対して画像認識を行う内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラムに関する。
　内視鏡装置で撮影された内視鏡画像から画像認識によって病変部を検出したり、病変を種別ごとに分類したりする技術が知られている（たとえば、特許文献１、２等）。
　画像認識には、深層学習（Deep Learning）をはじめとする画像の機械学習（非特許文献１）が広く使用されている。機械学習では、問題に応じた画像を大量に学習させることで分類、検出といった画像認識が可能となる。
特開2000-155840号公報 国際公開第2017/175282号
A. Krizhevsky、 I. Sutskever、 and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS、 2012
　機械学習では、学習用の画像群に画質の偏りがあると、画質の偏りも学習してしまう。このため、学習した画像群の画質の偏りから外れた画質の画像を画像認識させた場合に精度が低下するという問題がある。内視鏡装置による検査では、一般に術者の好みに応じた画質で撮影及び検査が行われるため、撮影した画像の画質が、学習した画像群の画質と異なると、画像認識の精度が低下するという問題がある。その一方ですべての画質について学習することも困難である。
　本発明は、このような事情に鑑みてなされたもので、画質の差異を考慮せずに画像認識できる内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラムを提供することを目的とする。
　上記課題を解決するための手段は、次のとおりである。
　（１）内視鏡装置で撮影された内視鏡画像を取得する内視鏡画像取得部と、内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部と、基準画質に変換された画像に対して画像認識を行う画像認識部と、を備えた内視鏡画像処理装置。
　本態様によれば、取得された内視鏡画像が、基準画質の画像に変換されて、画像認識が行われる。これにより、撮影された内視鏡画像の画質の差異を考慮せずに画像認識できる。
　（２）画像変換処理部は、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
　本態様によれば、内視鏡装置で設定されている画質の調整値に基づいて、内視鏡画像が基準画質の画像に変換される。これにより、内視鏡装置で設定された画質の差異を考慮せずに画像認識できる。
　（３）画像変換処理部は、内視鏡画像を表示装置に出力する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
　本態様によれば、内視鏡画像を表示装置に出力する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像が基準画質の画像に変換される。内視鏡画像を表示装置に出力する場合、術者の好みに応じて画質が調整される場合がある。本態様によれば、画質が調整された場合であっても、精度よく画像認識できる。
　（４）画像変換処理部は、内視鏡画像を静止画として保存する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
　本態様によれば、内視鏡画像を静止画として保存する場合に内視鏡装置で設定される画質の調整値に基づいて、内視鏡画像が基準画質の画像に変換される。内視鏡画像を静止画として保存する場合、画質を調整して保存する場合がある。本態様によれば、画質が調整された場合であっても、精度よく画像認識できる。
　（５）画像変換処理部は、内視鏡装置で設定されている色調の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
　本態様によれば、内視鏡装置で色調の調整が行われる場合、その調整値に基づいて、内視鏡画像が基準画質の画像に変換される。
　（６）画像変換処理部は、内視鏡装置で設定されている光量による画質変化の調整値に基づいて、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
　本態様によれば、内視鏡装置で光量による画質変化の調整が行われる場合、その調整値に基づいて、内視鏡画像が基準画質の画像に変換される。
　（７）画像変換処理部は、内視鏡画像が撮影された内視鏡装置ごとに設定された数値で内視鏡画像を処理して、内視鏡画像を基準画質の画像に変換する処理を行う、上記（１）の内視鏡画像処理装置。
　本態様によれば、内視鏡装置ごとに設定された数値で内視鏡画像が処理されて、内視鏡画像が基準画質の画像に変換される。これにより、異なる内視鏡装置で撮影された内視鏡画像に対して画像認識する場合であっても、画質の差異を考慮せずに画像認識できる。
　（８）画像認識部は、基準画質に変換された画像で学習した畳み込みニューラルネットワークで構成される、上記（１）から（７）のいずれか一の内視鏡画像処理装置。
　本態様によれば、画像認識部が、基準画質に変換された画像で学習した畳み込みニューラルネットワークで構成される。
　（９）画像認識部が行う画像認識には、注目領域を検出する処理、及び／又は、認識対象を分類する処理が含まれる、上記（１）から（７）のいずれか一の内視鏡画像処理装置。
　本態様によれば、画像認識により、病変等の注目領域を検出する処理、及び／又は、病変等の認識対象を分類する処理が行われる。
　（１０）内視鏡装置で撮影された内視鏡画像を取得するステップと、内視鏡画像を基準画質の画像に変換する処理を行うステップと、基準画質に変換された画像に対して画像認識を行うステップと、を含む内視鏡画像処理方法。
　本態様によれば、取得された内視鏡画像が、基準画質の画像に変換されて、画像認識が行われる。これにより、撮影された内視鏡画像の画質の差異を考慮せずに画像認識できる。
　（１１）内視鏡装置で撮影された内視鏡画像を取得する機能と、内視鏡画像を基準画質の画像に変換する処理を行う機能と、基準画質に変換された画像に対して画像認識を行う機能と、をコンピュータに実現させる内視鏡画像処理プログラム。
　本態様によれば、取得された内視鏡画像が、基準画質の画像に変換されて、画像認識が行われる。これにより、撮影された内視鏡画像の画質の差異を考慮せずに画像認識できる。
　本発明によれば、画質の差異を考慮せずに画像認識できる。
内視鏡装置及び内視鏡画像処理装置を含む内視鏡システムの全体のシステム構成を示すブロック図 内視鏡装置の概念的なブロック構成図 図２に示す内視鏡装置の一例としての外観図 生体組織の粘膜表層の血管を模式的に表した図 狭帯域光を照明光として使用した場合の観察画像の表示例を示す図 白色光を照明光として使用した場合の観察画像の表示例を示す図 画像信号の取得から表示装置への出力までの処理の手順を示すフローチャート 内視鏡画像処理装置のハードウェア構成を示すブロック図 内視鏡画像処理装置の機能を示すブロック図 認識結果の表示の一例を示す図 内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャート 画像信号の取得から表示装置への出力までの処理の手順を示すフローチャート 内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャート 画像信号の取得から表示装置への出力までの処理の手順を示すフローチャート 内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャート
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　◆◆第１の実施の形態◆◆
　図１は、内視鏡装置及び内視鏡画像処理装置を含む内視鏡システムの全体のシステム構成を示すブロック図である。
　同図に示すように、内視鏡システム１は、内視鏡装置１０と、内視鏡装置１０で撮影された内視鏡画像に対して画像認識を行う内視鏡画像処理装置１００と、を備える。内視鏡装置１０及び内視鏡画像処理装置１００は、ＬＡＮ（Local Area Network）等のネットワーク２を介して接続される。
　《内視鏡装置》
　図２は、内視鏡装置の概念的なブロック構成図である。図３は、図２に示す内視鏡装置の一例としての外観図である。
　本実施の形態の内視鏡装置１０は、白色光を用いた通常観察に加えて、狭帯域光を用いた狭帯域光観察が可能な内視鏡装置として構成される。
　図２及び図３に示すように、内視鏡装置１０は、内視鏡１１及び内視鏡１１が接続される内視鏡制御装置１３を備える。内視鏡１１は、電子内視鏡（軟性内視鏡）であり、接続部２７を介して、内視鏡制御装置１３に着脱自在に接続される。内視鏡制御装置１３には、表示装置２１及び入力装置２３が接続される。表示装置２１は、たとえば、液晶モニタで構成される。入力装置２３は、たとえば、キーボード、マウス等で構成される。
　内視鏡１１は、図３に示すように、被検体内に挿入される内視鏡挿入部１５、各種操作を行うための操作部２５、及び、内視鏡制御装置１３に接続するための接続部２７を備える。
　内視鏡挿入部１５は、操作部２５の側から順に、可撓性を有する軟性部３１、湾曲部３３及び先端硬質部３５で構成される。
　先端硬質部３５には、その先端面に、一対の照明窓３７Ａ、３７Ｂ及び観察窓３８等が備えられる。観察窓３８の内側には、撮影光学系３９を介してイメージセンサ１７が備えられる。イメージセンサ１７は、所定のカラーフィルタ配列（たとえば、ベイヤ配列等）を有するカラーイメージセンサで構成され、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等で構成される。
　湾曲部３３は、軟性部３１及び先端硬質部３５との間に設けられ、操作部２５に備えられたアングルノブ４１の操作に応じて湾曲する。この湾曲部３３の操作によって、先端硬質部３５の向き、すなわち、観察方向を変えることができる。
　操作部２５には、上記のアングルノブ４１の他、観察モードを切り替えるためのボタン（観察モード切替ボタン）、静止画を撮影するためのボタン（シャッターボタン）等の各種の操作部材４３が備えられる。
　接続部２７は、可撓性を有するコードで構成され、内視鏡制御装置１３に接続するためのライトガイドコネクタ１９Ａ及びビデオコネクタ１９Ｂを先端に有する。
　内視鏡制御装置１３は、照明光を発生する光源装置４７、イメージセンサ１７からの画像信号を処理するプロセッサ装置４９を備え、ライトガイドコネクタ１９Ａ及びビデオコネクタ１９Ｂを介して、内視鏡１１と接続される。また、プロセッサ装置４９には、上記の表示装置２１及び入力装置２３が接続される。
　プロセッサ装置４９は、内視鏡１１の操作部２５及び入力装置２３からの指示に基づいて、内視鏡１１から伝送されてくる撮像信号を処理し、画像データ（内視鏡画像データ）を生成して表示装置２１に出力する。
　光源装置４７は、中心波長４４５ｎｍの半導体発光素子である第１レーザ光源ＬＤ１、及び、中心波長４０５ｎｍの半導体発光素子である第２レーザ光源ＬＤ２を発光源として備える。第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の発光は、光源制御部５１により個別に制御される。
　第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオード、ＧａＮＡｓ系レーザダイオード等を用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成であってもよい。
　第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２から出射されるレーザ光は、集光レンズ（不図示）により、それぞれ光ファイバに入力され、合波器であるコンバイナ５３及び分波器であるカプラ５５を介して、ライトガイドコネクタ１９Ａに導光される。
　ライトガイドコネクタ１９Ａに供給された中心波長４４５ｎｍの青色レーザ光、及び、中心波長４０５ｎｍの紫色レーザ光が合波されたレーザ光は、光ファイバ５７Ａ、５７Ｂによって、それぞれ先端硬質部３５まで導光される。そして、青色レーザ光は、先端硬質部３５の光ファイバ５７Ａ、５７Ｂの光出射端に配置された波長変換部材である蛍光体５９を励起して蛍光を生じさせる。また、一部の青色レーザ光は、そのまま蛍光体５９を透過し、上記の蛍光と共に白色光の照明光として出射される。一方、紫色レーザ光は、蛍光体５９を強く励起させることなく透過し、狭帯域波長の照明光（狭帯域光）として出射される。
　なお、本明細書でいう「白色光」とは、厳密に可視光の全ての波長成分を含むものに限らず、赤（Red，Ｒ）、緑（Green，Ｇ）、青（Blue，Ｂ）等、特定の波長帯の光を含むものであればよく、たとえば、緑色から赤色にかけての波長成分を含む光、青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
　蛍光体５９は、青色レーザ光の一部を吸収して緑色～黄色に励起発光する複数種の蛍光体（たとえば、ＹＡＧ系蛍光体又はＢＡＭ（ＢａＭｇＡｌ10Ｏ17）等を含む蛍光体等）を含んで構成される。これにより、青色レーザ光を励起光とする緑色～黄色の励起光と、蛍光体５９により吸収されず透過した青色レーザ光とが合成されて、白色（疑似白色）の照明光となる。
　光源制御部５１は、第１レーザ光源ＬＤ１からの青色レーザ光の出射光量及び第２レーザ光源ＬＤ２からの紫色レーザ光の出射光量を個別に制御し、青色レーザ光により生成される照明光（白色光）及び紫色レーザ光により生成される照明光（狭帯域光）を観察に適した光量比に設定する。
　光源制御部５１によって観察に適した光量比に設定された照明光は、先端硬質部３５に備えられた一対の照明窓３７Ａ、３７Ｂから被検体の観察領域に向けて照射される。そして、この照明光が照射された領域が、観察窓３８から撮影光学系３９を介してイメージセンサ１７に撮像される。
　イメージセンサ１７から出力される画像信号は、スコープケーブル６１を通じてＡＤＣ（Analog to Digital Converter；アナログ-デジタル変換器）６３に伝送され、ＡＤＣ６３でデジタル信号に変換されて、プロセッサ装置４９の内視鏡制御部６５に入力される。
　内視鏡制御部６５は、入力されたデジタル画像信号を画像処理部６７に送る。画像処理部６７は、デジタル画像信号に所要の信号処理を施して、観察画像である内視鏡画像の画像データ（内視鏡画像データ）を生成する。この画像データは、画素単位でＲ、Ｇ及びＢの各強度値（輝度値）を有するデータである。
　内視鏡制御部６５は、生成された内視鏡画像データを表示装置２１に出力する。また、内視鏡制御部６５は、必要に応じて、内視鏡画像データを記憶部６９に記憶させる。また、内視鏡制御部６５は、必要に応じて、内視鏡画像データを内視鏡画像処理装置１００に出力する。
　なお、本実施の形態では、記憶部６９がプロセッサ装置４９に備えられているが、記憶部６９は、プロセッサ装置４９にネットワークを介して接続されていてもよいし、また、ネットワークに接続されたサーバ等に備えられていてもよい。
　図４は、生体組織の粘膜表層の血管を模式的に表した図である。同図に示すように、生体組織の粘膜表層は、粘膜深層の血管Ｂ１から樹脂状血管網等の毛細血管Ｂ２が粘膜表層までの間に形成され、生体組織の病変は、その毛細血管Ｂ２等の微細構造に現れることが報告されている。そこで、内視鏡診察においては、粘膜表層の毛細血管を画像強調して観察し、微小病変の早期発見及び病変範囲の診断等が試みられている。
　生体組織に照明光が入射されると、入射光は生体組織内を拡散的に伝播するが、生体組織の吸収及び散乱特性は波長依存性を有しており、短波長ほど散乱特性が強くなる傾向がある。つまり、照明光の波長によって光の深達度が変化する。このため、照明光が４００ｎｍ付近の波長域λａでは、粘膜表層の毛細血管からの血管情報が得られ、波長５００ｎｍ付近の波長域λｂでは、更に深層の血管を含む血管情報が得られるようになる。このため、生体組織の血管観察には、中心波長３６０～８００ｎｍ、好ましくは、３６５～５１５ｎｍの光源が用いられ、特に、表層血管の観察には、中心波長３６０～４７０ｎｍ、好ましくは、４００～４２０ｎｍの光源が用いられる。また、生体組織の粘膜表面の微細模様についても、上記波長範囲において、毛細血管と同様に強調表示できる。
　図５は、狭帯域光を照明光として使用した場合の観察画像の表示例を示す図である。同図に示すように、可視短波長成分を多く含む狭帯域光を照明光とした場合は、粘膜表層の微細な毛細血管や粘膜表面の微細模様が鮮明に映出された画像が得られる。
　図６は、白色光を照明光として使用した場合の観察画像の表示例を示す図である。同図に示すように、白色光を照明光とした場合は、比較的粘膜深層の血管像が映出された患部の全体像が得られる。
　つまり、白色光と狭帯域光とを同時に照射した観察画像では、生体組織の粘膜表層の微細血管や粘膜表面の微細模様が強調され、患部の性状や観察位置を特定しやすい画像、すなわち、患部の内視鏡診断がしやすい観察画像となる。
　そこで、本実施の形態の内視鏡装置１０では、先端硬質部３５から出射する白色光（青色レーザ光及び蛍光体の発光）及び狭帯域光（紫色レーザ光）の各出射光量を独立して制御可能とし、双方の照明光による反射光が１フレームの撮像画像内で共に含まれるようにしている。
　白色光と狭帯域光との出射光量の比率は、たとえば、［白色光：狭帯域光＝１：４～１：８］等の適宜な比率に設定する。これにより、白色光で観察部位を明瞭に映出させつつ、狭帯域光により表層血管及び粘膜表面の微細模様を強調でき、微細血管構造及びピットの観察に適した画像を取得できる。
　次に、撮像された内視鏡画像の画質を変えて表示装置２１に表示する場合について説明する。
　内視鏡画像を表示装置２１に表示させる場合において、表示画像の画質、特に、色調は術者によって好みが分かれる。
　そこで、本実施の形態の内視鏡装置１０では、必要に応じて、内視鏡画像データの色調を補正し、表示装置２１に出力する。
　色調の補正は、内視鏡制御部６５による制御の下、入力装置２３から指示に基づいて、画像処理部６７で実施される。本実施の形態の内視鏡装置１０では、次のように実施される。
　内視鏡制御部６５は、入力装置２３から入力される色調の調整値に基づいて、Ｒ、Ｇ、Ｂの各強度値（輝度値）をマトリクス補正する補正マトリクスを設定する。画像処理部６７は、設定された補正マトリクスに基づいて、内視鏡画像データをマトリクス補正し、色調を補正する。
　色調補正前の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ０、Ｇ０、Ｂ０、補正マトリクスをＡ、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ１、Ｇ１、Ｂ１とすると、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値Ｒ１、Ｇ１、Ｂ１は、次式（１）で表わされる。
Figure JPOXMLDOC01-appb-M000001
　補正マトリクスＡの係数ａijは、色調の調整値に基づいて設定される。内視鏡制御部６５は、入力装置２３を介して色調の調整値の情報を取得し、補正マトリクスＡを設定する。
　画像処理部６７は、設定された補正マトリクスＡを用いて、内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をマトリクス補正し、内視鏡画像データの色調を補正する。そして、補正後の内視鏡画像データを表示装置２１に出力する。
　図７は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
　内視鏡１１から出力される画像信号（デジタル画像信号）が取得され（ステップＳ１）、取得された画像信号から内視鏡画像の画像データ（内視鏡画像データ）が生成される（ステップＳ２）。そして、生成された内視鏡画像データに対して、調整値に基づく色調補正が行われ（ステップＳ３）、色調補正後の内視鏡画像データが表示装置２１に出力される（ステップＳ４）。
　このように、色調補正を行うことにより、術者の好みに応じた色調で内視鏡画像を表示装置２１に表示できる。
　なお、内視鏡画像を記憶部６９に記憶する場合は、この色調補正後の内視鏡画像データが記憶部６９に記憶される。同様に、内視鏡画像を内視鏡画像処理装置１００に出力する場合は、色調補正後の内視鏡画像データが、内視鏡画像処理装置１００に出力される。
　《内視鏡画像処理装置》
　内視鏡画像処理装置１００は、内視鏡装置１０から内視鏡画像データを取得し、画像認識により、画像に含まれる病変を検出し、検出した病変を種別ごとに分類して報知する処理を行う。
　画像認識の処理には、たとえば、畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）が用いられる。
　病変の分類は、たとえば、ＮＩＣＥ分類又はＪＮＥＴ分類などに従って複数のカテゴリーに分類する処理が行われる。「ＮＩＣＥ」は、NBI International Colorectal Endoscopic の略語である。「ＪＮＥＴ」は、「the Japan NBI Expert Team」の略語である。「ＮＢＩ」（登録商標）は、Narrow band imaging（登録商標）の略語である。
　ＮＩＣＥ分類は、非拡大のＮＢＩによる分類であり、病変の色調（Color）、微小血管 模様（Vessels）、及び表面模様（Surface pattern）の３項目の各項目について、Type1、Type２及びType３に分類される。Type1は過形成病変、Type2は腺腫～粘膜内癌、Type3はＳＭ（submucosa）深部浸潤癌の診断指標である。ＪＮＥＴ分類は、大腸腫瘍に対するＮＢＩ拡大内視鏡所見の分類である。ＪＮＥＴ分類は、「vessel pattern」と「surface pattern」の各項目について、Type1、Type2A、Type2B、及びType3に分類される。
　なお、画像認識の処理は、ＮＩＣＥ分類などの詳細な分類に代えて、又は、これと組み合わせて、単に「癌性」であるか「非癌性」であるかの２分類の認識を行ってもよい。
　図８は、内視鏡画像処理装置のハードウェア構成を示すブロック図である。
　内視鏡画像処理装置１００は、たとえば、パーソナルコンピュータ、ワークステーション等のコンピュータで構成される。このコンピュータには、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０４、ＲＯＭ（read-only memory）１０６、通信インターフェイス（interface，Ｉ／Ｆ）１０８及び入出力インターフェイス１１０が備えられ、通信インターフェイス１０８を介してネットワーク２に接続される。また、入出力インターフェイス１１０を介して記憶装置１１２、入力装置１１４及び表示装置１１６が接続される。記憶装置１１２は、たとえば、ハードディスクドライブ（Hard Disk Drive，ＨＤＤ）等のストレージデバイスで構成される。入力装置１１４は、キーボード及びマウス等の入力デバイスで構成される。表示装置１１６は、液晶モニタ等の表示デバイスで構成される。
　図９は、内視鏡画像処理装置の機能を示すブロック図である。
　同図に示すように、内視鏡画像処理装置１００は、所定の制御プログラム（内視鏡画像処理プログラム）を実行することにより、内視鏡画像取得部１２０、画像変換処理部１２２、画像認識部１２４、及び表示制御部１２６として機能する。プログラムは、ＲＯＭ１０６又は記憶装置１１２に格納される。
　内視鏡画像取得部１２０は、内視鏡装置１０から内視鏡画像データを取得する。内視鏡画像データは、動画及び静止画のいずれの画像データであってもよい。
　画像変換処理部１２２は、内視鏡画像取得部１２０で取得された内視鏡画像を基準画質の画像に変換する処理を行う。ここで、本実施の形態において、「基準画質」とは、内視鏡装置１０で行われた色調補正を行う前の画質をいう。
　上記のように、本実施の形態の内視鏡装置１０では、必要に応じて、出力画像の色調補正が行われる。一方、後述するように、画像認識は、機械学習によって学習したモデル（学習済みモデル）が用いられる。機械学習では、学習用の画像群に画質の偏りがあると、画質の偏りも学習する。この結果、学習した画像群の画質の偏りから外れた画質の画像を画像認識させた場合に精度が低下する。色調が補正されると、学習した画像群の画質の偏りから外れ、画像認識させた場合に精度が低下する。
　そこで、本実施の形態では、内視鏡装置１０から取得した内視鏡画像データに対して画像処理を行い、その画質を色調補正前の画質に変換する。具体的には、取得した内視鏡画像データに対して、色調補正した際の補正マトリクスＡの逆行列Ａ－１となる補正マトリクスＢを用いてマトリクス補正し、基準画質の画像データに変換する。
　いま、取得した内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ１、Ｇ１、Ｂ１、補正マトリクスをＢ、変換後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ２、Ｇ２、Ｂ２とすると、変換後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値Ｒ２、Ｇ２、Ｂ２は、次式（２）で表わされる。
Figure JPOXMLDOC01-appb-M000002
　画像変換処理部１２２は、色調補正の際の補正マトリクスＡの情報を内視鏡装置１０から取得し、その逆行列となる補正マトリクスＢを設定する。そして、設定された補正マトリクスＢを用いて、取得した内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をマトリクス補正し、画質を変換する。すなわち、色調補正前の画質に変換する。
　画像認識部１２４は、画像変換処理部１２２によって基準画質の画像に変換された後の内視鏡画像に対して画像認識の処理を行う。本実施の形態では、取得した内視鏡画像から病変（注目領域）を検出し、かつ、検出された病変をＮＩＥＣ分類又はＪＮＥＴ分類などに従い分類する処理を行う。画像認識部１２４は、機械学習によって学習した学習済みモデルを用いて構成される。このモデルは、たとえば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成される。モデル生成の際は、基準画質に変換された内視鏡画像群で学習する。
　表示制御部１２６は、画像認識部１２４による認識結果を取得し、所定の表示態様で認識結果を表示装置１１６に表示させる。
　図１０は、認識結果の表示の一例を示す図である。
　同図に示すように、病変が検出された場合、画像認識した内視鏡画像に重ねて、認識結果が表示される。認識結果は、たとえば、検出された病変の領域を枠で囲う形式で表示される。また、その枠に近接して、病変の分類結果が表示される。
　図１１は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
　まず、内視鏡画像取得部１２０によって内視鏡装置１０から内視鏡画像データが取得される（ステップＳ１１）。
　次に、色調の調整値に基づいて、認識対象の画質を基準画質に変換する処理が行われる（ステップＳ１２）。この処理は、画像変換処理部１２２によって行われる。画像変換処理部１２２は、取得された内視鏡画像データをマトリクス補正することにより、その画質を変換する。この際に使用する補正マトリクスＢは、認識対象の内視鏡画像データを生成した際の色調補正の補正マトリクスＡから求められる。すなわち、補正マトリクスＡの逆行列として求められる。
　次に、基準画質に変換された後の内視鏡画像に対して画像認識部１２４によって画像認識が行われ（ステップＳ１３）、その認識結果が表示装置２１に出力される（ステップＳ１４）。
　このように、本実施の形態の内視鏡画像処理装置１００では、内視鏡画像を画像認識する際、認識対象の内視鏡画像の画質を基準画質に変換し、変換後の内視鏡画像に対して画像認識が行われる。これにより、内視鏡装置１０において、独自の色調補正を行った場合であっても、精度よく画像認識を行うことができる。すなわち、画質の差異を考慮せずに画像認識できる。
　◆◆第２の実施の形態◆◆
　内視鏡装置では、画質を自動的に補正する場合がある。たとえば、照明光の光量変化による画質の変化を自動的に補正する場合がある。本実施の形態では、認識対象である内視鏡画像が、画質補正されている場合、その補正情報に基づいて、画質を基準画質に変換し、変換後の内視鏡画像に対して、画像認識を行う。
　《画質の自動補正》
　ここでは、光量変化に基づく画質の自動補正について説明する。なお、内視鏡装置のハードウェア構成は、上記第１の実施の形態と同じである。したがって、ハードウェア構成についての説明は省略する。
　〈光量制御〉
　まず、照明光の光量の制御について説明する。本実施の形態の内視鏡装置では、撮影距離（イメージセンサの撮像面から被検体までの距離）に応じて、照明光の光量、すなわち、第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の出射光量が自動で制御される。内視鏡制御部６５は、撮影距離に応じて、最適な光量比となるように、第１レーザ光源ＬＤ１からの出射光量及び第２レーザ光源ＬＤ２からの出射光量を制御する。撮影距離の情報は、たとえば、オートフォーカスの情報などを利用して取得される。この他、露出情報（シャッタ速度、絞り値、明るさ（EV値（Exposure Value））等）と、光源制御部５１が設定する照明光量の情報とに基づいて推定する等の方法を採用することもできる。光量比の設定には、たとえば、撮影距離と最適光量比との関係を表すテーブルをあらかじめ用意しておき、このテーブルを参照することにより行われる。
　内視鏡制御部６５は、テーブルを参照し、撮影距離が近いほど、粘膜表層の毛細血管等を強調するように、第２レーザ光源ＬＤ２からの出射光量を第１レーザ光源ＬＤ１からの出射光量よりも相対的に大きく設定する。また、撮影距離が遠いほど、遠景の輝度を確保するため、高照度の照明光となるように、第１レーザ光源ＬＤ１からの出射光量を第２レーザ光源ＬＤ２からの出射光量よりも相対的に大きく設定する。
　〈画質補正〉
　上記のように、第１レーザ光源ＬＤ１からの出射光は最終的に白色光として被検体に照射され、第２レーザ光源ＬＤ２からの出射光は、狭帯域光として被検体に照射される。このため、第１レーザ光源ＬＤ１及び第２レーザ光源ＬＤ２の出射光の光量比が変更されると、照明光の色味が変化する。たとえば、第２レーザ光源ＬＤ２の光量が、第１レーザ光源ＬＤ１の光量に対して増加すると、青味を帯びた照明光となる。この結果、光量比に応じて観察画像である内視鏡画像の色調が変化する。
　そこで、設定した光量比によって変化する照明光の色味に応じて内視鏡画像の色調補正を行い、内視鏡画像が照明光の色味変化の影響を受けないようにする。
　内視鏡制御部６５は、設定された光量比の情報に基づいて、画像の色調変化がなくなるように、内視鏡画像データを補正する。補正は、たとえば、光量比ごとに色調補正テーブルをあらかじめ用意し、この色調補正テーブルを参照して行う。
　色調補正テーブルは、たとえば、内視鏡画像の各画素に対して、Ｒ、Ｇ、Ｂの強度値をマトリクス補正する補正マトリクスとして表すことができる。
　撮影により得られた内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ３、Ｇ３、Ｂ３、補正マトリクスをＣ、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をＲ４、Ｇ４、Ｂ４とすると、色調補正後の内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値Ｒ４、Ｇ４、Ｂ４は、次式（３）で表わされる。
Figure JPOXMLDOC01-appb-M000003
　補正マトリクスＣの係数ｃijは、光量比の変化による照明光の色味変化をキャンセルするように設定され、複数種の光量比に対応する複数種の補正マトリクスＣが、あらかじめ容易される。
　画像処理部６７は、設定された補正マトリクスＣを用いて、内視鏡画像データの各画素のＲ、Ｇ、Ｂの強度値をマトリクス補正し、内視鏡画像データの色調を補正する。そして、補正後の内視鏡画像データを表示装置２１に出力する。
　図１２は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
　内視鏡１１から出力される画像信号が取得され（ステップＳ２１）、取得された画像信号から内視鏡画像の画像データ（内視鏡画像データ）が生成される（ステップＳ２２）。そして、生成された内視鏡画像データに対して、光量変化に基づく色調補正が行われ（ステップＳ２３）、色調補正後の内視鏡画像データが表示装置２１に出力される（ステップＳ２４）。内視鏡画像を内視鏡画像処理装置１００に出力する場合は、色調補正後の内視鏡画像データが、内視鏡画像処理装置１００に出力される。
　《画像認識》
　認識対象の内視鏡画像が、光量変化に基づいて自動的に色調補正されている場合、内視鏡画像処理装置１００は、その補正情報に基づいて、画質を基準画質に変換し、変換後の内視鏡画像に対して、画像認識を行う。
　図１３は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
　まず、内視鏡画像取得部１２０によって内視鏡装置１０から内視鏡画像データが取得される（ステップＳ３１）。次に、光量変化に基づく色調補正の補正情報に基づいて、認識対象の画質を基準画質に変換する処理が行われる（ステップＳ３２）。画像変換処理部１２２は、取得された内視鏡画像データをマトリクス補正することにより、その画質を変換する。この際に使用する補正マトリクスは、認識対象の内視鏡画像データを光量変化に基づいて色調補正した際の補正マトリクスＣから求められる。すなわち、補正マトリクスＣの逆行列Ｃ－１として求められる。
　次に、基準画質に変換された後の内視鏡画像に対して画像認識部１２４によって画像認識が行われ（ステップＳ３３）、その認識結果が表示装置２１に出力される（ステップＳ３４）。
　このように、基準画質の画像に変換して、画像認識することにより、内視鏡装置１０で自動的に色調が補正された場合であっても、精度よく画像認識を行うことができる。すなわち、画質の差異を考慮せずに画像認識できる。
　◆◆第３の実施の形態◆◆
　術者によって出力画像の色調が調整され、更に、光量変化に応じて色調が自動補正される場合は、次のように処理される。
　《内視鏡装置での処理》
　図１４は、画像信号の取得から表示装置への出力までの処理の手順を示すフローチャートである。
　内視鏡１１から出力される画像信号が取得され（ステップＳ４１）、取得された画像信号から内視鏡画像の画像データ（内視鏡画像データ）が生成される（ステップＳ４２）。生成された内視鏡画像データに対して、まず、光量変化に基づく色調補正が行われる（ステップＳ４３）。次いで、色調の調整値に基づいて、色調補正が行われる（ステップＳ４４）。この後、色調補正後の内視鏡画像データが、表示装置２１に出力される（ステップＳ４５）。内視鏡画像を内視鏡画像処理装置１００に出力する場合は、色調補正後の内視鏡画像データが、内視鏡画像処理装置１００に出力される。
　《内視鏡画像処理装置での処理（内視鏡画像処理方法）》
　図１５は、内視鏡画像処理装置で実施される画像認識の処理の手順を示すフローチャートである。
　まず、内視鏡画像取得部１２０によって内視鏡装置１０から内視鏡画像データが取得される（ステップＳ５１）。
　次に、光量変化に基づく色調補正の補正情報に基づいて、認識対象の画質を変換する処理が行われる（ステップＳ５２）。次に、色調の調整値に基づく色調補正の補正情報に基づいて、認識対象の画質を変換する処理が行われる（ステップＳ５３）。この二段階の変換処理を施すことにより、認識対象の画質が基準画質に変換される。
　次に、基準画質に変換された後の内視鏡画像に対して画像認識部１２４によって画像認識が行われる（ステップＳ５４）。そして、その認識結果が表示装置２１に出力される（ステップＳ５５）。
　このように、認識対象の内視鏡画像に複数の画質補正が施されている場合は、各画質補正に対応した変換処理を実施することにより、基準画質の画像に変換する。そして、このように基準画質の画像に変換して、画像認識することにより、精度よく画像認識を行うことができる。
　◆◆変形例◆◆
　《内視鏡装置で行われる画質補正》
　上記実施の形態では、内視鏡装置において色調を補正する場合を例に説明したが、内視鏡装置で行われる画質補正の種類は、これに限定されるものではない。この他、明るさの補正、コントラストの補正、シャープネスの補正等、種々の画質補正を行うことができる。
　画質補正された内視鏡画像を画像認識する場合は、画質補正の内容に応じた逆変換の処理を行うことで、基準画質の画像に変換する。
　また、上記実施の形態では、色調補正の手法として、マトリクス補正を採用しているが、画質補正の手法は、これに限定されるものではない。たとえば、光量変化による画質変化を調整する場合は、あらかじめ設定されている光量による画質変化を調整する画像処理パラメーターを用いて画像処理し、画質を補正してもよい。また、術者の好みの色調に調整する場合は、色調を調整する画像処理パラメーターで画像処理を行って、色調を補正してもよい。画像認識する際は、補正の際に使用した画像処理パラメーターを基にして、画像処理を行い、基準画質の画像に変換する。
　《内視鏡画像処理装置で行われる画像変換処理》
　上記のように、内視鏡画像処理装置では、認識対象の内視鏡画像の画質を基準画質に変換して、画像認識を行う。
　基準画質に変換する処理は、認識対象の内視鏡画像に施された画質補正の内容に基づいて行われる。すなわち、その画質補正の内容を基に、逆変換の処理を施すことにより、基準画質の画像に変換する。この際、たとえば、内視鏡装置で設定されている画質の調整値の情報を取得することにより、容易に基準画質の画像に変換することができる。
　内視鏡装置では、通常、観察画像である内視鏡画像を表示装置に表示する場合に色調等の画質の調整が行われる。したがって、内視鏡画像を表示装置に出力する場合に内視鏡装置で設定される画質の調整値の情報を取得して、基準画質の画像に変換する処理を行うことが好ましい。
　また、内視鏡装置では、内視鏡画像を静止画として保存する場合、静止画用の画質調整が行われる場合がある。このように、静止画用の画質調整を行う場合において、静止画の内視鏡画像を画像認識する場合は、内視鏡装置で設定される静止画用の画質の調整値の情報を取得して、基準画質の画像に変換する処理を行うことが好ましい。
　また、一般に画質補正の内容は、内視鏡画像が撮影された内視鏡装置ごとに異なるので、内視鏡装置ごとに設定された数値で内視鏡画像を処理して、内視鏡画像を基準画質の画像に変換する処理を行うことが好ましい。特に、色調調整する場合は、術者ごとに調整値が異なるので、術者ごとの設定に応じた画像変換処理を行って、基準画質の画像に変換することが好ましい。
　《画像認識部の変形例》
　上記実施の形態では、画像認識部が、機械学習によって学習した畳み込みニューラルネットワークで構成される場合を例に説明したが、画像認識部の構成は、これに限定されるものではない。この他、公知の手法で機械学習することによって生成した学習済みモデルで画像認識部を構成することができる。
　なお、機械学習の際には、基準画質に変換された画像群で学習する。したがって、「基準画質」とは、画像認識部を生成した際の学習用の画像群の画質ということもできる。そして、「基準画質に変換する処理」とは、画像認識部を生成した際の学習用の画像群の画質に変換する処理ということもできる。
　《認識対象とする内視鏡画像の取得方法》
　上記実施の形態では、認識対象とする内視鏡画像を内視鏡装置から直接取得する構成としているが、内視鏡画像の取得先は、これに限定されるものではない。たとえば、ネットワークを介して接続された他の記憶装置に保存されている内視鏡画像、サーバに記録されている内視鏡画像等を認識対象の内視鏡画像として取得してもよい。
　また、認識対象の内視鏡画像は、動画と静止画のいずれであってもよい。動画は、複数のフレームを含む時系列画像として構成される。
　◆◆その他の変形例◆◆
　《内視鏡画像処理装置のハードウェア構成について》
　内視鏡画像処理装置の機能は、各種のプロセッサ（processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、又は、ＣＰＵ及びＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、内視鏡画像処理装置の機能は、内視鏡装置を構成するプロセッサ装置に搭載することもできる。
　《内視鏡》
　電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよい。また、カプセル内視鏡であってもよい。
　《内視鏡装置の照明光について》
　照明光は、白色光、あるいは、１又は複数の特定の波長帯域の光、あるいは、これらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
　〈第１例〉
　特定の波長帯域の第１例は、たとえば、可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第２例〉
　特定の波長帯域の第２例は、たとえば、可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第３例〉
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第４例〉
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、かつ、この蛍光物質を励起させる励起光の波長帯域、たとえば、３９０ｎｍから４７０ｎｍである。
　〈第５例〉
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
　《照明光の切り替えについて》
　光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）、又は、これらの適宜の組み合わせを採用できる。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また、観察の際は、被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ、及び／又は、切り替えることが好ましい。波長を切り替える場合、たとえば、光源の前方に配置され、特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　内視鏡に用いるイメージセンサは、各画素に対しカラーフィルタが配設されたカラーイメージセンサに限定されるものではなく、モノクロイメージセンサでもよい。モノクロイメージセンサを用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。たとえば、出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、白色光を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は、波長の異なる２波長以上の赤外光でもよい。
　《特殊光画像の生成例》
　プロセッサ装置４９は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。プロセッサ装置４９は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）及び青（Ｂ）、又は、シアン（Cyan，Ｃ）、マゼンタ（Magenta，Ｍ）及びイエロー（Yellow，Ｙ）の色情報に基づく演算を行うことで得ることができる。
　《コンピュータに内視鏡画像処理装置の機能を実現させるプログラムについて》
　上記の実施形態で説明した内視鏡画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　また、上記の実施形態で説明した内視鏡画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
　《実施形態及び変形例等の組み合わせについて》
　上記実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
１　内視鏡システム
２　ネットワーク
１０　内視鏡装置
１１　内視鏡
１３　内視鏡制御装置
１５　内視鏡挿入部
１７　イメージセンサ
１９Ａ　ライトガイドコネクタ
１９Ｂ　ビデオコネクタ
２１　表示装置
２３　入力装置
２５　操作部
２７　接続部
３１　軟性部
３３　湾曲部
３５　先端硬質部
３７Ａ　照明窓
３７Ｂ　照明窓
３８　観察窓
３９　撮影光学系
４１　アングルノブ
４３　操作部材
４７　光源装置
４９　プロセッサ装置
５１　光源制御部
５３　コンバイナ
５５　カプラ
５７Ａ　光ファイバ
５７Ｂ　光ファイバ
５９　蛍光体
６１　スコープケーブル
６５　内視鏡制御部
６７　画像処理部
６９　記憶部
１００　内視鏡画像処理装置
１０６　ＲＯＭ
１０８　通信インターフェイス
１１０　入出力インターフェイス
１１２　記憶装置
１１４　入力装置
１１６　表示装置
１２０　内視鏡画像取得部
１２２　画像変換処理部
１２４　画像認識部
１２６　表示制御部
λａ　４００ｎｍ付近の波長域
λｂ　波長５００ｎｍ付近の波長域
Ｓ１－Ｓ４　画像信号の取得から表示装置への出力までの処理の手順
Ｓ１１－Ｓ１４　内視鏡画像処理装置で実施される画像認識の処理の手順
Ｓ２１－Ｓ２４　画像信号の取得から表示装置への出力までの処理の手順
Ｓ３１－Ｓ３４　内視鏡画像処理装置で実施される画像認識の処理の手順
Ｓ４１－Ｓ４５　画像信号の取得から表示装置への出力までの処理の手順
Ｓ５１－Ｓ５５　内視鏡画像処理装置で実施される画像認識の処理の手順

Claims (12)

  1. 　内視鏡装置で撮影された内視鏡画像を取得する内視鏡画像取得部と、
    　前記内視鏡画像を基準画質の画像に変換する処理を行う画像変換処理部と、
    　前記基準画質に変換された画像に対して画像認識を行う画像認識部と、
    　を備えた内視鏡画像処理装置。
  2. 　前記画像変換処理部は、前記内視鏡装置で設定されている画質の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
    　請求項１に記載の内視鏡画像処理装置。
  3. 　前記画像変換処理部は、前記内視鏡画像を表示装置に出力する場合に前記内視鏡装置で設定される画質の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
    　請求項１に記載の内視鏡画像処理装置。
  4. 　前記画像変換処理部は、前記内視鏡画像を静止画として保存する場合に前記内視鏡装置で設定される画質の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
    　請求項１に記載の内視鏡画像処理装置。
  5. 　前記画像変換処理部は、前記内視鏡装置で設定されている色調の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
    　請求項１に記載の内視鏡画像処理装置。
  6. 　前記画像変換処理部は、前記内視鏡装置で設定されている光量による画質変化の調整値に基づいて、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
    　請求項１に記載の内視鏡画像処理装置。
  7. 　前記画像変換処理部は、前記内視鏡画像が撮影された前記内視鏡装置ごとに設定された数値で前記内視鏡画像を処理して、前記内視鏡画像を前記基準画質の画像に変換する処理を行う、
    　請求項１に記載の内視鏡画像処理装置。
  8. 　前記画像認識部は、前記基準画質に変換された画像で学習した畳み込みニューラルネットワークで構成される、
    　請求項１から７のいずれか一項に記載の内視鏡画像処理装置。
  9. 　前記画像認識部が行う前記画像認識には、注目領域を検出する処理、及び／又は、認識対象を分類する処理が含まれる、
    　請求項１から７のいずれか一項に記載の内視鏡画像処理装置。
  10. 　内視鏡装置で撮影された内視鏡画像を取得するステップと、
    　前記内視鏡画像を基準画質の画像に変換する処理を行うステップと、
    　前記基準画質に変換された画像に対して画像認識を行うステップと、
    　を含む内視鏡画像処理方法。
  11. 　内視鏡装置で撮影された内視鏡画像を取得する機能と、
    　前記内視鏡画像を基準画質の画像に変換する処理を行う機能と、
    　前記基準画質に変換された画像に対して画像認識を行う機能と、
    　をコンピュータに実現させる内視鏡画像処理プログラム。
  12. 　非一時的かつコンピュータ読取可能な記憶媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　内視鏡装置で撮影された内視鏡画像を取得する機能と、
    　前記内視鏡画像を基準画質の画像に変換する処理を行う機能と、
    　前記基準画質に変換された画像に対して画像認識を行う機能と、
    　を含む内視鏡画像処理機能をコンピュータに実現させる記憶媒体。
PCT/JP2019/020678 2018-06-12 2019-05-24 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム WO2019239854A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020525396A JP7130038B2 (ja) 2018-06-12 2019-05-24 内視鏡画像処理装置、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
JP2022132527A JP7350954B2 (ja) 2018-06-12 2022-08-23 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-111829 2018-06-12
JP2018111829 2018-06-12

Publications (1)

Publication Number Publication Date
WO2019239854A1 true WO2019239854A1 (ja) 2019-12-19

Family

ID=68842861

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020678 WO2019239854A1 (ja) 2018-06-12 2019-05-24 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム

Country Status (2)

Country Link
JP (2) JP7130038B2 (ja)
WO (1) WO2019239854A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013860A1 (ko) * 2021-08-06 2023-02-09 주식회사 메타플바이오 멀티스펙트럼 내시경 및 이를 포함하는 내시경 시스템
WO2023199923A1 (ja) * 2022-04-11 2023-10-19 アナウト株式会社 手術画像処理プラットフォーム及びコンピュータプログラム
WO2024024411A1 (ja) * 2022-07-28 2024-02-01 Hoya株式会社 電子内視鏡システムの画像補正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11504739A (ja) * 1995-07-25 1999-04-27 ホルス ゼラピーティクス，インコーポレイテッド コンピュータ援用疾病診断方法
JP2016533782A (ja) * 2013-10-11 2016-11-04 マウナ ケア テクノロジーズ 映像医療機器により取得した画像を特徴づける方法およびシステム
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895204B2 (ja) * 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP5940604B2 (ja) * 2014-07-30 2016-06-29 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及びプログラム
EP3274915A1 (en) * 2015-03-27 2018-01-31 Siemens Aktiengesellschaft Method and system for automated brain tumor diagnosis using image classification
JPWO2017017722A1 (ja) * 2015-07-24 2018-05-24 オリンパス株式会社 処理装置、処理方法及びプログラム
US10803582B2 (en) * 2016-07-04 2020-10-13 Nec Corporation Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11504739A (ja) * 1995-07-25 1999-04-27 ホルス ゼラピーティクス，インコーポレイテッド コンピュータ援用疾病診断方法
JP2016533782A (ja) * 2013-10-11 2016-11-04 マウナ ケア テクノロジーズ 映像医療機器により取得した画像を特徴づける方法およびシステム
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013860A1 (ko) * 2021-08-06 2023-02-09 주식회사 메타플바이오 멀티스펙트럼 내시경 및 이를 포함하는 내시경 시스템
WO2023199923A1 (ja) * 2022-04-11 2023-10-19 アナウト株式会社 手術画像処理プラットフォーム及びコンピュータプログラム
WO2024024411A1 (ja) * 2022-07-28 2024-02-01 Hoya株式会社 電子内視鏡システムの画像補正方法

Also Published As

Publication number Publication date
JP2022162028A (ja) 2022-10-21
JPWO2019239854A1 (ja) 2021-07-01
JP7350954B2 (ja) 2023-09-26
JP7130038B2 (ja) 2022-09-02

Similar Documents

Publication Publication Date Title
US9675238B2 (en) Endoscopic device
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5460506B2 (ja) 内視鏡装置の作動方法及び内視鏡装置
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP7350954B2 (ja) 内視鏡画像処理装置、内視鏡システム、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP5485215B2 (ja) 内視鏡装置
US9072453B2 (en) Endoscope apparatus
JP5762344B2 (ja) 画像処理装置及び内視鏡システム
WO2019235195A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP5766773B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP2016174976A (ja) 内視鏡システム
JP6556076B2 (ja) 内視鏡画像信号処理装置および方法並びにプログラム
JP5631757B2 (ja) 電子内視鏡システム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP6454755B2 (ja) 内視鏡システム
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6580778B2 (ja) 内視鏡画像信号処理装置およびプログラム
JP5965028B2 (ja) 内視鏡システム
JP6694046B2 (ja) 内視鏡システム
JP6970777B2 (ja) 内視鏡システム
JP2022009755A (ja) 内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19820262

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525396

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19820262

Country of ref document: EP

Kind code of ref document: A1