WO2019130964A1 - 内視鏡画像取得システム及び方法 - Google Patents

内視鏡画像取得システム及び方法 Download PDF

Info

Publication number
WO2019130964A1
WO2019130964A1 PCT/JP2018/043790 JP2018043790W WO2019130964A1 WO 2019130964 A1 WO2019130964 A1 WO 2019130964A1 JP 2018043790 W JP2018043790 W JP 2018043790W WO 2019130964 A1 WO2019130964 A1 WO 2019130964A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
wavelength
wavelength pattern
images
Prior art date
Application number
PCT/JP2018/043790
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019562881A priority Critical patent/JP6989619B2/ja
Priority to EP18893781.7A priority patent/EP3733046A4/en
Priority to CN201880083804.9A priority patent/CN111526773B/zh
Publication of WO2019130964A1 publication Critical patent/WO2019130964A1/ja
Priority to US16/901,022 priority patent/US11684237B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages

Definitions

  • the present invention relates to an endoscopic image acquisition system and method, and more particularly to a technology for acquiring a learning image for learning a learning algorithm for diagnosing an endoscopic image.
  • BACKGROUND ART AI Artificial Intelligence
  • BACKGROUND ART AI Artificial Intelligence
  • a learning algorithm such as a neural network
  • highly accurate diagnosis is possible.
  • collection of learning images is essential.
  • NBI Near Band imaging (registered trademark)
  • BLI Blue Laser Imaging (registered trademark)
  • Patent Document 1 discloses a reflected light imaging unit for photographing reflected light of a band light from a light source unit in a subject, and a plurality of fluorescences of different bands generated by two or more band lights.
  • a fluorescence observation apparatus which comprises: a fluorescence imaging unit for photographing the light; and simultaneously photographing the reflected light and the fluorescence.
  • the fluorescence observation apparatus described in Patent Document 1 causes the display unit to display fluorescence images of different bands for each frame. However, if the color on the display changes frequently, there is a problem that it becomes difficult for the doctor to observe the image.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to provide an endoscopic image acquisition system and method that facilitate image observation when collecting images.
  • one aspect of the endoscopic image acquisition system includes an irradiation unit that irradiates irradiation light to an observation area in a body cavity of a patient, and return light from the observation area to be observed.
  • a photographing unit for photographing an image of a region
  • a display control unit for sequentially displaying the photographed image on the display unit
  • a wavelength pattern changing unit for changing a wavelength pattern of irradiation light or return light
  • a reception unit for receiving an image acquisition instruction
  • a plurality of imaging control units for imaging an image of a wavelength pattern for observation at a constant frame rate, the imaging control unit sequentially imaging images of a plurality of different wavelength patterns when an acquisition instruction is received.
  • a storage control unit for storing an image of the wavelength pattern in the storage unit in the storage unit, and the display control unit does not display an image of a wavelength pattern other than the observation wavelength pattern. It is a system.
  • the display control unit replaces the display of the image of the wavelength pattern other than the wavelength pattern for observation, and among the images of the wavelength pattern for observation already captured, the latest image or an image captured a certain number of times before the latest image It is preferable to display. As a result, only the image of the wavelength pattern for observation is displayed, so image observation can be facilitated.
  • the display control unit includes an interpolation image generation unit that generates an interpolation image from a plurality of images including a latest image or images captured a certain number of times before the latest image among images of observation wavelength patterns captured. It is preferable to display an interpolated image instead of displaying an image of a wavelength pattern other than the observation wavelength pattern. As a result, only the image of the wavelength pattern for observation is displayed, so image observation can be facilitated.
  • the irradiation unit preferably includes a plurality of light sources, and the wavelength pattern changing unit preferably selects a light source to be turned on among the plurality of light sources to change the wavelength pattern of the irradiation light. Thereby, the wavelength pattern of irradiation light can be changed appropriately.
  • the irradiation unit preferably includes a plurality of light sources, and the wavelength pattern changing unit preferably changes the ratio of the light amounts of the plurality of light sources to change the wavelength pattern of the irradiation light. Thereby, the wavelength pattern of irradiation light can be changed appropriately.
  • the imaging unit preferably includes a filter that limits the wavelength band of light to be transmitted, and the wavelength pattern changing unit preferably controls the filter to change the wavelength pattern of return light. Thereby, the wavelength pattern of the return light can be appropriately changed.
  • the images of the plurality of different wavelength patterns each include the image of the wavelength pattern for observation, and the storage control unit stores the image of the wavelength pattern for observation in the first storage area of the storage unit, and the wavelength pattern for observation It is preferable to store an image of a wavelength pattern other than the first storage area of the storage unit in a second storage area different from the first storage area.
  • the diagnostic image and the learning image can be stored in different areas of the storage unit.
  • storing in different areas of the storage unit includes storing a plurality of storage units in different storage units different from the diagnostic image and the learning image.
  • the storage control unit associates the image with the information of the wavelength pattern when the image is captured, and stores the information in the storage unit.
  • the storage control unit associates the image with the information of the wavelength pattern when the image is captured, and stores the information in the storage unit.
  • wavelength pattern selection unit that allows the user to select a wavelength pattern for observation, and the imaging control unit to capture an image at a constant frame rate in the selected wavelength pattern. Thereby, it can observe by a desired wavelength pattern.
  • the image processing apparatus includes an order selection unit that allows the user to select the order of the plurality of wavelength patterns when sequentially capturing images of a plurality of different wavelength patterns, and the imaging control unit is configured to select images of the plurality of wavelength patterns different in the selected order. It is preferable to take pictures sequentially. In this way, it is possible to take pictures sequentially from the desired image.
  • a storage image selection unit for the user to select an image to be stored in the storage unit among images of a plurality of different wavelength patterns is provided, and the storage control unit causes the storage unit to store the selected image.
  • the storage control unit causes the storage unit to store the selected image.
  • the image processing apparatus may include an automatic selection unit that automatically selects an image to be stored in the storage unit among images of a plurality of different wavelength patterns, and the storage control unit can store the automatically selected image in the storage unit. Thereby, only a desired image can be stored in the storage unit.
  • a determination unit that determines an image captured at the time of transition of a wavelength pattern when sequentially capturing images of a plurality of different wavelength patterns, and an automatic selection unit automatically select based on the determination result.
  • the image captured at the time of transition of the wavelength pattern can be excluded from the learning image.
  • an acquisition instruction input unit for the user to input an acquisition instruction is provided, and the receiving unit receives the acquisition instruction from the acquisition instruction input unit. Thereby, a desired image can be acquired.
  • the recognition unit includes a recognition unit that recognizes a scene of interest from a captured image, and an acquisition instruction output unit that outputs an acquisition instruction when the recognition unit recognizes a scene of interest, and the reception unit receives an acquisition instruction from the acquisition instruction output unit Is preferred. Thereby, the image of the scene of interest can be acquired automatically.
  • one aspect of the endoscopic image acquisition method includes an irradiation step of irradiating irradiation light to an observation area in a patient's body cavity, and receiving return light from the observation area to be observed
  • a shooting process for shooting an image of a region a display control process for sequentially displaying the shot image on the display unit, a wavelength pattern changing process for changing a wavelength pattern of the irradiation light or return light, and a reception process for receiving an image acquisition instruction
  • an imaging control process for imaging an image of a wavelength pattern for observation at a constant frame rate, and a plurality of imaging control processes for sequentially imaging images of a plurality of different wavelength patterns when an acquisition instruction is received.
  • storing the image of the wavelength pattern in the storage unit in the storage unit, and the display control step does not display the image of the wavelength pattern other than the wavelength pattern for observation. It is an endoscope image acquisition method.
  • image observation can be facilitated when collecting an image.
  • FIG. 1 is an external view showing an endoscope system 10 (an example of an endoscope image acquisition system) according to a first embodiment.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a display unit 18, and an input unit 20.
  • the endoscope 12 is optically connected to the light source device 14. In addition, the endoscope 12 is electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12A inserted into a body cavity of a patient, an operation portion 12B provided at a proximal end portion of the insertion portion 12A, a bending portion 12C provided at the distal end side of the insertion portion 12A and a distal end portion 12D. have.
  • the operation unit 12B is provided with an angle knob 12E and a mode change switch 13A.
  • an acquisition instruction input unit 13B (see FIG. 2) is provided in the operation unit 12B.
  • the angle knob 12E By operating the angle knob 12E, the bending portion 12C bends. By this bending operation, the tip 12D is directed in a desired direction.
  • the mode changeover switch 13A is used for the switching operation of the observation mode.
  • the endoscope system 10 has a plurality of observation modes in which the wavelength patterns of the irradiation light are different. The doctor can set the desired observation mode by operating the mode switch 13A.
  • the endoscope system 10 generates an image according to the set observation mode by the combination of the wavelength pattern and the image processing, and displays the image on the display unit 18.
  • the endoscope system 10 can acquire a still image at a desired position. In the present embodiment, it is possible to acquire a diagnostic image used to create a diagnostic report and a learning image for learning a learning algorithm.
  • the acquisition instruction input unit 13B (an example of a reception unit) is an interface for a doctor to input a still image acquisition instruction.
  • the acquisition instruction input unit 13B receives a still image acquisition instruction.
  • the acquisition instruction of the still image accepted by the acquisition instruction input unit 13 B is input to the processor device 16.
  • the processor device 16 is electrically connected to the display unit 18 and the input unit 20.
  • the display unit 18 is a display device that outputs and displays an image to be observed and information related to the image to be observed.
  • the input unit 20 functions as a user interface that receives input operations such as setting of functions of the endoscope system 10 and various instructions.
  • FIG. 2 is a block diagram showing the function of the endoscope system 10.
  • the light source device 14 includes a first laser light source 22A, a second laser light source 22B, and a light source control unit 26.
  • the first laser light source 22A is a blue laser light source having a central wavelength of 445 nm.
  • the second laser light source 22B is a violet laser light source with a center wavelength of 405 nm.
  • Laser diodes can be used as the first laser light source 22A and the second laser light source 22B.
  • Light emission of the first laser light source 22A and the second laser light source 22B is individually controlled by the light source control unit 26.
  • the emission intensity ratio between the first laser light source 22A and the second laser light source 22B is changeable.
  • the endoscope 12 includes an optical fiber 28A, an optical fiber 28B, a fluorescent body 30, a diffusion member 32, an imaging lens 34, an imaging element 38, and an analog-to-digital converter 40.
  • An irradiation part is comprised by the 1st laser light source 22A, the 2nd laser light source 22B, the optical fiber 28A, the optical fiber 28B, the fluorescent substance 30, and the diffusion member 32.
  • the laser beam emitted from the first laser light source 22A is irradiated to the phosphor 30 disposed at the tip 12D of the endoscope 12 by the optical fiber 28A.
  • the phosphor 30 includes a plurality of types of phosphors which absorb part of the blue laser light from the first laser light source 22A and excite and emit green to yellow light.
  • the light emitted from the phosphor 30 is a green to yellow excitation light L 11 whose excitation light is the blue laser light from the first laser light source 22 A, and a blue laser transmitted without being absorbed by the phosphor 30. It is combined and the light L 12 is a light L 1 of the white (pseudo-white).
  • any light including light of a specific wavelength band such as R, G, B, etc. may be used, and light including wavelength components from green to red or light including wavelength components from blue to green may be broadly included. It shall be
  • the laser beam emitted from the second laser light source 22B is irradiated by the optical fiber 28B to the diffusion member 32 disposed at the distal end 12D of the endoscope 12.
  • the diffusion member 32 can be made of a translucent resin material or the like. Light emitted from the diffusion member 32 becomes light L 2 of the narrow band wavelength light amount is uniform in the exposure area.
  • Figure 3 is a graph showing the intensity distribution of the light L 1 and the light L 2.
  • the light source control unit 26 (an example of a wavelength pattern changing unit) changes the light amount ratio between the first laser light source 22A and the second laser light source 22B.
  • the wavelength pattern of the light L 1 and the irradiation light L 0 is a composite light of the light L 2 is changed. Therefore, it is possible to irradiate the irradiation light L 0 having different respective properties.
  • the endoscope system 10 has a plurality of observation modes.
  • the number of observation modes is not limited to three.
  • the light amount ratio between the light emitted from the first laser light source 22A and the light emitted from the second laser light source 22B in the mode MA is 1: 0.
  • a wavelength pattern of the irradiation light L 0 is generated from the light quantity ratio, referred to as a wavelength pattern PA.
  • mode MA a white illumination image can be acquired.
  • the light amount ratio of the light emitted from the first laser light source 22A to the light emitted from the second laser light source 22B in the mode MB is 1: 4.
  • a wavelength pattern of the irradiation light L 0 is generated from the light quantity ratio, it referred to as a wavelength pattern PB.
  • mode MB it is possible to acquire an image in which the blood vessels and structures of the surface layer of a living tissue are emphasized.
  • the light amount ratio of the light emitted from the first laser light source 22A to the light emitted from the second laser light source 22B in the mode MC is 7: 1.
  • a wavelength pattern of the irradiation light L 0 is generated from the light quantity ratio, it referred to as a wavelength pattern PC.
  • the mode MC it is possible to acquire an image emphasizing blood vessels and surface structures up to the middle and far view.
  • the light quantity of the irradiation light L 0 each wavelength patterns PA, PB, in the PC is properly adjusted respectively.
  • the imaging lens 34, the imaging device 38, and the analog-to-digital converter 40 constitute an imaging unit.
  • the imaging unit is disposed at the distal end 12D of the endoscope 12.
  • the return light including the reflected light from the observation area of the irradiation light L 0 and / or the autofluorescence from the observation area is incident on the imaging lens 34.
  • the imaging lens 34 focuses the incident light on the imaging device 38.
  • the imaging device 38 generates an analog signal according to the received light.
  • a charge coupled device (CCD) type image sensor or a complementary metal oxide semiconductor (CMOS) type image sensor is used as the imaging device 38.
  • the analog signal output from the imaging device 38 is converted to a digital signal by the analog-to-digital converter 40 and input to the processor device 16.
  • the processor device 16 includes an imaging control unit 42, an image processing unit 44, a display control unit 48, a storage control unit 58, and a storage unit 60.
  • the acquisition instruction of the still image accepted by the acquisition instruction input unit 13B is input to the imaging control unit 42.
  • the imaging control unit 42 controls the light source control unit 26 of the light source device 14, the imaging device 38 and the analog-to-digital converter 40 of the endoscope 12, and the image processing unit 44 of the processor device 16.
  • the imaging control unit 42 centrally controls imaging of moving images and still images by the endoscope system 10.
  • the image processing unit 44 performs image processing on the digital signal input from the analog-to-digital converter 40 of the endoscope 12 to generate image data (hereinafter, referred to as an image) indicating an image.
  • the image processing unit 44 performs image processing according to the wavelength pattern of the irradiation light at the time of photographing.
  • the display control unit 48 causes the display unit 18 to sequentially display the images generated by the image processing unit 44.
  • the storage control unit 58 causes the storage unit 60 to store the image captured according to the still image acquisition instruction, the information related to the image, and the like.
  • the storage unit 60 is, for example, a storage device such as a hard disk.
  • the storage unit 60 is not limited to one incorporated in the processor device 16.
  • an external storage device (not shown) connected to the processor device 16 may be used.
  • the external storage device may be connected via a network.
  • the endoscope system 10 configured as described above usually shoots a moving image at a constant frame rate, and displays the captured moving image on the display unit 18.
  • a still image acquisition instruction is input from the acquisition instruction input unit 13 B, the still image is captured and stored in the storage unit 60.
  • the irradiation light L 0 of the three wavelength patterns PA, PB, and PC is respectively irradiated to acquire a still image photographed. Also stores the image diagnostic images of the same wavelength pattern and the irradiation light L 0 of the observation mode, the image of a different wavelength patterns and the irradiation light L 0 of the observation mode as the learning image.
  • FIG. 4 is a flowchart showing processing of a learning image collection method (an example of an endoscopic image acquisition method) at the time of moving image observation.
  • FIG. 5 is a timing chart for explaining the process of the learning image collecting method.
  • step S1 the doctor uses the input unit 20 (an example of the wavelength pattern selection unit) to select an observation mode for moving image shooting from among the mode MA, the mode MB, and the mode MC.
  • mode MA is selected as an example.
  • the observation mode for moving image shooting can be appropriately changed even during moving image shooting.
  • the observation mode for moving image shooting may be predetermined.
  • the insertion portion 12A of the endoscope 12 is inserted into the body cavity of the patient. After the endoscope 12 is inserted, the observation mode for moving image shooting may be selected.
  • step S2 shooting and display of a moving image are performed according to the observation mode selected in step S1. That is, the light source control unit 26 sets the light emitted from the first laser light source 22A and the light emitted from the second laser light source 22B to a light amount ratio corresponding to the observation mode selected in step S1.
  • irradiating the irradiation light L 0 of the desired wavelength pattern in the observation area in the body cavity of a patient an example of the irradiation step, an example of a wavelength pattern changing step).
  • the imaging control unit 42 controls the imaging element 38, the analog-to-digital converter 40, and the image processing unit 44, and acquires an image of the observation area where return light from the observation area is received (an example of imaging process ).
  • the display control unit 48 also displays the image generated by the image processing unit 44 on the display unit 18 (an example of a display control process).
  • the image VA 1 has taken the image VA 1 during the time T 0 to time T 1. Further, the image VA 1 is displayed during the subsequent time T 1 to the time T 2 , and the next image VA 2 is captured. Furthermore, the image VA 2 is displayed during the subsequent time T 2 to the time T 3 , and the next image VA 3 is captured.
  • an image is taken at a constant frame rate.
  • the photographed image is displayed on the display unit 18 at a timing delayed by one frame.
  • steps S3 to S13 are executed as an interrupt process of moving image shooting in step S2.
  • step S3 it is determined whether an instruction to end moving image observation has been input.
  • the doctor can use the input unit 20 to input an instruction to end moving image observation. If the end instruction is input, the processing of this flowchart ends.
  • step S4 the shooting control unit 42 determines whether a still image acquisition instruction has been input. As described above, the doctor can input a still image acquisition instruction from the acquisition instruction input unit 13B. If there is no input of acquisition instruction, the process returns to step S2 and repeats the same processing. That is, moving image shooting is continued. If it is determined that the still image acquisition instruction has been input (an example of the reception process), the process proceeds to step S5.
  • step S5 and subsequent steps a still image is acquired.
  • processing of one still image with wavelength pattern PA, one still image with wavelength pattern PB, and one still image with wavelength pattern PC is repeated three times for a total of nine images. A case of acquiring a still image of will be described.
  • step S5 the light source control unit 26 sets a wavelength pattern.
  • the first still image is a still image of the wavelength pattern PA. Accordingly, the light source control unit 26 sets the light emitted from the first laser light source 22A and the light emitted from the second laser light source 22B to the light amount ratio of the wavelength pattern PA. Thus, irradiating the irradiation light L 0 in the wavelength pattern PA.
  • step S6 a still image is taken. That is, the imaging control unit 42, the image pickup device 38 controls the analog-digital converter 40 and the image processing unit 44, and captures images SA 1 of the observed region (an example of a photographing control step).
  • the display control unit 48 displays an image VA 3 is the latest captured image at this time on the display unit 18.
  • step S7 the display control unit 48, the irradiation light L 0 of whether or not the image SA 1 taken in step S6 is the image of the same wavelength pattern observation mode selected in step S1, that is, image SA 1 the wavelength pattern of the irradiation light L 0 of the observation mode selected by the wavelength pattern and step S1 of determining whether or not the same.
  • the image SA 1 is an image of a wavelength pattern PA.
  • the observation mode selected in step S1 is mode MA
  • the wavelength pattern of mode MA is PA.
  • step S8 the display control unit 48 sets the image SA 1 taken in step S6 to the display image. Further, in the following step S9, the storage control unit 58, in association with information of a wavelength pattern PA of the irradiation light L 0 at the time of capturing images SA 1 and the image SA 1, stores the diagnostic image of the memory unit 60 It is stored in the first storage area which is an area for storage (an example of storage control process).
  • the first storage area is, for example, one drive of the plurality of drives of the storage unit 60 or one folder of the plurality of folders.
  • step S12 it is determined whether the still image acquisition has ended. Here, since the process has not ended yet, the process returns to step S5.
  • step S5 photographing second sheet of still images (first still image in Mode MB) from the time T 4. That is, in step S5, the light emitted from the first laser light source 22A and the light emitted from the second laser light source 22B are set to the light amount ratio of the wavelength pattern PB. Then, in step S6, the photographed image SB 1. Further, setting the image SA 1 to display the image in the previous step S8, the display control unit 48 displays the time T 4 the images SA 1 on the display unit 18.
  • step S7 the display control unit 48, the irradiation light L 0 of whether image SB 1 taken in step S6 is the image of the same wavelength pattern observation mode selected in step S1, that is, image SB 1 the wavelength pattern of the irradiation light L 0 of the observation mode selected by the wavelength pattern and step S1 of determining whether or not the same.
  • the image SB 1 is an image of a wavelength pattern PB.
  • the observation mode selected in step S1 is mode MA
  • the wavelength pattern of mode MA is PA.
  • step S10 the display control unit 48 sets to hide the image SB 1 taken at step S6.
  • the storage control unit 58 in association with information of a wavelength pattern PB of the irradiation light L 0 at the time of photographing the image SB 1 and the image SB 1, stores the learning image storage unit 60 It is stored in the second storage area, which is an area for storage (an example of the storage control process).
  • the second storage area is, for example, one drive of a plurality of drives of the storage unit 60 or one folder of a plurality of folders, and is an area different from the first storage area.
  • the storage unit 60 may be a first storage area, and a storage device different from the storage unit 60 may be a second storage area.
  • step S12 it is determined whether the still image acquisition has ended. Here, since the process has not ended yet, the process returns to step S5.
  • step S5 the light emitted from the first laser light source 22A and the light emitted from the second laser light source 22B are set to the light amount ratio of the wavelength pattern PC. Then, in step S6, the photographed image SC 1.
  • the display control unit 48 Since set to hide the image SB 1 in the previous step S10, the display control unit 48, the image SB 1 is not displayed on the display unit 18. Here, instead of the image SB 1, it continues to display on the display unit 18 an image SA 1 being displayed from time T 4.
  • step S7 the display control unit 48 determines whether the image SC 1 taken in step S6 is the image of the same wavelength pattern observation mode selected in step S1, i.e. the irradiation light L 0 of the image SC 1 the wavelength pattern of the irradiation light L 0 of the observation mode selected by the wavelength pattern and step S1 of determining whether or not the same.
  • the image SC 1 is an image of a wavelength pattern PC.
  • the observation mode selected in step S1 is mode MA
  • the wavelength pattern of mode MA is PA.
  • step S10 the display control unit 48 sets to hide the image SC 1. Further, subsequent in step S11, the storage control unit 58, in association with the wavelength pattern PC information of the irradiation light L 0 at the time of photographing the image SC 1 and the image SC 1, the second storage area of the storage unit 60 Remember.
  • step S12 it is determined whether the still image acquisition has ended. Here, since the process has not ended yet, the process returns to step S5.
  • step S5, S6 shooting with the irradiation light L 0 in the wavelength pattern PA from the image SA 2 time T 6 is (2-th still image mode MA) 4 th still picture (step S5, S6). Furthermore, since set to hide the image SC 1 in the previous step S10, the display control unit 48, the image SC 1 does not display on the display unit 18. Here, instead of the image SC 1, continues to display on the display unit 18 an image SA 1 being displayed from time T 4.
  • image SA 2 is an image of the same wavelength pattern observation mode selected in step S1. Therefore, the determination is YES in step S7, and the process proceeds to step S8.
  • step S8 it sets an image SA 2 in the display image. Further, in step S9, in association with information of a wavelength pattern PA of the irradiation light L 0 at the time of capturing images SA 2 and the image SA 2, is stored in the first storage area of the storage unit 60.
  • step S12 it is determined whether the still image acquisition has ended. Here, since the process has not ended yet, the process returns to step S5.
  • capturing an image SB 2 is a 5 th still picture (the second sheet of still image mode MB) in the irradiation light L 0 from time T 7 Wavelength pattern PB (step S5, S6). Further, setting the image SA 2 on the display image in the previous step S8, the display control unit 48 displays an image SA 2 on the display unit 18.
  • step S7 the determination in step S7 is NO, and the process proceeds to step S10.
  • step S10 the display control unit 48 sets to hide the image SB 2. Further, subsequent in step S11, the storage control unit 58, in association with information of a wavelength pattern PB of the irradiation light L 0 at the time of photographing the image SB 2 and the image SB 2, the second storage area of the storage unit 60 Remember.
  • step S12 it is determined whether the still image acquisition has ended. Here, since the process has not ended yet, the process returns to step S5.
  • the sixth to ninth still images that is, the second image still image SC 2 in the wavelength pattern PC, the third image still image SA 3 in the wavelength pattern PA, the wavelength pattern PB
  • the image SB 3 which is the third still image of the above and the image SC 3 which is the third still image in the wavelength pattern PC are photographed in order.
  • step S12 When shooting of all still images is completed, it is determined in step S12 that still image acquisition is completed, and the process proceeds to step S13.
  • step S13 it returns the wavelength pattern of the irradiation light L 0 in the wavelength pattern of the observation mode selected in step S1. Here, the wavelength pattern PA is restored. Then, the process returns to step S2, and the same process is repeated.
  • the image SC 3 which was last captured is set as non-display at step S10. Accordingly, when resuming the moving image returns to the step S2, the image SC 3 are not displayed on the display unit 18.
  • the image SC 3 instead of the image SC 3, subsequently to be displayed on the display unit 18 an image SA 3 being displayed from the time T 10.
  • the time T 13 later captured image one frame before is displayed on the display unit 18.
  • the observation timing selected at the display timing of the still image of the wavelength pattern different from the wavelength pattern of the irradiation light L 0 of the selected observation mode (an example of the display timing of the image of the wavelength pattern other than the observation wavelength pattern).
  • the still image is being acquired by displaying the latest image (an example of the latest image among the images of the observation wavelength pattern already captured) of the images of the same wavelength pattern as the wavelength pattern of the irradiation light L 0 of the mode.
  • the display color is constant in the same color as the display color during moving image shooting, and observation by the display unit 18 is facilitated.
  • a doctor may designate the number of acquired sheets using the input unit 20.
  • three still images in each wavelength pattern are acquired, but two images or four images or more can be acquired. Thus, only the necessary number of images can be taken.
  • the doctor may select the acquisition order using the input unit 20 (an example of the order selection unit).
  • the still image is acquired in the order of the wavelength pattern PA, the wavelength pattern PB, and the wavelength pattern PC.
  • the wavelength pattern PB, the wavelength pattern PC, the wavelength pattern PA, the wavelength pattern PC, and the wavelength pattern PA Still images can be acquired in a desired order, such as the order of the wavelength pattern PB, the order of the wavelength pattern PC, the wavelength pattern PB, and the order of the wavelength pattern PA, and so on.
  • a plurality of images of the same wavelength pattern may be continuously acquired.
  • three still images with the wavelength pattern PA are captured continuously, three still images with the wavelength pattern PB captured continuously, and three still images with the wavelength pattern PC captured continuously Then, a total of nine still images have been acquired.
  • displaying the latest image SA 3 at a wavelength pattern PA during the time T 6 to time T 12, displaying the latest image SA 3 at a wavelength pattern PA.
  • the continuous shooting process may be repeated multiple times. For example, the processing of three consecutive still images with wavelength pattern PA, three consecutive still images with wavelength pattern PB, and three consecutive still images with wavelength pattern PC are repeated twice to obtain a total of 18
  • the order may be such as acquiring a still image.
  • the doctor may use the input unit 20 to select a wavelength pattern for acquiring a still image. For example, if the still image in the wavelength pattern PB is unnecessary, only the still image in the wavelength pattern PA and the still image in the wavelength pattern PC can be photographed.
  • Third Embodiment In the display timing of the still picture of the different wavelengths patterns from the wavelength pattern of the irradiation light L 0 of the selected observation mode may display an image taken on a certain number previously than the latest image.
  • FIG. 7 is a timing chart for explaining the process of the learning image collecting method according to the second embodiment in the endoscope system 10.
  • wavelength before one than the latest image SA 1 pattern displaying the image VA 3 is an image taken with illumination light L 0 of the PA.
  • wavelength before one than the latest image SA 2 pattern PA displaying the image SA 1 is a photographed image in the irradiation light L 0 of.
  • displaying the image SA 2 is an image obtained by photographing before one than the latest image SA 3.
  • an image captured one image before the latest image is displayed, but an image captured earlier may be displayed.
  • an image captured a certain number of times before the latest image is displayed.
  • the only the image of the wavelength pattern of the same irradiation light L 0 and the wavelength pattern of the irradiation light L 0 of the observation mode selected is displayed, it is easy to observe by the display unit 18.
  • FIG. 8 is a block diagram showing the function of the endoscope system 70. As shown in FIG. In addition, the same code
  • the endoscope system 70 includes an interpolation image generation unit 46 in the image processing unit 44.
  • the interpolation image creation unit 46 includes a memory (not shown), and creates an interpolation image from a plurality of images stored in the memory.
  • FIG. 9 is a flowchart showing processing of a learning image collecting method of the endoscope system 70.
  • FIG. 10 is a timing chart for explaining the process of the learning image collecting method of the endoscope system 70. Note that portions common to the flowchart shown in FIG. 4 and the timing chart shown in FIG. 5 are assigned the same reference numerals, and the detailed description thereof is omitted.
  • the doctor selects the mode MA as the observation mode (step S1).
  • the endoscope system 70 performs moving image shooting in the mode MA (step S2).
  • one still image in mode MA is taken, one still image in mode MB is taken, and one still image in mode MC is taken as one set. It is assumed that three sets of processing are repeated to acquire nine still images.
  • step S4 When still image acquisition instruction during the time T 2 to time T 3 is determined to have been input (step S4), and acquisition processing of a still image is started at time T 3. First, taking an image SA 1 at a wavelength pattern PA during the time T 3 to time T 4. The image VA 3 is displayed on the display unit 18 (step S5, S6).
  • photographed image SA 1 has are the images of the same wavelength pattern mode MA is an observation mode is selected and set in the display image (step S8).
  • image SB 1 was, because of the mode MA is an image of a different wavelength patterns, image SB 1 is set to non-display (step S10).
  • the interpolated image creation unit 46 captures the latest image and an image captured a certain number of times before the latest image. And an interpolated image is generated.
  • creates an image SA 1 is the latest image
  • an interpolation image IA 1 that interpolates an image VA 3 is an image obtained by photographing before one than the latest image SA 1.
  • the image SA 1 and the image VA 3 is stored in a memory (not shown) of the interpolation image generating unit 46.
  • Interpolated image IA 1 is to each pixel of the image SA 1 and the image VA 3 may be created on average, may be a weighted average of each pixel. Also, the weight may be increased as the image is new.
  • step S11 the storage control unit 58, in association with information of a wavelength pattern PB of the irradiation light L 0 at the time of photographing the image SB 1 and the image SB 1, is stored in the second storage area of the storage unit 60. Interpolated image IA 1 may be stored.
  • the display control unit 48 displays the time T 5, the display unit 18 an interpolated image IA 1 created in the previous step S21 (step S5, S6).
  • the display control unit 48 sets to hide the image SC 1 (step S10). Further, the interpolation image generating unit 46, among the images taken in the wavelength pattern of the irradiation light L 0 of the observation mode selected, an image SA 1 is the latest image, before one than the latest image SA 1 and an image VA 3 is a captured image to create an interpolated image IA 1 interpolated (step S21).
  • the interpolation image IA 1 stored in a memory (not shown) of the interpolation image generating unit 46 can be used as it is. Incidentally, by changing the weighting ratio of the weighted average of the image SA 1 and the image VA 3, it may create a new interpolation image.
  • Capturing images SA 2 in the wavelength pattern PA during the time T 6 is a next imaging timing to the time T 7. Also, to display the interpolated image IA 1 created in the previous step S21 to the display unit 18 (step S5, S6). This image SA 2 is set in the display image (step S8).
  • step S5 Further taking an image SB 2 at a wavelength pattern PB during the time T 7 is the next imaging timing to the time T 8. Further, to display an image SA 2 of the previously photographed on the display unit 18 (step S5, S6).
  • the interpolation image is created from the latest image and an image taken a certain number of times earlier than the latest image, but it is more than the latest image or the latest image among the plurality of images of the wavelength pattern of the selected observation mode
  • An interpolation image may be created from a plurality of images including images taken before a certain number.
  • Fifth Embodiment Still image acquisition may be automatically performed without depending on the acquisition instruction of the still image from the acquisition instruction input unit 13B by the doctor.
  • FIG. 11 is a block diagram showing the function of the endoscope system 72. As shown in FIG. In addition, the same code
  • the processor device 16 of the endoscope system 72 includes an acquisition instruction output unit 50.
  • the acquisition instruction output unit 50 automatically outputs a still image acquisition instruction.
  • the acquisition instruction of the still image from the acquisition instruction output unit 50 is input to the imaging control unit 42.
  • the acquisition instruction output unit 50 includes a recognition unit 52.
  • the recognition unit 52 detects a scene of interest from the input image. Here, in particular, detection of a lesion area is performed. Note that the scene of interest is not limited to the lesion area.
  • the recognition unit 52 can use a learning algorithm such as a neural network.
  • the acquisition instruction output unit 50 outputs a still image acquisition instruction.
  • a doctor selects an observation mode for moving image shooting using the input unit 20 (step S1). Subsequently, the endoscope system 72 shoots a moving image in the selected observation mode (step S2).
  • the photographed image is input from the image processing unit 44 to the acquisition instruction output unit 50.
  • the recognition unit 52 of the acquisition instruction output unit 50 recognizes a lesion area from the input image.
  • the recognition unit 52 detects a lesion area from the image
  • the acquisition instruction output unit 50 outputs a still image acquisition instruction.
  • the determination in step S4 is YES, and the process proceeds to step S5.
  • the following processing is the same as before.
  • learning images can be automatically collected. Furthermore, since only images having a wavelength same pattern of irradiation light L 0 and the wavelength pattern of the irradiation light L 0 of the observation mode selected is displayed, it is easy to observe by the display unit 18.
  • the acquisition instruction output unit 50 detects a lesion area by the recognition unit 52 and outputs a still image acquisition instruction when a lesion area is detected, but using a trigger other than the detection of a scene of interest such as a lesion area as a trigger.
  • An acquisition instruction may be output.
  • a still image acquisition instruction may be output at regular time intervals.
  • FIG. 12 is a block diagram showing the function of the endoscope system 74. As shown in FIG. In addition, the same code
  • the processor unit 16 of the endoscope system 74 includes an automatic selection unit 54.
  • the automatic selection unit 54 automatically selects an image to be stored in the storage unit among the input still images.
  • the storage control unit 58 causes the storage unit 60 to store the still image selected by the automatic selection unit 54.
  • the automatic selection unit 54 includes a determination unit 56.
  • the determination unit 56 determines whether the input still image is suitable as a learning image.
  • the irradiation light L 0 when the still image is photographed particular determines whether it has the desired wavelength pattern.
  • FIG. 13 is a flowchart showing processing of a learning image collection method of the endoscope system 74.
  • the parts common to the flowchart shown in FIG. 4 are denoted by the same reference numerals, and the detailed description thereof is omitted.
  • the endoscope system 74 captures a still image (step S6) in response to the still image acquisition instruction (step S4). Subsequently, it is determined whether the image captured in step S6 is an image of the same wavelength pattern as the selected observation mode (step S7).
  • step S8 If it is an image of the same wavelength pattern, the process proceeds to step S8. Then, the photographed image is set as a display image (step S8).
  • the determination unit 56 of the automatic selection unit 54 determines whether the photographed image is suitable as a learning image.
  • the irradiation light L 0 when the still image is photographed particular determines whether it has the desired wavelength pattern.
  • Determining unit 56 estimates the wavelength pattern of the irradiation light L 0 at the time of photographing the image by analyzing the color of the image, the estimated wavelength pattern determines whether a desired wavelength pattern. If the determination unit 56 determines that the estimated wavelength pattern is a desired wavelength pattern, the automatic selection unit 54 selects the image as a learning image, and proceeds to step S9.
  • step S9 the image and the wavelength pattern information are associated with each other and stored in the first storage area of the storage unit 60.
  • the automatic selection unit 54 does not select the image as a learning image, and does not store the image, and proceeds to step S12. Transition.
  • step S10 is performed. Then, the photographed image is set to non-display (step S10).
  • step S32 the determination unit 56 of the automatic selection unit 54 determines whether the photographed image is suitable as a learning image. Similar to step S31, the irradiation light L 0 when the still image is photographed particular determines whether it has the desired wavelength pattern.
  • the timing chart shown in FIG. 6 is photographed irradiation light L 0 by changing the wavelength pattern PA to the wavelength pattern PB, 3 sheets of images SB 1 ⁇ image SB 3 of the time T 6. Accordingly, the first image SB 1 of shot in the transition state of the wavelength pattern (an example of a time transition wavelength patterns), there is a possibility wavelength pattern of the irradiation light L 0 is not a desired wavelength pattern.
  • Determining unit 56 estimates the wavelength pattern of the irradiation light L 0 at the time of photographing the image by analyzing the color of the image, the estimated wavelength pattern determines whether a desired wavelength pattern.
  • the determination unit 56 determines that the estimated wavelength pattern is a desired wavelength pattern (an example of the determination result)
  • the automatic selection unit 54 selects the image as a learning image, and proceeds to step S11. .
  • step S11 the image and the wavelength pattern information are associated with each other and stored in the second storage area of the storage unit 60.
  • the automatic selection unit 54 does not select the image as a learning image, and stores the image. And the process proceeds to step S12.
  • the image displayed on the display unit 18 is the same as that described above.
  • the endoscope system 74 it is possible to collect a preferable learning image by determining whether or not the photographed still image is suitable as a learning image, and storing the suitable image.
  • the display since the display only images of a wavelength pattern of the same irradiation light L 0 and the wavelength pattern of the irradiation light L 0 of the observation mode selected, displays the display color in the still image acquisition in movie shooting The same color as the color becomes constant, and the observation by the display unit 18 becomes easy.
  • the irradiation light L 0 when a still image is photographed is judged unsuitable images not having a desired wavelength pattern as the learning image
  • the determination criterion is not limited to this. For example, it may be determined that an image in which image blurring is occurring, an image which is not in focus, an image in which splashes or dirt are attached to a lens, or the like are not suitable as learning images. Further, among the images suitable as learning images, the most suitable image may be determined, and only the determined image may be stored.
  • a doctor selects an image to be stored in the storage unit 60 as a learning image from the displayed images by displaying the acquired still image on the display unit 18 using the input unit 20 (an example of a stored image selection unit) It may be configured to Further, instead of displaying all the acquired still images on the display unit 18, only the still images determined as suitable for the learning image in the determination unit 56 may be displayed on the display unit 18.
  • the wavelength pattern of the irradiation light L 0 by changing the ratio of the light amount of the plurality of light sources, the wavelength pattern of the irradiation light by selecting the light source to be lit among the plurality of light sources You may change it.
  • FIG. 14 is a block diagram showing the function of the endoscope system 76. As shown in FIG. In addition, the same code
  • the light source device 14 of the endoscope system 76 includes a first light source 24A, a second light source 24B, and a third light source 24C.
  • the light source control unit 26 selects and turns on one of the first light source 24A, the second light source 24B, and the third light source 24C, and turns off the other light sources.
  • the light emitted from the lit light source is irradiated to the diffusion member 32 by the optical fiber 28B.
  • Light emitted from the diffusion member 32 becomes irradiation light L 0 of the endoscope system 76.
  • the first light source 24A is a light source having a wavelength pattern of the wavelength pattern PA
  • the second light source 24B is a light source having a wavelength pattern of the wavelength pattern PB
  • the third light source 24C is a light source having a wavelength pattern for the wavelength pattern PC. It is, it is possible to acquire the still image was irradiated with irradiated light L 0 of each wavelength pattern.
  • semiconductor light sources such as LEDs (Light Emitting Diodes) can be used other than the combination of a laser diode and a phosphor.
  • FIG. 15 is a block diagram showing the function of the endoscope system 78. As shown in FIG. In addition, the same code
  • the endoscope 12 of the endoscope system 78 includes a filter group 36 (an example of a wavelength pattern changing unit) having a plurality of filters. Each filter of the plurality of filters limits different wavelength bands for transmitted light.
  • the filter group 36 is disposed between the imaging lens 34 and the imaging element 38 in the optical path of the return light.
  • the filter group 36 can be configured, for example, as a rotary filter turret.
  • the light source control unit 26 sets the ratio of the light emitted from the first laser light source 22A to the light emitted from the second laser light source 22B constant. Further, the imaging control unit 42 (an example of a wavelength pattern changing unit) controls the filter group 36 to insert or retract a necessary filter from the optical path. Thereby, the wavelength pattern of the return light received by the imaging element 38 is changed.
  • three filters are provided: a filter for making transmitted light a wavelength pattern of wavelength pattern PA, a filter for making transmitted light a wavelength pattern of wavelength pattern PB, and a filter making a transmitted light a wavelength pattern of wavelength pattern PC Insert one of the filters into the light path. Thereby, the image in each wavelength pattern can be image
  • the image displayed on the display unit 18 is the same as that described above.
  • learning images can be appropriately collected by sequentially capturing images of a plurality of different wavelength patterns.
  • the display since the display only images of a wavelength pattern of the same irradiation light L 0 and the wavelength pattern of the irradiation light L 0 of the observation mode selected, displays the display color in the still image acquisition in movie shooting The same color as the color becomes constant, and the observation by the display unit 18 becomes easy.
  • the still image captured in the same wavelength pattern as the observation mode is stored in the first storage area as a diagnostic image, but the diagnostic image May be stored in the second storage area. Thereby, the still image photographed in the same wavelength pattern as the observation mode can be collected as a learning image.
  • the medical image analysis processing unit detects an attention area which is an area to be noted based on the feature amount of pixels of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the medical image analysis processing unit detects the presence or absence of an object to be noted based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • An analysis result is a medical image processing apparatus, which is one or both of a focused area which is a notable area included in a medical image and a presence or absence of a notable object.
  • the medical image processing apparatus is a medical image, which is a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band.
  • a medical image is an image obtained by irradiating light of a specific wavelength band, The medical image processing apparatus, wherein the specific wavelength band is a band narrower than the white wavelength band.
  • a medical image processing apparatus in which a specific wavelength band is a blue or green band in the visible range.
  • a specific wavelength band includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and light of a specific wavelength band is a medical having a peak wavelength within a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less Image processing device.
  • the specific wavelength band is a medical image processing apparatus that is a red band in the visible range.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or less and 610 nm to 730 nm, and light of a specific wavelength band is a medical having a peak wavelength within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • Image processing device is a medical image processing apparatus that is a red band in the visible range.
  • the specific wavelength band includes wavelength bands in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin differ, and light of a specific wavelength band has peak wavelengths in wavelength bands in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin are different. Medical imaging device.
  • the specific wavelength band includes wavelength bands of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm.
  • a medical image processing apparatus having a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • the medical image is an in-vivo image of the inside of the body
  • An in-vivo image is a medical image processing apparatus having information of fluorescence emitted from a fluorescent substance in the living body.
  • Fluorescence is a medical image processing apparatus obtained by irradiating excitation light having a peak of 390 nm or more and 470 nm or less into a living body.
  • the medical image is an in-vivo image of the inside of the body,
  • the specific wavelength band is a medical image processing apparatus that is a wavelength band of infrared light.
  • a specific wavelength band includes a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less, and light of a specific wavelength band is a medical image having a peak wavelength in a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less Processing unit.
  • the medical image acquisition unit acquires a special light image having information of a specific wavelength band based on a normal light image obtained by irradiating white band light or light of a plurality of wavelength bands as white band light. It has an optical image acquisition unit, A medical image processing apparatus whose medical image is a special light image.
  • a medical image processing apparatus for obtaining a signal of a specific wavelength band by calculation based on color information of RGB (Red Green Blue) or CMY (Cyan, Magenta, Yellow) included in a normal light image.
  • RGB Red Green Blue
  • CMY Cyan, Magenta, Yellow
  • Appendix 18 By an operation based on at least one of a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band, and a special light image obtained by irradiating light of a specific wavelength band A feature amount image generation unit that generates a feature amount image; A medical image processing apparatus whose medical image is a feature image.
  • Appendix 19 A medical image processing apparatus according to any one of appendices 1 to 18, An endoscope which emits light of a white wavelength band and / or light of a specific wavelength band to acquire an image; Endoscope apparatus provided with.
  • a diagnostic support apparatus comprising the medical image processing apparatus according to any one of appendices 1 to 18.
  • a medical service support device comprising the medical image processing device according to any one of appendices 1 to 18.
  • wavelength pattern white light, BLI, BLI-bright (registered trademark), a specific single wavelength, an arbitrary combination of multiple wavelengths, or the like can be used.
  • the collected images are not limited to the learning images of the learning algorithm.
  • it may be a test image for evaluating the performance of the endoscope system, or a research image for a difference in the appearance of the observation area depending on the wavelength of the irradiation light.
  • the recognition method described above can be configured as a program for causing a computer to realize each process, and can also configure a non-temporary recording medium such as a compact disk-read only memory (CD-ROM) storing the program. It is.
  • a non-temporary recording medium such as a compact disk-read only memory (CD-ROM)
  • processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, and a GPU (Graphics Processing Unit), which is a processor specialized for image processing, Dedicated to execute specific processing such as Programmable Logic Device (PLD) or ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed after manufacturing an FPGA (Field Programmable Gate Array) or the like It includes a dedicated electric circuit or the like which is a processor having a designed circuit configuration.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured of one of these various types of processors, or two or more processors of the same or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU and (A combination of GPUs).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units are configured by one processor, first, one processor or more is configured by a combination of one or more CPUs and software as represented by computers such as servers and clients.
  • a processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • the hardware-like structure of these various processors is more specifically an electric circuit (circuitry) combining circuit elements such as semiconductor elements.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

画像を収集する際に画像観察を容易にする内視鏡画像取得システム及び方法を提供する。患者の体腔内の被観察領域に照射する照射光、又は被観察領域からの戻り光の波長パターンを変更する波長パターン変更部を備える。観察用の波長パターンの画像を一定のフレームレートで撮影させ、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる。それぞれ異なる複数の波長パターンの画像を記憶部に記憶させ、観察用の波長パターン以外の波長パターンの画像を非表示とする。

Description

内視鏡画像取得システム及び方法
　本発明は内視鏡画像取得システム及び方法に係り、特に内視鏡画像を診断する学習アルゴリズムを学習させるための学習用画像を収集する技術に関する。
　内視鏡画像上の病変をコンピュータによって自動検出又は自動鑑別して診断するＡＩ（Artificial Intelligence）技術が知られている。特に、ニューラルネットワーク等の学習アルゴリズムを用いることで、精度の高い診断が可能となる。その一方、学習アルゴリズムの開発においては、学習用画像の収集が必須となる。
　また、内視鏡診断では、通常行われる白色光観察の他にＮＢＩ（Narrow Band imaging、登録商標）、ＢＬＩ（Blue Laser Imaging、登録商標）等の特殊光観察も存在する。
　これらの学習用画像を収集するためには、一つの病変に対して複数の光源モードで画像を撮影する必要がある。このため、医師は、病変を発見する度に光源の切替操作と撮影操作とを繰り返すことになる。その結果、医師の負担が増加し、検査時間が増加するという問題点があった。
　このような問題点に対し、特許文献１には、光源部からの帯域光の被写体における反射光を撮影する反射光撮像部と、２以上の帯域光のそれぞれにより発生する異なる帯域の複数の蛍光を撮影する蛍光撮像部と、を備え、反射光と蛍光とを同時に撮影する蛍光観察装置が開示されている。
特開２０１６－２０２４１１号公報
　特許文献１に記載の蛍光観察装置は、１フレーム毎に異なる帯域の蛍光画像を表示部に表示させている。しかしながら、表示上の色が頻繁に変化すると、医師による画像観察が困難になるという問題点があった。
　本発明はこのような事情に鑑みてなされたもので、画像を収集する際に画像観察を容易にする内視鏡画像取得システム及び方法を提供することを目的とする。
　上記目的を達成するために内視鏡画像取得システムの一の態様は、患者の体腔内の被観察領域に照射光を照射する照射部と、被観察領域からの戻り光を受光して被観察領域の画像を撮影する撮影部と、撮影した画像を表示部に順次表示させる表示制御部と、照射光又は戻り光の波長パターンを変更する波長パターン変更部と、画像の取得指示を受け付ける受付部と、観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御部であって、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御部と、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御部と、を備え、表示制御部は、観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得システムである。
　本態様によれば、観察用の波長パターンの画像を一定のフレームレートで撮影させ、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる際に、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させ、観察用の波長パターン以外の波長パターンの画像を非表示とするようにしたので、それぞれ異なる複数の波長パターンの画像を収集することができ、かつ画像観察を容易にすることができる。
　表示制御部は、観察用の波長パターン以外の波長パターンの画像の表示に代えて、すでに撮影した観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を表示することが好ましい。これにより、観察用の波長パターンの画像のみが表示されるので、画像観察を容易にすることができる。
　撮影した観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を含む複数の画像から補間画像を作成する補間画像作成部を備え、表示制御部は、観察用の波長パターン以外の波長パターンの画像の表示に代えて、補間画像を表示することが好ましい。これにより、観察用の波長パターンの画像のみが表示されるので、画像観察を容易にすることができる。
　照射部は、複数の光源を備え、波長パターン変更部は、複数の光源のうち点灯させる光源を選択して照射光の波長パターンを変更することが好ましい。これにより、照射光の波長パターンを適切に変更することができる。
　照射部は、複数の光源を備え、波長パターン変更部は、複数の光源の光量の比率を変更して照射光の波長パターンを変更することが好ましい。これにより、照射光の波長パターンを適切に変更することができる。
　撮影部は、透過する光の波長帯域を制限するフィルタを備え、波長パターン変更部は、フィルタを制御して戻り光の波長パターンを変更することが好ましい。これにより、戻り光の波長パターンを適切に変更することができる。
　それぞれ異なる複数の波長パターンの画像は、観察用の波長パターンの画像を含み、記憶制御部は、観察用の波長パターンの画像を記憶部の第１の記憶領域に記憶させ、観察用の波長パターン以外の波長パターンの画像を記憶部の第１の記憶領域とは異なる第２の記憶領域に記憶させることが好ましい。これにより、診断用画像と学習用画像とを記憶部のそれぞれ異なる領域に記憶させることができる。なお、記憶部のそれぞれ異なる領域に記憶させるとは、複数の記憶部を備え、診断用画像と学習用画像とそれぞれ異なる記憶部に記憶させることも含まれる。
　記憶制御部は、画像と画像を撮影した際の波長パターンの情報とを関連付けて記憶部に記憶させることが好ましい。これにより、波長パターンの情報を関連付けた学習用画像を収集することができる。
　観察用の波長パターンをユーザが選択する波長パターン選択部を備え、撮影制御部は、選択された波長パターンにおいて一定のフレームレートで画像を撮影させることが好ましい。これにより、所望の波長パターンによって観察することができる。
　それぞれ異なる複数の波長パターンの画像を順次撮影する際の複数の波長パターンの順序をユーザが選択する順序選択部を備え、撮影制御部は、選択された順序でそれぞれ異なる複数の波長パターンの画像を順次撮影させることが好ましい。これにより、所望の画像から順に撮影することができる。
　それぞれ異なる複数の波長パターンの画像のうち記憶部に記憶させる画像をユーザが選択する記憶画像選択部を備え、記憶制御部は、選択された画像を記憶部に記憶させることが好ましい。これにより、必要な画像のみを記憶部に記憶させることができる。
　それぞれ異なる複数の波長パターンの画像のうち記憶部に記憶させる画像を自動選択する自動選択部を備え、記憶制御部は、自動選択した画像を記憶部に記憶させることができる。これにより、所望の画像のみを記憶部に記憶させることができる。
　それぞれ異なる複数の波長パターンの画像を順次撮影する際に波長パターンの移行時に撮影した画像を判定する判定部と、自動選択部は、判定の結果に基づいて自動選択することが好ましい。これにより、波長パターンの移行時に撮影した画像を学習用画像から排除することができる。
　取得指示をユーザが入力する取得指示入力部を備え、受付部は、取得指示入力部からの取得指示を受け付けることが好ましい。これにより、所望の画像を取得することができる。
　撮影した画像から注目シーンを認識する認識部と、認識部が注目シーンを認識すると取得指示を出力する取得指示出力部と、を備え、受付部は、取得指示出力部からの取得指示を受け付けることが好ましい。これにより、注目シーンの画像を自動的に取得することができる。
　上記目的を達成するために内視鏡画像取得方法の一の態様は、患者の体腔内の被観察領域に照射光を照射する照射工程と、被観察領域からの戻り光を受光して被観察領域の画像を撮影する撮影工程と、撮影した画像を表示部に順次表示させる表示制御工程と、照射光又は戻り光の波長パターンを変更する波長パターン変更工程と、画像の取得指示を受け付ける受付工程と、観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御工程であって、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御工程と、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御工程と、を備え、表示制御工程は、観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得方法である。
　本態様によれば、観察用の波長パターンの画像を一定のフレームレートで撮影させ、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる際に、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させ、観察用の波長パターン以外の波長パターンの画像を非表示とするようにしたので、それぞれ異なる複数の波長パターンの画像を収集することができ、かつ画像観察を容易にすることができる。
　本発明によれば、画像を収集する際に画像観察を容易にすることができる。
内視鏡システムを示す外観図 内視鏡システムの機能を示すブロック図 光の強度分布を示すグラフ 学習用画像収集方法の処理を示すフローチャート 学習用画像収集方法の処理を説明するタイミングチャート 学習用画像収集方法の処理を説明するタイミングチャート 学習用画像収集方法の処理を説明するタイミングチャート 内視鏡システムの機能を示すブロック図 学習用画像収集方法の処理を示すフローチャート 学習用画像収集方法の処理を説明するタイミングチャート 内視鏡システムの機能を示すブロック図 内視鏡システムの機能を示すブロック図 学習用画像収集方法の処理を示すフローチャート 内視鏡システムの機能を示すブロック図 内視鏡システムの機能を示すブロック図
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　＜第１の実施形態＞
　図１は、第１の実施形態に係る内視鏡システム１０（内視鏡画像取得システムの一例）を示す外観図である。図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１４、プロセッサ装置１６、表示部１８、及び入力部２０を備えている。
　内視鏡１２は、光源装置１４と光学的に接続される。また、内視鏡１２は、プロセッサ装置１６と電気的に接続される。
　内視鏡１２は、患者の体腔内に挿入される挿入部１２Ａ、挿入部１２Ａの基端部分に設けられた操作部１２Ｂ、挿入部１２Ａの先端側に設けられた湾曲部１２Ｃ及び先端部１２Ｄを有している。
　操作部１２Ｂには、アングルノブ１２Ｅ及びモード切替スイッチ１３Ａが設けられている。また、操作部１２Ｂには、取得指示入力部１３Ｂ（図２参照）が設けられている。
　アングルノブ１２Ｅを操作することにより、湾曲部１２Ｃが湾曲動作する。この湾曲動作によって先端部１２Ｄが所望の方向に向けられる。
　モード切替スイッチ１３Ａは、観察モードの切り替え操作に用いられる。内視鏡システム１０は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師は、モード切替スイッチ１３Ａを操作することにより、所望の観察モードに設定することができる。内視鏡システム１０は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部１８に表示する。
　内視鏡システム１０は、所望の位置の静止画を取得することができる。本実施形態では、診断レポートの作成に用いる診断用画像と、学習アルゴリズムを学習させる学習用画像を取得することができる。取得指示入力部１３Ｂ（受付部の一例）は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部１３Ｂは、静止画の取得指示を受け付ける。取得指示入力部１３Ｂにおいて受け付けた静止画の取得指示は、プロセッサ装置１６に入力される。
　プロセッサ装置１６は、表示部１８及び入力部２０と電気的に接続される。表示部１８は、観察対象の画像及び観察対象の画像に関連する情報等を出力表示する表示デバイスである。入力部２０は、内視鏡システム１０の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
　図２は、内視鏡システム１０の機能を示すブロック図である。図２に示すように、光源装置１４は、第１レーザ光源２２Ａ、第２レーザ光源２２Ｂ、及び光源制御部２６を備えている。
　第１レーザ光源２２Ａは、中心波長４４５ｎｍの青色レーザ光源である。第２レーザ光源２２Ｂは、中心波長４０５ｎｍの紫色レーザ光源である。第１レーザ光源２２Ａ及び第２レーザ光源２２Ｂとして、レーザダイオードを用いることができる。第１レーザ光源２２Ａ及び第２レーザ光源２２Ｂの発光は、光源制御部２６により個別に制御される。第１レーザ光源２２Ａと第２レーザ光源２２Ｂとの発光強度比は変更自在になっている。
　また、図２に示すように、内視鏡１２は、光ファイバ２８Ａ、光ファイバ２８Ｂ、蛍光体３０、拡散部材３２、撮像レンズ３４、撮像素子３８、及びアナログデジタル変換部４０を備えている。
　第１レーザ光源２２Ａ、第２レーザ光源２２Ｂ、光ファイバ２８Ａ、光ファイバ２８Ｂ、蛍光体３０、及び拡散部材３２によって、照射部が構成される。
　第１レーザ光源２２Ａから出射されるレーザ光は、光ファイバ２８Ａによって、内視鏡１２の先端部１２Ｄに配置された蛍光体３０に照射される。蛍光体３０は、第１レーザ光源２２Ａからの青色レーザ光の一部を吸収して緑色～黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体３０から出射する光は、第１レーザ光源２２Ａからの青色レーザ光を励起光とする緑色～黄色の励起光Ｌ１１と、蛍光体３０に吸収されずに透過した青色のレーザ光Ｌ１２とが合わされて、白色（疑似白色）の光Ｌ１となる。
　なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ、Ｇ、Ｂ等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
　一方、第２レーザ光源２２Ｂから出射されるレーザ光は、光ファイバ２８Ｂによって、内視鏡１２の先端部１２Ｄに配置された拡散部材３２に照射される。拡散部材３２は、透光性を有する樹脂材料等を用いることができる。拡散部材３２から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ２となる。
　図３は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。光源制御部２６（波長パターン変更部の一例）は、第１レーザ光源２２Ａと第２レーザ光源２２Ｂとの光量比を変更する。これにより、光Ｌ１と光Ｌ２との光量比が変更され、光Ｌ１と光Ｌ２との合成光である照射光Ｌ０の波長パターンが変更される。したがって、それぞれ特性の異なる照射光Ｌ０を照射することができる。
　前述のように、内視鏡システム１０は、複数の観察モードを有している。ここでは、モードＭＡ、モードＭＢ、及びモードＭＣの３つの観察モードを有するものとする。なお、観察モードの数は３つに限定されるものではない。
　モードＭＡにおける第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光との光量比は、１：０である。この光量比から生成される照射光Ｌ０の波長パターンを、波長パターンＰＡと呼ぶ。モードＭＡでは、白色照明画像を取得することができる。
　モードＭＢにおける第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光との光量比は、１：４である。この光量比から生成される照射光Ｌ０の波長パターンを、波長パターンＰＢと呼ぶ。モードＭＢでは、生体組織表層の血管及び構造を強調した画像を取得することができる。
　モードＭＣにおける第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光との光量比は、７：１である。この光量比から生成される照射光Ｌ０の波長パターンを、波長パターンＰＣと呼ぶ。モードＭＣでは、中遠景までの血管及び表面構造を強調した画像を取得することができる。
　なお、各波長パターンＰＡ、ＰＢ、ＰＣにおける照射光Ｌ０の光量は、それぞれ適宜調整される。
　図２の説明に戻り、撮像レンズ３４、撮像素子３８、及びアナログデジタル変換部４０によって、撮影部が構成される。撮影部は、内視鏡１２の先端部１２Ｄに配置される。
　撮像レンズ３４には、照射光Ｌ０の被観察領域からの反射光、及び／又は被観察領域からの自家蛍光、を含む戻り光が入射する。撮像レンズ３４は、入射した光を撮像素子３８に結像させる。撮像素子３８は、受光した光に応じたアナログ信号を生成する。撮像素子３８としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。撮像素子３８から出力されるアナログ信号は、アナログデジタル変換部４０によりデジタル信号に変換され、プロセッサ装置１６に入力される。
　また、図２に示すように、プロセッサ装置１６は、撮影制御部４２、画像処理部４４、表示制御部４８、記憶制御部５８、及び記憶部６０を備えている。
　取得指示入力部１３Ｂにおいて受け付けた静止画の取得指示は、撮影制御部４２に入力される。撮影制御部４２は、光源装置１４の光源制御部２６、内視鏡１２の撮像素子３８及びアナログデジタル変換部４０、プロセッサ装置１６の画像処理部４４を制御する。撮影制御部４２は、内視鏡システム１０による動画及び静止画の撮影を統括制御する。
　画像処理部４４は、内視鏡１２のアナログデジタル変換部４０から入力されたデジタル信号に画像処理を施し、画像を示す画像データ（以下、画像と表記する）を生成する。画像処理部４４は、撮影時の照射光の波長パターンに応じた画像処理を施す。
　表示制御部４８は、画像処理部４４によって生成された画像を表示部１８に順次表示させる。
　また、記憶制御部５８は、静止画の取得指示に従って撮影された画像及び画像に関連する情報等を記憶部６０に記憶させる。記憶部６０は、例えばハードディスク等のストレージ装置である。なお、記憶部６０は、プロセッサ装置１６に内蔵されたものに限定されない。例えば、プロセッサ装置１６に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、ネットワークを介して接続されていてもよい。
　このように構成された内視鏡システム１０は、通常は一定のフレームレートで動画撮影を行い、撮影した動画を表示部１８に表示する。また、取得指示入力部１３Ｂから静止画の取得指示が入力されると、静止画を撮影し、記憶部６０に記憶する。
　＜第１の実施形態＞
　内視鏡システム１０における第１の実施形態に係る学習用画像収集方法について説明する。ここでは、静止画の取得指示に応じて、３つの波長パターンＰＡ、ＰＢ、ＰＣの照射光Ｌ０をそれぞれ照射して撮影した静止画を取得する。また、観察モードの照射光Ｌ０と同じ波長パターンの画像を診断用画像、観察モードの照射光Ｌ０とは異なる波長パターンの画像を学習用画像として記憶する。
　図４は、動画観察時における学習用画像収集方法（内視鏡画像取得方法の一例）の処理を示すフローチャートである。また、図５は、学習用画像収集方法の処理を説明するタイミングチャートである。図５において、時間ＴＮから時間ＴＮ＋１（Ｎ＝０～１５）までの時間は画像撮影のフレームレートを示し、それぞれ１／３０秒である。
　動画観察を開始するためには、ステップＳ１において、医師が入力部２０（波長パターン選択部の一例）を用いてモードＭＡ、モードＭＢ、及びモードＭＣの中から動画撮影用の観察モード（観察用の波長パターン）を選択する。ここでは、例としてモードＭＡを選択する。なお、動画撮影用の観察モードは、動画撮影中であっても適宜変更可能である。また、動画撮影用の観察モードは予め定められていてもよい。
　次に、患者の体腔内に内視鏡１２の挿入部１２Ａを挿入する。内視鏡１２の挿入後に動画撮影用の観察モードの選択を行ってもよい。
　続いて、ステップＳ２において、ステップＳ１で選択された観察モードによって動画の撮影及び表示を行う。即ち、光源制御部２６は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを、ステップＳ１で選択された観察モードに対応する光量比に設定する。これにより、患者の体腔内の被観察領域に所望の波長パターンの照射光Ｌ０を照射する（照射工程の一例、波長パターン変更工程の一例）。
　また、撮影制御部４２は、撮像素子３８、アナログデジタル変換部４０、及び画像処理部４４を制御し、被観察領域からの戻り光を受光した被観察領域の画像を取得する（撮影工程の一例）。また、表示制御部４８は、画像処理部４４において生成された画像を表示部１８に表示する（表示制御工程の一例）。
　図５に示す例では、時間Ｔ０から時間Ｔ１までの間に画像ＶＡ１を撮影している。また、続く時間Ｔ１から時間Ｔ２までの間に画像ＶＡ１を表示し、かつ次の画像ＶＡ２を撮影している。さらに、続く時間Ｔ２から時間Ｔ３までの間に画像ＶＡ２を表示し、かつ次の画像ＶＡ３を撮影している。
　このように、一定のフレームレートで画像を撮影する。また、撮影した画像を１フレーム分遅れたタイミングで表示部１８に表示する。
　以下のステップＳ３～Ｓ１３の処理は、ステップＳ２における動画撮影の割り込み処理として実行される。
　ステップＳ３では、動画観察の終了指示が入力されたか否かを判定する。医師は、入力部２０を用いて動画観察の終了指示を入力することができる。終了指示が入力された場合は、本フローチャートの処理を終了する。
　動画観察の終了指示が入力されない場合は、ステップＳ４に移行する。ステップＳ４では、撮影制御部４２は、静止画取得指示が入力されたか否かを判定する。前述したように、医師は、取得指示入力部１３Ｂから静止画の取得指示を入力することができる。取得指示の入力が無い場合は、ステップＳ２に戻り、同様の処理を繰り返す。即ち、動画撮影を継続する。また、静止画取得指示が入力されたと判断した場合は（受付工程の一例）、ステップＳ５に移行する。
　ステップＳ５以降では、静止画の取得を行う。ここでは、波長パターンＰＡでの静止画を１枚撮影、波長パターンＰＢでの静止画を１枚撮影、波長パターンＰＣでの静止画を１枚撮影、の処理を３回繰り返して、計９枚の静止画を取得する場合について説明する。
　図５に示す例では、時間Ｔ２から時間Ｔ３までの間に、静止画取得指示が入力されている。この時間Ｔ２から時間Ｔ３までの間は、撮影制御部４２により画像ＶＡ３を撮影している。したがって、次の撮影開始タイミングである時間Ｔ３から静止画の取得処理を開始する。
　まず、ステップＳ５において、光源制御部２６は、波長パターンを設定する。ここでは、１枚目の静止画は波長パターンＰＡの静止画である。したがって、光源制御部２６は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを波長パターンＰＡの光量比に設定する。これにより、波長パターンＰＡの照射光Ｌ０を照射する。
　次に、ステップＳ６において、静止画の撮影を行う。即ち、撮影制御部４２は、撮像素子３８、アナログデジタル変換部４０、及び画像処理部４４を制御し、被観察領域の画像ＳＡ１を撮影する（撮影制御工程の一例）。また、表示制御部４８は、この時点での最新の撮影画像である画像ＶＡ３を表示部１８に表示する。
　続いて、ステップＳ７において、表示制御部４８は、ステップＳ６で撮影した画像ＳＡ１がステップＳ１で選択した観察モードと同じ波長パターンの画像であるか否か、即ち画像ＳＡ１の照射光Ｌ０の波長パターンとステップＳ１で選択した観察モードの照射光Ｌ０の波長パターンとが同一であるか否かを判定する。ここでは、画像ＳＡ１は波長パターンＰＡの画像である。また、ステップＳ１で選択した観察モードはモードＭＡであり、モードＭＡの波長パターンはＰＡである。このように、両者の波長パターンが同一であるため、ＹＥＳ判定となり、ステップＳ８に移行する。
　ステップＳ８では、表示制御部４８は、ステップＳ６で撮影した画像ＳＡ１を表示画像に設定する。また、続くステップＳ９において、記憶制御部５８は、画像ＳＡ１と画像ＳＡ１を撮影した際の照射光Ｌ０の波長パターンＰＡの情報とを関連付けて、記憶部６０の診断用画像を記憶するための領域である第１の記憶領域に記憶させる（記憶制御工程の一例）。第１の記憶領域とは、例えば、記憶部６０の複数のドライブのうちの１つのドライブ、又は複数のフォルダのうちの１つのフォルダである。
　次に、ステップＳ１２において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップＳ５に戻る。
　ここでは、２枚目の静止画（モードＭＢでの１枚目の静止画）を時間Ｔ４から撮影する。即ち、ステップＳ５において、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを波長パターンＰＢの光量比に設定する。そして、ステップＳ６において、画像ＳＢ１を撮影する。また、前回のステップＳ８において画像ＳＡ１を表示画像に設定したため、表示制御部４８は、時間Ｔ４から画像ＳＡ１を表示部１８に表示する。
　続いて、ステップＳ７において、表示制御部４８は、ステップＳ６で撮影した画像ＳＢ１がステップＳ１で選択した観察モードと同じ波長パターンの画像であるか否か、即ち画像ＳＢ１の照射光Ｌ０の波長パターンとステップＳ１で選択した観察モードの照射光Ｌ０の波長パターンとが同一であるか否かを判定する。ここでは、画像ＳＢ１は波長パターンＰＢの画像である。また、ステップＳ１で選択した観察モードはモードＭＡであり、モードＭＡの波長パターンはＰＡである。このように、両者の波長パターンは異なるため、ＮＯ判定となり、ステップＳ１０に移行する。
　ステップＳ１０では、表示制御部４８は、ステップＳ６で撮影した画像ＳＢ１を非表示に設定する。また、続くステップＳ１１において、記憶制御部５８は、画像ＳＢ１と画像ＳＢ１を撮影した際の照射光Ｌ０の波長パターンＰＢの情報とを関連付けて、記憶部６０の学習用画像を記憶するための領域である第２の記憶領域に記憶させる（記憶制御工程の一例）。第２の記憶領域とは、例えば、記憶部６０の複数のドライブのうちの１つのドライブ、又は複数のフォルダのうちの１つのフォルダであり、第１の記憶領域とは異なる領域である。記憶部６０を第１の記憶領域とし、記憶部６０とは異なるストレージ装置を第２の記憶領域としてもよい。
　次に、ステップＳ１２において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップＳ５に戻る。
　ここでは、３枚目の静止画（モードＭＣでの１枚目の静止画）を時間Ｔ５から撮影する。即ち、ステップＳ５において、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを波長パターンＰＣの光量比に設定する。そして、ステップＳ６において、画像ＳＣ１を撮影する。
　なお、前回のステップＳ１０において画像ＳＢ１を非表示に設定したため、表示制御部４８は、画像ＳＢ１は表示部１８に表示しない。ここでは、画像ＳＢ１に代えて、時間Ｔ４から表示している画像ＳＡ１を引き続き表示部１８に表示する。
　続いて、ステップＳ７において、表示制御部４８は、ステップＳ６で撮影した画像ＳＣ１がステップＳ１で選択した観察モードと同じ波長パターンの画像であるか否か、即ち画像ＳＣ１の照射光Ｌ０の波長パターンとステップＳ１で選択した観察モードの照射光Ｌ０の波長パターンとが同一であるか否かを判定する。ここでは、画像ＳＣ１は波長パターンＰＣの画像である。また、ステップＳ１で選択した観察モードはモードＭＡであり、モードＭＡの波長パターンはＰＡである。このように、両者の波長パターンは異なるため、ＮＯ判定となり、ステップＳ１０に移行する。
　ステップＳ１０では、表示制御部４８は、画像ＳＣ１を非表示に設定する。また、続くステップＳ１１において、記憶制御部５８は、画像ＳＣ１と画像ＳＣ１を撮影した際の照射光Ｌ０の波長パターンＰＣの情報とを関連付けて、記憶部６０の第２の記憶領域に記憶させる。
　次に、ステップＳ１２において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップＳ５に戻る。
　同様に、４枚目の静止画（モードＭＡでの２枚目の静止画）である画像ＳＡ２を時間Ｔ６から波長パターンＰＡの照射光Ｌ０で撮影する（ステップＳ５、Ｓ６）。また、前回のステップＳ１０において画像ＳＣ１を非表示に設定したため、表示制御部４８は、画像ＳＣ１は表示部１８に表示しない。ここでは、画像ＳＣ１に代えて、時間Ｔ４から表示している画像ＳＡ１を引き続き表示部１８に表示する。
　ここでは、画像ＳＡ２はステップＳ１で選択した観察モードと同じ波長パターンの画像である。したがって、ステップＳ７においてＹＥＳ判定となり、ステップＳ８に移行する。
　ステップＳ８では、画像ＳＡ２を表示画像に設定する。また、ステップＳ９において、画像ＳＡ２と画像ＳＡ２を撮影した際の照射光Ｌ０の波長パターンＰＡの情報とを関連付けて、記憶部６０の第１の記憶領域に記憶する。
　次に、ステップＳ１２において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップＳ５に戻る。
　同様に、５枚目の静止画（モードＭＢでの２枚目の静止画）である画像ＳＢ２を時間Ｔ７から波長パターンＰＢの照射光Ｌ０で撮影する（ステップＳ５、Ｓ６）。また、前回のステップＳ８において画像ＳＡ２を表示画像に設定したため、表示制御部４８は、表示部１８に画像ＳＡ２を表示する。
　ここでは、画像ＳＢ２はステップＳ１で選択した観察モードと同じ波長パターンの画像ではない。したがって、ステップＳ７においてＮＯ判定となり、ステップＳ１０に移行する。
　ステップＳ１０では、表示制御部４８は、画像ＳＢ２を非表示に設定する。また、続くステップＳ１１において、記憶制御部５８は、画像ＳＢ２と画像ＳＢ２を撮影した際の照射光Ｌ０の波長パターンＰＢの情報とを関連付けて、記憶部６０の第２の記憶領域に記憶させる。
　次に、ステップＳ１２において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップＳ５に戻る。
　以下、６～９枚目の静止画、即ち波長パターンＰＣでの２枚目の静止画である画像ＳＣ２、波長パターンＰＡでの３枚目の静止画である画像ＳＡ３、波長パターンＰＢでの３枚目の静止画である画像ＳＢ３、波長パターンＰＣでの３枚目の静止画である画像ＳＣ３を順に撮影する。
　全ての静止画の撮影が終了すると、ステップＳ１２において静止画取得が終了したと判断され、ステップＳ１３に移行する。
　ステップＳ１３では、照射光Ｌ０の波長パターンをステップＳ１で選択された観察モードの波長パターンに戻す。ここでは、波長パターンＰＡに戻す。そして、ステップＳ２へ戻り、同様の処理を繰り返す。
　なお、最後に撮影された画像ＳＣ３は、ステップＳ１０において非表示と設定される。したがって、ステップＳ２へ戻って動画撮影を再開する際は、画像ＳＣ３は表示部１８に表示しない。ここでは、画像ＳＣ３に代えて、時間Ｔ１０から表示されている画像ＳＡ３を引き続き表示部１８に表示させる。
　なお、時間Ｔ１３以降は、１フレーム前に撮影された画像が表示部１８に表示される。
　以上のように学習用画像収集を行うことにより、学習用の静止画を撮影し、記憶することができる。また、選択された観察モードの照射光Ｌ０の波長パターンとは異なる波長パターンの静止画の表示タイミング（観察用の波長パターン以外の波長パターンの画像の表示タイミングの一例）において、選択された観察モードの照射光Ｌ０の波長パターンと同じ波長パターンの画像のうち最新の画像（すでに撮影した観察用の波長パターンの画像のうち最新の画像の一例）を表示することで、静止画取得中の表示色が動画撮影中の表示色と同じ色で一定となり、表示部１８による観察が容易となる。
　＜第２の実施形態＞
　取得する静止画の取得順序及び取得枚数は、第１の実施形態で説明した例に限定されない。
　例えば、医師が入力部２０を用いて取得枚数を指定してもよい。第１の実施形態では各波長パターンでの静止画を３枚ずつ取得したが、２枚ずつ、あるいは４枚以上ずつ取得することができる。このように、必要な枚数だけ撮影を行うことができる。
　また、医師が入力部２０（順序選択部の一例）を用いて取得順序を選択してもよい。第１の実施形態では、波長パターンＰＡ、波長パターンＰＢ、波長パターンＰＣの順に静止画を取得したが、例えば、波長パターンＰＢ、波長パターンＰＣ、波長パターンＰＡの順、波長パターンＰＣ、波長パターンＰＡ、波長パターンＰＢの順、波長パターンＰＣ、波長パターンＰＢ、波長パターンＰＡの順、等のように所望の順序で静止画を取得することができる。
　また、同じ波長パターンの画像を複数枚連続して取得させてもよい。例えば、図６に示すタイミングチャートの例では、波長パターンＰＡでの静止画を連続３枚撮影、波長パターンＰＢでの静止画を連続３枚撮影、波長パターンＰＣでの静止画を連続３枚撮影して、計９枚の静止画を取得している。なお、この例では、時間Ｔ６から時間Ｔ１２までの間に、波長パターンＰＡでの最新の画像ＳＡ３を表示している。
　さらに、連続撮影処理を複数回繰り返してもよい。例えば、波長パターンＰＡでの静止画を連続３枚撮影、波長パターンＰＢでの静止画を連続３枚撮影、波長パターンＰＣでの静止画を連続３枚撮影、の処理を２回繰り返して計１８枚の静止画を取得する等の順序としてもよい。
　内視鏡画像の撮影では、撮像レンズ３４への汚れの付着、撮影アングルの維持の困難性等から、撮影指示が入力されてからの経過時間が長くなると所望の画像を取得することが困難になると予測される。したがって、重要と考えられる波長パターンの画像を先に撮影させるために、撮影する波長パターンの順序を指定させることが好ましい。
　また、医師が入力部２０を用いて静止画を取得する波長パターンを選択してもよい。例えば、波長パターンＰＢでの静止画が不要であれば、波長パターンＰＡでの静止画及び波長パターンＰＣでの静止画のみを撮影することができる。
　＜第３の実施形態＞
　選択された観察モードの照射光Ｌ０の波長パターンとは異なる波長パターンの静止画の表示タイミングにおいて、最新の画像よりも一定数以前に撮影した画像を表示してもよい。
　図７は、内視鏡システム１０における第２の実施形態に係る学習用画像収集方法の処理を説明するタイミングチャートである。
　ここでは、時間Ｔ４から時間Ｔ７の間に、波長パターンＰＡの照射光Ｌ０で撮影した最新の画像である画像ＳＡ１に代えて、最新の画像ＳＡ１よりも１枚前に波長パターンＰＡの照射光Ｌ０で撮影した画像である画像ＶＡ３を表示している。
　また、時間Ｔ７から時間Ｔ１０の間に、波長パターンＰＡの照射光Ｌ０で撮影した最新の画像である画像ＳＡ２に代えて、最新の画像ＳＡ２よりも１枚前に波長パターンＰＡの照射光Ｌ０で撮影した画像である画像ＳＡ１を表示している。
　同様に、時間Ｔ１０から時間Ｔ１３の間に、最新の画像ＳＡ３よりも１枚前に撮影した画像である画像ＳＡ２を表示している。
　ここでは、最新の画像よりも１枚前に撮影した画像を表示しているが、さらに以前に撮影した画像を表示してもよい。このように、最新の画像よりも一定数以前に撮影した画像（すでに撮影した観察用の波長パターンの画像のうち最新の画像よりも一定数以前に撮影した画像の一例）を表示した場合であっても、選択した観察モードの照射光Ｌ０の波長パターンと同じ照射光Ｌ０の波長パターンの画像のみが表示されるため、表示部１８による観察が容易となる。
　＜第４の実施形態＞
　内視鏡システム１０では、選択された観察モードの照射光Ｌ０の波長パターンとは異なる波長パターンの静止画の表示タイミングにおいて、選択された観察モードの照射光Ｌ０の波長パターンと同じ波長パターンの画像のうち最新の画像、又は最新の画像よりも一定数以前に撮影した画像を表示していたが、撮影画像ではなく補間画像を表示してもよい。
　図８は、内視鏡システム７０の機能を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡システム７０は、画像処理部４４に補間画像作成部４６を備えている。補間画像作成部４６は、不図示のメモリを備え、メモリに記憶してある複数の画像から補間画像を作成する。
　図９は、内視鏡システム７０の学習用画像収集方法の処理を示すフローチャートである。また、図１０は、内視鏡システム７０の学習用画像収集方法の処理を説明するタイミングチャートである。なお、図４に示すフローチャート及び図５に示すタイミングチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
　第１の実施形態と同様に、医師がモードＭＡを観察モードとして選択する（ステップＳ１）。内視鏡システム７０は、モードＭＡにおいて動画撮影を行う（ステップＳ２）。
　なお、静止画取得の際には、モードＭＡでの静止画を１枚撮影、モードＭＢでの静止画を１枚撮影、モードＭＣでの静止画を１枚撮影、の処理を１セットとし、３セット分の処理を繰り返して行って９枚の静止画を取得するものとする。
　時間Ｔ２から時間Ｔ３までの間に静止画の取得指示が入力されたと判定すると（ステップＳ４）、時間Ｔ３から静止画の取得処理が開始される。まず、時間Ｔ３から時間Ｔ４までの間に波長パターンＰＡでの画像ＳＡ１を撮影する。また、画像ＶＡ３が表示部１８に表示される（ステップＳ５、Ｓ６）。
　ここで撮影した画像ＳＡ１は、選択された観察モードであるモードＭＡと同じ波長パターンの画像であるため、表示画像に設定される（ステップＳ８）。
　次の撮影タイミングである時間Ｔ４から時間Ｔ５までの間では、波長パターンＰＢでの画像ＳＢ１を撮影する。
　ここで撮影した画像ＳＢ１は、モードＭＡとは異なる波長パターンの画像であるため、画像ＳＢ１は非表示に設定される（ステップＳ１０）。
　続くステップＳ２１において、補間画像作成部４６は、選択された観察モードの照射光Ｌ０の波長パターンで撮影された画像のうち、最新の画像と、最新の画像よりも一定数以前に撮影した画像とを補間した補間画像を作成する。ここでは、最新の画像である画像ＳＡ１と、最新の画像ＳＡ１よりも１枚前に撮影した画像である画像ＶＡ３とを補間した補間画像ＩＡ１を作成する。なお、画像ＳＡ１及び画像ＶＡ３は、補間画像作成部４６の不図示のメモリに記憶されている。
　補間画像ＩＡ１は、画像ＳＡ１及び画像ＶＡ３の各画素を平均して作成してもよいし、各画素を加重平均してもよい。また、新しい画像ほど加重を大きくしてもよい。ここでは、画像ＳＡ１及び画像ＶＡ３の２枚の画像を用いたが、さらに一定数以前に撮影した画像を用いてもよい。
　補間画像ＩＡ１を作成したら、ステップＳ１１に移行する。ステップＳ１１では、記憶制御部５８は、画像ＳＢ１と画像ＳＢ１を撮影した際の照射光Ｌ０の波長パターンＰＢの情報とを関連付けて、記憶部６０の第２の記憶領域に記憶させる。補間画像ＩＡ１を記憶させてもよい。
　続いて、時間Ｔ５から時間Ｔ６までの間に波長パターンＰＣでの画像ＳＣ１を撮影する。また、前回のステップＳ１０において画像ＳＢ１を非表示に設定したため、表示制御部４８は、画像ＳＢ１は表示部１８に表示しない。これに代えて、表示制御部４８は、時間Ｔ５から、前回のステップＳ２１で作成した補間画像ＩＡ１を表示部１８に表示する（ステップＳ５、Ｓ６）。
　次に、表示制御部４８は、画像ＳＣ１を非表示に設定する（ステップＳ１０）。さらに、補間画像作成部４６は、選択された観察モードの照射光Ｌ０の波長パターンで撮影された画像のうち、最新の画像である画像ＳＡ１と、最新の画像ＳＡ１よりも１枚前に撮影した画像である画像ＶＡ３とを補間した補間画像ＩＡ１を作成する（ステップＳ２１）。ここでは、前回のステップＳ２１において同じ補間画像ＩＡ１を作成しているので、補間画像作成部４６の不図示のメモリに記憶した補間画像ＩＡ１をそのまま使用することができる。なお、画像ＳＡ１及び画像ＶＡ３の加重平均の加重割合を変更して、新たな補間画像を作成してもよい。
　次の撮影タイミングである時間Ｔ６から時間Ｔ７までの間に波長パターンＰＡでの画像ＳＡ２を撮影する。また、前回のステップＳ２１で作成した補間画像ＩＡ１を表示部１８に表示する（ステップＳ５、Ｓ６）。この画像ＳＡ２は、表示画像に設定される（ステップＳ８）。
　さらに次の撮影タイミングである時間Ｔ７から時間Ｔ８までの間に波長パターンＰＢでの画像ＳＢ２を撮影する。また、前回撮影した画像ＳＡ２を表示部１８に表示する（ステップＳ５、Ｓ６）。
　以下同様に、画像ＳＢ２及び画像ＳＣ２の表示タイミング（時間Ｔ７から時間Ｔ１０まで）では画像ＳＡ１及び画像ＳＡ２から作成した補間画像ＩＡ２を、画像ＳＢ３及び画像ＳＣ３の表示タイミング（時間Ｔ１１から時間Ｔ１３まで）では画像ＳＡ２及び画像ＳＡ３から作成した補間画像ＩＡ３を、表示部１８に表示する。
　ここでは、最新の画像と、最新の画像よりも一定数以前に撮影した画像から補間画像を作成したが、選択した観察モードの波長パターンの複数の画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を含む複数の画像から補間画像を作成すればよい。
　このように表示した場合も、選択した観察モードの照射光Ｌ０の波長パターンと同じ照射光Ｌ０の波長パターンの画像のみが表示されるため、表示部１８による観察が容易となる。
　＜第５の実施形態＞
　医師による取得指示入力部１３Ｂからの静止画の取得指示に依らず、自動的に静止画取得を行ってもよい。
　図１１は、内視鏡システム７２の機能を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡システム７２のプロセッサ装置１６は、取得指示出力部５０を備えている。取得指示出力部５０は、静止画の取得指示を自動的に出力する。取得指示出力部５０からの静止画の取得指示は、撮影制御部４２に入力される。
　取得指示出力部５０は、認識部５２を備えている。認識部５２は、入力された画像から注目シーンの検出を行う。ここでは特に、病変領域の検出を行う。なお、注目シーンは病変領域に限定されない。
　認識部５２は、ニューラルネットワーク等の学習アルゴリズムを用いることができる。認識部５２が病変領域を検出すると、取得指示出力部５０は静止画の取得指示を出力する。
　内視鏡システム７２の学習用画像収集を、図４に示すフローチャートを用いて説明する。
　まず、医師が入力部２０を用いて動画撮影用の観察モードを選択する（ステップＳ１）。続いて、内視鏡システム７２は、選択された観察モードで動画を撮影する（ステップＳ２）。
　撮影された画像は、画像処理部４４から取得指示出力部５０に入力される。取得指示出力部５０の認識部５２は、入力された画像から病変領域の認識を行う。認識部５２が画像から病変領域を検出すると、取得指示出力部５０は静止画の取得指示を出力する。これにより、ステップＳ４においてＹＥＳ判定となり、ステップＳ５に移行する。以下の処理はこれまでと同様である。
　内視鏡システム７２によれば、自動的に学習用画像を収集することができる。また、選択した観察モードの照射光Ｌ０の波長パターンと同じ照射光Ｌ０の波長パターンの画像のみが表示されるため、表示部１８による観察が容易となる。
　ここでは、取得指示出力部５０は、認識部５２により病変領域を検出し、病変領域を検出した場合に静止画の取得指示を出力したが、病変領域等の注目シーンの検出以外をトリガにして取得指示を出力してもよい。例えば、一定時間毎に静止画の取得指示を出力してもよい。
　＜第６の実施形態＞
　内視鏡システム１０では、撮影した静止画を全て記憶部６０に記憶させていたが、学習に適した画像のみ記憶させてもよい。
　図１２は、内視鏡システム７４の機能を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡システム７４のプロセッサ装置１６は、自動選択部５４を備えている。自動選択部５４は、入力された静止画のうち記憶部に記憶させる画像を自動選択する。記憶制御部５８は、自動選択部５４によって選択された静止画を記憶部６０に記憶させる。
　自動選択部５４は、判定部５６を備えている。判定部５６は、入力された静止画が学習用画像として適しているか否かを判定する。ここでは、特に静止画が撮影された際の照射光Ｌ０が所望の波長パターンを有しているか否かを判定する。
　図１３は、内視鏡システム７４の学習用画像収集方法の処理を示すフローチャートである。なお、図４に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡システム７４は、静止画の取得指示に応じて（ステップＳ４）、静止画の撮影を行う（ステップＳ６）。続いて、ステップＳ６で撮影した画像が選択した観察モードと同じ波長パターンの画像であるか否かを判定する（ステップＳ７）。
　同じ波長パターンの画像である場合は、ステップＳ８に以降する。そして、撮影した画像を表示画像に設定する（ステップＳ８）。
　続くステップＳ３１において、自動選択部５４の判定部５６は、撮影した画像が学習用画像として適しているか否かを判定する。ここでは、特に静止画が撮影された際の照射光Ｌ０が所望の波長パターンを有しているか否かを判定する。
　判定部５６は、画像の色を解析することでその画像を撮影した際の照射光Ｌ０の波長パターンを推定し、推定した波長パターンが所望の波長パターンであるか否かを判定する。判定部５６が、推定した波長パターンが所望の波長パターンであると判定した場合は、自動選択部５４は、その画像を学習用画像として選択し、ステップＳ９に移行する。
　ステップＳ９では、その画像と波長パターンの情報とを関連付けて、記憶部６０の第１の記憶領域に記憶させる。
　また、判定部５６が、推定した波長パターンが所望の波長パターンでないと判定した場合は、自動選択部５４は、その画像を学習用画像として選択せず、画像の記憶を行わずにステップＳ１２に移行する。
　一方、ステップＳ７において、同じ波長パターンの画像でないと判定されると、ステップＳ１０に以降する。そして、撮影した画像を非表示に設定する（ステップＳ１０）。
　続くステップＳ３２において、自動選択部５４の判定部５６は、撮影した画像が学習用画像として適しているか否かを判定する。ステップＳ３１と同様に、特に静止画が撮影された際の照射光Ｌ０が所望の波長パターンを有しているか否かを判定する。
　例えば、図６に示すタイミングチャートの場合では、時間Ｔ６において照射光Ｌ０を波長パターンＰＡから波長パターンＰＢに変更して、３枚の画像ＳＢ１～画像ＳＢ３を撮影している。したがって、１枚目の画像ＳＢ１は波長パターンの遷移状態（波長パターンの移行時の一例）で撮影され、照射光Ｌ０の波長パターンが所望の波長パターンでない可能性がある。
　判定部５６は、画像の色を解析することでその画像を撮影した際の照射光Ｌ０の波長パターンを推定し、推定した波長パターンが所望の波長パターンであるか否かを判定する。判定部５６が、推定した波長パターンが所望の波長パターンであると判定した場合（判定の結果の一例）は、自動選択部５４は、その画像を学習用画像として選択し、ステップＳ１１に移行する。
　ステップＳ１１では、その画像と波長パターンの情報とを関連付けて、記憶部６０の第２の記憶領域に記憶させる。
　また、判定部５６が、推定した波長パターンが所望の波長パターンでないと判定した場合（判定の結果の一例）は、自動選択部５４は、その画像を学習用画像として選択せず、画像の記憶を行わずにステップＳ１２に移行する。
　なお、表示部１８に表示する画像については、これまでと同様である。
　内視鏡システム７４によれば、撮影した静止画について、学習用画像として適しているか否かを判定し、適している画像を記憶することで、好ましい学習用画像を収集することができる。
　また、これまでと同様に、選択した観察モードの照射光Ｌ０の波長パターンと同じ照射光Ｌ０の波長パターンの画像のみを表示するので、静止画取得中の表示色が動画撮影中の表示色と同じ色で一定となり、表示部１８による観察が容易となる。
　ここでは、静止画が撮影された際の照射光Ｌ０が所望の波長パターンを有していない画像を学習用画像として適していないと判定したが、判定基準はこれに限定されない。例えば、像ブレが発生している画像、合焦していない画像、レンズに水しぶき又は汚れが付着した画像等を学習用画像として適していないと判定してもよい。また、学習用画像として適している画像のうち最も適している画像を判定し、判定された画像のみを記憶してもよい。
　また、取得した静止画を表示部１８に表示し、表示された画像の中から学習用画像として記憶部６０に記憶させる画像を医師が入力部２０（記憶画像選択部の一例）を用いて選択するように構成してもよい。また、取得した全ての静止画を表示部１８に表示するのではなく、判定部５６において学習用画像に適していると判別された静止画のみを表示部１８に表示してもよい。
　＜第７の実施形態＞
　内視鏡システム１０では、複数の光源の光量の比率を変更して照射光Ｌ０の波長パターンを変更しているが、複数の光源のうち点灯させる光源を選択して照射光の波長パターンを変更してもよい。
　図１４は、内視鏡システム７６の機能を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡システム７６の光源装置１４は、第１光源２４Ａ、第２光源２４Ｂ、第３光源２４Ｃを備えている。
　光源制御部２６は、第１光源２４Ａ、第２光源２４Ｂ、第３光源２４Ｃのうちの１つの光源を選択して点灯させ、他の光源を消灯させる。点灯した光源から出射される光は、光ファイバ２８Ｂによって拡散部材３２に照射される。拡散部材３２から出射する光が内視鏡システム７６の照射光Ｌ０となる。
　ここで、第１光源２４Ａを波長パターンＰＡの波長パターンを有する光源、第２光源２４Ｂを波長パターンＰＢの波長パターンを有する光源、第３光源２４Ｃを波長パターンＰＣ用の波長パターンを有する光源とすることで、各波長パターンの照射光Ｌ０を照射した静止画を取得することができる。
　第１光源２４Ａ、第２光源２４Ｂ、第３光源２４Ｃとして、レーザダイオードと蛍光体の組み合わせの他、ＬＥＤ（Light Emitting Diode）等の半導体光源を用いることができる。
　＜第８の実施形態＞
　ここまでは、被観察領域を照射する照射光Ｌ０の波長パターンを変更する例を説明したが、照射光Ｌ０の波長パターンを一定として、撮像素子３８が受光する戻り光の波長パターンを変更してもよい。
　図１５は、内視鏡システム７８の機能を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　内視鏡システム７８の内視鏡１２は、複数のフィルタを有するフィルタ群３６（波長パターン変更部の一例）を備えている。複数のフィルタの各フィルタは、透過する光についてそれぞれ異なる波長帯域を制限する。フィルタ群３６は、戻り光の光路における撮像レンズ３４と撮像素子３８との間に配置される。フィルタ群３６は、例えば、回転式フィルタターレットとして構成することができる。
　光源制御部２６は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光と光量比を一定に設定する。また、撮影制御部４２（波長パターン変更部の一例）は、フィルタ群３６を制御し、必要なフィルタを光路から挿入又は退避させる。これにより、撮像素子３８が受光する戻り光の波長パターンを変更する。
　例えば、透過光を波長パターンＰＡの波長パターンにするフィルタ、透過光を波長パターンＰＢの波長パターンにするフィルタ、透過光を波長パターンＰＣの波長パターンにするフィルタ、の３つのフィルタを備え、３つのフィルタのうちの１つのフィルタを光路に挿入させる。これにより、各波長パターンでの画像を撮影することができる。
　なお、表示部１８に表示する画像については、これまでと同様である。
　内視鏡システム７８によれば、それぞれ異なる複数の波長パターンの画像を順次撮影させることで、学習用画像を適切に収集することができる。
　また、これまでと同様に、選択した観察モードの照射光Ｌ０の波長パターンと同じ照射光Ｌ０の波長パターンの画像のみを表示するので、静止画取得中の表示色が動画撮影中の表示色と同じ色で一定となり、表示部１８による観察が容易となる。
　内視鏡システム１０、７０、７２、７４、７６、及び７８では、観察モードと同じ波長パターンで撮影された静止画を、診断用画像として第１の記憶領域に記憶させたが、診断用画像を第２の記憶領域に記憶させてもよい。これにより、観察モードと同じ波長パターンで撮影された静止画を学習用画像として収集することができる。
　＜付記＞
　前述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
　（付記１）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記３）
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　（付記４）
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　（付記６）
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１２）
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　（付記１３）
　蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
　（付記１４）
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１６）
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。
　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Red Green Blue）あるいはＣＭＹ（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
　（付記１８）
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。
　（付記１９）
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。
　（付記２０）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　（付記２１）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
　＜その他＞
　波長パターンとして、白色光、ＢＬＩ、ＢＬＩ－ｂｒｉｇｈｔ（登録商標）、特定の単波長、複数波長の任意の組み合わせ等を用いることができる。
　ここでは、学習用画像の収集について説明したが、収集する画像は学習アルゴリズムの学習用画像に限定されるものではない。例えば、内視鏡システムの性能評価のためのテスト用画像、照射光の波長による被観察領域の見え方の違いの研究用画像等であってもよい。
　上記の認識方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、例えば、プロセッサ装置１６の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０　内視鏡システム
１２　内視鏡
１２Ａ　挿入部
１２Ｂ　操作部
１２Ｃ　湾曲部
１２Ｄ　先端部
１２Ｅ　アングルノブ
１３Ａ　モード切替スイッチ
１３Ｂ　取得指示入力部
１４　光源装置
１６　プロセッサ装置
１８　表示部
２０　入力部
２２Ａ　第１レーザ光源
２２Ｂ　第２レーザ光源
２４Ａ　第１光源
２４Ｂ　第２光源
２４Ｃ　第３光源
２６　光源制御部
２８Ａ　光ファイバ
２８Ｂ　光ファイバ
３０　蛍光体
３２　拡散部材
３４　撮像レンズ
３６　フィルタ群
３８　撮像素子
４０　アナログデジタル変換部
４２　撮影制御部
４４　画像処理部
４６　補間画像作成部
４８　表示制御部
５０　取得指示出力部
５２　認識部
５４　自動選択部
５６　判定部
５８　記憶制御部
６０　記憶部
７０　内視鏡システム
７２　内視鏡システム
７４　内視鏡システム
７６　内視鏡システム
７８　内視鏡システム
ＩＡ１～ＩＡ３　補間画像
ＳＡ１～ＳＡ３　画像
ＳＢ１～ＳＢ３　画像
ＳＣ１～ＳＣ３　画像
Ｌ０　照射光
Ｌ１　光
Ｌ１１　励起光
Ｌ１２　レーザ光
Ｌ２　光
Ｓ１～Ｓ３２　学習用画像収集の各処理

Claims (16)

  1. 　患者の体腔内の被観察領域に照射光を照射する照射部と、
    　前記被観察領域からの戻り光を受光して前記被観察領域の画像を撮影する撮影部と、
    　前記撮影した画像を表示部に順次表示させる表示制御部と、
    　前記照射光又は前記戻り光の波長パターンを変更する波長パターン変更部と、
    　画像の取得指示を受け付ける受付部と、
    　観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御部であって、前記取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御部と、
    　前記それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御部と、
    　を備え、
    　前記表示制御部は、前記観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得システム。
  2. 　前記表示制御部は、前記観察用の波長パターン以外の波長パターンの画像の表示に代えて、すでに撮影した前記観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を表示する請求項１に記載の内視鏡画像取得システム。
  3. 　撮影した前記観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を含む複数の画像から補間画像を作成する補間画像作成部を備え、
    　前記表示制御部は、前記観察用の波長パターン以外の波長パターンの画像の表示に代えて、前記補間画像を表示する請求項１又は２に記載の内視鏡画像取得システム。
  4. 　前記照射部は、複数の光源を備え、
    　前記波長パターン変更部は、前記複数の光源のうち点灯させる光源を選択して前記照射光の波長パターンを変更する請求項１から３のいずれか１項に記載の内視鏡画像取得システム。
  5. 　前記照射部は、複数の光源を備え、
    　前記波長パターン変更部は、前記複数の光源の光量の比率を変更して前記照射光の波長パターンを変更する請求項１から３のいずれか１項に記載の内視鏡画像取得システム。
  6. 　前記撮影部は、透過する光の波長帯域を制限するフィルタを備え、
    　前記波長パターン変更部は、前記フィルタを制御して前記戻り光の波長パターンを変更する請求項１から３のいずれか１項に記載の内視鏡画像取得システム。
  7. 　前記それぞれ異なる複数の波長パターンの画像は、前記観察用の波長パターンの画像を含み、
    　前記記憶制御部は、前記観察用の波長パターンの画像を前記記憶部の第１の記憶領域に記憶させ、前記観察用の波長パターン以外の波長パターンの画像を前記記憶部の前記第１の記憶領域とは異なる第２の記憶領域に記憶させる請求項１から６のいずれか１項に記載の内視鏡画像取得システム。
  8. 　前記記憶制御部は、前記画像と前記画像を撮影した際の波長パターンの情報とを関連付けて前記記憶部に記憶させる請求項１から７のいずれか１項に記載の内視鏡画像取得システム。
  9. 　前記観察用の波長パターンをユーザが選択する波長パターン選択部を備え、
    　前記撮影制御部は、前記選択された波長パターンにおいて一定のフレームレートで画像を撮影させる請求項１から８のいずれか１項に記載の内視鏡画像取得システム。
  10. 　前記それぞれ異なる複数の波長パターンの画像を順次撮影する際の前記複数の波長パターンの順序をユーザが選択する順序選択部を備え、
    　前記撮影制御部は、前記選択された順序で前記それぞれ異なる複数の波長パターンの画像を順次撮影させる請求項１から９のいずれか１項に記載の内視鏡画像取得システム。
  11. 　前記それぞれ異なる複数の波長パターンの画像のうち前記記憶部に記憶させる画像をユーザが選択する記憶画像選択部を備え、
    　前記記憶制御部は、前記選択された画像を前記記憶部に記憶させる請求項１から１０のいずれか１項に記載の内視鏡画像取得システム。
  12. 　前記それぞれ異なる複数の波長パターンの画像のうち前記記憶部に記憶させる画像を自動選択する自動選択部を備え、
    　前記記憶制御部は、前記自動選択した画像を前記記憶部に記憶させる請求項１から１０のいずれか１項に記載の内視鏡画像取得システム。
  13. 　前記それぞれ異なる複数の波長パターンの画像を順次撮影する際に前記波長パターンの移行時に撮影した画像を判定する判定部と、
    　前記自動選択部は、前記判定の結果に基づいて自動選択する請求項１２に記載の内視鏡画像取得システム。
  14. 　前記取得指示をユーザが入力する取得指示入力部を備え、
    　前記受付部は、前記取得指示入力部からの前記取得指示を受け付ける請求項１から１３のいずれか１項に記載の内視鏡画像取得システム。
  15. 　前記撮影した画像から注目シーンを認識する認識部と、
    　前記認識部が前記注目シーンを認識すると前記取得指示を出力する取得指示出力部と、
    　を備え、
    　前記受付部は、前記取得指示出力部からの前記取得指示を受け付ける請求項１から１４のいずれか１項に記載の内視鏡画像取得システム。
  16. 　患者の体腔内の被観察領域に照射光を照射する照射工程と、
    　前記被観察領域からの戻り光を受光して前記被観察領域の画像を撮影する撮影工程と、
    　前記撮影した画像を表示部に順次表示させる表示制御工程と、
    　前記照射光又は前記戻り光の波長パターンを変更する波長パターン変更工程と、
    　画像の取得指示を受け付ける受付工程と、
    　観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御工程であって、前記取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御工程と、
    　前記それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御工程と、
    　を備え、
    　前記表示制御工程は、前記観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得方法。
PCT/JP2018/043790 2017-12-28 2018-11-28 内視鏡画像取得システム及び方法 WO2019130964A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019562881A JP6989619B2 (ja) 2017-12-28 2018-11-28 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法
EP18893781.7A EP3733046A4 (en) 2017-12-28 2018-11-28 IMAGE ACQUISITION SYSTEM AND METHOD FOR ENDOSCOPES
CN201880083804.9A CN111526773B (zh) 2017-12-28 2018-11-28 内窥镜图像获取***及方法
US16/901,022 US11684237B2 (en) 2017-12-28 2020-06-15 Endoscopic image acquisition system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-254275 2017-12-28
JP2017254275 2017-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/901,022 Continuation US11684237B2 (en) 2017-12-28 2020-06-15 Endoscopic image acquisition system and method

Publications (1)

Publication Number Publication Date
WO2019130964A1 true WO2019130964A1 (ja) 2019-07-04

Family

ID=67063418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043790 WO2019130964A1 (ja) 2017-12-28 2018-11-28 内視鏡画像取得システム及び方法

Country Status (5)

Country Link
US (1) US11684237B2 (ja)
EP (1) EP3733046A4 (ja)
JP (1) JP6989619B2 (ja)
CN (1) CN111526773B (ja)
WO (1) WO2019130964A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227768A (zh) * 2020-01-16 2020-06-05 重庆金山医疗技术研究院有限公司 一种内窥镜的导航控制方法及装置
WO2021176852A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
WO2021182048A1 (ja) * 2020-03-13 2021-09-16 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
WO2022210508A1 (ja) * 2021-03-31 2022-10-06 富士フイルム株式会社 プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069414A1 (ja) * 2017-10-04 2019-04-11 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
CN115539856A (zh) * 2022-11-24 2022-12-30 之江实验室 一种电子内窥镜光源装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) * 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011200517A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2013188364A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP2015042193A (ja) * 2013-08-26 2015-03-05 Hoya株式会社 電子内視鏡システム
JP2016202411A (ja) 2015-04-17 2016-12-08 オリンパス株式会社 蛍光観察装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5078150A (en) * 1988-05-02 1992-01-07 Olympus Optical Co., Ltd. Spectral diagnosing apparatus with endoscope
US7172553B2 (en) * 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
US20080091065A1 (en) * 2006-10-04 2008-04-17 Olympus Medical Systems Corporation Medical image processing apparatus, endoscope system and medical image processing system
US8294733B2 (en) * 2007-06-08 2012-10-23 Olympus Corporation Endoscopic image viewing program and method
US20110178395A1 (en) * 2009-04-08 2011-07-21 Carl Zeiss Surgical Gmbh Imaging method and system
JP5346856B2 (ja) * 2010-03-18 2013-11-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
JP6533180B2 (ja) * 2016-04-21 2019-06-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) * 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011200517A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2013188364A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP2015042193A (ja) * 2013-08-26 2015-03-05 Hoya株式会社 電子内視鏡システム
JP2016202411A (ja) 2015-04-17 2016-12-08 オリンパス株式会社 蛍光観察装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227768A (zh) * 2020-01-16 2020-06-05 重庆金山医疗技术研究院有限公司 一种内窥镜的导航控制方法及装置
WO2021176852A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
WO2021182048A1 (ja) * 2020-03-13 2021-09-16 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
WO2022210508A1 (ja) * 2021-03-31 2022-10-06 富士フイルム株式会社 プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム

Also Published As

Publication number Publication date
EP3733046A1 (en) 2020-11-04
US20200305700A1 (en) 2020-10-01
CN111526773B (zh) 2023-08-18
JPWO2019130964A1 (ja) 2021-01-28
EP3733046A4 (en) 2021-03-10
JP6989619B2 (ja) 2022-01-05
CN111526773A (zh) 2020-08-11
US11684237B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
JP6989619B2 (ja) 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6204314B2 (ja) 電子内視鏡システム
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
WO2017145529A1 (ja) 計算システム
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
WO2018180631A1 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
JP2003215469A (ja) 内視鏡装置
JP6362274B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6533180B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2008023101A (ja) 電子内視鏡システム
JP2022000163A (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
CN112584746A (zh) 医用图像处理装置和内窥镜***以及医用图像处理装置的工作方法
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
WO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
JP5844447B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP6095531B2 (ja) 撮像システム
JP7411515B2 (ja) 内視鏡システム及びその作動方法
US20240195948A1 (en) Optical filter for improved multispectral imaging performance in stereo camera
JP6120758B2 (ja) 医用システム
US20240179419A1 (en) Pixel binning on a per-frame basis
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18893781

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019562881

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018893781

Country of ref document: EP

Effective date: 20200728