WO2022014077A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2022014077A1
WO2022014077A1 PCT/JP2021/005202 JP2021005202W WO2022014077A1 WO 2022014077 A1 WO2022014077 A1 WO 2022014077A1 JP 2021005202 W JP2021005202 W JP 2021005202W WO 2022014077 A1 WO2022014077 A1 WO 2022014077A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lesion candidate
position information
observation
light
Prior art date
Application number
PCT/JP2021/005202
Other languages
English (en)
French (fr)
Inventor
崇徳 出村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21841711.1A priority Critical patent/EP4183318A4/en
Priority to JP2022536123A priority patent/JP7389257B2/ja
Publication of WO2022014077A1 publication Critical patent/WO2022014077A1/ja
Priority to US18/153,246 priority patent/US20230165433A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an endoscopic system that automatically detects a predetermined lesion candidate region represented by a lesion by image processing by AI and a method of operating the same.
  • diagnosis using an endoscope system equipped with a light source device, an endoscope, and a processor device is widely performed.
  • the processor device irradiates the observation target with the illumination light emitted by the light source device through the endoscope, and the processor device is based on the image signal obtained by imaging the observation target under illumination with the illumination light. Generate an image to be observed. By displaying this image on the display, the doctor can make a diagnosis while looking at the image on the display.
  • the first identification information including the image feature amount detected at the time of the first diagnosis and the second identification information including the image feature amount detected at the time of the second diagnosis are described.
  • a comparison process is performed and it is determined that there is a difference, a symbol is usually added to the optical diagnostic image and an oversight is notified by sound.
  • the present invention provides an endoscope system and an operation method thereof that can give an alert to prevent oversight, which is easy for a user who observes by paying attention to an observation image on a display to warn of oversight of a lesion candidate area.
  • the purpose is to provide.
  • the endoscope system of the present invention includes a display having a main screen for displaying an observation image and an image control processor, and the image control processor allows an endoscope insertion portion to be observed from an insertion port in a cavity.
  • the first lesion candidate image is detected during the first observation that moves to the end position of the range
  • the first lesion candidate image is automatically captured in association with the first position information, and the endoscope is inserted.
  • the second lesion candidate image is detected during the second observation when the part moves from the end position of the observable range in the lumen to the insertion port
  • the second lesion candidate image is automatically associated with the second position information and automatically.
  • the endoscope system of the present invention includes a main screen for displaying an observation image, a display having a sub screen provided at a position different from the main screen, and an image control processor.
  • the first lesion candidate image is detected during the first observation when the endoscope insertion part moves from the insertion port in the lumen to the end position of the observable range
  • the first lesion candidate image is associated with the first position information.
  • the endoscope insertion part moves from the end position of the observable range in the lumen to the insertion port by performing automatic capture.
  • Automatic capture is performed by associating the lesion candidate image with the second position information, and the first lesion candidate image and the first position information obtained by the automatic capture are saved in the capture image storage memory, and the first Image comparison between the first lesion candidate image and the second lesion candidate image when the position information comparison process between the position information and the second position information is performed and the first position information and the second position information are matched.
  • the processing is performed and it is determined that the lesion candidate area is overlooked as a result of the image comparison processing, the first lesion candidate image saved in the captured image storage memory is automatically displayed on the sub screen of the display.
  • the endoscope system of the present invention includes a display having a main screen for displaying an observation image and an image control processor.
  • the endoscope insertion portion is inserted from an insertion port in a cavity.
  • the first lesion candidate image is detected during the first observation that moves to the end position of the observable range
  • the first lesion candidate image is associated with the first position information and automatically captured.
  • the second lesion candidate image is detected during the second observation when the mirror insertion part moves from the end position of the observable range in the lumen to the insertion port
  • the second lesion candidate image is automatically associated with the second position information.
  • the first lesion candidate image and the first position information obtained by the automatic capture are saved in the captured image storage memory, and the position information comparison process between the first position information and the second position information is performed. And when the first position information and the second position information match, the image comparison process between the first lesion candidate image and the second lesion candidate image is performed, and as a result of the image comparison process, the lesion candidate area If it is determined that there is an oversight, the display on the main screen is automatically switched from the observation image to the first lesion candidate image saved in the captured image storage memory.
  • the image control processor preferably displays the position information of the lesion candidate area on the main screen.
  • the image control processor preferably displays a guide indicating the direction of the lesion candidate region on the main screen.
  • the normal light is first emitted.
  • An image control processor for a light source that emits light in a pattern and emits special light in a second emission pattern, a normal image signal obtained by imaging an observation target illuminated by normal light, and an observation target illuminated by special light.
  • An image pickup sensor that captures an image and outputs a special image signal is provided, and the display control unit displays an analysis result obtained by an analysis process based on the special image signal for an observation image based on a normal image signal. It is preferable that the observation image with the result is displayed on the display, and the detection unit automatically captures the lesion candidate region when it is detected based on the analysis result.
  • the first light emission pattern is a first A light emission pattern in which the number of frames in the normal lighting period is the same in each normal lighting period, and a first B light emission pattern in which the number of frames in the normal lighting period is different in each normal lighting period. It is preferable that the pattern is any one of the above.
  • the number of frames in the special lighting period is the same in each special lighting period, and the light emission spectrum of the special light is the same in each special lighting period.
  • the number of frames of the second B emission pattern is the same in each special lighting period, and the emission spectrum of the special light is different in each special lighting period.
  • the second C emission pattern which is different in the period and the emission spectrum of the special light is the same in each special illumination period, and the number of frames in the special illumination period are different in each special illumination period, and It is preferable that the emission spectrum of the special light is any one of the second D emission patterns that are different in each special illumination period.
  • the lesion candidate region is preferably detected by imaging the observation target with the illumination of the second emission pattern.
  • the special image signal obtained by imaging the observation target with the illumination of the second light emission pattern is not used for image display.
  • the method of operating the endoscope system of the present invention is a method of operating an endoscope system including a display having a main screen for displaying an observation image and an image control processor, wherein the image control processor is an endoscope insertion unit. Moves from the insertion port in the lumen to the end position of the observable range When the first lesion candidate image is detected during the first observation, the first lesion candidate image is automatically captured in association with the first position information. If the second lesion candidate image is detected during the second observation when the endoscope insertion part moves from the terminal position of the observable range in the lumen to the insertion port, the second lesion candidate image is displayed.
  • a step of performing automatic capture that is automatically captured in association with the second position information a step of saving the first lesion candidate image and the first position information obtained by the automatic capture in the captured image storage memory, and the first position.
  • the method of operating the endoscope system of the present invention is an endoscope system including a main screen for displaying an observation image, a display having a sub screen provided at a position different from the main screen, and an image control processor.
  • the image control processor detects the first lesion candidate image during the first observation in which the endoscope insertion portion moves from the insertion port in the cavity to the terminal position in the observable range
  • the first image control processor is used. 1
  • a step of performing automatic capture in which the second lesion candidate image is associated with the second position information and automatically captured, and the first lesion candidate image and the first position obtained by the automatic capture are performed.
  • the step of saving the information in the captured image storage memory the position information comparison process of the first position information and the second position information are performed, and the first position information and the second position information are matched, the first If it is determined that the lesion candidate area is overlooked as a result of the step of performing the image comparison processing between the 1 lesion candidate image and the 2nd lesion candidate image and the image comparison processing, the captured image is saved on the sub screen of the display. It has a step of automatically displaying the first lesion candidate image saved in the memory.
  • the image control processor is an endoscope.
  • the first lesion candidate image is detected during the first observation when the insertion part moves from the insertion port in the cavity to the end position of the observable range
  • the first lesion candidate image is automatically associated with the first position information. If the second lesion candidate image is detected during the second observation when the endoscope insertion part moves from the end position of the observable range in the lumen to the insertion port, the second lesion candidate is performed.
  • the present invention when the automatic detection function of the lesion candidate region is used, it is possible to prevent the lesion candidate region from being overlooked.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a display 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip portion 12d provided on the tip end side of the insertion portion 12a. is doing.
  • the angle knob 13a of the operating portion 12b By operating the angle knob 13a of the operating portion 12b, the curved portion 12c bends. By this bending motion, the tip portion 12d is directed in a desired direction.
  • the operation unit 12b includes a captured image acquisition instruction unit 13b used for manual image acquisition operation, a mode changeover switch 13c used for observation mode switching operation, and a zoom operation used for zoom magnification change operation.
  • the unit 13d and the position information switching unit 13e for switching the pattern of the position information are provided.
  • the captured image acquisition instruction unit 13b is used to manually perform manual capture to acquire an image to be observed.
  • the image storage control includes automatic capture that automatically captures the lesion candidate image in association with the position information when the lesion candidate image is detected.
  • the endoscope system 10 has a normal observation mode, a special observation mode, and an alert mode as observation modes.
  • the observation mode is the normal observation mode, it is obtained by emitting normal light obtained by combining light of multiple colors at the light amount ratio Lc for the normal observation mode and imaging the observation target under illumination with this normal light.
  • a normal observation image is displayed on the display 18 based on the normal image signal.
  • the observation mode is the special observation mode, the special light obtained by combining the light of a plurality of colors with the light amount ratio Ls for the special observation mode is emitted, and the observation target being illuminated is imaged with this special light.
  • a special observation image is displayed on the display 18 based on the generated special image signal.
  • the observation mode is the alert mode
  • normal light and special light are emitted alternately.
  • the observation image obtained by imaging the observation target under illumination with normal light is displayed on the main screen 18a of the display 18.
  • the alert mode when a lesion candidate region is detected during the first observation, an image is acquired as the first lesion candidate image from the normal image signal in normal light, and an analysis result is acquired from the special image signal in special light and captured. It is saved in the image storage memory 70. If the lesion candidate region is overlooked when the tip portion 12d calculates the position where the lesion candidate region is detected during the first observation during the second observation, a new sub-screen 18b is automatically expanded on the display 18. , The first lesion candidate image saved in the captured image storage memory 70 is displayed.
  • the processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 outputs and displays an image to be observed, information incidental to the image, and the like.
  • the user interface 19 accepts input operations such as function settings.
  • the light source device 14 includes a light source unit 20 and a light source processor 21 that controls the light source unit 20.
  • the light source unit 20 has a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 20 is turned on, the light emission amount of each semiconductor light source is controlled to emit illumination light for illuminating the observation target.
  • the light source unit 20 is a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light).
  • Emitting Diode It has a 20d 4-color LED.
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source processor 21 controls the V-LED20a, B-LED20b, G-LED20c, and R-LED20d. By controlling each of the LEDs 20a to 20d independently, the light source processor 21 can emit purple light V, blue light B, green light G, or red light R by independently changing the amount of light. Further, the light source processor 21 emits white light having a light amount ratio of Vc: Bc: Gc: Rc among the purple light V, the blue light B, the green light G, and the red light R in the normal observation mode. , Each LED 20a to 20d is controlled. In addition, Vc, Bc, Gc, Rc> 0.
  • the light source processor 21 has a light amount ratio of Vs: Bs: Gs: Rs with purple light V, blue light B, green light G, and red light R as short-wavelength narrow-band light.
  • Each LED 20a to 20d is controlled so as to emit a special light.
  • the light amount ratio Vs: Bs: Gs: Rs is different from the light amount ratio Vc: Bc: Gc: Rc used in the normal observation mode, and is appropriately determined according to the observation purpose. For example, when emphasizing superficial blood vessels, it is preferable to make Vs larger than other Bs, Gs, Rs, and when emphasizing mesopelagic blood vessels, Gs is more than other Vs, Gs, Rs. It is also preferable to increase the size.
  • the light source processor 21 automatically switches between normal light and special light to emit light in the alert mode, the normal light is emitted in the first emission pattern and the special light is emitted in the second emission pattern. ..
  • the first light emission pattern is the first A light emission pattern in which the number of frames in the normal lighting period is the same in each normal lighting period as shown in FIG. 4, and the normal lighting as shown in FIG. It is preferable that the number of frames in the period is one of the first B emission patterns different in each normal lighting period.
  • the number of frames in the special illumination period is the same in each special illumination period, and the emission spectrum of the special light is the same in each special illumination period.
  • 2A emission pattern as shown in FIG. 6, the number of frames in the special illumination period is the same in each special illumination period, and the emission spectrum of the special light is different in each special illumination period.
  • the second D emission patterns in which the number of frames in the special illumination period is different in each special illumination period and the emission spectrum of the special light is different in each special illumination period. It is preferably either.
  • the emission spectrum of normal light may be the same or different in each normal illumination period.
  • the normal lighting period is preferably longer than the special lighting period, and the normal lighting period is preferably 2 frames or more.
  • the normal lighting period is 2 frames or more.
  • the lighting period is 2 frames
  • the special lighting period is 1 frame. Since the normal light is used to generate an observation image to be displayed on the display 18, it is preferable to obtain a bright image by illuminating the observation target with the normal light.
  • the normal light is preferably white light.
  • the special light since the special light is used for the analysis process, it is preferable to obtain an image suitable for the analysis process by illuminating the observation target with the special light.
  • the second emission pattern is the second A emission pattern (number of frames in the special illumination period: same, emission spectrum of special light: same) or the second C emission pattern (number of frames in the special illumination period: different, emission spectrum of special light).
  • the second emission pattern is the second B emission pattern (number of frames in the special illumination period: same, emission spectrum of special light: different) or the second D emission pattern (number of frames in the special illumination period: different, emission spectrum of special light: different).
  • the frame refers to a unit of a period including at least a period from a specific timing to the completion of signal reading in the image pickup sensor 44.
  • superficial blood vessels having a depth of 50 ⁇ m from the mucosal surface
  • middle blood vessels having a depth of 200 ⁇ m from the mucosal surface
  • deep blood vessels having a depth of 600 ⁇ m from the mucosal surface.
  • purple light V that emphasizes surface blood vessels
  • green light G that emphasizes middle layer blood vessels
  • red light R that emphasizes deep blood vessels.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light amount ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if it does not light up, it shall have a light intensity ratio.
  • the light emitted by each of the LEDs 20a to 20d is incident on the light guide 25 via the optical path coupling portion 23 composed of a mirror, a lens, or the like.
  • the light guide 25 is built in the endoscope 12 and a universal cord (a cord connecting the endoscope 12, the light source device 14 and the processor device 16).
  • the light guide 25 propagates the light from the optical path coupling portion 23 to the tip portion 12d of the endoscope 12.
  • An illumination optical system 30a and an image pickup optical system 30b are provided at the tip end portion 12d of the endoscope 12.
  • the illumination optical system 30a has an illumination lens 32, and the illumination light propagated by the light guide 25 is applied to the observation target through the illumination lens 32.
  • the image pickup optical system 30b has an objective lens 42 and an image pickup sensor 44. The light from the observation target due to the irradiation of the illumination light is incident on the image pickup sensor 44 via the objective lens 42 and the zoom lens 43. As a result, an image to be observed is formed on the image pickup sensor 44.
  • the zoom lens 43 is a lens for enlarging the observation target, and moves between the telephoto end and the wide end by operating the zoom operation unit 13d.
  • the image pickup sensor 44 is a primary color sensor, and is a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R pixel (red pixel) having a red color filter. It is equipped with three types of pixels.
  • the blue color filter BF mainly transmits light in the blue band, specifically, light in the wavelength band of 380 to 560 nm.
  • the transmittance of the blue color filter BF peaks in the vicinity of the wavelength of 460 to 470 nm.
  • the green color filter transmits GF, mainly light in the green band, specifically, light in the wavelength band of 460 to 620 nm.
  • the red color filter RF mainly transmits light in the red band, specifically, light in the wavelength band of 580 to 760 nm.
  • the image sensor 44 is preferably a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the image pickup processor 45 controls the image pickup sensor 44. Specifically, the color image signal is output from the image pickup sensor 44 by reading out the signal of the image pickup sensor 44 by the image pickup processor 45. In the normal observation mode, the image pickup processor 45 reads out the signal while the normal light is exposed to the image pickup sensor 44, so that the B pixel to the Bc image signal and the G pixel to the Gc image signal are generated from the image sensor 44.
  • the Rc image signal is output from each of the R pixels.
  • the image pickup processor 45 reads out the signal while the special light is exposed to the image pickup sensor 44, so that the B pixel image signal is transmitted from the B pixel of the image pickup sensor 44 and the Gs image signal is generated from the G pixel.
  • the Rs image signal is output from each of the R pixels.
  • the image pickup processor 45 outputs a normal image signal from the image pickup sensor 44 by performing signal readout in a state where the image pickup sensor 44 is exposed to normal light during the normal illumination period.
  • the period for outputting the normal image signal is defined as the normal imaging period.
  • the normal image signal includes a B1 image signal output from the B pixel, a G1 image signal output from the G pixel, and an R1 image signal output from the R pixel.
  • the image pickup processor 45 outputs a special image signal from the image pickup sensor 44 by performing signal readout in a state where the image pickup sensor 44 is exposed to the special light during the special illumination period.
  • the period for outputting the special image signal is defined as the special imaging period.
  • the special image signal includes a B2 image signal output from the B pixel, a G2 image signal output from the G pixel, and an R2 image signal output from the R pixel.
  • the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog color image signal obtained from the image sensor 44. conduct.
  • CDS correlated double sampling
  • AGC automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital color image signal by the A / D (Analog / Digital) converter 48 and input to the processor device 16.
  • the processor device 16 stores a program related to processing such as image processing in a program memory (not shown).
  • the central control unit 68 configured by the image control processor operates the program in the program memory to reduce the noise of the image signal acquisition unit 50, the DSP (Digital Signal Processor) 52, and the DSP (Digital Signal Processor) 52.
  • the functions of the unit 54, the image processing switching unit 56, the image processing unit 58, and the display control unit 60 are realized. Further, with the realization of the functions of the image processing unit 58, the functions of the normal observation image generation unit 62, the special observation image generation unit 64, and the analysis processing unit 66 are realized.
  • the image signal acquisition unit 50 acquires a color image signal input from the endoscope 12.
  • the color image signal includes a blue signal (B image signal), a green signal (G image signal), and a red signal (R image signal) output from the B pixel, G pixel, and R pixel of the image pickup sensor 44. ..
  • the acquired color image signal is transmitted to the DSP 52, and the DSP 52 performs defect correction processing, offset processing, gain correction processing, matrix processing, gamma conversion processing, demosaic processing, YC conversion processing, etc. for the received color image signal.
  • Various signal processing is performed.
  • the DSP 52 outputs various signals after YC conversion processing to the noise reduction unit 54, and the color image signal whose noise is reduced by the noise reduction unit 54 is input to the image processing switching unit 56.
  • the image processing switching unit 56 switches the transmission destination of the color image signal from the noise reducing unit 54 according to the observation mode set by the mode switching switch 13c. Specifically, when the normal observation mode is set, the color image signal is input to the normal observation image generation unit 62. When the special observation mode is set, the color image signal is input to the special observation image generation unit 64. When the alert mode is set, the color image signal is input to the analysis processing unit 66.
  • the normal observation image generation unit 62 performs image processing for a normal observation image on the input Rc image signal, Gc image signal, and Bc image signal for one frame.
  • Image processing for normal observation images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as 3D LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. Is done.
  • the Rc image signal, Gc image signal, and Bc image signal that have been subjected to image processing for a normal observation image are transmitted to the display control unit 60 as a normal observation image.
  • the special observation image generation unit 64 performs image processing for special observation images on the input Rs image signal, Gs image signal, and Bs image signal for one frame.
  • Image processing for special observation images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as 3D LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. Is done.
  • the Rs image signal, Gs image signal, and Bs image signal that have undergone image processing for special observation images are transmitted to the display control unit 60 as special observation images.
  • the analysis processing unit 66 performs the same image processing for a normal observation image as described above on the input R1 image signal, G1 image signal, and B1 image signal for one frame, and transmits the observation image to the display control unit 60. Further, the analysis processing unit 66 performs analysis processing on the input R2 image signal, G2 image signal, and B2 image signal of the specific frame, and transmits the acquired analysis result to the display control unit 60. The obtained analysis results are used to detect lesion candidate regions.
  • the input R2 image signal, G2 image signal, and B2 image signal of the specific frame are not used for screen display.
  • the display control unit 60 controls to display the input image signal on the display 18. Specifically, the display control unit 60 converts a normal observation image, a special observation image, an observation image, or an observation image with an analysis result into a video signal that can be displayed in full color on the display 18. The converted video signal is input to the display 18. The analysis results are combined with the observation image. As a result, the display 18 displays a normal observation image, a special observation image, an observation image, or an observation image with an analysis result.
  • the display control in the alert mode includes display control when the observation image is displayed on the display 18 when the lesion candidate area is not overlooked and the observation image when the lesion candidate area is overlooked. In addition, there is a display control when an oversight occurs in which an image relating to a lesion candidate area is displayed on the display 18.
  • the first light emission pattern is set to the first A light emission pattern
  • the second light emission pattern is set to the second A light emission pattern (number of frames in the special lighting period: same).
  • Special light emission spectrum same
  • normal light illumination Image processing for a normal observation image is performed on the normal image signal obtained by the above, and the normal image signal is input to the display control unit 60 as an observation image.
  • the analysis process is performed on the special image signal obtained by the illumination of the special light, and the analysis result is obtained.
  • the analysis result is transmitted to the display control unit 60, and each independently combines with the observation image to obtain an observation image with the analysis result. After displaying the observation image for two frames, the observation image for two frames and the observation image with the analysis result for one frame based on the analysis result are displayed.
  • the observation image used for the observation image with the analysis result is an observation image with less blur.
  • the analysis process of the special image signal includes, for example, a blood vessel extraction process for extracting blood vessel shape information and an index value calculation process for calculating an index value for a blood vessel based on the extracted blood vessel shape information.
  • the analysis processing unit 66 includes a position information calculation unit 72, a lesion determination unit 74, a detection unit 76, and a comparison unit 78.
  • the position information calculation unit 72 calculates the position information of the tip portion 12d in the lumen based on the result of the scale detection sensor 82.
  • a measuring scale 80 for measuring the insertion length of the insertion portion 12a into the body is provided on the outer peripheral surface of the insertion portion 12a of the endoscope 12.
  • the measuring scale 80 is composed of points provided at a predetermined pitch (for example, in 1 cm increments) along the longitudinal direction of the insertion portion 12a.
  • the measurement scale 80 is detected by a scale detection sensor 82 provided in the patient's mouth (in the case of an upper endoscope) or anus (in the case of a lower endoscope), and the detection result is the position information calculation of the processor device 16. It is transmitted to the unit 72.
  • FIG. 13 shows that the scale detection sensor 82 is provided on the mouthpiece 84 held by the patient in his mouth.
  • the lesion determination unit 74 automatically determines the presence or absence of a lesion candidate region based on the analysis result obtained from at least one special image signal among the B2 image signal, the G2 image signal, and the R2 image signal.
  • the detection unit 76 detects the position information and the lesion candidate image at the time when the lesion determination unit 74 determines that the lesion candidate region is possessed, and automatically captures the lesion.
  • An instruction to acquire a captured image is issued by automatic capture, and image storage control is performed. Instead of automatic capture, the captured image acquisition instruction unit 13b can be operated to manually capture.
  • the lesion candidate image and position information include a first lesion candidate image and first position information obtained at the first observation, and a second lesion candidate image and second position information obtained at the second observation different from the first observation.
  • the switching operation between the first observation and the second observation is performed by the position information switching unit 13e.
  • the comparison unit 78 performs the position information comparison processing between the first position information and the second position information obtained by the automatic capture, and when the first position information and the second position information match, the first lesion Image comparison processing is performed between the candidate image and the second lesion candidate image, and as a result of the image comparison processing, it is determined whether or not the lesion candidate region is overlooked.
  • the result of the comparison process is transmitted to the display control unit 60.
  • the display control unit 60 determines that the lesion candidate area is overlooked based on the result of the comparison process in the comparison unit 78, the display control unit 60 automatically newly expands the sub screen 18b (see FIG. 16) on the display 18.
  • the first lesion candidate image saved in the captured image storage memory 70 is automatically displayed on the sub screen 18b. Details of the automatic display of the first lesion candidate image will be described later.
  • the display control when an oversight occurs in the alert mode will be described by taking the case shown in FIG. 14 as an example.
  • the outward route is the first observation time and the return route is the second observation time.
  • the position information switching unit 13e sets "first observation”.
  • the detection unit 76 has four first lesion candidate images and first position information of the lesion candidate region K, the lesion candidate region L, the lesion candidate region M, and the lesion candidate region N. Is acquired and stored in the captured image storage memory 70.
  • the lesion candidate region K detects the first position information XK and the first lesion candidate image YK.
  • the lesion candidate region L detects the first position information XL and the first lesion candidate image YL.
  • the lesion candidate region M detects the first position information XM and the first lesion candidate image YM.
  • the lesion candidate region N detects the first position information XN and the first lesion candidate image YN.
  • "ST" indicates an insertion port in a lumen such as the digestive tract
  • "EN" indicates a terminal position in an observable range in the lumen.
  • the position information switching portion 13e is operated to switch the setting to "second observation” and perform the second observation.
  • the insertion portion 12a is turned back along the same route as the outward route.
  • the comparison unit 78 determines that “the lesion candidate region is not overlooked”.
  • the comparison unit 78 “does not overlook the lesion candidate region”. And make a judgment.
  • the comparison unit 78 determines that “the lesion candidate region is overlooked”. Further, when the second position information XL is acquired at the time of the second observation of the return route and the second lesion candidate image YL of the lesion candidate area L is not detected at that position, the lesion candidate area L detected at the time of the first observation is not detected. Since the above was overlooked at the time of the second observation, the comparison unit 78 determines that “the lesion candidate region is overlooked”.
  • an alert to prevent oversight is displayed on the screen.
  • the main screen 18a of the display when it is determined that "the lesion candidate region is overlooked", the main screen 18a is displayed.
  • the child screen 18b provided at another position automatically expands.
  • the first lesion candidate image saved in the captured image storage memory 70 is automatically displayed on the expanded child screen 18b.
  • the lesion candidate image YN is displayed on the child screen 18b.
  • the observation image is displayed on the main screen 18a and the first lesion candidate image is displayed on the sub screen 18b, but conversely, the first lesion candidate image is displayed on the main screen 18a and the observation image is displayed on the sub screen 18b. It may be displayed. Further, although only one first lesion candidate image is displayed, the present invention is not limited to this, and two or more first lesion candidate images may be displayed. Although the main screen 18a and the sub screen 18b are displayed on one display 18, the main screen 18a may be displayed on a plurality of displays and the sub screen 18b may be displayed on the remaining displays 18. For example, when two displays 18 are used, only the observation image is displayed on the entire screen of the first display 18, while only the information related to the first lesion candidate image and the lesion candidate area is displayed on the second display 18. It may be displayed.
  • the display control unit 60 preferably displays the position information DP of the overlooked lesion candidate region on the main screen 18a.
  • the position information DP of the lesion candidate region is preferably calculated from the first position information, the second position information, or the like. For example, when it is determined that the lesion candidate region YN (see FIG. 14) is overlooked in the second location information XN, the location information DP of the lesion candidate region is calculated and calculated based on the second location information XN. The location information DP is displayed on the main screen 18a.
  • the user displays the position of the lesion candidate region as an indicator such as a quadrangle ( ⁇ ), a circle ( ⁇ ), or an arrow on the position information DP.
  • a circle ( ⁇ ) is displayed as an indicator. If there is a lesion candidate region detected during the second observation without overlooking, it is preferable to display an indicator on the main screen 18a as the detected lesion candidate region. In FIG. 17, an indicator is displayed as a dotted rectangular area 90.
  • the display by the indicator is not only on the image, but also when the moving image is displayed, the lesion candidate area is automatically followed during movement by relying on the image characteristics of the lesion candidate area once detected, and the lesion candidate area is displayed accordingly. May be good.
  • the display control unit 60 preferably displays a guide DG indicating the direction of the lesion candidate region on the main screen 18a as shown in FIG. ..
  • the guide DG is preferably displayed when the lesion candidate region is not displayed on the main screen 18a.
  • the guide DG is preferably determined from the first position information, the second position information, and the like. For example, when it is determined that the lesion candidate region YN (see FIG. 14) is overlooked in the second position information XN, a guide DG indicating the direction of the lesion candidate region is determined based on the second position information XN. , The calculated guide DG is displayed on the main screen 18a.
  • the tip portion 12d of the endoscope 12 is reciprocated along the lumen such as the stomach, large intestine, and esophagus in one lesion diagnosis, and the outward path is observed during the first observation.
  • the return route which returns the same route as the outward route, is defined as the second observation.
  • the time of the first observation and the time of the second observation are not limited to the outward and return routes of one lesion diagnosis, and the timing of the second observation is later than that of the first observation, and the time of the first observation. If the lesion candidate region is detected by the same route at the time of the second observation, it can be applied to other cases. For example, the first observation and the second observation can be applied to the case of performing lesion diagnosis over days.
  • the first diagnosis date such as the initial diagnosis is set as the first observation time
  • the second diagnosis date after the first diagnosis date such as follow-up observation is set as the second observation time.
  • both the position information and the lesion candidate image are used to determine whether or not the lesion candidate region is overlooked during the first observation and the second observation.
  • the lesion candidate image is used.
  • the oversight determination of the lesion candidate region may be performed using only. In this case, the first lesion candidate image and the second lesion candidate image are compared, and the oversight determination of the lesion candidate region is performed according to the result of the comparison processing.
  • the image at the time of the first observation has the following storage control.
  • a capture image acquisition instruction is issued during automatic capture, and the first lesion candidate image obtained from multiple frames during the normal imaging period and the analysis result acquired from the special image signal during the special imaging period are displayed. get.
  • the acquired first lesion candidate image and the first position information thereof are associated with each other and stored in the captured image storage memory 70.
  • the capture image acquisition instruction is given.
  • the image signal acquisition period of the normal light is the entire frame of the latest normal imaging period including the frame at the timing when the capture image acquisition instruction is given.
  • the special image signal is acquired in the frame closest to the timing when the capture image acquisition instruction is given. Then, the analysis result acquired from the special image signal is stored in the captured image storage memory 70.
  • the capture image acquisition instruction is given.
  • the image signal acquisition period of the normal light is the entire frame of the latest normal imaging period including the frame at the timing when the capture image acquisition instruction is given.
  • the frame of the latest special imaging period corresponding to all the remaining types of emission spectra is also included.
  • the image signal acquisition period is purple.
  • the frame of the special imaging period corresponding to the light V the frame of the special imaging period corresponding to the green light G and the frame of the special imaging period corresponding to the red light R are included. Therefore, when the capture image acquisition instruction is given, the special image signal corresponding to the purple light V, the special image signal corresponding to the green light G, and the special image signal corresponding to the red light R are acquired, and the captured image is saved. It is saved in the memory 70.
  • the mode changeover switch 13c is operated to switch the observation mode to the "alert mode", and the position information switching unit 13e is operated to switch the setting to the "first observation”.
  • the mode is automatically switched between the first light emission pattern that emits normal light and the second light emission pattern that emits special light. In this way, normal light and special light are automatically emitted alternately in the first and second emission patterns to illuminate the observation target.
  • the tip portion 12d of the endoscope 12 is inserted into the lumen, the tip portion 12d is moved from the insertion port to the terminal position in the observable range, and the first observation is performed.
  • the detection unit 76 detects the first lesion candidate image in the first observation, the first lesion candidate image is automatically captured in association with the first position information at that time.
  • the first lesion candidate image and the first position information obtained by the automatic capture are stored in the captured image storage memory 70.
  • the tip 12d of the endoscope When the tip 12d of the endoscope reaches the end position of the observable range of the lumen, operate the position information switching unit 13e, switch the setting to "second observation", and start the second observation. At the time of the second observation, the tip portion 12d of the endoscope 12 is moved from the end position of the observable range to the insertion port so as to return the same path as at the time of the first observation, and the second lesion candidate image is displayed. To detect.
  • the detection unit 76 detects the second lesion candidate image in the second observation
  • the second lesion candidate image is automatically captured in association with the second position information at that time.
  • the comparison unit 78 compares the position information between the first position information stored in the captured image storage memory 70 and the second position information obtained by the automatic capture during the second observation. Perform processing.
  • the first position information and the second position information are matched as a result of the position information comparison process, the first lesion candidate image associated with the first position information and the second lesion candidate image obtained by automatic capture Image comparison processing is performed.
  • the image comparison process if the first lesion candidate image and the second lesion candidate image do not match and it is determined that "the lesion candidate area is overlooked", a new sub-screen 18b is automatically displayed on the display 18. expand. Then, on the child screen 18b, the first lesion candidate image associated with the first position information is automatically displayed. As a result, the presence of the lesion candidate region at the time of the second observation is aroused, and an alert for preventing oversight is provided.
  • the lesion candidate area is overlooked is displayed on the child screen 18b provided at a position different from the main screen 18a.
  • the determined first lesion candidate image is automatically displayed.
  • the sub screen 18b may be displayed on the sub screen 18b every time the first lesion candidate image obtained by the automatic capture is acquired at the time of the first observation.
  • the first lesion candidate image By displaying the first lesion candidate image on the sub screen 18b at the time of the first observation, it is possible to further prevent oversight at the same position at the time of the second observation.
  • the sub-screen 18b for displaying the previously acquired first lesion candidate image is displayed. May display the newly acquired first lesion candidate image on another child screen 18b.
  • the display 18 does not display the sub screen 18b, but displays only the main screen 18a.
  • the display 18 does not display the sub screen 18b, but displays only the main screen 18a.
  • the observation image is normally displayed on the main screen 18a, and when it is determined that "the lesion candidate area is overlooked", the display of the main screen 18a is displayed from the observation image as " The image is automatically switched to the first lesion candidate image determined to be "overlooked in the lesion candidate area".
  • the position information DP of the overlooked lesion candidate region is displayed as an indicator on the first lesion candidate image after switching.
  • a thick circle ( ⁇ ) is displayed as an indicator.
  • the oversight alert by switching to the first lesion candidate image may be performed during observation or after the observation is completed.
  • the observation only the acquisition of the first and second lesion candidate images by automatic capture is performed, and the position information comparison processing and the image comparison processing are not performed during the observation.
  • the user interface 19 is operated to perform the position information comparison process and the image comparison process.
  • the display of the main screen 18a is switched to the first lesion candidate image determined as "the lesion candidate region is overlooked".
  • the normal image signal based on normal light is used for the observation image, and the special image signal based on special light is used only for the analysis process.
  • the normal image signal is also analyzed and the lesion is formed.
  • Candidate images may be detected.
  • the lesion candidate image based on the normal image signal and the lesion candidate image based on the special image signal are switched and used. It is preferable that the detection or non-detection of the lesion candidate image based on the normal image signal can be appropriately set by the user interface 19.
  • the hardware-like structure of the processing unit that executes various processes is various processors as shown below.
  • Various processors include CPU (Central Processing Unit), GPU (Graphical Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. Includes a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacturing, and a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute various processes. ..
  • PLD programmable logic device
  • a processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU and a combination of two or more processors. It may be composed of a combination of GPUs, etc.). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (Circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (Hard Disc Drive) or SSD (Solid State Drive).
  • the image control processor is When a lesion candidate image is detected, the lesion candidate image is automatically saved in the capture image storage memory, and a new sub-screen is automatically expanded on the display to detect the lesion.
  • An endoscope system that immediately displays a candidate image on the sub screen.
  • Appendix 2 A display having a main screen for displaying an observation image and a sub screen provided at a position different from the main screen, and a display. Equipped with an image control processor The image control processor is When a lesion candidate image is detected, the lesion candidate image is automatically saved in the capture image storage memory, and the detected lesion candidate image is immediately displayed on the sub screen. Endoscopic system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)

Abstract

病変候補領域の見落としを警告する場合において、ディスプレイ上の観察画像に注目して観察を行うユーザーが気付きやすい、見落とし防止のアラートを行うことができる内視鏡システム及びその作動方法を提供することを目的とする。　第１観察時に得られた第１病変候補画像と、第２観察時に得られた第２病変候補画像との画像比較処理を行う。画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイ（１８）に自動で新たに子画面（１８ｂ）を展開する。子画面（１８ｂ）には、キャプチャ画像保存用メモリ（７０）に保存した第１病変候補画像を自動で表示する。

Description

内視鏡システム及びその作動方法
　本発明は、画像処理によって、病変部に代表される所定の病変候補領域のＡＩによる自動検出を行う内視鏡システム及びその作動方法に関する。
　医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をディスプレイに表示することにより、医師は、ディスプレイ上の画像を見ながら診断を行うことができる。
　内視鏡検査では、内視鏡挿入部の挿入時は通常光照射で観察を行い、抜去時は特殊光で観察するという医師がいるが、通常光しか使用しない挿入時の病変は、見落としてしまうと抜去時に再度発見することが難しい。そのため、内視鏡スコープ挿入時に医師がフリーズ、キャプチャをしないが病変の疑いがある、病変候補領域について、通常光及び特殊光でキャプチャしておき、必要に応じてＡＩ処理も実施する技術が開発されつつある。例えば、内視鏡診断時にコンピュータが医師に代わって特殊光照射により得た病変候補領域の情報を、通常光照射により得た画像に重ねて表示し報知することは、医師による病変候補領域の見落としを防ぐことができるため、内視鏡診断の確度を上げるものとして期待されている。
　具体的には、特許文献１では、内視鏡において、第１診断時に検出した画像的特徴量を含む第１識別情報と、第２診断時に検出した画像的特徴量を含む第２識別情報の比較処理を行い、差異があると判定された場合に、通常光診断画像上に記号の付与や音による見落としの報知を行っている。
国際公開第２０１８／１５９３６３号
　ユーザーは、ディスプレイに表示された観察画像に注目して観察を行っている。そのため、ユーザーは、観察画像に対して注意を払っているものの、それ以外、例えば、見落とし報知時に発する特許文献１の「記号の付与や音」に対して注意をあまり払わない場合がある。このような場合には、特許文献１の「記号の付与や音」のアラートに気が付かない場合があった。そこで、特許文献１の「記号の付与や音」に代えて、観察画像に注目して観察を行うユーザーが、見落としのアラートに気付きやすくすることが求められていた。
　本発明は、病変候補領域の見落としを警告する場合において、ディスプレイ上の観察画像に注目して観察を行うユーザーが気付きやすい、見落とし防止のアラートを行うことができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、観察画像を表示するメイン画面を有するディスプレイと、画像制御用プロセッサとを備え、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存し、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイに自動で新たに子画面を展開し、キャプチャ画像保存用メモリに保存した第１病変候補画像を、子画面に自動で表示する。
　また、本発明の内視鏡システムは、観察画像を表示するメイン画面及びメイン画面と別の位置に設けられた子画面を有するディスプレイと、画像制御用プロセッサとを備え、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存し、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイの子画面に、キャプチャ画像保存用メモリに保存した第１病変候補画像を、自動で表示する。
　また、本発明の内視鏡システムは、観察画像を表示するメイン画面を有するディスプレイと、画像制御用プロセッサとを備え、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存し、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、メイン画面の表示を観察画像からキャプチャ画像保存用メモリに保存した第１病変候補画像に自動で切り替える。
　画像制御用プロセッサは、病変候補領域の見落とし有りと判定された場合には、病変候補領域の位置情報をメイン画面で表示することが好ましい。
　画像制御用プロセッサは、病変候補領域の見落とし有りと判定された場合には、病変候補領域の方向を示すガイドをメイン画面で表示することが好ましい。
　波長特性が異なる通常光と、特殊光とを発する光源装置と、通常光を発光する通常照明期間と、特殊光を発光する特殊照明期間とを自動的に切り替える場合において、通常光を第１発光パターンで発光し、特殊光を第２発光パターンで発光する光源用画像制御用プロセッサと、通常光によって照明された観察対象を撮像して得られる通常画像信号と、特殊光によって照明された観察対象を撮像して特殊画像信号とを出力する撮像センサとを備え、表示制御部は、通常画像信号に基づく観察画像に対して、特殊画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き観察画像をディスプレイに表示し、検出部は、解析結果に基づいて、病変候補領域を検出した場合に、自動キャプチャを行うことが好ましい。
　第１発光パターンは、通常照明期間のフレーム数が、それぞれの通常照明期間において同じである第１Ａ発光パターンと、通常照明期間のフレーム数が、それぞれの通常照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つのパターンであることが好ましい。
　第２発光パターンは、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ａ発光パターン、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｂ発光パターン、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ｃ発光パターン、及び、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｄ発光パターンのうちのいずれか１つのパターンであることが好ましい。
　病変候補領域は、第２発光パターンの照明によって観察対象を撮像して検出することが好ましい。
　第２発光パターンの照明によって観察対象を撮像して取得した特殊画像信号は、画像表示には使用しないことが好ましい。
　本発明の内視鏡システムの作動方法は、観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存するステップと、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行うステップと、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイに自動で新たに子画面を展開し、キャプチャ画像保存用メモリに保存した第１病変候補画像を、子画面に自動で表示するステップとを有する。
　また、本発明の内視鏡システムの作動方法は、観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存するステップと、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行うステップと、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、ディスプレイの子画面に、キャプチャ画像保存用メモリに保存した第１病変候補画像を、自動で表示するステップとを有する。
　また、本発明の内視鏡システムの作動方法は、観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、自動キャプチャにより得られた第１病変候補画像及び第１位置情報をキャプチャ画像保存用メモリに保存するステップと、第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行うステップと、画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、メイン画面の表示を観察画像からキャプチャ画像保存用メモリに保存した第１病変候補画像に自動で切り替えるステップとを有する。
　本発明によれば、病変候補領域の自動検出機能を用いる場合において、病変候補領域の見落としを防止することができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 アラートモード時の第１Ａ発光パターン及び第２Ａ発光パターンを示す説明図である。 アラートモード時の第１Ｂ発光パターンを示す説明図である。 アラートモード時の第２Ｂ発光パターンを示す説明図である。 アラートモード時の第２Ｃ発光パターンを示す説明図である。 アラートモード時の第２Ｄ発光パターンを示す説明図である。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 通常撮像期間及び特殊撮像期間を示す説明図である。 アラートモード時の照明制御、解析処理、及び画像表示を時系列順で示す説明図である。 解析処理部の機能を示すブロック図である。 内視鏡先端部の位置情報の算出方法を示す説明図である。 位置情報と病変候補画像の検出における具体例を示す説明図である。 位置情報比較処理と画像比較処理の結果に基づく判定を示す表である。 第１実施形態の見落とし防止アラートを行う１台のディスプレイの画像図である。 観察画像における病変候補領域の位置情報表示の画像図である。 観察画像における病変候補領域のガイド表示の画像図である。 アラートモードの一連の流れを示すフローチャートである。 第２実施形態の見落とし防止アラートを行う１台のディスプレイの画像図である。 第３実施形態の見落とし防止アラートを行う１台のディスプレイの画像図である。
　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。
　また、操作部１２ｂには、アングルノブ１３ａの他、画像の手動による取得操作に用いるキャプチャ画像取得指示部１３ｂ、観察モードの切り替え操作に用いるモード切替スイッチ１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄ、位置情報のパターンを切り替える位置情報切替部１３ｅを設けている。キャプチャ画像取得指示部１３ｂは、手動で、観察対象の画像を取得する手動キャプチャを行うために用いられる。ユーザーがキャプチャ画像取得指示部１３ｂを操作することによって、画像を取得した場合には、取得した画像は、キャプチャ画像保存用メモリ７０（図２参照）に保存される。なお、画像の保存制御には、手動キャプチャの他、病変候補画像を検出した場合に、位置情報と関連付けて病変候補画像を自動的にキャプチャする自動キャプチャが含まれる。
　内視鏡システム１０は、観察モードとして、通常観察モード、特殊観察モード及びアラートモードとを有している。観察モードが通常観察モードである場合、複数色の光を通常観察モード用の光量比Ｌｃで合波した通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた通常画像信号に基づき、通常観察画像をディスプレイ１８に表示する。また、観察モードが特殊観察モードである場合、複数色の光を特殊観察モード用の光量比Ｌｓで合波した特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた特殊画像信号に基づき、特殊観察画像をディスプレイ１８に表示する。
　また、観察モードがアラートモードである場合、通常光と特殊光を交互に発光する。そして、通常光で照明中の観察対象を撮像して得られる観察画像を、ディスプレイ１８のメイン画面１８ａに表示する。また、アラートモードでは、第１観察時に病変候補領域を検出した場合、通常光では通常画像信号から画像を第１病変候補画像として取得し、特殊光では特殊画像信号から解析結果を取得し、キャプチャ画像保存用メモリ７０に保存する。第２観察時において、先端部１２ｄが第１観察時に病変候補領域を検出した位置を算出した際に、病変候補領域の見落としがあった場合、ディスプレイ１８に自動で新たに子画面１８ｂを展開し、キャプチャ画像保存用メモリ７０に保存した第１病変候補画像の表示を行う。
　プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続する。ディスプレイ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付ける。
　図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えている。光源部２０は、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。
　図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる白色光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、Ｖｃ、Ｂｃ、Ｇｃ、Ｒｃ＞０である。
　また、光源用プロセッサ２１は、特殊観察モード時には、短波長の狭帯域光としての紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓは、通常観察モード時に使用する光量比Ｖｃ：Ｂｃ：Ｇｃ：Ｒｃと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Ｖｓを、他のＢｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましく、中深層血管を強調する場合には、Ｇｓを、他のＶｓ、Ｇｓ、Ｒｓよりも大きくすることが好ましい。
　また、光源用プロセッサ２１は、アラートモード時に、通常光と特殊光とを自動的に切り替えて発光する場合において、通常光を第１発光パターンで発光し、特殊光を第２発光パターンで発光する。具体的には、第１発光パターンは、図４に示すように、通常照明期間のフレーム数が、それぞれの通常照明期間において同じである第１Ａ発光パターンと、図５に示すように、通常照明期間のフレーム数が、それぞれの通常照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。
　第２発光パターンは、図４に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ａ発光パターン、図６に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｂ発光パターン、図７に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において同じである第２Ｃ発光パターン、図８に示すように、特殊照明期間のフレーム数が、それぞれの特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの特殊照明期間において異なっている第２Ｄ発光パターンのうちのいずれかであることが好ましい。なお、通常光の発光スペクトルは、それぞれの通常照明期間において同じであってもよく、異なってもよい。
　ここで、通常照明期間は特殊照明期間よりも長くすることが好ましく、通常照明期間は２フレーム以上とすることが好ましい。例えば、図４では、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）とする場合において、通常照明期間を２フレームとし、特殊照明期間を１フレームとしている。通常光は、ディスプレイ１８に表示する観察画像の生成に用いられることから、通常光を観察対象に照明することによって、明るい画像が得られることが好ましい。
　通常光は、白色光であることが好ましい。一方、特殊光は、解析処理に用いることから、特殊光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、特殊光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）又は第２Ｃ発光パターン（特殊照明期間のフレーム数：異なる、特殊光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：異なる）又は第２Ｄ発光パターン（特殊照明期間のフレーム数：異なる、特殊光の発光スペクトル：異なる）とする場合には、特殊照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。
　なお、通常照明期間と特殊照明期間の切替パターンである第１、第２発光パターンの詳細については、撮像用プロセッサ４５による撮像センサ４４の撮像制御に基づいて定められることから、後述する。また、フレームとは、撮像センサ４４において特定タイミングから信号読み出し完了までの間の期間を少なくとも含む期間の単位のことをいう。
　例えば、粘膜表面からの深さが５０μｍの範囲内にある表層血管、粘膜表面からの深さが２００μｍの範囲内にある中層血管、及び、粘膜表面からの深さが６００μｍの範囲内にある深層血管に関する血管の形状情報を取得し、これら表層、中層、深層の血管の形状情報に基づいて解析処理を行う場合には、表層血管を強調する紫色光Ｖ、中層血管を強調する緑色光Ｇ、深層血管を強調する赤色光Ｒを用いることが好ましい。
　なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。
　図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１３ｄを操作することによって、テレ端とワイド端との間を移動する。
　撮像センサ４４は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図９に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタはＧＦ、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。
　また、撮像センサ４４は、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）であることが好ましい。撮像用プロセッサ４５は、撮像センサ４４を制御する。具体的には、撮像用プロセッサ４５により撮像センサ４４の信号読み出しを行うことによって、撮像センサ４４からカラー画像信号が出力される。通常観察モードでは、通常光が撮像センサ４４に露光された状態で、撮像用プロセッサ４５が信号読み出しを行うことにより、撮像センサ４４のＢ画素からＢｃ画像信号が、Ｇ画素からＧｃ画像信号が、Ｒ画素からＲｃ画像信号が、それぞれ出力される。特殊観察モードでは、特殊光が撮像センサ４４に露光された状態で、撮像用プロセッサ４５が信号読み出しを行うことにより、撮像センサ４４のＢ画素からＢｓ画像信号が、Ｇ画素からＧｓ画像信号が、Ｒ画素からＲｓ画像信号が、それぞれ出力される。
　アラートモードでは、撮像用プロセッサ４５は、図１０に示すように、通常照明期間において通常光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から通常画像信号を出力させる。通常画像信号を出力する期間を通常撮像期間とする。通常画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４５は、特殊照明期間において特殊光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から特殊画像信号を出力させる。特殊画像信号を出力する期間を特殊撮像期間とする。特殊画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。
　図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログのカラー画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルのカラー画像信号に変換され、プロセッサ装置１６に入力される。
　プロセッサ装置１６には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１６においては、画像制御用プロセッサによって構成される中央制御部６８により、プログラム用メモリ内のプログラムが動作することによって、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、画像処理部５８と、表示制御部６０の機能が実現される。また、画像処理部５８の機能実現に伴って、通常観察画像生成部６２と、特殊観察画像生成部６４と、解析処理部６６との機能が実現される。
　画像信号取得部５０は、内視鏡１２から入力されるカラー画像信号を取得する。カラー画像信号には、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）が含まれている。取得したカラー画像信号はＤＳＰ５２に送信され、ＤＳＰ５２では、受信したカラー画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行われる。
　ＤＳＰ５２は、ＹＣ変換処理後の各種信号をノイズ低減部５４に出力し、ノイズ低減部５４によりノイズを低減したカラー画像信号は、画像処理切替部５６に入力される。
　画像処理切替部５６は、モード切替スイッチ１３ｃによって設定されている観察モードに従って、ノイズ低減部５４からのカラー画像信号の送信先を切り替える。具体的には、通常観察モードに設定されている場合には、カラー画像信号を通常観察画像生成部６２に入力する。特殊観察モードに設定されている場合には、カラー画像信号を特殊観察画像生成部６４に入力する。アラートモードに設定されている場合には、カラー画像信号を解析処理部６６に入力する。
　通常観察画像生成部６２は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、通常観察画像用画像処理を施す。通常観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常観察画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、通常観察画像として表示制御部６０に送信される。
　特殊観察画像生成部６４は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊観察画像用画像処理を施す。特殊観察画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊観察画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、特殊観察画像として表示制御部６０に送信される。
　解析処理部６６は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して上述
と同様の通常観察画像用画像処理を施し、観察画像として表示制御部６０に送信する。また、解析処理部６６は、入力した特定フレームのＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して解析処理を行い、取得した解析結果を表示制御部６０に送信する。取得した解析結果は病変候補領域の検出に用いられる。なお、入力した特定フレームのＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号は、画面表示には使用しない。
　表示制御部６０は、入力された画像信号をディスプレイ１８に表示するための制御を行う。具体的には、表示制御部６０は、通常観察画像、特殊観察画像、観察画像又は解析結果付き観察画像を、ディスプレイ１８においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ１８に入力される。観察画像には解析結果を組み合わせる。これにより、ディスプレイ１８には通常観察画像、特殊観察画像、観察画像、又は解析結果付き観察画像が表示される。
　なお、アラートモードにおける表示制御には、病変候補領域の見落としが発生していない場合に、観察画像をディスプレイ１８に表示する見落とし未発生時の表示制御と、病変候補領域の見落とし発生時に、観察画像の他に、病変候補領域に関する画像をディスプレイ１８に表示する見落とし発生時の表示制御がある。
　アラートモードにおける見落とし未発生時の表示制御では、図１１に示すように、例えば、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）とする場合において、通常光を２フレーム分、特殊光を通常光の発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、通常光の照明により得られる通常画像信号に対して通常観察画像用画像処理を施し、観察画像として表示制御部６０に入力される。
　一方、特殊光の照明により得られる特殊画像信号に対して解析処理を行って、解析結果を得る。解析結果は、表示制御部６０に送信され、それぞれ単独で観察画像と組み合わせて解析結果付き観察画像を得る。２フレーム分の観察画像を表示した後に２フレーム分の観察画像と解析結果に基づく１フレーム分の解析結果付き観察画像が表示される。解析結果付き観察画像に使用する観察画像はよりブレが小さい観察画像となる。
　特殊画像信号の解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理が含まれる。
　解析処理部６６は、図１２に示すように、位置情報算出部７２と、病変判定部７４と、検出部７６と、比較部７８とを備える。
　位置情報算出部７２は、目盛り検出センサ８２での結果に基づいて管腔内における先端部１２ｄの位置情報を算出する。図１３に示すように、内視鏡１２の挿入部１２ａの外周面には、体内への挿入部１２ａの挿入長を測定するための測定用目盛り８０が設けられている。測定用目盛り８０は、挿入部１２ａの長手方向に沿って所定ピッチ（例えば、１ｃｍ刻み）で設けられた点から構成される。測定用目盛り８０は、患者の口（上部内視鏡の場合）や肛門（下部内視鏡の場合）に設けられた目盛り検出センサ８２で検出され、検出結果は、プロセッサ装置１６の位置情報算出部７２に送信される。なお、図１３では、目盛り検出センサ８２が、患者が口に咥えているマウスピース８４に設けられていることを示している。
　病変判定部７４は、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号のうち少なくとも１つの特殊画像信号から得た解析結果に対して、病変候補領域の有無の判定を自動で行う。
　検出部７６は、病変判定部７４が、病変候補領域を有すると判定した時点の位置情報及び病変候補画像を検出し、自動キャプチャを行う。自動キャプチャによってキャプチャ画像取得指示が発せられ、画像の保存制御が行われる。なお、自動キャプチャに代わり、キャプチャ画像取得指示部１３ｂを操作し、手動でキャプチャすることもできる。病変候補画像と位置情報は、第１観察時に得られる第１病変候補画像及び第１位置情報、第１観察時と異なる第２観察時に得られる第２病変候補画像及び第２位置情報がある。第１観察時と、第２観察時との切替操作は、位置情報切替部１３ｅにより行われる。
　比較部７８は、自動キャプチャにより得られた第１位置情報と第２位置情報との位置情報比較処理を行い、且つ、第１位置情報と第２位置情報とがマッチングした場合に、第１病変候補画像と、第２病変候補画像との画像比較処理を行い、画像比較処理の結果、病変候補領域の見落としの有無を判定する。比較処理の結果は表示制御部６０に送信される。
　表示制御部６０は、比較部７８での比較処理の結果により、病変候補領域の見落とし有りと判定された場合には、ディスプレイ１８に自動で新たに子画面１８ｂ（図１６参照）を展開し、キャプチャ画像保存用メモリ７０に保存した第１病変候補画像を、子画面１８ｂに自動で表示する。第１病変候補画像の自動表示の詳細は、後述する。
　アラートモードにおける見落とし発生時の表示制御について、図１４に示す場合を例として、説明する。内視鏡１２の挿入部１２ａが胃、食道、大腸などの管腔内の同一経路を往復する場合において、往路を第１観察時とし、復路を第２観察時とする。往路の第１観察時では、位置情報切替部１３ｅにより「第１観察」と設定する。そして、この往路の第１観察時において、例えば、検出部７６が、病変候補領域Ｋ、病変候補領域Ｌ、病変候補領域Ｍ、病変候補領域Ｎの４つの第１病変候補画像および第１位置情報を取得し、キャプチャ画像保存用メモリ７０に記憶する。ここで、病変候補領域Ｋは、第１位置情報ＸＫ、第１病変候補画像ＹＫを検出している。病変候補領域Ｌは、第１位置情報ＸＬ、第１病変候補画像ＹＬを検出している。病変候補領域Ｍは、第１位置情報ＸＭ、第１病変候補画像ＹＭを検出している。病変候補領域Ｎは、第１位置情報ＸＮ、第１病変候補画像ＹＮを検出している。なお、図１４において、「ＳＴ」は、消化管などの管腔内の挿入口を示しており、「ＥＮ」は、管腔内において、観察可能範囲の終端位置を示している。
　挿入部１２ａの先端部１２ｄが往路の観察可能範囲の終端位置まで達したら、位置情報切替部１３ｅを操作して、設定を「第２観察」に切り替えて、第２観察を行う。復路の第２観察時では、往路と同じ経路に沿って、挿入部１２ａを引き返させる。
　位置情報比較処理と画像比較処理に関する記載をする。図１５に示すように、例えば、復路の第２観察時に第２位置情報ＸＭを取得し、且つ、その位置において第２病変候補画像ＹＭが検出されたときには、比較処理において、第１位置情報ＸＭと第２位置情報ＸＭのマッチング、及び第１病変候補画像ＹＭと第２病変候補画像ＹＭのマッチングとなり、この場合には、比較部７８は「病変候補領域の見落とし無し」との判定を行う。同様にして、復路の第２観察時に第２位置情報ＸＫを取得し、且つその位置において第２病変候補画像ＹＫが検出されたときにも、比較部７８は、「病変候補領域の見落とし無し」との判定を行う。
　これに対して、復路の第２観察時に第２位置情報ＸＮを取得し、その位置において病変候補領域Ｎの第２病変候補画像ＹＮが検出されなかった場合には、比較処理において、位置情報がマッチングし、病変候補画像がマッチングしないことになる。この場合には、第１観察時に検出した病変候補領域Ｎを第２観察時に見落としていることから、比較部７８は、「病変候補領域の見落とし有り」との判定を行う。また、復路の第２観察時に第２位置情報ＸＬを取得し、その位置において病変候補領域Ｌの第２病変候補画像ＹＬが検出されなかった場合には、第１観察時に検出した病変候補領域Ｌを第２観察時に見落としていることから、比較部７８は、「病変候補領域の見落とし有り」との判定を行う。
　第１観察時と第２観察時の比較処理の結果より、見落とし防止のアラートを画面表示によって行う。図１６に示すように、ディスプレイ１８のメイン画面１８ａにおいて観察画像（又は解析結果付き観察画像）を表示する場合において、「病変候補領域の見落とし有り」と判定された場合には、メイン画面１８ａと別の位置に設けられた子画面１８ｂが自動で展開する。展開された子画面１８ｂに、キャプチャ画像保存用メモリ７０に保存した第１病変候補画像を自動で表示する。例えば、第２位置情報ＸＮにおける病変候補領域Ｎ（図１４参照）の見落としがあると判定された場合には、第１病変候補画像ＹＮを子画面１８ｂに表示する。これにより、第２観察時における病変候補領域の存在を喚起し、見落とし防止のアラートとする。
　なお、図１６では、観察画像をメイン画面１８ａに、第１病変候補画像を子画面１８ｂに表示しているが、反対に第１病変候補画像をメイン画面１８ａに、観察画像を子画面１８ｂに表示してもよい。また、第１病変候補画像を１つのみ表示しているが、これに限らず、２以上の第１病変候補画像を表示するようにしてもよい。なお、１つのディスプレイ１８に、メイン画面１８ａと子画面１８ｂを表示しているが、複数のディスプレイにメイン画面１８ａを表示させ、残りのディスプレイ１８に子画面１８ｂを表示してもよい。例えば、２つのディスプレイ１８を用いる場合には、第１ディスプレイ１８の画面全体に観察画像のみを表示させる一方で、第２ディスプレイ１８には、第１病変候補画像と病変候補領域の関連情報だけを表示させてもよい。
　図１７のように、表示制御部６０は、「病変候補領域の見落とし有り」と判定された場合には、見落とした病変候補領域の位置情報ＤＰをメイン画面１８ａに表示することが好ましい。病変候補領域の位置情報ＤＰは、第１位置情報又は第２位置情報などから算出することが好ましい。例えば、第２位置情報ＸＮにおける病変候補領域ＹＮ（図１４参照）の見落としがあると判定された場合には、第２位置情報ＸＮに基づいて、病変候補領域の位置情報ＤＰを算出し、算出した位置情報ＤＰをメイン画面１８ａに表示する。これにより、ユーザーは、病変候補領域の位置を認識することが可能である、位置情報ＤＰに、四角形（□）、丸（○）、矢印などのインジケータとして表示することが好ましい。図１７では、インジケータとして丸（〇）を表示する。なお、見落としをせずに、第２観察時に検出した病変候補領域がある場合には、検出済み病変候補領域としてメイン画面１８ａにインジケータ表示をすることが好ましい。図１７では、点線の矩形状領域９０としてインジケータ表示される。
　また、インジケータによる表示は画像上のみではなく、動画表示時にも、一度検出した病変候補領域の画像的特徴を頼りとして、移動中に病変候補領域を自動追従し、それに合わせて表示するようにしてもよい。
　また、表示制御部６０は、「病変候補領域の見落とし有り」と判定された場合には、図１８に示すように、病変候補領域の方向を示すガイドＤＧをメイン画面１８ａに表示することが好ましい。ガイドＤＧは、メイン画面１８ａに病変候補領域が表示されていない場合に、表示することが好ましい。また、ガイドＤＧは、第１位置情報又は第２位置情報などから決定することが好ましい。例えば、第２位置情報ＸＮにおける病変候補領域ＹＮ（図１４参照）の見落としがあると判定された場合には、第２位置情報ＸＮに基づいて、病変候補領域の方向を示すガイドＤＧを決定し、算出したガイドＤＧをメイン画面１８ａに表示する。
　なお、上記実施形態では、１回の病変診断において、内視鏡１２の先端部１２ｄを、胃、大腸、食道など管腔内に沿って、往復させる場合を想定し、往路を第１観察時とし、往路と同一経路を引き返す復路を、第２観察時としている。第１観察時と第２観察時については、１回の病変診断の往路、復路に限られず、第２観察時は第１観察時よりも時間的に後のタイミングであって、第１観察時と第２観察時において同一経路で病変候補領域の検出を行う場合であれば、その他のケースにも適用可能である。例えば、第１観察時と第２観察時は、日を跨いで病変診断を行う場合にも適用できる。この場合、初期診断など第１の診断日を第１観察時とし、経過観察などの第１の診断日よりも後の第２の診断日を第２観察時とすることが考えられる。このような場合には、位置情報切替部１３ｅを操作することなく、「第１観察」から「第２観察」に自動的に切り替えることが好ましい。
　なお、本実施形態では、位置情報と病変候補画像の両方を用いて、第１観察時と第２観察時で病変候補領域の見落としがあるか否かの判定を行っているが、病変候補画像のみを用いて、病変候補領域の見落とし判定を行ってもよい。この場合には、第１病変候補画像と第２病変候補画像の比較処理を行い、その比較処理の結果に従って、病変候補領域の見落とし判定を行うことになる。
　なお、第１観察時における画像については、以下の保存制御がある。アラートモードにおいては、自動キャプチャの際に、キャプチャ画像取得指示が発せられ、通常撮像期間で複数のフレームから得られる第１病変候補画像と、特殊撮像期間で特殊画像信号から取得される解析結果を取得する。取得した第１病変候補画像及びその第１位置情報は関連付けられ、キャプチャ画像保存用メモリ７０に保存される。
　例えば、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ａ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：同じ）とする場合において、キャプチャ画像取得指示が行われた場合には、通常光の画像信号取得期間は、キャプチャ画像取得指示が行われたタイミングのフレームを含む直近の通常撮像期間の全フレームとする。また、特殊撮像期間でもキャプチャ画像取得指示が行われたタイミングの直近のフレームで特殊画像信号を取得する。そして、特殊画像信号から取得した解析結果はキャプチャ画像保存用メモリ７０に保存される。
　一方、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂ発光パターン（特殊照明期間のフレーム数：同じ、特殊光の発光スペクトル：異なる）とする場合において、キャプチャ画像取得指示が行われた場合には、通常光の画像信号取得期間は、キャプチャ画像取得指示が行われたタイミングのフレームを含む直近の通常撮像期間の全フレームとする。また、特殊撮像期間でもキャプチャ画像取得指示が行われたタイミングの直近のフレームの他、残り全ての種類の発光スペクトルに対応する直近の特殊撮像期間のフレームも含まれる。例えば、特殊光が、紫色光Ｖ、緑色光Ｇ、赤色光Ｒである場合には、キャプチャ画像取得指示が紫色光Ｖの特殊撮像期間に行われた場合には、画像信号取得期間は、紫色光Ｖに対応する特殊撮像期間のフレームの他、緑色光Ｇに対応する特殊撮像期間のフレーム、及び、赤色光Ｒに対応する特殊撮像期間のフレームが含まれる。したがって、キャプチャ画像取得指示が行われることにより、紫色光Ｖに対応する特殊画像信号、緑色光Ｇに対応する特殊画像信号、及び、赤色光Ｒに対応する特殊画像信号が取得され、キャプチャ画像保存用メモリ７０に保存される。
　アラートモードにおける見落とし防止のアラートの一連の流れについて、図１９のフローチャートに沿って、説明する。まず、モード切替スイッチ１３ｃを操作して、観察モードを「アラートモード」に切り替えるとともに、位置情報切替部１３ｅを操作し、設定を「第１観察」に切り替える。アラートモードに切り替えられると、通常光を発光する第１発光パターンと、特殊光を発光する第２発光パターンに自動的に切り替えられる。このように通常光と特殊光とが第１、第２発光パターンにて自動的に交互に発光し、観察対象に対して照明される。そして、内視鏡１２の先端部１２ｄを管腔内に挿入し、挿入口から観察可能範囲の終端位置まで先端部１２ｄを移動させ、第１観察を行う。
　第１観察において、検出部７６が、第１病変候補画像を検出した場合には、第１病変候補画像をその時点での第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行う。自動キャプチャにより得られた第１病変候補画像及び第１位置情報は、キャプチャ画像保存用メモリ７０に保存する。
　内視鏡の先端部１２ｄが、管腔の観察可能範囲の終端位置に達したら、位置情報切替部１３ｅを操作し、設定を「第２観察」に切り替え、第２観察を始める。第２観察時では、第１観察時と同じ経路を引き返すように、内視鏡１２の先端部１２ｄを観察可能範囲の終端位置から挿入口まで先端部１２ｄを移動させ、第２病変候補画像を検出する。
　第２観察において、検出部７６が、第２病変候補画像を検出した場合には、第２病変候補画像をその時点での第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行う。自動キャプチャが行われた場合には、比較部７８は、キャプチャ画像保存用メモリ７０に保存された第１位置情報と、第２観察時に自動キャプチャにより得られた第２位置情報との位置情報比較処理を行う。位置情報比較処理の結果、第１位置情報と第２位置情報とがマッチングした場合に、第１位置情報に関連付けられた第１病変候補画像と、自動キャプチャにより得られた第２病変候補画像との画像比較処理を行う。
　画像比較処理の結果、第１病変候補画像と第２病変候補画像とがマッチングせず、「病変候補領域の見落とし有り」と判定された場合には、ディスプレイ１８に自動で新たに子画面１８ｂを展開する。そして、子画面１８ｂにおいて、第１位置情報に関連付けられた第１病変候補画像を、自動で表示する。これにより、第２観察時における病変候補領域の存在を喚起し、見落とし防止のアラートとする。
　[第２実施形態]
　図２０に示すように、第２実施形態の内視鏡システムでは、ディスプレイ１８にメイン画面１８ａ及び子画面１８ｂを観察開始時から並べて表示する。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と同様の部分については、説明を省略する。
　アラートモードの第２観察時において、「病変候補領域の見落とし有り」と判定された場合には、メイン画面１８ａと別の位置に設けられた子画面１８ｂにおいて、「病変候補領域の見落とし有り」と判定された第１病変候補画像を、自動で表示する。これにより、第２観察時における病変候補領域の存在を喚起し、見落とし防止のアラートとする。
　また、見落とし防止の表示とは別に、第１観察時においては自動キャプチャにより得られた第１病変候補画像を取得する毎に、子画面１８ｂに表示してもよい。第１観察時に第１病変候補画像を子画面１８ｂに表示することで第２観察時の同位置における見落としを更に防止できる。この場合、ディスプレイ１８に子画面１８ｂを複数設けておき、第１観察時で第１病変候補画像を新たに取得した場合には、前に取得した第１病変候補画像を表示する子画面１８ｂとは別の子画面１８ｂに対して、新たに取得した第１病変候補画像を表示するようにしてもよい。
　[第３実施形態]
　図２１に示すように、第３実施形態の内視鏡システムでは、ディスプレイ１８は子画面１８ｂの表示はせず、メイン画面１８ａのみ表示する。以下においては、第１実施形態と異なる部分のみ説明を行い、第１実施形態と同様の部分については、説明を省略する。
　アラートモードの第２観察時において、通常は、メイン画面１８ａに観察画像を表示し、「病変候補領域の見落とし有り」と判定された場合には、メイン画面１８ａの表示を、観察画像から、「病変候補領域の見落とし有り」と判定された第１病変候補画像に自動で切り替えるようにする。切り替え後の第１病変候補画像には、図２１に示すように、見落とした病変候補領域の位置情報ＤＰをインジケータとして表示することが好ましい。インジケータとして太線の丸（〇）を表示する。
　なお、第３実施形態では、第１病変候補画像への切り替え表示による見落としのアラートは、観察中の他、観察終了後に行ってもよい。この場合には、観察中においては、自動キャプチャによる第１、第２病変候補画像の取得のみ行い、位置情報比較処理、画像比較処理は観察中に行わない。そして、観察終了後に、ユーザーインターフェース１９を操作することにより、位置情報比較処理及び画像比較処理を行う。そして、画像比較処理の結果、「病変候補領域の見落とし有り」と判定された場合に、メイン画面１８ａの表示を、「病変候補領域の見落とし有り」と判定された第１病変候補画像に切り替えるようにする。
　なお、上記各実施形態においては、通常光に基づく通常画像信号は観察画像に、特殊光に基づく特殊画像信号は解析処理のみに用いているが、通常画像信号についても、解析処理を行い、病変候補画像を検出してもよい。この場合には、通常画像信号に基づく病変候補画像と、特殊画像信号に基づく病変候補画像を切り替えて使用することになる。通常画像信号に基づく病変候補画像の検出もしくは非検出については、ユーザーインターフェース１９によって適宜設定できるようにすることが好ましい。
　上記実施形態において、画像信号取得部５０、ノイズ低減部５４、画像処理切替部５６、通常観察画像生成部６２、特殊観察画像生成部６４、解析処理部６６、位置情報算出部７２、病変判定部７４、検出部７６、比較部７８といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（Circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。
　なお、本発明の別実施形態として以下が挙げられる。請求項１、２において「第１、第２観察時」の要件と「位置情報マッチング」の要件を外す。即ち、病変候補画像を検出した場合に、自動キャプチャを行い、即座に子画面表示等を行う。
　以上の説明から以下の付記項１、２の示す発明を把握することができる。
　[付記項１]
　観察画像を表示するメイン画面を有するディスプレイと、
　画像制御用プロセッサとを備え、
　前記画像制御用プロセッサは、
　病変候補画像を検出した場合には、自動的にキャプチャ画像保存用メモリに前記病変候補画像を保存する自動キャプチャを行い、且つ、前記ディスプレイに自動で新たに子画面を展開し、検出した前記病変候補画像を、即座に前記子画面に表示する内視鏡システム。
　[付記項２]
　観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイと、
　画像制御用プロセッサとを備え、
　前記画像制御用プロセッサは、
　病変候補画像を検出した場合には、自動的にキャプチャ画像保存用メモリに前記病変候補画像を保存する自動キャプチャを行い、且つ、検出した前記病変候補画像を、即座に前記子画面に表示する内視鏡システム。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１３ａ　アングルノブ
１３ｂ　キャプチャ画像取得指示部
１３ｃ　モード切替スイッチ
１３ｄ　ズーム操作部
１３ｅ　位置情報切替部
１４　光源装置
１６　プロセッサ装置
１８　ディスプレイ
１８ａ　メイン画面
１８ｂ　子画面
１９　ユーザーインターフェース
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源用プロセッサ
２３　光路結合部
２５　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３２　照明レンズ
４２　対物レンズ
４３　ズームレンズ
４４　撮像センサ
４５　撮像用プロセッサ
４６　ＣＤＳ／ＡＧＣ回路
４８　Ａ／Ｄコンバータ
５０　画像信号取得部
５２　ＤＳＰ
５４　ノイズ低減部
５６　画像処理切替部
５８　画像処理部
６０　表示制御部
６２　通常観察画像生成部
６４　特殊観察画像生成部
６６　解析処理部
６８　中央制御部
７０　キャプチャ画像保存用メモリ
７２　位置情報算出部
７４　病変判定部
７６　検出部
７８　比較部
８０　測定用目盛り
８２　目盛り検出センサ
８４　マウスピース
９０　点線の矩形状領域
ＢＦ　青色カラーフィルタ
ＧＦ　緑色カラーフィルタ
ＲＦ　赤色カラーフィルタ
ＳＴ　観察開始位置
ＥＮ　観察終了位置
ＸＫ　病変候補領域Ｋの位置情報
ＹＫ　病変候補領域Ｋの病変候補画像
ＸＬ　病変候補領域Ｌの位置情報
ＹＬ　病変候補領域Ｌの病変候補画像
ＸＭ　病変候補領域Ｍの位置情報
ＹＭ　病変候補領域Ｍの病変候補画像
ＸＮ　病変候補領域Ｎの位置情報
ＹＮ　病変候補領域Ｎの病変候補画像
ＤＰ　病変候補領域の位置情報
ＤＧ　ガイド

Claims (13)

  1. 　観察画像を表示するメイン画面を有するディスプレイと、
    　画像制御用プロセッサとを備え、
    　前記画像制御用プロセッサは、
    　内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、
    　前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存し、
    　前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行い、
    　前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイに自動で新たに子画面を展開し、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、前記子画面に自動で表示する内視鏡システム。
  2. 　観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイと、
    　画像制御用プロセッサとを備え、
    　前記画像制御用プロセッサは、
    　内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、
    　前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存し、
    　前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行い、
    　前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイの前記子画面に、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、自動で表示する内視鏡システム。
  3. 　観察画像を表示するメイン画面を有するディスプレイと、
    　画像制御用プロセッサとを備え、
    　前記画像制御用プロセッサは、
    　内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、
    　前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存し、
    　前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行い、
    　前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記メイン画面の表示を前記観察画像から前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像に自動で切り替える内視鏡システム。
  4. 　前記画像制御用プロセッサは、前記病変候補領域の見落とし有りと判定された場合には、前記病変候補領域の位置情報を前記メイン画面で表示する請求項１ないし３いずれか１項記載の内視鏡システム。
  5. 　前記画像制御用プロセッサは、前記病変候補領域の見落とし有りと判定された場合には、前記病変候補領域の方向を示すガイドを前記メイン画面で表示する請求項１ないし４いずれか１項記載の内視鏡システム。
  6. 　波長特性が異なる通常光と、特殊光とを発する光源装置と、
    　通常光を発光する通常照明期間と、特殊光を発光する特殊照明期間とを自動的に切り替える場合において、通常光を第１発光パターンで発光し、特殊光を第２発光パターンで発光する光源用画像制御用プロセッサと、
    　通常光によって照明された観察対象を撮像して得られる通常画像信号と、特殊光によって照明された観察対象を撮像して特殊画像信号とを出力する撮像センサとを備え、
    　表示制御部は、前記通常画像信号に基づく前記観察画像に対して、前記特殊画像信号に基づく解析処理により得られた解析結果を表示する解析結果付き観察画像を前記ディスプレイに表示し、
    　検出部は、前記解析結果に基づいて、前記病変候補領域を検出した場合に、前記自動キャプチャを行う請求項１ないし５いずれか１項記載の内視鏡システム。
  7. 　第１発光パターンは、前記通常照明期間のフレーム数が、それぞれの前記通常照明期間において同じである第１Ａ発光パターンと、前記通常照明期間のフレーム数が、それぞれの通常照明期間において異なっている第１Ｂ発光パターンとのうちのいずれか１つのパターンである請求項６記載の内視鏡システム。
  8. 　第２発光パターンは、前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において同じであり、且つ、前記特殊光の発光スペクトルが、それぞれの前記特殊照明期間において同じである第２Ａ発光パターン、
    　前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において同じであり、且つ、特殊光の発光スペクトルが、それぞれの前記特殊照明期間において異なっている第２Ｂ発光パターン、
    　前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において異なっており、且つ、特殊光の発光スペクトルが、それぞれの前記特殊照明期間において同じである第２Ｃ発光パターン及び、
    　前記特殊照明期間のフレーム数が、それぞれの前記特殊照明期間において異なっており、且つ、前記特殊光の発光スペクトルが、それぞれの前記特殊照明期間において異なっている第２Ｄ発光パターンのうちのいずれか１つのパターンである請求項６または７記載の内視鏡システム。
  9. 　前記病変候補領域は、前記第２発光パターンの照明によって観察対象を撮像して検出する請求項６ないし８いずれか１項記載の内視鏡システム。
  10. 　前記第２発光パターンの照明によって観察対象を撮像して取得した前記特殊画像信号は、画像表示には使用しない請求項６ないし８いずれか１項記載の内視鏡システム。
  11. 　観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、
    　前記画像制御用プロセッサは、
    　内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、
    　前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存するステップと、
    　前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行うステップと、
    　前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイに自動で新たに子画面を展開し、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、前記子画面に自動で表示するステップとを有する内視鏡システムの作動方法。
  12. 　観察画像を表示するメイン画面及び前記メイン画面と別の位置に設けられた子画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、
    　前記画像制御用プロセッサは、
    　内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、
    　前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存するステップと、
    　前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行うステップと、
    　前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記ディスプレイの前記子画面に、前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像を、自動で表示するステップとを有する内視鏡システムの作動方法。
  13. 　観察画像を表示するメイン画面を有するディスプレイ、及び画像制御用プロセッサを備える内視鏡システムの作動方法において、
    　前記画像制御用プロセッサは、
    　内視鏡挿入部が管腔内の挿入口から観察可能範囲の終端位置まで移動する第１観察時に第１病変候補画像を検出した場合には、前記第１病変候補画像を第１位置情報と関連付けて自動的にキャプチャする自動キャプチャを行い、前記内視鏡挿入部が管腔内の観察可能範囲の終端位置から挿入口まで移動する第２観察時に第２病変候補画像を検出した場合には、前記第２病変候補画像を第２位置情報と関連付けて自動的にキャプチャする自動キャプチャを行うステップと、
    　前記自動キャプチャにより得られた前記第１病変候補画像及び前記第１位置情報をキャプチャ画像保存用メモリに保存するステップと、
    　前記第１位置情報と前記第２位置情報との位置情報比較処理を行い、且つ、前記第１位置情報と前記第２位置情報とがマッチングした場合に、前記第１病変候補画像と、前記第２病変候補画像との画像比較処理を行うステップと、
    　前記画像比較処理の結果、病変候補領域の見落とし有りと判定された場合には、前記メイン画面の表示を前記観察画像から前記キャプチャ画像保存用メモリに保存した前記第１病変候補画像に自動で切り替えるステップとを有する内視鏡システムの作動方法。
     
PCT/JP2021/005202 2020-07-15 2021-02-12 内視鏡システム及びその作動方法 WO2022014077A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21841711.1A EP4183318A4 (en) 2020-07-15 2021-02-12 ENDOSCOPE SYSTEM AND METHOD OF OPERATION THEREFOR
JP2022536123A JP7389257B2 (ja) 2020-07-15 2021-02-12 内視鏡システム及びその作動方法
US18/153,246 US20230165433A1 (en) 2020-07-15 2023-01-11 Endoscope system and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020121680 2020-07-15
JP2020-121680 2020-07-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/153,246 Continuation US20230165433A1 (en) 2020-07-15 2023-01-11 Endoscope system and method of operating the same

Publications (1)

Publication Number Publication Date
WO2022014077A1 true WO2022014077A1 (ja) 2022-01-20

Family

ID=79554575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005202 WO2022014077A1 (ja) 2020-07-15 2021-02-12 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US20230165433A1 (ja)
EP (1) EP4183318A4 (ja)
JP (1) JP7389257B2 (ja)
WO (1) WO2022014077A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195103A1 (ja) * 2022-04-06 2023-10-12 オリンパスメディカルシステムズ株式会社 検査支援システムおよび検査支援方法
WO2024028924A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181885A (ja) * 1992-12-21 1994-07-05 Olympus Optical Co Ltd 内視鏡装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
WO2018159363A1 (ja) 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039931A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 内視鏡システム及び医療画像処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181885A (ja) * 1992-12-21 1994-07-05 Olympus Optical Co Ltd 内視鏡装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
WO2018159363A1 (ja) 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4183318A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195103A1 (ja) * 2022-04-06 2023-10-12 オリンパスメディカルシステムズ株式会社 検査支援システムおよび検査支援方法
WO2024028924A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024029503A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Also Published As

Publication number Publication date
EP4183318A4 (en) 2023-12-06
JPWO2022014077A1 (ja) 2022-01-20
JP7389257B2 (ja) 2023-11-29
US20230165433A1 (en) 2023-06-01
EP4183318A1 (en) 2023-05-24

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜***及其操作方法
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
JP7176041B2 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20230165433A1 (en) Endoscope system and method of operating the same
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2019037688A (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP2020065685A (ja) 内視鏡システム
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
US20240029404A1 (en) Endoscope system and method of operating the same
US11998165B2 (en) Image processing device and method of operating same
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7337190B2 (ja) 内視鏡システム及びその作動方法
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2022004056A1 (ja) 内視鏡システム及びその作動方法
WO2021205777A1 (ja) プロセッサ装置及びその作動方法
US20240087125A1 (en) Medical image processing device and endoscope system
US20240108198A1 (en) Medical image processing device, endoscope system, and operation method of medical image processing device
CN114627045A (zh) 医用图像处理***、医用图像处理***的工作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21841711

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536123

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021841711

Country of ref document: EP

Effective date: 20230215