WO2022264688A1 - 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 - Google Patents

医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 Download PDF

Info

Publication number
WO2022264688A1
WO2022264688A1 PCT/JP2022/018434 JP2022018434W WO2022264688A1 WO 2022264688 A1 WO2022264688 A1 WO 2022264688A1 JP 2022018434 W JP2022018434 W JP 2022018434W WO 2022264688 A1 WO2022264688 A1 WO 2022264688A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
boundary line
display
still image
displayed
Prior art date
Application number
PCT/JP2022/018434
Other languages
English (en)
French (fr)
Inventor
弘亮 岩根
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280042699.0A priority Critical patent/CN117500426A/zh
Priority to EP22824683.1A priority patent/EP4356813A1/en
Priority to JP2023529653A priority patent/JPWO2022264688A1/ja
Publication of WO2022264688A1 publication Critical patent/WO2022264688A1/ja
Priority to US18/537,762 priority patent/US20240108198A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a medical image processing apparatus, an endoscope system, and a method of operating a medical image processing apparatus.
  • CAD Computer-Aided Diagnosis
  • Patent Document 1 There is known a medical image processing apparatus that graphically notifies an attention area without obstructing observation of a boundary between an attention area and a non-attention area when indicating a range of a lesion obtained by CAD on an endoscopic image.
  • the borderline of the lesion (demarcation) in endoscopic submucosal dissection (ESD) or endoscopic mucosal resection (EMR) line) to set the ablation range.
  • ESD endoscopic submucosal dissection
  • EMR endoscopic mucosal resection
  • An object of the present invention is to provide a medical image processing apparatus, an endoscope system, and a method of operating the medical image processing apparatus that provide information on the boundary between the attention area and the non-attention area with higher accuracy.
  • a medical image processing apparatus comprises a processor.
  • the processor obtains an endoscopic image of a subject photographed by an endoscope, and determines the area of interest and the non-attention area of the subject in the still image of the endoscopic image. setting a boundary line indicating a boundary, generating a boundary line display image in which the set boundary line is displayed in a still image, and performing control to display the moving image of the endoscopic image and the boundary line display image on the display device;
  • the boundary lines displayed in the boundary line display image are updated and displayed for each boundary line setting.
  • the processor preferably detects and sets the boundary line based on the still image.
  • the display device includes a first display device and a second display device, and the processor controls the second display device provided by the small terminal that connects the still image and/or the border display image to the first display device and/or the medical image processing device. It is preferable to control display on a display device.
  • the processor When displaying a still image, the processor preferably sets the boundary line based on a user-generated drawing on the displayed still image.
  • the drawing is a positive point generated in the region of interest of the still image based on the user's judgment.
  • the drawing is preferably a negative point generated in the non-attention area of the still image by the user's judgment.
  • the processor controls the display of the still image on the second display device, and the drawing is a drawing generated on the still image displayed on the second display device.
  • the processor newly sets the boundary line obtained by correcting the boundary line displayed in the boundary line display image as the boundary line.
  • the processor preferably controls the display of the border display image on the second display device.
  • the processor displays the moving image on the main screen of the first display device and displays the boundary line display image on the sub-screen of the first display device.
  • the processor preferably performs control to display the still image on the sub-screen of the first display device.
  • the processor displays a boundary line in the moving image corresponding to the boundary line displayed in the boundary display image.
  • the processor controls whether or not to display the boundary line in the moving image based on the user's instruction or the endoscopic image.
  • the processor preferably finishes updating the boundary line based on the user's instruction or the endoscopic image.
  • the still image is preferably obtained in the same examination as the moving image, or obtained in a different examination than the moving image.
  • the endoscope system of the present invention includes an endoscope for photographing a subject, a display device, and a medical image processing device.
  • the display device preferably includes a first display device and a second display device.
  • a method of operating a medical image processing apparatus includes the steps of acquiring an endoscopic image of a subject photographed by an endoscope, and dividing a region of interest and a region of non-interest in the subject in a still image of the endoscopic image. a step of setting a boundary line indicating a boundary; a step of generating a boundary line display image in which the set boundary line is displayed in a still image; and displaying a moving image of the endoscopic image and the boundary line display image on a display device. and a step of controlling, wherein the boundary lines displayed in the boundary line display image are updated and displayed each time the boundary line is set.
  • the present invention it is possible to provide information on the boundary between the attention area and the non-attention area with higher accuracy.
  • FIG. 1 is an external view of an endoscope system;
  • FIG. It is an explanatory view explaining four colors of LED which a light source part contains.
  • 4 is a graph showing spectra of violet light V, blue light B, green light G, and red light R;
  • 3 is a block diagram showing functions of a boundary line processing unit;
  • FIG. FIG. 3 is an image diagram of a display containing a still image;
  • FIG. 4 is an image diagram of a touch panel including a home screen;
  • FIG. 4 is an image diagram of a touch panel including thumbnails;
  • FIG. 4 is an image diagram of a touch panel including a selected still image;
  • FIG. 3 is an image diagram of a display containing selected still images; 4 is a block diagram showing functions of a boundary line generation unit; FIG. FIG. 4 is an explanatory diagram for explaining functions of a learning model;
  • FIG. 10 is an image diagram of a touch panel including a DL setting button;
  • FIG. 4 is an image diagram of a touch panel including a positive point registration button;
  • FIG. 4 is an image diagram of a touch panel including a negative point registration button;
  • FIG. 10 is an image diagram of a touch panel including a generated boundary line;
  • FIG. 4 is an image diagram of a touch panel including a boundary line display image;
  • FIG. 4 is an image diagram of a touch panel including a correction button;
  • FIG. 4 is an image diagram of a touch panel including borders marked with vertices;
  • FIG. 4 is an image diagram of a touch panel including moved vertices and borders; 4 is a block diagram showing functions of a boundary correction unit; FIG. FIG. 10 is an explanatory diagram for explaining the display of the degree of irregularity; FIG. 4 is an image diagram of a display including a border display image; FIG. 10 is an image diagram of a display in the DL setting mode; FIG. 3 is an image diagram of a display including thumbnails; 10 is a flowchart for explaining the flow of boundary line setting by the medical image processing apparatus; FIG. 4 is an explanatory diagram for explaining a case where a medical image processing device is included in a diagnosis support device; FIG. 4 is an explanatory diagram for explaining a case where a medical image processing device is included in a medical service support device;
  • the endoscope system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15 as a first display device, a keyboard 16, and a second display device. It has a tablet 17 which is a small terminal.
  • the second display device is preferably a touch panel. Note that the display device includes the first display device and the second display device, and does not distinguish between them.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14 .
  • the processor device 14 has a function as a medical image processing device.
  • the tablet 17 is connected to the processor device 14 wirelessly or by wire.
  • the medical image is an endoscopic image.
  • An endoscopic image is an image obtained by photographing an observation target of an endoscope, which is a subject, with an endoscope.
  • the processor device 14 has the function of a medical image processing device, but the device that performs the function of the medical image processing device may be a separate device from the processor device 14 .
  • various connections are not limited to wired connections, but may be wireless connections, or may be connected via a network. Therefore, the functions of the medical image processing apparatus may be performed by an external device connected via a network.
  • the endoscope 12 includes an insertion section 12a to be inserted into the body of a subject having an observation target, an operation section 12b provided at a proximal end portion of the insertion section 12a, and a distal end side of the insertion section 12a. It has a curved portion 12c and a tip portion 12d.
  • the bending portion 12c is bent by operating the angle knob 12e (see FIG. 3) of the operation portion 12b.
  • the distal end portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • a forceps channel (not shown) for inserting a treatment tool or the like is provided from the insertion portion 12a to the distal end portion 12d.
  • the treatment instrument is inserted into the forceps channel from the forceps port 12h. Air supply, water supply, or suction is also performed from the forceps port 12h.
  • the operation unit 12b has a zoom operation unit 12f for changing the imaging magnification, a mode switching switch 12g for switching observation modes, and a freeze switch 12i for acquiring a still image.
  • the observation mode switching operation, zoom operation, or still image acquisition operation can be performed using the mode switching switch 12g, the zoom operation section 12f, or the freeze switch, as well as the operation using the keyboard 16, foot switch (not shown), or the like. It can be used as an instruction.
  • the endoscope system 10 has a normal observation mode and a special observation mode.
  • a normal image is displayed on the display 15, which is an endoscopic image with natural colors obtained by imaging the observation target using white light as the illumination light.
  • a special image is displayed on the display 15, which is an endoscopic image of an observation target captured by emitting illumination light having a specific spectrum different from white light.
  • An observation support mode can be added to each of the normal observation mode and the special observation mode.
  • a moving image of an endoscopic image and a still image of a boundary line showing a boundary line indicating a boundary between an attention area and a non-attention area are displayed on a display device. perform a function.
  • the boundary line 18 is the boundary between a lesion area 18a, which is an attention area, and a non-lesion area 18b, which is a non-interest area. is the line shown. It is usually a closed curve and in ESD or EMR it is important to know the boundary line 18 accurately in order to identify the boundary line 18 and set the ablation line or extent. In the drawing, the lesion area 18a is shaded.
  • a normal image or a special image is used as the endoscopic image used in the observation support mode.
  • an observation mode a multi-observation mode or the like in which normal images and special images are automatically switched and obtained may be provided.
  • An observation support mode can be added to the multi-observation mode, and even when the observation support mode is added, the normal image and the special image can be automatically switched and used.
  • the processor device 14 is electrically connected to the display 15 and keyboard 16 .
  • the display 15 displays a moving image of an endoscopic image acquired during an examination, a still image 19, a boundary line display image to be described later, and/or various kinds of information.
  • the keyboard 16 functions as a user interface that receives input operations such as function settings.
  • the processor device 14 may be connected to an external storage (not shown) for storing images, image information, and the like.
  • the light source device 13 emits illumination light to irradiate an observation target, and includes a light source unit 20 and a light source processor 21 that controls the light source unit 20 .
  • the light source unit 20 is composed of, for example, a semiconductor light source such as a multicolor LED (Light Emitting Diode), a combination of a laser diode and a phosphor, or a xenon lamp or halogen light source.
  • the light source unit 20 also includes an optical filter and the like for adjusting the wavelength band of light emitted by the LED or the like.
  • the light source processor 21 controls the amount of illumination light by turning on/off each LED or the like and adjusting the driving current or driving voltage of each LED or the like.
  • the light source processor 21 also controls the wavelength band of the illumination light by changing the optical filter or the like.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and R-LED (Red Light Emitting Diode) 20d.
  • V-LED Volt Light Emitting Diode
  • B-LED Blue Light Emitting Diode
  • G-LED Green Light Emitting Diode
  • R-LED Red Light Emitting Diode
  • the V-LED 20a generates violet light V with a central wavelength of 410 ⁇ 10 nm and a wavelength range of 380-420 nm.
  • the B-LED 20b generates blue light B with a central wavelength of 450 ⁇ 10 nm and a wavelength range of 420-500 nm.
  • the G-LED 20c generates green light G with a wavelength range of 480-600 nm.
  • the R-LED 20d emits red light R with a central wavelength of 620-630 nm and a wavelength range of 600-650 nm.
  • the light source processor 21 controls the V-LED 20a, B-LED 20b, G-LED 20c, and R-LED 20d. In the normal observation mode, the light source processor 21 emits normal light in which the combination of the light intensity ratios of the violet light V, blue light B, green light G, and red light R is Vc:Bc:Gc:Rc. Then, each LED 20a-20d is controlled.
  • the light source processor 21 When the light source processor 21 is set to the special observation mode, for example, the combination of the light intensity ratios among the violet light V, blue light B, green light G, and red light R is changed to obtain a specific observation mode. Emit a spectrum of illumination light.
  • the light emitted by each of the LEDs 20a to 20e is incident on the light guide 41 via an optical path coupling section (not shown) composed of mirrors, lenses, and the like.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 13 and the processor device 14).
  • the light guide 41 propagates the light from the optical path coupling portion to the distal end portion 12 d of the endoscope 12 .
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 42 , and the illumination light propagated by the light guide 41 is applied to the observation target via the illumination lens 42 .
  • the imaging optical system 30 b has an objective lens 43 , a zoom lens 44 and an imaging sensor 45 .
  • Various kinds of light such as reflected light, scattered light, and fluorescent light from the observation target enter the imaging sensor 45 via the objective lens 43 and the zoom lens 44 .
  • an image of the observation target is formed on the imaging sensor 45 .
  • the zoom lens 44 can be freely moved between the telephoto end and the wide end by operating the zoom operation section 12f to enlarge or reduce the observation target imaged on the imaging sensor 45.
  • the imaging sensor 45 is a color imaging sensor in which any one of R (red), G (green), or B (blue) color filters is provided for each pixel. to output As the imaging sensor 45, a CCD (Charge Coupled Device) imaging sensor or a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor can be used. Further, instead of the imaging sensor 45 provided with primary color filters, a complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. . When a complementary color imaging sensor is used, CMYG four-color image signals are output.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • CMYG four-color image signal into the RGB three-color image signal by complementary color-primary color conversion
  • RGB image signal similar to that of the image sensor 45 can be obtained.
  • a monochrome sensor without a color filter may be used instead of the imaging sensor 45.
  • the imaging sensor 45 is driven and controlled by an imaging control unit (not shown).
  • the central control unit 58 controls the light emission of the light source unit 20 through the light source processor 21 in synchronization with the imaging control unit, thereby capturing an image of the observation target illuminated with normal light. to control.
  • the B pixels of the imaging sensor 45 output the Bc image signals
  • the G pixels output the Gc image signals
  • the R pixels output the Rc image signals.
  • a CDS/AGC (Correlated Double Sampling/Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on analog image signals obtained from the imaging sensor 45 .
  • the image signal that has passed through the CDS/AGC circuit 46 is converted into a digital image signal by an A/D (Analog/Digital) converter 47 .
  • the digital image signal after A/D conversion is input to the processor device 14 .
  • a program in a program memory is operated by a central control unit 58 constituted by an image processor, etc., which is a first processor, so that an image acquisition unit 51 and a DSP (Digital Signal Processor) 52 , the functions of the noise reduction unit 53, the memory 54, the image processing unit 55, the display control unit 56, the video signal generation unit 57, and the central control unit 58 are realized.
  • the central control unit 58 receives information from the endoscope 12 and the light source device 13, and controls the endoscope 12 or the light source device 13 in addition to controlling each unit of the processor device 14 based on the received information. I do. It also receives information such as instructions from the keyboard 16 .
  • the image acquisition unit 51 acquires a digital image signal of an endoscopic image input from the endoscope 12.
  • the image acquisition unit 51 acquires, for each frame, an image signal obtained by photographing an observation target illuminated by each illumination light.
  • the image acquisition unit 51 may acquire an endoscope image obtained by photographing an observation target illuminated with predetermined illumination lights having different spectra.
  • the acquired image signal is sent to the DSP 52.
  • the DSP 52 performs digital signal processing such as color correction processing on the received image signal.
  • the noise reduction unit 53 performs noise reduction processing using, for example, a moving average method, a median filter method, or the like on the image signal that has been subjected to color correction processing or the like by the DSP 52 .
  • the noise-reduced image signal is stored in the memory 54 .
  • the image processing unit 55 acquires the image signal after noise reduction from the memory 54 . Then, the acquired image signal is subjected to signal processing such as color conversion processing, color enhancement processing, and structure enhancement processing as necessary to generate a color endoscopic image showing the observation target.
  • the image processing section 55 includes a normal image processing section 61 , a special image processing section 62 and a boundary line processing section 63 .
  • the normal image processing unit 61 performs color conversion processing and color enhancement processing on the input image signal for the normal image after noise reduction for one frame. , and perform image processing for normal images such as structure enhancement processing.
  • An image signal that has undergone image processing for a normal image is input to the display control unit 56 .
  • the special image processing unit 62 performs special image processing such as color conversion processing, color enhancement processing, and structure enhancement processing on the input image signal of the special image after noise reduction for one frame. Apply image processing.
  • the image signal subjected to the image processing for the special image is input to the display control section 56 as the special image.
  • the endoscopic image generated by the image processing unit 55 is a normal image when the observation mode is the normal observation mode, and is a special image when the observation mode is the special observation mode.
  • the content of structure enhancement processing differs depending on the observation mode.
  • the image processing unit 55 In the normal observation mode, the image processing unit 55 generates a normal image by performing the various signal processing described above so that the observation target becomes a natural color.
  • the image processing unit 55 In the special observation mode, the image processing unit 55 generates a special image by, for example, performing the above various signal processing for emphasizing the blood vessel to be observed.
  • the display control unit 56 receives the endoscopic image generated by the image processing unit 55 and performs control for displaying it on the display 15 according to the control of the central control unit 58 .
  • the endoscope image controlled for display by the display control unit 56 is generated by the video signal generation unit 57 into a video signal to be displayed on the display 15 and sent to the display 15 .
  • the display 15 displays the endoscopic image sent from the video signal generator 57 under the control of the display controller 56 .
  • the boundary line processing unit 63 functions in the observation support mode. Therefore, the boundary line processing section 63 operates together with the normal image processing section 61 or the special image processing section 62 respectively.
  • the boundary line processing unit 63 acquires the endoscopic image from the memory 54, and in the still image 19 of the endoscopic image, the boundary line 18 indicating the boundary between the attention area and the non-attention area in the subject. set.
  • a boundary line display image is created by displaying the set boundary line 18 on the still image 19, and control is performed to display the boundary line display image and the moving image of the endoscopic image on a display device such as the display 15 or the like.
  • the boundary line 18 displayed in the boundary line display image is updated and displayed each time the boundary line 18 is set.
  • the boundary processing unit 63 includes a still image storage unit 71, a target image setting unit 72, a boundary generation unit 73, a boundary correction unit 74, a boundary setting unit 75, and a boundary.
  • a line display portion 76 is provided.
  • the still image storage unit 71 stores the still image 19 for which the boundary line is to be set.
  • the target image setting unit 72 sets the selected still image, which is the target still image 19 for setting the boundary line.
  • the boundary line generator 73 generates a boundary line for the selected still image.
  • the boundary correction unit 74 corrects the generated boundary in some cases.
  • the boundary line setting unit 75 sets the generated or modified boundary line and creates a boundary line display image.
  • the boundary line display unit 76 displays the boundary line display image on a display device such as the display 15 or the like.
  • the user performs observation by operating the mode changeover switch 12g (see FIG. 2) of the endoscope operation unit 12b and the like to add the observation support mode.
  • a boundary line display image is created by setting a boundary line on the obtained still image 19, and can be displayed at a predetermined position of a display device such as the display 15 or the like.
  • the still image 19 can be the one acquired in the inspection being performed at that time, or the one acquired in the past inspection.
  • the image acquired in the inspection being performed at that time is acquired in the same inspection as the moving image, and is selected from the still images 19 acquired in the inspection by the user.
  • Still images 19 acquired in past examinations can be used by calling the still images 19 stored in the still image storage unit 71 .
  • the still image 19 acquired in the past examination is, for example, a still image 19 having a region of interest such as a similar site or a similar lesion as the observation target in the current examination, or a past image of the same site as the patient's site under examination. can be a still image 19 or the like.
  • the selected still image may be one or a plurality of still images 19 displayed on the display 15 and selected from the displayed still images 19 as the selected still image, or one or a plurality of still images may be displayed on the touch panel 91 of the tablet 17. may be displayed, and a selected still image may be selected from the displayed still images 19 as the selected still image.
  • the still image 19 or the like displayed on the touch panel 91 of the tablet 17 can also be displayed on the display 15 via the processor unit 14, and the images displayed by both can be synchronized.
  • the still image 19 is obtained by the user operating the freeze switch 12i (see FIG. 2).
  • the acquired still image 19 is stored in the still image storage unit 71 .
  • the still images 19 stored in the still image storage unit 71 are displayed in a temporary display still image area 81 of the display 15, for example, three of the most recently acquired still images 19 are arranged in order of shooting time. .
  • the still image 19 with the oldest shooting time is deleted, and the newly acquired still image 19 is displayed instead. Is displayed.
  • the display 15 includes a live moving image area 82 that displays a moving image 82a of an endoscopic image, and a fixed display still image area 83 that displays a selected still image or a boundary line display image.
  • the selected still image is the image that sets the boundary line 18 .
  • the target image setting unit 72 sets the still image 19 selected from the still images 19 stored in the still image storage unit 71 as the selected still image.
  • the still image 19 can be selected and set with a cursor or the like in the temporary display still image area 81 displayed on the display 15. or a method of setting using the tablet 17, or the like.
  • a preferable method can be selected depending on various situations, such as whether or not a person other than the person who operates the endoscope can operate it.
  • the tablet 17 is used to set the selected still image.
  • the home screen displayed on the touch panel 91 of the tablet 17 includes an image selection button 92a, a DL (Demarcation line) setting button 92b, and a reflect to processor button 92c. It also has a selected still image area 96 for displaying a selected still image.
  • the image selection button 92a is a button for selecting a selected still image.
  • the DL setting button 92b is a button for setting the boundary line 18.
  • FIG. The reflect to processor button 92 c is a button for sending the set boundary line 18 to the processor unit 14 and displaying it on the display 15 .
  • thumbnails 93 By pressing the image selection button 92 on the home screen of the touch panel 91 of the tablet 17, as shown in FIG. A predetermined number of thumbnails 93 are displayed in order.
  • symbol may be attached
  • One of the thumbnails 93 of the still image 19 is selected by touching one check box 94 with the touch pen 98 or the like. After that, by pressing the decision button 95, the still image 19 of the selected thumbnail 93 can be selected as the selected still image.
  • the screen of the tablet 17 returns to the home screen, and the selected still image 19 is displayed as the selected still image 97 in the selected still image area 96.
  • processor device 14 continues to display selected still image 97 in fixed display still image area 83 of display 15 . Therefore, the display 15 displays the current moving image 82a of the endoscope in the live moving image area 82, continuously displays the selected still image 97 in the fixed display still image area 83, and are displayed in the temporary display still image area 81 while updating the three.
  • the boundary line generator 73 generates the boundary line 18 based on the selected still image 97 , that is, the still image 19 displayed in the fixed display still image area 83 of the display 15 .
  • a method of generating the boundary line 18 there is an automatic method of detecting and generating the boundary line 18 based on the selected still image 97, or a manual method of generating the boundary line 18 by drawing on the selected still image 97 by the user. methods that have been adopted.
  • the boundary generation unit 73 includes a boundary detection unit 101 , a drawing detection unit 102 , and a positive point/negative point analysis unit 103 .
  • the boundary detection unit 101 detects the boundary 18 of the selected still image 97 based on the selected still image 97 and sets the boundary 18 .
  • the drawing detection unit 102 detects the drawn boundary line 18 and sets the boundary line 18 .
  • the positive point/negative point analysis unit 103 draws positive points generated in the attention area of the selected still image 97 by the user's judgment and/or draws negative points generated in the non-interest area of the selected still image 97 by the user's judgment.
  • the drawing is analyzed to detect the boundary line 18, and the detected boundary line 18 is set.
  • the boundary detection unit 101 automatically detects a boundary by calculation based on the selected still image 97 when boundary information is not associated with the selected still image 97 . If boundary line information is associated with the still image 19 of a past examination, the boundary line detection unit 101 reads the boundary line information. In this embodiment, since the selected still image 97 is based on the still image 19 acquired during the examination, the boundary line is detected from the selected still image 97 .
  • the boundary line detection method a method using image processing, a method using a learning model by machine learning, or the like can be used, and any method can be adopted as long as the boundary line in the selected still image can be detected. may
  • V microvascular architecture
  • S microsurface (MS) structure
  • the gland duct structure and/or blood vessel structure to be observed is extracted based on the selected still image 97, and discontinuous points are calculated using these density distributions and/or shape distributions. do.
  • a discontinuity point can be calculated by edge detection or the like.
  • a closed curve is generated by connecting the calculated discontinuous points. Since the boundary line 18 is the boundary between a lesion and a non-lesion, this closed curve can be used as the boundary line 18 .
  • a learning model 111 that outputs a boundary line 18 when a still image 19 is input can be created and used. Since the selected still image 97 is the still image 19 , the learning model 111 outputs the boundary line 18 in the selected still image 97 when the selected still image 97 is input.
  • the learning model 111 can be based on supervised learning, unsupervised learning, or the like.
  • a learning model 111 based on supervised learning is generated by learning using still images for learning in which information about the boundary line 18 is associated with the still image 19 .
  • the information about the boundary line 18 also includes that associated with the still image 19 not including the boundary line 18 .
  • a test is performed using a still image 19 with a known boundary line 18, and various adjustments such as parameters are performed.
  • the learning model 111 is generated by further adjusting parameters and the like so that the boundary line 18 is output correctly when the still image 19 with the unknown boundary line 18 is input.
  • Machine learning techniques such as clustering can be used in the learning model 111 based on unsupervised learning.
  • the learning model 111 is preferably a neural network model. Further, since the learning model 111 detects the boundary line 18 based on the still image 19, it is preferably a convolutional neural network. Therefore, learning model 111 preferably has a layered structure with an output layer that outputs boundary line 18 and at least one intermediate layer. A deep learning model is also preferred, as it may result in better detection results.
  • the drawing detection unit 102 generates the boundary line 18 by drawing on the selected still image 97 by the user. Drawing is preferably performed on the tablet 17 having the touch panel 91 .
  • the selected still image 97 is displayed in the selected still image area 96 on the home screen displayed on the touch panel 91 of the tablet 17 (see FIG. 10).
  • drawing method there is a method in which the user draws on the selected still image 97 displayed on the tablet 17, or the like.
  • the drawings can be line drawings, stipple drawings, graphics, or the like.
  • the line drawing can be used as the boundary line 18 by drawing a line drawing in the region of interest, based on the user's visual observation of the still image 19 .
  • a method may be adopted in which the positive points and/or negative points drawn by the user on the selected still image 97 displayed on the tablet 17 are analyzed by the positive point/negative point analysis unit 103 to generate the boundary line 18.
  • a positive point is a point determined by the user by viewing the still image 19 and drawn in the attention area.
  • a negative point is a point determined by the user's visual observation of the still image 19 and drawn in the non-attention area.
  • the touch panel 91 of the tablet 17 is provided with a DL setting button 92b for setting the boundary line 18.
  • a positive point selection button 122 By pressing the DL setting button 92b, a positive point selection button 122, a negative point selection button 123, a DL setting button 124, a correction button 125, a DL setting button 126, and a return button 122c are displayed.
  • the positive point selection button 122 is a button for registering positive points on the selected still image 97
  • the negative point selection button 123 is a button for registering negative points on the selected still image 97 .
  • the DL setting button 124 is a button for generating the boundary line 18 based on the registered positive points and/or negative line points.
  • a correction button 125 is a button for correcting the generated boundary line 18 .
  • the DL setting button 126 is a button for sending the generated boundary line 18 to the processor unit 14 and synchronously updating the selected still image 97 displayed on the display 15 .
  • the return button 122 c is a button for returning to the home screen of the tablet 17 . It should be noted that the image selection button 92a may be disabled when the DL setting button 92b is pressed to prevent erroneous operations.
  • pressing the positive point selection button 122 displays a positive point registration button 122a, a delete button 122b, and a return button 122c.
  • the positive point registration button 122 a is a button for registering positive points drawn on the selected still image 97 .
  • the delete button 122b is a button for deleting registered positive points.
  • the return button 122c is a button for returning to the screen one step before.
  • the positive point selection button 122 By pressing the positive point selection button 122 and touching the selected still image 97 with a finger or the touch pen 98 or the like, the positive point 127 can be drawn at the touched location. After drawing, this drawing is registered as a positive point 127 by pressing the positive point registration button 122a. Here, if the return button 122c is pressed, the screen returns to the screen for selecting either the positive point 127 or the negative point (see FIG. 14).
  • negative points are also drawn by operating in the same way.
  • a negative point registration button 123a is displayed.
  • a negative point 128 can be drawn at the touched location. After drawing, this drawing is registered as a negative point 128 by pressing the negative point registration button 123a.
  • the positive point/negative point analysis unit 103 generates the boundary line 18 by analyzing the positive points 127 and/or the negative points 128 . For example, between positive points 127 and negative points 128, boundary line 18 is generated. Therefore, it is preferable to draw a plurality of positive points 127 and negative points 128 . This is because there is a high possibility that the positive point/negative point analysis unit 103 will generate a more accurate boundary line 18 .
  • the high accuracy of the boundary line 18 means that the boundary between a lesion and a non-lesion in the observation target can be shown more accurately in response to changes over time, or that the boundary line 18 has high precision. Including showing more correctly in
  • the selected still image 97 displayed on the touch panel 91 can be moved by an on-screen operation such as dragging or pinching so that the user can easily determine the positive points 127 and/or the negative points 128 in the selected still image 97.
  • an on-screen operation such as dragging or pinching
  • the user can determine the selected still image 97 in detail by enlarging it, etc., and draw a plurality of positive points 127 and/or negative points 128 or finely draw them, thereby generating a more accurate boundary line 18 .
  • a biopsy may be performed in a portion of the region of interest, and positive points 127 and/or negative points 128 may be entered based on the location and results of the biopsy.
  • positive points 127 and/or negative points 128 may be entered based on the location and results of the biopsy.
  • the user presses the DL (Demarcation line) generation button 124 .
  • the boundary line 18 generated by the positive point/negative point analysis unit 103 is displayed on the selected still image 97 .
  • the boundary line setting unit 75 sets the generated boundary line 18 .
  • the user presses the DL setting button 126 when the user considers the generated boundary line 18 to be appropriate.
  • the boundary line 18 is set on the selected still image 97 .
  • the display of the positive points 127 and the negative points 128 disappears.
  • the return button 122 c When the work of setting the boundary line 18 is completed, the user presses the return button 122 c to return to the home screen of the tablet 17 .
  • the selected still image area 96 of the home screen displays a boundary line display image 129 in which the boundary line 18 set in the selected still image 97 is displayed.
  • the boundary line display image 129 is an image in which the boundary line 18 is displayed on the still image 19 .
  • the boundary correction unit 74 corrects the set boundary 18 and sets the corrected boundary 18 again. If the user thinks that the generated boundary 18 is not suitable, this boundary 18 can be modified to generate a suitable boundary 18 .
  • Correction includes a method of manually correcting the generated boundary line 18, a method of correcting based on the still image 19, a method of correcting based on the boundary line display image 129 acquired in the past, and the like.
  • Manual correction methods include a correction method by manually moving the generated boundary line 18 and a correction method by enlarging, reducing, or rotating the boundary line 18 .
  • the selected still image 97 which is the target still image 19 for generating the boundary line 18, for example, the difference or feature amount related to the color, shape, or surface layer mucous membrane structure of the observation target
  • a method in which the user designates the degree of atypicality can be used.
  • Boundary line 18 can be manually modified by pressing manual button 131 .
  • the boundary line 18 can be enlarged.
  • the border 18 can be reduced by pressing the reduce button.
  • a vertex 141 is displayed on the boundary line 18 .
  • the boundary line 18 can be moved by dragging the vertex 141 with a finger or a touch pen 98 or the like.
  • pressing the return button 134 returns to the previous screen.
  • the boundary correction unit 74 includes an atypical degree determination unit 142 .
  • the heteromorphic degree determination unit 142 determines the heteromorphic degree based on the still image 19 .
  • the degree of anomaly is determined based on the selected still image 97 which is the still image 19 from which the boundary line 18 is generated.
  • the determined degree of atypicality is represented by a numerical value. Therefore, in the selected still image 97 , regions can be divided according to the degree of anomaly according to the judgment of the degree of anomaly judgment section 142 .
  • a region with a high disease severity may have a reddish mucosal color than a region with a low severity.
  • the locally injected site has a shape that swells more than the surrounding area.
  • the anomalous degree determination unit 142 that determines the shape a portion with a shape that swells more than the surroundings is determined with a high degree of anomaly. The larger the shape of the bulge, the higher the degree of irregularity is given, and the smaller the shape of the bulge, the lower the degree of irregularity is given.
  • the user can determine to which range the boundary line 18 is to be modified by specifying the numerical value or numerical range of the degree of atypicality.
  • the degree of atypicality is divided into five stages from 1 to 5, depending on the numerical range.
  • FIG. 23(A) in the boundary line display image 129, the boundary line 18 is displayed in the region of interest, and the region 151 with the irregularity degree 1 and the region 152 with the irregularity degree 3 are around the boundary line 18. It exists and is displayed as a temporary line according to the user's instruction.
  • FIG. 23(B) when the user designates the degree of heterogeneity 3, the boundary line 18 is corrected to the area of the degree of heterogeneity 3 .
  • the degree of irregularity the user can easily and accurately correct the boundary line 18 to a desired one.
  • the following method can also be adopted in the method using the degree of atypicality.
  • the boundary line display image 129 acquired in the past has the boundary line 18 generated without using the irregularity, such as the boundary line 18 manually drawn by the user on the still image 19, first, the past The boundary line 18 is automatically generated for the boundary line display image 129 acquired in 1, and the degree of irregularity is determined. Then, it is examined to what numerical value the degree of irregularity corresponds to the automatically generated boundary line 18 line. Then, a boundary line 18 is generated for the newly obtained still image 19 based on the degree of anomaly examined above.
  • the boundary line display image 129 acquired in the past is read and aligned with the still image 19 acquired in the current inspection. Then, a method of reflecting the boundary line 18 on the still image 19, reading the still image 19 associated with the positive points and/or negative points acquired in the past, and aligning it with the still image 19 acquired in the current examination , a method of reflecting positive points and/or negative points on the still image 19, and the like.
  • the desired boundary line 18 when a preferable boundary line 18 has been generated in the past, the desired boundary line 18 can be corrected accurately and easily using the information of the past boundary line 18 in the same observation object. can do.
  • the boundary line 18 correction method as described above may be applied when the boundary line 18 is generated.
  • the boundary line 18 can be corrected easily and quickly with a high degree of freedom. Depending on the use of the boundary line 18 or the user's preference, there are cases where it is desired to display the boundary line 18 with a margin from the lesion, or to display the boundary line 18 just above the lesion. Since the generated boundary line 18 can be freely and easily modified on the spot, the boundary line 18 can be generated to meet various needs, which is preferable.
  • the drawing is preferably smoothed.
  • Smoothing processing is also called smoothing processing, and is processing for smoothing drawing.
  • By smoothing even the boundary line 18 drawn by hand can be made into a smooth boundary line 18 .
  • As a specific method there is a method of realizing by averaging the coordinates of the boundary line 18 drawn by handwriting or the feature amount as a whole or in part.
  • the user presses the DL setting button 126 if the generated boundary line 18 is considered appropriate.
  • the return button 122 c When the work of setting the boundary line 18 is completed, the user presses the return button 122 c to return to the home screen of the tablet 17 .
  • a boundary line display image 129 is displayed in the selected still image area 96 on the home screen of the tablet (see FIG. 19). In this case, the boundary line display image 129 is transmitted to the processor unit 14 by pressing the reflect to processor button 92c.
  • the boundary line display unit 76 displays the boundary line display image 129 on the display 15 .
  • the boundary line display image displayed in the selected still image area 96 of the tablet 17 is displayed.
  • 129 is displayed in the fixed display still image area 83 of the display 15 in synchronization with the display of the tablet 17 .
  • the display 15 preferably has a main screen and a sub-screen.
  • a live moving image area 82 which is the main screen, displays a moving image 82a of an endoscopic image under examination
  • a fixed display still image area 83 which is a sub screen, displays a border. It is preferable to display the line display image 129 .
  • two or more sub-screens are provided, and the boundary line display image 129 is displayed in the fixed display still image area 83, which is one of the sub-screens, and the temporary display still image area 81 (see FIG. 11) is displayed in the other sub-screen.
  • the still image 19 suitable for displaying the boundary line 18 can be easily and quickly selected, and the boundary line display image 129 displaying the boundary line 18 after the selection of the still image 19 can be displayed during inspection.
  • the display device is not limited to the display 15, nor is the number limited to one or two. Depending on the situation, the number of display devices, screens to be displayed, or the like can be set as appropriate.
  • boundary lines 18 may be displayed in the moving image 82a corresponding to the boundary lines 18 displayed in the boundary line display image 129.
  • each frame of the moving image 82a is aligned with the boundary line display image 129, and then the boundary line 18 is superimposed and displayed.
  • a frame is an endoscopic image obtained by one imaging.
  • the moving image 82a is, for example, 60 fps (frames per second).
  • the boundary line display image 129 is an image obtained by photographing an observation target in a range larger than the frame of the moving image 82a, that is, when the frame of the moving image 82a is included in the boundary line display image 129, the boundary line display image 129 A frame of the moving image 82a may be superimposed and displayed thereon.
  • the boundary line display image 129 is an image obtained by photographing an observation target within a range smaller than the frame of the moving image 82a, that is, when the boundary line display image 129 is included in the frame of the moving image 82a, the frame of the moving image 82a is displayed. A frame of the moving image 82a may be superimposed and displayed thereon.
  • whether or not to display the boundary line 18 on the moving image 82a may be controlled based on the user's instruction or the endoscopic image.
  • the display of the boundary line 18 may be controlled based on the endoscopic image. For example, when it is determined that the endoscope is moving by analyzing the endoscope image, control is performed so that the boundary line 18 is not automatically displayed, and detailed observation is made without the endoscope moving. If there is a region of interest in the observation target, control can be performed such that the boundary line 18 is automatically displayed. This can be beneficial because the border 18 is automatically displayed without user prompting.
  • the properly set boundary line 18 is displayed on the moving image 82a of the endoscopy. This is a useful aid when a physician needs to determine the perimeter 18 during diagnostics, ESD, or EMR or the like.
  • the boundary line 18 displayed in the boundary line display image 129 is updated and displayed each time the boundary line 18 is set.
  • the setting is performed not only when the boundary line 18 is generated, but also when the boundary line 18 is modified. Therefore, the medical image processing apparatus can newly set the boundary line 18 obtained by correcting the boundary line 18 displayed in the boundary line display image 129 as the boundary line 18 .
  • the medical image processing apparatus generates the boundary line display image 129 that displays the boundary line 18 set in the still image 19, and converts the boundary line display image 129 into the moving image 82a of the endoscopic image, which is a live moving image. is displayed on the display 15, and the boundary line 18 to be displayed is updated and displayed each time the boundary line 18 is set. Therefore, the boundary line 18 can be generated and displayed with higher accuracy. Further, since the boundary line 18 is set in the still image 19, even when the boundary line 18 is automatically generated and set, the troublesome problem of the boundary line 18 changing for each frame can be suppressed. In addition, since the still image 19 on which the boundary line 18 is displayed can be selected at any time, the boundary line 18 can be set to an appropriate still image 19 according to the scene. In addition, the setting is made each time the boundary line 18 is generated or modified, and the boundary line 18 is updated and displayed in the boundary line display image 129 each time the boundary line 18 is set. can be updated and displayed.
  • the boundary line 18 when the boundary line 18 is generated without using the tablet 17, it can be done as follows. During the examination, the still image 19 is acquired, and on the display 15, a moving image 82a of the endoscopic image under examination is displayed in the live moving image area 82 (see FIG. 11). As shown in FIG. 25, an instruction to generate a boundary line 18 is given from the keyboard 16, and a DL setting mode is set in which a boundary line setting screen 161 is displayed on the display 15.
  • FIG. 11 an instruction to generate a boundary line 18 is given from the keyboard 16, and a DL setting mode is set in which a boundary line setting screen 161 is displayed on the display 15.
  • the acquired still images 19 are displayed as thumbnails.
  • a still image 19 with a boundary line 18 set is selected from the thumbnails using an arrow key or the like on the keyboard 16 .
  • the selected still image 19 is displayed in the fixed display still image area 83 .
  • the DL setting button 163 is pressed.
  • the boundary line 18 is automatically generated.
  • the DL correction button 165 is pressed. Modifications are the same as described above.
  • the boundary line 18 is set, and the boundary line display image 129 that is the still image 19 with the boundary line 18 set is continuously displayed in the fixed display still image area 83 .
  • the return button 166 By pressing the return button 166, the DL setting mode is terminated and the home screen is displayed.
  • the generation, modification, setting, etc. of the boundary line 18 can be performed accurately and easily.
  • boundary line 18 is updated and displayed each time the boundary line 18 is set, updating of the boundary line 18 may be terminated based on the user's instruction or an endoscopic image. If no further update is required, such as when the boundary line 18 is fixed or when the display of the boundary line 18 is no longer necessary, the update can be terminated. As a result, it is possible to easily prevent the boundary line 18 from being continuously updated when updating is no longer necessary, thereby reducing the user's trouble.
  • step ST110 A series of flow of endoscopic image processing of this embodiment by the medical image processing apparatus will be described along the flowchart shown in FIG. Endoscopy is started and a still image 19 is acquired (step ST110).
  • the acquired still image 19 is transmitted to the tablet 17 each time it is acquired (step ST120).
  • step ST130 A thumbnail 93 of the still image 19 is displayed on the tablet 17 (step ST140).
  • the still image 19 for which the boundary line 18 is to be set is selected from the thumbnails 93 (step ST150).
  • the selected still image 19 is displayed in the fixed display still image area 83 of the display 15 and displayed in the selected still image area 96 of the tablet 17 (step ST160).
  • the DL setting button 92b is pressed to start setting the boundary line 18 (step ST170).
  • the positive point selection button 122 is pressed to draw the positive point 127 on the selected still image 97, and the positive point registration button 122a is pressed to register the positive point 127 (step ST180).
  • the negative point selection button 123 is pressed to draw a negative point on the selected still image 97, and the negative point registration button 123a is pressed to register the negative point 128 (step ST190).
  • pressing the DL generation button 124 generates the boundary line 18 on the selected still image 97 (step ST200).
  • the correction button 125 is pressed to correct the generated boundary line 18 (step ST210).
  • the reflection to processor button 92c is pressed to display the boundary line display image 129 in the fixed display still image area 83 of the display 15 (step ST220).
  • the present invention is applied to the case of processing endoscopic images.
  • the present invention can also be applied to image processing systems and the like.
  • part or all of the image processing unit 55 and/or the central control unit 58 of the endoscope system 10 may be connected directly from the endoscope system 10 or PACS (Picture (Archiving and Communication Systems) 22 can be provided in a diagnostic support device 610 that indirectly acquires images captured by the endoscope 12 .
  • PACS Picture (Archiving and Communication Systems) 22
  • part or all of the medical image processing section device 640 which is a device that performs the function of the medical image processing device portion of the endoscope system 10, may be directly from the endoscope system 10 or may (Picture Archiving and Communication Systems) 22 can be provided in a diagnostic support device 610 that acquires images captured by the endoscope 12 indirectly.
  • various inspection apparatuses including the endoscope system 10, such as a first inspection apparatus 621, a second inspection apparatus 622, .
  • the medical service support device 630 can be provided with part or all of the image processing unit 55 and/or the central control unit 58 of the endoscope system 10 or part or all of the medical image processing unit device 640 .
  • the hardware structure of a processing unit that executes various processes such as a central control unit (not shown) included is various processors as shown below.
  • Various processors include CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that run software (programs) and function as various processing units.
  • Programmable Logic Devices which are processors, dedicated electric circuits, which are processors with circuit configurations specially designed to perform various processes, and the like.
  • One processing unit may be composed of one of these various processors, or composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • endoscope system 12 endoscope 12a insertion portion 12b operation portion 12c bending portion 12d tip portion 12e angle knob 12f zoom operation portion 12g mode switching switch 12h forceps port 12i freeze switch 13 light source device 14 processor device 15 display 16 keyboard 17 tablet 18 boundary line 18a lesion area 18b non-lesion area 19 still image 20 light source unit 20a V-LED 20b B-LED 20c G-LED 20d R-LED 21 light source processor 22 PACS 30a illumination optical system 30b imaging optical system 41 light guide 42 illumination lens 43 objective lens 44 zoom lens 45 imaging sensor 46 CDS/AGC circuit 47 A/D converter 51 image acquisition unit 52 DSP 53 noise reduction unit 54 memory 55 image processing unit 56 display control unit 57 video signal generation unit 58 central control unit 61 normal image processing unit 62 special image processing unit 63 boundary line processing unit 71 still image storage unit 72 target image setting unit 73 boundary Line generation unit 74 Boundary line correction unit 75 Boundary line setting unit 76 Boundary line display unit 81 Temporary display still image area 82 Live moving image area

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

より高い精度で注目領域と非注目領域との境界の情報を提供する医療画像処理装置（１４、６４０）、内視鏡システム（１０）、及び医療画像処理装置（１４、６４０）の作動方法を提供する。　医療画像処理装置（１４、６４０）は、内視鏡画像の静止画像（１９）において被写体における注目領域と非注目領域との境界を示す境界線（１８）を設定し、境界線（１８）を静止画像（１９）に表示した境界線表示画像（１２９）を生成し、内視鏡画像の動画像（８２ａ）と境界線表示画像（１２９）とを表示装置（１５）に表示する制御を行う。境界線表示画像（１２９）に表示する境界線（１８）は、境界線（１８）の設定毎に更新して表示する。

Description

医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
　本発明は、医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法に関する。
　近年、内視鏡画像に適切な画像処理を施し、病変の鑑別等を行なうＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ）技術が実用化され、診断を支援する情報をユーザーに提供することが行われつつある。例えば、内視鏡画像にＣＡＤにより得られた病変の範囲を示すことができるようになった。
　内視鏡画像にＣＡＤにより得られた病変の範囲を示す際に、注目領域と非注目領域との境界の観察を妨げずに、図形により注目領域を報知する医療画像処置装置が知られている（特許文献１）。
国際公開第２０２０／０７５２５４号
　注目領域が病変である場合、内視鏡的粘膜下層剥離術（ＥＳＤ、Ｅｎｄｏｓｃｏｐｉｃ　Ｓｕｂｍｕｃｏｓａｌ　Ｄｉｓｓｅｃｔｉｏｎ）、又は、内視鏡的粘膜切除術（ＥＭＲ、Ｅｎｄｏｓｃｏｐｉｃ　Ｍｕｃｏｓａｌ　Ｒｅｓｅｃｔｉｏｎ）において、病変の境界線（デマルケーションライン）を識別して切除範囲を設定することが行われる。例えば、撮影の単位であるフレーム毎に病変の範囲を判断する方法では、時間の変化に伴い病変として表示される範囲も変化する。したがって、動画上では病変の境界線が刻一刻と変化することになり、正しい病変の範囲、すなわち高い精度での病変の境界線を判断することが難しい場合がある。
　本発明は、より高い精度で注目領域と非注目領域との境界の情報を提供する医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法を提供することを目的とする。
　本発明の医療画像処理装置は、プロセッサを備え、プロセッサは、内視鏡により被写体を撮影した内視鏡画像を取得し、内視鏡画像の静止画像において被写体における注目領域と非注目領域との境界を示す境界線を設定し、設定した境界線を静止画像に表示した境界線表示画像を生成し、内視鏡画像の動画像と境界線表示画像とを表示装置に表示する制御を行い、境界線表示画像に表示する境界線は、境界線の設定毎に更新して表示する。
　プロセッサは、静止画像に基づき境界線を検出して設定することが好ましい。
　表示装置は、第１表示装置及び第２表示装置とを含み、プロセッサは、静止画像及び／又は境界線表示画像を第１表示装置及び／又は医療画像処理装置に接続する小型端末が備える第２表示装置に表示する制御を行うことが好ましい。
　プロセッサは、静止画像を表示する場合に、表示した静止画像上にユーザが生成した描画に基づき境界線を設定することが好ましい。
　描画は、平滑化処理がなされたものであることが好ましい。
　描画は、ユーザの判定により静止画像の注目領域に生成した陽性点であることが好ましい。
　描画は、ユーザの判定により静止画像の非注目領域に生成した陰性点であることが好ましい。
　プロセッサは、静止画像を第２表示装置に表示する制御を行い、描画は、第２表示装置に表示された静止画像上に生成した描画であることが好ましい。
　プロセッサは、境界線表示画像に表示する境界線を修正して得られる境界線を、境界線として新たに設定することが好ましい。
　プロセッサは、境界線表示画像を第２表示装置に表示する制御を行うことが好ましい。
　プロセッサは、動画像を第１表示装置のメイン画面に表示し、かつ、境界線表示画像を第１表示装置のサブ画面に表示する制御を行うことが好ましい。
　プロセッサは、静止画像を第１表示装置のサブ画面に表示する制御を行なうことが好ましい。
　プロセッサは、境界線表示画像に表示される境界線に対応して、動画像に境界線を表示することが好ましい。
　プロセッサは、ユーザの指示又は内視鏡画像に基づいて、動画像への境界線の表示の有無を制御することが好ましい。
　プロセッサは、ユーザの指示又は内視鏡画像に基づいて、境界線の更新を終了することが好ましい。
　静止画像は、動画像と同じ検査において取得したものであるか、又は、動画像と異なる検査において取得したものであることが好ましい。
　また、本発明の内視鏡システムは、被写体を撮影する内視鏡と、表示装置と、医療画像処理装置とを備える。
　表示装置は、第１表示装置及び第２表示装置を備えることが好ましい。
　また、本発明の医療画像処理装置の作動方法は、内視鏡により被写体を撮影した内視鏡画像を取得するステップと、内視鏡画像の静止画像において被写体における注目領域と非注目領域との境界を示す境界線を設定するステップと、設定した境界線を静止画像に表示した境界線表示画像を生成するステップと、内視鏡画像の動画像と境界線表示画像とを表示装置に表示する制御を行うステップとを備え、境界線表示画像に表示する境界線は、境界線の設定毎に更新して表示する。
　本発明によれば、より高い精度で注目領域と非注目領域との境界の情報を提供することができる。
内視鏡システムの外観図である。 境界線を示す画像図である。 内視鏡システムの機能を示すブロック図である。 光源部が含む４色のＬＥＤを説明する説明図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 境界線処理部の機能を示すブロック図である。 静止画像を含むディスプレイの画像図である。 ホーム画面を含むタッチパネルの画像図である。 サムネイルを含むタッチパネルの画像図である。 選択静止画像を含むタッチパネルの画像図である。 選択静止画像を含むディスプレイの画像図である。 境界線生成部の機能を示すブロック図である。 学習モデルの機能を説明する説明図である。 ＤＬ設定ボタンを含むタッチパネルの画像図である。 陽性点登録ボタンを含むタッチパネルの画像図である。 陰性点登録ボタンを含むタッチパネルの画像図である。 生成した境界線を含むタッチパネルの画像図である。 境界線表示画像を含むタッチパネルの画像図である。 修正ボタンを含むタッチパネルの画像図である。 頂点が付された境界線を含むタッチパネルの画像図である。 移動した頂点及び境界線を含むタッチパネルの画像図である。 境界線修正部の機能を示すブロック図である。 異型度の表示を説明する説明図である。 境界線表示画像を含むディスプレイの画像図である。 ＤＬ設定モードにおけるディスプレイの画像図である。 サムネイルを含むディスプレイの画像図である。 医療画像処理装置による境界線設定の流れを説明するフローチャートである。 医療画像処理装置が診断支援装置に含まれる場合を説明する説明図である。 医療画像処理装置が医療業務支援装置に含まれる場合を説明する説明図である。
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、第１表示装置であるディスプレイ１５と、キーボード１６と、第２表示装置を備える小型端末であるタブレット１７とを有する。第２表示装置は、タッチパネルであることが好ましい。なお、表示装置とは、第１表示装置と第２表示装置とを含み、これらを区別しない場合を表す。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。プロセッサ装置１４は、医療画像処理装置としての機能を備える。タブレット１７は、プロセッサ装置１４と無線又は有線により接続される。
　なお、本実施形態では、医療画像は内視鏡画像である。内視鏡画像とは、被写体である内視鏡の観察対象を内視鏡で撮影して得た画像をいう。また、本実施形態では、プロセッサ装置１４が医療画像処理装置としての機能を備えるが、医療画像処理装置の機能を行う装置をプロセッサ装置１４と別個の装置としてもよい。また、各種接続は、有線に限らず無線であってもよく、また、ネットワークを介したものでもよい。したがって、医療画像処理装置の機能を、ネットワークを介して接続した外部装置が行なうようにしてもよい。
　内視鏡１２は、観察対象を有する被検者の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅ（図３参照）を操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）を設けている。処置具は、鉗子口１２ｈから鉗子チャンネル内に挿入する。また、送気、送水、又は吸引も、鉗子口１２ｈから行われる。
　操作部１２ｂは、アングルノブ１２ｅの他、撮像倍率を変更するためのズーム操作部１２ｆと、観察モードの切替操作に用いるモード切替スイッチ１２ｇと、静止画像を取得するためのフリーズスイッチ１２ｉとを有する。なお、観察モードの切替操作、ズーム操作、又は静止画取得操作は、モード切替スイッチ１２ｇ、ズーム操作部１２ｆ、又はフリーズスイッチの他、キーボード１６、又はフットスイッチ（図示しない）等を用いた操作又は指示としてもよい。
　内視鏡システム１０は、通常観察モードと、特殊観察モードとを備える。通常観察モードでは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの内視鏡画像である通常画像をディスプレイ１５上に表示する。特殊観察モードでは、白色光とは異なる特定のスペクトルを有する照明光を発して観察対象を撮影した内視鏡画像である特殊画像をディスプレイ１５上に表示する。通常観察モードと特殊観察モードとにおいて、それぞれ、観察支援モードを追加することができる。観察支援モードでは、内視鏡画像の動画像と、内視鏡画像の静止画像に注目領域と非注目領域との境界を示す境界線を表示した境界線静止画像とを、表示装置に表示する機能を行う。
　図２に示すように、境界線１８は、例えば、胃を撮影した内視鏡画像の静止画像１９において、注目領域である病変領域１８aと、非注目領域である非病変領域１８ｂとの境界を示した線である。通常閉曲線であり、ＥＳＤ又はＥＭＲにおいて、境界線１８を識別して切除ライン又は切除範囲を設定するために、境界線１８を正確に把握することが重要である。なお、図において、病変領域１８ａは網掛けで示す。
　観察支援モードに用いる内視鏡画像としては、通常画像又は特殊画像を用いる。なお、観察モードとして、通常画像と特殊画像とを自動で切り替えて取得するマルチ観察モード等を備えてもよい。マルチ観察モードにおいても、観察支援モードを追加することができ、観察支援モードを追加した場合においても、通常画像と特殊画像とを自動で切り替えて取得して用いることができる。
　プロセッサ装置１４は、ディスプレイ１５及びキーボード１６と電気的に接続される。ディスプレイ１５は、検査中に取得される内視鏡画像の動画像、静止画像１９、後に説明する境界線表示画像、及び／又は各種情報等を表示する。キーボード１６は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１４には、画像や画像情報などを保存する外付けのストレージ（図示しない）を接続してもよい。
　図３に示すように、光源装置１３は、観察対象に照射する照明光を発し、光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備える。光源部２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザダイオードと蛍光体との組み合わせ、又はキセノンランプやハロゲン光源で構成する。また、光源部２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源用プロセッサ２１は、各ＬＥＤ等のオン／オフや、各ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源用プロセッサ２１は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
　図４に示すように、本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。
　図５に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４１０±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。
　光源用プロセッサ２１は、特殊観察モードに設定されている場合には、例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせを変更させて、特定のスペクトルの照明光を発する。
　各ＬＥＤ２０ａ～２０ｅが発する光は、ミラーやレンズなどで構成される光路結合部（図示せず）を介して、ライトガイド４１に入射される。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１３及びプロセッサ装置１４を接続するコード）に内蔵されている。ライトガイド４１は、光路結合部からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４２を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及び撮像センサ４５を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４３及びズームレンズ４４を介して撮像センサ４５に入射する。これにより、撮像センサ４５に観察対象の像が結像する。ズームレンズ４４は、ズーム操作部１２ｆを操作することでテレ端とワイド端との間で自在に移動し、撮像センサ４５に結像する観察対象を拡大又は縮小する。
　撮像センサ４５は、画素毎にＲ（赤色）、Ｇ（緑色）、又はＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４５としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４５の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力される。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４５と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４５の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
　撮像センサ４５は、撮像制御部（図示せず）によって駆動制御される。中央制御部５８（図３参照）は、撮像制御部に同期して光源用プロセッサ２１を通して光源部２０の発光を制御することにより、通常観察モードでは、通常光で照明された観察対象を撮像するように制御する。これにより、撮像センサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。
　ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４５から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４７により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１４に入力される。
　プロセッサ装置１４には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１４においては、第１プロセッサである画像用プロセッサ等によって構成される中央制御部５８により、プログラム用メモリ内のプログラムが動作することによって、画像取得部５１と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、メモリ５４と、画像処理部５５と、表示制御部５６と、映像信号生成部５７と、中央制御部５８の機能が実現される。また、中央制御部５８は、内視鏡１２および光源装置１３からの情報を受信し、受信した情報に基いて、プロセッサ装置１４の各部の制御の他、内視鏡１２又は光源装置１３の制御を行う。また、キーボード１６からの指示などの情報も受信する。
　画像取得部５１は、内視鏡１２から入力される内視鏡画像のデジタル画像信号を取得する。画像取得部５１は、各照明光により照明された観察対象を撮影した画像信号をフレーム毎に取得する。なお、画像取得部５１は、所定の互いに異なるスペクトルの照明光により照明された観察対象を撮影して得られる内視鏡画像を取得してもよい。
　取得した画像信号はＤＳＰ５２に送信される。ＤＳＰ５２は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ低減部５３は、ＤＳＰ５２で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、メモリ５４に記憶する。
　画像処理部５５は、メモリ５４からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。画像処理部５５は、通常画像処理部６１と特殊画像処理部６２と境界線処理部６３を備える。
　画像処理部５５において、通常画像処理部６１は、通常観察モード及び観察支援モードでは、入力した１フレーム分のノイズ低減後の通常画像用の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常画像用の画像処理を施す。通常画像用の画像処理が施された画像信号は、表示制御部５６に入力する。
　特殊画像処理部６２は、特殊観察モードでは、入力した１フレーム分のノイズ低減後の特殊画像の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などのそれぞれ特殊画像用の画像処理を施す。特殊画像用の画像処理が施された画像信号は、特殊画像として、表示制御部５６に入力する。
　画像処理部５５が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常画像であり、観察モードが特殊観察モードの場合は特殊画像であり、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、画像処理部５５は、観察対象が自然な色合いになる上記各種信号処理を施して通常画像を生成する。特殊観察モードの場合、画像処理部５５は、例えば、観察対象の血管を強調する上記各種信号処理を施して特殊画像を生成する。
　表示制御部５６は、画像処理部５５が生成した内視鏡画像を受信し、中央制御部５８の制御に従って、ディスプレイ１５に表示するための制御を行なう。表示制御部５６において、表示するための制御が行われた内視鏡画像は、映像信号生成部５７において、ディスプレイ１５に表示するための映像信号に生成されて、ディスプレイ１５に送られる。ディスプレイ１５は、映像信号生成部５７から送られた内視鏡画像を、表示制御部５６の制御に従って表示する。
　境界線処理部６３は、観察支援モードにおいて機能する。したがって、境界線処理部６３は、通常画像処理部６１又は特殊画像処理部６２のそれぞれと合わせて動作する。観察支援モードにおいて、境界線処理部６３は、メモリ５４から内視鏡画像を取得し、内視鏡画像の静止画像１９において、被写体における注目領域と非注目領域との境界を示す境界線１８を設定する。そして、設定した境界線１８を静止画像１９に表示した境界線表示画像を作成し、境界線表示画像と内視鏡画像の動画像とをディスプレイ１５等の表示装置に表示する制御を行う。なお、境界線表示画像に表示する境界線１８は、境界線１８の設定毎に更新して表示される。
　図６に示すように、境界線処理部６３は、静止画保存部７１と、対象画像設定部７２と、境界線生成部７３と、境界線修正部７４と、境界線設定部７５と、境界線表示部７６とを備える。静止画保存部７１は、境界線を設定する対象の静止画像１９を保存する。対象画像設定部７２は、境界線を設定する対象の静止画像１９である選択静止画像を設定する。境界線生成部７３は、選択静止画像の境界線を生成する。境界線修正部７４は、場合により、生成した境界線を修正する。境界線設定部７５は、生成又は修正した境界線を設定し、境界線表示画像を作成する。境界線表示部７６は、境界線表示画像をディスプレイ１５等の表示装置に表示する。
　ユーザは、内視鏡操作部１２ｂのモード切替スイッチ１２ｇ（図２参照）等を操作して、観察支援モードを追加する切り替えを行って観察を行う。観察支援モードでは、取得した静止画像１９に境界線を設定した境界線表示画像を作成し、ディスプレイ１５等の表示装置の所定の位置に表示することができる。
　静止画像１９は、その時に行っている検査において取得したもの、又は、過去の検査において取得したものとすることができる。その時に行っている検査において取得したものは、動画像と同じ検査において取得したものであり、ユーザが検査において取得した静止画像１９から選択する。過去の検査において取得した静止画像１９は、静止画保存部７１に保存する静止画像１９を呼び出して用いることができる。過去の検査において取得した静止画像１９は、例えば、現在の検査における観察対象と同様の部位、もしくは同様の病変等の注目領域有する静止画像１９、又は、検査中の患者の部位と同じ部位の過去の静止画像１９等とすることができる。
　選択静止画像は、ディスプレイ１５に一つ又は複数の静止画像１９を表示させて、表示させた静止画像１９から選択して、選択静止画像としてもよいし、タブレット１７のタッチパネル９１に一つ又は複数の静止画像１９を表示させて、表示させた静止画像１９から選択して、選択静止画像としてもよい。タブレット１７のタッチパネル９１に表示する静止画像１９等は、プロセッサ装置１４を介して、ディスプレイ１５にも表示することができ、両者が表示する画像は同期することができる。
　本実施形態では、静止画像１９は、ユーザがフリーズスイッチ１２ｉ（図２参照）を操作することにより取得する。取得した静止画像１９は、静止画保存部７１に保存する。図７に示すように、静止画保存部７１に保存した静止画像１９は、ディスプレイ１５の一時表示静止画領域８１に、例えば、直近に取得した静止画像１９を３つ、撮影時刻順に並べて表示する。新たに静止画像１９を取得した場合は、一時表示静止画領域８１に表示する３つの静止画像１９のうち、最も撮影時刻が古い静止画像１９を削除し、代わりに新たに取得した静止画像１９が表示される。なお、ディスプレイ１５には、内視鏡画像の動画像８２ａを表示するライブ動画領域８２、及び選択静止画像又は境界線表示画像を表示する固定表示静止画領域８３を備える。選択静止画像は、境界線１８を設定する画像である。
　次に、対象画像設定部７２は、静止画保存部７１に保存した静止画像１９から選択された静止画像１９を選択静止画像として設定する。一時表示静止画領域８１に表示される３つの静止画像１９から、選択静止画像を選択して設定する方法としては、ディスプレイ１５に表示される一時表示静止画領域８１において、カーソル等で静止画像１９を１つ設定する方法、又は、タブレット１７を用いて設定する方法等が挙げられる。内視鏡を操作する者以外のものが操作可能であるか等、種々の状況により好ましい方法を選択できる。
　本実施形態では、タブレット１７を用いて選択静止画像を設定する。図８に示すように、タブレット１７のタッチパネル９１に表示されるホーム画面は、画像選択ボタン９２ａ、ＤＬ（Ｄｅｍａｒｃａｔｉｏｎ　ｌｉｎｅ）設定ボタン９２ｂ、及びプロセッサに反映ボタン９２ｃを備える。また、選択静止画像を表示する選択静止画領域９６を備える。画像選択ボタン９２ａは、選択静止画像を選択するためのボタンである。ＤＬ設定ボタン９２ｂは、境界線１８を設定するためのボタンである。プロセッサに反映ボタン９２ｃは、設定した境界線１８をプロセッサ装置１４に送り、ディスプレイ１５に表示させるためのボタンである。
　タブレット１７のタッチパネル９１のホーム画面において、画像選択ボタン９２を押下することにより、図９に示すように、タッチパネル９１の画面に、静止画保存部７１が保存する静止画像１９が、例えば、撮影時刻順に所定の枚数、サムネイル９３で表示される。なお、図においては、煩雑さを避けるため、符号は一部のみに付する場合がある。静止画像１９のサムネイル９３のうち１つのチェックボックス９４をタッチペン９８等でタッチすることにより、サムネイルの１つを選択する。その後、決定ボタン９５を押すことにより、選択したサムネイル９３の静止画像１９を選択静止画像として選択することができる。
　図１０に示すように、決定ボタン９５を押した後は、タブレット１７の画面がホーム画面に戻り、選択静止画領域９６には、選択した静止画像１９が選択静止画像９７として表示される。
　次に、タブレット１７のホーム画面に備えられるプロセッサに反映ボタン９２ｃを押すことにより、選択静止画像９７の情報が、プロセッサ装置１４に送られる。図１１に示すように、プロセッサ装置１４は、選択静止画像９７を、ディスプレイ１５の固定表示静止画領域８３に、継続して表示する。したがって、ディスプレイ１５では、現在の内視鏡の動画像８２ａをライブ動画領域８２に表示し、選択静止画像９７を固定表示静止画領域８３に継続して表示し、取得した静止画像１９のうち直近の３つを更新しながら一時表示静止画領域８１に表示する。
　次に、境界線生成部７３は、選択静止画像９７、すなわち、ディスプレイ１５の固定表示静止画領域８３に表示されている静止画像１９に基づき境界線１８を生成する。境界線１８を生成する方法としては、選択静止画像９７に基づき境界線１８を検出して生成する自動的な方法、又は、ユーザによる選択静止画像９７への描画により境界線１８を生成する手動を取り入れた方法等が挙げられる。
　図１２に示すように、境界線生成部７３は、境界線検出部１０１、描画検出部１０２、陽性点陰性点解析部１０３とを備える。境界線検出部１０１は、選択静止画像９７に基づき、選択静止画像９７の境界線１８を検出して、境界線１８を設定する。描画検出部１０２は、描画による境界線１８を検出して、境界線１８を設定する。陽性点陰性点解析部１０３は、ユーザの判定により選択静止画像９７の注目領域に生成した陽性点の描画、及び／又は、ユーザの判定により選択静止画像９７の非注目領域に生成した陰性点の描画を解析して境界線１８を検出し、検出した境界線１８を設定する。
　境界線検出部１０１は、選択静止画像９７において、境界線の情報が関連付けられていない場合は、選択静止画像９７に基づく算出により、自動で境界線を検出する。過去の検査の静止画像１９等、境界線の情報が関連付けられている場合は、境界線検出部１０１は、境界線の情報を読み取る。本実施形態では、検査中に取得した静止画像１９に基づく選択静止画像９７であるため、選択静止画像９７から境界線を検出する。境界線の検出方法としては、画像処理による方法、又は機械学習による学習モデルを用いる方法等を用いることができ、選択静止画像における境界線を検出することが可能であればいずれの方法を採用してもよい。
　画像処理を用いる方法としては、例えば、内視鏡所見による診断学を用いることができる。胃がんを診断するＶＳ　ｃｌａｓｓｉｆｉｃａｔｉｏｎの場合、内視鏡所見において、微小血管構築像（Ｖ：ｍｉｃｒｏｖａｓｃｕｌａｒ（ＭＶ）ａｒｃｈｉｔｅｃｔｕｒｅ）の基準（Ｒｅｇｕｌａｒ（規則的）、Ｉｒｒｅｇｕｌａｒ（不規則）、Ａｂｓｅｎｔ（欠如））、及び、表面微細構造（Ｓ：ｍｉｃｒｏｓｕｒｆａｃｅ（ＭＳ）ｓｔｒｕｃｔｕｒｅ）の基準（Ｒｅｇｕｌａｒ、Ｉｒｒｅｇｕｌａｒ、Ａｂｓｅｎｔ）のそれぞれを組合せて診断を行なう。例えば、ＶとＳとが両方とも「Ｒｅｇｕｌａｒ」である場合は、過形成ポリープでありがんではないと診断される。
　したがって、画像処理を用いる方法では、選択静止画像９７に基づいて、観察対象の腺管構造及び／又は血管構造を抽出し、これらの密度分布及び／又は形状分布を用いて、非連続点を算出する。非連続点は、エッジ検出などによって算出することができる。算出した非連続点を連結して閉曲線を生成する。境界線１８は、病変と非病変との境界であるため、この閉曲線を境界線１８とすることができる。
　機械学習を用いる方法としては、図１３に示すように、静止画像１９を入力した場合に、境界線１８を出力する学習モデル１１１を作成して用いることができる。選択静止画像９７は、静止画像１９であるため、学習モデル１１１は、選択静止画像９７を入力した場合、選択静止画像９７における境界線１８を出力する。
　学習モデル１１１は、教師あり学習、又は教師なし学習等によるものとすることができる。教師あり学習による学習モデル１１１は、静止画像１９に境界線１８に関する情報が関連付けられた学習用静止画像により学習して生成する。境界線１８に関する情報には、静止画像１９が境界線１８を含まないことが関連付けられたものも含む。学習後、境界線１８が既知である静止画像１９によりテストを行い、パラメータ等の各種調整を行う。調整後、境界線１８が未知である静止画像１９を入力した場合に正しく境界線１８が出力されるように、さらにパラメータ等の各種調整を行うことにより、学習モデル１１１を生成する。教師なし学習による学習モデル１１１では、クラスタリング等の機械学習の技術を用いることができる。
　なお、学習モデル１１１は、ニューラルネットワークモデルであることが好ましい。また、静止画像１９に基づいて境界線１８を検出する学習モデル１１１であることから、畳み込みニューラルネットワークであることが好ましい。したがって、学習モデル１１１は、境界線１８を出力する出力層と少なくとも１つの中間層とを有する層状構造を有することが好ましい。また、検出結果がより優れる可能性があることから、ディープラーニングモデルであることが好ましい。
　描画検出部１０２は、ユーザによる選択静止画像９７への描画により境界線１８を生成する。描画は、タッチパネル９１を有するタブレット１７で行うことが好ましい。選択静止画像９７が決定している場合、タブレット１７のタッチパネル９１に示されるホーム画面では、選択静止画領域９６に選択静止画像９７を表示する（図１０参照）。
　描画の方法として、ユーザがタブレット１７に表示される選択静止画像９７上に描画することによる方法等が挙げられる。描画は、線画、点画、又は図形等とすることができる。例えば、ユーザが静止画像１９を目視することにより判定し、注目領域に線画を描画することにより、この線画を境界線１８とすることができる。
　また、陽性点陰性点解析部１０３により、ユーザがタブレット１７に表示される選択静止画像９７上に描画した陽性点及び／又は陰性点を解析して境界線１８を生成する方法を採用することができる。陽性点とは、ユーザが静止画像１９を目視することにより判定し、注目領域に描画した点である。陰性点とは、ユーザが静止画像１９を目視することにより判定し、非注目領域に描画した点である。
　図１４に示すように、タブレット１７のタッチパネル９１には、境界線１８を設定するためのＤＬ設定ボタン９２ｂが備えられる。ＤＬ設定ボタン９２ｂを押すことにより、陽性点選択ボタン１２２、陰性点選択ボタン１２３、ＤＬ設定ボタン１２４、修正ボタン１２５、ＤＬ設定ボタン１２６、及び戻るボタン１２２cが表示される。陽性点選択ボタン１２２は、選択静止画像９７上に陽性点を登録するためのボタンであり、陰性点選択ボタン１２３は、選択静止画像９７上に陰性点を登録するためのボタンである。ＤＬ設定ボタン１２４は、登録した陽性点及び/又は陰線点に基づいて、境界線１８を生成するためのボタンである。修正ボタン１２５は、生成した境界線１８を修正するためのボタンである。ＤＬ設定ボタン１２６は、生成した境界線１８を、プロセッサ装置１４に送り、ディスプレイ１５に表示する選択静止画像９７を同期して更新するためのボタンである。戻るボタン１２２ｃは、タブレット１７のホーム画面に戻るためのボタンである。なお、ＤＬ設定ボタン９２ｂを押すと画像選択ボタン９２ａは押せなくなる等のように、誤操作を防ぐよう構成してもよい。
　図１５に示すように、タッチパネル９１に選択静止画像９７が表示されている場合に、陽性点選択ボタン１２２を押すと、陽性点登録ボタン１２２ａ、削除ボタン１２２ｂ、及び戻るボタン１２２ｃが表示される。陽性点登録ボタン１２２ａは、選択静止画像９７上に描画した陽性点を登録するためのボタンである。削除ボタン１２２ｂは、登録した陽性点を削除するためのボタンである。戻るボタン１２２ｃは、１段階前の画面に戻るためのボタンである。
　陽性点選択ボタン１２２を押すと、選択静止画像９７上を指又はタッチペン９８等でタッチすることにより、タッチした箇所に陽性点１２７を描画することができる。描画の後に、陽性点登録ボタン１２２ａを押すことにより、この描画が陽性点１２７として登録される。ここで、戻るボタンを１２２ｃを押下した場合は、陽性点１２７と陰性点とのどちらかを選択する画面に戻る（図１４参照）。
　図１６に示すように、陰性点も同様に操作することにより描画する。陰性点選択ボタン１２３を押すと、陰性点登録ボタン１２３ａが表示される。選択静止画像９７上をタッチすることにより、タッチした箇所に陰性点１２８を描画することができる。描画の後に、陰性点登録ボタン１２３ａを押すことにより、この描画が陰性点１２８として登録される。
　陽性点１２７及び陰性点１２８は、陽性点１２７のみ、陰性点１２８のみ、又は陽性点１２７及び陰性点１２８を、描画することができる。陽性点１２７及び陰性点１２８は、それぞれ１つ又は複数を描画することができる。陽性点陰性点解析部１０３は、陽性点１２７及び／又は陰性点１２８を解析することにより境界線１８を生成する。例えば、陽性点１２７と陰性点１２８との間に、境界線１８を生成する。したがって、陽性点１２７及び陰性点１２８は、複数描画することが好ましい。陽性点陰性点解析部１０３がより正確な境界線１８を生成する可能性が高いためである。
　また、画像処理又は機械学習等の技術と、陽性点１２７及び/又は陰性点１２８との情報とを組み合わせてもよい。したがって、陽性点１２７が１つ、又は陰性点１２８が１つ描画されている場合であっても、選択静止画像９７に基づく画像処理又は学習モデル１１１による解析と合わせることにより、高い精度の境界線１８を得ることができる。
　なお、境界線１８の精度が高いとは、例えば、注目領域が病変の場合、観察対象における病変と非病変との境目を、時間的な変化に対応してより正しく示すこと、又は、精密さにおいてより正しく示すこと等を含む。
　なお、ユーザが選択静止画像９７において陽性点１２７及び／又は陰性点１２８を判定しやすくなるよう、タッチパネル９１に表示される選択静止画像９７は、ドラッグ、又はピンチ等の画面上の操作により、移動又は拡大等が可能とされる。ユーザは、選択静止画像９７を拡大等により詳細に判定し、陽性点１２７及び／又は陰性点１２８を複数、又は細かく描画すること等により、より正確な境界線１８を生成することができる。
　また、内視鏡検査中に、注目領域の一部において生検を行い、生検の場所及びその結果に基づいて、陽性点１２７及び／又は陰性点１２８を入力してもよい。この場合は、陽性点１２７及び／又は陰性点１２８についてより正確な情報を入力することができるため、より正確な境界線１８を設定することができる。
　図１７に示すように、陽性点１２７及び／又は陰性点１２８を描画し終えた場合、ユーザは、ＤＬ（Ｄｅｍａｒｃａｔｉｏｎ　ｌｉｎｅ）生成ボタン１２４を押す。これにより、選択静止画像９７上に、陽性点陰性点解析部１０３が生成した境界線１８が表示される。
　次に、境界線設定部７５は、生成した境界線１８を設定する。本実施形態では、ユーザは、生成した境界線１８が適当であると考える場合には、ＤＬ設定ボタン１２６を押す。これにより、選択静止画像９７上に境界線１８が設定される。境界線１８が設定された場合、陽性点１２７と陰性点１２８との表示が消える。境界線１８設定の作業が完了した場合、ユーザは、戻るボタン１２２ｃを押して、タブレット１７のホーム画面に戻る。
　図１８に示すように、ホーム画面の選択静止画領域９６には、選択静止画像９７に設定した境界線１８が表示された境界線表示画像１２９が表示される。境界線表示画像１２９は、静止画像１９に境界線１８を表示した画像である。
　次に、境界線修正部７４は、設定した境界線１８を修正し、修正した境界線１８を改めて設定する。ユーザが、生成した境界線１８が適当ではないと考える場合には、この境界線１８を修正して、適当な境界線１８を生成することができる。
　修正は、生成した境界線１８を手動で修正する方法、静止画像１９に基づいて修正する方法、又は、過去に取得した境界線表示画像１２９に基づいて修正する方法等が挙げられる。手動で修正する方法としては、生成した境界線１８を手動で動かして修正する方法、境界線１８を拡大、縮小、又は回転することにより修正する方法等が挙げられる。静止画像１９に基づいて修正する方法としては、境界線１８を生成する対象の静止画像１９である選択静止画像９７において、例えば、観察対象の色、形状、又は表層粘膜構造に関する差異又は特徴量等を示す異型度を判定し、異型度により境界線１８を調整する場合において、ユーザが異型度を指定する方法等が挙げられる。
　生成した境界線１８を修正する場合は、修正ボタン１２５を押す。図１９に示すように、修正ボタン１２５を押すことにより、手動ボタン１３１、拡大ボタン１３２、縮小ボタン１３３、及び戻るボタン１３４が表示される。手動ボタン１３１を押すことにより、境界線１８を手動で修正することができる。拡大ボタン１３２を押すことにより、境界線１８を拡大することができる。同様に、縮小ボタンを押すことにより、境界線１８を縮小することができる。
　図２０に示すように、手動ボタン１３１を押した場合は、境界線１８上に頂点１４１が表示される。図２１に示すように、頂点１４１を指又はタッチペン９８等でドラッグすることにより、境界線１８を動かすことができる。境界線１８の修正が完了した場合、戻るボタン１３４を押すことにより、一つ前の画面に戻る。
　静止画像１９に基づいて、生成した境界線１８を修正する方法として、観察対象の色、形状、又は表層粘膜構造に関する差異又はその他の特徴量等を示す異型度を用いることができる。図２２に示すように、境界線修正部７４は、異型度判定部１４２を備える。異型度判定部１４２は、静止画像１９に基づいて異型度を判定する。本実施形態では、境界線１８を生成した静止画像１９である選択静止画像９７に基づいて、異型度を判定する。判定した異型度は、数値により表わす。したがって、選択静止画像９７において、異型度判定部１４２の判定により、異型度により領域を分けることができる。
　例えば、注目領域において、疾病の重症度が高い領域は、重症度が低い領域よりも粘膜の色において赤みが強い場合がある。また、選択静止画像９７の注目領域である病変部に、ＥＳＤのために局注を行う場合がある。局注された箇所は周囲よりも盛り上がる形状となっている。形状を判定する異型度判定部１４２の場合、周囲よりも盛り上がる形状の部分を高い異型度で判定する。盛り上がりの形状が大きいほど、高い異型度が付与され、盛り上がりの形状が小さいほど、低い異型度が付与される。したがって、生成した境界線１８を修正する場合、ユーザが異型度の数値又は数値範囲を指定することにより、どの範囲に境界線１８を修正するかを決定することができる。本実施形態の場合は、異型度は、数値範囲により、異型度１から５の５段階に分けられる。図２３（Ａ）に示すように、境界線表示画像１２９において、注目領域に境界線１８が表示されており、異型度１の領域１５１と、異型度３の領域１５２は境界線１８の周囲に存在しており、ユーザの指示により、仮の線として表示される。図２３（Ｂ）に示すように、ユーザが異型度３を指定した場合、境界線１８は異型度３の領域に境界線１８が修正される。ユーザは、異型度を指定することにより、精度良く容易に、所望の境界線１８に修正することができる。
　また、異型度を用いる方法では、次のような方法も採用することができる。例えば、過去に取得した境界線表示画像１２９が、ユーザが静止画像１９に手動で境界線１８を描画したものである等、異型度を用いずに生成した境界線１８を有する場合、まず、過去に取得した境界線表示画像１２９に対し、自動で境界線１８を生成させ、また、異型度を判定しておく。そして、自動で生成した境界線１８のラインが、異型度についてどの数値に相当するかを調べる。そして、新しく取得した静止画像１９に対して、上記にて調べた異型度により、境界線１８を生成する。
　また、過去に取得した境界線表示画像１２９に基づいて境界線１８を修正する方法としては、過去に取得した境界線表示画像１２９を読み込み、現在の検査において取得した静止画像１９に位置合わせをして、境界線１８を静止画像１９に反映する方法、過去に取得した陽性点及び／又は陰性点が関連付けられた静止画像１９を読み込み、現在の検査において取得した静止画像１９に位置合わせをして、陽性点及び／陰性点を静止画像１９に反映する方法等が挙げられる。
　以上の方法によれば、過去に好ましい境界線１８が生成されていた場合、同様の観察対象において、過去の境界線１８の情報を用いて、精度良く容易に、所望の境界線１８を生修正することができる。なお、上記したような境界線１８の修正方法は、境界線１８を生成する場合に適用してもよい。
　以上のように構成することにより、境界線１８の修正を、高い自由度で、容易に素早く行うことができる。境界線１８の用途、又は、ユーザの好み等により、境界線１８を病変からマージンをとって表示したり、病変のぎりぎりに表示したいという場合がある。生成した境界線１８の修正は、自由に、その場で容易に行うことができるため、様々な要望に適合した境界線１８を生成できるため好ましい。
　なお、描画に基づいて境界線１８を設定する場合、描画は、平滑化処理がなされたものであることが好ましい。平滑化処理とは、スムージング処理ともいい、描画を滑らかにする処理であり、具体的には、描画が階段状となっている部分を滑らかにつなぐような処理である。平滑化処理により、手書きの描画による境界線１８であっても、滑らかな境界線１８とすることができる。具体的な方法としては、手書きの描画による境界線１８の座標、又は特徴量を全体的又は部分的に平均化することにより実現する方法等が挙げられる。
　生成した境界線１８を修正した場合も、ユーザは、生成した境界線１８が適当となったと考える場合には、ＤＬ設定ボタン１２６を押す。境界線１８設定の作業が完了した場合、ユーザは、戻るボタン１２２ｃを押して、タブレット１７のホーム画面に戻る。タブレとのホーム画面には、境界線表示画像１２９が選択静止画領域９６に表示される（図１９参照）。この場合に、プロセッサに反映ボタン９２ｃを押すことにより、境界線表示画像１２９が、プロセッサ装置１４に送信される。
　次に、境界線表示部７６は、境界線表示画像１２９をディスプレイ１５に表示する。図２４に示すように、タブレット１７において、設定した境界線１８を表示した境界線表示画像１２９がプロセッサ装置１４に送信されると、タブレット１７の選択静止画領域９６に表示される境界線表示画像１２９が、ディスプレイ１５の固定表示静止画領域８３にタブレット１７の表示と同期して表示される。
　ディスプレイ１５は、メイン画面とサブ画面とを備えることが好ましい。例えば、メイン画面であるライブ動画領域８２（図１１参照）には検査中の内視鏡画像の動画像８２ａを表示し、サブ画面である固定表示静止画領域８３（図１１参照）には境界線表示画像１２９を表示することが好ましい。さらに、サブ画面を２つ以上備え、一方のサブ画面である固定表示静止画領域８３には境界線表示画像１２９を表示し、他方のサブ画面には一時表示静止画領域８１（図１１参照）として取得した静止画像１９を表示する。したがって、境界線１８を表示するのに適切な静止画像１９の選択が容易にかつ迅速に行うことができ、静止画像１９を選択した後に境界線１８を表示した境界線表示画像１２９を、検査中の内視鏡画像と比較しながら見ることができる。なお、表示装置は、ディスプレイ１５に限られるものではないし、個数も１つ又は２つに限られるものでもない。場合により、表示装置の数、又は表示する画面等は、適宜設定可能である。
　なお、境界線表示画像１２９に表示される境界線１８に対応して、動画像８２ａに境界線１８を表示してもよい。動画像８２ａに境界線１８を表示する場合は、動画像８２ａのそれぞれのフレームに対し、境界線表示画像１２９と位置合わせ等を行った上で、境界線１８を重畳して表示する。フレームとは、１回の撮影により得られる内視鏡画像をいう。動画像８２ａは、例えば、６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）である。
　境界線表示画像１２９を動画像８２ａのフレームに合わせて、拡大、縮小、又は回転を行った上で、境界線表示画像１２９を動画像８２ａのフレームに重畳することが好ましい。また、境界線表示画像１２９が動画像８２ａのフレームより大きい範囲の観察対象を撮影した画像である場合、すなわち、動画像８２ａのフレームが境界線表示画像１２９に含まれる場合、境界線表示画像１２９上に動画像８２ａのフレームを重畳して表示してもよい。一方、境界線表示画像１２９が動画像８２ａのフレームより小さい範囲の観察対象を撮影した画像である場合、すなわち、境界線表示画像１２９が動画像８２ａのフレームに含まれる場合、動画像８２ａのフレーム上に動画像８２ａのフレームを重畳して表示してもよい。
　なお、ユーザの指示又は内視鏡画像に基づいて、動画像８２ａへの境界線１８の表示の有無を制御してもよい。動画像８２ａにおいて境界線１８の表示を自由に制御することにより、ユーザの希望に合わせて、動画像８２ａにおける境界線１８の表示を行うことができる。境界線１８の表示の制御は、内視鏡画像に基づいて行ってもよい。例えば、内視鏡画像を解析することにより、内視鏡が動いていると判断される場合は、境界線１８を自動的に表示しないように制御し、内視鏡が動かずに詳細に観察しており、観察対象に注目領域が存在する場合は、境界線１８を自動的に表示する等のように制御することができる。これにより、ユーザの指示がされなくても、境界線１８が自動的に表示されるため、有益な場合がある。
　境界線表示画像１２９に表示される境界線１８に対応して動画像８２ａに境界線１８を表示することにより、内視鏡検査の動画像８２ａに、適切に設定された境界線１８を表示することができるため、医師が診断、ＥＳＤ、又はＥＭＲ等の際に、境界線１８を判定する必要がある場合に有用な支援となる。
　境界線表示画像１２９において表示する境界線１８は、境界線１８の設定毎に更新して表示される。設定は、境界線１８を生成する他、境界線１８を修正する場合にも行われる。したがって、医療画像処理装置は、境界線表示画像１２９に表示する境界線１８を修正して得られる境界線１８を、境界線１８として新たに設定することができる。
　以上のように、医療画像処理装置は、静止画像１９に設定した境界線１８を表示した境界線表示画像１２９を生成し、境界線表示画像１２９をライブ動画である内視鏡画像の動画像８２ａとディスプレイ１５に表示し、表示する境界線１８は、境界線１８の設定毎に更新して表示するように構成したことから、より精度が高い境界線１８を生成して表示することができる。また、静止画像１９において境界線１８を設定することから、自動で境界線１８を生成して設定する場合であっても、境界線１８がフレーム毎に変化して煩わしいという問題が抑えられる。また、境界線１８を表示する静止画像１９は随時選択が可能であるため、場面に応じて適切な静止画像１９に境界線１８を設定することができる。また、設定は、境界線１８の生成又は修正のたびに設定がなされ、境界線１８の設定毎に境界線表示画像１２９において境界線１８を更新して表示することから、より適切な境界線１８を更新して表示することができる。
　なお、タブレット１７を用いることなしに、境界線１８を生成する場合は、以下のようにして行うことができる。検査中に、静止画像１９を取得し、ディスプレイ１５において、ライブ動画領域８２（図１１参照）には検査中の内視鏡画像の動画像８２ａを表示する。図２５に示すように、キーボード１６から境界線１８を生成する指示を行い、ディスプレイ１５に境界線設定画面１６１が表示されるＤＬ設定モードとする。
　図２６に示すように、ＤＬ設定モードにおいて、画像選択ボタン１６２を押すと、取得した静止画像１９がサムネイル表示される。キーボード１６の矢印キー等で、境界線１８を設定した静止画像１９をサムネイルから選択する。静止画像１９を選択した場合、固定表示静止画領域８３に、選択した静止画像１９が表示される。固定表示静止画領域８３に表示された静止画像１９に境界線１８を設定する場合、ＤＬ設定ボタン１６３を押す。ＤＬ設定ボタン１６３を押すことにより、自動で境界線１８が生成される。生成された境界線１８を修正する場合は、ＤＬ修正ボタン１６５を押す。修正については、上記したのと同様である。境界線１８の生成が完了した場合、矢印キーで決定ボタンを選択して押す。決定ボタン１６４が押された後、境界線１８が設定され、固定表示静止画領域８３に、境界線１８が設定された静止画像１９である境界線表示画像１２９が継続して表示される。戻るボタン１６６を押すことによりＤＬ設定モードが終了し、ホーム画面に戻る。
　以上のように、タブレット１７を用いずとも、境界線１８の生成、修正、及び設定等を、精度良く容易に行うことができる。
　なお、境界線１８の設定毎に境界線１８を更新して表示するが、ユーザの指示又は内視鏡画像に基づいて、境界線１８の更新を終了してもよい。境界線１８が確定した場合、又は、境界線１８の表示が必要無くなった場合等、それ以上の更新が必要ない場合には、更新を終了することができる。これにより、更新が必要なくなった場合に、容易に、境界線１８が更新され続けないようにすることができるため、ユーザの手間を軽減することができる。
　医療画像処理装置による本実施形態の内視鏡画像の処理の一連の流れについて、図２７に示すフローチャートに沿って説明を行う。内視鏡検査を始め、静止画像１９を取得する（ステップＳＴ１１０）。取得した静止画像１９は、取得毎にタブレット１７に送信される（ステップＳＴ１２０）。ディスプレイ１５に、最新の静止画像１９を３つ表示させ、静止画像１９の表示を更新しながら内視鏡検査を続け、境界線１８を設定したい場合は、タブレット１７において、画像選択ボタン９２ａを押下する（ステップＳＴ１３０）。タブレット１７には静止画像１９のサムネイル９３が表示される（ステップＳＴ１４０）。タブレット１７において、サムネイル９３から境界線１８を設定したい静止画像１９を選択する（ステップＳＴ１５０）。選択した静止画像１９は、ディスプレイ１５の固定表示静止画領域８３に表示され、タブレット１７の選択静止画領域９６に表示される（ステップＳＴ１６０）。タブレット１７において、ＤＬ設定ボタン９２ｂを押して、境界線１８の設定を開始する（ステップＳＴ１７０）。タブレット１７において、陽性点選択ボタン１２２を押して、選択静止画像９７に陽性点１２７を描画し、陽性点登録ボタン１２２ａを押して、陽性点１２７を登録する（ステップＳＴ１８０）。タブレット１７において、陰性点選択ボタン１２３を押して、選択静止画像９７に陰性点を描画し、陰性点登録ボタン１２３ａを押して、陰性点１２８を登録する（ステップＳＴ１９０）。陽性点１２７及び陰性点１２８の登録が完了した場合、ＤＬ生成ボタン１２４を押すと、選択静止画像９７上に境界線１８が生成される（ステップＳＴ２００）。修正ボタン１２５を押して、生成された境界線１８を修正する（ステップＳＴ２１０）。境界線１８の修正が完了し、境界線表示画像１２９が生成されたら、プロセッサに反映ボタン９２ｃを押して、ディスプレイ１５の固定表示静止画領域８３に境界線表示画像１２９を表示する（ステップＳＴ２２０）。
　なお、上記実施形態では、内視鏡画像の処理を行う場合に対して本発明の適用を行っているが、内視鏡画像以外の医療画像を処理するプロセッサ装置、医療画像処理装置、又は医療画像処理システム等に対しても本発明の適用は可能である。
　なお、図２８に示すように、内視鏡システム１０のうち画像処理部５５及び／又は中央制御部５８の一部又は全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）２２から間接的に、内視鏡１２で撮像した画像を取得する診断支援装置６１０に設けることができる。同様に、内視鏡システム１０のうち医療画像処理装置の部分の機能を行う装置である医療画像処理部装置６４０の一部又は全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）２２から間接的に、内視鏡１２で撮像した画像を取得する診断支援装置６１０に設けることができる。
　また、図２９に示すように、内視鏡システム１０を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６２３等の各種検査装置と、ネットワーク６２６を介して接続する医療業務支援装置６３０に、内視鏡システム１０のうち画像処理部５５及び／又は中央制御部５８の一部又は全部、又は、医療画像処理部装置６４０の一部または全部を設けることができる。
　上記実施形態において、プロセッサ装置１４に含まれる中央制御部５８、画像取得部５１、ＤＳＰ５２、ノイズ低減部５３、画像処理部５５、表示制御部５６、及び映像信号生成部５７、並びに、タブレット１７に含まれる中央制御部（図示せず）といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　ズーム操作部
１２ｇ　モード切替スイッチ
１２ｈ　鉗子口
１２ｉ　フリーズスイッチ
１３　光源装置
１４　プロセッサ装置
１５　ディスプレイ
１６　キーボード
１７　タブレット
１８　境界線
１８ａ　病変領域
１８ｂ　非病変領域
１９　静止画像
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源用プロセッサ
２２　ＰＡＣＳ
３０ａ　照明光学系
３０ｂ　撮像光学系
４１　ライトガイド
４２　照明レンズ
４３　対物レンズ
４４　ズームレンズ
４５　撮像センサ
４６　ＣＤＳ／ＡＧＣ回路
４７　Ａ／Ｄコンバータ
５１　画像取得部
５２　ＤＳＰ
５３　ノイズ低減部
５４　メモリ
５５　画像処理部
５６　表示制御部
５７　映像信号生成部
５８　中央制御部
６１　通常画像処理部
６２　特殊画像処理部
６３　境界線処理部
７１　静止画保存部
７２　対象画像設定部
７３　境界線生成部
７４　境界線修正部
７５　境界線設定部
７６　境界線表示部
８１　一時表示静止画領域
８２　ライブ動画領域
８２ａ　動画像
８３　固定表示静止画領域
９１　タッチパネル
９２ａ、１６２　画像選択ボタン
９２ｂ、１２６、１６３　ＤＬ設定ボタン
９２ｃ　プロセッサに反映ボタン
９３　サムネイル
９４　チェックボックス
９５、１６４　決定ボタン
９６　選択静止画領域
９７　選択静止画像
９８　タッチペン
１０１　境界線検出部
１０２　描画検出部
１０３　陽性点陰性点解析部
１１１　学習モデル
１２２　陽性点選択ボタン
１２２ａ　陽性点登録ボタン
１２２ｂ　削除ボタン
１２２ｃ、１３４、１６６　戻るボタン
１２３　陰性点選択ボタン
１２３ａ　陰性点登録ボタン
１２４　ＤＬ生成ボタン
１２５　修正ボタン
１２７　陽性点
１２８　陰性点
１２９　境界線表示画像
１３１　手動ボタン
１３２　拡大ボタン
１３３　縮小ボタン
１４１　頂点
１４２　異型度判定部
１５１　異型度１の領域
１５２　異型度３の領域
１６１　境界線設定画面
１６５　ＤＬ修正ボタン
６１０　診断支援装置
６２１　第１検査装置
６２２　第２検査装置
６２３　第Ｎ検査装置
６２６　ネットワーク
６３０　医療業務支援装置
６４０　医療画像処理部装置
ＳＴ１１０～ＳＴ２２０　ステップ
 

Claims (19)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　内視鏡により被写体を撮影した内視鏡画像を取得し、
    　前記内視鏡画像の静止画像において前記被写体における注目領域と非注目領域との境界を示す境界線を設定し、
    　設定した前記境界線を前記静止画像に表示した境界線表示画像を生成し、
    　前記内視鏡画像の動画像と前記境界線表示画像とを表示装置に表示する制御を行い、
    　前記境界線表示画像に表示する前記境界線は、前記境界線の設定毎に更新して表示する医療画像処理装置。
  2. 　前記プロセッサは、前記静止画像に基づき前記境界線を検出して設定する請求項１に記載の医療画像処理装置。
  3. 　前記表示装置は、第１表示装置及び第２表示装置とを含み、
    　前記プロセッサは、前記静止画像及び／又は前記境界線表示画像を前記第１表示装置及び／又は前記医療画像処理装置に接続する小型端末が備える前記第２表示装置に表示する制御を行う請求項１又は２に記載の医療画像処理装置。
  4. 　前記プロセッサは、前記静止画像を表示する場合に、表示した前記静止画像上にユーザが生成した描画に基づき前記境界線を設定する請求項３に記載の医療画像処理装置。
  5. 　前記描画は、平滑化処理がなされたものである請求項４に記載の医療画像処理装置。
  6. 　前記描画は、前記ユーザの判定により前記静止画像の前記注目領域に生成した陽性点である請求項４に記載の医療画像処理装置。
  7. 　前記描画は、前記ユーザの判定により前記静止画像の前記非注目領域に生成した陰性点である請求項４又は６に記載の医療画像処理装置。
  8. 　前記プロセッサは、前記静止画像を前記第２表示装置に表示する制御を行い、
    　前記描画は、前記第２表示装置に表示された前記静止画像上に生成した前記描画である請求項４ないし７のいずれか１項に記載の医療画像処理装置。
  9. 　前記プロセッサは、前記境界線表示画像に表示する前記境界線を修正して得られる前記境界線を、前記境界線として新たに設定する請求項１ないし８のいずれか１項に記載の医療画像処理装置。
  10. 　前記プロセッサは、前記境界線表示画像を前記第２表示装置に表示する制御を行う請求項３ないし９のいずれか１項に記載の医療画像処理装置。
  11. 　前記プロセッサは、前記動画像を前記第１表示装置のメイン画面に表示し、かつ、前記境界線表示画像を前記第１表示装置のサブ画面に表示する制御を行う請求項３ないし１０のいずれか１項に記載の医療画像処理装置。
  12. 　前記プロセッサは、前記静止画像を前記第１表示装置のサブ画面に表示する制御を行なう請求項３ないし１１のいずれか１項に記載の医療画像処理装置。
  13. 　前記プロセッサは、前記境界線表示画像に表示される前記境界線に対応して、前記動画像に前記境界線を表示する請求項１ないし１２のいずれか１項に記載の医療画像処理装置。
  14. 　前記プロセッサは、ユーザの指示又は前記内視鏡画像に基づいて、前記動画像への前記境界線の表示の有無を制御する請求項１３に記載の医療画像処理装置。
  15. 　前記プロセッサは、ユーザの指示又は前記内視鏡画像に基づいて、前記境界線の更新を終了する請求項１ないし１４のいずれか１項に記載の医療画像処理装置。
  16. 　前記静止画像は、前記動画像と同じ検査において取得したものであるか、又は、前記動画像と異なる検査において取得したものである請求項１ないし１５のいずれか１項に記載の医療画像処理装置。
  17. 　前記被写体を撮影する内視鏡と、
    　前記表示装置と、
    　請求項１ないし１６のいずれか１項に記載の医療画像処理装置とを備える内視鏡システム。
  18. 　前記表示装置は、第１表示装置及び第２表示装置を備える請求項１７に記載の内視鏡システム。
  19. 　内視鏡により被写体を撮影した内視鏡画像を取得するステップと、
    　前記内視鏡画像の静止画像において前記被写体における注目領域と非注目領域との境界を示す境界線を設定するステップと、
    　設定した前記境界線を前記静止画像に表示した境界線表示画像を生成するステップと、
    　前記内視鏡画像の動画像と前記境界線表示画像とを表示装置に表示する制御を行うステップとを備え、
    　前記境界線表示画像に表示する前記境界線は、前記境界線の設定毎に更新して表示する医療画像処理装置の作動方法。
     
PCT/JP2022/018434 2021-06-16 2022-04-21 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 WO2022264688A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280042699.0A CN117500426A (zh) 2021-06-16 2022-04-21 医疗图像处理装置、内窥镜***及医疗图像处理装置的工作方法
EP22824683.1A EP4356813A1 (en) 2021-06-16 2022-04-21 Medical image processing device, endoscope system, and operation method for medical image processing device
JP2023529653A JPWO2022264688A1 (ja) 2021-06-16 2022-04-21
US18/537,762 US20240108198A1 (en) 2021-06-16 2023-12-12 Medical image processing device, endoscope system, and operation method of medical image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-100526 2021-06-16
JP2021100526 2021-06-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/537,762 Continuation US20240108198A1 (en) 2021-06-16 2023-12-12 Medical image processing device, endoscope system, and operation method of medical image processing device

Publications (1)

Publication Number Publication Date
WO2022264688A1 true WO2022264688A1 (ja) 2022-12-22

Family

ID=84527092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018434 WO2022264688A1 (ja) 2021-06-16 2022-04-21 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Country Status (5)

Country Link
US (1) US20240108198A1 (ja)
EP (1) EP4356813A1 (ja)
JP (1) JPWO2022264688A1 (ja)
CN (1) CN117500426A (ja)
WO (1) WO2022264688A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262371A (ja) * 1994-03-17 1995-10-13 Fujitsu Ltd 分散型画像処理装置
JP2001137206A (ja) * 1999-09-21 2001-05-22 Biosense Inc 心臓の腔の状態を心内膜的に検査するための方法と装置
WO2020075254A1 (ja) 2018-10-11 2020-04-16 オリンパス株式会社 内視鏡システム及び表示画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262371A (ja) * 1994-03-17 1995-10-13 Fujitsu Ltd 分散型画像処理装置
JP2001137206A (ja) * 1999-09-21 2001-05-22 Biosense Inc 心臓の腔の状態を心内膜的に検査するための方法と装置
WO2020075254A1 (ja) 2018-10-11 2020-04-16 オリンパス株式会社 内視鏡システム及び表示画像生成方法

Also Published As

Publication number Publication date
CN117500426A (zh) 2024-02-02
JPWO2022264688A1 (ja) 2022-12-22
US20240108198A1 (en) 2024-04-04
EP4356813A1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
US11526986B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
US20210153730A1 (en) Endoscope system
JP6889282B2 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2020065685A (ja) 内視鏡システム
JP7386347B2 (ja) 内視鏡システム及びその作動方法
JP7389257B2 (ja) 内視鏡システム及びその作動方法
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
WO2022264688A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US20220338717A1 (en) Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program
EP4183311A1 (en) Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device
JP7214886B2 (ja) 画像処理装置及びその作動方法
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7076535B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7508559B2 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
WO2021176852A1 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
JP7411515B2 (ja) 内視鏡システム及びその作動方法
EP4095802A1 (en) Medical image processing device, endoscope system, and medical image processing device operation method
CN113747825A (zh) 电子内窥镜***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824683

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529653

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280042699.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022824683

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022824683

Country of ref document: EP

Effective date: 20240116