WO2024042895A1 - 画像処理装置、内視鏡、画像処理方法、及びプログラム - Google Patents

画像処理装置、内視鏡、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2024042895A1
WO2024042895A1 PCT/JP2023/025603 JP2023025603W WO2024042895A1 WO 2024042895 A1 WO2024042895 A1 WO 2024042895A1 JP 2023025603 W JP2023025603 W JP 2023025603W WO 2024042895 A1 WO2024042895 A1 WO 2024042895A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
region
endoscope
interest
image processing
Prior art date
Application number
PCT/JP2023/025603
Other languages
English (en)
French (fr)
Inventor
美沙紀 後藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024042895A1 publication Critical patent/WO2024042895A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the technology of the present disclosure relates to an image processing device, an endoscope, an image processing method, and a program.
  • JP 2017-099509A discloses an endoscope processing device.
  • An endoscopic image captured by an endoscope inside a patient's body is input to the endoscope processing device as a moving image.
  • the treatment implementation detection unit included in the endoscope processing device uses image recognition to detect treatment instruments used in endoscopy from frame images included in endoscopic video images, and detects the treatment instruments based on the detected treatment instruments. Detect actions being taken. Further, the treatment implementation detection unit periodically searches for a treatment tool from within the frame image by image recognition.
  • Japanese Patent Application Publication No. 2017-006337 discloses a detection unit that detects an event in the living body based on a temporal change in temperature at or around the surgical site, and a detection unit that detects an event in the living body based on a temporal change in temperature at or around the surgical site, and A medical support device is disclosed that includes a notification information generation unit that generates notification information for notification.
  • the detection unit detects an event in the living body based on a temporal change in a temperature distribution image at or around the surgical site. Further, the detection unit detects a condition that requires a warning as an in-vivo event based on a temporal change in the temperature distribution image, and the notification information generation unit generates a warning image that issues a warning regarding the condition.
  • One embodiment of the technology of the present disclosure provides an image that allows state changes in an observation target region to be detected with higher accuracy than when detecting state changes in an observation target region using only a single medical image.
  • the Company provides processing devices, endoscopes, image processing methods, and programs.
  • a first aspect of the technology of the present disclosure includes a processor, the processor acquires a plurality of medical images in chronological order that include an observation target area, and performs image recognition processing on the plurality of medical images.
  • This is an image processing device that detects changes in the state of an observation target area.
  • a second aspect of the technology of the present disclosure is the image processing according to the first aspect, in which the state change includes a change in adhesive color, a change in mucous membrane state including mucous membrane structure, and/or a change in mucus adhesion state. It is a device.
  • a third aspect of the technology of the present disclosure is that when a plurality of medical images are generated by an endoscope, the processor performs image recognition processing based on the operation of the endoscope.
  • An image processing device according to an aspect of the present invention.
  • a fourth aspect of the technology of the present disclosure is the image processing apparatus according to any one of the first to third aspects, wherein the processor performs image recognition processing based on a given medical instruction. be.
  • a fifth aspect of the technology of the present disclosure is the fourth aspect of the first aspect, wherein the processor acquires region of interest information regarding a region of interest included in the observation target region, and performs image recognition processing based on the region of interest information.
  • An image processing device according to any one of the embodiments.
  • a sixth aspect of the technology of the present disclosure is based on the first to fifth aspects, wherein the processor acquires part information regarding a part corresponding to the observation target area and performs image recognition processing based on the part information.
  • This is an image processing device.
  • a seventh aspect of the technology of the present disclosure is an image processing device according to any one of the first to sixth aspects, in which the processor starts image recognition processing when the first condition is satisfied. It is.
  • An eighth aspect of the technology of the present disclosure is that when a plurality of medical images are generated by an endoscope, the first condition is that the distal end of the endoscope is stationary, or the moving speed of the distal end is
  • This is an image processing apparatus according to a seventh aspect, including a condition that the image quality has decreased.
  • a ninth aspect according to the technology of the present disclosure is the image processing device according to the seventh aspect or the eighth aspect, in which the first condition includes a condition that an instruction to start image recognition processing has been given.
  • a tenth aspect according to the technology of the present disclosure is according to any one of the seventh to ninth aspects, wherein the first condition includes a condition that the region of interest is included in the observation target region. It is an image processing device.
  • An eleventh aspect according to the technology of the present disclosure is any one of the seventh to tenth aspects, wherein the first condition includes a condition that the region corresponding to the observation target region is a region designated as an observation target.
  • An image processing device according to one aspect.
  • a twelfth aspect of the technology of the present disclosure is the image processing device according to any one of the first to eleventh aspects, wherein the processor ends the image recognition process when the second condition is satisfied. It is.
  • a thirteenth aspect according to the technology of the present disclosure is the image processing device according to the twelfth aspect, wherein the processor erases the first information that is information based on image recognition processing when the second condition is satisfied. .
  • a fourteenth aspect of the technology of the present disclosure is that the first information is retained from the start to the end of the image recognition process, and the processor erases the first information when the image recognition process ends.
  • an image processing apparatus according to a thirteenth aspect.
  • a fifteenth aspect of the technology of the present disclosure is that when a plurality of medical images are generated by an endoscope, the second condition is a condition that the distal end of the endoscope has started, or a moving speed of the distal end.
  • the image processing apparatus according to any one of the twelfth to fourteenth aspects, including the condition that the number of images increases.
  • a 16th aspect according to the technology of the present disclosure is according to any one of the 12th to 15th aspects, wherein the second condition includes a condition that an instruction to end the image recognition process has been given. It is an image processing device.
  • a seventeenth aspect according to the technology of the present disclosure is according to any one of the twelfth to sixteenth aspects, wherein the second condition includes a condition that the region of interest is not included in the observation target region. It is an image processing device.
  • An 18th aspect according to the technology of the present disclosure is the 12th aspect to the 17th aspect, wherein the second condition includes a condition that the region corresponding to the observation target region is a region different from the region designated as the observation target.
  • An image processing device according to any one of the embodiments.
  • a nineteenth aspect according to the technology of the present disclosure is the eighteenth aspect from the first aspect, in which, when a plurality of medical images are generated by an endoscope, the processor detects a state change based on the operation of the endoscope.
  • An image processing device according to any one of the embodiments.
  • the processor when a plurality of medical images are generated by an endoscope and fluid is delivered from the endoscope into the body including an observation target area, the processor An image processing apparatus according to any one of the first to nineteenth aspects, wherein the image processing apparatus acquires fluid delivery information related to the fluid delivery information and detects a state change based on the fluid delivery information.
  • a twenty-first aspect of the technology of the present disclosure is the image processing device according to any one of the first to twentieth aspects, wherein the processor detects a change in condition based on a given medical instruction. be.
  • a twenty-second aspect of the technology of the present disclosure is a first method in which the processor acquires region of interest information regarding a region of interest included in the observation target region, and detects a state change on the condition that the region of interest information has been acquired.
  • An image processing apparatus according to any one of the twenty-first aspects.
  • a twenty-third aspect according to the technology of the present disclosure is a twenty-third aspect based on the first aspect, in which the processor acquires part information regarding a part corresponding to the observation target area, and detects a state change on the condition that the part information has been acquired.
  • the present invention is an image processing device according to any one of twenty-two aspects.
  • a twenty-fourth aspect according to the technology of the present disclosure is according to any one of the first to twenty-third aspects, wherein the processor derives lesion information regarding a lesion in the observation target area based on a state change. It is an image processing device.
  • a twenty-fifth aspect of the technology of the present disclosure is that the observation target region includes a region of interest, the state change includes a change in the region of interest, and the change in the region of interest is a state in which mucus is attached to the region of interest.
  • the image processing apparatus according to the twenty-fourth aspect is a state in which a non-neoplastic polyp appears from the region of interest.
  • the observation target region includes a region of interest
  • a plurality of medical images are generated by an endoscope
  • fluid is transmitted from the endoscope into the body including the observation target region.
  • the state change includes a change in the region of interest due to fluid delivery
  • the processor obtains delivery amount information indicating the amount of fluid delivered, and generates lesion information based on the state change and the delivery amount information.
  • a twenty-seventh aspect according to the technology of the present disclosure is the twenty-sixth aspect, wherein the change in the region of interest is from a state where mucus is attached to the region of interest to a state where a non-neoplastic polyp has appeared from the region of interest.
  • An image processing device according to the present invention.
  • a twenty-eighth aspect of the technology of the present disclosure is a twenty-eighth aspect in which, when a plurality of medical images are generated by an endoscope, the processor derives lesion information at a predetermined timing based on the operation of the endoscope.
  • An image processing apparatus according to any one of the twenty-seventh aspects.
  • a twenty-ninth aspect according to the technology of the present disclosure is a twenty-ninth aspect according to any one of the twenty-fourth to twenty-eighth aspects, wherein the processor derives lesion information at a predetermined timing based on a given medical instruction.
  • This is an image processing device.
  • a 30th aspect of the technology of the present disclosure is a 30th aspect according to any one of the 24th to 29th aspects, wherein when the processor derives the lesion information, the processor determines the lesion information according to a given determination instruction.
  • This is an image processing device.
  • a thirty-first aspect of the technology of the present disclosure is that the processor obtains region of interest information regarding a region of interest included in the observation target region, and derives lesion information when the region of interest information is information regarding a specific region of interest.
  • An image processing apparatus according to any one of the 24th to 30th aspects.
  • a 32nd aspect of the technology of the present disclosure is the 24th aspect, in which the processor acquires site information regarding a site corresponding to the observation target area, and derives lesion information when the site information is information regarding a specific site.
  • An image processing apparatus according to any one of the thirty-first aspects.
  • a thirty-third aspect according to the technology of the present disclosure is an image processing device according to any one of the first to thirty-second aspects, wherein the processor outputs second information that is information based on image recognition processing. It is.
  • a thirty-fourth aspect according to the technology of the present disclosure is the image processing device according to the thirty-third aspect, wherein the output destination of the second information is a display device, and the display device displays the second information.
  • a thirty-fifth aspect according to the technology of the present disclosure includes an image processing device according to any one of the first to thirty-fourth aspects, an endoscope main body inserted into a body including an observation target area, This is an endoscope equipped with.
  • a thirty-sixth aspect of the technology of the present disclosure is to acquire a plurality of medical images in time series in which an observation target area is captured, and to perform image recognition processing on the plurality of medical images.
  • An image processing method includes detecting a change in state of a region.
  • a thirty-seventh aspect of the technology of the present disclosure is to acquire, on a computer, a plurality of medical images showing an observation target area in chronological order, and to perform image recognition processing on the plurality of medical images.
  • This is a program for executing processing including detecting changes in the state of the observation target area.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the electrical system of the endoscope system.
  • FIG. 2 is a block diagram illustrating an example of main functions of a processor of a control device included in the endoscope.
  • FIG. 2 is a conceptual diagram showing an example of the correlation among a camera, NVM, reception device, image acquisition unit, body part detection unit, region of interest detection unit, and control unit.
  • FIG. 2 is a conceptual diagram showing an example of the correlation between a camera, an image acquisition unit, and an endoscope detection unit.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 2 is a block diagram showing an example
  • FIG. 2 is a conceptual diagram showing an example of the correlation among a camera, a reception device, an image acquisition unit, a body part detection unit, a region of interest detection unit, an endoscope detection unit, a state change detection unit, and a control unit.
  • FIG. 3 is a conceptual diagram showing an example of the correlation among a state change detection section, a lesion information derivation section, a control section, and a display device. It is a flowchart which shows an example of the flow of medical support processing. This is a continuation of the flowchart shown in FIG. 9A.
  • FIG. 7 is a block diagram showing a modification of the output timing of a start instruction signal and an end instruction signal.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for “Graphics Processing Unit.”
  • RAM is an abbreviation for “Random Access Memory.”
  • NVM is an abbreviation for “Non-volatile memory.”
  • EEPROM is an abbreviation for “Electrically Erasable Programmable Read-Only Memory.”
  • ASIC is an abbreviation for “Application Specific Integrated Circuit.”
  • PLD is an abbreviation for “Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array.”
  • SoC is an abbreviation for “System-on-a-chip.”
  • SSD is an abbreviation for “Solid State Drive.”
  • USB is an abbreviation for “Universal Serial Bus.”
  • HDD is an abbreviation for “Hard Disk Drive.”
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device”.
  • AI is an abbreviation for “Artificial Intelligence.”
  • BLI is an abbreviation for “Blue Light Imaging.”
  • LCI is an abbreviation for "Linked Color Imaging.”
  • I/F is an abbreviation for "Interface”.
  • FIFO is an abbreviation for "First In First Out.”
  • an endoscope system 10 includes an endoscope 12 and a display device 13.
  • the endoscope 12 is used by a doctor 14 in endoscopy.
  • at least one auxiliary staff member 16 (for example, a nurse, etc.) assists the doctor 14 in performing the endoscopic examination.
  • auxiliary staff member 16 for example, a nurse, etc.
  • the endoscope 12 includes an endoscope main body 18.
  • the endoscope 12 is a device that uses an endoscope body 18 to perform medical treatment on an observation target region 21 included in the body (here, as an example, the large intestine) of a subject 20 (for example, a patient). .
  • the observation target area 21 is an area to be observed by the doctor 14.
  • the endoscope main body 18 is inserted into the body of the subject 20.
  • the endoscope 12 causes an endoscope main body 18 inserted into the body of the subject 20 to image an observation target region 21 inside the body of the subject 20, and performs imaging of the observation target region 21 in the body of the subject 20 as necessary. perform various medical treatments.
  • the endoscope 12 is an example of an "endoscope” according to the technology of the present disclosure.
  • the endoscope main body 18 is an example of an "endoscope main body” according to the technology of the present disclosure.
  • the endoscope 12 acquires and outputs an image showing the inside of the body by imaging the inside of the body of the subject 20.
  • a lower endoscope is shown as an example of the endoscope 12. Note that the lower endoscope is merely an example, and the technology of the present disclosure is applicable even if the endoscope 12 is another type of endoscope such as an upper gastrointestinal endoscope or a bronchial endoscope.
  • the endoscope 12 is an endoscope that has an optical imaging function that captures an image of the reflected light obtained by irradiating light inside the body and being reflected by the observation target region 21.
  • the technology of the present disclosure is applicable even if the endoscope 12 is an ultrasound endoscope.
  • a plurality of frames for examination or surgery for example, moving images obtained by imaging using X-rays, etc., or images emitted from outside the body of the subject 20,
  • the technology of the present disclosure is also applicable even if a modality that generates a moving image based on reflected waves of ultrasonic waves is used.
  • the endoscope 12 includes a control device 22 and a light source device 24.
  • the control device 22 and the light source device 24 are installed in the wagon 34.
  • the wagon 34 is provided with a plurality of stands along the vertical direction, and the control device 22 and the light source device 24 are installed from the lower stand to the upper stand. Furthermore, a display device 13 is installed on the top stage of the wagon 34.
  • the display device 13 displays various information including images.
  • An example of the display device 13 is a liquid crystal display, an EL display, or the like.
  • One or more screens are displayed side by side on the display device 13.
  • a screen 36 is shown.
  • a tablet terminal with a display may be used instead of the display device 13 or together with the display device 13.
  • the endoscopic image 40 obtained by the endoscope 12 is displayed on the screen 36.
  • the endoscopic image 40 shows the observation target region 21 including the region of interest 21A.
  • the region of interest 21A is a region defined as a region requiring observation within the observation target region 21 (for example, a region defined as a region to which the doctor 14 pays attention when differentiating a lesion).
  • the endoscopic image 40 is an image generated by imaging the observation target region 21 with the endoscope 12 inside the body of the subject 20.
  • the observation target region 21 includes the inner wall of the large intestine.
  • the inner wall of the large intestine is just one example, and any region that can be imaged by the endoscope 12 may be used.
  • Examples of the region that can be imaged by the endoscope 12 include the inner wall or outer wall of a hollow organ.
  • Examples of the luminal organ include the small intestine, duodenum, esophagus, stomach, and bronchus.
  • the observation target area 21 imaged by the endoscope 12 is an example of the "observation target area" according to the technology of the present disclosure.
  • the endoscopic image 40 is an example of a "medical image” according to the technology of the present disclosure.
  • the endoscopic image 40 displayed on the screen 36 is one frame included in a moving image that includes multiple frames. That is, multiple frames of the endoscopic image 40 are displayed on the screen 36 at a predetermined frame rate (for example, several tens of frames/second).
  • the endoscope 12 includes an operating section 42 and an insertion section 44.
  • the insertion portion 44 partially curves when the operating portion 42 is operated.
  • the insertion section 44 is inserted while being curved according to the shape inside the body of the subject 20 (for example, the shape of the large intestine) according to the operation of the operation section 42 by the doctor 14 .
  • a camera 48, an illumination device 50, and a treatment opening 52 are provided at the distal end 46 of the insertion section 44.
  • the camera 48 is a device that images the inside of the body of the subject 20.
  • An example of the camera 48 is a CMOS camera. However, this is just an example, and other types of cameras such as a CCD camera may be used.
  • the lighting device 50 has lighting windows 50A and 50B.
  • the lighting device 50 emits light through lighting windows 50A and 50B. Examples of the types of light emitted from the lighting device 50 include visible light (eg, white light, etc.) and non-visible light (eg, near-infrared light, etc.).
  • the lighting device 50 emits special light through the lighting windows 50A and 50B. Examples of the special light include BLI light and/or LCI light.
  • the camera 48 takes an image of the inside of the subject 20 using an optical method while the inside of the body of the subject 20 is irradiated with light by the illumination device 50 .
  • the treatment opening 52 is used as a treatment tool ejection port for causing the treatment tool 54 to protrude from the distal end portion 46, a suction port for sucking blood, body waste, etc., and a delivery port for delivering the fluid 56.
  • a treatment instrument 54 protrudes from the treatment opening 52 according to the operation of the doctor 14.
  • the treatment instrument 54 is inserted into the insertion section 44 through the treatment instrument insertion port 58.
  • the treatment instrument 54 passes through the insertion portion 44 and protrudes into the body of the subject 20 from the treatment opening 52.
  • forceps are protruded from the treatment opening 52 as the treatment tool 54.
  • the forceps are just one example of the treatment tool 54, and other examples of the treatment tool 54 include a wire, a scalpel, an ultrasonic probe, and the like.
  • the distal end portion 46 and the treatment instrument 54 are an example of the “endoscope distal end portion” according to the technology of the present disclosure.
  • a suction pump (not shown) is connected to the endoscope main body 18, and the treatment opening 52 sucks blood, internal waste, etc. by the suction force of the suction pump.
  • the suction force of the suction pump is controlled according to instructions given by the doctor 14 to the endoscope 12 via the operation unit 42 or the like.
  • a supply pump (not shown) is connected to the endoscope body 18, and fluid 56 (for example, gas and liquid) is supplied into the endoscope body 18 by the supply pump.
  • the treatment opening 52 delivers fluid 56 supplied to the endoscope body 18 from the supply pump.
  • gas e.g., air
  • liquid e.g., physiological saline
  • the endoscope main body 18 is connected to a control device 22 and a light source device 24 via a universal cord 60.
  • a display device 13 and a reception device 62 are connected to the control device 22 .
  • the receiving device 62 receives instructions from the user and outputs the received instructions as an electrical signal.
  • a keyboard is listed as an example of the reception device 62.
  • the reception device 62 may be a mouse, a touch panel, a foot switch, a microphone, or the like.
  • the control device 22 controls the entire endoscope 12.
  • the control device 22 controls the light source device 24, sends and receives various signals to and from the camera 48, and displays various information on the display device 13.
  • the light source device 24 emits light under the control of the control device 22 and supplies light to the lighting device 50.
  • the lighting device 50 has a built-in light guide, and the light supplied from the light source device 24 is irradiated from the lighting windows 50A and 50B via the light guide.
  • the control device 22 causes the camera 48 to take an image, acquires an endoscopic image 40 (see FIG. 1) from the camera 48, and outputs it to a predetermined output destination (for example, the display device 13).
  • the control device 22 includes a computer 64.
  • the computer 64 is an example of an "image processing device” and a "computer” according to the technology of the present disclosure.
  • Computer 64 includes a processor 70, RAM 72, and NVM 74, and processor 70, RAM 72, and NVM 74 are electrically connected.
  • the processor 70 is an example of a "processor" according to the technology of the present disclosure.
  • the control device 22 includes a computer 64, a bus 66, and an external I/F 68.
  • Computer 64 includes a processor 70, RAM 72, and NVM 74.
  • the processor 70, RAM 72, NVM 74, and external I/F 68 are connected to the bus 66.
  • the processor 70 includes a CPU and a GPU, and controls the entire control device 22.
  • the GPU operates under the control of the CPU, and is responsible for executing various graphics-related processes, calculations using neural networks, and the like.
  • the processor 70 may be one or more CPUs with an integrated GPU function, or may be one or more CPUs without an integrated GPU function.
  • the RAM 72 is a memory in which information is temporarily stored, and is used by the processor 70 as a work memory.
  • the NVM 74 is a nonvolatile storage device that stores various programs, various parameters, and the like.
  • An example of NVM 74 includes flash memory (eg, EEPROM and/or SSD). Note that the flash memory is just an example, and may be other non-volatile storage devices such as an HDD, or a combination of two or more types of non-volatile storage devices.
  • the external I/F 68 is in charge of exchanging various information between the processor 70 and a device existing outside the control device 22 (hereinafter also referred to as an "external device").
  • An example of the external I/F 68 is a USB interface.
  • a camera 48 is connected to the external I/F 68 as one of the external devices, and the external I/F 68 is in charge of exchanging various information between the camera 48 and the processor 70.
  • Processor 70 controls camera 48 via external I/F 68. Further, the processor 70 acquires an endoscopic image 40 (see FIG. 1) obtained by imaging the inside of the subject 20 by the camera 48 via the external I/F 68.
  • the light source device 24 is connected to the external I/F 68 as one of the external devices, and the external I/F 68 is in charge of exchanging various information between the light source device 24 and the processor 70.
  • the light source device 24 supplies light to the lighting device 50 under the control of the processor 70 .
  • the lighting device 50 emits light supplied from the light source device 24.
  • the display device 13 is connected to the external I/F 68 as one of the external devices, and the processor 70 displays various information to the display device 13 by controlling the display device 13 via the external I/F 68. Display.
  • a reception device 62 is connected to the external I/F 68 as one of the external devices. Execute the appropriate processing.
  • a modality such as the endoscope 12 executes AI-based image recognition processing to detect the presence or absence of a lesion or specify the type of lesion.
  • the presence or absence of a lesion is detected and the type of lesion is specified from the image recognition result obtained by performing AI-based image recognition processing on only a single frame.
  • blurring occurs in the image recognition results between frames, so in order to reduce this blurring, post-processing such as averaging the image recognition results obtained in chronological order is performed.
  • the doctor 14 makes a comprehensive judgment on the site under observation, changes in the state of mucus caused by the fluid 56, and/or changes in the state of the mucous membrane caused by the fluid 56, etc., and then differentiates between lesions. ing.
  • serrated lesions which are a type of colorectal neoplastic polyp, are visually difficult to distinguish from hyperplastic polyps and are known to easily become cancerous. It is necessary to carefully differentiate between a serrated lesion and a hyperplastic polyp by comprehensively evaluating the various information provided.
  • serrated lesions are characterized by mucus adhering to polyps, and tend to occur on the right side of the large intestine (eg, ascending colon, transverse colon, etc.). Therefore, it is important for the doctor 14 to capture these characteristics as judgment materials without overlooking them when distinguishing between lesions.
  • Barrett's esophagus cancer is also known to be one of the lesions that is difficult to differentiate, similar to serrated lesions. Barrett's esophagus cancer also often occurs at the junction of the stomach and esophagus, so it is difficult to observe and there are few changes from the surrounding mucosa (ie, bumps, color changes, etc.). The doctor 14 carefully observes the Barrett's mucous membrane, and changes the state of the air supply from the endoscope 12 to determine whether the mucous membrane changes over time (for example, it becomes flat with air supply, but becomes raised without air supply). The diagnosis of Barrett's esophagus cancer is made by comprehensively taking into consideration the following changes in the condition.
  • medical support processing is performed by the processor 70 of the control device 22 (see FIGS. 9A and 9B).
  • medical support processing a plurality of endoscopic images 40 showing the observation target area 21 are acquired in chronological order, and image recognition processing is performed on the plurality of endoscopic images 40 to identify the observation target area 21. Contains processing to detect state changes.
  • a medical support processing program 76 is stored in the NVM 74.
  • the medical support processing program 76 is an example of a "program" according to the technology of the present disclosure.
  • the processor 70 reads the medical support processing program 76 from the NVM 74 and executes the read medical support processing program 76 on the RAM 72.
  • the medical support processing is carried out by the image acquisition section 70A, body part detection section 70B, region of interest detection section 70C, endoscope detection section 70D, state change detection section 70E, and control section according to the medical support processing program 76 executed by the processor 70 on the RAM 72. This is realized by operating as the lesion information deriving section 70F and the lesion information deriving section 70G.
  • a first trained model 78, a plurality of second trained models 80, a third trained model 82, a fourth trained model 84, and a fifth trained model 86 are stored in the NVM 74.
  • the first trained model 78, the plurality of second trained models 80, the third trained model 82, the fourth trained model 84, and the fifth trained model 86 are all machined in advance for the neural network. Optimized by learning.
  • the first trained model 78 is used by the part detection unit 70B.
  • the plurality of second trained models 80 are selectively used by the region of interest detection unit 70C.
  • the third trained model 82 is used by the endoscope detection unit 70D.
  • the plurality of fourth trained models 84 are selectively used by the state change detection unit 70E.
  • the fifth learned model 86 is used by the lesion information deriving unit 70G.
  • a first trained model 78 a plurality of second trained models 80, a third trained model 82, a fourth trained model 84, and a fifth trained model 86 will be distinguished and explained. If there is no need to do so, it is called a "trained model.” Further, in the following, for convenience of explanation, processing using a trained model will be described as processing that is actively performed mainly by the trained model. That is, for convenience of explanation, the trained model will be described as having a function of processing input information and outputting a processing result.
  • the image acquisition unit 70A receives an endoscopic image 40 generated by capturing an image according to an imaging frame rate (for example, several tens of frames/second) from the camera 48 in one frame. Acquired in units.
  • an imaging frame rate for example, several tens of frames/second
  • the image acquisition unit 70A holds a time series image group 89.
  • the time-series image group 89 is a plurality of time-series endoscopic images 40 in which the observation target region 21 is shown.
  • the time-series image group 89 includes, for example, endoscopic images 40 for a certain number of frames (for example, a predetermined number of frames within a range of tens to hundreds of frames).
  • the image acquisition unit 70A updates the time-series image group 89 in a FIFO manner every time it acquires the endoscopic image 40 from the camera 48.
  • time-series image group 89 is held and updated by the image acquisition unit 70A, but this is just an example.
  • the time-series image group 89 may be held and updated in a memory connected to the processor 70, such as the RAM 72.
  • the control unit 70F When the first condition is satisfied, the control unit 70F outputs a start instruction signal 91 to the body part detection unit 70B, the region of interest detection unit 70C, the endoscope detection unit 70D, and the state change detection unit 70E.
  • the body part detection section 70B, the region of interest detection section 70C, the endoscope detection section 70D, and the state change detection section 70E start AI-based image recognition processing when the start instruction signal 91 is input from the control section 70F.
  • the AI-based image recognition processing includes, for example, image recognition processing using the first trained model 78 by the part detection unit 70B, and image recognition processing using the second trained model 80 by the region of interest detection unit 70C. , image recognition processing using the third trained model 82 by the endoscope detection unit 70D, and image recognition processing using the fourth trained model 84 by the state change detection unit 70E.
  • Examples of the first condition include a condition that a start instruction has been given to the endoscope 12 (in the example shown in FIG. 7, a condition that the start instruction has been accepted by the reception device 62).
  • the start instruction refers to an instruction to start AI-based image recognition processing.
  • the part detection unit 70B performs image recognition processing using the first trained model 78 on the time series image group 89 (that is, the plurality of time series endoscopic images 40 held by the image acquisition unit 70A). By performing this, the site within the subject 20 is detected.
  • the first trained model 78 is a trained model for object detection using an AI method, and is optimized by performing machine learning using first teacher data on a neural network.
  • the first training data may include, for example, a plurality of images obtained in time series by imaging a region that can be the target of endoscopy (for example, a plurality of images corresponding to the plurality of time series endoscopic images 40).
  • teacher data include example data (an image of 1) and part information 90 regarding parts as correct answer data.
  • first trained model 78 selected from the plurality of first trained models 78 may be used by the part detection unit 70B.
  • each first trained model 78 is created by performing machine learning specialized for each type of endoscopy, and the first trained model 78 corresponds to the type of endoscopy currently being performed.
  • the model 78 may be selected and used by the part detection section 70B.
  • An example of the part information 90 is information indicating the name of the part.
  • sites that can be targeted for endoscopy include a single site included in the large intestine (e.g., ascending colon) and multiple adjacent sites (e.g., sigmoid colon and descending colon). It will be done.
  • the site in the large intestine is mentioned here, this is just one example, and the site may be in a hollow organ such as the stomach, esophagus, gastroesophageal junction, duodenum, or bronchus.
  • the part detection unit 70B acquires a time-series image group 89 and inputs the acquired time-series image group 89 to the first learned model 78. Thereby, the first trained model 78 outputs body part information 90 corresponding to the plurality of input endoscopic images 40. Part detection section 70B obtains part information 90 output from first trained model 78.
  • the site information 90 acquired by the site detection section 70B is information regarding the site corresponding to the observation target area 21 shown in the endoscopic image 40.
  • Part information 90 is an example of "part information” and "first information that is information based on image recognition processing" according to the technology of the present disclosure.
  • the region of interest detection unit 70C detects the region of interest 21A included in the observation target region 21 by performing image recognition processing on the time-series image group 89 using the second trained model 80.
  • the region of interest 21A include a mucus region (that is, a region to which mucus is attached), Barrett's mucosa, and/or Barrett's adenocarcinoma.
  • the second trained model 80 used by the region of interest detection unit 70C is selected from the plurality of second trained models 80 stored in the NVM 74.
  • the plurality of second trained models 80 stored in the NVM 74 correspond to different parts.
  • the region of interest detection unit 70C selects and uses the second learned model 80 corresponding to the body part information 90 acquired by the body part detection unit 70B from the plurality of second learned models 80. For example, if the site information 90 is information regarding the ascending colon, the region of interest detection unit 70C selects the second trained model 80 created for the ascending colon from the plurality of second trained models 80.
  • the second trained model 80 created for the sigmoid rectum and descending colon is selected from the plurality of second trained models 80 as the region of interest. Selected by the detection unit 70C.
  • the second trained model 80 used by the region of interest detection unit 70C is selected from a plurality of second trained models 80 according to the body part information 90, but this is just a form example. This is just an example.
  • a single second trained model 80 corresponding to all parts that can be subjected to endoscopy may be predetermined.
  • the second trained model 80 is a trained model for object detection using an AI method, and is optimized by performing machine learning using second teacher data on a neural network.
  • the region of interest 21A that can be the target of endoscopy (for example, the region of interest 21A occurring in the region specified from the region information 90) is obtained in time series by imaging.
  • teacher data include a plurality of images (for example, a plurality of images corresponding to a plurality of time-series endoscopic images 40) as example data and region of interest information 92 regarding the region of interest 21A as correct data.
  • the region of interest information 92 include information indicating the presence or absence of the region of interest 21A, and information indicating the name of the region of interest 21A.
  • the region of interest detection unit 70C acquires a time-series image group 89 and inputs the acquired time-series image group 89 to the second learned model 80. Thereby, the second trained model 80 outputs region of interest information 92 corresponding to the input time-series image group 89.
  • the region of interest detection unit 70C obtains the region of interest information 92 output from the second trained model 80.
  • the region of interest information 92 acquired by the region of interest detection unit 70C is information regarding the region of interest 21A included in the observation target region 21 shown in the endoscopic image 40.
  • the region of interest information 92 is an example of "region of interest information" and "first information that is information based on image recognition processing" according to the disclosed technology.
  • the region of interest information 92 is information indicating the name of the region of interest 21A.
  • the region of interest 21A that can be the target of endoscopy includes, for example, a single region of interest 21A (e.g., a specific mucus region) and a plurality of regions of interest 21A that change in time series (e.g., a specific mucus region and a specific mucus region). mucous membrane area), etc.
  • the endoscope detection unit 70D detects the motion of the endoscope 12 by performing image recognition processing on the time-series image group 89 using the third trained model 82. do.
  • the third trained model 82 is a trained model for object detection using the AI method, and is optimized by performing machine learning using third teacher data on a neural network.
  • the third teacher data for example, a plurality of images obtained in chronological order by imaging the inside of the body by the camera 48 are used as example data, and endoscope information 94 regarding the operation of the endoscope 12 is used as the correct data.
  • One example is teacher data. Note that although an example is given here in which only one third trained model 82 is used by the endoscope detection unit 70D, this is just an example.
  • the third trained model 82 selected from the plurality of third trained models 82 may be used by the endoscope detection unit 70D.
  • each third trained model 82 is created by performing machine learning specialized for each type of endoscopy, and is created by performing machine learning specialized for each type of endoscopy, and the type of endoscopy currently being performed (here, as an example, The third learned model 82 corresponding to the type of endoscope 12) may be selected and used by the endoscope detection unit 70D.
  • the endoscope detection unit 70D acquires a time-series image group 89 and inputs the acquired time-series image group 89 to the third trained model 82. Thereby, the third learned model 82 outputs endoscopic information 94 corresponding to the plurality of input endoscopic images 40.
  • the endoscope detection unit 70D acquires the endoscope information 94 output from the third learned model 82.
  • the endoscope information 94 acquired by the endoscope detection unit 70D is information regarding the operation of the endoscope 12 currently in use.
  • the endoscope information 94 is an example of "first information that is information based on image recognition processing" according to the technology of the present disclosure.
  • Examples of the endoscope information 94 include treatment instrument information 94A, operation speed information 94B, fluid delivery information 94C, and the like.
  • the treatment instrument information 94A is information regarding the treatment instrument 54 (see FIG. 2).
  • Examples of the information regarding the treatment instrument 54 include information indicating whether or not the treatment instrument 54 is being used, and information indicating the type of treatment instrument 54 being used.
  • the operating speed information 94B is information regarding the operating speed of the distal end portion 46 (see FIG. 2) of the endoscope 12 (for example, information regarding the speed expressed in units of "millimeter/second").
  • the fluid delivery information 94C is information regarding delivery of the fluid 56 (see FIG. 2).
  • the information regarding the delivery of the fluid 56 refers to, for example, information regarding the amount of the fluid 56 delivered per unit time (for example, information regarding the amount of delivery expressed in "milliliter/second").
  • the fluid delivery information 94C includes air supply amount information 94C1 and water supply amount information 94C2.
  • the air supply amount information 94C1 is information regarding the amount of gas delivered (for example, information regarding the amount of gas delivered per unit time).
  • the water supply amount information 94C2 is information regarding the amount of liquid delivered (for example, information regarding the amount of liquid delivered per unit time).
  • the fluid delivery information 94C is an example of "fluid delivery information" according to the technology of the present disclosure.
  • the endoscope information 94 includes operation information of the endoscope 12 (for example, information based on the result of measuring the operation time of the camera 48, etc.) and/or various sensors mounted on the distal end portion 46 (for example, information based on the results of measuring the operation time of the camera 48, etc.). , pressure sensor, etc.) may also be included.
  • the state change detection unit 70E detects the state change of the observation target region 21 by performing image recognition processing on the time series image group 89 using the fourth trained model 84.
  • Examples of changes in the state of the observation target region 21 include changes in adhesive color, changes in mucous membrane state including mucous membrane structure, and/or changes in mucus adhesion state.
  • the fourth trained model 84 is a trained model for object detection using the AI method, and is optimized by performing machine learning using the fourth teacher data on the neural network.
  • the fourth teacher data for example, a plurality of images obtained in time series by imaging the inside of the body with the camera 48, region of interest information 92, and endoscope information 94 are used as example data, and the observation target region 21 is Examples of teacher data include state change information 96 regarding state changes as correct data. Note that although an example is given here in which only one fourth trained model 84 is used by the state change detection unit 70E, this is just an example. For example, the fourth trained model 84 selected from the plurality of fourth trained models 84 may be used by the state change detection unit 70E.
  • each fourth trained model 84 is created by performing specialized machine learning for each type of endoscopy, and the fourth trained model 84 corresponds to the type of endoscopy currently being performed.
  • the model 84 may be selected and used by the state change detection unit 70E.
  • the change in the state of the observation target region 21 also includes a change in the region of interest 21A (for example, a change in the region of interest 21A due to the delivery of the fluid 56).
  • changes in the region of interest 21A include a change from a state where mucus is attached to the region of interest 21A to a state where a non-neoplastic polyp has appeared from the region of interest 21A.
  • the state change information 96 includes mucus information 96A, mucous membrane information 96B, polyp information 96C, and the like.
  • the mucus information 96A is information regarding changes in mucus.
  • Examples of the mucus information 96A include information indicating a change in the adhesion state of mucus and/or information indicating a change in the color of mucus.
  • the mucous membrane information 96B is information regarding changes in the mucous membrane condition.
  • Examples of the mucous membrane information 96B include information indicating a change in the structure of the mucous membrane and/or information indicating a change in the color of the mucous membrane.
  • Polyp information 96C is information regarding polyps.
  • the polyp information 96C is, for example, information indicating a change from a state in which mucus adheres to the region of interest 21A to a state in which a polyp (for example, a non-neoplastic polyp or a neoplastic polyp) appears from the region of interest 21A.
  • a polyp for example, a non-neoplastic polyp or a neoplastic polyp
  • the state change detection unit 70E acquires a time-series image group 89 and inputs the acquired time-series image group 89 to the fourth learned model 84. Further, the state change detection unit 70E inputs the region of interest information 92 acquired by the region of interest detection unit 70C to the fourth trained model 84. Further, the state change detection unit 70E inputs the endoscope information 94 acquired by the endoscope detection unit 70D to the fourth learned model 84.
  • the fourth trained model 84 A plurality of time-series endoscopic images 40, region of interest information 92, and state change information 96 corresponding to the endoscopic information 94 are output.
  • the state change detection unit 70E obtains the state change information 96 output from the fourth learned model 84.
  • the state change information 96 acquired by the state change detection unit 70E is information regarding the state change of the observation target region 21 currently being observed using the endoscope 12.
  • the state change detection unit 70E detects a state change by performing AI-based image recognition processing based on the region of interest information 92 and endoscope information 94.
  • the region of interest information 92 is information obtained by image recognition processing using the second trained model 80 selected based on the body part information 90 (see FIG. 5). Therefore, it can be said that the detection of the state change by the state change detection unit 70E is indirectly achieved by performing AI-based image recognition processing based on the body part information 90.
  • the control unit 70F When the second condition is satisfied, the control unit 70F outputs a termination instruction signal 98 to the state change detection unit 70E.
  • the second condition include a condition that a termination instruction has been given to the endoscope 12 (in the example shown in FIG. 7, a condition that the termination instruction has been accepted by the receiving device 62).
  • the termination instruction refers to an instruction to terminate the AI-based image recognition process.
  • the state change detection unit 70E When the state change detection unit 70E receives the termination instruction signal 98 from the control unit 70F, it terminates the AI-based image recognition process (in the example shown in FIG. 7, the image recognition process using the fourth trained model 84). and erases the state change information 96.
  • the state change information 96 is an example of "first information that is information based on image recognition processing" according to the technology of the present disclosure.
  • the control unit 70F also outputs the termination instruction signal 98 to the region of interest detection unit 70C and the endoscope detection unit 70D.
  • the part detection unit 70B ends the AI-based image recognition process (in the example shown in FIG. 5, the image recognition process using the first trained model 78). , delete the part information 90 (see FIG. 5).
  • the region of interest detection unit 70C receives the termination instruction signal 98 from the control unit 70F, it terminates the AI-based image recognition process (in the example shown in FIG. 5, the image recognition process using the second trained model 80). Then, the region of interest information 92 (see FIG. 5) is deleted.
  • the endoscope detection unit 70D receives the end instruction signal 98 from the control unit 70F, the endoscope detection unit 70D ends the image recognition process using the third learned model 82 and outputs the endoscope information 94 (see FIG. 6). to erase.
  • the information based on the AI-based image recognition process held by the processor 70 i.e. body part information 90, region of interest information 92, endoscope information 94, and state change information 96
  • body part information 90, region of interest information 92, endoscope information 94, and state change information 96 are deleted when the AI image recognition process is completed (here, as an example, when the second condition is satisfied).
  • the control unit 70F When the second condition is satisfied, the control unit 70F also outputs the termination instruction signal 98 to the image acquisition unit 70A.
  • the image acquisition unit 70A deletes the time-series image group 89 held at the present time. That is, the information used in the AI-based image recognition process (i.e., the time-series image group 89) is also deleted when the AI-based image recognition process is completed (here, as an example, when the second condition is satisfied). be done.
  • An image recognition process performed using the first trained model 78 (see FIG. 5), an image recognition process performed using the second trained model 80 (see FIG. 5), and a third trained model 82 (see FIG. 6). ) and the image recognition process performed using the fourth learned model 84 (see FIG. 7) are examples of "image recognition processing" according to the technology of the present disclosure.
  • the lesion information deriving unit 70G derives lesion information 102 regarding the lesion in the observation target area 21 based on the state change detected by the state change detecting unit 70E.
  • the lesion information 102 include information indicating the presence or absence of a lesion and/or information indicating the type of lesion.
  • the lesion information derivation unit 70G obtains the state change information 96 from the state change detection unit 70E, and derives the lesion information 102 by performing an AI-based derivation process using the obtained state change information 96. . That is, the lesion information deriving unit 70G derives the lesion information 102 by performing an AI-based derivation process on the state change information 96 using the fifth trained model 86.
  • the fifth learned model 86 is optimized by performing machine learning on the neural network using the fifth teacher data.
  • Examples of the fifth teacher data include teacher data in which the state change information 96 is example data and the lesion information 102 is correct answer data.
  • the lesion information derivation unit 70G acquires the status change information 96 from the status change detection unit 70E, and inputs the acquired status change information 96 to the fifth learned model 86. Thereby, the fifth trained model 86 outputs lesion information 102 corresponding to the input state change information 96.
  • the lesion information deriving unit 70G acquires the lesion information 102 output from the fifth learned model 86.
  • the lesion information 102 acquired by the lesion information derivation unit 70G is information regarding a lesion in the observation target area 21 currently being observed using the endoscope 12 (for example, a lesion in the region of interest 21A included in the observation target area 21). It is.
  • the control unit 70F outputs information based on the lesion information 102 derived by the lesion information deriving unit 70G.
  • the output destination is the display device 13. That is, the control unit 70F displays information based on the lesion information 102 derived by the lesion information deriving unit 70G on the screen 36 of the display device 13.
  • a first example of information based on the lesion information 102 includes information indicating the presence or absence of a lesion and information indicating the type of lesion.
  • a second example of information based on the lesion information 102 is information derived from the lesion information 102 (for example, information indicating the reliability of the lesion information 102). In the example shown in FIG.
  • information based on the lesion information 102 is displayed in a position adjacent to the endoscopic image 40 on the screen 36.
  • a detection frame 103A surrounding an image area 103 showing a region of interest 21A shown in the endoscopic image 40 is also displayed on the screen 36.
  • the detection frame 103A is a frame formed based on a bounding box used in AI-based image recognition processing by the region of interest detection unit 70C.
  • the display device 13 is an example of an “output destination” and a “display device” according to the technology of the present disclosure
  • information based on the lesion information 102 is an example of “information based on image recognition processing” and a “display device” according to the technology of the present disclosure. This is an example of "second information”.
  • the display device 13 is illustrated as an output destination of information based on the lesion information 102, but the technology of the present disclosure is not limited to this, and the output destination of information based on the lesion information 102 is, for example, an endoscope. It may be an information processing device such as a server to which the system 10 is communicably connected. Further, information based on the lesion information 102 may be stored in a storage medium (for example, the NVM 74 and/or a memory of a device provided outside the endoscope 12, etc.). Further, information based on the lesion information 102 may be registered in the electronic medical record.
  • a storage medium for example, the NVM 74 and/or a memory of a device provided outside the endoscope 12, etc.
  • FIGS. 9A and 9B show an example of the flow of medical support processing performed by the processor 70.
  • the flow of medical support processing shown in FIGS. 9A and 9B is an example of an "image processing method" according to the technology of the present disclosure.
  • step ST10 the image acquisition unit 70A determines whether one frame worth of image has been captured by the camera 48. In step ST10, if the camera 48 has not captured an image for one frame, the determination is negative and the determination in step ST10 is performed again. In step ST10, if one frame worth of image has been captured by the camera 48, the determination is affirmative and the medical support process moves to step ST12.
  • step ST12 the image acquisition unit 70A acquires one frame of the endoscopic image 40 from the camera 48. After the process of step ST12 is executed, the medical support process moves to step ST14.
  • step ST14 the image acquisition unit 70A determines whether a certain number of frames of endoscopic images 40 are held. In step ST14, if a certain number of frames of endoscopic images 40 are not held, the determination is negative and the medical support process moves to step ST10. In step ST14, if a certain number of frames of endoscopic images 40 are held, the determination is affirmative and the medical support process moves to step ST16.
  • step ST16 the image acquisition unit 70A updates the time-series image group 89 by adding the endoscopic image 40 acquired in step ST12 to the time-series image group 89 in a FIFO manner.
  • step ST18 the medical support process moves to step ST18.
  • step ST18 the control unit 70F determines whether the first condition is satisfied. In step ST18, if the first condition is not satisfied, the determination is negative and the medical support process moves to step ST10. In step ST18, if the first condition is satisfied, the determination is affirmative and the medical support process moves to step ST20.
  • step ST20 the body part detection unit 70B acquires body part information 90 by performing image recognition processing using the first trained model 78 on the time series image group 89 held by the image acquisition unit 70A. .
  • the medical support process moves to step ST22.
  • step ST22 the region of interest detection unit 70C selects the second trained model 80 corresponding to the part information 90 acquired in step ST20 from the plurality of second trained models 80. After the process of step ST22 is executed, the medical support process moves to step ST24.
  • step ST24 the region of interest detection unit 70C performs image recognition processing using the second trained model selected in step ST22 on the time series image group 89 held by the image acquisition unit 70A. Obtain area information 92.
  • step ST24 the medical support process moves to step ST26 shown in FIG. 9B.
  • step ST26 the endoscope detection unit 70D performs an image recognition process using the third learned model 82 on the time series image group 89 held by the image acquisition unit 70A to obtain endoscope information. Get 94.
  • the medical support process moves to step ST28.
  • step ST28 the state change detection unit 70E reads the time series image group 89 held by the image acquisition unit 70A, the region of interest information 92 acquired in step ST24, and the endoscope information 94 acquired in step ST26. By inputting the information to the fourth trained model 84, state change information 96 is acquired from the fourth trained model 84. After the process of step ST28 is executed, the medical support process moves to step ST30.
  • step ST30 the control unit 70F determines whether the second condition is satisfied. In step ST30, if the second condition is not satisfied, the determination is negative and the medical support process moves to step ST34. In step ST30, if the second condition is satisfied, the determination is affirmative and the medical support process moves to step ST32.
  • step ST32 the processor 70 ends the AI-based image recognition process and deletes information based on the image recognition process. That is, the part detection unit 70B ends the AI-based image recognition process (in the example shown in FIG. 5, the image recognition process using the first trained model 78) and deletes the part information 90 (see FIG. 5). .
  • the region of interest detection unit 70C ends the AI-based image recognition process (in the example shown in FIG. 5, the image recognition process using the second trained model 80), and deletes the region of interest information 92 (see FIG. 5).
  • the endoscope detection unit 70D ends the image recognition process using the third learned model 82) and deletes the endoscope information 94 (see FIG. 6).
  • the image acquisition unit 70A deletes the time-series image group 89 currently held. After the process of step ST32 is executed, the medical support process moves to step ST34.
  • step ST34 the lesion information deriving unit 70G inputs the state change information 96 acquired in step ST28 to the fifth learned model 86, thereby obtaining lesion information corresponding to the state change information 96 from the fifth learned model 86. 102 is derived.
  • step ST34 the medical support process moves to step ST36.
  • step ST36 the control unit 70F displays information based on the lesion information 102 derived in step ST34 on the screen 36 of the display device 13. After the process of step ST36 is executed, the medical support process moves to step ST38.
  • step ST38 the control unit 70F determines whether the conditions for terminating the medical support process are satisfied.
  • An example of the condition for terminating the medical support process is that an instruction to terminate the medical support process has been given to the endoscope system 10 (for example, the instruction to terminate the medical support process has been received by the reception device 62).
  • An example of this is the condition that the
  • step ST38 if the conditions for terminating the medical support process are not satisfied, the determination is negative and the medical support process moves to step ST10 shown in FIG. 9A. In step ST38, if the conditions for terminating the medical support process are satisfied, the determination is affirmative and the medical support process is terminated.
  • the time-series image group 89 generated by the camera 48 (for example, a plurality of time-series images that can identify the aspect of the observation target region 21 before and after the fluid 56 is delivered)
  • a change in the state of the observation target area 21 is detected by performing AI-based image recognition processing on the mirror image 40). Therefore, when detecting a state change in the observation target region 21 using only a single endoscopic image 40 (for example, only a single endoscopic image 40 obtained at a time when the fluid 56 is not being delivered) Compared to this, changes in the state of the observation target region 21 can be detected with high precision.
  • the doctor 14 can, for example, differentiate serrated lesions or Barrett's esophagus cancer, which are generally known as difficult to differentiate lesions. can be performed with high precision.
  • the state change detection unit 70E detects a change in adhesive color, a change in the mucous membrane state including the mucous membrane structure, and/or a change in the mucus adhesion state as a change in the state of the observation target region 21. Ru. Therefore, compared to detecting changes in adhesive color, changes in mucous membrane condition including mucosal structure, and/or changes in mucus adhesion condition using only a single endoscopic image 40, Changes in the state of mucous membranes including structures and/or changes in the state of mucus adhesion can be detected with high precision as changes in the state of the observation target region 21.
  • the endoscope detection unit 70D performs AI-based image recognition processing on the time-series image group 89, thereby acquiring endoscope information 94. Then, the state change detection unit 70E detects a state change based on the endoscope information 94. Therefore, compared to the case where a change in condition is detected without considering the endoscope information 94 at all, a change in condition can be detected with higher accuracy.
  • the endoscope information 94 also includes fluid delivery information 94C. Therefore, compared to the case where a change in state is detected without considering the fluid delivery information 94C at all, a change in state can be detected with higher accuracy.
  • the AI-based image recognition processing is started when the first condition is satisfied. Therefore, compared to the case where the AI-based image recognition process is started unconditionally, the AI-based image recognition process can be started at a more suitable timing.
  • the first condition is that a start instruction has been given to the endoscope 12 (in the example shown in FIG. 7, the condition that the start instruction has been accepted by the reception device 62). has been done. Therefore, the AI-based image recognition process can be started at the timing that the doctor 14 intends.
  • the AI-based image recognition process ends when the second condition is satisfied. Therefore, compared to the case where the AI-based image recognition process ends unconditionally, the AI-based image recognition process can be ended at a more suitable timing.
  • the second condition includes a condition that a termination instruction has been given to the endoscope 12 (in the example shown in FIG. 7, a condition that the termination instruction has been accepted by the receiving device 62). is applied. Therefore, the AI-based image recognition process can be completed at the timing intended by the doctor 14.
  • information based on the AI-based image recognition process is retained from the start to the end of the AI-based image recognition process, and when the AI-based image recognition process is finished, Information based on AI-based image recognition processing is deleted. Therefore, until the AI-based image recognition processing is completed, processing using information based on the AI-based image recognition processing (for example, processing by the lesion information deriving unit 70G) can be performed, and Information based on AI-based image recognition processing can be deleted at the timing when image recognition processing is no longer necessary.
  • the state change detection unit 70E detects a change in the state of the observation target region 21 on the condition that the region of interest information 92 is acquired by the region of interest detection unit 70C. Therefore, compared to the case where a change in the state of the observation target area 21 is detected before the area of interest information 92 is detected, the observation target area is detected at a more suitable timing (for example, the timing when the area of interest 21A is included in the observation target area 21). 21 state changes can be detected. In other words, for example, when the region of interest 21A is not included in the region to be observed 21, a change in the state of the region to be observed 21 can be prevented from being detected.
  • a state change in the observation target region 21 is detected by the state change detection unit 70E on the condition that the part information 90 is acquired by the part detection unit 70B. Therefore, compared to the case where a change in the state of the observation target region 21 is detected before the region information 90 is detected, it is preferable to detect the change in the state of the observation target region 21 at a more suitable timing (for example, specifying it in the endoscopic image 40 as a region corresponding to the observation target region 21). It is possible to detect a change in the state of the observation target area 21 at the timing when the part that has been removed is reflected. In other words, for example, when the region reflected in the endoscopic image 40 is a region different from the designated region, it is possible to prevent a change in the state of the observation target region 21 from being detected.
  • the lesion information 102 is derived by the lesion information deriving section 70G based on the state change detected by the state change detecting section 70E. Therefore, compared to the case where the state change of the observation target region 21 is predicted using only a single endoscopic image 40 and the lesion information 102 is derived based on the predicted state change, highly reliable lesion information 102 can be obtained. can be derived.
  • a change in the region of interest 21A is detected by the state change detection unit 70E.
  • the state change detection unit 70E detects a change in the region of interest 21A from a state where mucus is attached to the region of interest 21A to a state where a non-neoplastic polyp has appeared from the region of interest 21A. Therefore, the change in the region of interest 21A from a state where mucus is attached to the region of interest 21A to a state where a non-neoplastic polyp has appeared from the region of interest 21A can be detected using only a single endoscopic image 40. More reliable lesion information 102 can be derived than when predicting and deriving lesion information 102 based on the predicted change.
  • information based on the lesion information 102 is output by the control unit 70F.
  • the output destination include the display device 13 and/or an information processing device (server, personal computer, or tablet terminal). Therefore, processing using information based on the lesion information 102 can be performed at the output destination of the information based on the lesion information 102.
  • information based on the lesion information 102 is displayed on the screen 36 of the display device 13 by the control unit 70F. Therefore, the user can grasp information based on the lesion information 102.
  • the time series image group 89, the region of interest information 92, and the endoscope information 94 are input to the fourth trained model 84, and the state change information 96 corresponding to these is input to the fourth trained model 84.
  • the region information 90 is further input to the fourth trained model 84, and the state corresponding to the region information 90, time series image group 89, region of interest information 92, and endoscope information 94 is obtained from the fourth trained model 84.
  • Change information 96 may be output.
  • the fourth training data used to create the fourth trained model 84 includes, for example, a plurality of images obtained in time series by imaging the inside of the body with the camera 48, body part information 90, and region of interest information. 92 and endoscope information 94 as example data, and teacher data in which state change information 96 regarding state changes of the observation target region 21 is correct data may be used.
  • body part information 90, region of interest information 92, and/or endoscope information 94 are input to the fourth trained model 84, and state change information 96 corresponding to the input is input. It may also be output from the fourth trained model 84.
  • the fourth training data used to create the fourth trained model 84 in the same manner as above, training data with the information input to the fourth trained model 84 as example data can be used. good.
  • the fourth training data used to create the fourth trained model 84 is the state of the observation target region 21 using a plurality of images obtained in time series by capturing images inside the body by the camera 48 as example data.
  • the teacher data may be the state change information 96 regarding the change as the correct data.
  • state change information 96 corresponding to the input time series image group 89 is output from the fourth trained model 84. That is, the state change detection unit 70E performs AI-based image recognition processing (that is, image recognition processing using the fourth trained model 84) on the time-series image group 89, so that the observation target area 21 is A state change is detected.
  • AI-based image recognition processing that is, image recognition processing using the fourth trained model 84
  • AI-based image recognition processing is performed based on a start instruction given to the endoscope 12, but the technology of the present disclosure is not limited to this.
  • AI-based image recognition processing may be performed based on the operation of the endoscope 12.
  • the operation of the endoscope 12 is specified from the endoscope information 94.
  • a first example of the first condition using the endoscope information 94 is a condition that the distal end portion 46 of the endoscope 12 is stationary. Whether or not the distal end portion 46 of the endoscope 12 is stationary is determined based on the operating speed information 94B.
  • a second example of the first condition using the endoscope information 94 is a condition that the moving speed of the distal end portion 46 of the endoscope 12 has decreased. Whether the moving speed of the distal end portion 46 of the endoscope 12 has decreased is determined based on the operating speed information 94B.
  • a decrease in the moving speed refers to, for example, a decrease in the moving speed to less than a predetermined speed (for example, a decrease from several tens of millimeters/second to several millimeters/second).
  • AI-based image recognition processing can be performed at suitable timing. Further, here, when the condition that the distal end portion 46 of the endoscope 12 is stationary or the condition that the moving speed of the distal end portion 46 of the endoscope 12 has decreased, the AI image recognition process is performed. Begins. Therefore, compared to the case where the AI-based image recognition process is started regardless of the moving speed of the distal end portion 46 of the endoscope 12, the AI-based image recognition process can be started at a more suitable timing.
  • the AI-based image recognition process may be performed based on the region of interest information 92.
  • the control unit 70F when the control unit 70F satisfies the first condition using the region of interest information 92, the control unit 70F sends the start instruction signal 91 to the body part detection unit 70B, the region of interest detection unit 70C, It is output to the endoscope detection section 70D and the state change detection section 70E.
  • a first example of the first condition using the region of interest information 92 is a condition that the region of interest 21A is included in the region to be observed 21. Whether or not the region of interest 21A is included in the observation target region 21 is determined based on the region of interest information 92.
  • a second example of the first condition using the region of interest information 92 is a condition that the observation target region 21 includes a specific region of interest 21A (for example, a region to which mucus is attached). Whether or not the specific region of interest 21A is included in the observation target region 21 is determined based on the region of interest information 92.
  • a specific region of interest 21A for example, a region to which mucus is attached.
  • the AI-based image recognition process is performed here based on the region-of-interest information 92, the AI-based image recognition process is performed at a more suitable timing than when the AI-based image recognition process is performed independently of the region-of-interest information 92.
  • AI-based image recognition processing can be performed.
  • the AI-based image recognition process is started. Therefore, compared to the case where the AI-based image recognition process is started regardless of whether the region of interest 21A is included in the observation target area 21, the AI-based image recognition process can be started at a more suitable timing. In other words, for example, if the region of interest 21A is not included in the observation target region 21, the image recognition process can be prevented from starting.
  • the AI-based image recognition process may be performed based on the body part information 90.
  • the control unit 70F sends the start instruction signal 91 to the part detection unit 70B, the region of interest detection unit 70C, and the internal region detection unit 70C. It is output to endoscope detection section 70D and state change detection section 70E.
  • a first condition using the region information 90 is that the region corresponding to the observation target region 21 is a region designated as an observation target (for example, the ascending colon).
  • the region may be specified, for example, via the reception device 62 or via a communication device capable of communicating with the endoscope system 10, and any method may be used to specify the region. good.
  • Whether or not the part corresponding to the observation target area 21 is a part designated as an observation target is determined based on the part information 90.
  • the AI-based image recognition process is performed based on the body part information 90, the AI-based image recognition process is performed at a more suitable timing than when the AI-based image recognition process is performed regardless of the body part information 90.
  • Image recognition processing can be performed.
  • the AI-based image recognition process is started. Therefore, compared to the case where the AI-based image recognition process is started regardless of the part corresponding to the observation target area 21, the AI-based image recognition process can be started at a more suitable timing. In other words, for example, the image recognition process is prevented from starting when the region corresponding to the observation target region 21 is a region (for example, descending colon) that is different from the region designated as the observation target (for example, ascending colon). be able to.
  • the AI-based image recognition process and the detection of a state change by the state change detection unit 70E may be performed based on the first medical instruction given to the endoscope 12.
  • the control unit 70F when the control unit 70F satisfies the first condition using the first medical instruction, the control unit 70F transmits the start instruction signal 91 to the body part detection unit 70B, the region of interest detection unit 70C, It is output to the endoscope detection section 70D and the state change detection section 70E.
  • the first medical instruction is an example of a "medical instruction" according to the technology of the present disclosure.
  • the first medical instruction refers to, for example, an instruction given to the endoscope 12 via the operation unit 42 and/or the receiving device 62.
  • An example of the first medical instruction is an instruction to send out the fluid 56 from the treatment opening 52.
  • the AI-based image recognition process is performed regardless of the presence or absence of the first medical instruction given to the endoscope 12.
  • the AI-based image recognition process can be performed at a more suitable timing than when the image recognition process is performed using the AI method.
  • the state change detection unit 70E detects the state change regardless of whether or not the first medical instruction is given to the endoscope 12
  • the state change can be detected at a more suitable timing.
  • the control unit 70F also uses the first condition using the start instruction described in the above embodiment, the first condition using the endoscope information 94, the first condition using the region of interest information 92, and the part information 90.
  • the start instruction signal 91 may be output when a plurality of pre-specified first conditions among the first condition using the first condition and the first condition using the first medical instruction are satisfied.
  • the AI-based image recognition process ends based on the end instruction given to the endoscope 12, but the technology of the present disclosure is not limited to this.
  • the AI-based image recognition process may be terminated based on the operation of the endoscope 12.
  • the operation of the endoscope 12 is specified from the endoscope information 94.
  • a first example of the second condition using the endoscope information 94 is a condition that the distal end portion 46 of the endoscope 12 has started. Whether or not the distal end portion 46 of the endoscope 12 has started is determined based on the operating speed information 94B.
  • a second example of the first condition using the endoscope information 94 is a condition that the moving speed of the distal end portion 46 of the endoscope 12 has increased. Whether the moving speed of the distal end portion 46 of the endoscope 12 has increased is determined based on the operating speed information 94B.
  • the increase in movement speed refers to, for example, an increase in movement speed to a predetermined speed or higher (for example, an increase from several millimeters/second to several tens of millimeters/second).
  • the AI-based image recognition process ends based on the operation of the endoscope 12, compared to the case where the AI-based image recognition process ends regardless of the operation of the endoscope 12, The AI-based image recognition process can be ended at a suitable timing. Further, here, when the condition that the distal end 46 of the endoscope 12 has started or the condition that the moving speed of the distal end 46 of the endoscope 12 has increased is satisfied, the AI image recognition process is performed. finish. Therefore, compared to the case where the AI-based image recognition process is ended regardless of the moving speed of the distal end portion 46 of the endoscope 12, the AI-based image recognition process can be ended at a more suitable timing.
  • the AI-based image recognition process may be terminated based on the region of interest information 92.
  • the control section 70F when the control section 70F satisfies the second condition using the region of interest information 92, the control section 70F sends the end instruction signal 98 to the body part detection section 70B, the region of interest detection section 70C, It is output to the endoscope detection section 70D and the state change detection section 70E.
  • a first example of the second condition using the region of interest information 92 is a condition that the region of interest 21A is not included in the observation target region 21. Whether or not the region of interest 21A is not included in the observation target region 21 is determined based on the region of interest information 92.
  • a second example of the second condition using the region of interest information 92 is a condition that the observation target region 21 does not include a specific region of interest 21A (for example, a region to which mucus is attached). Whether or not the specific region of interest 21A is not included in the observation target region 21 is determined based on the region of interest information 92.
  • a specific region of interest 21A for example, a region to which mucus is attached.
  • the AI-based image recognition process ends based on the region of interest information 92, the AI-based image recognition process ends at a more suitable timing than when the AI-based image recognition process ends regardless of the region of interest information 92.
  • the AI-based image recognition process can be completed.
  • the AI-based image recognition process ends. Therefore, the AI-based image recognition process can be ended at a more suitable timing than when the AI-based image recognition process ends regardless of whether or not the region of interest 21A is included in the observation target area 21. In other words, for example, when the region of interest 21A is included in the observation target region 21, the image recognition process can be prevented from ending.
  • the AI-based image recognition process may be terminated based on the body part information 90.
  • the control unit 70F sends the termination instruction signal 98 to the part detection unit 70B, the region of interest detection unit 70C, and the internal region detection unit 70C. It is output to endoscope detection section 70D and state change detection section 70E.
  • a second condition using the region information 90 is that the region corresponding to the observation target region 21 is a region (for example, descending colon) that is different from the region designated as the observation target (for example, ascending colon). It will be done. Whether or not the region corresponding to the observation target region 21 is different from the region specified as the observation target is determined based on the region information 90 .
  • the AI-based image recognition process ends based on the body part information 90, the AI-based image recognition process ends at a more suitable timing than when the AI-based image recognition process ends regardless of the body part information 90. image recognition processing can be completed. Further, here, when the condition that the part corresponding to the observation target area 21 is a part different from the part designated as the observation target is satisfied, the AI-based image recognition process ends. Therefore, the AI-based image recognition process can be ended at a more suitable timing than when the AI-based image recognition process ends regardless of the part corresponding to the observation target region 21. In other words, it is possible to prevent the image recognition process from ending, for example, when the region corresponding to the observation target region 21 is a region designated as an observation target (for example, the ascending colon).
  • the AI-based image recognition process may be performed based on the second medical instruction given to the endoscope 12.
  • the control unit 70F when the control unit 70F satisfies the second condition using the second medical instruction, the control unit 70F sends the termination instruction signal 98 to the body part detection unit 70B, the region of interest detection unit 70C, It is output to the endoscope detection section 70D and the state change detection section 70E.
  • the second medical instruction refers to, for example, an instruction given to the endoscope 12 via the operation unit 42 and/or the reception device 62.
  • An example of the second medical instruction is an instruction to stop delivery of the fluid 56 from the treatment opening 52.
  • the AI-based image recognition process is completed regardless of the presence or absence of the second medical instruction given to the endoscope 12.
  • the AI-based image recognition process can be completed at a more suitable timing than in the case where the AI-based image recognition process is performed.
  • control unit 70F uses the second condition using the end instruction described in the above embodiment, the second condition using the endoscope information 94, the second condition using the region of interest information 92, and the region information 90.
  • the termination instruction signal 98 may be output when a plurality of pre-specified second conditions among the second condition using the second medical instruction and the second condition using the second medical instruction are satisfied.
  • control unit 70F may output the termination instruction signal 98 to the image acquisition unit 70A when one or more of the second conditions described above are satisfied.
  • the image acquisition unit 70A deletes the time-series image group 89 held at the present time, similarly to the above embodiment.
  • the lesion information deriving unit 70G may derive the lesion information 102 by performing processing using the sixth learned model 104.
  • the sixth trained model 104 is optimized by performing machine learning on the neural network using the sixth training data.
  • Examples of the sixth teacher data include teacher data in which the state change information 96 and the delivery amount information 106 are used as example data, and the lesion information 102 is used as correct answer data.
  • the transmission amount information 106 is an example of "transmission amount information" according to the technology of the present disclosure.
  • the delivery amount information 106 is information indicating the delivery amount of the fluid 56 (see FIG. 2).
  • the delivery amount information 106 is included in the endoscope information 94.
  • Examples of the delivery amount information 106 include air delivery amount information 94C1 and/or water delivery amount information 94C2.
  • the sending amount information 106 may be information obtained by measuring the sending amount with a sensor or the like, or may be information obtained from a value accepted by the reception device 62.
  • the lesion information derivation unit 70G acquires the state change information 96 and the delivery amount information 106, and inputs the obtained state change information 96 and delivery amount information 106 to the sixth learned model 104. Thereby, the sixth trained model 86 outputs lesion information 102 corresponding to the input state change information 96 and delivery amount information 106.
  • the lesion information deriving unit 70G obtains the lesion information 102 output from the sixth learned model 86.
  • the lesion information 102 acquired by the lesion information deriving unit 70G is information regarding a lesion in the observation target area 21 currently being observed using the endoscope 12 (for example, a lesion in the region of interest 21A included in the observation target area 21). It is.
  • the lesion information 102 is derived based on the state change information 96 and the delivery amount information 106. Therefore, more reliable lesion information 102 can be derived than when the lesion information 102 is derived without using the delivery amount information 106.
  • the lesion information 102 is derived by the lesion information deriving section 70G on the condition that the state change detecting section 70E detects a change in the state of the observation target region 21.
  • the conditions under which 102 is derived are not limited to this. For example, as shown in FIG. 12, even if the process of step ST50, which is the process of determining the conditions for deriving the lesion information 102, is inserted between the process of step ST32 and the process of step ST34 of the medical support process. good.
  • step ST50 of the medical support process shown in FIG. 12 the lesion information derivation unit 70G determines whether conditions for deriving the lesion information 102 (hereinafter referred to as "derivation conditions") are satisfied.
  • a first example of the derivation condition is that the timing determined based on the operation of the endoscope 12 is the first timing.
  • the first timing refers to, for example, the timing at which the distal end portion 46 of the endoscope 12 starts, or the timing at which the moving speed of the distal end portion 46 of the endoscope 12 increases. For example, whether the timing determined based on the operation of the endoscope 12 is the first timing is determined based on the operation speed information 94B (see FIG. 6).
  • a second example of the derivation condition is that the second medical instruction described above is given to the endoscope 12.
  • the second medical instruction is an example of a "medical instruction" according to the technology of the present disclosure.
  • a third example of the derivation condition is that the region of interest information 92 is information regarding a specific region of interest 21A (for example, a region to which mucus is attached).
  • the specific region of interest 21A is an example of a "specific region of interest” according to the technology of the present disclosure.
  • a fourth example of the derivation condition is that the site information 90 is information regarding a specific site (for example, the ascending colon).
  • the specific site is an example of a "specific site” according to the technology of the present disclosure.
  • step ST50 if the derivation conditions are not satisfied, the determination is negative and the medical support process shown in FIG. 12 moves to step ST38. In step ST50, if the derivation conditions are satisfied, the determination is affirmative and the medical support process shown in FIG. 12 moves to step ST34. Lesion information 102 is derived by executing step ST34 in the manner described in the above embodiment.
  • the lesion information 102 is derived when the condition that the timing determined based on the operation of the endoscope 12 is the first timing is satisfied as the derivation condition. Therefore, compared to the case where the lesion information 102 is derived without considering the operation of the endoscope 12, the lesion information 102 regarding the observation target region 21 intended by the user can be derived with high precision.
  • the lesion information 102 is derived when the above-described second medical instruction is given to the endoscope 12 as a derivation condition. Therefore, compared to the case where the lesion information 102 is derived without considering the second medical instruction given to the endoscope 12, the lesion information 102 regarding the observation target area 21 intended by the user is derived with high precision. be able to.
  • the condition that the region of interest information 92 is information regarding the specific region of interest 21A is set as the derivation condition when the second medical instruction described above is given to the endoscope 12.
  • Lesion information 102 is derived when the condition is satisfied. Therefore, compared to the case where the lesion information 102 is derived without considering the region of interest information 92, the lesion information 102 regarding the specific region of interest 21A can be derived with high precision.
  • the lesion information 102 is derived when the condition that the region information 90 is information regarding a specific region is satisfied as the derivation condition. Therefore, compared to the case where the lesion information 102 is derived without considering the region information 90, the lesion information 102 regarding a specific region can be derived with high precision.
  • the lesion information 102 derived by the lesion information deriving unit 70G may be determined by the control unit 70F according to a given instruction (for example, an instruction given from the doctor 14).
  • a given instruction for example, an instruction given from the doctor 14.
  • the process of step ST60 and the process of step ST62 are inserted between the process of step ST36 and the process of step ST38 of the medical support process.
  • step ST60 shown in FIG. 13 the control section 70F determines whether an instruction to confirm the lesion information 102 derived by the lesion information derivation section 70G (hereinafter referred to as a "confirmation instruction") has been given to the endoscope 12. It is determined whether or not (for example, whether or not the confirmation instruction has been accepted by the reception device 62). In step ST60, if the confirmation instruction has not been given to the endoscope 12, the determination is negative and the medical support process shown in FIG. 13 moves to step ST38. In step ST60, if the confirmation instruction is given to the endoscope 12, the determination is affirmative, and the medical support process shown in FIG. 13 moves to step ST62.
  • step ST62 the control unit 70F executes a confirmation process.
  • a first example of the confirmation process is a process of displaying confirmation information on the screen 36 of the display device 13.
  • the confirmed information any mark or text that allows the user to visually understand that the lesion information 102 has been confirmed may be used.
  • a second example of the confirmation process is a process of changing the display mode of information based on the lesion information 102 displayed on the screen 36. In this case, it is possible for the user to visually understand that the lesion information 102 has been determined by the display modes before and after the change.
  • a third example of the confirmation process there is a process of causing the audio reproduction device to reproduce a sound indicating that the lesion information 102 has been confirmed.
  • a fourth example of the confirmation process is a process of registering the lesion information 102 in an electronic medical record or the like in association with the current time (for example, the time when the confirmation instruction was received). After the process of step ST62 is executed, the medical support process shown in FIG. 13 moves to step ST38.
  • the lesion information 102 derived by the lesion information deriving section 70G is determined by the control section 70F in accordance with the determination instruction.
  • the doctor 14 can confirm through the screen 36 that the lesion information 102 derived by the lesion information deriving unit 70G is correct, and then finalize the lesion information 102.
  • AI-based image recognition processing is illustrated, but the technology of the present disclosure is not limited to this, and instead of AI-based image recognition processing, non-AI-based image recognition processing (for example, template matching may be used). image recognition processing) may also be used. Furthermore, AI-based image recognition processing and non-AI-based image recognition processing may be used together.
  • the lesion information 102 is derived through AI processing
  • the technology of the present disclosure is not limited to this, and the lesion information 102 is derived through non-AI processing. You can do it like this.
  • the lesion can be determined from a table in which the state change information 96 and the lesion information 102 are associated with each other, or from an arithmetic expression in which the value indicating the state change information 96 is an independent variable and the value indicating the lesion information 102 is a dependent variable.
  • the information 102 may be derived.
  • the technology of the present disclosure is not limited to this, and the technology of the present disclosure is not limited to this.
  • devices provided outside the endoscope 12 include at least one server and/or at least one personal computer that are communicatively connected to the endoscope 12.
  • the medical support processing may be performed in a distributed manner by a plurality of devices.
  • the medical support processing program 76 may be stored in a portable non-transitory storage medium such as an SSD or a USB memory.
  • a medical support processing program 76 stored in a non-transitory storage medium is installed in the computer 64 of the endoscope 12.
  • the processor 70 executes medical support processing according to the medical support processing program 76.
  • the medical support processing program 76 is stored in a storage device such as another computer or server connected to the endoscope 12 via a network, and the medical support processing program 76 is executed in response to a request from the endoscope 12. It may also be downloaded and installed on the computer 64.
  • processors can be used as hardware resources for executing medical support processing.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource for performing medical support processing by executing software, that is, a program.
  • the processor include a dedicated electric circuit such as an FPGA, PLD, or ASIC, which is a processor having a circuit configuration specifically designed to execute a specific process.
  • Each processor has a built-in or connected memory, and each processor uses the memory to execute medical support processing.
  • the hardware resources that execute medical support processing may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, or (a combination of a CPU and an FPGA). Furthermore, the hardware resource that executes the medical support process may be one processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor functions as a hardware resource for executing medical support processing.
  • a and/or B has the same meaning as “at least one of A and B.” That is, “A and/or B” means that it may be only A, only B, or a combination of A and B. Furthermore, in this specification, even when three or more items are expressed by connecting them with “and/or”, the same concept as “A and/or B" is applied.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置は、プロセッサを備える。プロセッサは、観察対象領域が写っており、時系列に沿った複数の医用画像を取得し、複数の医用画像に対する画像認識処理を行うことで観察対象領域の状態変化を検出する。

Description

画像処理装置、内視鏡、画像処理方法、及びプログラム
　本開示の技術は、画像処理装置、内視鏡、画像処理方法、及びプログラムに関する。
　特開２０１７－０９９５０９号公報には、内視鏡処理装置が開示されている。内視鏡処理装置には、内視鏡で患者の体内を撮影した内視鏡画像が動画像として入力される。内視鏡処理装置に含まれる処置実施検知部は、内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用される処置具を画像認識により検出し、検出した処置具をもとに実施されている処置を検知する。また、処置実施検知部は、フレーム画像内から画像認識により処置具を定期的に探索する。
　特開２０１７－００６３３７号公報には、術部若しくは術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、検出部により検出された生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と、を備える医療支援装置が開示されている。検出部は、術部若しくは術部周辺の温度分布画像の時間変化に基づいて生体内でのイベントを検出する。また、検出部は、温度分布画像の時間変化に基づいて、生体内でのイベントとして、警告すべき状態を検出し、通知情報生成部は、状態に関する警告を行う警告画像を生成する。
　本開示の技術に係る一つの実施形態は、単一の医用画像のみを用いて観察対象領域の状態変化を検出する場合に比べ、観察対象領域の状態変化を高精度に検出することができる画像処理装置、内視鏡、画像処理方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、観察対象領域が写っており、時系列に沿った複数の医用画像を取得し、複数の医用画像に対する画像認識処理を行うことで観察対象領域の状態変化を検出する画像処理装置である。
　本開示の技術に係る第２の態様は、状態変化が、粘着色の変化、粘膜構造を含む粘膜状態の変化、及び／又は、粘液付着状態の変化を含む、第１の態様に係る画像処理装置である。
　本開示の技術に係る第３の態様は、複数の医用画像が内視鏡によって生成される場合、プロセッサが、内視鏡の動作に基づいて画像認識処理を行う、第１の態様又は第２の態様に係る画像処理装置である。
　本開示の技術に係る第４の態様は、プロセッサが、与えられた医療指示に基づいて画像認識処理を行う、第１の態様から第３の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第５の態様は、プロセッサが、観察対象領域に含まれる関心領域に関する関心領域情報を取得し、関心領域情報に基づいて画像認識処理を行う、第１の態様から第４の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第６の態様は、プロセッサが、観察対象領域に対応する部位に関する部位情報を取得し、部位情報に基づいて画像認識処理を行う、第１の態様から第５の態様に係る画像処理装置である。
　本開示の技術に係る第７の態様は、プロセッサが、第１条件を満足した場合に画像認識処理を開始する、第１の態様から第６の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第８の態様は、複数の医用画像が内視鏡によって生成される場合、第１条件が、内視鏡の先端部が静止したという条件、又は、先端部の移動速度が低下したという条件を含む、第７の態様に係る画像処理装置である。
　本開示の技術に係る第９の態様は、第１条件が、画像認識処理を開始させる指示が与えられたという条件を含む、第７の態様又は第８の態様に係る画像処理装置である。
　本開示の技術に係る第１０の態様は、第１条件が、観察対象領域に関心領域が含まれているという条件を含む、第７の態様から第９の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１１の態様は、第１条件が、観察対象領域に対応する部位が観察対象として指定された部位であるという条件を含む、第７の態様から第１０の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１２の態様は、プロセッサが、第２条件を満足した場合に画像認識処理を終了する、第１の態様から第１１の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１３の態様は、プロセッサが、第２条件を満足した場合に、画像認識処理に基づく情報である第１情報を消去する、第１２の態様に係る画像処理装置である。
　本開示の技術に係る第１４の態様は、画像認識処理を開始してから終了するまでの間、第１情報が保持され、プロセッサが、画像認識処理が終了した場合に第１情報を消去する、第１３の態様に係る画像処理装置である。
　本開示の技術に係る第１５の態様は、複数の医用画像が内視鏡によって生成される場合、第２条件が、内視鏡の先端部が始動したという条件、又は、先端部の移動速度が増加したという条件を含む、第１２の態様から第１４の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１６の態様は、第２条件が、画像認識処理を終了させる指示が与えられたという条件を含む、第１２の態様から第１５の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１７の態様は、第２条件が、観察対象領域に関心領域が含まれていないという条件を含む、第１２の態様から第１６の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１８の態様は、第２条件が、観察対象領域に対応する部位が観察対象として指定された部位とは異なる部位であるという条件を含む、第１２の態様から第１７の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第１９の態様は、複数の医用画像が内視鏡によって生成される場合、プロセッサが、内視鏡の動作に基づいて状態変化を検出する、第１の態様から第１８の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２０の態様は、複数の医用画像が内視鏡によって生成され、かつ、観察対象領域を含む体内に内視鏡から流体が送出される場合、プロセッサが、流体の送出に関する流体送出情報を取得し、流体送出情報に基づいて状態変化を検出する、第１の態様から第１９の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２１の態様は、プロセッサが、与えられた医療指示に基づいて状態変化を検出する、第１の態様から第２０の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２２の態様は、プロセッサが、観察対象領域に含まれる関心領域に関する関心領域情報を取得し、関心領域情報を取得したことを条件に状態変化を検出する、第１の態様から第２１の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２３の態様は、プロセッサが、観察対象領域に対応する部位に関する部位情報を取得し、部位情報を取得したことを条件に状態変化を検出する、第１の態様から第２２の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２４の態様は、プロセッサが、状態変化に基づいて、観察対象領域に対する病変に関する病変情報を導出する、第１の態様から第２３の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２５の態様は、観察対象領域に関心領域が含まれており、状態変化が、関心領域の変化を含み、関心領域の変化が、関心領域に粘液が付着された状態から関心領域から非腫瘍性ポリープが現出した状態への変化である、第２４の態様に係る画像処理装置である。
　本開示の技術に係る第２６の態様は、観察対象領域に関心領域が含まれており、複数の医用画像が内視鏡によって生成され、かつ、観察対象領域を含む体内に内視鏡から流体が送出される場合、状態変化が、流体の送出に伴う関心領域の変化を含み、プロセッサが、流体の送出量を示す送出量情報を取得し、状態変化及び送出量情報に基づいて病変情報を導出する、第２４の態様に係る画像処理装置である。
　本開示の技術に係る第２７の態様は、関心領域の変化が、関心領域に粘液が付着された状態から関心領域から非腫瘍性ポリープが現出した状態への変化である、第２６の態様に係る画像処理装置である。
　本開示の技術に係る第２８の態様は、複数の医用画像が内視鏡によって生成される場合、プロセッサが、内視鏡の動作に基づいて定められたタイミングで病変情報を導出する、第２４の態様から第２７の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第２９の態様は、プロセッサが、与えられた医療指示に基づいて定められたタイミングで病変情報を導出する、第２４の態様から第２８の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第３０の態様は、プロセッサが、病変情報を導出した場合、与えられた確定指示に従って病変情報を確定する、第２４の態様から第２９の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第３１の態様は、プロセッサが、観察対象領域に含まれる関心領域に関する関心領域情報を取得し、関心領域情報が特定関心領域に関する情報である場合に病変情報を導出する、第２４の態様から第３０の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第３２の態様は、プロセッサが、観察対象領域に対応する部位に関する部位情報を取得し、部位情報が特定部位に関する情報である場合に病変情報を導出する、第２４の態様から第３１の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第３３の態様は、プロセッサが、画像認識処理に基づく情報である第２情報を出力する、第１の態様から第３２の態様の何れか１つの態様に係る画像処理装置である。
　本開示の技術に係る第３４の態様は、第２情報の出力先が、表示装置であり、表示装置が、第２情報を表示する、第３３の態様に係る画像処理装置である。
　本開示の技術に係る第３５の態様は、第１の態様から第３４の態様の何れか１つの態様に係る画像処理装置と、観察対象領域を含む体内に挿入される内視鏡本体と、を備える内視鏡である。
　本開示の技術に係る第３６の態様は、観察対象領域が写っており、時系列に沿った複数の医用画像を取得すること、及び、複数の医用画像に対する画像認識処理を行うことで観察対象領域の状態変化を検出することを含む画像処理方法である。
　本開示の技術に係る第３７の態様は、コンピュータに、観察対象領域が写っており、時系列に沿った複数の医用画像を取得すること、及び、複数の医用画像に対する画像認識処理を行うことで観察対象領域の状態変化を検出することを含む処理を実行させるためのプログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 内視鏡システムの電気系のハードウェア構成の一例を示すブロック図である。 内視鏡に含まれる制御装置のプロセッサの要部機能の一例を示すブロック図である。 カメラ、ＮＶＭ、受付装置、画像取得部、部位検出部、関心領域検出部、及び制御部の相関の一例を示す概念図である。 カメラ、画像取得部、及び内視鏡検出部の相関の一例を示す概念図である。 カメラ、受付装置、画像取得部、部位検出部、関心領域検出部、内視鏡検出部、状態変化検出部、及び制御部の相関の一例を示す概念図である。 状態変化検出部、病変情報導出部、制御部、及び表示装置の相関の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 図９Ａに示すフローチャートの続きである。 開始指示信号及び終了指示信号の出力タイミングの変形例を示すがブロック図である。 病変情報導出部の変形例の一例を示すブロック図である。 医療支援処理の流れの第１変形例を示すフローチャートである。 医療支援処理の流れの第２変形例を示すフローチャートである。
　以下、添付図面に従って本開示の技術に係る画像処理装置、内視鏡、画像処理方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。
　一例として図１に示すように、内視鏡システム１０は、内視鏡１２及び表示装置１３を備えている。内視鏡１２は、内視鏡検査において医師１４によって用いられる。また、少なくとも１人の補助スタッフ１６（例えば、看護師等）が医師１４による内視鏡検査を補助する。以下では、医師１４及び補助スタッフ１６を区別して説明する必要がない場合、符号を付さずに「ユーザ」とも称する。
　内視鏡１２は、内視鏡本体１８を備えている。内視鏡１２は、内視鏡本体１８を用いて被検体２０（例えば、患者）の体内（ここでは、一例として、大腸内）に含まれる観察対象領域２１に対する診療を行うための装置である。観察対象領域２１は、医師１４によって観察される対象となる領域である。内視鏡本体１８は、被検体２０の体内に挿入される。内視鏡１２は、被検体２０の体内に挿入された内視鏡本体１８に対して、被検体２０の体内の観察対象領域２１を撮像させ、かつ、必要に応じて観察対象領域２１に対して医療的な各種処置を行う。内視鏡１２は、本開示の技術に係る「内視鏡」の一例である。内視鏡本体１８は、本開示の技術に係る「内視鏡本体」の一例である。
　内視鏡１２は、被検体２０の体内を撮像することで体内の態様を示す画像を取得して出力する。図１に示す例では、内視鏡１２の一例として、下部内視鏡が示されている。なお、下部内視鏡は、あくまでも一例に過ぎず、内視鏡１２が上部消化管内視鏡又は気管支内視鏡等の他種類の内視鏡であっても本開示の技術は成立する。
　また、本実施形態において、内視鏡１２は、体内で光を照射することにより観察対象領域２１で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。但し、これは、あくまでも一例に過ぎず、内視鏡１２が超音波内視鏡であったとしても本開示の技術は成立する。また、内視鏡１２に代えて、検査用又は外科手術用の複数のフレーム（例えば、Ｘ線等を用いて撮像されることによって得られた動画像、又は、被検体２０の体外から放射された超音波の反射波に基づく動画像）を生成するモダリティを用いたとしても、本開示の技術は成立する。
　内視鏡１２は、制御装置２２及び光源装置２４を備えている。制御装置２２及び光源装置２４は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、制御装置２２及び光源装置２４が設置されている。また、ワゴン３４の最上段の台には、表示装置１３が設置されている。
　表示装置１３は、画像を含めた各種情報を表示する。表示装置１３の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置１３には、１つ以上の画面が並べて表示される。図１に示す例では、画面３６が示されている。また、表示装置１３に代えて、又は、表示装置１３と共に、ディスプレイ付きのタブレット端末を用いてもよい。
　画面３６には、内視鏡１２によって得られた内視鏡画像４０が表示される。内視鏡画像４０には、関心領域２１Ａを含む観察対象領域２１が写っている。関心領域２１Ａは、観察対象領域２１内で要観察の領域として定められた領域（例えば、医師１４が病変を鑑別する上で注目する領域として定められた領域）である。内視鏡画像４０は、被検体２０の体内で内視鏡１２によって観察対象領域２１が撮像されることによって生成された画像である。観察対象領域２１としては、大腸の内壁が挙げられる。大腸の内壁は、あくまでも一例に過ぎず、内視鏡１２によって撮像可能な領域であればよい。内視鏡１２によって撮像可能な領域としては、例えば、管腔臓器の内壁又は外壁が挙げられる。管腔臓器としては、例えば、小腸、十二指腸、食道、胃、又は気管支等が挙げられる。内視鏡１２によって撮像される観察対象領域２１は、本開示の技術に係る「観察対象領域」の一例である。また、内視鏡画像４０は、本開示の技術に係る「医用画像」の一例である。
　画面３６に表示される内視鏡画像４０は、複数のフレームを含んで構成される動画像に含まれる１つのフレームである。つまり、画面３６には、複数のフレームの内視鏡画像４０が既定のフレームレート（例えば、数十フレーム／秒）で表示される。
　一例として図２に示すように、内視鏡１２は、操作部４２及び挿入部４４を備えている。挿入部４４は、操作部４２が操作されることにより部分的に湾曲する。挿入部４４は、医師１４による操作部４２の操作に従って、被検体２０の体内の形状（例えば、大腸管の形状）に応じて湾曲しながら挿入される。
　挿入部４４の先端部４６には、カメラ４８、照明装置５０、及び処置用開口５２が設けられている。カメラ４８は、被検体２０の体内を撮像する装置である。カメラ４８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。照明装置５０は、照明窓５０Ａ及び５０Ｂを有する。照明装置５０は、照明窓５０Ａ及び５０Ｂを介して光を照射する。照明装置５０から照射される光の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５０は、照明窓５０Ａ及び５０Ｂを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ４８は、被検体２０の体内で照明装置５０によって光が照射された状態で、被検体２０の体内を光学的手法で撮像する。
　処置用開口５２は、処置具５４を先端部４６から突出させる処置具突出口、血液及び体内汚物等を吸引する吸引口、及び流体５６を送出する送出口として用いられる。
　処置用開口５２からは、医師１４の操作に従って、処置具５４が突出する。処置具５４は、処置具挿入口５８から挿入部４４内に挿入される。処置具５４は、挿入部４４内を通過して処置用開口５２から被検体２０の体内に突出する。図２に示す例では、処置具５４として、鉗子が処置用開口５２から突出している。鉗子は、処置具５４の一例に過ぎず、処置具５４の他例としては、ワイヤ、メス、及び超音波プローブ等が挙げられる。先端部４６及び処置具５４は、本開示の技術に係る「内視鏡の先端部」の一例である。
　内視鏡本体１８には、吸引ポンプ（図示省略）が接続されており、処置用開口５２は、吸引ポンプの吸引力により、血液及び体内汚物等を吸引する。吸引ポンプの吸引力は、医師１４から内視鏡１２に対して操作部４２等を介して与えられた指示に従って制御される。内視鏡本体１８には、供給ポンプ（図示省略）が接続されており、供給ポンプによって内視鏡本体１８内に流体５６（例えば、気体及び液体）が供給される。処置用開口５２は、供給ポンプから内視鏡本体１８に供給された流体５６を送出する。処置用開口５２からは、医師１４から内視鏡１２に対して操作部４２等を介して与えられた指示に従って、流体５６として、気体（例えば、空気）と液体（例えば、生理食塩水）とが選択的に体内に送出される。流体５６の送出量は、医師１４から内視鏡１２に対して操作部４２等を介して与えられた指示に従って制御される。
　内視鏡本体１８は、ユニバーサルコード６０を介して制御装置２２及び光源装置２４に接続されている。制御装置２２には、表示装置１３及び受付装置６２が接続されている。受付装置６２は、ユーザからの指示を受け付け、受け付けた指示を電気信号として出力する。図２に示す例では、受付装置６２の一例として、キーボードが挙げられている。但し、これは、あくまでも一例に過ぎず、受付装置６２は、マウス、タッチパネル、フットスイッチ、及び／又はマイクロフォン等であってもよい。
　制御装置２２は、内視鏡１２の全体を制御する。例えば、制御装置２２は、光源装置２４を制御したり、カメラ４８との間で各種信号の授受を行ったり、表示装置１３に各種情報を表示したりする。光源装置２４は、制御装置２２の制御下で発光し、光を照明装置５０に供給する。照明装置５０には、ライトガイドが内蔵されており、光源装置２４から供給された光はライトガイドを経由して照明窓５０Ａ及び５０Ｂから照射される。制御装置２２は、カメラ４８に対して撮像を行わせ、カメラ４８から内視鏡画像４０（図１参照）を取得して既定の出力先（例えば、表示装置１３）に出力する。
　一例として図３に示すように、制御装置２２は、コンピュータ６４を備えている。コンピュータ６４は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例である。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えており、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４は電気的に接続されている。プロセッサ７０は、本開示の技術に係る「プロセッサ」の一例である。
　制御装置２２は、コンピュータ６４、バス６６、及び外部Ｉ／Ｆ６８を備えている。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えている。プロセッサ７０、ＲＡＭ７２、ＮＶＭ７４、及び外部Ｉ／Ｆ６８は、バス６６に接続されている。
　例えば、プロセッサ７０は、ＣＰＵ及びＧＰＵを有しており、制御装置２２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
　ＲＡＭ７２は、一時的に情報が格納されるメモリであり、プロセッサ７０によってワークメモリとして用いられる。ＮＶＭ７４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７４の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
　外部Ｉ／Ｆ６８は、制御装置２２の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ７０との間の各種情報の授受を司る。外部Ｉ／Ｆ６８の一例としては、ＵＳＢインタフェースが挙げられる。
　外部Ｉ／Ｆ６８には、外部装置の１つとしてカメラ４８が接続されており、外部Ｉ／Ｆ６８は、カメラ４８とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ６８を介してカメラ４８を制御する。また、プロセッサ７０は、カメラ４８によって被検体２０の体内が撮像されることで得られた内視鏡画像４０（図１参照）を外部Ｉ／Ｆ６８を介して取得する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして光源装置２４が接続されており、外部Ｉ／Ｆ６８は、光源装置２４とプロセッサ７０との間の各種情報の授受を司る。光源装置２４は、プロセッサ７０の制御下で、照明装置５０に光を供給する。照明装置５０は、光源装置２４から供給された光を照射する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして表示装置１３が接続されており、プロセッサ７０は、外部Ｉ／Ｆ６８を介して表示装置１３を制御することで、表示装置１３に対して各種情報を表示させる。
　外部Ｉ／Ｆ６８には、外部装置の１つとして受付装置６２が接続されており、プロセッサ７０は、受付装置６２によって受け付けられた指示を、外部Ｉ／Ｆ６８を介して取得し、取得した指示に応じた処理を実行する。
　ところで、近年、内視鏡１２等のモダリティがＡＩ方式の画像認識処理を実行することにより病変の有無を検出したり病変の種類を特定したりする技術が広まってきている。この技術では、単一フレームのみに対してＡＩ方式の画像認識処理が行われることによって得られた画像認識結果から、病変の有無が検出されたり病変の種類を特定されたりする。このような方法では、フレーム間の画像認識結果にぶれが生じるため、このぶれを軽減するために、時系列的に得た画像認識結果を平均化する等の後処理が行われる。しかし、実際のところ、医師１４は、観察中の部位、流体５６による粘液の状態の変化、及び／又は流体５６による粘膜の状態の変化等を総合的に判断した上で、病変の鑑別を行っている。
　例えば、大腸腫瘍性ポリープの一種である鋸歯状病変は、過形成性ポリープと見た目上の区別がし難く、癌化し易いポリープであることが知られており、内視鏡１２から時系列で得られる各種情報を総合的に判断することで、鋸歯状病変であるか過形成性ポリープであるかを慎重に鑑別する必要がある。例えば、鋸歯状病変は、ポリープ上に粘液が付着しているという特徴、及び右側大腸（例えば、上行結腸及び横行結腸等）に生じやすいという特徴を有している。そのため、医師１４は、これらの特徴を見落とすことなく判断材料として捕捉することが病変の鑑別をする上で重要となる。
　また、バレット食道癌も、鋸歯状病変と同様に、鑑別が困難な病変の１つとして知られている。バレット食道癌も、胃と食道の接合部に生じることが多いため、観察することが難しかったり、周囲粘膜からの変化（すなわち、***、及び、色の変化等)が少なかったりする。医師１４は、バレット粘膜を注意深く観察した上で、内視鏡１２からの送気状態を変化させることによる粘膜の時系列的な状態変化（例えば、送気有りでは平坦だが、送気無しでは***するという状態変化)を総合的に加味してバレット食道癌であるか否かの鑑別を行う。
　そこで、このような事情に鑑み、医師１４による病変の鑑別を支援するために、本実施形態では、制御装置２２のプロセッサ７０によって医療支援処理が行われる（図９Ａ及び図９Ｂ参照）。医療支援処理には、観察対象領域２１が写っている時系列に沿った複数の内視鏡画像４０を取得し、複数の内視鏡画像４０に対する画像認識処理を行うことで観察対象領域２１の状態変化を検出する処理が含まれている。
　一例として図４に示すように、ＮＶＭ７４には、医療支援処理プログラム７６が記憶されている。医療支援処理プログラム７６は、本開示の技術に係る「プログラム」の一例である。プロセッサ７０は、ＮＶＭ７４から医療支援処理プログラム７６を読み出し、読み出した医療支援処理プログラム７６をＲＡＭ７２上で実行する。医療支援処理は、プロセッサ７０がＲＡＭ７２上で実行する医療支援処理プログラム７６に従って画像取得部７０Ａ、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、状態変化検出部７０Ｅ、制御部７０Ｆ、及び病変情報導出部７０Ｇとして動作することによって実現される。
　ＮＶＭ７４には、第１学習済みモデル７８、複数の第２学習済みモデル８０、第３学習済みモデル８２、第４学習済みモデル８４、及び第５学習済みモデル８６が記憶されている。第１学習済みモデル７８、複数の第２学習済みモデル８０、第３学習済みモデル８２、第４学習済みモデル８４、及び第５学習済みモデル８６は、何れも、ニューラルネットワークに対して事前に機械学習が行われることによって最適化されている。
　第１学習済みモデル７８は、部位検出部７０Ｂによって用いられる。複数の第２学習済みモデル８０は、関心領域検出部７０Ｃによって選択的に用いられる。第３学習済みモデル８２は、内視鏡検出部７０Ｄによって用いられる。複数の第４学習済みモデル８４は、状態変化検出部７０Ｅによって選択的に用いられる。第５学習済みモデル８６は、病変情報導出部７０Ｇによって用いられる。
　なお、以下では、説明の便宜上、第１学習済みモデル７８、複数の第２学習済みモデル８０、第３学習済みモデル８２、第４学習済みモデル８４、及び第５学習済みモデル８６を区別して説明する必要がない場合、「学習済みモデル」と称する。また、以下では、説明の便宜上、学習済みモデルを用いた処理については、学習済みモデルが主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、学習済みモデルを、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。
　一例として図５に示すように、画像取得部７０Ａは、カメラ４８によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された内視鏡画像４０をカメラ４８から１フレーム単位で取得する。
　画像取得部７０Ａは、時系列画像群８９を保持する。時系列画像群８９は、観察対象領域２１が写っている時系列の複数の内視鏡画像４０である。時系列画像群８９には、例えば、一定フレーム数分（例えば、数十～数百フレーム分の範囲内で事前に定められたフレーム数）の内視鏡画像４０が含まれている。画像取得部７０Ａは、カメラ４８から内視鏡画像４０を取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　ここでは、画像取得部７０Ａによって時系列画像群８９が保持されて更新される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、時系列画像群８９は、ＲＡＭ７２等のように、プロセッサ７０に接続されているメモリに保持されて更新されるようにしてもよい。
　制御部７０Ｆは、第１条件を満足した場合に、開始指示信号９１を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅは、制御部７０Ｆから開始指示信号９１が入力されると、ＡＩ方式の画像認識処理を開始する。ここで、ＡＩ方式の画像認識処理とは、例えば、部位検出部７０Ｂによる第１学習済みモデル７８を用いた画像認識処理、関心領域検出部７０Ｃによる第２学習済みモデル８０を用いた画像認識処理、内視鏡検出部７０Ｄによる第３学習済みモデル８２を用いた画像認識処理、及び状態変化検出部７０Ｅによる第４学習済みモデル８４を用いた画像認識処理を指す。
　第１条件としては、例えば、内視鏡１２に対して開始指示が与えられたという条件（図７に示す例では、受付装置６２によって開始指示が受け付けられたという条件）を含む条件が挙げられる。開始指示とは、ＡＩ方式の画像認識処理を開始させる指示を指す。
　部位検出部７０Ｂは、時系列画像群８９（すなわち、画像取得部７０Ａによって保持されている時系列の複数の内視鏡画像４０）に対して、第１学習済みモデル７８を用いた画像認識処理を行うことにより被検体２０内の部位を検出する。第１学習済みモデル７８は、ＡＩ方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第１教師データを用いた機械学習が行われることによって最適化されている。第１教師データとしては、例えば、内視鏡検査の対象となり得る部位が撮像されることによって時系列で得られた複数の画像（例えば、時系列の複数の内視鏡画像４０に相当する複数の画像）を例題データとし、部位に関する部位情報９０を正解データとした教師データが挙げられる。なお、ここでは、１つの第１学習済みモデル７８のみが部位検出部７０Ｂによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の第１学習済みモデル７８から選択された第１学習済みモデル７８が部位検出部７０Ｂによって用いられるようにしてもよい。この場合、各第１学習済みモデル７８は、内視鏡検査の種類別に特化した機械学習が行われることによって作成され、現在行われている内視鏡検査の種類に対応する第１学習済みモデル７８が選択されて部位検出部７０Ｂによって用いられるようにすればよい。
　部位情報９０の一例としては、部位の名称を示す情報が挙げられる。ここで、内視鏡検査の対象となり得る部位としては、例えば、大腸に含まれる単一の部位（例えば、上行結腸）及び隣接する複数の部位（例えば、Ｓ条結腸及び下行結腸）等が挙げられる。ここでは、大腸内の部位を挙げているが、これは、あくまでも一例に過ぎず、胃、食道、胃食道接合部、十二指腸、又は気管支等の管腔臓器内の部位であってもよい。
　部位検出部７０Ｂは、時系列画像群８９を取得し、取得した時系列画像群８９を第１学習済みモデル７８に入力する。これにより、第１学習済みモデル７８は、入力された複数の内視鏡画像４０に対応する部位情報９０を出力する。部位検出部７０Ｂは、第１学習済みモデル７８から出力された部位情報９０を取得する。部位検出部７０Ｂによって取得された部位情報９０は、内視鏡画像４０に写っている観察対象領域２１に対応する部位に関する情報である。部位情報９０は、本開示の技術に係る「部位情報」及び「画像認識処理に基づく情報である第１情報」の一例である。
　関心領域検出部７０Ｃは、時系列画像群８９に対して、第２学習済みモデル８０を用いた画像認識処理を行うことにより、観察対象領域２１に含まれる関心領域２１Ａを検出する。関心領域２１Ａとしては、例えば、粘液領域（すなわち、粘液が付着している領域）、バレット粘膜、及び／又はバレット腺がん等が挙げられる。
　関心領域検出部７０Ｃによって用いられる第２学習済みモデル８０は、ＮＶＭ７４に記憶されている複数の第２学習済みモデル８０から選択される。ＮＶＭ７４に記憶されている複数の第２学習済みモデル８０は異なる部位に対応している。関心領域検出部７０Ｃは、複数の第２学習済みモデル８０から、部位検出部７０Ｂによって取得された部位情報９０に対応する第２学習済みモデル８０を選択して用いる。例えば、部位情報９０が上行結腸に関する情報であれば、複数の第２学習済みモデル８０から、上行結腸用に作られた第２学習済みモデル８０が関心領域検出部７０Ｃによって選択される。また、例えば、部位情報９０がＳ状直腸及び下行結腸に関する情報であれば、複数の第２学習済みモデル８０から、Ｓ状直腸及び下行結腸用に作られた第２学習済みモデル８０が関心領域検出部７０Ｃによって選択される。なお、ここでは、関心領域検出部７０Ｃによって用いられる第２学習済みモデル８０が部位情報９０に応じて複数の第２学習済みモデル８０から選択される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、関心領域検出部７０Ｃによって用いられる第２学習済みモデル８０として、内視鏡検査の対象となり得る全ての部位に対応する単一の第２学習済みモデル８０が予め定められていてもよい。
　第２学習済みモデル８０は、ＡＩ方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第２教師データを用いた機械学習が行われることによって最適化されている。第２教師データとしては、例えば、内視鏡検査の対象となり得る関心領域２１Ａ（例えば、部位情報９０から特定される部位に生じた関心領域２１Ａ）が撮像されることによって時系列で得られた複数の画像（例えば、時系列の複数の内視鏡画像４０に相当する複数の画像）を例題データとし、関心領域２１Ａに関する関心領域情報９２を正解データとした教師データが挙げられる。関心領域情報９２の一例としては、関心領域２１Ａの有無を示す情報、及び関心領域２１Ａの名称を示す情報が挙げられる。
　関心領域検出部７０Ｃは、時系列画像群８９を取得し、取得した時系列画像群８９を第２学習済みモデル８０に入力する。これにより、第２学習済みモデル８０は、入力された時系列画像群８９に対応する関心領域情報９２を出力する。関心領域検出部７０Ｃは、第２学習済みモデル８０から出力された関心領域情報９２を取得する。関心領域検出部７０Ｃによって取得された関心領域情報９２は、内視鏡画像４０に写っている観察対象領域２１に含まれる関心領域２１Ａに関する情報である。関心領域情報９２は、開示の技術に係る「関心領域情報」及び「画像認識処理に基づく情報である第１情報」の一例である。
　関心領域情報９２の一例としては、関心領域２１Ａの名称を示す情報が挙げられる。内視鏡検査の対象となり得る関心領域２１Ａとしては、例えば、単一の関心領域２１Ａ（例えば、特定の粘液領域）及び時系列で遷移する複数の関心領域２１Ａ（例えば、特定の粘液領域及び特定の粘膜領域）等が挙げられる。
　一例として図６に示すように、内視鏡検出部７０Ｄは、時系列画像群８９に対して、第３学習済みモデル８２を用いた画像認識処理を行うことにより内視鏡１２の動作を検出する。第３学習済みモデル８２は、ＡＩ方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第３教師データを用いた機械学習が行われることによって最適化されている。第３教師データとしては、例えば、カメラ４８によって体内が撮像されることによって時系列で得られた複数の画像を例題データとし、内視鏡１２の動作に関する内視鏡情報９４を正解データとした教師データが挙げられる。なお、ここでは、１つの第３学習済みモデル８２のみが内視鏡検出部７０Ｄによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の第３学習済みモデル８２から選択された第３学習済みモデル８２が内視鏡検出部７０Ｄによって用いられるようにしてもよい。この場合、各第３学習済みモデル８２は、内視鏡検査の種類別に特化した機械学習が行われることによって作成され、現在行われている内視鏡検査の種類（ここでは、一例として、内視鏡１２の種類）に対応する第３学習済みモデル８２が選択されて内視鏡検出部７０Ｄによって用いられるようにすればよい。
　内視鏡検出部７０Ｄは、時系列画像群８９を取得し、取得した時系列画像群８９を第３学習済みモデル８２に入力する。これにより、第３学習済みモデル８２は、入力された複数の内視鏡画像４０に対応する内視鏡情報９４を出力する。内視鏡検出部７０Ｄは、第３学習済みモデル８２から出力された内視鏡情報９４を取得する。内視鏡検出部７０Ｄによって取得された内視鏡情報９４は、現在使用している内視鏡１２の動作に関する情報である。内視鏡情報９４は、本開示の技術に係る「画像認識処理に基づく情報である第１情報」の一例である。
　内視鏡情報９４の一例としては、処置具情報９４Ａ、動作速度情報９４Ｂ、及び流体送出情報９４Ｃ等が挙げられる。処置具情報９４Ａは、処置具５４（図２参照）に関する情報である。処置具５４に関する情報としては、例えば、処置具５４を使用中であるか否かを示す情報、及び、使用している処置具５４の種類を示す情報が挙げられる。動作速度情報９４Ｂは、内視鏡１２の先端部４６（図２参照）の動作速度に関する情報（例えば、「ミリメートル／秒」の単位で表現される速度に関する情報）である。
　流体送出情報９４Ｃは、流体５６（図２参照）の送出に関する情報である。流体５６の送出に関する情報とは、例えば、流体５６の単位時間当たりの送出量に関する情報（例えば、「ミリリットル／秒」の単位で表現される送出量に関する情報）を指す。流体送出情報９４Ｃは、送気量情報９４Ｃ１及び送水量情報９４Ｃ２を含む。送気量情報９４Ｃ１は、気体の送出量に関する情報（例えば、気体の単位時間当たりの送出量に関する情報）である。送水量情報９４Ｃ２は、液体の送出量に関する情報（例えば、液体の単位時間当たりの送出量に関する情報）である。流体送出情報９４Ｃは、本開示の技術に係る「流体送出情報」の一例である。
　なお、内視鏡情報９４には、内視鏡１２の操作情報(例えば、カメラ４８の操作時間を計測した結果に基づく情報等)、及び／又は、先端部４６に搭載された各種センサ（例えば、圧力センサ等）から得られた情報等が含まれていてもよい。
　一例として図７に示すように、状態変化検出部７０Ｅは、時系列画像群８９に対して、第４学習済みモデル８４を用いた画像認識処理を行うことにより、観察対象領域２１の状態変化を検出する。観察対象領域２１の状態変化としては、例えば、粘着色の変化、粘膜構造を含む粘膜状態の変化、及び／又は粘液付着状態の変化等が挙げられる。
　第４学習済みモデル８４は、ＡＩ方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第４教師データを用いた機械学習が行われることによって最適化されている。第４教師データとしては、例えば、カメラ４８によって体内が撮像されることによって時系列で得られた複数の画像、関心領域情報９２、及び内視鏡情報９４を例題データとし、観察対象領域２１の状態変化に関する状態変化情報９６を正解データとした教師データが挙げられる。なお、ここでは、１つの第４学習済みモデル８４のみが状態変化検出部７０Ｅによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の第４学習済みモデル８４から選択された第４学習済みモデル８４が状態変化検出部７０Ｅによって用いられるようにしてもよい。この場合、各第４学習済みモデル８４は、内視鏡検査の種類別に特化した機械学習が行われることによって作成され、現在行われている内視鏡検査の種類に対応する第４学習済みモデル８４が選択されて状態変化検出部７０Ｅによって用いられるようにすればよい。
　観察対象領域２１の状態変化には、関心領域２１Ａの変化（例えば、流体５６の送出に伴う関心領域２１Ａの変化）も含まれる。関心領域２１Ａの変化としては、例えば、関心領域２１Ａに粘液が付着された状態から関心領域２１Ａから非腫瘍性ポリープが現出した状態への変化が挙げられる。状態変化情報９６には、粘液情報９６Ａ、粘膜情報９６Ｂ、及びポリープ情報９６Ｃ等が含まれる。粘液情報９６Ａは、粘液の変化に関する情報である。粘液情報９６Ａとしては、例えば、粘液の付着状態の変化を示す情報、及び／又は粘液の色の変化を示す情報等が挙げられる。粘膜情報９６Ｂは、粘膜状態の変化に関する情報である。粘膜情報９６Ｂとしては、例えば、粘膜構造の変化を示す情報、及び／又は粘膜の色の変化を示す情報等が挙げられる。ポリープ情報９６Ｃは、ポリープに関する情報である。ポリープ情報９６Ｃとしては、例えば、関心領域２１Ａに粘液が付着した状態から関心領域２１Ａからポリープ（例えば、非腫瘍性ポリープ又は腫瘍性ポリープ）が現出した状態への変化を示す情報である。
　状態変化検出部７０Ｅは、時系列画像群８９を取得し、取得した時系列画像群８９を第４学習済みモデル８４に入力する。また、状態変化検出部７０Ｅは、関心領域検出部７０Ｃによって取得された関心領域情報９２を第４学習済みモデル８４に入力する。更に、状態変化検出部７０Ｅは、内視鏡検出部７０Ｄによって取得された内視鏡情報９４を第４学習済みモデル８４に入力する。このように、第４学習済みモデル８４に、時系列の複数の内視鏡画像４０、関心領域情報９２、及び内視鏡情報９４が入力されると、第４学習済みモデル８４は、入力された時系列の複数の内視鏡画像４０、関心領域情報９２、及び内視鏡情報９４に対応する状態変化情報９６を出力する。状態変化検出部７０Ｅは、第４学習済みモデル８４から出力された状態変化情報９６を取得する。状態変化検出部７０Ｅによって取得された状態変化情報９６は、内視鏡１２を用いて現在観察している観察対象領域２１の状態変化に関する情報である。
　すなわち、状態変化検出部７０Ｅは、関心領域情報９２及び内視鏡情報９４に基づいてＡＩ方式の画像認識処理を行うことにより状態変化を検出する。なお、関心領域情報９２は、部位情報９０に基づいて選択された第２学習済みモデル８０を用いた画像認識処理によって得られた情報である（図５参照）。従って、状態変化検出部７０Ｅによる状態変化の検出は、間接的に、部位情報９０に基づいてＡＩ方式の画像認識処理が行われることによって実現されたとも言える。
　制御部７０Ｆは、第２条件を満足した場合に、終了指示信号９８を状態変化検出部７０Ｅに出力する。第２条件としては、例えば、内視鏡１２に対して終了指示が与えられたという条件（図７に示す例では、受付装置６２によって終了指示が受け付けられたという条件）を含む条件が挙げられる。終了指示とは、ＡＩ方式の画像認識処理を終了させる指示を指す。
　状態変化検出部７０Ｅは、制御部７０Ｆから終了指示信号９８が入力されると、ＡＩ方式の画像認識処（図７に示す例では、第４学習済みモデル８４を用いた画像認識処理）を終了し、状態変化情報９６を消去する。状態変化情報９６は、本開示の技術に係る「画像認識処理に基づく情報である第１情報」の一例である。
　制御部７０Ｆは、第２条件を満足した場合に、終了指示信号９８を、関心領域検出部７０Ｃ、及び内視鏡検出部７０Ｄにも出力する。部位検出部７０Ｂは、制御部７０Ｆから終了指示信号９８が入力されると、ＡＩ方式の画像認識処理（図５に示す例では、第１学習済みモデル７８を用いた画像認識処理）を終了し、部位情報９０（図５参照）を消去する。関心領域検出部７０Ｃは、制御部７０Ｆから終了指示信号９８が入力されると、ＡＩ方式の画像認識処（図５に示す例では、第２学習済みモデル８０を用いた画像認識処理）を終了し、関心領域情報９２（図５参照）を消去する。内視鏡検出部７０Ｄは、制御部７０Ｆから終了指示信号９８が入力されると、第３学習済みモデル８２を用いた画像認識処理）を終了し、内視鏡情報９４（図６参照）を消去する。
　このように、プロセッサ７０がＡＩ方式の画像認識処理を開始してから終了するまでの間、プロセッサ７０によって保持されているＡＩ方式の画像認識処理に基づく情報（すなわち、部位情報９０、関心領域情報９２、内視鏡情報９４、及び状態変化情報９６）は、ＡＩ方式の画像認識処理が終了した場合（ここでは、一例として、第２条件を満足した場合）に消去される。
　制御部７０Ｆは、第２条件を満足した場合に、終了指示信号９８を、画像取得部７０Ａにも出力する。画像取得部７０Ａは、制御部７０Ｆから終了指示信号９８が入力されると、現時点で保持している時系列画像群８９を消去する。すなわち、ＡＩ方式の画像認識処理で用いられる情報（すなわち、時系列画像群８９）も、ＡＩ方式の画像認識処理が終了した場合（ここでは、一例として、第２条件を満足した場合）に消去される。
　第１学習済みモデル７８（図５参照）を用いて行われる画像認識処理、第２学習済みモデル８０（図５参照）を用いて行われる画像認識処理、第３学習済みモデル８２（図６参照）を用いて行われる画像認識処理、及び第４学習済みモデル８４（図７参照）を用いて行われる画像認識処理は、本開示の技術に係る「画像認識処理」の一例である。
　一例として図８に示すように、病変情報導出部７０Ｇは、状態変化検出部７０Ｅによって検出された状態変化に基づいて、観察対象領域２１に対する病変に関する病変情報１０２を導出する。病変情報１０２としては、例えば、病変の有無を示す情報、及び／又は、病変の種類を示す情報が挙げられる。この場合、例えば、病変情報導出部７０Ｇは、状態変化検出部７０Ｅから状態変化情報９６を取得し、取得した状態変化情報９６を用いたＡＩ方式の導出処理を行うことにより病変情報１０２を導出する。すなわち、病変情報導出部７０Ｇは、状態変化情報９６に対して、第５学習済みモデル８６を用いたＡＩ方式の導出処理を行うことにより病変情報１０２を導出する。
　第５学習済みモデル８６は、ニューラルネットワークに対して第５教師データを用いた機械学習が行われることによって最適化されている。第５教師データとしては、例えば、状態変化情報９６を例題データとし、病変情報１０２を正解データとした教師データが挙げられる。
　病変情報導出部７０Ｇは、状態変化検出部７０Ｅから状態変化情報９６を取得し、取得した状態変化情報９６を第５学習済みモデル８６に入力する。これにより、第５学習済みモデル８６は、入力された状態変化情報９６に対応する病変情報１０２を出力する。病変情報導出部７０Ｇは、第５学習済みモデル８６から出力された病変情報１０２を取得する。病変情報導出部７０Ｇによって取得された病変情報１０２は、内視鏡１２を用いて現在観察している観察対象領域２１の病変（例えば、観察対象領域２１に含まれる関心領域２１Ａに対する病変）に関する情報である。
　制御部７０Ｆは、病変情報導出部７０Ｇによって導出された病変情報１０２に基づく情報を出力する。出力先は、表示装置１３である。すなわち、制御部７０Ｆは、病変情報導出部７０Ｇによって導出された病変情報１０２に基づく情報を表示装置１３の画面３６に表示する。病変情報１０２に基づく情報の第１例としては、病変の有無を示す情報、及び病変の種類を示す情報が挙げられる。病変情報１０２に基づく情報の第２例としては、病変情報１０２から派生した情報（例えば、病変情報１０２の信頼度を示す情報）が挙げられる。図８に示す例では、画面３６内の内視鏡画像４０に隣接する位置に、病変情報１０２に基づく情報が表示されている。また、図８に示す例では、内視鏡画像４０に写っている関心領域２１Ａを示す画像領域１０３を取り囲む検出枠１０３Ａも画面３６に表示されている。例えば、検出枠１０３Ａは、関心領域検出部７０ＣによるＡＩ方式の画像認識処理で用いられるバウンディングボックスに基づいて形成された枠である。なお、表示装置１３は、本開示の技術に係る「出力先」及び「表示装置」の一例であり、病変情報１０２に基づく情報は、本開示の技術に係る「画像認識処理に基づく情報」及び「第２情報」の一例である。
　ここでは、病変情報１０２に基づく情報の出力先として表示装置１３が例示されているが、本開示の技術はこれに限定されず、病変情報１０２に基づく情報の出力先は、例えば、内視鏡システム１０が通信可能に接続されているサーバ等の情報処理装置であってもよい。また、病変情報１０２に基づく情報は、記憶媒体（例えば、ＮＶＭ７４、及び／又は、内視鏡１２の外部に設けられている装置のメモリ等）に記憶されるようにしてもよい。また、病変情報１０２に基づく情報は、電子カルテに登録されてもよい。
　次に、内視鏡システム１０の本開示の技術に係る部分についての作用を図９Ａ及び図９Ｂを参照しながら説明する。
　図９Ａ及び図９Ｂには、プロセッサ７０によって行われる医療支援処理の流れの一例が示されている。図９Ａ及び図９Ｂに示す医療支援処理の流れは、本開示の技術に係る「画像処理方法」の一例である。
　図９Ａに示す医療支援処理では、先ず、ステップＳＴ１０で、画像取得部７０Ａは、カメラ４８によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、カメラ４８によって１フレーム分の撮像が行われていない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、カメラ４８によって１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１２へ移行する。
　ステップＳＴ１２で、画像取得部７０Ａは、カメラ４８から１フレーム分の内視鏡画像４０を取得する。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。
　ステップＳＴ１４で、画像取得部７０Ａは、一定フレーム数の内視鏡画像４０を保持しているか否かを判定する。ステップＳＴ１４において、一定フレーム数の内視鏡画像４０を保持していない場合は、判定が否定されて、医療支援処理はステップＳＴ１０へ移行する。ステップＳＴ１４において、一定フレーム数の内視鏡画像４０を保持している場合は、判定が肯定されて、医療支援処理はステップＳＴ１６へ移行する。
　ステップＳＴ１６で、画像取得部７０Ａは、ステップＳＴ１２で取得した内視鏡画像４０をＦＩＦＯ方式で時系列画像群８９に加えることにより時系列画像群８９を更新する。ステップＳＴ１６の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。
　ステップＳＴ１８で、制御部７０Ｆは、第１条件を満足したか否かを判定する。ステップＳＴ１８において、第１条件を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ１０へ移行する。ステップＳＴ１８において、第１条件を満足した場合は、判定が肯定されて、医療支援処理はステップＳＴ２０へ移行する。
　ステップＳＴ２０で、部位検出部７０Ｂは、画像取得部７０Ａによって保持されている時系列画像群８９に対して、第１学習済みモデル７８を用いた画像認識処理を行うことにより部位情報９０を取得する。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ２２へ移行する。
　ステップＳＴ２２で、関心領域検出部７０Ｃは、複数の第２学習済みモデル８０から、ステップＳＴ２０で取得された部位情報９０に対応する第２学習済みモデル８０を選択する。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。
　ステップＳＴ２４で、関心領域検出部７０Ｃは、画像取得部７０Ａによって保持されている時系列画像群８９に対して、ステップＳＴ２２で選択した第２学習済みモデルを用いた画像認識処理を行うことにより関心領域情報９２を取得する。ステップＳＴ２４の処理が実行された後、医療支援処理は、図９Ｂに示すステップＳＴ２６へ移行する。
　ステップＳＴ２６で、内視鏡検出部７０Ｄは、画像取得部７０Ａによって保持されている時系列画像群８９に対して、第３学習済みモデル８２を用いた画像認識処理を行うことにより内視鏡情報９４を取得する。ステップＳＴ２６の処理が実行された後、医療支援処理はステップＳＴ２８へ移行する。
　ステップＳＴ２８で、状態変化検出部７０Ｅは、画像取得部７０Ａによって保持されている時系列画像群８９、ステップＳＴ２４で取得された関心領域情報９２、及びステップＳＴ２６で取得された内視鏡情報９４を第４学習済みモデル８４に入力することにより、第４学習済みモデル８４から状態変化情報９６を取得する。ステップＳＴ２８の処理が実行された後、医療支援処理はステップＳＴ３０へ移行する。
　ステップＳＴ３０で、制御部７０Ｆは、第２条件を満足したか否かを判定する。ステップＳＴ３０において、第２条件を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ３４へ移行する。ステップＳＴ３０において、第２条件を満足した場合は、判定が肯定されて、医療支援処理はステップＳＴ３２へ移行する。
　ステップＳＴ３２で、プロセッサ７０は、ＡＩ方式の画像認識処理を終了し、画像認識処理に基づく情報等を消去する。すなわち、部位検出部７０Ｂは、ＡＩ方式の画像認識処（図５に示す例では、第１学習済みモデル７８を用いた画像認識処理）を終了し、部位情報９０（図５参照）を消去する。関心領域検出部７０Ｃは、ＡＩ方式の画像認識処（図５に示す例では、第２学習済みモデル８０を用いた画像認識処理）を終了し、関心領域情報９２（図５参照）を消去する。内視鏡検出部７０Ｄは、第３学習済みモデル８２を用いた画像認識処理）を終了し、内視鏡情報９４（図６参照）を消去する。画像取得部７０Ａは、現時点で保持している時系列画像群８９を消去する。ステップＳＴ３２の処理が実行された後、医療支援処理はステップＳＴ３４へ移行する。
　ステップＳＴ３４で、病変情報導出部７０Ｇは、ステップＳＴ２８で取得された状態変化情報９６を第５学習済みモデル８６に入力することで、第５学習済みモデル８６から状態変化情報９６に対応する病変情報１０２を導出する。ステップＳＴ３４の処理が実行された後、医療支援処理はステップＳＴ３６へ移行する。
　ステップＳＴ３６で、制御部７０Ｆは、ステップＳＴ３４で導出された病変情報１０２に基づく情報を、表示装置１３の画面３６に表示する。ステップＳＴ３６の処理が実行された後、医療支援処理はステップＳＴ３８へ移行する。
　ステップＳＴ３８で、制御部７０Ｆは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、内視鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６２によって受け付けられたという条件）が挙げられる。
　ステップＳＴ３８において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、図９Ａに示すステップＳＴ１０へ移行する。ステップＳＴ３８において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
　以上説明したように、内視鏡システム１０では、カメラ４８によって生成された時系列画像群８９（例えば、流体５６の送出前後の観察対象領域２１の態様を特定可能な時系列の複数の内視鏡画像４０）に対するＡＩ方式の画像認識処理が行われることによって観察対象領域２１の状態変化が検出される。従って、単一の内視鏡画像４０のみ（例えば、流体５６を送出していないタイミングで得られた単一の内視鏡画像４０のみ）を用いて観察対象領域２１の状態変化を検出する場合に比べ、観察対象領域２１の状態変化を高精度に検出することができる。このように、観察対象領域２１の状態変化を高精度に検出することができれば、例えば、医師１４は、一般的に鑑別が困難な病変として知られている鋸歯状病変又はバレット食道癌等の鑑別を精度良く行うことが可能となる。
　また、内視鏡システム１０では、状態変化検出部７０Ｅによって、粘着色の変化、粘膜構造を含む粘膜状態の変化、及び／又は、粘液付着状態の変化が観察対象領域２１の状態変化として検出される。従って、単一の内視鏡画像４０のみを用いて粘着色の変化、粘膜構造を含む粘膜状態の変化、及び／又は、粘液付着状態の変化を検出する場合に比べ、粘着色の変化、粘膜構造を含む粘膜状態の変化、及び／又は、粘液付着状態の変化を、観察対象領域２１の状態変化として高精度に検出することができる。
　また、内視鏡システム１０では、内視鏡検出部７０Ｄによって、時系列画像群８９に対してＡＩ方式の画像認識処理が行われることで、内視鏡情報９４が取得される。そして、状態変化検出部７０Ｅによって、内視鏡情報９４に基づいて状態変化が検出される。従って、内視鏡情報９４を全く考慮せずに状態変化を検出する場合に比べ、状態変化を高精度に検出することができる。また、内視鏡情報９４には、流体送出情報９４Ｃが含まれている。よって、流体送出情報９４Ｃを全く考慮せずに状態変化を検出する場合に比べ、状態変化を高精度に検出することができる。
　また、内視鏡システム１０では、第１条件を満足した場合にＡＩ方式の画像認識処理が開始される。従って、無条件でＡＩ方式の画像認識処理が開始される場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を開始することができる。また、本実施形態では、第１条件として、内視鏡１２に対して開始指示が与えられたという条件（図７に示す例では、受付装置６２によって開始指示が受け付けられたという条件）が適用されている。よって、医師１４が意図するタイミングでＡＩ方式の画像認識処理を開始することができる。
　また、内視鏡システム１０では、第２条件を満足した場合にＡＩ方式の画像認識処理が終了する。従って、無条件でＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。また、本実施形態では、第２条件として内視鏡１２に対して終了指示が与えられたという条件（図７に示す例では、受付装置６２によって終了指示が受け付けられたという条件）を含む条件が適用されている。よって、医師１４が意図するタイミングでＡＩ方式の画像認識処理を終了させることができる。
　また、内視鏡システム１０では、第２条件を満足した場合に、ＡＩ方式の画像認識処理に基づく情報が消去される。従って、ＡＩ方式の画像認識処理に基づく情報を無条件で消去する場合に比べ、医師１４が意図しないタイミングでＡＩ方式の画像認識処理に基づく情報が消去されないようにすることができる。
　また、内視鏡システム１０では、ＡＩ方式の画像認識処理を開始してから終了するまでの間、ＡＩ方式の画像認識処理に基づく情報が保持され、ＡＩ方式の画像認識処理が終了した場合にＡＩ方式の画像認識処理に基づく情報が消去される。従って、ＡＩ方式の画像認識処理が終了するまでの間、ＡＩ方式の画像認識処理に基づく情報を用いた処理（例えば、病変情報導出部７０Ｇによる処理）を行うことができ、かつ、ＡＩ方式の画像認識処理が不要となったタイミングでＡＩ方式の画像認識処理に基づく情報を消去することができる。
　また、内視鏡システム１０では、関心領域情報９２が関心領域検出部７０Ｃによって取得されたことを条件に、状態変化検出部７０Ｅによって観察対象領域２１の状態変化が検出される。従って、関心領域情報９２が検出される前段階で観察対象領域２１の状態変化を検出する場合に比べ、好適なタイミング（例えば、観察対象領域２１に関心領域２１Ａが含まれるタイミング）で観察対象領域２１の状態変化を検出することができる。換言すると、例えば、観察対象領域２１に関心領域２１Ａが含まれていない場合に観察対象領域２１の状態変化が検出されないようにすることができる。
　また、内視鏡システム１０では、部位情報９０が部位検出部７０Ｂによって取得されたことを条件に、状態変化検出部７０Ｅによって観察対象領域２１の状態変化が検出される。従って、部位情報９０が検出される前段階で観察対象領域２１の状態変化を検出する場合に比べ、好適なタイミング（例えば、内視鏡画像４０に、観察対象領域２１に対応する部位として、指定された部位が写り込んだタイミング）で観察対象領域２１の状態変化を検出することができる。換言すると、例えば、内視鏡画像４０に写り込んだ部位が、指定された部位とは異なる部位である場合に、観察対象領域２１の状態変化が検出されないようにすることができる。
　また、内視鏡システム１０では、状態変化検出部７０Ｅによって検出された状態変化に基づいて、病変情報導出部７０Ｇによって病変情報１０２が導出される。従って、単一の内視鏡画像４０のみを用いて観察対象領域２１の状態変化を予測し、予測した状態変化に基づいて病変情報１０２を導出する場合に比べ、信頼性の高い病変情報１０２を導出することができる。
　また、内視鏡システム１０では、状態変化検出部７０Ｅによって関心領域２１Ａの変化が検出される。例えば、状態変化検出部７０Ｅによって、関心領域２１Ａの変化として、関心領域２１Ａに粘液が付着された状態から関心領域２１Ａから非腫瘍性ポリープが現出した状態への変化が検出される。従って、関心領域２１Ａの変化として、関心領域２１Ａに粘液が付着された状態から関心領域２１Ａから非腫瘍性ポリープが現出した状態への変化を、単一の内視鏡画像４０のみを用いて予測し、予測した変化に基づいて病変情報１０２を導出する場合に比べ、信頼性の高い病変情報１０２を導出することができる。
　また、内視鏡システム１０では、制御部７０Ｆによって病変情報１０２に基づく情報が出力される。出力先としては、表示装置１３及び／又は情報処理装置（サーバ、パーソナル・コンピュータ、又はタブレット端末）等が挙げられる。従って、病変情報１０２に基づく情報の出力先で病変情報１０２に基づく情報を用いた処理を行うことができる。
　また、内視鏡システム１０では、制御部７０Ｆによって病変情報１０２に基づく情報が表示装置１３の画面３６に表示される。従って、病変情報１０２に基づく情報をユーザに把握させることができる。
　なお、上記実施形態では、第４学習済みモデル８４に時系列画像群８９、関心領域情報９２、及び内視鏡情報９４が入力され、これらに対応する状態変化情報９６が第４学習済みモデル８４から出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第４学習済みモデル８４に更に部位情報９０が入力され、第４学習済みモデル８４から、部位情報９０、時系列画像群８９、関心領域情報９２、及び内視鏡情報９４に対応する状態変化情報９６が出力されるようにしてもよい。この場合、第４学習済みモデル８４を作成するために用いる第４教師データとして、例えば、カメラ４８によって体内が撮像されることによって時系列で得られた複数の画像、部位情報９０、関心領域情報９２、及び内視鏡情報９４を例題データとし、観察対象領域２１の状態変化に関する状態変化情報９６を正解データとした教師データを用いればよい。
　また、第４学習済みモデル８４に対して時系列画像群８９の他に、部位情報９０、関心領域情報９２、及び／又は内視鏡情報９４が入力され、入力に対応する状態変化情報９６が第４学習済みモデル８４から出力されるようにしてもよい。この場合も、第４学習済みモデル８４を作成するために用いる第４教師データとして、上記と同様の要領で、第４学習済みモデル８４に入力される情報を例題データとした教師データを用いればよい。また、第４学習済みモデル８４を作成するために用いる第４教師データは、カメラ４８によって体内が撮像されることによって時系列で得られた複数の画像を例題データとし、観察対象領域２１の状態変化に関する状態変化情報９６を正解データとした教師データであってもよい。この場合、第４学習済みモデル８４に時系列画像群８９が入力されると、入力された時系列画像群８９に対応する状態変化情報９６が第４学習済みモデル８４から出力される。すなわち、状態変化検出部７０Ｅによって、時系列画像群８９に対してＡＩ方式の画像認識処理（すなわち、第４学習済みモデル８４を用いた画像認識処理）が行われることで、観察対象領域２１の状態変化が検出される。
　上記実施形態では、内視鏡１２に対して与えられた開始指示に基づいてＡＩ方式の画像認識処理が行われる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、内視鏡１２の動作に基づいてＡＩ方式の画像認識処理が行われるようにしてもよい。この場合、例えば、内視鏡１２の動作は、内視鏡情報９４から特定される。
　ここで、内視鏡１２の動作に基づいてＡＩ方式の画像認識処理が行われるようにするための一例としては、例えば、図１０に示すように、制御部７０Ｆが、内視鏡情報９４を用いた第１条件を満足した場合に、開始指示信号９１を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する形態例が挙げられる。内視鏡情報９４を用いた第１条件の第１例としては、内視鏡１２の先端部４６が静止したという条件が挙げられる。内視鏡１２の先端部４６が静止したか否かは、動作速度情報９４Ｂに基づいて判定される。内視鏡情報９４を用いた第１条件の第２例としては、内視鏡１２の先端部４６の移動速度が低下したという条件が挙げられる。内視鏡１２の先端部４６の移動速度が低下したか否かは、動作速度情報９４Ｂに基づいて判定される。ここで、移動速度の低下とは、例えば、移動速度の既定速度未満への低下（例えば、数十ミリメール／秒から数ミリメートル／秒への低下）を指す。
　このように、ここでは、内視鏡１２の動作に基づいてＡＩ方式の画像認識処理が行われるので、内視鏡１２の動作とは無関係にＡＩ方式の画像認識処理が行われる場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を行うことができる。また、ここでは、内視鏡１２の先端部４６が静止したという条件、又は、内視鏡１２の先端部４６の移動速度が低下したという条件を満足した場合に、ＡＩ方式の画像認識処理が開始される。従って、内視鏡１２の先端部４６の移動速度とは無関係にＡＩ方式の画像認識処理を開始する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を開始することができる。
　また、ＡＩ方式の画像認識処理は、関心領域情報９２に基づいて行われるようにしてもよい。この場合、例えば、図１０に示すように、制御部７０Ｆが、関心領域情報９２を用いた第１条件を満足した場合に、開始指示信号９１を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。関心領域情報９２を用いた第１条件の第１例としては、観察対象領域２１に関心領域２１Ａが含まれているという条件が挙げられる。観察対象領域２１に関心領域２１Ａが含まれているか否かは、関心領域情報９２に基づいて判定される。関心領域情報９２を用いた第１条件の第２例としては、観察対象領域２１に特定の関心領域２１Ａ（例えば、粘液が付着している領域）が含まれているという条件が挙げられる。観察対象領域２１に特定の関心領域２１Ａが含まれているか否かは、関心領域情報９２に基づいて判定される。
　このように、ここでは、関心領域情報９２に基づいてＡＩ方式の画像認識処理が行われるので、関心領域情報９２とは無関係にＡＩ方式の画像認識処理が行われる場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を行うことができる。また、ここでは、観察対象領域２１に関心領域２１Ａが含まれているという条件を満足した場合に、ＡＩ方式の画像認識処理が開始される。従って、観察対象領域２１に関心領域２１Ａが含まれているか否かに関わらずＡＩ方式の画像認識処理を開始する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を開始することができる。換言すると、例えば、観察対象領域２１に関心領域２１Ａが含まれていない場合に画像認識処理が開始されないようにすることができる。
　また、ＡＩ方式の画像認識処理は、部位情報９０に基づいて行われるようにしてもよい。この場合、例えば、図１０に示すように、制御部７０Ｆが、部位情報９０を用いた第１条件を満足した場合に、開始指示信号９１を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。部位情報９０を用いた第１条件としては、観察対象領域２１に対応する部位が観察対象として指定された部位（例えば、上行結腸）であるという条件が挙げられる。部位の指定は、例えば、受付装置６２を介して行われたり、内視鏡システム１０と通信可能な通信装置を介して行われたりすればよく、部位の指定方法は、如何なる方法であってもよい。観察対象領域２１に対応する部位が観察対象として指定された部位であるか否かは、部位情報９０に基づいて判定される。
　このように、ここでは、部位情報９０に基づいてＡＩ方式の画像認識処理が行われるので、部位情報９０とは無関係にＡＩ方式の画像認識処理が行われる場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を行うことができる。また、ここでは、観察対象領域２１に対応する部位が観察対象として指定された部位であるという条件を満足した場合に、ＡＩ方式の画像認識処理が開始される。従って、観察対象領域２１に対応する部位に関わらずＡＩ方式の画像認識処理を開始する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を開始することができる。換言すると、例えば、観察対象領域２１に対応する部位が観察対象として指定された部位（例えば、上行結腸）とは異なる部位（例えば、下行結腸）である場合に画像認識処理が開始されないようにすることができる。
　また、ＡＩ方式の画像認識処理、及び状態変化検出部７０Ｅによる状態変化の検出は、内視鏡１２に対して与えられた第１医療指示に基づいて行われるようにしてもよい。この場合、例えば、図１０に示すように、制御部７０Ｆが、第１医療指示を用いた第１条件を満足した場合に、開始指示信号９１を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。第１医療指示は、本開示の技術に係る「医療指示」の一例である。第１医療指示とは、例えば、操作部４２及び／又は受付装置６２を介して内視鏡１２に対して与えられた指示を指す。第１医療指示の一例としては、処置用開口５２から流体５６を送出させる指示が挙げられる。このように、ここでは、内視鏡１２に対して与えられた第１医療指示に基づいて行われるので、内視鏡１２に対する第１医療指示の有無に関わらずＡＩ方式の画像認識処理が行われる場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を行うことができる。また、内視鏡１２に対する第１医療指示の有無に関わらず状態変化検出部７０Ｅによる状態変化の検出が行われる場合に比べ、好適なタイミングで状態変化の検出を行うことができる。
　また、制御部７０Ｆは、上記実施形態で説明した開始指示を用いた第１条件、内視鏡情報９４を用いた第１条件、関心領域情報９２を用いた第１条件、部位情報９０を用いた第１条件、及び第１医療指示を用いた第１条件のうちの事前に指定された複数の第１条件を満足した場合に、開始指示信号９１を出力するようにしてもよい。
　上記実施形態では、内視鏡１２に対して与えられた終了指示に基づいてＡＩ方式の画像認識処理が終了する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、内視鏡１２の動作に基づいてＡＩ方式の画像認識処理が終了するようにしてもよい。この場合、例えば、内視鏡１２の動作は、内視鏡情報９４から特定される。
　ここで、内視鏡１２の動作に基づいてＡＩ方式の画像認識処理が終了するようにするための一例としては、例えば、図１０に示すように、制御部７０Ｆが、内視鏡情報９４を用いた第２条件を満足した場合に、終了指示信号９８を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する形態例が挙げられる。内視鏡情報９４を用いた第２条件の第１例としては、内視鏡１２の先端部４６が始動したという条件が挙げられる。内視鏡１２の先端部４６が始動したか否かは、動作速度情報９４Ｂに基づいて判定される。内視鏡情報９４を用いた第１条件の第２例としては、内視鏡１２の先端部４６の移動速度が増加したという条件が挙げられる。内視鏡１２の先端部４６の移動速度が増加したか否かは、動作速度情報９４Ｂに基づいて判定される。ここで、移動速度の増加とは、例えば、移動速度の既定速度以上への増加（例えば、数ミリメートル／秒から数十ミリメール／秒への増加）を指す。
　このように、ここでは、内視鏡１２の動作に基づいてＡＩ方式の画像認識処理が終了するので、内視鏡１２の動作とは無関係にＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。また、ここでは、内視鏡１２の先端部４６が始動したという条件、又は、内視鏡１２の先端部４６の移動速度が増加したという条件を満足した場合に、ＡＩ方式の画像認識処理が終了する。従って、内視鏡１２の先端部４６の移動速度とは無関係にＡＩ方式の画像認識処理を終了させる場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。
　また、ＡＩ方式の画像認識処理が関心領域情報９２に基づいて終了するようにしてもよい。この場合、例えば、図１０に示すように、制御部７０Ｆが、関心領域情報９２を用いた第２条件を満足した場合に、終了指示信号９８を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。関心領域情報９２を用いた第２条件の第１例としては、観察対象領域２１に関心領域２１Ａが含まれていないという条件が挙げられる。観察対象領域２１に関心領域２１Ａが含まれていないか否かは、関心領域情報９２に基づいて判定される。関心領域情報９２を用いた第２条件の第２例としては、観察対象領域２１に特定の関心領域２１Ａ（例えば、粘液が付着している領域）が含まれていないという条件が挙げられる。観察対象領域２１に特定の関心領域２１Ａが含まれていないか否かは、関心領域情報９２に基づいて判定される。
　このように、ここでは、関心領域情報９２に基づいてＡＩ方式の画像認識処理が終了するので、関心領域情報９２とは無関係にＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。また、ここでは、観察対象領域２１に関心領域２１Ａが含まれていないという条件を満足した場合に、ＡＩ方式の画像認識処理が終了する。従って、観察対象領域２１に関心領域２１Ａが含まれているか否かに関わらずＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。換言すると、例えば、観察対象領域２１に関心領域２１Ａが含まれている場合に画像認識処理が終了しないようにすることができる。
　また、ＡＩ方式の画像認識処理が部位情報９０に基づいて終了するようにしてもよい。この場合、例えば、図１０に示すように、制御部７０Ｆが、部位情報９０を用いた第２条件を満足した場合に、終了指示信号９８を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。部位情報９０を用いた第２条件としては、観察対象領域２１に対応する部位が観察対象として指定された部位（例えば、上行結腸）とは異なる部位（例えば、下行結腸）であるという条件が挙げられる。観察対象領域２１に対応する部位が観察対象として指定された部位とは異なる部位であるか否かは、部位情報９０に基づいて判定される。
　このように、ここでは、部位情報９０に基づいてＡＩ方式の画像認識処理が終了するので、部位情報９０とは無関係にＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。また、ここでは、観察対象領域２１に対応する部位が観察対象として指定された部位とは異なる部位であるという条件を満足した場合に、ＡＩ方式の画像認識処理が終了する。従って、観察対象領域２１に対応する部位に関わらずＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。換言すると、例えば、観察対象領域２１に対応する部位が観察対象として指定された部位（例えば、上行結腸）である場合に画像認識処理が終了しないようにすることができる。
　また、ＡＩ方式の画像認識処理は、内視鏡１２に対して与えられた第２医療指示に基づいて行われるようにしてもよい。この場合、例えば、図１０に示すように、制御部７０Ｆが、第２医療指示を用いた第２条件を満足した場合に、終了指示信号９８を、部位検出部７０Ｂ、関心領域検出部７０Ｃ、内視鏡検出部７０Ｄ、及び状態変化検出部７０Ｅに出力する。第２医療指示とは、例えば、操作部４２及び／又は受付装置６２を介して内視鏡１２に対して与えられた指示を指す。第２医療指示の一例としては、処置用開口５２からの流体５６の送出を停止させる指示が挙げられる。このように、ここでは、内視鏡１２に対して与えられた第２医療指示に基づいて行われるので、内視鏡１２に対する第２医療指示の有無に関わらずＡＩ方式の画像認識処理が終了する場合に比べ、好適なタイミングでＡＩ方式の画像認識処理を終了させることができる。
　また、制御部７０Ｆは、上記実施形態で説明した終了指示を用いた第２条件、内視鏡情報９４を用いた第２条件、関心領域情報９２を用いた第２条件、部位情報９０を用いた第２条件、及び第２医療指示を用いた第２条件のうちの事前に指定された複数の第２条件を満足した場合に、終了指示信号９８を出力するようにしてもよい。
　また、一例として図１０に示すように、制御部７０Ｆは、上述した１つ以上の第２条件を満足した場合に終了指示信号９８を画像取得部７０Ａに出力するようにしてもよい。この場合も、上記実施形態と同様に、画像取得部７０Ａは、現時点で保持している時系列画像群８９を消去する。
　上記実施形態では、病変情報導出部７０Ｇによって第５学習済みモデル８６を用いた処理が行われることによって病変情報１０２が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１１に示すように、病変情報導出部７０Ｇは、第６学習済みモデル１０４を用いた処理を行うことにより病変情報１０２を導出するようにしてもよい。
　第６学習済みモデル１０４は、ニューラルネットワークに対して第６教師データを用いた機械学習が行われることによって最適化されている。第６教師データとしては、例えば、状態変化情報９６及び送出量情報１０６を例題データとし、病変情報１０２を正解データとした教師データが挙げられる。送出量情報１０６は、本開示の技術に係る「送出量情報」の一例である。送出量情報１０６は、流体５６（図２参照）の送出量を示す情報である。例えば、送出量情報１０６は、内視鏡情報９４に含まれる。送出量情報１０６の一例としては、送気量情報９４Ｃ１及び／又は送水量情報９４Ｃ２が挙げられる。なお、送出量情報１０６は、センサ等によって送出量が測定されることによって得られた情報であってもよいし、受付装置６２によって受け付けられた値から得られた情報であってもよい。
　病変情報導出部７０Ｇは、状態変化情報９６及び送出量情報１０６を取得し、取得した状態変化情報９６及び送出量情報１０６を第６学習済みモデル１０４に入力する。これにより、第６学習済みモデル８６は、入力された状態変化情報９６及び送出量情報１０６に対応する病変情報１０２を出力する。病変情報導出部７０Ｇは、第６学習済みモデル８６から出力された病変情報１０２を取得する。病変情報導出部７０Ｇによって取得された病変情報１０２は、内視鏡１２を用いて現在観察している観察対象領域２１の病変（例えば、観察対象領域２１に含まれる関心領域２１Ａに対する病変）に関する情報である。
　このように、図１１に示す例では、病変情報１０２が状態変化情報９６及び送出量情報１０６に基づいて導出される。従って、送出量情報１０６を用いずに病変情報１０２を導出する場合に比べ、信頼性の高い病変情報１０２を導出することができる。
　上記実施形態では、観察対象領域２１の状態変化が状態変化検出部７０Ｅによって検出されたことを条件に病変情報導出部７０Ｇによって病変情報１０２が導出される形態例を挙げて説明したが、病変情報１０２が導出される条件は、これに限定されない。例えば、図１２に示すように、医療支援処理のステップＳＴ３２の処理とステップＳＴ３４の処理との間に、病変情報１０２を導出する条件を判定する処理であるステップＳＴ５０の処理が挿入されていてもよい。
　図１２に示す医療支援処理のステップＳＴ５０で、病変情報導出部７０Ｇは、病変情報１０２を導出する条件（以下、「導出条件」と称する）を満足したか否かを判定する。
　導出条件の第１例としては、内視鏡１２の動作に基づいて定められたタイミングが第１タイミングである、という条件が挙げられる。第１タイミングとは、例えば、内視鏡１２の先端部４６が始動したタイミング、又は、内視鏡１２の先端部４６の移動速度が増加したタイミングを指す。例えば、内視鏡１２の動作に基づいて定められたタイミングが第１タイミングであるか否かは、動作速度情報９４Ｂ（図６参照）に基づいて判定される。
　導出条件の第２例としては、上述した第２医療指示が内視鏡１２に対して与えられた、という条件が挙げられる。ここで、第２医療指示は、本開示の技術に係る「医療指示」の一例である。
　導出条件の第３例としては、関心領域情報９２が特定の関心領域２１Ａ（例えば、粘液が付着している領域）に関する情報である、という条件が挙げられる。ここで、特定の関心領域２１Ａは、本開示の技術に係る「特定関心領域」の一例である。
　導出条件の第４例としては、部位情報９０が特定の部位（例えば、上行結腸）に関する情報である、という条件が挙げられる。ここで、特定の部位は、本開示の技術に係る「特定部位」の一例である。
　ステップＳＴ５０において、導出条件を満足していない場合は、判定が否定されて、図１２に示す医療支援処理はステップＳＴ３８へ移行する。ステップＳＴ５０において、導出条件を満足した場合は、判定が肯定されて、図１２に示す医療支援処理はステップＳＴ３４へ移行する。上記実施形態で説明した要領でステップＳＴ３４が実行されることによって病変情報１０２が導出される。
　このように、図１２に示す例では、導出条件として、内視鏡１２の動作に基づいて定められたタイミングが第１タイミングであるという条件を満足した場合に、病変情報１０２が導出される。従って、内視鏡１２の動作を考慮せずに病変情報１０２を導出する場合に比べ、ユーザが意図する観察対象領域２１についての病変情報１０２を高精度に導出することができる。
　また、図１２に示す例では、導出条件として、上述した第２医療指示が内視鏡１２に対して与えられたという条件を満足した場合に、病変情報１０２が導出される。従って、内視鏡１２に対して与えられた第２医療指示を考慮せずに病変情報１０２を導出する場合に比べ、ユーザが意図する観察対象領域２１についての病変情報１０２を高精度に導出することができる。
　また、図１２に示す例では、導出条件として、関心領域情報９２が特定の関心領域２１Ａに関する情報であるという条件は、導出条件として、上述した第２医療指示が内視鏡１２に対して与えられたという条件を満足した場合に、病変情報１０２が導出される。従って、関心領域情報９２を考慮せずに病変情報１０２を導出する場合に比べ、特定の関心領域２１Ａについての病変情報１０２を高精度に導出することができる。
　また、図１２に示す例では、導出条件として、部位情報９０が特定の部位に関する情報であるという条件を満足した場合に、病変情報１０２が導出される。従って、部位情報９０を考慮せずに病変情報１０２を導出する場合に比べ、特定の部位についての病変情報１０２を高精度に導出することができる。
　病変情報導出部７０Ｇによって導出された病変情報１０２は、与えられた指示（例えば、医師１４から与えられた指示）に従って制御部７０Ｆによって確定されるようにしてもよい。この場合、例えば、図１３に示すように、医療支援処理のステップＳＴ３６の処理とステップＳＴ３８の処理との間に、ステップＳＴ６０の処理及びステップＳＴ６２の処理が挿入される。
　図１３に示すステップＳＴ６０で、制御部７０Ｆは、病変情報導出部７０Ｇによって導出された病変情報１０２を確定させる指示（以下、「確定指示」と称する）が内視鏡１２に対して与えられたか否か（例えば、確定指示が受付装置６２によって受け付けられたか否か）を判定する。ステップＳＴ６０において、確定指示が内視鏡１２に対して与えられていない場合は、判定が否定されて、図１３に示す医療支援処理はステップＳＴ３８へ移行する。ステップＳＴ６０において、確定指示が内視鏡１２に対して与えられた場合は、判定が肯定されて、図１３に示す医療支援処理はステップＳＴ６２へ移行する。
　ステップＳＴ６２で、制御部７０Ｆは、確定処理を実行する。確定処理の第１例としては、表示装置１３の画面３６に確定情報を表示する処理が挙げられる。確定情報の一例としては、病変情報１０２が確定されたことをユーザに視覚的に把握させることが可能なマーク又は文字等であればよい。また、確定処理の第２例としては、画面３６に表示されている病変情報１０２に基づく情報の表示態様を変更する処理が挙げられる。この場合、変更前後の表示態様で病変情報１０２が確定されたことをユーザに視覚的に把握させることができる。また、確定処理の第３例としては、音声再生装置に対して、病変情報１０２が確定されたことを示す音声を再生させる処理が挙げられる。確定処理の第４例としては、病変情報１０２を現在時刻（例えば、確定指示が受け付けられた時刻）と対応付けて電子カルテ等に登録する処理が挙げられる。ステップＳＴ６２の処理が実行された後、図１３に示す医療支援処理はステップＳＴ３８へ移行する。
　このように、図１３に示す例では、病変情報導出部７０Ｇによって導出された病変情報１０２は、確定指示に従って制御部７０Ｆによって確定される。これにより、病変情報導出部７０Ｇによって導出された病変情報１０２が誤っていないことを医師１４が画面３６を通して確認した上で病変情報１０２を確定させることができる。
　上記実施形態では、ＡＩ方式の画像認識処理を例示したが、本開示の技術はこれに限定されず、ＡＩ方式の画像認識処理に代えて、非ＡＩ方式の画像認識処理（例えば、テンプレートマッチングを用いた画像認識処理）を用いてもよい。また、ＡＩ方式の画像認識処理と非ＡＩ方式の画像認識処理とを併用してもよい。
　上記実施形態では、ＡＩ方式の処理によって病変情報１０２が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されず、非ＡＩ方式の処理によって病変情報１０２が導出されるようにしてもよい。この場合、例えば、状態変化情報９６と病変情報１０２とが対応付けられたテーブル、又は、状態変化情報９６を示す値を独立変数とし、病変情報１０２を示す値を従属変数とした演算式から病変情報１０２が導出されるようにすればよい。
　上記実施形態では、内視鏡１２に含まれるコンピュータ６４のプロセッサ７０によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、医療支援処理を行う装置は、内視鏡１２の外部に設けられていてもよい。内視鏡１２の外部に設けられる装置としては、例えば、内視鏡１２と通信可能に接続されている少なくとも１台のサーバ及び／又は少なくとも１台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。
　上記実施形態では、ＮＶＭ７４に医療支援処理プログラム７６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援処理プログラム７６がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている医療支援処理プログラム７６は、内視鏡１２のコンピュータ６４にインストールされる。プロセッサ７０は、医療支援処理プログラム７６に従って医療支援処理を実行する。
　また、ネットワークを介して内視鏡１２に接続される他のコンピュータ又はサーバ等の記憶装置に医療支援処理プログラム７６を記憶させておき、内視鏡１２の要求に応じて医療支援処理プログラム７６がダウンロードされ、コンピュータ６４にインストールされるようにしてもよい。
　なお、内視鏡１２に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ７４に医療支援処理プログラム７６の全てを記憶させておく必要はなく、医療支援処理プログラム７６の一部を記憶させておいてもよい。
　医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
　医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (37)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　観察対象領域が写っており、時系列に沿った複数の医用画像を取得し、
    　前記複数の医用画像に対する画像認識処理を行うことで前記観察対象領域の状態変化を検出する
    　画像処理装置。
  2. 　前記状態変化は、粘着色の変化、粘膜構造を含む粘膜状態の変化、及び／又は、粘液付着状態の変化を含む
    　請求項１に記載の画像処理装置。
  3. 　前記複数の医用画像が内視鏡によって生成される場合、
    　前記プロセッサは、前記内視鏡の動作に基づいて前記画像認識処理を行う
    　請求項１に記載の画像処理装置。
  4. 　前記プロセッサは、与えられた医療指示に基づいて前記画像認識処理を行う
    　請求項１から請求項３の何れか一項に記載の画像処理装置。
  5. 　前記プロセッサは、
    　前記観察対象領域に含まれる関心領域に関する関心領域情報を取得し、
    　前記関心領域情報に基づいて前記画像認識処理を行う
    　請求項１に記載の画像処理装置。
  6. 　前記プロセッサは、
    　前記観察対象領域に対応する部位に関する部位情報を取得し、
    　前記部位情報に基づいて前記画像認識処理を行う
    　請求項１に記載の画像処理装置。
  7. 　前記プロセッサは、第１条件を満足した場合に前記画像認識処理を開始する
    　請求項１に記載の画像処理装置。
  8. 　前記複数の医用画像が内視鏡によって生成される場合、
    　前記第１条件は、前記内視鏡の先端部が静止したという条件、又は、前記先端部の移動速度が低下したという条件を含む
    　請求項７に記載の画像処理装置。
  9. 　前記第１条件は、前記画像認識処理を開始させる指示が与えられたという条件を含む
    　請求項７に記載の画像処理装置。
  10. 　前記第１条件は、前記観察対象領域に関心領域が含まれているという条件を含む
    　請求項７に記載の画像処理装置。
  11. 　前記第１条件は、前記観察対象領域に対応する部位が観察対象として指定された部位であるという条件を含む
    　請求項７に記載の画像処理装置。
  12. 　前記プロセッサは、第２条件を満足した場合に前記画像認識処理を終了する
    　請求項１に記載の画像処理装置。
  13. 　前記プロセッサは、前記第２条件を満足した場合に、前記画像認識処理に基づく情報である第１情報を消去する
    　請求項１２に記載の画像処理装置。
  14. 　前記画像認識処理を開始してから終了するまでの間、前記第１情報が保持され、
    　前記プロセッサは、前記画像認識処理が終了した場合に前記第１情報を消去する
    　請求項１３に記載の画像処理装置。
  15. 　前記複数の医用画像が内視鏡によって生成される場合、
    　前記第２条件は、前記内視鏡の先端部が始動したという条件、又は、前記先端部の移動速度が増加したという条件を含む
    　請求項１２に記載の画像処理装置。
  16. 　前記第２条件は、前記画像認識処理を終了させる指示が与えられたという条件を含む
    　請求項１２に記載の画像処理装置。
  17. 　前記第２条件は、前記観察対象領域に関心領域が含まれていないという条件を含む
    　請求項１２に記載の画像処理装置。
  18. 　前記第２条件は、前記観察対象領域に対応する部位が観察対象として指定された部位とは異なる部位であるという条件を含む
    　請求項１２に記載の画像処理装置。
  19. 　前記複数の医用画像が内視鏡によって生成される場合、
    　前記プロセッサは、前記内視鏡の動作に基づいて前記状態変化を検出する
    　請求項１に記載の画像処理装置。
  20. 　前記複数の医用画像が内視鏡によって生成され、かつ、前記観察対象領域を含む体内に前記内視鏡から流体が送出される場合、
    　前記プロセッサは、
    　前記流体の送出に関する流体送出情報を取得し、
    　前記流体送出情報に基づいて前記状態変化を検出する
    　請求項１に記載の画像処理装置。
  21. 　前記プロセッサは、与えられた医療指示に基づいて前記状態変化を検出する
    　請求項１に記載の画像処理装置。
  22. 　前記プロセッサは、
    　前記観察対象領域に含まれる関心領域に関する関心領域情報を取得し、
    　前記関心領域情報を取得したことを条件に前記状態変化を検出する
    　請求項１に記載の画像処理装置。
  23. 　前記プロセッサは、
    　前記観察対象領域に対応する部位に関する部位情報を取得し、
    　前記部位情報を取得したことを条件に前記状態変化を検出する
    　請求項１に記載の画像処理装置。
  24. 　前記プロセッサは、前記状態変化に基づいて、前記観察対象領域に対する病変に関する病変情報を導出する
    　請求項１に記載の画像処理装置。
  25. 　前記観察対象領域に関心領域が含まれており、
    　前記状態変化は、前記関心領域の変化を含み、
    　前記関心領域の変化は、前記関心領域に粘液が付着された状態から前記関心領域から非腫瘍性ポリープが現出した状態への変化である
    　請求項２４に記載の画像処理装置。
  26. 　前記観察対象領域に関心領域が含まれており、
    　前記複数の医用画像が内視鏡によって生成され、かつ、前記観察対象領域を含む体内に前記内視鏡から流体が送出される場合、
    　前記状態変化は、前記流体の送出に伴う前記関心領域の変化を含み、
    　前記プロセッサは、
    　前記流体の送出量を示す送出量情報を取得し、
    　前記状態変化及び前記送出量情報に基づいて前記病変情報を導出する
    　請求項２４に記載の画像処理装置。
  27. 　前記関心領域の変化は、前記関心領域に粘液が付着された状態から前記関心領域から非腫瘍性ポリープが現出した状態への変化である
    　請求項２６に記載の画像処理装置。
  28. 　前記複数の医用画像が内視鏡によって生成される場合、
    　前記プロセッサは、前記内視鏡の動作に基づいて定められたタイミングで前記病変情報を導出する
    　請求項２４に記載の画像処理装置。
  29. 　前記プロセッサは、与えられた医療指示に基づいて定められたタイミングで前記病変情報を導出する
    　請求項２４に記載の画像処理装置。
  30. 　前記プロセッサは、前記病変情報を導出した場合、与えられた確定指示に従って前記病変情報を確定する
    　請求項２４に記載の画像処理装置。
  31. 　前記プロセッサは、
    　前記観察対象領域に含まれる関心領域に関する関心領域情報を取得し、
    　前記関心領域情報が特定関心領域に関する情報である場合に前記病変情報を導出する
    　請求項２４に記載の画像処理装置。
  32. 　前記プロセッサは、
    　前記観察対象領域に対応する部位に関する部位情報を取得し、
    　前記部位情報が特定部位に関する情報である場合に前記病変情報を導出する
    　請求項２４に記載の画像処理装置。
  33. 　前記プロセッサは、前記画像認識処理に基づく情報である第２情報を出力する
    　請求項１に記載の画像処理装置。
  34. 　前記第２情報の出力先は、表示装置であり、
    　前記表示装置は、前記第２情報を表示する
    　請求項３３に記載の画像処理装置。
  35. 　請求項１から請求項３４の何れか一項に記載の画像処理装置と、
    　前記観察対象領域を含む体内に挿入される内視鏡本体と、を備える
    　内視鏡。
  36. 　観察対象領域が写っており、時系列に沿った複数の医用画像を取得すること、及び、
    　前記複数の医用画像に対する画像認識処理を行うことで前記観察対象領域の状態変化を検出することを含む
    　画像処理方法。
  37. 　コンピュータに、
    　観察対象領域が写っており、時系列に沿った複数の医用画像を取得すること、及び、
    　前記複数の医用画像に対する画像認識処理を行うことで前記観察対象領域の状態変化を検出することを含む処理を実行させるためのプログラム。
PCT/JP2023/025603 2022-08-24 2023-07-11 画像処理装置、内視鏡、画像処理方法、及びプログラム WO2024042895A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-133581 2022-08-24
JP2022133581 2022-08-24

Publications (1)

Publication Number Publication Date
WO2024042895A1 true WO2024042895A1 (ja) 2024-02-29

Family

ID=90013049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025603 WO2024042895A1 (ja) 2022-08-24 2023-07-11 画像処理装置、内視鏡、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024042895A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234815A1 (ja) * 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2021064861A1 (ja) * 2019-10-01 2021-04-08 オリンパス株式会社 内視鏡挿入制御装置及び内視鏡挿入制御方法
WO2021116810A1 (en) * 2019-12-13 2021-06-17 Hoya Corporation Apparatus, method and computer-readable storage medium for detecting objects in a video signal based on visual evidence using an output of a machine learning model
WO2021166208A1 (ja) * 2020-02-21 2021-08-26 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
WO2021181440A1 (ja) * 2020-03-09 2021-09-16 オリンパス株式会社 画像記録システム及び画像記録方法
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234815A1 (ja) * 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2021064861A1 (ja) * 2019-10-01 2021-04-08 オリンパス株式会社 内視鏡挿入制御装置及び内視鏡挿入制御方法
WO2021116810A1 (en) * 2019-12-13 2021-06-17 Hoya Corporation Apparatus, method and computer-readable storage medium for detecting objects in a video signal based on visual evidence using an output of a machine learning model
WO2021166208A1 (ja) * 2020-02-21 2021-08-26 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
WO2021181440A1 (ja) * 2020-03-09 2021-09-16 オリンパス株式会社 画像記録システム及び画像記録方法
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Similar Documents

Publication Publication Date Title
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP5291955B2 (ja) 内視鏡検査システム
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP7176041B2 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
US12020808B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
US20210361142A1 (en) Image recording device, image recording method, and recording medium
US20220313067A1 (en) Medical image processing apparatus, endoscope system, diagnosis assistance method, and program
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2004097696A (ja) 内視鏡観測装置
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2023089717A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023089718A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023238609A1 (ja) 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
WO2024048098A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
US20240079100A1 (en) Medical support device, medical support method, and program
WO2023089715A1 (ja) 画像表示装置、画像表示方法、及び、記録媒体
JP2023107919A (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023089719A1 (ja) 映像編集装置、映像編集方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857012

Country of ref document: EP

Kind code of ref document: A1