WO2023100310A1 - 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体 - Google Patents

内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体 Download PDF

Info

Publication number
WO2023100310A1
WO2023100310A1 PCT/JP2021/044222 JP2021044222W WO2023100310A1 WO 2023100310 A1 WO2023100310 A1 WO 2023100310A1 JP 2021044222 W JP2021044222 W JP 2021044222W WO 2023100310 A1 WO2023100310 A1 WO 2023100310A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
position information
imaging unit
endoscope
lumen
Prior art date
Application number
PCT/JP2021/044222
Other languages
English (en)
French (fr)
Inventor
憲一 上條
郁磨 ▲高▼橋
元靖 奥津
翔太 大塚
達 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/044222 priority Critical patent/WO2023100310A1/ja
Publication of WO2023100310A1 publication Critical patent/WO2023100310A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscopy support device, an endoscopy support system, an endoscopy support method, and a recording medium.
  • the scope In an endoscopy, the scope is inserted all the way into the organ while washing away dirt adhering to it, and then removed while observing the inside of the organ.
  • Patent Document 1 describes determining whether the inspection process is the insertion process or the removal process, and notifying the detection result of the attention area according to the determined process.
  • the insertion of an endoscope is technically difficult, and the doctor is required to concentrate when inserting it. Therefore, it is difficult for a doctor to confirm the detection result of the lesion at the time of insertion, and the lesion may be overlooked only by confirmation at the time of withdrawal.
  • the present invention has been made in view of the above problems, and an object of the present invention is to reduce the possibility of overlooking a lesion.
  • An endoscopic examination support apparatus includes an endoscopic image captured by an imaging unit of an endoscope, and an imaging unit of the endoscope in a lumen when the endoscopic image is captured.
  • acquisition means for acquiring imaging unit position information indicating the position of; lesion detection means for detecting a lesion from the endoscopic image; and an insertion step of inserting the endoscope to a turn-around point in the lumen;
  • Determination means for determining whether it is a removal step of removing from a turn-around point in the lumen; and a lesion indicating the position of the lesion detected in the imaging unit position information and the insertion step when the determination result is the removal step.
  • a notification control means for causing the notification device to perform notification according to the positional relationship with the unit position information.
  • An endoscopy support system is an endoscopy support system including an endoscopy support device and a notification device, wherein the endoscopy support device is an endoscope.
  • acquisition means for acquiring an endoscopic image captured by an imaging unit and imaging unit position information indicating a position of the imaging unit of the endoscope in a lumen when the endoscopic image is captured;
  • Lesion detection means for detecting a lesion from a mirror image;
  • Discrimination means for discriminating between an insertion step of inserting the endoscope to the turn-around point in the lumen and a removal step of removing the endoscope from the turn-around point inside the lumen; and, if the determination result is the removal step, the notification device performs notification according to the positional relationship between the imaging unit position information and the lesion position information indicating the position of the lesion detected in the insertion step. and control means.
  • An endoscopy support method is an endoscopy support method executed by one or a plurality of endoscopy support devices, wherein an endoscope imaged by an imaging unit of an endoscope acquiring an image and imaging unit position information indicating the position of the imaging unit of the endoscope in the lumen at the time of imaging the endoscopic image; detecting a lesion from the endoscopic image; determining whether it is an insertion step of inserting the speculum to the turn-around point in the lumen or a removal step of removing the speculum from the turn-around point in the lumen; The notification device is caused to perform notification according to the positional relationship with the lesion position information indicating the position of the lesion detected in the insertion step.
  • a recording medium indicates an endoscopic image captured by an imaging unit of an endoscope and a position of the imaging unit of the endoscope in a lumen when the endoscopic image is captured.
  • Acquisition means for acquiring imaging unit position information, lesion detection means for detecting a lesion from the endoscopic image, an insertion step of inserting the endoscope to a turn-around point in the lumen, or turn-around in the lumen
  • Determining means for determining whether it is a removal step of removing from a point, and when the determination result is the removal step, the position of the imaging unit position information and the lesion position information indicating the position of the lesion detected in the insertion step
  • FIG. 1 is a block diagram showing an example of the overall configuration of an endoscopy support system according to exemplary Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an endoscopy support device according to exemplary Embodiment 1 of the present invention
  • FIG. 4 is a diagram schematically showing an example of a process of inserting and removing an endoscope; It is a figure which shows typically an example of the screen output to a display apparatus. It is a figure which shows typically an example of the screen output to a display apparatus.
  • 4 is a flow chart showing the operation of the endoscopy support apparatus according to exemplary Embodiment 1 of the present invention
  • FIG. 11 is a block diagram showing the configuration of an endoscopy support apparatus according to exemplary Embodiment 2 of the present invention
  • 9 is a flow chart showing the operation of the endoscopy support apparatus according to exemplary Embodiment 2 of the present invention
  • FIG. 11 is a block diagram showing the configuration of an endoscopy support apparatus according to exemplary Embodiment 3 of the present invention
  • 1 is a diagram showing an example of a hardware configuration of an endoscopy support apparatus according to exemplary embodiments 1, 2 and 3 of the present invention
  • FIG. 1 is a diagram schematically showing an example of system configuration.
  • the endoscopy support system 1 is a system that supports an endoscopy when a doctor performs an endoscopy on a subject.
  • the endoscopy support system 1 includes an endoscope 10, an endoscope insertion shape observation device 20, an endoscopy support device 30, a display device 41, and a speaker . Note that each block may be mounted in the same terminal in any combination.
  • the endoscope 10 is a portion to be inserted into the body cavity of the subject, and has a bendable tubular insertion section 11, and the insertion section 11 has an imaging section 12 at its tip for imaging the inside of the lumen.
  • a lumen here refers to the space inside a tubular organ, for example, the space inside the large intestine, small intestine, esophagus and stomach are also lumens.
  • An endoscopic image captured by the imaging unit 12 is transmitted to the endoscopy support device 30 via a cable inside the insertion unit 11 .
  • an endoscopic examination of the large intestine will be described as an example, but an endoscopic examination of other parts can also be performed in the same manner.
  • source coils are provided at a plurality of locations of the insertion portion 11 .
  • the source coils are arranged at predetermined intervals over the entire insertion portion 11 .
  • the source coil generates a magnetic field by a drive signal from the endoscope insertion shape observation device 20 . Therefore, the endoscope 10 may include magnetic coils for specifying the shape at a plurality of locations of the insertion section 11 .
  • other configurations of the endoscope 10 can use known configurations, illustration and description of other configurations are omitted.
  • the endoscope insertion shape observation device 20 is a device that outputs position information indicating the position of the imaging unit 12 in the lumen (hereinafter referred to as imaging unit position information). and at least.
  • the sense coil unit 21 is a unit that detects magnetic fields generated by a plurality of source coils provided inside the insertion section 11 of the endoscope 10 .
  • the position information processing device 22 first obtains the shape of the insertion portion 11 inserted into the large intestine based on the magnetic field detected by the sense coil unit 21 . For example, the position information processing device 22 calculates three-dimensional coordinates of each source coil based on the magnetic field detected by the sense coil unit 21 . Since the source coil is provided at a predetermined position of the insertion section 11 , it can be said that these three-dimensional coordinates indicate the shape of the insertion section 11 .
  • the position information processing device 22 generates imaging section position information, which is position information indicating the position of the imaging section 12 in the large intestine, from the shape of the insertion section 11 and the general shape of the large intestine.
  • the imaging unit position information may be three-dimensional coordinates indicating the position of the imaging unit 12, coordinates obtained by two-dimensionally projecting the three-dimensional coordinates, or image data obtained by imaging the projection result. Further, the imaging unit position information may be information indicating where the imaging unit 12 is located in each region in the large intestine, which is estimated based on the coordinate information. In this case, the imaging unit position information includes, for example, any one of the cecum, ascending colon, transverse colon, descending colon, sigmoid colon, and rectum.
  • the imaging unit position information indicating the site where the imaging unit 12 is located can also be generated for lumens other than the large intestine. That is, the imaging unit position information is generated from the shape of the endoscope 10 in the lumen and the lumen model indicating the shape of the lumen and each part that constitutes the lumen, and the imaging unit 12 is located. It may be information indicating a site within a lumen. It should be noted that the site in the lumen where the imaging unit 12 is located can also be determined by analyzing the endoscopic image captured by the imaging unit 12 . For example, by using a machine-learned model constructed by machine learning using teacher data in which endoscopic images taken at each site are labeled with the name of the site as correct data, the captured endoscopic image It is possible to determine which part is the part shown in .
  • the position information processing device 22 outputs the imaging unit position information generated as described above to the endoscopy support device 30 .
  • the other configuration of the endoscope insertion shape observation device 20 since a known configuration can be used, the illustration and description of the other configuration are omitted.
  • the endoscopy support device 30 is a device that supports endoscopy using the endoscope 10 , and is connected to the endoscope 10 , the endoscope insertion shape observation device 20 , the display device 41 and the speaker 42 .
  • the endoscopy support device 30 acquires an endoscopic image from the endoscope 10 and acquires imaging unit position information from the endoscope insertion shape observation device 20 .
  • the endoscopy support apparatus 30 Based on the acquired endoscopic image and imaging unit position information, the endoscopy support apparatus 30 acquires imaging unit position information and position information indicating the position of the lesion detected in the insertion step (hereinafter referred to as lesion position information ) and the display device 41 and the speaker 42 are notified. A specific method for making the notification will be described later. Then, the endoscopy support apparatus 30 causes the display device 41 to output the image of the detected lesion, the lesion position information, and the discriminated process in association with each other. The discriminated process is the insertion process of inserting the endoscope 10 or the withdrawal process of withdrawing the endoscope 10, and the endoscopy support apparatus 30 determines these processes. A specific method for outputting will be described later.
  • the display device 41 displays the display information received from the endoscopy support device 30 on the screen.
  • the speaker 42 outputs the voice received from the endoscopy support device 30 .
  • These devices are examples of notification devices to which the endoscopy support device 30 performs the above notification.
  • the notification device is not limited to the display device 41 and the speaker 42 as long as it outputs information to be notified in a manner that can be recognized by the target user. For example, if the endoscopy support device 30 has a display device, the display device may be used as the notification device.
  • Embodiment 1 Embodiment 1 will be described with reference to FIGS. 2 to 4.
  • FIG. 1 is a diagrammatic representation of Embodiment 1
  • FIG. 2 is a block diagram showing the configuration of the endoscopy support device 30.
  • the endoscopy support device 30 includes an acquisition unit 31 , a lesion detection unit 32 , a determination unit 33 , a storage unit 34 , a notification control unit 35 and an ileocecal valve detection unit 36 .
  • the acquisition unit 31 acquires an endoscopic image captured by the imaging unit 12 of the endoscope and imaging unit position information indicating the position of the imaging unit 12 of the endoscope in the lumen when the endoscopic image is captured. It is an acquisition means for acquiring.
  • the acquisition unit 31 acquires an endoscopic image captured by the imaging unit 12 from the endoscope 10, and the position of the imaging unit 12 in the lumen when the endoscopic image is captured from the endoscope insertion shape observation device 20.
  • Information that is, image capturing unit position information is acquired. It is assumed that time information such as the date and time of acquisition and the elapsed examination time is associated with the acquired endoscopic image and the imaging unit position information.
  • the acquisition unit 31 outputs the acquired endoscopic image to the lesion detection unit 32, outputs the acquired endoscopic image and imaging unit position information to the determination unit 33, and stores the acquired imaging unit position information in the storage unit 34 and the imaging unit position information. Output to the notification control unit 35 .
  • the lesion detection unit 32 is lesion detection means for detecting lesions from endoscopic images.
  • the lesion detection unit 32 detects lesions from the endoscopic image input from the acquisition unit 31 .
  • the lesion detection unit 32 detects a lesion by inputting an endoscopic image into a discriminator that has machine-learned image features of the lesion and identifying the lesion.
  • the term "lesions" as used herein is not limited to those caused by diseases, and includes those in a state that is different from a normal state in appearance.
  • Lesions include, for example, polyps, cancer, colonic diverticula, inflammation, treatment scars such as EMR (Endoscopic Mucosal Resection) scars or ESD (Endoscopic Submucosal Dissection) scars, clip sites, bleeding points, perforations, and vascular atypia. be done.
  • the discriminator used by the lesion detection unit 32 is not limited to one generated by machine learning, and any discriminator capable of detecting a lesion may be used.
  • the lesion detection unit 32 outputs lesion information regarding the detected lesions to the storage unit 34 .
  • the lesion information includes a lesion image, which is an image of the detected lesion, and is associated with time information such as the detection date and time and the examination elapsed time.
  • the lesion information also includes lesion position information indicating the position of the lesion.
  • the discriminating unit 33 is discriminating means that discriminates between an insertion process of inserting the endoscope 10 to the turn-around point in the lumen and a withdrawal process of withdrawing from the turn-around point inside the lumen.
  • the determination unit 33 determines whether the insertion process or the removal process is performed based on at least one of the endoscopic image and the imaging unit position information input from the acquisition unit 31 . Specifically, the determination unit 33 detects the ileocecal valve from the endoscopic image by means of the ileocecal valve detection unit 36 provided in the determination unit 33, so that before the detection of the ileocecal valve is an insertion step, and after the detection of the ileocecal valve. is determined as the removal step.
  • the determination unit 33 may determine that the process until the imaging unit position information reaches the turning point is the insertion process, and the process after reaching the imaging unit position information is the removal process. The determination and the determination based on the imaging unit position information may be used together. The determination unit 33 outputs the determination result to the notification control unit 35 . In addition, the determination unit 33 associates the determination result with time information such as the date and time of determination and the elapsed examination time, and outputs the determination result to the storage unit 34 . Note that, after the determination unit 33 once determines that the process is the removal process, the process of determining whether it is the insertion process or the removal process may be omitted during the same inspection, and the determination result may be output as the removal process. In that case, the determination unit 33 can reduce the calculation cost required for processing.
  • the storage unit 34 stores imaging unit position information input from the acquisition unit 31 , lesion information input from the lesion detection unit 32 , and determination results input from the determination unit 33 . Based on the time information, the storage unit 34 stores the input imaging unit position information, the lesion information, and the discrimination result in association with each other. Specifically, the storage unit 34 stores imaging unit position information, lesion information, and determination results whose associated time information indicates the same time in association with each other. Note that the storage unit 34 does not necessarily have to exist inside the endoscopy support device 30 . When the storage unit 34 exists outside the endoscopy support device 30 , the storage unit 34 is made accessible to the endoscopy support device 30 . An endoscopy support system including such a storage unit 34 functions similarly to the endoscopy support apparatus 30 .
  • the notification control unit 35 When the determination result of the determination unit 33 is the removal process, the notification control unit 35 performs notification according to the positional relationship between the current imaging unit position information and the lesion position information indicating the position of the lesion detected in the insertion process. It is a notification control means to be performed.
  • the notification control unit 35 is based on the imaging unit position information input from the acquisition unit 31, the determination result input from the determination unit 33, and the lesion location information, the lesion information, and the determination result obtained from the storage unit 34. , the display device 41 and the speaker 42 are notified. Specifically, the notification control unit 35 combines the position indicated by the imaging unit position information input from the acquisition unit 31 with the lesion position information stored in the storage unit 34 (position information of the lesion detected in the insertion step).
  • the notification control unit 35 is detected in the insertion step when the position indicated by the imaging unit position information input from the acquisition unit 31 passes the position indicated by the lesion position information stored in the storage unit 34. It is also possible to notify that the patient has passed through the lesion. Note that the notification control unit 35 may cause only one of the display device 41 and the speaker 42 to perform notification.
  • FIG. 3 is a diagram schematically showing an example of the process of inserting and removing the endoscope 10.
  • FIG. 3 arrows indicate the path of insertion and withdrawal of the endoscope 10 in the image 101 of the large intestine.
  • the endoscope 10 is inserted from the rectum to the cecum (insertion step) and then removed (removal step).
  • An ileocecal valve (not shown) is present at the junction of the cecum and ileum.
  • lesions 102 and 103 detected in the insertion process are indicated by asterisks. For these lesions, lesion location information is stored at the time of detection.
  • the notification control unit 35 causes the display device 41 and the speaker 42 to , to notify that there is a lesion nearby.
  • the notification control unit 35 detects the timing at which the position indicated by the imaging unit position information input from the acquisition unit 31 in the removal step changes from the ascending colon to the transverse colon. , the user may be notified that there is a lesion nearby. Similarly, when the position indicated by the imaging unit position information approaches the lesion 103, the notification control unit 35 may also notify that there is a lesion nearby.
  • the notification control unit 35 in the removal process, when the position indicated by the imaging unit position information input from the acquisition unit 31 passes the position indicated by the lesion position information, the display device 41 and the speaker 42 A notification may be made to the effect that the lesion detected in the process has been passed.
  • the notification control unit 35 determines that the position indicated by the imaging unit position information input from the acquisition unit 31 in the removal step is from the transverse colon to the descending colon. At the timing of movement, it may be notified that the lesion has been passed.
  • FIG. 4 and 5 are diagrams schematically showing examples of screens output to the display device 41.
  • FIG. An image IMG1 shown in FIG. 4 is an example of a notification screen for notifying that there is a lesion nearby.
  • the notification control unit 35 sends a message 201 indicating that a lesion is ahead of the current position of the imaging unit 12, an image 202 of the detected lesion, and information 203 indicating the lesion site in the image 202.
  • information 204 indicating the position of the detected lesion in the large intestine (in this example, the position of the lesion is indicated by an asterisk in a diagram schematically showing the shape of the large intestine), and information 205 indicating the process at the time of detection (this A rectangular frame in the example) and the date and time 206 when the lesion was detected are output on the screen.
  • the doctor can know that there is a lesion ahead of the current position of the imaging unit 12, and can check detailed information of the lesion.
  • image IMG2 shown in FIG. 5 is an example of a notification screen that notifies that the lesion has been passed.
  • Image IMG2 is generally similar to image IMG1, but differs from image IMG1 in that message 201 is replaced with message 301.
  • the message 301 is a message to the effect that the current position of the imaging unit 12 has already passed the position of the lesion.
  • the notification screen is not limited to the examples of FIGS. 4 and 5, and may be any screen that allows the user to visually recognize the contents of the notification according to the positional relationship between the imaging part position information and the lesion part position information.
  • the notification control unit 35 may display the position of the imaging unit 12 superimposed on the information 204 (a diagram schematically showing the shape of the large intestine) based on the imaging unit position information. By displaying such an image, the user (doctor, etc.) can recognize the positional relationship between the imaging unit position information and the lesion position information. In this case, the messages 201 and 301 can be omitted.
  • the notification control unit 35 may display the current endoscopic image (captured at the position indicated by the imaging unit position information) together with the lesion image 202 .
  • the user can search for a lesion in the current endoscopic image while comparing the current endoscopic image with the lesion image 202 .
  • the notification control unit 35 may be notified that there is a lesion detected in the insertion step.
  • the notification control unit 35 may display a message such as "there is a lesion detected in the insertion process nearby", or highlight the lesion in the lesion image 202. good too.
  • the method of highlighting is not particularly limited, and for example, the lesion may be highlighted by blinking the image (the star in the example of FIGS. 4 and 5) or changing the color.
  • FIG. 6 is a flow chart showing the flow of processing (endoscopic examination supporting method) executed by each unit of the endoscopic examination supporting apparatus 30 .
  • the acquisition unit 31 acquires an endoscopic image captured by the imaging unit 12 of the endoscope 10 and position information of the imaging unit 12 of the endoscope 10 at the time of imaging, that is, imaging unit position information. (S11).
  • the lesion detection unit 32 detects lesions from the endoscopic image acquired in S11 (S12).
  • the lesion detection unit 32 stores lesion location information, which is location information of the detected lesion, in the storage unit 34 (S14). On the other hand, if no lesion is detected in the process of S12 (NO in S13), the process proceeds to S15.
  • the discrimination unit 33 discriminates whether it is an insertion process or a withdrawal process. If the determination result of the determination unit 33 in S15 is the insertion step, the process returns to S11. When the determination result of the determination unit 33 is the withdrawal process, the process proceeds to S16.
  • the notification control unit 35 determines whether or not to perform notification.
  • the notification control unit 35 performs notification when a predetermined condition is satisfied, such as when the distance between the position indicated by the imaging unit position information and the position indicated by the lesion position information is equal to or less than a predetermined distance. I judge. If it is determined in S16 that the notification should be performed (YES in S16), the process proceeds to S17, and if it is determined that the notification is not performed (NO in S16), the process returns to S11.
  • the notification control unit 35 causes the notification device to perform notification according to the positional relationship between the imaging unit position information in the removal process and the lesion position information of the lesion detected in the insertion process (S17). After that, the process returns to S11.
  • notification is performed according to the positional relationship between the lesion position information of the lesion detected in the insertion process and the imaging unit position information in the removal process. Therefore, the possibility of overlooking a lesion can be reduced compared to the case where no notification is given.
  • Embodiment 2 will be described with reference to FIGS. 7 and 8.
  • FIG. Embodiment 2 in addition to the operation in Embodiment 1, makes it possible to control notification based on determination of whether the lesion detected in the removal step is the same as the lesion detected in the insertion step.
  • FIG. 7 is a block diagram showing the configuration of the endoscopy support device 30a. As shown in FIG.
  • the endoscopy support apparatus 30a includes an acquisition unit 31, a lesion detection unit 32, a determination unit 33, a storage unit 34, a notification control unit 35a, an ileocecal valve detection unit 36, and an identity determination unit 37. I have.
  • the identity determination unit 37 is identity determination means for determining whether the lesion detected in the removal process is the same as the lesion detected in the insertion process. Based on the lesion information in the removal process acquired from the lesion detection unit 32 and the lesion information in the insertion process acquired from the storage unit 34, the identity determination unit 37 determines whether the lesion detected in the removal process was detected in the insertion process. Determine if it is the same as the lesion. Specifically, the identity determination unit 37 determines whether the lesion in the lesion image possessed by the lesion information in the removal process acquired from the lesion detection unit 32 and the lesion in the lesion image possessed by the lesion information in the insertion process acquired from the storage unit 34 are detected. are the same.
  • the identity determination is made by existing determiners for determining image identity. Further, the identity determining unit 37 may determine that the detected lesions are the same lesion if the types of the detected lesions are the same. The identity determination unit 37 outputs the identity determination result indicating whether or not they are the same to the notification control unit 35a.
  • the notification control unit 35a is notification control means for causing the notification device to perform notification according to the positional relationship between the imaging unit position information and the lesion position information and the result of the same determination when the determination result is the withdrawal process.
  • the notification control unit 35a receives the imaging unit position information input from the acquisition unit 31, the determination result of the insertion process or the removal process input from the determination unit 33, and the lesion position information and lesion information acquired from the storage unit 34. Then, the display device 41 and the speaker 42 are notified based on the determination result of the insertion process or the removal process when the lesion is detected and the identity determination result input from the identity determination unit 37 .
  • the notification control unit 35a causes the notification device to notify the content according to the result of determination as to whether the lesion detected in the removal step is the same as the lesion detected in the insertion step. For example, when the lesion detected in the removal step is the same as the lesion detected in the insertion step, the notification control unit 35a causes the notification device to notify that the lesion is the same as the lesion detected in the insertion step. If the lesion detected in the removal step is not the same as the lesion detected in the insertion step, the notification control unit 35a causes the notification device to notify that the lesion is not the same as the lesion detected in the insertion step.
  • the notification control unit 35a detects the lesion detected in the insertion process.
  • the display device 41 and the speaker 42 may notify that is detected again. In this case, when the doctor is looking for a lesion detected in the insertion step, the examination status can be efficiently grasped.
  • the notification control unit 35a is not input with the determination result that the current determination result input from the determination unit 33 is the removal process, and the determination result that it is the same is not input from the identity determination unit 37.
  • the display device 41 and the speaker 42 indicate that the lesion detected in the insertion step has passed without being detected. may be notified. In this case, there is another lesion not detected in the insertion process at a position close to the lesion detected in the insertion process, and only another lesion that was not detected in the insertion process is detected and passed through in the removal process. Also when it is detected, it is notified that the lesion detected in the insertion process is not detected. Therefore, the doctor can turn back (move in the insertion direction) the endoscope 10 to search for a lesion that has passed, thereby reducing the possibility of overlooking a lesion.
  • the notification control unit 35a may cause only one of the display device 41 and the speaker 42 to perform notification.
  • FIG. 8 is a flowchart showing a flow of processing (endoscopic examination supporting method) executed by each part of the endoscopic examination supporting apparatus 30a.
  • the processing of S11 to S16 in FIG. 8 is the same processing as the steps with the same numbers in FIG.
  • the acquisition unit 31 stores an endoscopic image captured by the imaging unit 12 of the endoscope 10 and position information of the imaging unit 12 of the endoscope 10 at the time of imaging, that is, imaging unit position information. (S11).
  • the lesion detection unit 32 detects lesions from the endoscopic image acquired in S11 (S12). If a lesion is detected by the lesion detection unit 32 (YES in S13), the lesion detection unit 32 causes the storage unit 34 to store lesion location information, which is location information of the detected lesion (S14).
  • the discrimination unit 33 discriminates whether it is the insertion process or the withdrawal process (S15). When the determination result of the determination unit 33 is the insertion step, the process returns to S11.
  • the identity determination unit 37 determines whether the lesion detected in S13 is the same as the lesion detected in the insertion step. (S21). Then, the notification control unit 35a causes the notification device (for example, either or both of the display device 41 and the speaker 42) to perform notification of the content according to the result of the determination of whether or not they are the same in S21 (S22). The post-processing returns to S11.
  • the lesion detected in the insertion step and the lesion detected in the removal step are the same. Since the notification of the contents according to the result of the determination is performed, it is possible to efficiently grasp the inspection status.
  • Embodiment 3 will be described with reference to FIG.
  • An endoscopy support apparatus 30b shown in FIG. 9 includes an acquisition unit 31b, a lesion detection unit 32b, a determination unit 33b, and a notification control unit 34b.
  • the acquisition unit 31b, the lesion detection unit 32b, the determination unit 33b, and the notification control unit 34b can be configured in the same manner as the acquisition unit 31, the lesion detection unit 32, the determination unit 33, and the notification control unit 35, respectively. Not limited.
  • the acquisition unit 31b acquires an endoscopic image captured by the imaging unit 12 of the endoscope 10 and an imaging unit position that is position information of the imaging unit 12 of the endoscope 10 in the lumen when the endoscopic image is captured. Information is acquired and output to the lesion detection unit 32b, the determination unit 33b, and the notification control unit 34b.
  • the lesion detection unit 32b detects a lesion from the endoscopic image and outputs it to the notification control unit 34b.
  • the determination unit 33b determines whether the endoscope 10 is inserted to the turn-around point in the lumen or removed from the turn-around point in the lumen, and outputs the result of the judgment to the notification control unit 34b.
  • the notification control unit 34b causes an arbitrary notification device to perform notification according to the positional relationship between the imaging unit position information and the lesion position information.
  • the information processing device 900 includes the following configuration as an example.
  • a program 904 that implements the function of each component is stored in advance in, for example, the storage device 905 or the ROM 902, and is loaded into the RAM 903 and executed by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909 or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901 .
  • the endoscopy support device 30, the endoscopy support device 30a, and the endoscopy support device 30b described in the first, second, and third embodiments are realized as hardware. Therefore, the same effects as those described in the above embodiment can be obtained.
  • Appendix 2 Some or all of the above-described embodiments may also be described as follows. However, the present invention is not limited to the embodiments described below.
  • an endoscopy support device comprising: notification control means for causing the endoscopy examination to be performed; According to the above configuration, it is possible to reduce the possibility of overlooking a lesion in endoscopy. (Appendix 2) When the distance between the position indicated by the imaging part position information and the position indicated by the lesion part position information is equal to or less than a predetermined distance, the notification control means moves the position indicated by the imaging part position information near the position indicated by the imaging part position information.
  • the endoscopic examination support device according to appendix 1, wherein the notification device notifies that there is a lesion detected in the insertion step.
  • the doctor can recognize that there is a lesion detected in the insertion process near the imaging section of the endoscope.
  • the notification control means notifies the notification device that the lesion detected in the insertion step has been passed when the position indicated by the imaging unit position information has passed the position indicated by the lesion position information.
  • the endoscopy support device according to Supplementary Note 1 or 2. According to the above configuration, the doctor can recognize that the imaging unit of the endoscope has passed through the lesion detected in the insertion step.
  • the endoscopy support device according to any one of . According to the above configuration, the doctor can efficiently recognize the information.
  • the imaging unit position information is generated from the shape of the endoscope in the lumen and a lumen model indicating the shape of the lumen and each part that constitutes the lumen. 5.
  • the endoscopy assisting apparatus according to any one of appendices 1 to 4, wherein the information indicates the intraluminal site to be inspected. According to the above configuration, the doctor can efficiently recognize the imaging unit position information.
  • (Appendix 6) It further comprises identity determination means for determining whether the lesion detected in the removal step is the same as the lesion detected in the insertion step, and the notification control means notifies content according to the result of the determination. 6.
  • the endoscopy support device according to any one of appendices 1 to 5, which causes the notification device to perform. According to the above configuration, since the content is reported according to the result of determination as to whether the lesion detected in the insertion step and the lesion detected in the removal step are the same, the inspection status can be efficiently checked. can grasp.
  • the notification control means determines that the position indicated by the imaging unit position information is the lesion position without determining that the lesion detected in the removal step is the same as the lesion detected in the insertion step. 7.
  • the endoscopy support device wherein, when passing through the position indicated by the information, the reporting device notifies that the lesion detected in the insertion step has passed without being detected.
  • the doctor can turn back the endoscope (move it in the direction of insertion) to search for a lesion, thereby reducing the possibility of overlooking a lesion.
  • An endoscopy support system comprising an endoscopy support device and a notification device, wherein the endoscopy support device receives an endoscopic image captured by an imaging unit of an endoscope; Acquisition means for acquiring imaging unit position information indicating the position of the imaging unit of the endoscope in the lumen at the time of imaging; lesion detection means for detecting a lesion from the endoscopic image; discrimination means for discriminating between an insertion step of inserting the speculum to the turn-around point within the lumen and a removal step of removing the speculum from the turn-back point within the lumen; An endoscopy support system, comprising a notification control means for causing the notification device to perform notification according to a positional relationship between position information and lesion position information indicating the position of the lesion detected in the insertion step.
  • An endoscopy support method executed by one or more endoscopy support devices comprising: an endoscopic image captured by an imaging unit of an endoscope; an insertion step of acquiring imaging unit position information indicating the position of the imaging unit of the endoscope, detecting a lesion from the endoscopic image, and inserting the endoscope to a turn-around point in the lumen and determining whether it is a removal step of removing from the turn-around point in the lumen, and if the determination result is the removal step, the imaging unit position information and the lesion position indicating the position of the lesion detected in the insertion step
  • An endoscopy support method for causing a notification device to perform notification according to a positional relationship with information.
  • Appendix 10 Acquisition means for acquiring an endoscopic image captured by an imaging unit of an endoscope and imaging unit position information indicating the position of the imaging unit of the endoscope within a lumen when the endoscopic image is captured. and a lesion detecting means for detecting a lesion from the endoscopic image, and discriminating between an insertion step of inserting the endoscope to the turn-around point in the lumen and a removal step of removing the endoscope from the turn-around point inside the lumen.
  • a recording medium storing a program that causes a computer to function as notification control means. According to the program or the recording medium storing the program, it is possible to reduce the possibility of overlooking lesions in endoscopy.
  • At least one processor stores an image captured by an imaging unit of the endoscope and imaging unit position information indicating the position of the imaging unit of the endoscope in the lumen when the image is captured. Acquisition processing, lesion detection processing from the image, and an insertion step of inserting the endoscope to the turn-around point in the lumen or a removal step of withdrawing the endoscope from the turn-around point inside the lumen are discriminated. and if the determination result is the removal step, causing the notification device to perform notification according to the positional relationship between the imaging unit position information and the lesion position information indicating the position of the lesion detected in the insertion step.
  • An endoscopy support device that performs a process.
  • the endoscopy support apparatus may further include a memory, in which the endoscopic image captured by the imaging unit of the endoscope and the tube used when the endoscopic image was captured. a process of acquiring imaging unit position information indicating the position of the imaging unit of the endoscope within the cavity; a process of detecting a lesion from the endoscopic image; A process of determining whether it is an insertion step of inserting up to or a removal step of removing from a turning point in the lumen, and if the determination result is the removal step, the imaging unit position information and An endoscopy support program may be stored for causing the processor to execute a process of causing a notification device to perform notification according to the positional relationship with lesion position information indicating the position of the lesion. In addition, this endoscopy support program may be recorded in a computer-readable non-temporary tangible recording medium.
  • Endoscopy Support System 10 Endoscope 12 Imaging Unit 20 Endoscope Insertion Shape Observing Device 21 Sense Coil Unit 22 Position Information Processing Devices 30, 30a, 30b Endoscopy Supporting Devices 31, 31b Acquisition Units 32, 32b Lesion detection units 33, 33b Discrimination unit 34 Storage units 35, 35a, 34b Notification control unit 36 Icecal valve detection unit 37 Same determination unit 41 Display device 42 Speaker 901 CPU (Central Processing Unit) 902 ROM (Read Only Memory) 903 RAM (Random Access Memory) 904 program 905 storage device 906 recording medium 907 drive device 908 communication interface 909 communication network 910 input/output interface 911 bus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査における病変の見落としの可能性を低下させる技術を提供する。内視鏡検査支援装置（３０ｂ）は、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得部（３１ｂ）と、前記内視鏡画像から病変を検出する病変検出部（３２ｂ）と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別部（３３ｂ）と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御部（３４ｂ）と、を備える。

Description

内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体
　本発明は、内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体に関する。
　内視鏡検査では、臓器に付着した汚れを洗い流しながらスコープを奥まで挿入し、その後に臓器の中を観察しながら抜去する。
　特許文献１には、検査の工程が挿入工程及び抜去工程のいずれの工程であるかを判別し、判別した工程に応じて注目領域の検出結果の報知を行うことが記載されている。
国際公開第２０２０／０１７２１２号
　内視鏡の挿入は技術的に難しく、医師は挿入時に集中力が要求される。従って医師は、挿入時に病変の検出結果を確認することは困難であり、抜去時の確認だけでは病変を見落としてしまうことがあった。本発明は、上記の課題に鑑みてなされたものであり、その目的は、病変の見落としの可能性を低下させることにある。
　本発明の一側面に係る内視鏡検査支援装置は、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、前記内視鏡画像から病変を検出する病変検出手段と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御手段と、を備える。
　本発明の一側面に係る内視鏡検査支援システムは、内視鏡検査支援装置と報知装置とを備える内視鏡検査支援システムであって、前記内視鏡検査支援装置は、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、前記内視鏡画像から病変を検出する病変検出手段と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて前記報知装置に報知を行わせる報知制御手段とを備える。
　本発明の一側面に係る内視鏡検査支援方法は、一又は複数の内視鏡検査支援装置が実行する内視鏡検査支援方法であって、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得し、前記内視鏡画像から病変を検出し、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別し、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる。
　本発明の一側面に係る記録媒体は、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段、前記内視鏡画像から病変を検出する病変検出手段、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段、及び前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御手段としてコンピュータを機能させるプログラムが格納された記録媒体である。
　本発明の一態様によれば、内視鏡検査における病変の見落としの可能性を低下させることができる。
本発明の例示的実施形態１に係る内視鏡検査支援システムの全体構成の一例を示すブロック図である。 本発明の例示的実施形態１に係る内視鏡検査支援装置の構成を示すブロック図である。 内視鏡を挿入及び抜去する工程の一例を模式的に示す図である。 表示装置に出力される画面の一例を模式的に示す図である。 表示装置に出力される画面の一例を模式的に示す図である。 本発明の例示的実施形態１に係る内視鏡検査支援装置の動作を示すフローチャートである。 本発明の例示的実施形態２に係る内視鏡検査支援装置の構成を示すブロック図である。 本発明の例示的実施形態２に係る内視鏡検査支援装置の動作を示すフローチャートである。 本発明の例示的実施形態３に係る内視鏡検査支援装置の構成を示すブロック図である。 本発明の例示的実施形態１、２及び３に係る内視鏡検査支援装置のハードウェア構成の一例を示す図である。
　図面を参照して、本発明の実施形態について説明する。
　（内視鏡検査支援システム１）
　図１を参照して、後述する実施形態１に係る内視鏡検査支援装置３０が適用される内視鏡検査支援システム１の構成の一例を説明する。図１は、システムの構成の一例を概略的に示す図である。内視鏡検査支援システム１は、医師が被検者に対して内視鏡検査を行う際に、内視鏡検査の支援を行うシステムである。
　図１に示すように、内視鏡検査支援システム１は、内視鏡１０、内視鏡挿入形状観測装置２０、内視鏡検査支援装置３０、表示装置４１およびスピーカ４２を備えている。なお、各ブロックは任意の組み合わせで同一の端末に実装されていてもよい。
　内視鏡１０は、被検者の体腔内に挿入される部分であり、屈曲可能で管状の挿入部１１を有し、挿入部１１は先端に管腔内を撮像する撮影部１２を有する。ここでの管腔とは管状の器官の内側の空間を指し、例えば大腸、小腸、食道及び胃の内側の空間も管腔である。撮影部１２によって撮像された内視鏡画像は、挿入部１１の内部のケーブルを介して内視鏡検査支援装置３０へ送信される。以下では、大腸の内視鏡検査を例に説明を行うが、他の部位の内視鏡検査も同様にして行うことができる。
　ここで、挿入部１１の複数の箇所には、ソースコイル（不図示）が設けられている。ソースコイルは例えば、挿入部１１の全体に所定間隔で配置されている。ソースコイルは内視鏡挿入形状観測装置２０からの駆動信号により磁界を発生させる。そのため、内視鏡１０は、挿入部１１の複数の箇所に形状を特定するための磁気コイルが内蔵されたものであればよい。尚、内視鏡１０のその他の構成は、公知のものを用いることができるため、他の構成の図示及び説明を省略する。または、磁気コイルとして（内視鏡に内蔵されたものではなく）コイルが内蔵された器具を内視鏡１０に挿入した状態で使用することもできる。
　内視鏡挿入形状観測装置２０は、管腔内における撮影部１２の位置を示す位置情報（以下、撮影部位置情報と呼ぶ）を出力する装置であり、センスコイルユニット２１と位置情報処理装置２２とを少なくとも備える。センスコイルユニット２１は、内視鏡１０の挿入部１１内に設けられた複数のソースコイルから発生された磁界を検出するユニットである。
　位置情報処理装置２２は、まず、センスコイルユニット２１により検出された磁界に基づいて、大腸内に挿入された挿入部１１の形状を求める。例えば、位置情報処理装置２２は、センスコイルユニット２１により検出された磁界に基づいて、各ソースコイルの三次元座標を算出する。ソースコイルは挿入部１１の所定位置に設けられているので、これらの三次元座標は、挿入部１１の形状を示しているといえる。
　そして、位置情報処理装置２２は、挿入部１１の形状と、一般的な大腸の形状から、大腸内の撮影部１２の位置を示す位置情報である撮影部位置情報を生成する。
　撮影部位置情報は、撮影部１２の位置を示す三次元座標としてもよいし、その三次元座標を二次元に投影した座標としてもよく、投影結果を画像化した画像データとしてもよい。また、撮影部位置情報は、座標情報に基づいて推定された、撮影部１２が大腸内の各部位のどこに位置するかを示す情報であってもよい。この場合、撮影部位置情報は、例えば、盲腸、上行結腸、横行結腸、下行結腸、S字結腸、直腸のいずれかを含む。
　なお、撮影部１２が位置する部位を示す撮影部位置情報は、大腸以外の管腔でも生成することができる。すなわち、撮影部位置情報は、管腔内における内視鏡１０の形状と、管腔の形状及び当該管腔を構成する各部位を示す管腔モデルとから生成された、撮影部１２が位置する管腔内の部位を示す情報であってもよい。なお、撮影部１２が位置する管腔内の部位は、撮影部１２が撮影する内視鏡画像を解析することにより判定することもできる。例えば、各部位で撮影された内視鏡画像に当該部位の名称等を正解データとしてラベル付けした教師データを用いた機械学習により構築した機械学習済みモデルを用いれば、撮影された内視鏡画像に写る部位が何れの部位であるかを判定することができる。
　位置情報処理装置２２は、以上のようにして生成した撮影部位置情報を内視鏡検査支援装置３０へ出力する。尚、内視鏡挿入形状観測装置２０のその他の構成は、公知のものを用いることができるため、他の構成の図示及び説明を省略する。
　内視鏡検査支援装置３０は、内視鏡１０による内視鏡検査を支援する装置であり、内視鏡１０、内視鏡挿入形状観測装置２０、表示装置４１及びスピーカ４２と接続される。内視鏡検査支援装置３０は、内視鏡１０から内視鏡画像を取得し、内視鏡挿入形状観測装置２０から撮影部位置情報を取得する。
　内視鏡検査支援装置３０は、取得した内視鏡画像及び撮影部位置情報に基づいて、撮影部位置情報と、挿入工程で検出された病変の位置を示す位置情報（以下、病変部位置情報と呼ぶ）との位置関係に応じて表示装置４１及びスピーカ４２に報知を行わせる。報知を行わせるための具体的な方法については後述する。そして、内視鏡検査支援装置３０は、検出された病変の画像と、病変部位置情報と、判別された工程とを関連付けて表示装置４１に出力させる。なお、判別された工程とは、内視鏡１０を挿入する挿入工程または内視鏡１０を抜去する抜去工程であり、これらの工程の判別は内視鏡検査支援装置３０が行う。また、出力させるための具体的な方法については後述する。
　表示装置４１は、内視鏡検査支援装置３０から受け付けた表示情報を画面に表示する。スピーカ４２は、内視鏡検査支援装置３０から受け付けた音声を出力する。これらの装置は、内視鏡検査支援装置３０が上述の報知を行わせる対象となる報知装置の例である。報知装置は、報知すべき情報を対象となるユーザに認識できるような態様で出力するものであればよく、表示装置４１とスピーカ４２に限られない。例えば、内視鏡検査支援装置３０が表示装置を備えている場合、その表示装置を報知装置として使用してもよい。
　〔実施形態１〕
　図２から図４を参照して、実施形態１について説明する。
　（内視鏡検査支援装置３０）
　図２を参照して、本実施形態１に係る内視鏡検査支援装置３０が備えた構成要素について説明する。図２は、内視鏡検査支援装置３０の構成を示すブロック図である。図２に示すように、内視鏡検査支援装置３０は、取得部３１、病変検出部３２、判別部３３、記憶部３４、報知制御部３５及び回盲弁検出部３６を備えている。
　取得部３１は、内視鏡の撮影部１２が撮影する内視鏡画像と、内視鏡画像の撮影時の管腔内における内視鏡の撮影部１２の位置を示す撮影部位置情報とを取得する取得手段である。取得部３１は、内視鏡１０から撮影部１２が撮影する内視鏡画像を取得し、内視鏡挿入形状観測装置２０から内視鏡画像の撮影時の管腔内における撮影部１２の位置情報すなわち撮影部位置情報を取得する。なお、取得した内視鏡画像及び撮影部位置情報には、取得した日時や検査経過時間等の時間情報が関連付けられているものとする。取得部３１は、取得した内視鏡画像を病変検出部３２へ出力し、取得した内視鏡画像及び撮影部位置情報を判別部３３へ出力し、取得した撮影部位置情報を記憶部３４及び報知制御部３５へ出力する。
　病変検出部３２は、内視鏡画像から病変を検出する病変検出手段である。病変検出部３２は、取得部３１から入力された内視鏡画像から病変を検出する。具体的には、病変検出部３２は、病変の画像特徴を機械学習した識別器に、内視鏡画像を入力して病変を識別することにより、病変を検出する。ここでの病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態のものを含んでいる。病変としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Ｅｎｄｏｓｃｏｐｉｃ　Ｍｕｃｏｓａｌ　Ｒｅｓｅｃｔｉｏｎ）瘢痕又はＥＳＤ（Ｅｎｄｏｓｃｏｐｉｃ　Ｓｕｂｍｕｃｏｓａｌ　Ｄｉｓｓｅｃｔｉｏｎ）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。なお、病変検出部３２が用いる識別器は機械学習によって生成されたものに限定されず、病変を検出できる識別器であればよい。病変検出部３２は、検出した病変に関する病変情報を記憶部３４へ出力する。病変情報は、検出された病変の画像である病変画像を含み、検出された日時や検査経過時間等の時間情報が関連付けられているものとする。また、病変情報には、病変の位置を示す病変部位置情報が含まれている。
　判別部３３は、内視鏡１０を管腔内の折り返し地点まで挿入する挿入工程か、管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段である。判別部３３は、取得部３１から入力された内視鏡画像及び撮影部位置情報の少なくとも一方に基づいて挿入工程か抜去工程かを判別する。具体的には、判別部３３は、判別部３３が備える回盲弁検出部３６によって内視鏡画像から回盲弁を検出することで、回盲弁検出以前を挿入工程、回盲弁検出以降を抜去工程と判別する。なお、判別部３３は、入力された撮影部位置情報に基づいて、撮影部位置情報が折り返し地点に達するまでを挿入工程、達した以降を抜去工程と判別してもよく、内視鏡画像による判別と撮影部位置情報による判別を併用してもよい。判別部３３は、判別結果を報知制御部３５へ出力する。また、判別部３３は、判別結果に判別した日時や検査経過時間等の時間情報を関連付けて記憶部３４へ出力する。なお、判別部３３は、一度抜去工程と判別した以降は同一検査中において、挿入工程か抜去工程かを判別する処理を省略して判別結果を抜去工程として出力してもよい。その場合、判別部３３は処理にかかる計算コストを削減することができる。
　記憶部３４は、取得部３１から入力された撮影部位置情報と、病変検出部３２から入力された病変情報と、判別部３３から入力された判別結果とを記憶する。記憶部３４には、時間情報に基づいて、入力された撮影部位置情報と病変情報と判別結果とが関連付けて記憶される。具体的には、記憶部３４には、関連付けられている時間情報が同一の時間を示している撮影部位置情報、病変情報及び判別結果が関連付けて記憶される。なお、記憶部３４は必ずしも内視鏡検査支援装置３０の内部に存在する必要はない。内視鏡検査支援装置３０の外部に記憶部３４が存在する場合は、記憶部３４が内視鏡検査支援装置３０とアクセス可能とする。このような記憶部３４を含む内視鏡検査支援システムは、内視鏡検査支援装置３０と同様に機能する。
　報知制御部３５は、判別部３３の判別結果が抜去工程である場合、現在の撮影部位置情報と挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知を行わせる報知制御手段である。報知制御部３５は、取得部３１から入力された撮影部位置情報と、判別部３３から入力された判別結果と、記憶部３４から取得した病変部位置情報、病変情報及び判別結果とに基づいて、表示装置４１及びスピーカ４２に報知を行わせる。具体的には、報知制御部３５は、取得部３１から入力された撮影部位置情報が示す位置と、記憶部３４に記憶されている病変部位置情報（挿入工程で検出された病変の位置情報）が示す位置とが所定の距離以下である場合に、現在の位置情報が示す位置の近くに挿入工程で検出された病変がある旨の報知を行わせる。また、報知制御部３５は、取得部３１から入力された撮影部位置情報が示す位置が、記憶部３４に記憶されている病変部位置情報が示す位置を通過した場合に、挿入工程で検出された病変を通過した旨の報知を行わせてもよい。なお、報知制御部３５は、表示装置４１及びスピーカ４２の一方にのみ報知を行わせてもよい。
　図３は、内視鏡１０を挿入及び抜去する工程の一例を模式的に示す図である。図３では、大腸の画像１０１中に内視鏡１０の挿入および抜去の経路を矢印で示している。図示のように、内視鏡１０は、直腸から盲腸まで挿入された（挿入工程）後、抜去される（抜去工程）。なお、盲腸と回腸の結合部には図示しない回盲弁がある。また、図３では、挿入工程において検出された病変１０２及び１０３を星印で示している。これらの病変については、その検出時に病変部位置情報が記憶されている。
　報知制御部３５は、抜去工程において、取得部３１から入力された撮影部位置情報が示す位置と病変部位置情報が示す位置との距離が閾値以下である場合に、表示装置４１及びスピーカ４２に、近くに病変がある旨の報知を行わせる。
　例えば、挿入工程において横行結腸にて検出された病変１０２について、報知制御部３５は、抜去工程にて取得部３１から入力された撮影部位置情報が示す位置が上行結腸から横行結腸に変化したタイミングで、近くに病変がある旨の報知を行わせてもよい。同様に、報知制御部３５は、撮影部位置情報が示す位置が病変１０３に近付いたときにも、近くに病変がある旨の報知を行わせてもよい。
　また、報知制御部３５は、抜去工程において、取得部３１から入力された撮影部位置情報が示す位置が、病変部位置情報が示す位置を通過した場合に、表示装置４１及びスピーカ４２に、挿入工程で検出された病変を通過した旨の報知を行わせてもよい。
　具体的には、挿入工程において横行結腸にて検出された病変１０２について、報知制御部３５は、抜去工程にて取得部３１から入力された撮影部位置情報が示す位置が横行結腸から下行結腸に移動したタイミングで、病変を通過した旨の報知を行わせてもよい。
　図４及び図５は、表示装置４１に出力される画面の一例を模式的に示す図である。図４に示す画像ＩＭＧ１は、近くに病変がある旨を報知する報知画面の一例である。報知制御部３５は、例えば図４に示すように、病変が撮影部１２の現在位置の先にある旨のメッセージ２０１と、検出された病変の画像２０２と、画像２０２における病変部位を示す情報２０３と、検出した病変の大腸における位置を示す情報２０４（この例では大腸の形状を模式的に示す図に病変の位置を星印で示したもの）と、検出時の工程を示す情報２０５（この例では四角形の枠）と、病変を検出した日時２０６と、を画面上に出力させる。医師は画面上の出力結果を確認することで、撮影部１２の現在位置の先に病変がある旨を知ることが可能となり、病変の詳細な情報を確認することができる。
　また、図５に示す画像ＩＭＧ２は、病変を通過した旨を報知する報知画面の一例である。画像ＩＭＧ２は、画像ＩＭＧ１と概ね同様であるが、メッセージ２０１がメッセージ３０１に代わっている点で画像ＩＭＧ１と相違している。メッセージ３０１は、病変の位置をすでに撮影部１２の現在位置は通過してしまっている旨のメッセージである。医師は画像ＩＭＧ２を確認することで、撮影部１２が病変をすでに通過してしまった旨を知ることが可能となり、内視鏡１０を管腔奥側に再度移動させる等して病変の詳細な情報を確認することができる。
　なお、報知画面は図４及び図５の例に限定されず、撮影部位置情報と病変部位置情報との位置関係に応じた報知の内容が視覚的に認識できるような画面であればよい。例えば、報知制御部３５は、撮影部位置情報に基づき、撮影部１２の位置を情報２０４（大腸の形状を模式的に示す図）に重畳して表示してもよい。このような画像を表示すれば、撮影部位置情報と病変部位置情報との位置関係をユーザ（医師等）に認識させることができるから、この場合、メッセージ２０１や３０１を省略することもできる。
　また、例えば、報知制御部３５は、病変の画像２０２と共に現在の内視鏡画像（撮影部位置情報が示す位置で撮影されたもの）を表示させてもよい。これにより、ユーザ（医師等）は、病変の画像２０２と共に現在の内視鏡画像を見比べながら、現在の内視鏡画像から病変を探すことができる。
　さらに、例えば、報知制御部３５は、撮影部位置情報が示す位置と、病変部位置情報が示す位置との間の距離が所定の距離以下である場合に、撮影部位置情報が示す位置の近くに挿入工程で検出された病変がある旨を報知してもよい。例えば、報知制御部３５は、「近くに挿入工程で検出された病変があります」等のメッセージを表示させることによって行ってもよいし、病変の画像２０２における当該病変をハイライトすることによって行ってもよい。ハイライトの方法は特に限定されず、例えば病変を示す画像（図４、５の例では星印）を点滅させる、色を変化させる等の方法でハイライトしてもよい。
　（内視鏡検査支援装置３０の動作）
　図６を参照して、本実施形態１に係る内視鏡検査支援装置３０の動作を説明する。図６は、内視鏡検査支援装置３０の各部が実行する処理（内視鏡検査支援方法）の流れを示すフローチャートである。
　図６に示すように、取得部３１は、内視鏡１０の撮影部１２が撮影する内視鏡画像と、撮影時の内視鏡１０の撮影部１２の位置情報、すなわち撮影部位置情報とを取得する（Ｓ１１）。次に、病変検出部３２は、Ｓ１１で取得された内視鏡画像から病変を検出する（Ｓ１２）。
　病変検出部３２は、Ｓ１２の処理で病変を検出した場合（Ｓ１３でＹＥＳ）、検出した病変の位置情報である病変部位置情報を記憶部３４に記憶させる（Ｓ１４）。一方、Ｓ１２の処理で病変が検出されなかった場合（Ｓ１３でＮＯ）にはＳ１５の処理に進む。
　Ｓ１５では、判別部３３は、挿入工程か抜去工程かを判別する。Ｓ１５における判別部３３の判別結果が挿入工程であった場合、Ｓ１１に処理が戻る。判別部３３の判別結果が抜去工程であった場合、Ｓ１６の処理に進む。
　Ｓ１６では、報知制御部３５は、報知を行うか否かを判定する。ここで報知制御部３５は、撮影部位置情報が示す位置と病変部位置情報が示す位置との間の距離が所定の距離以下である場合等、所定の条件を満たしている場合に報知を行うと判定する。Ｓ１６で報知を行う（Ｓ１６でＹＥＳ）と判定された場合にはＳ１７に進み、報知を行わない（Ｓ１６でＮＯ）と判定された場合にはＳ１１に戻る。
　Ｓ１７では、報知制御部３５は、抜去工程の撮影部位置情報と挿入工程で検出された病変の病変部位置情報との位置関係に応じて、報知装置に報知を行わせる（Ｓ１７）。この後、処理はＳ１１に戻る。
　以上のように、本実施形態の内視鏡検査支援方法によれば、挿入工程において検出された病変の病変部位置情報と、抜去工程における撮影部位置情報との位置関係に応じた報知が行われるため、報知を行わない場合に比べて、病変の見落としの可能性を低下させることができる。
　〔実施形態２〕
　図７及び図８を参照して、実施形態２について説明する。実施形態２は、実施形態１における動作に加えて、抜去工程で検出された病変が挿入工程で検出された病変と同一であるかの判定に基づいて報知を制御することを可能にする。
　（内視鏡検査支援装置３０ａ）
　図７を参照して、本実施形態２に係る内視鏡検査支援装置３０ａが備えた構成要素について説明する。内視鏡検査支援装置３０ａの構成のうち、実施形態１の内視鏡検査支援装置３０の構成と同じ処理動作を行う構成については、図２と同じ符号を付し、詳細な説明を省略する。図７は、内視鏡検査支援装置３０ａの構成を示すブロック図である。図７に示すように、内視鏡検査支援装置３０ａは、取得部３１、病変検出部３２、判別部３３、記憶部３４、報知制御部３５ａ、回盲弁検出部３６及び同一判定部３７を備えている。
　同一判定部３７は、抜去工程で検出された病変が、挿入工程で検出された病変と同一であるかどうかを判定する同一判定手段である。同一判定部３７は病変検出部３２から取得した抜去工程の病変情報と、記憶部３４から取得した挿入工程の病変情報とに基づいて、抜去工程で検出された病変が、挿入工程で検出された病変と同一であるかどうかを判定する。具体的には、同一判定部３７は、病変検出部３２から取得した抜去工程の病変情報が持つ病変画像中の病変と、記憶部３４から取得した挿入工程の病変情報が持つ病変画像中の病変とが同一であるかを判定する。同一の判定は、画像の同一性を判定する既存の判定器によって行われる。また、同一判定部３７は、検出された病変の種類が同じであれば同一の病変であると判定してもよい。同一判定部３７は、同一であるかどうかを示す同一性判定結果を報知制御部３５ａへ出力する。
　報知制御部３５ａは、判別結果が抜去工程である場合、撮影部位置情報と病変部位置情報との位置関係及び同一判定の結果に応じて報知装置に報知を行わせる報知制御手段である。報知制御部３５ａは、取得部３１から入力された撮影部位置情報と、判別部３３から入力された挿入工程か抜去工程かの判別結果と、記憶部３４から取得した病変部位置情報、病変情報及びその病変が検出されたときの挿入工程か抜去工程かの判別結果と、同一判定部３７から入力された同一性判定結果とに基づいて、表示装置４１及びスピーカ４２に報知を行わせる。報知制御部３５ａは、抜去工程で検出された病変が挿入工程で検出された病変と同一であるかどうかの判定の結果に応じた内容の報知を報知装置に報知させる。例えば、報知制御部３５ａは、抜去工程で検出された病変が挿入工程で検出された病変と同一である場合、挿入工程で検出した病変と同一である旨の報知を報知装置に行わせる。また、報知制御部３５ａは、抜去工程で検出された病変が挿入工程で検出された病変と同一でない場合、挿入工程で検出した病変と同一でない旨の報知を報知装置に行わせる。
　また、例えば、報知制御部３５ａは、判別部３３から入力される判別結果が抜去工程であり、同一判定部３７から同一であるとの判定結果が入力された場合、挿入工程で検出された病変が再度検出された旨を表示装置４１及びスピーカ４２に報知させてもよい。この場合、医師が挿入工程で検出された病変を探している際に、効率的に検査状況を把握することができる。また、報知制御部３５ａは、判別部３３から入力される現在の判別結果が抜去工程であり、同一判定部３７から同一であるとの判定結果が入力されておらず、取得部３１から入力された撮影部位置情報が示す位置が記憶部３４に記憶された病変部位置情報が示す位置を通過した場合、挿入工程で検出された病変が検出されずに通過した旨を表示装置４１及びスピーカ４２に報知させてもよい。この場合、挿入工程において検出された病変と近い位置に、挿入工程では未検出の別の病変があり、抜去工程においては挿入工程で未検出だった別の病変のみを検出して通過してしまった際にも、挿入工程において検出された病変が検出されていないことが報知される。このため、医師は、通過してしまった病変を探すために内視鏡１０を引き返す（挿入方向に移動させる）ことが可能になり、病変の見落としの可能性を低下させることができる。なお、報知制御部３５ａは、表示装置４１及びスピーカ４２の一方にのみ報知を行わせてもよい。
　（内視鏡検査支援装置３０ａの動作）
　図８を参照して、本実施形態２に係る内視鏡検査支援装置３０ａの動作を説明する。図８は、内視鏡検査支援装置３０ａの各部が実行する処理（内視鏡検査支援方法）の流れを示すフローチャートである。なお、図８のＳ１１～Ｓ１６の処理は、図６における同番号のステップと同様の処理である。
　図８に示すように、取得部３１は、内視鏡１０の撮影部１２が撮影する内視鏡画像と、撮影時の内視鏡１０の撮影部１２の位置情報、すなわち撮影部位置情報とを取得する（Ｓ１１）。次に、病変検出部３２は、Ｓ１１で取得された内視鏡画像から病変を検出する（Ｓ１２）。病変検出部３２によって病変が検出された場合（Ｓ１３でＹＥＳ）、病変検出部３２は、検出した病変の位置情報である病変部位置情報を記憶部３４に記憶させる（Ｓ１４）。次に、判別部３３は、挿入工程か抜去工程かを判別する（Ｓ１５）。判別部３３の判別結果が挿入工程であった場合、Ｓ１１に処理が戻る。
　Ｓ１５における判別部３３の判別結果が抜去工程であり、報知を行う場合（Ｓ１６でＹＥＳ）、同一判定部３７は、Ｓ１３で検出された病変が挿入工程で検出された病変と同一であるか判定する（Ｓ２１）。そして、報知制御部３５ａは、Ｓ２１における同一であるかの判定の結果に応じた内容の報知を報知装置（例えば、表示装置４１とスピーカ４２のいずれかまたは両方）に行わせる（Ｓ２２）。この後処理はＳ１１に戻る。
　以上のように、本実施形態の内視鏡検査支援装置３０ａが実行する内視鏡検査支援方法によれば、挿入工程において検出された病変と、抜去工程において検出された病変とが同一であるかの判定の結果に応じた内容の報知が行われるため、効率的に検査状況を把握することができる。
　〔実施形態３〕
　図９を参照して、実施形態３について説明する。
　（内視鏡検査支援装置３０ｂ）
　図９を参照して、本実施形態３に係る内視鏡検査支援装置３０ｂが備えた構成要素について説明する。本実施形態３は、実施形態１及び実施形態２の基本となる実施形態である。図９に示す内視鏡検査支援装置３０ｂは、取得部３１ｂ、病変検出部３２ｂ、判別部３３ｂ及び報知制御部３４ｂを備えている。例えば、取得部３１ｂ、病変検出部３２ｂ、判別部３３ｂ、報知制御部３４ｂを、それぞれ取得部３１、病変検出部３２、判別部３３、報知制御部３５と同様に構成することができるが、それに限定されない。
　取得部３１ｂは、内視鏡１０の撮影部１２が撮影する内視鏡画像と、内視鏡画像の撮影時の管腔内における内視鏡１０の撮影部１２の位置情報である撮影部位置情報とを取得し、病変検出部３２ｂ、判別部３３ｂ及び報知制御部３４ｂに出力する。病変検出部３２ｂは、内視鏡画像から病変を検出し、報知制御部３４ｂに出力する。判別部３３ｂは、内視鏡１０を管腔内の折り返し地点まで挿入する挿入工程か、管腔内の折り返し地点から抜去する抜去工程かを判別し、判別結果を報知制御部３４ｂに出力する。報知制御部３４ｂは、判別結果が抜去工程である場合、撮影部位置情報と病変部位置情報との位置関係に応じて任意の報知装置に報知を行わせる。
　実施形態３の内視鏡検査支援装置３０ｂによれば、内視鏡検査における病変の見落としの可能性を低下させることができる。
　（ハードウェア構成について）
　前記実施形態１、２及び３で説明した図２、７、９では、内視鏡検査支援装置３０、内視鏡検査支援装置３０ａ、内視鏡検査支援装置３０ｂの各構成要素を機能単位のブロックで示している。これらの構成要素の一部又は全部は、例えば図１０に示すような情報処理装置９００により実現される。図１０は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。
　図１０に示すように、情報処理装置９００は、一例として、以下のような構成を含む。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　前記実施形態１、２及び３で説明した内視鏡検査支援装置３０、内視鏡検査支援装置３０ａ、内視鏡検査支援装置３０ｂの各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　上記の構成によれば、前記実施形態１、２及び３で説明した内視鏡検査支援装置３０、内視鏡検査支援装置３０ａ、内視鏡検査支援装置３０ｂが、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。
　以上、各実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、前記内視鏡画像から病変を検出する病変検出手段と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御手段とを備える内視鏡検査支援装置。
　上記の構成によれば、内視鏡検査における病変の見落としの可能性を低下させることができる。
　（付記２）
　前記報知制御手段は、前記撮影部位置情報が示す位置と、前記病変部位置情報が示す位置との間の距離が所定の距離以下である場合に、前記撮影部位置情報が示す位置の近くに前記挿入工程で検出された病変がある旨の報知を前記報知装置に行わせる付記１に記載の内視鏡検査支援装置。
　上記の構成によれば、内視鏡の撮影部の近くに挿入工程で検出された病変があることを医師が認識することができる。
　（付記３）
　前記報知制御手段は、前記撮影部位置情報が示す位置が、前記病変部位置情報が示す位置を通過した場合に、前記挿入工程で検出された病変を通過した旨の報知を前記報知装置に行わせる付記１又は２に記載の内視鏡検査支援装置。
　上記の構成によれば、挿入工程で検出された病変を内視鏡の撮影部が通過したことを医師が認識することができる。
　（付記４）
　前記報知制御手段は、検出された前記病変の画像と、前記病変部位置情報と、当該病変が前記挿入工程で検出された旨の表示とを含む報知を前記報知装置に行わせる付記１から３のいずれかに記載の内視鏡検査支援装置。
　上記の構成によれば、医師が効率的に情報を認識することができる。
　（付記５）
　前記撮影部位置情報は、前記管腔内における前記内視鏡の形状と、前記管腔の形状及び当該管腔を構成する各部位を示す管腔モデルとから生成された、前記撮影部が位置する前記管腔内の部位を示す情報である付記１から４のいずれかに記載の内視鏡検査支援装置。
　上記の構成によれば、医師が撮影部位置情報を効率的に認識することができる。
　（付記６）
　前記抜去工程で検出された病変が、前記挿入工程で検出された病変と同一であるかどうかを判定する同一判定手段をさらに備え、前記報知制御手段は、前記判定の結果に応じた内容の報知を前記報知装置に行わせる付記１から５のいずれかに記載の内視鏡検査支援装置。
　上記の構成によれば、挿入工程において検出された病変と、抜去工程において検出された病変とが同一であるかの判定の結果に応じた内容の報知が行われるため、効率的に検査状況を把握することができる。
　（付記７）
　前記報知制御手段は、前記抜去工程で検出された病変が前記挿入工程で検出された病変と同一であるとの判定が行われないまま、前記撮影部位置情報が示す位置が、前記病変部位置情報が示す位置を通過した場合に、前記挿入工程で検出された病変を検出せずに通過した旨の報知を前記報知装置に行わせる付記６に記載の内視鏡検査支援装置。
　上記の構成によれば、医師が病変を探すために内視鏡を引き返す（挿入方向に移動させる）ことが可能になり、病変の見落としの可能性を低下させることができる。
　（付記８）
　内視鏡検査支援装置と報知装置とを備える内視鏡検査支援システムであって、前記内視鏡検査支援装置は、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、前記内視鏡画像から病変を検出する病変検出手段と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて前記報知装置に報知を行わせる報知制御手段とを備える内視鏡検査支援システム。
　上記の構成によれば、内視鏡検査における病変の見落としの可能性を低下させることができる。
　（付記９）
　一又は複数の内視鏡検査支援装置が実行する内視鏡検査支援方法であって、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得し、前記内視鏡画像から病変を検出し、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別し、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる内視鏡検査支援方法。
　上記の方法によれば、内視鏡検査における病変の見落としの可能性を低下させることができる。
　（付記１０）
　内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、前記内視鏡画像から病変を検出する病変検出手段と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御手段としてコンピュータを機能させるプログラムが格納された記録媒体。
　上記のプログラムまたは該プログラムが格納された上記記録媒体によれば、内視鏡検査における病変の見落としの可能性を低下させることができる。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　少なくとも１つのプロセッサを備え、前記プロセッサは、内視鏡の撮影部が撮影する画像と、前記画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する処理と、前記画像から病変を検出する処理と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する処理と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる処理と、を実行する内視鏡検査支援装置。
　なお、この内視鏡検査支援装置は、更にメモリを備えていてもよく、このメモリには、内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する処理と、前記内視鏡画像から病変を検出する処理と、前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する処理と、前記判別結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる処理とを前記プロセッサに実行させるための内視鏡検査支援プログラムが記憶されていてもよい。また、この内視鏡検査支援プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
１　　　　内視鏡検査支援システム
１０　　　内視鏡
１２　　　撮影部
２０　　　内視鏡挿入形状観測装置
２１　　　センスコイルユニット
２２　　　位置情報処理装置
３０、３０ａ、３０ｂ　　　内視鏡検査支援装置
３１，３１ｂ　　　取得部
３２、３２ｂ　　　病変検出部
３３、３３ｂ　　　判別部
３４　　　　　　　記憶部
３５、３５ａ、３４ｂ　　　報知制御部
３６　　　回盲弁検出部
３７　　　同一判定部
４１　　　表示装置
４２　　　スピーカ
９０１　　　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）
９０２　　　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）
９０３　　　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）
９０４　　　プログラム
９０５　　　記憶装置
９０６　　　記録媒体
９０７　　　ドライブ装置
９０８　　　通信インタフェース
９０９　　　通信ネットワーク
９１０　　　入出力インタフェース
９１１　　　バス

Claims (10)

  1. 　内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、
    　前記内視鏡画像から病変を検出する病変検出手段と、
    　前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、
    　前記判別の結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御手段と
    を備える内視鏡検査支援装置。
  2. 　前記報知制御手段は、前記撮影部位置情報が示す位置と、前記病変部位置情報が示す位置との間の距離が所定の距離以下である場合に、前記撮影部位置情報が示す位置の近くに前記挿入工程で検出された病変がある旨の報知を前記報知装置に行わせる
    請求項１に記載の内視鏡検査支援装置。
  3. 　前記報知制御手段は、前記撮影部位置情報が示す位置が、前記病変部位置情報が示す位置を通過した場合に、前記挿入工程で検出された病変を通過した旨の報知を前記報知装置に行わせる
    請求項１又は２に記載の内視鏡検査支援装置。
  4. 　前記報知制御手段は、検出された前記病変の画像と、前記病変部位置情報と、当該病変が前記挿入工程で検出された旨の表示とを含む報知を前記報知装置に行わせる
    請求項１から３のいずれか１項に記載の内視鏡検査支援装置。
  5. 　前記撮影部位置情報は、前記管腔内における前記内視鏡の形状と、前記管腔の形状及び当該管腔を構成する各部位を示す管腔モデルとから生成された、前記撮影部が位置する前記管腔内の部位を示す情報である
    請求項１から４のいずれか１項に記載の内視鏡検査支援装置。
  6. 　前記抜去工程で検出された病変が、前記挿入工程で検出された病変と同一であるかどうかを判定する同一判定手段をさらに備え、
    　前記報知制御手段は、前記判定の結果に応じた内容の報知を前記報知装置に行わせる
    請求項１から５のいずれか１項に記載の内視鏡検査支援装置。
  7. 　前記報知制御手段は、前記抜去工程で検出された病変が前記挿入工程で検出された病変と同一であるとの判定が行われないまま、前記撮影部位置情報が示す位置が、前記病変部位置情報が示す位置を通過した場合に、前記挿入工程で検出された病変を検出せずに通過した旨の報知を前記報知装置に行わせる
    請求項６に記載の内視鏡検査支援装置。
  8. 　内視鏡検査支援装置と報知装置とを備える内視鏡検査支援システムであって、
    　前記内視鏡検査支援装置は、
    　内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、
    　前記内視鏡画像から病変を検出する病変検出手段と、
    　前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、
    　前記判別の結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて前記報知装置に報知を行わせる報知制御手段とを備える
    内視鏡検査支援システム。
  9. 　一又は複数の内視鏡検査支援装置が実行する内視鏡検査支援方法であって、
    　内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得し、
    　前記内視鏡画像から病変を検出し、
    　前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別し、
    　前記判別の結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる
    内視鏡検査支援方法。
  10. 　内視鏡の撮影部が撮影する内視鏡画像と、前記内視鏡画像の撮影時の管腔内における前記内視鏡の撮影部の位置を示す撮影部位置情報とを取得する取得手段と、
    　前記内視鏡画像から病変を検出する病変検出手段と、
    　前記内視鏡を前記管腔内の折り返し地点まで挿入する挿入工程か、前記管腔内の折り返し地点から抜去する抜去工程かを判別する判別手段と、
    　前記判別の結果が前記抜去工程である場合、前記撮影部位置情報と前記挿入工程で検出された病変の位置を示す病変部位置情報との位置関係に応じて報知装置に報知を行わせる報知制御手段
    としてコンピュータを機能させるプログラムが格納された記録媒体。
PCT/JP2021/044222 2021-12-02 2021-12-02 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体 WO2023100310A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044222 WO2023100310A1 (ja) 2021-12-02 2021-12-02 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044222 WO2023100310A1 (ja) 2021-12-02 2021-12-02 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2023100310A1 true WO2023100310A1 (ja) 2023-06-08

Family

ID=86611673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044222 WO2023100310A1 (ja) 2021-12-02 2021-12-02 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2023100310A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230612A (ja) * 2013-05-28 2014-12-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014230612A (ja) * 2013-05-28 2014-12-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム

Similar Documents

Publication Publication Date Title
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP4891636B2 (ja) 画像解析装置
US20120230559A1 (en) Image processing apparatus, image processing method, and image processing program
JP6206869B2 (ja) 内視鏡観察支援装置
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
US20210274089A1 (en) Method and Apparatus for Detecting Missed Areas during Endoscopy
JP7503592B2 (ja) 内視鏡検査処置の視覚化のためのユーザインターフェース
WO2021171465A1 (ja) 内視鏡システム及び内視鏡システムによる管腔走査方法
JP6840263B2 (ja) 内視鏡システム及びプログラム
JP2008054763A (ja) 医療画像診断装置
US11219358B2 (en) Method and apparatus for detecting missed areas during endoscopy
AU2021337847A1 (en) Devices, systems, and methods for identifying unexamined regions during a medical procedure
WO2023100310A1 (ja) 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
CN113331769A (zh) 用于在内窥镜检查期间检测漏检区域的方法和装置
JP7464060B2 (ja) 画像処理装置、制御方法及びプログラム
EP4133988A1 (en) Endoscope insertion assistance device, method, and non-temporary computer-readable medium having program stored therein
JP7448923B2 (ja) 情報処理装置、情報処理装置の作動方法、及びプログラム
US20110184710A1 (en) Virtual endoscopy apparatus, method for driving thereof and medical examination apparatus
JP7506264B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
WO2022208615A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21966393

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023564357

Country of ref document: JP

Kind code of ref document: A