WO2024053697A1 - 手術支援プログラム、手術支援装置、および手術支援方法 - Google Patents

手術支援プログラム、手術支援装置、および手術支援方法 Download PDF

Info

Publication number
WO2024053697A1
WO2024053697A1 PCT/JP2023/032610 JP2023032610W WO2024053697A1 WO 2024053697 A1 WO2024053697 A1 WO 2024053697A1 JP 2023032610 W JP2023032610 W JP 2023032610W WO 2024053697 A1 WO2024053697 A1 WO 2024053697A1
Authority
WO
WIPO (PCT)
Prior art keywords
resection
surgical
resected
surgical image
target
Prior art date
Application number
PCT/JP2023/032610
Other languages
English (en)
French (fr)
Inventor
優志 竹内
Original Assignee
慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 慶應義塾 filed Critical 慶應義塾
Publication of WO2024053697A1 publication Critical patent/WO2024053697A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Definitions

  • the present invention relates to a surgery support program, a surgery support device, and a surgery support method.
  • Patent Document 1 discloses a near-infrared fluorescent tracer and a fluorescent imaging method as a method for supporting appropriate removal of the object to be removed. Specifically, by chemically bonding an anti-tumor antibody to an indocyanine green-high-density lipoprotein (ICG-HDL) complex, it is possible to measure the location and size of external tumors in vivo in real time. It is stated that it is possible. However, in the technique of Patent Document 1, the operator can only distinguish between tumor tissue and normal tissue, and the decision on whether the resection is complete is left to the operator.
  • ICG-HDL indocyanine green-high-density lipoprotein
  • Non-Patent Document 1 describes a method that learns a surgical image and information about the completion of the procedure, and inputs the surgical image at the time of inference to notify the completion of the procedure. It is disclosed to output the status.
  • Non-Patent Document 1 inferences are only made by learning surgical images and information on the completion of the procedure, and it is desired to be able to notify the status of resection of the object to be resected more accurately in surgery. was.
  • a program causes a computer to obtain a surgical image in which a surgical site is photographed in a surgery to remove an object to be resected, and the input is the surgical image and the output is information related to the completion of the resection. detecting the state of resection of the object to be resected from the acquired surgical image using a model generated by machine learning of learning data; and notifying the state of resection of the object to be resected. and the information related to the completion of resection includes region information of the organ that appears in the surgical image when the resection target is resected.
  • FIG. 1 is a diagram showing an overall configuration according to an embodiment of the present invention.
  • FIG. 1 is a functional block diagram of a surgery support device according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining organ region information and labels according to an embodiment of the present invention.
  • 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • FIG. 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining learning according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining learning according to an embodiment of the present invention.
  • 3 is a flowchart of learning processing according to an embodiment of the present invention.
  • 2 is a flowchart of excision status notification processing according to an embodiment of the present invention.
  • 12 is a flowchart of a resection incomplete notification process according to an embodiment of the present invention.
  • It is a flowchart of evaluation processing concerning one embodiment of the present invention.
  • 3 is an example of information on which evaluation is based and evaluation results according to an embodiment of the present invention.
  • FIG. 1 is a hardware configuration diagram of a surgical support device according to an embodiment of the present invention.
  • surgical may be any surgery, and may be a surgery performed only by a human, or a surgery performed by a human operating a medical device such as an endoscope (for example, The surgery may be a laparoscopic surgery, a thoracoscopic surgery, etc.), a surgery performed by a human operating a robot, or a surgery performed only by a robot.
  • surgery is a surgical procedure that removes cancerous tissue, including the primary tumor and lymph nodes, from the tissue.
  • the surgery is esophagectomy, gastrectomy, colectomy, prostatectomy, pancreatectomy, but may also be endoscopic submucosal dissection for early stage cancer.
  • object to be resected is an object (for example, a lesion) to be resected in surgery.
  • the object to be resected is a malignant tumor and a lymph node surrounding the tumor, but it may also be a benign tumor.
  • organ is any organ in the body.
  • FIG. 1 is a diagram showing the overall configuration according to an embodiment of the present invention.
  • the surgical support system 1 includes a surgical support device 10, an imaging device 20, and a display device 30. A case will be described in which a doctor 11 performs surgery to remove an object to be removed from a patient 12. Each will be explained below.
  • the surgical support device 10 detects the state of resection of the resection target based on the image taken by the imaging device 20 during a surgery in which the doctor 11 excises the resection target of the patient 12, and determines the state of the resection of the resection target. This is a device that notifies the doctor 11 of the situation (for example, displays it on the display device 30).
  • the surgical support device 10 consists of one or more computers. The surgical support device 10 can acquire images taken by the imaging device 20 from the imaging device 20. Further, the surgical support device 10 can display information such as the status of resection of the object to be resected on the display device 30.
  • the imaging device 20 is a device that photographs a region of the patient 12 undergoing surgery (hereinafter also referred to as a surgical region).
  • a surgical region a region of the patient 12 undergoing surgery
  • the image captured by the imaging device 20 and showing the surgical site will also be referred to as a surgical image.
  • the display device 30 is a monitor, display, or the like that displays information acquired from the surgical support device 10. By viewing the information displayed on the display device 30, the doctor 11 can know the status of resection of the object to be resected (for example, completion of resection).
  • the surgical support device 10, the imaging device 20, and the display device 30 may be implemented in one device.
  • FIG. 2 is a functional block diagram of the surgical support device 10 according to an embodiment of the present invention.
  • the surgical support device 10 includes a learning data storage unit 101 , a learning data acquisition unit 102 , a resection status detection unit 103 , an error calculation unit 104 , a parameter updating unit 105 , a parameter storage unit 106 , and a surgical image acquisition unit 107 , an excision status detection unit 108 , and an excision status notification unit 109 .
  • the surgical support device 10 acquires a learning data acquisition unit 102, a resection status detection unit 103, an error calculation unit 104, a parameter update unit 105, a surgical image acquisition unit 107, an excision status detection unit 108, and a resection status notification. 109.
  • a learning data acquisition unit 102 a resection status detection unit 103
  • an error calculation unit 104 a parameter update unit 105
  • a surgical image acquisition unit 107 an excision status detection unit 108
  • a resection status notification. 109 a resection status notification.
  • the learning data includes a surgical image in which a surgical site is photographed and information related to the completion of resection of the surgical image.
  • the learning data acquisition unit 102 acquires the learning data stored in the learning data storage unit 101.
  • region information of the organ that appears in the surgical image after the object to be resected is removed region information is segmentation information that indicates the region of the organ in the image
  • region information is segmentation information that indicates the region of the organ in the image
  • frame information information such as a rectangle surrounding the organ
  • the surgical image is an image in which the resection of the object to be resected has been completed.
  • a label indicating whether the image is an image in which the excision of the resection target is incomplete.
  • the organ area information and labels will be described in detail with reference to FIG. 3.
  • FIG. 3 is a diagram for explaining organ region information and labels according to an embodiment of the present invention.
  • Surgical images 1 to 3 are examples of learning data (correct data).
  • the learning data includes area information of the resection target (segmentation information indicating the area of the resection target within the image (information indicating the segmented resection target), and information indicating the area of the resection target within the image).
  • At least one of frame information may also be used.
  • the surgical image 1 is an image of the surgical site before the object to be resected is excised.
  • organs in the example of FIG. 3, "trachea,” “subclavian artery,” and “nerve" are not yet displayed.
  • the label of surgical image 1 indicates that the surgical image is an image in which the resection of the object to be resected has not been completed.
  • the surgical image 2 is an image of a surgical site where the object to be resected is being excised.
  • region information of an organ that appears during resection is added.
  • the label of surgical image 2 indicates that the surgical image is an image in which the resection of the object to be resected has not been completed.
  • the surgical image 3 is an image of the surgical site after the object to be resected has been excised.
  • region information of the organ that appears after the completion of resection is added.
  • the label of surgical image 3 indicates that the surgical image is an image in which excision of the object to be resected has been completed. Note that the time when the organ that should appear in the surgical image at the time of completion of the resection is recognized is defined as the time when the resection is completed.
  • organ area information may be generated by a human specifying the organ area in a surgical image, or by inference using a machine learning model using a surgical image in which a human specifies the organ area.
  • Organ region information may also be generated.
  • FIG. 4 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • the transverse mesocolic ligament, pancreas, right gastroepiploic vein, right gastroepiploic artery, subpyloric artery, and duodenum appear in the surgical image. That is, "information related to the completion of resection" can include regional information on at least one of the transverse mesocolic mesentery, pancreas, right gastroepiploic vein, right gastroepiploic artery, subpyloric artery, and duodenum.
  • the state of resection of the object to be resected is determined depending on the degree of exposure of at least one of the transverse mesocolic ligament, pancreas, right gastroepiploic vein, right gastroepiploic artery, subpyloric artery, and duodenum. (For example, whether the resection of the resection target is completed or incomplete, or the proportion of the resection target that is excised or unresected) can be determined.
  • FIG. 5 is an example of an organ that appears in a surgical image when the object to be resected is excised according to an embodiment of the present invention.
  • colon resection when objects to be resected (tumor and lymph nodes) are removed, the abdominal aorta and inferior mesenteric artery appear in the surgical image. That is, the "information related to the completion of resection" can include regional information on at least one of the abdominal aorta and the inferior mesenteric artery.
  • the state of resection of the object to be resected (for example, whether the resection of the object to be resected is completed or not) is determined depending on the degree of exposure of at least one of the abdominal aorta and the inferior mesenteric artery. Alternatively, it is possible to determine the percentage of the resected object that has been excised or the proportion that has not been excised.
  • FIG. 6 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • the object to be resected is removed during bladder neck dissection in prostatectomy, the prostate, bladder, urethra, seminal vesicles, and vas deferens appear in the surgical image. That is, the "information related to the completion of resection" can include region information on at least one of the prostate, bladder, urethra, seminal vesicle, and vas deferens.
  • the state of resection of the object to be resected is determined by the degree of exposure of at least one of the prostate, bladder, urethra, seminal vesicles, and vas deferens. or the percentage of the resected object that has been resected or has not been resected.
  • FIG. 7 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
  • pancreatic resection when the objects to be resected (tumor and lymph nodes) are removed, the superior mesenteric vein appears in the surgical image.
  • information related to completion of resection can include region information of the superior mesenteric vein.
  • pancreatic resection the degree of exposure of the superior mesenteric vein determines the state of resection of the resected object (for example, whether the resection of the resected object is complete or incomplete, or of which the proportion has been excised or the proportion of which has not been excised) can be determined.
  • the resection state detection unit 103 detects the resection state of the resection target using the model that is being learned.
  • Example 1 In Example 1 described in FIG. 8, the resection state detection unit 103 inputs the surgical images acquired by the learning data acquisition unit 102 to the model being learned (the feature extractor 111 and the restorer 112 in FIG. 8). , outputs organ region information. In addition, the resection status detection unit 103 inputs the surgical image acquired by the learning data acquisition unit 102 to the model under learning (the feature extractor 111 and classifier 113 in FIG. 8), and completes the excision of the resection target. Outputs whether it has been completed or not completed.
  • Example 2 In Example 2 described in FIG. 9, the resection state detection unit 103 inputs the surgical image acquired by the learning data acquisition unit 102 to the model under learning (the feature extractor A 211A and the restorer 212 in FIG. 9). and outputs organ region information. In addition, the resection status detection unit 103 uses the surgical image acquired by the learning data acquisition unit 102 and the region information of the organ restored by the restorer 212 to the model being learned (the feature extractor B 211B and the feature extractor B in FIG. 9). C 211C and a classifier 213) to output whether the resection of the resection target is complete or incomplete.
  • the error calculation unit 104 calculates the error between the resection status of the object to be resected detected from the surgical image by the resection status detection unit 103 and the information related to the completion of resection of the surgical image acquired by the learning data acquisition unit 102. do.
  • the parameter update unit 105 updates the parameters of the model under learning so that the error calculated by the error calculation unit 104 becomes smaller, and stores the updated parameters in the parameter storage unit 106.
  • the parameter storage unit 106 stores model parameters updated by the parameter update unit 105.
  • FIG. 8 is a diagram for explaining learning according to an embodiment of the present invention (Example 1).
  • the feature extractor 111 extracts the feature amount from the surgical image that is learning data
  • the restorer 112 restores the organ region information or the surgical image including the organ region information from the feature amount
  • the classifier 113 extracts the feature amount from the surgical image. Based on the amount, it is determined whether the resection of the object to be resected is completed or not. That is, in the first embodiment, at the time of inference, the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 at the time of learning.
  • the feature extractor 111 extracts the feature amount from the surgical image that is learning data
  • the restorer 112 restores the organ region information or the surgical image including the organ region information from the feature amount
  • the classifier 113 extracts the feature amount from the surgical image. Based on the amount, it is determined whether the resection of the object to be resected is completed or not. That is, in the
  • a feature extractor (also called an encoder) 111 extracts feature amounts of the surgical image from the surgical image. Specifically, the feature extractor 111 reduces the dimensions of the surgical image and extracts the feature amount.
  • a restorer (also called a decoder) 112 restores organ region information or a surgical image including organ region information based on the feature amount of the surgical image extracted by the feature extractor 111 (note that The organ area information may be only the organ area information that appears when the resection target is removed, or may include not only the organ area information that appears when the resection target is removed, but also other organ area information.) .
  • the error between the result restored by the restorer 112 and the organ area information of the learning data (correct data) that is, the organ area information that appears in the surgical image when the object to be resected is excised
  • the error is calculated. It is learned (that is, the parameters are updated) to become smaller.
  • the classifier 113 determines whether the surgical image is an image in which the resection of the resection target has been completed or not.
  • the error between the result determined by the classifier 113 and the label of the learning data (correct data) (that is, the label indicating that the excision is completed or the label indicating that the excision is incomplete) is calculated, Learning (that is, parameters are updated) is performed so that the error becomes smaller.
  • FIG. 9 is a diagram for explaining learning according to an embodiment of the present invention (Example 2).
  • the feature extractor A 211A extracts a feature amount from the surgical image that is learning data, and the restorer 212 restores organ region information or a surgical image including organ region information from the feature amount.
  • the feature extractor B 211B extracts feature amounts from the organ region information restored by the restorer 212 or from the surgical image containing the organ region information.
  • the feature extractor C 211C extracts feature amounts from the surgical images that are learning data.
  • the classifier 213 determines whether the resection of the resection target has been completed or not, based on the feature amount that is a combination of the feature amount extracted by the feature extractor B 211B and the feature amount extracted by the feature extractor C 211C. judge.
  • the feature extractor A 211A and the restorer 212 restore the organ region information from the surgical image
  • the classifier 213 restores the feature amount of the surgical image and the restored organ region information.
  • the surgical images are classified using the feature values. Each will be explained below.
  • the feature extractor (also called encoder) A 211A extracts the feature amount of the surgical image from the surgical image. Specifically, the feature extractor A 211A reduces the dimensions of the surgical image and extracts the feature amount.
  • the restorer (also called a decoder) 212 restores organ region information or a surgical image containing organ region information based on the feature amount of the surgical image extracted by the feature extractor A 211A (note that the restored The organ area information to be removed may be only the organ area information that appears when the resection target is removed, or may include not only the organ area information that appears when the resection target is removed but also other organ area information. ).
  • the error between the result restored by the restorer 212 and the organ area information of the learning data (correct data) that is, the organ area information that appears in the surgical image when the object to be resected is excised
  • the error is calculated. It is learned (that is, the parameters are updated) to become smaller.
  • a feature extractor (also called an encoder) B 211B extracts feature amounts of organ region information from the organ region information restored by the restorer 212. Specifically, the feature extractor B 211B reduces the dimensions of the organ region information restored by the restorer 212 and extracts the feature amount.
  • the feature extractor (also called encoder) C 211C extracts the feature amount of the surgical image from the surgical image. Specifically, the feature extractor C 211C reduces the dimensions of the surgical image and extracts the feature amount.
  • the classifier 213 determines whether the surgical image is an image in which the resection of the resection target has been completed, based on the feature amount that is a combination of the feature amount extracted by the feature extractor B 211B and the feature amount extracted by the feature extractor C 211C. It is determined whether the image is unfinished or unfinished.
  • the error between the result determined by the classifier 213 and the label of the learning data (correct data) (that is, the label indicating that the excision is completed or the label indicating that the excision is not completed) is calculated, Learning (that is, parameters are updated) is performed so that the error becomes smaller.
  • the surgical support device 10 can reflect the degree of recognition and positional relationship between the resection target and surrounding organs according to the progress of resection in the detection of the resection status.
  • the status of lymph node resection can be determined based on the segmentation results of the right and posterior walls of the trachea, the subclavian artery, and the recurrent laryngeal nerve.
  • the resection status of the resection target is detected using the results of anatomical structure segmentation and frame information (in other words, the region information of each organ) as attention. This can contribute to decisions such as which parts should be excised and which parts should be left unresected.
  • the surgical image acquisition unit 107 acquires surgical images (for example, moving images) captured by the imaging device 20 during the surgery.
  • the resection status detection unit 108 detects the resection status of the resection target based on the surgical image acquired by the surgical image acquisition unit 107. Specifically, the resection status detection unit 108 inputs the surgical image acquired by the surgical image acquisition unit 107 into a model (specifically, a model using the parameters stored in the parameter storage unit 106), and performs the resection. The status of the resection of the target object (for example, whether the resection of the target object is completed or not, or the proportion of the target object that has been excised or the proportion that has not been excised) is output.
  • a model specifically, a model using the parameters stored in the parameter storage unit 106
  • the classification model is used to output the probability that the resection of the resection target is completed (i.e., the percentage of resected items) or the probability that the resection of the resection target is incomplete (i.e., the ratio of unresected items).
  • a regression model may be used to output the resected ratio or the unresected ratio.
  • the excision status notification unit 109 notifies in real time (for example, displays on the display device 30) the status of excision of the resection target detected by the excision status detection unit 108.
  • the resection status notification unit 109 may notify that the resection of the resection target has been completed (in other words, it will be indicated by a binary value of complete or incomplete resection), or the proportion of the resection target that has been resected or Report the rate of resection (i.e., indicate the resection status as a percentage).
  • the resection status notification unit 109 displays the resection status of the resection target on the surgical image acquired by the surgical image acquisition unit 107.
  • the excision status notification unit 109 displays "excision complete" or the like.
  • FIG. 10 is a flowchart of learning processing according to an embodiment of the present invention.
  • step 101 the surgical support device 10 acquires surgical images that are learning data.
  • step 102 the surgical support device 10 uses the model being learned to detect the state of resection of the object to be resected.
  • the surgical support device 10 inputs the surgical image acquired in S101 to the model being learned (the feature extractor 111 and the restorer 112 in FIG. 8), and generates organ region information. Output.
  • the surgical support device 10 inputs the surgical image acquired in S101 to the learning model (the feature extractor 111 and the classifier 113 in FIG. 8), and determines whether the resection of the resection target is completed or not. Output whether there is.
  • the surgical support device 10 inputs the surgical image acquired in S101 to the model being learned (feature extractor A 211A and restorer 212 in FIG. 9), and Output information.
  • the surgical support device 10 uses the surgical image acquired in S101 and the region information of the organ restored by the restorer 212 as the learning model (feature extractor B 211B, feature extractor C 211C, and classifier in FIG. 9). 213) to output whether the resection of the object to be resected has been completed or not.
  • step 111 the surgical support device 10 provides information related to the completion of resection of the surgical image (that is, the surgical image acquired in S101) that is the learning data (specifically, when the resection target is resected).
  • Region information of the organ appearing in the surgical image and a label indicating whether the surgical image is an image in which the resection of the resection target has been completed or an image in which the resection of the resection target has not been completed are acquired.
  • step 112 the surgical support device 10 converts the data acquired in S111 into correct data. Specifically, the surgical support device 10 arranges the data acquired in S111 in the format of the output of the model.
  • step 103 the surgical support device 10 calculates the error between the resection status of the resection target detected in S102 and the correct data in S112.
  • step 104 the surgical support device 10 updates the parameters of the model being learned so that the error calculated in S103 becomes smaller, and stores the updated parameters in the parameter storage unit 106.
  • step 105 the surgical support device 10 determines whether to end learning. If learning is not to be completed, the process returns to S101 and S111 to acquire the next learning data, and if learning is to be completed, this process is ended.
  • FIG. 11 is a flowchart of excision status notification processing according to an embodiment of the present invention.
  • step 201 the surgical support device 10 acquires a surgical image (for example, a video) captured by the imaging device 20 during the surgery.
  • a surgical image for example, a video
  • step 202 the surgical support device 10 detects the state of resection of the resection target based on the surgical image acquired in S201. Specifically, the surgical support device 10 inputs the surgical image acquired in S201 into the model generated in FIG. or the proportion of the excised objects or the proportion of unexcised objects).
  • the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 during learning.
  • the feature extractor A 211A and the restorer 212 restore organ region information from the surgical image, and the classifier 213 restores the feature amount of the surgical image and the restored organ region information.
  • the surgical images are classified using the feature values.
  • step 203 the surgical support device 10 notifies (for example, displays on the display device 30) the resection status of the resection target detected in S202 in real time.
  • the surgery support device 10 notifies that the removal of the object to be removed is completed, or notifies the percentage of the object to be removed that has been removed or the percentage that has not been removed.
  • the surgical support device 10 displays the resection status of the resection target on the surgical image acquired in S201.
  • ⁇ Effect> during a surgical operation, the completion of the procedure is notified in real time when the removal of cancerous tissue such as the primary tumor or lymph node is completed. Therefore, the doctor can sufficiently remove the lymph node while avoiding an increase in complications by receiving the notification of the completion of the procedure clearly shown in the surgical image.
  • the surgical support device 10 can notify the unresected portion of the resection target when the resection of the resection target is incomplete. Specifically, the surgical support device 10 identifies an unresected region of the object to be resected in the surgical image captured by the imaging device 20 during the surgery, and notifies the identified region (for example, The surgical support device 10 can specify an unresected part of the resection target on a rule basis based on the segmentation information output from the restorer 112.For example, "nerve (resection target is If "an example of an organ that appears in a surgical image when the nerve is removed" does not appear in the surgical image (in other words, if segmentation information for "nerve” cannot be obtained), the part where the "nerve” should appear is an unresected part.
  • the surgical support device 10 notifies the surgeon when the surgeon advances from a surgical resection step to the next step, or when the surgeon is at the resection step.
  • the surgical support device 10 displays, on the display device 30, a message such as “Avulsion around the trachea is insufficient.”
  • the surgical support device 10 can notify the operator to return to the resection step when the surgeon proceeds from the resection step to the next step when the resection of the resection target is not completed.
  • the resection incomplete notification process will be described below with reference to FIG. 12. Note that it is assumed that each step during the surgery (for example, the step of resection, etc.) is managed.
  • FIG. 12 is a flowchart of a resection incomplete notification process according to an embodiment of the present invention.
  • step 301 the surgical support device 10 acquires a surgical image captured by the imaging device 20 during the surgery.
  • step 302 the surgical support device 10 detects the state of resection of the resection target based on the surgical image acquired in S301.
  • step 303 the surgical support device 10 acquires information about which step of each step in the surgery the current step is.
  • step 304 the surgical support device 10 determines whether the resection of the object to be resected has not been completed and whether the current step is a resection step. If the resection of the object to be resected has not been completed and the current step is not a resection step, the process proceeds to step 305; otherwise, the process ends.
  • step 305 the surgical support device 10 notifies the user to return to the resection step.
  • the surgical support device 10 displays a message such as “Please return to the previous resection technique” on the display device 30.
  • the surgical support device 10 may notify that the resection step of the surgery has elapsed for a certain period of time or more if the resection of the object to be resected is not completed when a certain period of time or more has elapsed after the start of the surgical resection step.
  • the certain period of time may be the average time of past data, or may be a time exceeding the average time of past data + 2 SD (standard deviation).
  • the surgical support device 10 displays, on the display device 30, a message such as “a certain amount of time has passed since the start of resection.”
  • the surgical support device 10 can evaluate the technique of an operator such as a surgeon or an endoscopist based on information related to the completion of resection output by inputting a surgical image into a model. The evaluation of the procedure will be described below with reference to FIGS. 13 and 14.
  • FIG. 13 is a flowchart of evaluation processing according to an embodiment of the present invention.
  • step 401 the surgical support device 10 acquires information related to the completion of resection output by inputting the surgical image into the model.
  • step 402 the surgical support device 10 acquires information regarding the surgery.
  • the information regarding the surgery may include the entire surgery time, the surgery time in each phase, data recognizing the movements of instruments and the surgeon, and the like.
  • step 403 the surgical support device 10 evaluates the surgeon's technique based on the information acquired in S401 and S402. For example, the surgical support device 10 may evaluate the surgeon's technique using machine learning.
  • FIG. 14 is an example of information on which evaluation is based and evaluation results according to an embodiment of the present invention.
  • the information on which the evaluation is based includes the time of each phase of the surgery (for example, resection of lymph nodes around the recurrent laryngeal nerve), the type of resection status (for example, completion of resection), and the like.
  • the evaluation result may be a score.
  • FIG. 15 is a hardware configuration diagram of the surgical support device 10 according to an embodiment of the present invention.
  • the surgical support device 10 can include a control section 1001, a main storage section 1002, an auxiliary storage section 1003, an input section 1004, an output section 1005, and an interface section 1006. Each will be explained below.
  • the control unit 1001 is a processor (for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.) that executes various programs installed in the auxiliary storage unit 1003.
  • a processor for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the main storage unit 1002 includes nonvolatile memory (ROM (Read Only Memory)) and volatile memory (RAM (Random Access Memory)).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the ROM stores various programs, data, etc. necessary for the control unit 1001 to execute various programs installed in the auxiliary storage unit 1003.
  • the RAM provides a work area in which various programs installed in the auxiliary storage unit 1003 are expanded when the control unit 1001 executes them.
  • the auxiliary storage unit 1003 is an auxiliary storage device that stores various programs and information used when the various programs are executed.
  • the input unit 1004 is an input device through which the operator of the surgical support device 10 inputs various instructions to the surgical support device 10.
  • the output unit 1005 is an output device that outputs the internal state of the surgical support device 10 and the like.
  • the interface unit 1006 is a communication device for connecting to a network and communicating with other devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

手術において切除対象物の切除の状況を精度よく通知する。本発明の一実施形態に係るプログラムは、コンピュータに、切除対象物を切除する手術において手術部位が撮影された手術画像を取得することと、入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知することと、前記切除対象物の切除の状況を通知することと、を実行させ、前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む。

Description

手術支援プログラム、手術支援装置、および手術支援方法
　本発明は、手術支援プログラム、手術支援装置、および手術支援方法に関する。
　従来、外科手術、特に悪性腫瘍に対する手術は、腫瘍そのものだけでなく、腫瘍の周囲のリンパ節を十分に切除（郭清とも呼ばれる）することが求められている。不十分な切除は、術後再発の原因となり、結果として患者の長期予後を悪化させる。一方、過剰な切除は、術後合併症の増加を引き起こす可能性がある。
　切除対象物を適切に切除することを支援するための手法として、例えば、特許文献１には、近赤外線蛍光トレーサーおよび蛍光イメージング方法が開示されている。具体的には、インドシアニングリーン－高密度リポ蛋白質（ＩＣＧ－ＨＤＬ）複合体に、抗腫瘍抗体を化学的に結合させることで、生体内での外腫瘍の位置および大きさをリアルタイムで体外計測可能となることが記載されている。しかしながら、特許文献１の手法では、術者は、腫瘍組織と正常組織を弁別できるに過ぎず、切除の完了の判断は術者に委ねられている。
　機械学習を用いて手技の完了を通知する手法として、例えば、非特許文献１には、手術画像と手技の完了の情報とを学習して、推論時に、手術画像を入力して手技の完了の状況を出力することが開示されている。
特開平９－３０９８４５号公報
IRCAD, Artificial Intelligence for Surgical Safety Automatic Assessment of the Critical View of Safety in Laparoscopic Cholecystectomy Using Deep Learning
　しかしながら、非特許文献１では、手術画像と手技の完了の情報とを学習して推論しているに過ぎず、手術において切除対象物の切除の状況をより精度よく通知することができることが望まれていた。
　そこで、本発明では、手術において切除対象物の切除の状況を精度よく通知することを目的とする。
　本発明の一実施形態に係るプログラムは、コンピュータに、切除対象物を切除する手術において手術部位が撮影された手術画像を取得することと、入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知することと、前記切除対象物の切除の状況を通知することと、を実行させ、前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む。
　本発明によれば、手術において切除対象物の切除の状況を精度よく通知することができる。
本発明の一実施形態に係る全体の構成を示す図である。 本発明の一実施形態に係る手術支援装置の機能ブロック図である。 本発明の一実施形態に係る臓器の領域情報およびラベルについて説明するための図である。 本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。 本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。 本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。 本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。 本発明の一実施形態に係る学習について説明するための図である。 本発明の一実施形態に係る学習について説明するための図である。 本発明の一実施形態に係る学習処理のフローチャートである。 本発明の一実施形態に係る切除状況通知処理のフローチャートである。 本発明の一実施形態に係る切除未完了通知処理のフローチャートである。 本発明の一実施形態に係る評価処理のフローチャートである。 本発明の一実施形態に係る評価のもととなる情報および評価結果の一例である。 本発明の一実施形態に係る手術支援装置のハードウェア構成図である。
　以下、図面に基づいて発明の実施の形態を説明する。
＜用語の説明＞
・本明細書において、「手術」とは、任意の手術であってよく、人間のみで行う手術であってもよいし、人間が内視鏡等の医療機器を操作して行う手術（例えば、腹腔鏡手術、胸腔鏡手術等）であってもよいし、人間がロボットを操作して行う手術であってもよいし、ロボットのみで行う手術であってもよい。例えば、手術は、組織から原発巣およびリンパ節を含む癌組織を切除する外科手術である。例えば、手術は、食道切除術、胃切除術、大腸切除術、前立腺切除術、膵臓切除術であるが、早期癌に対する内視鏡的粘膜下層剥離術であってもよい。
・本明細書において、「切除対象物」とは、手術において切除されるべき物（例えば、病巣）である。例えば、切除対象物は、悪性腫瘍および腫瘍の周囲のリンパ節であるが、良性腫瘍であってもよい。
・本明細書において、「臓器」とは、体内にある任意の器官である。
＜システム構成＞
　図１は、本発明の一実施形態に係る全体の構成を示す図である。手術支援システム１は、手術支援装置１０と、撮像装置２０と、表示装置３０と、を含む。医師１１が患者１２の切除対象物を切除する手術の場合を説明する。以下、それぞれについて説明する。
＜＜手術支援装置＞＞
　手術支援装置１０は、医師１１が患者１２の切除対象物を切除する手術において、撮像装置２０が撮影した画像に基づいて、切除対象物の切除の状況を検知して、切除対象物の切除の状況を医師１１に対して通知（例えば、表示装置３０に表示）する装置である。手術支援装置１０は、１つまたは複数のコンピュータからなる。手術支援装置１０は、撮像装置２０が撮影した画像を撮像装置２０から取得することができる。また、手術支援装置１０は、切除対象物の切除の状況等の情報を表示装置３０に表示することができる。
＜＜撮像装置＞＞
　撮像装置２０は、患者１２の手術されている部位（以下、手術部位ともいう）を撮影する装置である。以下、撮像装置２０が撮影した、手術部位が撮影された画像を手術画像ともいう。
＜＜表示装置＞＞
　表示装置３０は、手術支援装置１０から取得した情報を表示するモニター、ディスプレイ等である。医師１１は、表示装置３０に表示される情報を見ることによって、切除対象物の切除の状況（例えば、切除の完了）を知ることができる。
　なお、手術支援装置１０と、撮像装置２０と、表示装置３０と、のうちの少なくとも２つを１つの装置で実装してもよい。
＜機能ブロック＞
　図２は、本発明の一実施形態に係る手術支援装置１０の機能ブロック図である。手術支援装置１０は、学習データ記憶部１０１と、学習データ取得部１０２と、切除状況検知部１０３と、誤差算出部１０４と、パラメータ更新部１０５と、パラメータ記憶部１０６と、手術画像取得部１０７と、切除状況検知部１０８と、切除状況通知部１０９と、を備える。手術支援装置１０は、プログラムを実行することによって、学習データ取得部１０２、切除状況検知部１０３、誤差算出部１０４、パラメータ更新部１０５、手術画像取得部１０７、切除状況検知部１０８、切除状況通知部１０９、として機能する。以下、それぞれについて説明する。
　学習データ記憶部１０１には、学習データが記憶されている。学習データは、手術部位が撮影された手術画像と、当該手術画像の切除完了に関連する情報と、である。
　学習データ取得部１０２は、学習データ記憶部１０１に記憶されている学習データを取得する。
　ここで、「切除完了に関連する情報」について説明する。「切除完了に関連する情報」は、「切除対象物が切除されると手術画像に表れる臓器の領域情報（なお、領域情報は、画像内での臓器の領域を示すセグメンテーション情報（セグメンテーションされた臓器を示す情報）と、画像内での臓器の領域を示す枠情報（臓器を囲む矩形等の情報）と、の少なくとも一方である）」と、「手術画像が切除対象物の切除が完了した画像であるか切除対象物の切除が未完了である画像であるかのラベル」と、を含む。以下、図３を参照しながら、臓器の領域情報およびラベルについて詳細に説明する。
　図３は、本発明の一実施形態に係る臓器の領域情報およびラベルについて説明するための図である。例えば、切除対象物が切除されると、「気管」、「鎖骨下動脈」、「神経」が手術画像に表れるとする。手術画像１～３は、学習データ（正解データ）の例である。なお、学習データとして、切除対象物の領域情報（画像内での切除対象物の領域を示すセグメンテーション情報（セグメンテーションされた切除対象物を示す情報）と、画像内での切除対象物の領域を示す枠情報（切除対象物を囲む矩形等の情報）と、の少なくとも一方）も用いてもよい。
　手術画像１は、切除対象物が切除される前の手術部位が撮影された画像である。手術画像１では、臓器（図３の例では、「気管」、「鎖骨下動脈」、「神経」）は未だ表れていない。手術画像１のラベルは、手術画像が切除対象物の切除が未完了である画像であることを示す。
　手術画像２は、切除対象物が切除されている途中の手術部位が撮影された画像である。手術画像２では、切除の途中に表れている臓器の領域情報が付与されている。手術画像２のラベルは、手術画像が切除対象物の切除が未完了である画像であることを示す。
　手術画像３は、切除対象物が切除された後の手術部位が撮影された画像である。手術画像３では、切除の完了後に表れている臓器の領域情報が付与されている。手術画像３のラベルは、手術画像が切除対象物の切除が完了した画像であることを示す。なお、切除の完了時に手術画像に表れるべき臓器が認識された時点を切除の完了時とする。
　なお、人間が手術画像内の臓器の領域を指定することによって臓器の領域情報を生成してもよいし、人間が臓器の領域を指定した手術画像で機械学習したモデルを用いて推論することによって臓器の領域情報を生成してもよい。
　図４は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。胃切除術において、切除対象物（腫瘍とリンパ節）が切除されると、横行結腸間膜、膵臓、右胃大網静脈、右胃大網動脈、幽門下動脈、十二指腸が手術画像に表れる。つまり、「切除完了に関連する情報」は、横行結腸間膜、膵臓、右胃大網静脈、右胃大網動脈、幽門下動脈、十二指腸のうちの少なくとも１つの領域情報を含むことができる。このように、胃切除術において、横行結腸間膜、膵臓、右胃大網静脈、右胃大網動脈、幽門下動脈、十二指腸のうちの少なくとも１つの露出度によって、切除対象物の切除の状況（例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率）を判定することができる。
　図５は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。大腸切除術において、切除対象物（腫瘍とリンパ節）が切除されると、腹部大動脈、下腸間膜動脈が手術画像に表れる。つまり、「切除完了に関連する情報」は、腹部大動脈、下腸間膜動脈のうちの少なくとも１つの領域情報を含むことができる。このように、大腸切除術において、腹部大動脈、下腸間膜動脈のうちの少なくとも１つの露出度によって、切除対象物の切除の状況（例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率）を判定することができる。
　図６は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。前立腺切除術の膀胱頚部離断において、切除対象物が切除されると、前立腺、膀胱、尿道、精嚢、精管が手術画像に表れる。つまり、「切除完了に関連する情報」は、前立腺、膀胱、尿道、精嚢、精管のうちの少なくとも１つの領域情報を含むことができる。このように、前立腺切除術において、前立腺、膀胱、尿道、精嚢、精管のうちの少なくとも１つの露出度によって、切除対象物の切除の状況（例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率）を判定することができる。
　図７は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。膵臓切除術において、切除対象物（腫瘍とリンパ節）が切除されると、上腸間膜静脈が手術画像に表れる。つまり、「切除完了に関連する情報」は、上腸間膜静脈の領域情報を含むことができる。このように、膵臓切除術において、上腸間膜静脈の露出度によって、切除対象物の切除の状況（例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率）を判定することができる。
　図２の説明に戻る。切除状況検知部１０３は、学習中のモデルを用いて、切除対象物の切除の状況を検知する。
［実施例１］
　図８で説明する実施例１では、切除状況検知部１０３は、学習データ取得部１０２が取得した手術画像を、学習中のモデル（図８の特徴抽出器１１１および復元器１１２）に入力して、臓器の領域情報を出力する。また、切除状況検知部１０３は、学習データ取得部１０２が取得した手術画像を、学習中のモデル（図８の特徴抽出器１１１および分類器１１３）に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
［実施例２］
　図９で説明する実施例２では、切除状況検知部１０３は、学習データ取得部１０２が取得した手術画像を、学習中のモデル（図９の特徴抽出器Ａ　２１１Ａおよび復元器２１２）に入力して、臓器の領域情報を出力する。また、切除状況検知部１０３は、学習データ取得部１０２が取得した手術画像と復元器２１２が復元した臓器の領域情報とを、学習中のモデル（図９の特徴抽出器Ｂ　２１１Ｂおよび特徴抽出器Ｃ　２１１Ｃおよび分類器２１３）に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
　誤差算出部１０４は、切除状況検知部１０３が手術画像から検知した切除対象物の切除の状況と、学習データ取得部１０２が取得した当該手術画像の切除完了に関連する情報と、の誤差を算出する。
　パラメータ更新部１０５は、誤差算出部１０４が算出した誤差が小さくなるように学習中のモデルのパラメータを更新して、更新したパラメータをパラメータ記憶部１０６に記憶させる。
　パラメータ記憶部１０６には、パラメータ更新部１０５が更新した、モデルのパラメータが記憶されている。
　以下、図８（実施例１）および図９（実施例２）を参照しながら、学習処理について詳細に説明する。
　図８は、本発明の一実施形態に係る学習について説明するための図である（実施例１）。特徴抽出器１１１が学習データである手術画像から特徴量を抽出し、復元器１１２が当該特徴量から、臓器の領域情報あるいは臓器の領域情報を含む手術画像を復元し、分類器１１３が当該特徴量から切除対象物の切除が完了したか未完了であるかを判定する。つまり、実施例１では、推論時に、分類器１１３は、特徴抽出器１１１が学習時に抽出した特徴量を用いて手術画像を分類する。以下、それぞれについて説明する。
　特徴抽出器（エンコーダとも呼ばれる）１１１は、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器１１１は、手術画像を次元削減して特徴量を抽出する。
　復元器（デコーダとも呼ばれる）１１２は、特徴抽出器１１１が抽出した手術画像の特徴量に基づいて、臓器の領域情報、あるいは、臓器の領域情報を含む手術画像を復元する（なお、復元される臓器の領域情報は、切除対象物を切除すると表れる臓器の領域情報のみであってもよいし、切除対象物を切除すると表れる臓器の領域情報だけでなくその他の臓器の領域情報も含んでもよい）。復元器１１２が復元した結果と、学習データ（正解データ）の臓器の領域情報（つまり、切除対象物が切除されると手術画像に表れる臓器の領域情報）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　分類器１１３は、特徴抽出器１１１が抽出した手術画像の特徴量に基づいて、手術画像が切除対象物の切除が完了した画像であるか未完了である画像であるかを判定する。分類器１１３が判定した結果と、学習データ（正解データ）のラベル（つまり、切除が完了したことを示すラベル、または、切除が未完了であることを示すラベル）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　図９は、本発明の一実施形態に係る学習について説明するための図である（実施例２）。特徴抽出器Ａ　２１１Ａは、学習データである手術画像から特徴量を抽出し、復元器２１２は、当該特徴量から、臓器の領域情報あるいは臓器の領域情報を含む手術画像を復元する。特徴抽出器Ｂ　２１１Ｂは、復元器２１２が復元した臓器の領域情報あるいは臓器の領域情報を含む手術画像から特徴量を抽出する。特徴抽出器Ｃ　２１１Ｃは、学習データである手術画像から特徴量を抽出する。分類器２１３は、特徴抽出器Ｂ　２１１Ｂが抽出した特徴量と特徴抽出器Ｃ　２１１Ｃが抽出した特徴量とが結合された特徴量から、切除対象物の切除が完了したか未完了であるかを判定する。つまり、実施例２では、推論時に、特徴抽出器Ａ　２１１Ａおよび復元器２１２は、手術画像から臓器の領域情報を復元し、分類器２１３は、手術画像の特徴量および復元された臓器の領域情報の特徴量を用いて手術画像を分類する。以下、それぞれについて説明する。
　特徴抽出器（エンコーダとも呼ばれる）Ａ　２１１Ａは、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器Ａ　２１１Ａは、手術画像を次元削減して特徴量を抽出する。
　復元器（デコーダとも呼ばれる）２１２は、特徴抽出器Ａ　２１１Ａが抽出した手術画像の特徴量に基づいて、臓器の領域情報、あるいは、臓器の領域情報を含む手術画像を復元する（なお、復元される臓器の領域情報は、切除対象物を切除すると表れる臓器の領域情報のみであってもよいし、切除対象物を切除すると表れる臓器の領域情報だけでなくその他の臓器の領域情報も含んでもよい）。復元器２１２が復元した結果と、学習データ（正解データ）の臓器の領域情報（つまり、切除対象物が切除されると手術画像に表れる臓器の領域情報）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　特徴抽出器（エンコーダとも呼ばれる）Ｂ　２１１Ｂは、復元器２１２が復元した臓器の領域情報から臓器の領域情報の特徴量を抽出する。具体的には、特徴抽出器Ｂ　２１１Ｂは、復元器２１２が復元した臓器の領域情報を次元削減して特徴量を抽出する。
　特徴抽出器（エンコーダとも呼ばれる）Ｃ　２１１Ｃは、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器Ｃ　２１１Ｃは、手術画像を次元削減して特徴量を抽出する。
　分類器２１３は、特徴抽出器Ｂ　２１１Ｂが抽出した特徴量と特徴抽出器Ｃ　２１１Ｃが抽出した特徴量とを結合した特徴量に基づいて、手術画像が切除対象物の切除が完了した画像であるか未完了である画像であるかを判定する。分類器２１３が判定した結果と、学習データ（正解データ）のラベル（つまり、切除が完了したことを示すラベル、または、切除が未完了であることを示すラベル）と、の誤差が算出され、誤差が小さくなるように学習（つまり、パラメータを更新）される。
　このように学習することによって、手術支援装置１０は、切除の進捗に応じた切除対象物と周囲の臓器の認識の度合いや位置関係を、切除の状況の検知に反映させることができる。例えば、右反回神経の周囲のリンパ節の切除において、気管右壁および後壁、鎖骨下動脈、反回神経のセグメンテーションの結果に基づいて、リンパ節の切除の状況を判定することができる。つまり、本願発明では、解剖学的構造のセグメンテーションや枠情報の結果（つまり、各臓器の領域情報）をアテンションとして用いて切除対象物の切除の状況を検知するので、各臓器の情報が、どの部位を切除してどの部位を切除せずに残すべきかといった判断に寄与することができる。
　なお、臓器の領域情報を用いずに機械学習した場合には、モデルの推論の精度は６６．６パーセントであり、臓器の領域情報を用いて機械学習した場合には、モデルの推論の精度は８１．３パーセントであった。このように、臓器の領域情報を用いることによって、モデルの推論の精度を向上させることができる。
　図２の説明に戻る。手術画像取得部１０７は、手術中に撮像装置２０が撮影している手術画像（例えば、動画）を取得する。
　切除状況検知部１０８は、手術画像取得部１０７が取得した手術画像に基づいて、切除対象物の切除の状況を検知する。具体的には、切除状況検知部１０８は、手術画像取得部１０７が取得した手術画像をモデル（具体的には、パラメータ記憶部１０６に記憶されたパラメータを用いたモデル）に入力して、切除対象物の切除の状況（例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率）を出力する。なお、分類モデルを用いて、切除対象物の切除が完了した確率（つまり、切除済みの比率）、または、切除対象物の切除が未完了である確率（つまり、未切除の比率）を出力してもよいし、回帰モデルを用いて、切除済みの比率または未切除の比率を出力してもよい。
　切除状況通知部１０９は、切除状況検知部１０８が検知した切除対象物の切除の状況をリアルタイムで通知（例えば、表示装置３０に表示）する。例えば、切除状況通知部１０９は、切除対象物の切除が完了したことを通知する（つまり、切除の完了または未完了の２値で示す）、または、切除対象物のうち切除済みの比率または未切除の比率を通知する（つまり、切除の状況を百分率で示す）。例えば、切除状況通知部１０９は、手術画像取得部１０７が取得した手術画像上に、切除対象物の切除の状況を表示する。例えば、切除状況通知部１０９は、「切除完了」等を表示する。
＜処理方法＞
　以下、図１０を参照しながら、学習処理の方法について説明し、図１１を参照しながら、切除状況通知処理の方法について説明する。
　図１０は、本発明の一実施形態に係る学習処理のフローチャートである。
　ステップ１０１（Ｓ１０１）において、手術支援装置１０は、学習データである手術画像を取得する。
　ステップ１０２（Ｓ１０２）において、手術支援装置１０は、学習中のモデルを用いて、切除対象物の切除の状況を検知する。
　図８で説明した実施例１では、手術支援装置１０は、Ｓ１０１で取得した手術画像を、学習中のモデル（図８の特徴抽出器１１１および復元器１１２）に入力して、臓器の領域情報を出力する。また、手術支援装置１０は、Ｓ１０１で取得した手術画像を、学習中のモデル（図８の特徴抽出器１１１および分類器１１３）に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
　図９で説明した実施例２では、手術支援装置１０は、Ｓ１０１で取得した手術画像を、学習中のモデル（図９の特徴抽出器Ａ　２１１Ａおよび復元器２１２）に入力して、臓器の領域情報を出力する。また、手術支援装置１０は、Ｓ１０１で取得した手術画像と復元器２１２が復元した臓器の領域情報とを、学習中のモデル（図９の特徴抽出器Ｂ　２１１Ｂおよび特徴抽出器Ｃ　２１１Ｃおよび分類器２１３）に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
　ステップ１１１（Ｓ１１１）において、手術支援装置１０は、学習データである手術画像（つまり、Ｓ１０１で取得した手術画像）の切除完了に関連する情報（具体的には、切除対象物が切除されると手術画像に表れる臓器の領域情報、および、手術画像が切除対象物の切除が完了した画像であるか切除対象物の切除が未完了である画像であるかのラベル）を取得する。
　ステップ１１２（Ｓ１１２）において、手術支援装置１０は、Ｓ１１１で取得したデータを正解データに変換する。具体的には、手術支援装置１０は、Ｓ１１１で取得したデータを、モデルの出力の形式に揃える。
　ステップ１０３（Ｓ１０３）において、手術支援装置１０は、Ｓ１０２で検知した切除対象物の切除の状況と、Ｓ１１２の正解データと、の誤差を算出する。
　ステップ１０４（Ｓ１０４）において、手術支援装置１０は、Ｓ１０３で算出した誤差が小さくなるように学習中のモデルのパラメータを更新して、更新したパラメータをパラメータ記憶部１０６に記憶させる。
　ステップ１０５（Ｓ１０５）において、手術支援装置１０は、学習を終了するか否かを判断する。学習を終了しない場合には、Ｓ１０１およびＳ１１１へ戻って次の学習データを取得し、学習を終了する場合には、本処理を終了する。
　図１１は、本発明の一実施形態に係る切除状況通知処理のフローチャートである。
　ステップ２０１（Ｓ２０１）において、手術支援装置１０は、手術中に撮像装置２０が撮影している手術画像（例えば、動画）を取得する。
　ステップ２０２（Ｓ２０２）において、手術支援装置１０は、Ｓ２０１で取得した手術画像に基づいて、切除対象物の切除の状況を検知する。具体的には、手術支援装置１０は、Ｓ２０１で取得した手術画像を図１０で生成したモデルに入力して、切除対象物の切除の状況（例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率）を出力する。
　図８で説明した実施例１では、分類器１１３は、特徴抽出器１１１が学習時に抽出した特徴量を用いて手術画像を分類する。
　図９で説明した実施例２では、特徴抽出器Ａ　２１１Ａおよび復元器２１２は、手術画像から臓器の領域情報を復元し、分類器２１３は、手術画像の特徴量および復元された臓器の領域情報の特徴量を用いて手術画像を分類する。
　ステップ２０３（Ｓ２０３）において、手術支援装置１０は、Ｓ２０２で検知した切除対象物の切除の状況をリアルタイムで通知（例えば、表示装置３０に表示）する。例えば、手術支援装置１０は、切除対象物の切除が完了したことを通知する、または、切除対象物のうち切除済みの比率または未切除の比率を通知する。例えば、手術支援装置１０は、Ｓ２０１で取得した手術画像上に、切除対象物の切除の状況を表示する。
＜効果＞
　本発明の一実施形態では、外科手術中に、原発巣やリンパ節等の癌組織の切除が完了したときにリアルタイムで手技の完了を通知する。そのため、医師は、手術画像に明示される手技の完了の通知により、合併症の増加を回避しつつ十分にリンパ節を切除することが可能となる。
　以下、その他の実施形態を説明する。なお、以下で説明する実施形態の複数を組み合わせて実装してもよい。
［未切除部位の通知］
　手術支援装置１０は、切除対象物の切除が未完了であるとき、切除対象物のうち未切除である部位を通知することができる。具体的には、手術支援装置１０は、手術中に撮像装置２０が撮影している手術画像内で切除対象物のうち未切除である部位を特定し、特定された部位を通知する（例えば、手術支援装置１０は、復元器１１２から出力されたセグメンテーション情報に基づいて、ルールベースで、切除対象物のうち未切除である部位を特定することができる。例えば、「神経（切除対象物が切除されると手術画像に表れる臓器の一例）」が手術画像内に表れていない場合（つまり、「神経」のセグメンテーション情報が得られない場合）、「神経」が表れているべき部分が未切除部位であると特定することができる）。例えば、手術支援装置１０は、術者が手術の切除のステップから次のステップへ進んだとき、または、切除のステップのときに通知する。例えば、手術支援装置１０は、「気管周囲の剥離が不十分です」等を表示装置３０に表示する。
　このように、どの部位の切除が未完了であるのかを通知することにより、術者は次に行うべき手技を知ることができる。
［切除未完了の通知］
　手術支援装置１０は、切除対象物の切除が未完了であるとき、術者が手術の切除のステップから次のステップへ進むと、切除のステップへ戻るよう通知することができる。以下、図１２を参照しながら、切除未完了通知処理について説明する。なお、手術中の各ステップ（例えば、切除のステップ等）が管理されているものとする。
　図１２は、本発明の一実施形態に係る切除未完了通知処理のフローチャートである。
　ステップ３０１（Ｓ３０１）において、手術支援装置１０は、手術中に撮像装置２０が撮影している手術画像を取得する。
　ステップ３０２（Ｓ３０２）において、手術支援装置１０は、Ｓ３０１で取得した手術画像に基づいて、切除対象物の切除の状況を検知する。
　ステップ３０３（Ｓ３０３）において、手術支援装置１０は、現在のステップが手術における各ステップのいずれのステップであるかの情報を取得する。
　ステップ３０４（Ｓ３０４）において、手術支援装置１０は、切除対象物の切除が未完了であり、かつ、現在のステップが切除のステップではないかを判断する。切除対象物の切除が未完了であり、かつ、現在のステップが切除のステップではない場合には、ステップ３０５へ進み、その他の場合には、処理を終了する。
　ステップ３０５（Ｓ３０５）において、手術支援装置１０は、切除のステップへ戻るよう通知する。例えば、手術支援装置１０は、「前の切除手技に戻ってください」等を表示装置３０に表示する。
　このように、切除のステップへ戻るよう通知することによって、十分な切除が終了する前に手技が終了することを防ぐことができる。
［切除時間の管理］
　手術支援装置１０は、手術の切除のステップが開始後に一定時間以上経過したとき、切除対象物の切除が未完了であると、手術の切除のステップが一定時間以上経過したことを通知することができる。例えば、一定時間は、過去のデータの平均時間であってもよいし、過去のデータの平均時間＋２ＳＤ（標準偏差）を超えた時間であってもよい。例えば、手術支援装置１０は、「切除開始してから一定時間経過しています」等を表示装置３０に表示する。
　このように、切除のステップの時間を管理することによって、十分な切除が終了する前に手技が終了することを防ぐことに加えて、合併症を予測すること、上級医に術者を変更するタイミングを知ることができる。
［手技の評価］
　手術支援装置１０は、手術画像をモデルに入力することによって出力した切除完了に関連する情報に基づいて、外科医や内視鏡医等の術者の手技を評価することができる。以下、図１３および図１４を参照しながら、手技の評価について説明する。
　図１３は、本発明の一実施形態に係る評価処理のフローチャートである。
　ステップ４０１（Ｓ４０１）において、手術支援装置１０は、手術画像をモデルに入力することによって出力した切除完了に関連する情報を取得する。
　ステップ４０２（Ｓ４０２）において、手術支援装置１０は、手術に関する情報を取得する。手術に関する情報は、全体の手術時間、各フェーズにおける手術時間、器具や術者の動きを認識したデータ等であってもよい。
　ステップ４０３（Ｓ４０３）において、手術支援装置１０は、Ｓ４０１およびＳ４０２で取得した情報に基づいて、術者の手技を評価する。例えば、手術支援装置１０は、機械学習を用いて、術者の手技を評価してもよい。
　図１４は、本発明の一実施形態に係る評価のもととなる情報および評価結果の一例である。例えば、評価のもととなる情報は、手術の各フェーズ（例えば、反回神経周囲リンパ節切除）の時間、切除状況の種別（例えば、切除完了）等である。例えば、評価結果は、スコアであってもよい。
　このように、手技を評価することによって、術後に手術の手技のフィードバックを行なったり、手術教育に用いたりすることが可能となる。
＜ハードウェア構成＞
　図１５は、本発明の一実施形態に係る手術支援装置１０のハードウェア構成図である。手術支援装置１０は、制御部１００１と、主記憶部１００２と、補助記憶部１００３と、入力部１００４と、出力部１００５と、インタフェース部１００６と、を備えることができる。以下、それぞれについて説明する。
　制御部１００１は、補助記憶部１００３にインストールされている各種プログラムを実行するプロセッサ（例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等）である。
　主記憶部１００２は、不揮発性メモリ（ＲＯＭ（Read Only Memory））および揮発性メモリ（ＲＡＭ（Random Access Memory））を含む。ＲＯＭは、補助記憶部１００３にインストールされている各種プログラムを制御部１００１が実行するために必要な各種プログラム、データ等を格納する。ＲＡＭは、補助記憶部１００３にインストールされている各種プログラムが制御部１００１によって実行される際に展開される作業領域を提供する。
　補助記憶部１００３は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
　入力部１００４は、手術支援装置１０の操作者が手術支援装置１０に対して各種指示を入力する入力デバイスである。
　出力部１００５は、手術支援装置１０の内部状態等を出力する出力デバイスである。
　インタフェース部１００６は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
　以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　本国際出願は２０２２年９月９日に出願された日本国特許出願２０２２－１４３９７１号に基づく優先権を主張するものであり、２０２２－１４３９７１号の全内容をここに本国際出願に援用する。
１　手術支援システム
１０　手術支援装置
２０　撮像装置
３０　表示装置
１１　医師
１２　患者
１０１　学習データ記憶部
１０２　学習データ取得部
１０３　切除状況検知部
１０４　誤差算出部
１０５　パラメータ更新部
１０６　パラメータ記憶部
１０７　手術画像取得部
１０８　切除状況検知部
１０９　切除状況通知部
１１１　特徴抽出器
１１２　復元器
１１３　分類器
２１１Ａ　特徴抽出器Ａ
２１１Ｂ　特徴抽出器Ｂ
２１１Ｃ　特徴抽出器Ｃ
２１２　復元器
２１３　分類器
１００１　制御部
１００２　主記憶部
１００３　補助記憶部
１００４　入力部
１００５　出力部
１００６　インタフェース部

Claims (9)

  1. 　コンピュータに、
    　切除対象物を切除する手術において手術部位が撮影された手術画像を取得することと、
    　入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知することと、
    　前記切除対象物の切除の状況を通知することと、を実行させ、
    　前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む、プログラム。
  2. 　前記切除対象物の切除の状況を通知することは、
    　前記切除対象物の切除が完了したことを通知すること、または、前記切除対象物のうち切除済みの比率または未切除の比率を通知すること、である、請求項１に記載のプログラム。
  3. 　前記コンピュータに、
    　前記取得した手術画像上に、前記切除対象物の切除の状況を表示すること、を実行させる、請求項１または２に記載のプログラム。
  4. 　前記コンピュータに、
    　前記切除対象物の切除が未完了であるとき、前記切除対象物のうち未切除である部位を通知すること、を実行させる、請求項１または２に記載のプログラム。
  5. 　前記コンピュータに、
    　前記切除対象物の切除が未完了であるとき、術者が前記手術の切除のステップから次のステップへ進むと、前記切除のステップへ戻るよう通知すること、を実行させる、請求項１または２に記載のプログラム。
  6. 　前記コンピュータに、
    　前記手術の切除のステップが開始後に一定時間以上経過したとき、前記切除対象物の切除が未完了であると、前記手術の切除のステップが一定時間以上経過したことを通知すること、を実行させる、請求項１または２に記載のプログラム。
  7. 　前記コンピュータに、
    　前記取得した手術画像を前記モデルに入力することによって出力した前記切除完了に関連する情報に基づいて、術者の前記手術の手技を評価すること、を実行させる、請求項１または２に記載のプログラム。
  8. 　切除対象物を切除する手術において手術部位が撮影された手術画像を取得する手術画像取得部と、
    　入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知する切除状況検知部と、
    　前記切除対象物の切除の状況を通知する切除状況通知部と、を備え、
    　前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む、手術支援装置。
  9. 　手術支援装置が実行する方法であって、
    　切除対象物を切除する手術において手術部位が撮影された手術画像を取得するステップと、
    　入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知するステップと、
    　前記切除対象物の切除の状況を通知するステップと、を含み、
    　前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む、方法。
PCT/JP2023/032610 2022-09-09 2023-09-07 手術支援プログラム、手術支援装置、および手術支援方法 WO2024053697A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-143971 2022-09-09
JP2022143971 2022-09-09

Publications (1)

Publication Number Publication Date
WO2024053697A1 true WO2024053697A1 (ja) 2024-03-14

Family

ID=90191273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032610 WO2024053697A1 (ja) 2022-09-09 2023-09-07 手術支援プログラム、手術支援装置、および手術支援方法

Country Status (1)

Country Link
WO (1) WO2024053697A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108966A (ja) * 2020-01-10 2021-08-02 公立大学法人公立はこだて未来大学 手術工程同定システム、手術工程同定方法および手術工程同定プログラム
JP2022069464A (ja) * 2020-07-30 2022-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
WO2022168905A1 (ja) * 2021-02-04 2022-08-11 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108966A (ja) * 2020-01-10 2021-08-02 公立大学法人公立はこだて未来大学 手術工程同定システム、手術工程同定方法および手術工程同定プログラム
JP2022069464A (ja) * 2020-07-30 2022-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
WO2022168905A1 (ja) * 2021-02-04 2022-08-11 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム

Similar Documents

Publication Publication Date Title
JP7127785B2 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US8385614B2 (en) Slice image display apparatus, method and recording-medium having stored therein program
JP2006320650A (ja) 画像表示装置
US8811676B2 (en) Image processing apparatus, image processing method, and computer readable recording device
US20230263573A1 (en) Probes, systems, and methods for computer-assisted landmark or fiducial placement in medical images
US20230190136A1 (en) Systems and methods for computer-assisted shape measurements in video
US20230245753A1 (en) Systems and methods for ai-assisted surgery
JP2007151645A (ja) 医用画像診断支援システム
JP2005157902A (ja) 画像解析方法
EP3298949B1 (en) Image processing apparatus, image processing method, and surgical system
JP4436838B2 (ja) 局所的曲率分布パターンの分析方法
JP6571687B2 (ja) 画像処理装置及び画像処理方法
JP7081862B1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
JP2008054763A (ja) 医療画像診断装置
WO2024053697A1 (ja) 手術支援プログラム、手術支援装置、および手術支援方法
WO2023168306A2 (en) Arthroscopic surgery assistance apparatus and method
US11900615B2 (en) Tracking device, endoscope system, and tracking method
EP4323975A1 (en) Systems and methods for ai-assisted medical image annotation
Kadomatsu et al. A novel system applying artificial intelligence in the identification of air leak sites
Narihiro et al. Deep Learning-Based Real-time Ureter Identification in Laparoscopic Colorectal Surgery
JP2009039446A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR102607593B1 (ko) 딥러닝 기반 무릎 자기 공명 이미지의 반월상 연골을 분할하는 방법, 이를 위한 프로그램 및 장치
JP2004016721A (ja) 画像診断支援装置
WO2022190740A1 (ja) 内視鏡システム及びその作動方法
WO2024004013A1 (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23863235

Country of ref document: EP

Kind code of ref document: A1