WO2024053697A1 - 手術支援プログラム、手術支援装置、および手術支援方法 - Google Patents
手術支援プログラム、手術支援装置、および手術支援方法 Download PDFInfo
- Publication number
- WO2024053697A1 WO2024053697A1 PCT/JP2023/032610 JP2023032610W WO2024053697A1 WO 2024053697 A1 WO2024053697 A1 WO 2024053697A1 JP 2023032610 W JP2023032610 W JP 2023032610W WO 2024053697 A1 WO2024053697 A1 WO 2024053697A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- resection
- surgical
- resected
- surgical image
- target
- Prior art date
Links
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims description 37
- 238000002271 resection Methods 0.000 claims abstract description 208
- 210000000056 organ Anatomy 0.000 claims abstract description 72
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 210000001165 lymph node Anatomy 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 210000005036 nerve Anatomy 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 210000003437 trachea Anatomy 0.000 description 4
- 210000000702 aorta abdominal Anatomy 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 210000001198 duodenum Anatomy 0.000 description 3
- 238000013110 gastrectomy Methods 0.000 description 3
- 210000004300 gastroepiploic artery Anatomy 0.000 description 3
- 210000004249 mesenteric artery inferior Anatomy 0.000 description 3
- 210000001758 mesenteric vein Anatomy 0.000 description 3
- 210000000496 pancreas Anatomy 0.000 description 3
- 210000002307 prostate Anatomy 0.000 description 3
- 238000011471 prostatectomy Methods 0.000 description 3
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 3
- 210000001625 seminal vesicle Anatomy 0.000 description 3
- 210000003270 subclavian artery Anatomy 0.000 description 3
- 210000003708 urethra Anatomy 0.000 description 3
- 210000003932 urinary bladder Anatomy 0.000 description 3
- 210000001177 vas deferen Anatomy 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 201000010653 vesiculitis Diseases 0.000 description 3
- 238000012321 colectomy Methods 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 210000003041 ligament Anatomy 0.000 description 2
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 1
- 102000004895 Lipoproteins Human genes 0.000 description 1
- 108090001030 Lipoproteins Proteins 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000259 anti-tumor effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000002192 cholecystectomy Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000000713 mesentery Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Definitions
- the present invention relates to a surgery support program, a surgery support device, and a surgery support method.
- Patent Document 1 discloses a near-infrared fluorescent tracer and a fluorescent imaging method as a method for supporting appropriate removal of the object to be removed. Specifically, by chemically bonding an anti-tumor antibody to an indocyanine green-high-density lipoprotein (ICG-HDL) complex, it is possible to measure the location and size of external tumors in vivo in real time. It is stated that it is possible. However, in the technique of Patent Document 1, the operator can only distinguish between tumor tissue and normal tissue, and the decision on whether the resection is complete is left to the operator.
- ICG-HDL indocyanine green-high-density lipoprotein
- Non-Patent Document 1 describes a method that learns a surgical image and information about the completion of the procedure, and inputs the surgical image at the time of inference to notify the completion of the procedure. It is disclosed to output the status.
- Non-Patent Document 1 inferences are only made by learning surgical images and information on the completion of the procedure, and it is desired to be able to notify the status of resection of the object to be resected more accurately in surgery. was.
- a program causes a computer to obtain a surgical image in which a surgical site is photographed in a surgery to remove an object to be resected, and the input is the surgical image and the output is information related to the completion of the resection. detecting the state of resection of the object to be resected from the acquired surgical image using a model generated by machine learning of learning data; and notifying the state of resection of the object to be resected. and the information related to the completion of resection includes region information of the organ that appears in the surgical image when the resection target is resected.
- FIG. 1 is a diagram showing an overall configuration according to an embodiment of the present invention.
- FIG. 1 is a functional block diagram of a surgery support device according to an embodiment of the present invention.
- FIG. 3 is a diagram for explaining organ region information and labels according to an embodiment of the present invention.
- 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- FIG. 1 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- FIG. 3 is a diagram for explaining learning according to an embodiment of the present invention.
- FIG. 3 is a diagram for explaining learning according to an embodiment of the present invention.
- 3 is a flowchart of learning processing according to an embodiment of the present invention.
- 2 is a flowchart of excision status notification processing according to an embodiment of the present invention.
- 12 is a flowchart of a resection incomplete notification process according to an embodiment of the present invention.
- It is a flowchart of evaluation processing concerning one embodiment of the present invention.
- 3 is an example of information on which evaluation is based and evaluation results according to an embodiment of the present invention.
- FIG. 1 is a hardware configuration diagram of a surgical support device according to an embodiment of the present invention.
- surgical may be any surgery, and may be a surgery performed only by a human, or a surgery performed by a human operating a medical device such as an endoscope (for example, The surgery may be a laparoscopic surgery, a thoracoscopic surgery, etc.), a surgery performed by a human operating a robot, or a surgery performed only by a robot.
- surgery is a surgical procedure that removes cancerous tissue, including the primary tumor and lymph nodes, from the tissue.
- the surgery is esophagectomy, gastrectomy, colectomy, prostatectomy, pancreatectomy, but may also be endoscopic submucosal dissection for early stage cancer.
- object to be resected is an object (for example, a lesion) to be resected in surgery.
- the object to be resected is a malignant tumor and a lymph node surrounding the tumor, but it may also be a benign tumor.
- organ is any organ in the body.
- FIG. 1 is a diagram showing the overall configuration according to an embodiment of the present invention.
- the surgical support system 1 includes a surgical support device 10, an imaging device 20, and a display device 30. A case will be described in which a doctor 11 performs surgery to remove an object to be removed from a patient 12. Each will be explained below.
- the surgical support device 10 detects the state of resection of the resection target based on the image taken by the imaging device 20 during a surgery in which the doctor 11 excises the resection target of the patient 12, and determines the state of the resection of the resection target. This is a device that notifies the doctor 11 of the situation (for example, displays it on the display device 30).
- the surgical support device 10 consists of one or more computers. The surgical support device 10 can acquire images taken by the imaging device 20 from the imaging device 20. Further, the surgical support device 10 can display information such as the status of resection of the object to be resected on the display device 30.
- the imaging device 20 is a device that photographs a region of the patient 12 undergoing surgery (hereinafter also referred to as a surgical region).
- a surgical region a region of the patient 12 undergoing surgery
- the image captured by the imaging device 20 and showing the surgical site will also be referred to as a surgical image.
- the display device 30 is a monitor, display, or the like that displays information acquired from the surgical support device 10. By viewing the information displayed on the display device 30, the doctor 11 can know the status of resection of the object to be resected (for example, completion of resection).
- the surgical support device 10, the imaging device 20, and the display device 30 may be implemented in one device.
- FIG. 2 is a functional block diagram of the surgical support device 10 according to an embodiment of the present invention.
- the surgical support device 10 includes a learning data storage unit 101 , a learning data acquisition unit 102 , a resection status detection unit 103 , an error calculation unit 104 , a parameter updating unit 105 , a parameter storage unit 106 , and a surgical image acquisition unit 107 , an excision status detection unit 108 , and an excision status notification unit 109 .
- the surgical support device 10 acquires a learning data acquisition unit 102, a resection status detection unit 103, an error calculation unit 104, a parameter update unit 105, a surgical image acquisition unit 107, an excision status detection unit 108, and a resection status notification. 109.
- a learning data acquisition unit 102 a resection status detection unit 103
- an error calculation unit 104 a parameter update unit 105
- a surgical image acquisition unit 107 an excision status detection unit 108
- a resection status notification. 109 a resection status notification.
- the learning data includes a surgical image in which a surgical site is photographed and information related to the completion of resection of the surgical image.
- the learning data acquisition unit 102 acquires the learning data stored in the learning data storage unit 101.
- region information of the organ that appears in the surgical image after the object to be resected is removed region information is segmentation information that indicates the region of the organ in the image
- region information is segmentation information that indicates the region of the organ in the image
- frame information information such as a rectangle surrounding the organ
- the surgical image is an image in which the resection of the object to be resected has been completed.
- a label indicating whether the image is an image in which the excision of the resection target is incomplete.
- the organ area information and labels will be described in detail with reference to FIG. 3.
- FIG. 3 is a diagram for explaining organ region information and labels according to an embodiment of the present invention.
- Surgical images 1 to 3 are examples of learning data (correct data).
- the learning data includes area information of the resection target (segmentation information indicating the area of the resection target within the image (information indicating the segmented resection target), and information indicating the area of the resection target within the image).
- At least one of frame information may also be used.
- the surgical image 1 is an image of the surgical site before the object to be resected is excised.
- organs in the example of FIG. 3, "trachea,” “subclavian artery,” and “nerve" are not yet displayed.
- the label of surgical image 1 indicates that the surgical image is an image in which the resection of the object to be resected has not been completed.
- the surgical image 2 is an image of a surgical site where the object to be resected is being excised.
- region information of an organ that appears during resection is added.
- the label of surgical image 2 indicates that the surgical image is an image in which the resection of the object to be resected has not been completed.
- the surgical image 3 is an image of the surgical site after the object to be resected has been excised.
- region information of the organ that appears after the completion of resection is added.
- the label of surgical image 3 indicates that the surgical image is an image in which excision of the object to be resected has been completed. Note that the time when the organ that should appear in the surgical image at the time of completion of the resection is recognized is defined as the time when the resection is completed.
- organ area information may be generated by a human specifying the organ area in a surgical image, or by inference using a machine learning model using a surgical image in which a human specifies the organ area.
- Organ region information may also be generated.
- FIG. 4 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- the transverse mesocolic ligament, pancreas, right gastroepiploic vein, right gastroepiploic artery, subpyloric artery, and duodenum appear in the surgical image. That is, "information related to the completion of resection" can include regional information on at least one of the transverse mesocolic mesentery, pancreas, right gastroepiploic vein, right gastroepiploic artery, subpyloric artery, and duodenum.
- the state of resection of the object to be resected is determined depending on the degree of exposure of at least one of the transverse mesocolic ligament, pancreas, right gastroepiploic vein, right gastroepiploic artery, subpyloric artery, and duodenum. (For example, whether the resection of the resection target is completed or incomplete, or the proportion of the resection target that is excised or unresected) can be determined.
- FIG. 5 is an example of an organ that appears in a surgical image when the object to be resected is excised according to an embodiment of the present invention.
- colon resection when objects to be resected (tumor and lymph nodes) are removed, the abdominal aorta and inferior mesenteric artery appear in the surgical image. That is, the "information related to the completion of resection" can include regional information on at least one of the abdominal aorta and the inferior mesenteric artery.
- the state of resection of the object to be resected (for example, whether the resection of the object to be resected is completed or not) is determined depending on the degree of exposure of at least one of the abdominal aorta and the inferior mesenteric artery. Alternatively, it is possible to determine the percentage of the resected object that has been excised or the proportion that has not been excised.
- FIG. 6 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- the object to be resected is removed during bladder neck dissection in prostatectomy, the prostate, bladder, urethra, seminal vesicles, and vas deferens appear in the surgical image. That is, the "information related to the completion of resection" can include region information on at least one of the prostate, bladder, urethra, seminal vesicle, and vas deferens.
- the state of resection of the object to be resected is determined by the degree of exposure of at least one of the prostate, bladder, urethra, seminal vesicles, and vas deferens. or the percentage of the resected object that has been resected or has not been resected.
- FIG. 7 is an example of an organ that appears in a surgical image when an object to be resected is excised according to an embodiment of the present invention.
- pancreatic resection when the objects to be resected (tumor and lymph nodes) are removed, the superior mesenteric vein appears in the surgical image.
- information related to completion of resection can include region information of the superior mesenteric vein.
- pancreatic resection the degree of exposure of the superior mesenteric vein determines the state of resection of the resected object (for example, whether the resection of the resected object is complete or incomplete, or of which the proportion has been excised or the proportion of which has not been excised) can be determined.
- the resection state detection unit 103 detects the resection state of the resection target using the model that is being learned.
- Example 1 In Example 1 described in FIG. 8, the resection state detection unit 103 inputs the surgical images acquired by the learning data acquisition unit 102 to the model being learned (the feature extractor 111 and the restorer 112 in FIG. 8). , outputs organ region information. In addition, the resection status detection unit 103 inputs the surgical image acquired by the learning data acquisition unit 102 to the model under learning (the feature extractor 111 and classifier 113 in FIG. 8), and completes the excision of the resection target. Outputs whether it has been completed or not completed.
- Example 2 In Example 2 described in FIG. 9, the resection state detection unit 103 inputs the surgical image acquired by the learning data acquisition unit 102 to the model under learning (the feature extractor A 211A and the restorer 212 in FIG. 9). and outputs organ region information. In addition, the resection status detection unit 103 uses the surgical image acquired by the learning data acquisition unit 102 and the region information of the organ restored by the restorer 212 to the model being learned (the feature extractor B 211B and the feature extractor B in FIG. 9). C 211C and a classifier 213) to output whether the resection of the resection target is complete or incomplete.
- the error calculation unit 104 calculates the error between the resection status of the object to be resected detected from the surgical image by the resection status detection unit 103 and the information related to the completion of resection of the surgical image acquired by the learning data acquisition unit 102. do.
- the parameter update unit 105 updates the parameters of the model under learning so that the error calculated by the error calculation unit 104 becomes smaller, and stores the updated parameters in the parameter storage unit 106.
- the parameter storage unit 106 stores model parameters updated by the parameter update unit 105.
- FIG. 8 is a diagram for explaining learning according to an embodiment of the present invention (Example 1).
- the feature extractor 111 extracts the feature amount from the surgical image that is learning data
- the restorer 112 restores the organ region information or the surgical image including the organ region information from the feature amount
- the classifier 113 extracts the feature amount from the surgical image. Based on the amount, it is determined whether the resection of the object to be resected is completed or not. That is, in the first embodiment, at the time of inference, the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 at the time of learning.
- the feature extractor 111 extracts the feature amount from the surgical image that is learning data
- the restorer 112 restores the organ region information or the surgical image including the organ region information from the feature amount
- the classifier 113 extracts the feature amount from the surgical image. Based on the amount, it is determined whether the resection of the object to be resected is completed or not. That is, in the
- a feature extractor (also called an encoder) 111 extracts feature amounts of the surgical image from the surgical image. Specifically, the feature extractor 111 reduces the dimensions of the surgical image and extracts the feature amount.
- a restorer (also called a decoder) 112 restores organ region information or a surgical image including organ region information based on the feature amount of the surgical image extracted by the feature extractor 111 (note that The organ area information may be only the organ area information that appears when the resection target is removed, or may include not only the organ area information that appears when the resection target is removed, but also other organ area information.) .
- the error between the result restored by the restorer 112 and the organ area information of the learning data (correct data) that is, the organ area information that appears in the surgical image when the object to be resected is excised
- the error is calculated. It is learned (that is, the parameters are updated) to become smaller.
- the classifier 113 determines whether the surgical image is an image in which the resection of the resection target has been completed or not.
- the error between the result determined by the classifier 113 and the label of the learning data (correct data) (that is, the label indicating that the excision is completed or the label indicating that the excision is incomplete) is calculated, Learning (that is, parameters are updated) is performed so that the error becomes smaller.
- FIG. 9 is a diagram for explaining learning according to an embodiment of the present invention (Example 2).
- the feature extractor A 211A extracts a feature amount from the surgical image that is learning data, and the restorer 212 restores organ region information or a surgical image including organ region information from the feature amount.
- the feature extractor B 211B extracts feature amounts from the organ region information restored by the restorer 212 or from the surgical image containing the organ region information.
- the feature extractor C 211C extracts feature amounts from the surgical images that are learning data.
- the classifier 213 determines whether the resection of the resection target has been completed or not, based on the feature amount that is a combination of the feature amount extracted by the feature extractor B 211B and the feature amount extracted by the feature extractor C 211C. judge.
- the feature extractor A 211A and the restorer 212 restore the organ region information from the surgical image
- the classifier 213 restores the feature amount of the surgical image and the restored organ region information.
- the surgical images are classified using the feature values. Each will be explained below.
- the feature extractor (also called encoder) A 211A extracts the feature amount of the surgical image from the surgical image. Specifically, the feature extractor A 211A reduces the dimensions of the surgical image and extracts the feature amount.
- the restorer (also called a decoder) 212 restores organ region information or a surgical image containing organ region information based on the feature amount of the surgical image extracted by the feature extractor A 211A (note that the restored The organ area information to be removed may be only the organ area information that appears when the resection target is removed, or may include not only the organ area information that appears when the resection target is removed but also other organ area information. ).
- the error between the result restored by the restorer 212 and the organ area information of the learning data (correct data) that is, the organ area information that appears in the surgical image when the object to be resected is excised
- the error is calculated. It is learned (that is, the parameters are updated) to become smaller.
- a feature extractor (also called an encoder) B 211B extracts feature amounts of organ region information from the organ region information restored by the restorer 212. Specifically, the feature extractor B 211B reduces the dimensions of the organ region information restored by the restorer 212 and extracts the feature amount.
- the feature extractor (also called encoder) C 211C extracts the feature amount of the surgical image from the surgical image. Specifically, the feature extractor C 211C reduces the dimensions of the surgical image and extracts the feature amount.
- the classifier 213 determines whether the surgical image is an image in which the resection of the resection target has been completed, based on the feature amount that is a combination of the feature amount extracted by the feature extractor B 211B and the feature amount extracted by the feature extractor C 211C. It is determined whether the image is unfinished or unfinished.
- the error between the result determined by the classifier 213 and the label of the learning data (correct data) (that is, the label indicating that the excision is completed or the label indicating that the excision is not completed) is calculated, Learning (that is, parameters are updated) is performed so that the error becomes smaller.
- the surgical support device 10 can reflect the degree of recognition and positional relationship between the resection target and surrounding organs according to the progress of resection in the detection of the resection status.
- the status of lymph node resection can be determined based on the segmentation results of the right and posterior walls of the trachea, the subclavian artery, and the recurrent laryngeal nerve.
- the resection status of the resection target is detected using the results of anatomical structure segmentation and frame information (in other words, the region information of each organ) as attention. This can contribute to decisions such as which parts should be excised and which parts should be left unresected.
- the surgical image acquisition unit 107 acquires surgical images (for example, moving images) captured by the imaging device 20 during the surgery.
- the resection status detection unit 108 detects the resection status of the resection target based on the surgical image acquired by the surgical image acquisition unit 107. Specifically, the resection status detection unit 108 inputs the surgical image acquired by the surgical image acquisition unit 107 into a model (specifically, a model using the parameters stored in the parameter storage unit 106), and performs the resection. The status of the resection of the target object (for example, whether the resection of the target object is completed or not, or the proportion of the target object that has been excised or the proportion that has not been excised) is output.
- a model specifically, a model using the parameters stored in the parameter storage unit 106
- the classification model is used to output the probability that the resection of the resection target is completed (i.e., the percentage of resected items) or the probability that the resection of the resection target is incomplete (i.e., the ratio of unresected items).
- a regression model may be used to output the resected ratio or the unresected ratio.
- the excision status notification unit 109 notifies in real time (for example, displays on the display device 30) the status of excision of the resection target detected by the excision status detection unit 108.
- the resection status notification unit 109 may notify that the resection of the resection target has been completed (in other words, it will be indicated by a binary value of complete or incomplete resection), or the proportion of the resection target that has been resected or Report the rate of resection (i.e., indicate the resection status as a percentage).
- the resection status notification unit 109 displays the resection status of the resection target on the surgical image acquired by the surgical image acquisition unit 107.
- the excision status notification unit 109 displays "excision complete" or the like.
- FIG. 10 is a flowchart of learning processing according to an embodiment of the present invention.
- step 101 the surgical support device 10 acquires surgical images that are learning data.
- step 102 the surgical support device 10 uses the model being learned to detect the state of resection of the object to be resected.
- the surgical support device 10 inputs the surgical image acquired in S101 to the model being learned (the feature extractor 111 and the restorer 112 in FIG. 8), and generates organ region information. Output.
- the surgical support device 10 inputs the surgical image acquired in S101 to the learning model (the feature extractor 111 and the classifier 113 in FIG. 8), and determines whether the resection of the resection target is completed or not. Output whether there is.
- the surgical support device 10 inputs the surgical image acquired in S101 to the model being learned (feature extractor A 211A and restorer 212 in FIG. 9), and Output information.
- the surgical support device 10 uses the surgical image acquired in S101 and the region information of the organ restored by the restorer 212 as the learning model (feature extractor B 211B, feature extractor C 211C, and classifier in FIG. 9). 213) to output whether the resection of the object to be resected has been completed or not.
- step 111 the surgical support device 10 provides information related to the completion of resection of the surgical image (that is, the surgical image acquired in S101) that is the learning data (specifically, when the resection target is resected).
- Region information of the organ appearing in the surgical image and a label indicating whether the surgical image is an image in which the resection of the resection target has been completed or an image in which the resection of the resection target has not been completed are acquired.
- step 112 the surgical support device 10 converts the data acquired in S111 into correct data. Specifically, the surgical support device 10 arranges the data acquired in S111 in the format of the output of the model.
- step 103 the surgical support device 10 calculates the error between the resection status of the resection target detected in S102 and the correct data in S112.
- step 104 the surgical support device 10 updates the parameters of the model being learned so that the error calculated in S103 becomes smaller, and stores the updated parameters in the parameter storage unit 106.
- step 105 the surgical support device 10 determines whether to end learning. If learning is not to be completed, the process returns to S101 and S111 to acquire the next learning data, and if learning is to be completed, this process is ended.
- FIG. 11 is a flowchart of excision status notification processing according to an embodiment of the present invention.
- step 201 the surgical support device 10 acquires a surgical image (for example, a video) captured by the imaging device 20 during the surgery.
- a surgical image for example, a video
- step 202 the surgical support device 10 detects the state of resection of the resection target based on the surgical image acquired in S201. Specifically, the surgical support device 10 inputs the surgical image acquired in S201 into the model generated in FIG. or the proportion of the excised objects or the proportion of unexcised objects).
- the classifier 113 classifies the surgical image using the feature amount extracted by the feature extractor 111 during learning.
- the feature extractor A 211A and the restorer 212 restore organ region information from the surgical image, and the classifier 213 restores the feature amount of the surgical image and the restored organ region information.
- the surgical images are classified using the feature values.
- step 203 the surgical support device 10 notifies (for example, displays on the display device 30) the resection status of the resection target detected in S202 in real time.
- the surgery support device 10 notifies that the removal of the object to be removed is completed, or notifies the percentage of the object to be removed that has been removed or the percentage that has not been removed.
- the surgical support device 10 displays the resection status of the resection target on the surgical image acquired in S201.
- ⁇ Effect> during a surgical operation, the completion of the procedure is notified in real time when the removal of cancerous tissue such as the primary tumor or lymph node is completed. Therefore, the doctor can sufficiently remove the lymph node while avoiding an increase in complications by receiving the notification of the completion of the procedure clearly shown in the surgical image.
- the surgical support device 10 can notify the unresected portion of the resection target when the resection of the resection target is incomplete. Specifically, the surgical support device 10 identifies an unresected region of the object to be resected in the surgical image captured by the imaging device 20 during the surgery, and notifies the identified region (for example, The surgical support device 10 can specify an unresected part of the resection target on a rule basis based on the segmentation information output from the restorer 112.For example, "nerve (resection target is If "an example of an organ that appears in a surgical image when the nerve is removed" does not appear in the surgical image (in other words, if segmentation information for "nerve” cannot be obtained), the part where the "nerve” should appear is an unresected part.
- the surgical support device 10 notifies the surgeon when the surgeon advances from a surgical resection step to the next step, or when the surgeon is at the resection step.
- the surgical support device 10 displays, on the display device 30, a message such as “Avulsion around the trachea is insufficient.”
- the surgical support device 10 can notify the operator to return to the resection step when the surgeon proceeds from the resection step to the next step when the resection of the resection target is not completed.
- the resection incomplete notification process will be described below with reference to FIG. 12. Note that it is assumed that each step during the surgery (for example, the step of resection, etc.) is managed.
- FIG. 12 is a flowchart of a resection incomplete notification process according to an embodiment of the present invention.
- step 301 the surgical support device 10 acquires a surgical image captured by the imaging device 20 during the surgery.
- step 302 the surgical support device 10 detects the state of resection of the resection target based on the surgical image acquired in S301.
- step 303 the surgical support device 10 acquires information about which step of each step in the surgery the current step is.
- step 304 the surgical support device 10 determines whether the resection of the object to be resected has not been completed and whether the current step is a resection step. If the resection of the object to be resected has not been completed and the current step is not a resection step, the process proceeds to step 305; otherwise, the process ends.
- step 305 the surgical support device 10 notifies the user to return to the resection step.
- the surgical support device 10 displays a message such as “Please return to the previous resection technique” on the display device 30.
- the surgical support device 10 may notify that the resection step of the surgery has elapsed for a certain period of time or more if the resection of the object to be resected is not completed when a certain period of time or more has elapsed after the start of the surgical resection step.
- the certain period of time may be the average time of past data, or may be a time exceeding the average time of past data + 2 SD (standard deviation).
- the surgical support device 10 displays, on the display device 30, a message such as “a certain amount of time has passed since the start of resection.”
- the surgical support device 10 can evaluate the technique of an operator such as a surgeon or an endoscopist based on information related to the completion of resection output by inputting a surgical image into a model. The evaluation of the procedure will be described below with reference to FIGS. 13 and 14.
- FIG. 13 is a flowchart of evaluation processing according to an embodiment of the present invention.
- step 401 the surgical support device 10 acquires information related to the completion of resection output by inputting the surgical image into the model.
- step 402 the surgical support device 10 acquires information regarding the surgery.
- the information regarding the surgery may include the entire surgery time, the surgery time in each phase, data recognizing the movements of instruments and the surgeon, and the like.
- step 403 the surgical support device 10 evaluates the surgeon's technique based on the information acquired in S401 and S402. For example, the surgical support device 10 may evaluate the surgeon's technique using machine learning.
- FIG. 14 is an example of information on which evaluation is based and evaluation results according to an embodiment of the present invention.
- the information on which the evaluation is based includes the time of each phase of the surgery (for example, resection of lymph nodes around the recurrent laryngeal nerve), the type of resection status (for example, completion of resection), and the like.
- the evaluation result may be a score.
- FIG. 15 is a hardware configuration diagram of the surgical support device 10 according to an embodiment of the present invention.
- the surgical support device 10 can include a control section 1001, a main storage section 1002, an auxiliary storage section 1003, an input section 1004, an output section 1005, and an interface section 1006. Each will be explained below.
- the control unit 1001 is a processor (for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.) that executes various programs installed in the auxiliary storage unit 1003.
- a processor for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc.
- CPU Central Processing Unit
- GPU Graphics Processing Unit
- the main storage unit 1002 includes nonvolatile memory (ROM (Read Only Memory)) and volatile memory (RAM (Random Access Memory)).
- ROM Read Only Memory
- RAM Random Access Memory
- the ROM stores various programs, data, etc. necessary for the control unit 1001 to execute various programs installed in the auxiliary storage unit 1003.
- the RAM provides a work area in which various programs installed in the auxiliary storage unit 1003 are expanded when the control unit 1001 executes them.
- the auxiliary storage unit 1003 is an auxiliary storage device that stores various programs and information used when the various programs are executed.
- the input unit 1004 is an input device through which the operator of the surgical support device 10 inputs various instructions to the surgical support device 10.
- the output unit 1005 is an output device that outputs the internal state of the surgical support device 10 and the like.
- the interface unit 1006 is a communication device for connecting to a network and communicating with other devices.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
手術において切除対象物の切除の状況を精度よく通知する。本発明の一実施形態に係るプログラムは、コンピュータに、切除対象物を切除する手術において手術部位が撮影された手術画像を取得することと、入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知することと、前記切除対象物の切除の状況を通知することと、を実行させ、前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む。
Description
本発明は、手術支援プログラム、手術支援装置、および手術支援方法に関する。
従来、外科手術、特に悪性腫瘍に対する手術は、腫瘍そのものだけでなく、腫瘍の周囲のリンパ節を十分に切除(郭清とも呼ばれる)することが求められている。不十分な切除は、術後再発の原因となり、結果として患者の長期予後を悪化させる。一方、過剰な切除は、術後合併症の増加を引き起こす可能性がある。
切除対象物を適切に切除することを支援するための手法として、例えば、特許文献1には、近赤外線蛍光トレーサーおよび蛍光イメージング方法が開示されている。具体的には、インドシアニングリーン-高密度リポ蛋白質(ICG-HDL)複合体に、抗腫瘍抗体を化学的に結合させることで、生体内での外腫瘍の位置および大きさをリアルタイムで体外計測可能となることが記載されている。しかしながら、特許文献1の手法では、術者は、腫瘍組織と正常組織を弁別できるに過ぎず、切除の完了の判断は術者に委ねられている。
機械学習を用いて手技の完了を通知する手法として、例えば、非特許文献1には、手術画像と手技の完了の情報とを学習して、推論時に、手術画像を入力して手技の完了の状況を出力することが開示されている。
IRCAD, Artificial Intelligence for Surgical Safety Automatic Assessment of the Critical View of Safety in Laparoscopic Cholecystectomy Using Deep Learning
しかしながら、非特許文献1では、手術画像と手技の完了の情報とを学習して推論しているに過ぎず、手術において切除対象物の切除の状況をより精度よく通知することができることが望まれていた。
そこで、本発明では、手術において切除対象物の切除の状況を精度よく通知することを目的とする。
本発明の一実施形態に係るプログラムは、コンピュータに、切除対象物を切除する手術において手術部位が撮影された手術画像を取得することと、入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知することと、前記切除対象物の切除の状況を通知することと、を実行させ、前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む。
本発明によれば、手術において切除対象物の切除の状況を精度よく通知することができる。
以下、図面に基づいて発明の実施の形態を説明する。
<用語の説明>
・本明細書において、「手術」とは、任意の手術であってよく、人間のみで行う手術であってもよいし、人間が内視鏡等の医療機器を操作して行う手術(例えば、腹腔鏡手術、胸腔鏡手術等)であってもよいし、人間がロボットを操作して行う手術であってもよいし、ロボットのみで行う手術であってもよい。例えば、手術は、組織から原発巣およびリンパ節を含む癌組織を切除する外科手術である。例えば、手術は、食道切除術、胃切除術、大腸切除術、前立腺切除術、膵臓切除術であるが、早期癌に対する内視鏡的粘膜下層剥離術であってもよい。
・本明細書において、「切除対象物」とは、手術において切除されるべき物(例えば、病巣)である。例えば、切除対象物は、悪性腫瘍および腫瘍の周囲のリンパ節であるが、良性腫瘍であってもよい。
・本明細書において、「臓器」とは、体内にある任意の器官である。
・本明細書において、「手術」とは、任意の手術であってよく、人間のみで行う手術であってもよいし、人間が内視鏡等の医療機器を操作して行う手術(例えば、腹腔鏡手術、胸腔鏡手術等)であってもよいし、人間がロボットを操作して行う手術であってもよいし、ロボットのみで行う手術であってもよい。例えば、手術は、組織から原発巣およびリンパ節を含む癌組織を切除する外科手術である。例えば、手術は、食道切除術、胃切除術、大腸切除術、前立腺切除術、膵臓切除術であるが、早期癌に対する内視鏡的粘膜下層剥離術であってもよい。
・本明細書において、「切除対象物」とは、手術において切除されるべき物(例えば、病巣)である。例えば、切除対象物は、悪性腫瘍および腫瘍の周囲のリンパ節であるが、良性腫瘍であってもよい。
・本明細書において、「臓器」とは、体内にある任意の器官である。
<システム構成>
図1は、本発明の一実施形態に係る全体の構成を示す図である。手術支援システム1は、手術支援装置10と、撮像装置20と、表示装置30と、を含む。医師11が患者12の切除対象物を切除する手術の場合を説明する。以下、それぞれについて説明する。
図1は、本発明の一実施形態に係る全体の構成を示す図である。手術支援システム1は、手術支援装置10と、撮像装置20と、表示装置30と、を含む。医師11が患者12の切除対象物を切除する手術の場合を説明する。以下、それぞれについて説明する。
<<手術支援装置>>
手術支援装置10は、医師11が患者12の切除対象物を切除する手術において、撮像装置20が撮影した画像に基づいて、切除対象物の切除の状況を検知して、切除対象物の切除の状況を医師11に対して通知(例えば、表示装置30に表示)する装置である。手術支援装置10は、1つまたは複数のコンピュータからなる。手術支援装置10は、撮像装置20が撮影した画像を撮像装置20から取得することができる。また、手術支援装置10は、切除対象物の切除の状況等の情報を表示装置30に表示することができる。
手術支援装置10は、医師11が患者12の切除対象物を切除する手術において、撮像装置20が撮影した画像に基づいて、切除対象物の切除の状況を検知して、切除対象物の切除の状況を医師11に対して通知(例えば、表示装置30に表示)する装置である。手術支援装置10は、1つまたは複数のコンピュータからなる。手術支援装置10は、撮像装置20が撮影した画像を撮像装置20から取得することができる。また、手術支援装置10は、切除対象物の切除の状況等の情報を表示装置30に表示することができる。
<<撮像装置>>
撮像装置20は、患者12の手術されている部位(以下、手術部位ともいう)を撮影する装置である。以下、撮像装置20が撮影した、手術部位が撮影された画像を手術画像ともいう。
撮像装置20は、患者12の手術されている部位(以下、手術部位ともいう)を撮影する装置である。以下、撮像装置20が撮影した、手術部位が撮影された画像を手術画像ともいう。
<<表示装置>>
表示装置30は、手術支援装置10から取得した情報を表示するモニター、ディスプレイ等である。医師11は、表示装置30に表示される情報を見ることによって、切除対象物の切除の状況(例えば、切除の完了)を知ることができる。
表示装置30は、手術支援装置10から取得した情報を表示するモニター、ディスプレイ等である。医師11は、表示装置30に表示される情報を見ることによって、切除対象物の切除の状況(例えば、切除の完了)を知ることができる。
なお、手術支援装置10と、撮像装置20と、表示装置30と、のうちの少なくとも2つを1つの装置で実装してもよい。
<機能ブロック>
図2は、本発明の一実施形態に係る手術支援装置10の機能ブロック図である。手術支援装置10は、学習データ記憶部101と、学習データ取得部102と、切除状況検知部103と、誤差算出部104と、パラメータ更新部105と、パラメータ記憶部106と、手術画像取得部107と、切除状況検知部108と、切除状況通知部109と、を備える。手術支援装置10は、プログラムを実行することによって、学習データ取得部102、切除状況検知部103、誤差算出部104、パラメータ更新部105、手術画像取得部107、切除状況検知部108、切除状況通知部109、として機能する。以下、それぞれについて説明する。
図2は、本発明の一実施形態に係る手術支援装置10の機能ブロック図である。手術支援装置10は、学習データ記憶部101と、学習データ取得部102と、切除状況検知部103と、誤差算出部104と、パラメータ更新部105と、パラメータ記憶部106と、手術画像取得部107と、切除状況検知部108と、切除状況通知部109と、を備える。手術支援装置10は、プログラムを実行することによって、学習データ取得部102、切除状況検知部103、誤差算出部104、パラメータ更新部105、手術画像取得部107、切除状況検知部108、切除状況通知部109、として機能する。以下、それぞれについて説明する。
学習データ記憶部101には、学習データが記憶されている。学習データは、手術部位が撮影された手術画像と、当該手術画像の切除完了に関連する情報と、である。
学習データ取得部102は、学習データ記憶部101に記憶されている学習データを取得する。
ここで、「切除完了に関連する情報」について説明する。「切除完了に関連する情報」は、「切除対象物が切除されると手術画像に表れる臓器の領域情報(なお、領域情報は、画像内での臓器の領域を示すセグメンテーション情報(セグメンテーションされた臓器を示す情報)と、画像内での臓器の領域を示す枠情報(臓器を囲む矩形等の情報)と、の少なくとも一方である)」と、「手術画像が切除対象物の切除が完了した画像であるか切除対象物の切除が未完了である画像であるかのラベル」と、を含む。以下、図3を参照しながら、臓器の領域情報およびラベルについて詳細に説明する。
図3は、本発明の一実施形態に係る臓器の領域情報およびラベルについて説明するための図である。例えば、切除対象物が切除されると、「気管」、「鎖骨下動脈」、「神経」が手術画像に表れるとする。手術画像1~3は、学習データ(正解データ)の例である。なお、学習データとして、切除対象物の領域情報(画像内での切除対象物の領域を示すセグメンテーション情報(セグメンテーションされた切除対象物を示す情報)と、画像内での切除対象物の領域を示す枠情報(切除対象物を囲む矩形等の情報)と、の少なくとも一方)も用いてもよい。
手術画像1は、切除対象物が切除される前の手術部位が撮影された画像である。手術画像1では、臓器(図3の例では、「気管」、「鎖骨下動脈」、「神経」)は未だ表れていない。手術画像1のラベルは、手術画像が切除対象物の切除が未完了である画像であることを示す。
手術画像2は、切除対象物が切除されている途中の手術部位が撮影された画像である。手術画像2では、切除の途中に表れている臓器の領域情報が付与されている。手術画像2のラベルは、手術画像が切除対象物の切除が未完了である画像であることを示す。
手術画像3は、切除対象物が切除された後の手術部位が撮影された画像である。手術画像3では、切除の完了後に表れている臓器の領域情報が付与されている。手術画像3のラベルは、手術画像が切除対象物の切除が完了した画像であることを示す。なお、切除の完了時に手術画像に表れるべき臓器が認識された時点を切除の完了時とする。
なお、人間が手術画像内の臓器の領域を指定することによって臓器の領域情報を生成してもよいし、人間が臓器の領域を指定した手術画像で機械学習したモデルを用いて推論することによって臓器の領域情報を生成してもよい。
図4は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。胃切除術において、切除対象物(腫瘍とリンパ節)が切除されると、横行結腸間膜、膵臓、右胃大網静脈、右胃大網動脈、幽門下動脈、十二指腸が手術画像に表れる。つまり、「切除完了に関連する情報」は、横行結腸間膜、膵臓、右胃大網静脈、右胃大網動脈、幽門下動脈、十二指腸のうちの少なくとも1つの領域情報を含むことができる。このように、胃切除術において、横行結腸間膜、膵臓、右胃大網静脈、右胃大網動脈、幽門下動脈、十二指腸のうちの少なくとも1つの露出度によって、切除対象物の切除の状況(例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率)を判定することができる。
図5は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。大腸切除術において、切除対象物(腫瘍とリンパ節)が切除されると、腹部大動脈、下腸間膜動脈が手術画像に表れる。つまり、「切除完了に関連する情報」は、腹部大動脈、下腸間膜動脈のうちの少なくとも1つの領域情報を含むことができる。このように、大腸切除術において、腹部大動脈、下腸間膜動脈のうちの少なくとも1つの露出度によって、切除対象物の切除の状況(例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率)を判定することができる。
図6は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。前立腺切除術の膀胱頚部離断において、切除対象物が切除されると、前立腺、膀胱、尿道、精嚢、精管が手術画像に表れる。つまり、「切除完了に関連する情報」は、前立腺、膀胱、尿道、精嚢、精管のうちの少なくとも1つの領域情報を含むことができる。このように、前立腺切除術において、前立腺、膀胱、尿道、精嚢、精管のうちの少なくとも1つの露出度によって、切除対象物の切除の状況(例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率)を判定することができる。
図7は、本発明の一実施形態に係る切除対象物が切除されると手術画像に表れる臓器の一例である。膵臓切除術において、切除対象物(腫瘍とリンパ節)が切除されると、上腸間膜静脈が手術画像に表れる。つまり、「切除完了に関連する情報」は、上腸間膜静脈の領域情報を含むことができる。このように、膵臓切除術において、上腸間膜静脈の露出度によって、切除対象物の切除の状況(例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率)を判定することができる。
図2の説明に戻る。切除状況検知部103は、学習中のモデルを用いて、切除対象物の切除の状況を検知する。
[実施例1]
図8で説明する実施例1では、切除状況検知部103は、学習データ取得部102が取得した手術画像を、学習中のモデル(図8の特徴抽出器111および復元器112)に入力して、臓器の領域情報を出力する。また、切除状況検知部103は、学習データ取得部102が取得した手術画像を、学習中のモデル(図8の特徴抽出器111および分類器113)に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
図8で説明する実施例1では、切除状況検知部103は、学習データ取得部102が取得した手術画像を、学習中のモデル(図8の特徴抽出器111および復元器112)に入力して、臓器の領域情報を出力する。また、切除状況検知部103は、学習データ取得部102が取得した手術画像を、学習中のモデル(図8の特徴抽出器111および分類器113)に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
[実施例2]
図9で説明する実施例2では、切除状況検知部103は、学習データ取得部102が取得した手術画像を、学習中のモデル(図9の特徴抽出器A 211Aおよび復元器212)に入力して、臓器の領域情報を出力する。また、切除状況検知部103は、学習データ取得部102が取得した手術画像と復元器212が復元した臓器の領域情報とを、学習中のモデル(図9の特徴抽出器B 211Bおよび特徴抽出器C 211Cおよび分類器213)に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
図9で説明する実施例2では、切除状況検知部103は、学習データ取得部102が取得した手術画像を、学習中のモデル(図9の特徴抽出器A 211Aおよび復元器212)に入力して、臓器の領域情報を出力する。また、切除状況検知部103は、学習データ取得部102が取得した手術画像と復元器212が復元した臓器の領域情報とを、学習中のモデル(図9の特徴抽出器B 211Bおよび特徴抽出器C 211Cおよび分類器213)に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
誤差算出部104は、切除状況検知部103が手術画像から検知した切除対象物の切除の状況と、学習データ取得部102が取得した当該手術画像の切除完了に関連する情報と、の誤差を算出する。
パラメータ更新部105は、誤差算出部104が算出した誤差が小さくなるように学習中のモデルのパラメータを更新して、更新したパラメータをパラメータ記憶部106に記憶させる。
パラメータ記憶部106には、パラメータ更新部105が更新した、モデルのパラメータが記憶されている。
以下、図8(実施例1)および図9(実施例2)を参照しながら、学習処理について詳細に説明する。
図8は、本発明の一実施形態に係る学習について説明するための図である(実施例1)。特徴抽出器111が学習データである手術画像から特徴量を抽出し、復元器112が当該特徴量から、臓器の領域情報あるいは臓器の領域情報を含む手術画像を復元し、分類器113が当該特徴量から切除対象物の切除が完了したか未完了であるかを判定する。つまり、実施例1では、推論時に、分類器113は、特徴抽出器111が学習時に抽出した特徴量を用いて手術画像を分類する。以下、それぞれについて説明する。
特徴抽出器(エンコーダとも呼ばれる)111は、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器111は、手術画像を次元削減して特徴量を抽出する。
復元器(デコーダとも呼ばれる)112は、特徴抽出器111が抽出した手術画像の特徴量に基づいて、臓器の領域情報、あるいは、臓器の領域情報を含む手術画像を復元する(なお、復元される臓器の領域情報は、切除対象物を切除すると表れる臓器の領域情報のみであってもよいし、切除対象物を切除すると表れる臓器の領域情報だけでなくその他の臓器の領域情報も含んでもよい)。復元器112が復元した結果と、学習データ(正解データ)の臓器の領域情報(つまり、切除対象物が切除されると手術画像に表れる臓器の領域情報)と、の誤差が算出され、誤差が小さくなるように学習(つまり、パラメータを更新)される。
分類器113は、特徴抽出器111が抽出した手術画像の特徴量に基づいて、手術画像が切除対象物の切除が完了した画像であるか未完了である画像であるかを判定する。分類器113が判定した結果と、学習データ(正解データ)のラベル(つまり、切除が完了したことを示すラベル、または、切除が未完了であることを示すラベル)と、の誤差が算出され、誤差が小さくなるように学習(つまり、パラメータを更新)される。
図9は、本発明の一実施形態に係る学習について説明するための図である(実施例2)。特徴抽出器A 211Aは、学習データである手術画像から特徴量を抽出し、復元器212は、当該特徴量から、臓器の領域情報あるいは臓器の領域情報を含む手術画像を復元する。特徴抽出器B 211Bは、復元器212が復元した臓器の領域情報あるいは臓器の領域情報を含む手術画像から特徴量を抽出する。特徴抽出器C 211Cは、学習データである手術画像から特徴量を抽出する。分類器213は、特徴抽出器B 211Bが抽出した特徴量と特徴抽出器C 211Cが抽出した特徴量とが結合された特徴量から、切除対象物の切除が完了したか未完了であるかを判定する。つまり、実施例2では、推論時に、特徴抽出器A 211Aおよび復元器212は、手術画像から臓器の領域情報を復元し、分類器213は、手術画像の特徴量および復元された臓器の領域情報の特徴量を用いて手術画像を分類する。以下、それぞれについて説明する。
特徴抽出器(エンコーダとも呼ばれる)A 211Aは、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器A 211Aは、手術画像を次元削減して特徴量を抽出する。
復元器(デコーダとも呼ばれる)212は、特徴抽出器A 211Aが抽出した手術画像の特徴量に基づいて、臓器の領域情報、あるいは、臓器の領域情報を含む手術画像を復元する(なお、復元される臓器の領域情報は、切除対象物を切除すると表れる臓器の領域情報のみであってもよいし、切除対象物を切除すると表れる臓器の領域情報だけでなくその他の臓器の領域情報も含んでもよい)。復元器212が復元した結果と、学習データ(正解データ)の臓器の領域情報(つまり、切除対象物が切除されると手術画像に表れる臓器の領域情報)と、の誤差が算出され、誤差が小さくなるように学習(つまり、パラメータを更新)される。
特徴抽出器(エンコーダとも呼ばれる)B 211Bは、復元器212が復元した臓器の領域情報から臓器の領域情報の特徴量を抽出する。具体的には、特徴抽出器B 211Bは、復元器212が復元した臓器の領域情報を次元削減して特徴量を抽出する。
特徴抽出器(エンコーダとも呼ばれる)C 211Cは、手術画像から手術画像の特徴量を抽出する。具体的には、特徴抽出器C 211Cは、手術画像を次元削減して特徴量を抽出する。
分類器213は、特徴抽出器B 211Bが抽出した特徴量と特徴抽出器C 211Cが抽出した特徴量とを結合した特徴量に基づいて、手術画像が切除対象物の切除が完了した画像であるか未完了である画像であるかを判定する。分類器213が判定した結果と、学習データ(正解データ)のラベル(つまり、切除が完了したことを示すラベル、または、切除が未完了であることを示すラベル)と、の誤差が算出され、誤差が小さくなるように学習(つまり、パラメータを更新)される。
このように学習することによって、手術支援装置10は、切除の進捗に応じた切除対象物と周囲の臓器の認識の度合いや位置関係を、切除の状況の検知に反映させることができる。例えば、右反回神経の周囲のリンパ節の切除において、気管右壁および後壁、鎖骨下動脈、反回神経のセグメンテーションの結果に基づいて、リンパ節の切除の状況を判定することができる。つまり、本願発明では、解剖学的構造のセグメンテーションや枠情報の結果(つまり、各臓器の領域情報)をアテンションとして用いて切除対象物の切除の状況を検知するので、各臓器の情報が、どの部位を切除してどの部位を切除せずに残すべきかといった判断に寄与することができる。
なお、臓器の領域情報を用いずに機械学習した場合には、モデルの推論の精度は66.6パーセントであり、臓器の領域情報を用いて機械学習した場合には、モデルの推論の精度は81.3パーセントであった。このように、臓器の領域情報を用いることによって、モデルの推論の精度を向上させることができる。
図2の説明に戻る。手術画像取得部107は、手術中に撮像装置20が撮影している手術画像(例えば、動画)を取得する。
切除状況検知部108は、手術画像取得部107が取得した手術画像に基づいて、切除対象物の切除の状況を検知する。具体的には、切除状況検知部108は、手術画像取得部107が取得した手術画像をモデル(具体的には、パラメータ記憶部106に記憶されたパラメータを用いたモデル)に入力して、切除対象物の切除の状況(例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率)を出力する。なお、分類モデルを用いて、切除対象物の切除が完了した確率(つまり、切除済みの比率)、または、切除対象物の切除が未完了である確率(つまり、未切除の比率)を出力してもよいし、回帰モデルを用いて、切除済みの比率または未切除の比率を出力してもよい。
切除状況通知部109は、切除状況検知部108が検知した切除対象物の切除の状況をリアルタイムで通知(例えば、表示装置30に表示)する。例えば、切除状況通知部109は、切除対象物の切除が完了したことを通知する(つまり、切除の完了または未完了の2値で示す)、または、切除対象物のうち切除済みの比率または未切除の比率を通知する(つまり、切除の状況を百分率で示す)。例えば、切除状況通知部109は、手術画像取得部107が取得した手術画像上に、切除対象物の切除の状況を表示する。例えば、切除状況通知部109は、「切除完了」等を表示する。
<処理方法>
以下、図10を参照しながら、学習処理の方法について説明し、図11を参照しながら、切除状況通知処理の方法について説明する。
以下、図10を参照しながら、学習処理の方法について説明し、図11を参照しながら、切除状況通知処理の方法について説明する。
図10は、本発明の一実施形態に係る学習処理のフローチャートである。
ステップ101(S101)において、手術支援装置10は、学習データである手術画像を取得する。
ステップ102(S102)において、手術支援装置10は、学習中のモデルを用いて、切除対象物の切除の状況を検知する。
図8で説明した実施例1では、手術支援装置10は、S101で取得した手術画像を、学習中のモデル(図8の特徴抽出器111および復元器112)に入力して、臓器の領域情報を出力する。また、手術支援装置10は、S101で取得した手術画像を、学習中のモデル(図8の特徴抽出器111および分類器113)に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
図9で説明した実施例2では、手術支援装置10は、S101で取得した手術画像を、学習中のモデル(図9の特徴抽出器A 211Aおよび復元器212)に入力して、臓器の領域情報を出力する。また、手術支援装置10は、S101で取得した手術画像と復元器212が復元した臓器の領域情報とを、学習中のモデル(図9の特徴抽出器B 211Bおよび特徴抽出器C 211Cおよび分類器213)に入力して、切除対象物の切除が完了したか未完了であるかを出力する。
ステップ111(S111)において、手術支援装置10は、学習データである手術画像(つまり、S101で取得した手術画像)の切除完了に関連する情報(具体的には、切除対象物が切除されると手術画像に表れる臓器の領域情報、および、手術画像が切除対象物の切除が完了した画像であるか切除対象物の切除が未完了である画像であるかのラベル)を取得する。
ステップ112(S112)において、手術支援装置10は、S111で取得したデータを正解データに変換する。具体的には、手術支援装置10は、S111で取得したデータを、モデルの出力の形式に揃える。
ステップ103(S103)において、手術支援装置10は、S102で検知した切除対象物の切除の状況と、S112の正解データと、の誤差を算出する。
ステップ104(S104)において、手術支援装置10は、S103で算出した誤差が小さくなるように学習中のモデルのパラメータを更新して、更新したパラメータをパラメータ記憶部106に記憶させる。
ステップ105(S105)において、手術支援装置10は、学習を終了するか否かを判断する。学習を終了しない場合には、S101およびS111へ戻って次の学習データを取得し、学習を終了する場合には、本処理を終了する。
図11は、本発明の一実施形態に係る切除状況通知処理のフローチャートである。
ステップ201(S201)において、手術支援装置10は、手術中に撮像装置20が撮影している手術画像(例えば、動画)を取得する。
ステップ202(S202)において、手術支援装置10は、S201で取得した手術画像に基づいて、切除対象物の切除の状況を検知する。具体的には、手術支援装置10は、S201で取得した手術画像を図10で生成したモデルに入力して、切除対象物の切除の状況(例えば、切除対象物の切除が完了したか未完了であるか、または、切除対象物のうち切除済みの比率または未切除の比率)を出力する。
図8で説明した実施例1では、分類器113は、特徴抽出器111が学習時に抽出した特徴量を用いて手術画像を分類する。
図9で説明した実施例2では、特徴抽出器A 211Aおよび復元器212は、手術画像から臓器の領域情報を復元し、分類器213は、手術画像の特徴量および復元された臓器の領域情報の特徴量を用いて手術画像を分類する。
ステップ203(S203)において、手術支援装置10は、S202で検知した切除対象物の切除の状況をリアルタイムで通知(例えば、表示装置30に表示)する。例えば、手術支援装置10は、切除対象物の切除が完了したことを通知する、または、切除対象物のうち切除済みの比率または未切除の比率を通知する。例えば、手術支援装置10は、S201で取得した手術画像上に、切除対象物の切除の状況を表示する。
<効果>
本発明の一実施形態では、外科手術中に、原発巣やリンパ節等の癌組織の切除が完了したときにリアルタイムで手技の完了を通知する。そのため、医師は、手術画像に明示される手技の完了の通知により、合併症の増加を回避しつつ十分にリンパ節を切除することが可能となる。
本発明の一実施形態では、外科手術中に、原発巣やリンパ節等の癌組織の切除が完了したときにリアルタイムで手技の完了を通知する。そのため、医師は、手術画像に明示される手技の完了の通知により、合併症の増加を回避しつつ十分にリンパ節を切除することが可能となる。
以下、その他の実施形態を説明する。なお、以下で説明する実施形態の複数を組み合わせて実装してもよい。
[未切除部位の通知]
手術支援装置10は、切除対象物の切除が未完了であるとき、切除対象物のうち未切除である部位を通知することができる。具体的には、手術支援装置10は、手術中に撮像装置20が撮影している手術画像内で切除対象物のうち未切除である部位を特定し、特定された部位を通知する(例えば、手術支援装置10は、復元器112から出力されたセグメンテーション情報に基づいて、ルールベースで、切除対象物のうち未切除である部位を特定することができる。例えば、「神経(切除対象物が切除されると手術画像に表れる臓器の一例)」が手術画像内に表れていない場合(つまり、「神経」のセグメンテーション情報が得られない場合)、「神経」が表れているべき部分が未切除部位であると特定することができる)。例えば、手術支援装置10は、術者が手術の切除のステップから次のステップへ進んだとき、または、切除のステップのときに通知する。例えば、手術支援装置10は、「気管周囲の剥離が不十分です」等を表示装置30に表示する。
手術支援装置10は、切除対象物の切除が未完了であるとき、切除対象物のうち未切除である部位を通知することができる。具体的には、手術支援装置10は、手術中に撮像装置20が撮影している手術画像内で切除対象物のうち未切除である部位を特定し、特定された部位を通知する(例えば、手術支援装置10は、復元器112から出力されたセグメンテーション情報に基づいて、ルールベースで、切除対象物のうち未切除である部位を特定することができる。例えば、「神経(切除対象物が切除されると手術画像に表れる臓器の一例)」が手術画像内に表れていない場合(つまり、「神経」のセグメンテーション情報が得られない場合)、「神経」が表れているべき部分が未切除部位であると特定することができる)。例えば、手術支援装置10は、術者が手術の切除のステップから次のステップへ進んだとき、または、切除のステップのときに通知する。例えば、手術支援装置10は、「気管周囲の剥離が不十分です」等を表示装置30に表示する。
このように、どの部位の切除が未完了であるのかを通知することにより、術者は次に行うべき手技を知ることができる。
[切除未完了の通知]
手術支援装置10は、切除対象物の切除が未完了であるとき、術者が手術の切除のステップから次のステップへ進むと、切除のステップへ戻るよう通知することができる。以下、図12を参照しながら、切除未完了通知処理について説明する。なお、手術中の各ステップ(例えば、切除のステップ等)が管理されているものとする。
手術支援装置10は、切除対象物の切除が未完了であるとき、術者が手術の切除のステップから次のステップへ進むと、切除のステップへ戻るよう通知することができる。以下、図12を参照しながら、切除未完了通知処理について説明する。なお、手術中の各ステップ(例えば、切除のステップ等)が管理されているものとする。
図12は、本発明の一実施形態に係る切除未完了通知処理のフローチャートである。
ステップ301(S301)において、手術支援装置10は、手術中に撮像装置20が撮影している手術画像を取得する。
ステップ302(S302)において、手術支援装置10は、S301で取得した手術画像に基づいて、切除対象物の切除の状況を検知する。
ステップ303(S303)において、手術支援装置10は、現在のステップが手術における各ステップのいずれのステップであるかの情報を取得する。
ステップ304(S304)において、手術支援装置10は、切除対象物の切除が未完了であり、かつ、現在のステップが切除のステップではないかを判断する。切除対象物の切除が未完了であり、かつ、現在のステップが切除のステップではない場合には、ステップ305へ進み、その他の場合には、処理を終了する。
ステップ305(S305)において、手術支援装置10は、切除のステップへ戻るよう通知する。例えば、手術支援装置10は、「前の切除手技に戻ってください」等を表示装置30に表示する。
このように、切除のステップへ戻るよう通知することによって、十分な切除が終了する前に手技が終了することを防ぐことができる。
[切除時間の管理]
手術支援装置10は、手術の切除のステップが開始後に一定時間以上経過したとき、切除対象物の切除が未完了であると、手術の切除のステップが一定時間以上経過したことを通知することができる。例えば、一定時間は、過去のデータの平均時間であってもよいし、過去のデータの平均時間+2SD(標準偏差)を超えた時間であってもよい。例えば、手術支援装置10は、「切除開始してから一定時間経過しています」等を表示装置30に表示する。
手術支援装置10は、手術の切除のステップが開始後に一定時間以上経過したとき、切除対象物の切除が未完了であると、手術の切除のステップが一定時間以上経過したことを通知することができる。例えば、一定時間は、過去のデータの平均時間であってもよいし、過去のデータの平均時間+2SD(標準偏差)を超えた時間であってもよい。例えば、手術支援装置10は、「切除開始してから一定時間経過しています」等を表示装置30に表示する。
このように、切除のステップの時間を管理することによって、十分な切除が終了する前に手技が終了することを防ぐことに加えて、合併症を予測すること、上級医に術者を変更するタイミングを知ることができる。
[手技の評価]
手術支援装置10は、手術画像をモデルに入力することによって出力した切除完了に関連する情報に基づいて、外科医や内視鏡医等の術者の手技を評価することができる。以下、図13および図14を参照しながら、手技の評価について説明する。
手術支援装置10は、手術画像をモデルに入力することによって出力した切除完了に関連する情報に基づいて、外科医や内視鏡医等の術者の手技を評価することができる。以下、図13および図14を参照しながら、手技の評価について説明する。
図13は、本発明の一実施形態に係る評価処理のフローチャートである。
ステップ401(S401)において、手術支援装置10は、手術画像をモデルに入力することによって出力した切除完了に関連する情報を取得する。
ステップ402(S402)において、手術支援装置10は、手術に関する情報を取得する。手術に関する情報は、全体の手術時間、各フェーズにおける手術時間、器具や術者の動きを認識したデータ等であってもよい。
ステップ403(S403)において、手術支援装置10は、S401およびS402で取得した情報に基づいて、術者の手技を評価する。例えば、手術支援装置10は、機械学習を用いて、術者の手技を評価してもよい。
図14は、本発明の一実施形態に係る評価のもととなる情報および評価結果の一例である。例えば、評価のもととなる情報は、手術の各フェーズ(例えば、反回神経周囲リンパ節切除)の時間、切除状況の種別(例えば、切除完了)等である。例えば、評価結果は、スコアであってもよい。
このように、手技を評価することによって、術後に手術の手技のフィードバックを行なったり、手術教育に用いたりすることが可能となる。
<ハードウェア構成>
図15は、本発明の一実施形態に係る手術支援装置10のハードウェア構成図である。手術支援装置10は、制御部1001と、主記憶部1002と、補助記憶部1003と、入力部1004と、出力部1005と、インタフェース部1006と、を備えることができる。以下、それぞれについて説明する。
図15は、本発明の一実施形態に係る手術支援装置10のハードウェア構成図である。手術支援装置10は、制御部1001と、主記憶部1002と、補助記憶部1003と、入力部1004と、出力部1005と、インタフェース部1006と、を備えることができる。以下、それぞれについて説明する。
制御部1001は、補助記憶部1003にインストールされている各種プログラムを実行するプロセッサ(例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等)である。
主記憶部1002は、不揮発性メモリ(ROM(Read Only Memory))および揮発性メモリ(RAM(Random Access Memory))を含む。ROMは、補助記憶部1003にインストールされている各種プログラムを制御部1001が実行するために必要な各種プログラム、データ等を格納する。RAMは、補助記憶部1003にインストールされている各種プログラムが制御部1001によって実行される際に展開される作業領域を提供する。
補助記憶部1003は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
入力部1004は、手術支援装置10の操作者が手術支援装置10に対して各種指示を入力する入力デバイスである。
出力部1005は、手術支援装置10の内部状態等を出力する出力デバイスである。
インタフェース部1006は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本国際出願は2022年9月9日に出願された日本国特許出願2022-143971号に基づく優先権を主張するものであり、2022-143971号の全内容をここに本国際出願に援用する。
1 手術支援システム
10 手術支援装置
20 撮像装置
30 表示装置
11 医師
12 患者
101 学習データ記憶部
102 学習データ取得部
103 切除状況検知部
104 誤差算出部
105 パラメータ更新部
106 パラメータ記憶部
107 手術画像取得部
108 切除状況検知部
109 切除状況通知部
111 特徴抽出器
112 復元器
113 分類器
211A 特徴抽出器A
211B 特徴抽出器B
211C 特徴抽出器C
212 復元器
213 分類器
1001 制御部
1002 主記憶部
1003 補助記憶部
1004 入力部
1005 出力部
1006 インタフェース部
10 手術支援装置
20 撮像装置
30 表示装置
11 医師
12 患者
101 学習データ記憶部
102 学習データ取得部
103 切除状況検知部
104 誤差算出部
105 パラメータ更新部
106 パラメータ記憶部
107 手術画像取得部
108 切除状況検知部
109 切除状況通知部
111 特徴抽出器
112 復元器
113 分類器
211A 特徴抽出器A
211B 特徴抽出器B
211C 特徴抽出器C
212 復元器
213 分類器
1001 制御部
1002 主記憶部
1003 補助記憶部
1004 入力部
1005 出力部
1006 インタフェース部
Claims (9)
- コンピュータに、
切除対象物を切除する手術において手術部位が撮影された手術画像を取得することと、
入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知することと、
前記切除対象物の切除の状況を通知することと、を実行させ、
前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む、プログラム。 - 前記切除対象物の切除の状況を通知することは、
前記切除対象物の切除が完了したことを通知すること、または、前記切除対象物のうち切除済みの比率または未切除の比率を通知すること、である、請求項1に記載のプログラム。 - 前記コンピュータに、
前記取得した手術画像上に、前記切除対象物の切除の状況を表示すること、を実行させる、請求項1または2に記載のプログラム。 - 前記コンピュータに、
前記切除対象物の切除が未完了であるとき、前記切除対象物のうち未切除である部位を通知すること、を実行させる、請求項1または2に記載のプログラム。 - 前記コンピュータに、
前記切除対象物の切除が未完了であるとき、術者が前記手術の切除のステップから次のステップへ進むと、前記切除のステップへ戻るよう通知すること、を実行させる、請求項1または2に記載のプログラム。 - 前記コンピュータに、
前記手術の切除のステップが開始後に一定時間以上経過したとき、前記切除対象物の切除が未完了であると、前記手術の切除のステップが一定時間以上経過したことを通知すること、を実行させる、請求項1または2に記載のプログラム。 - 前記コンピュータに、
前記取得した手術画像を前記モデルに入力することによって出力した前記切除完了に関連する情報に基づいて、術者の前記手術の手技を評価すること、を実行させる、請求項1または2に記載のプログラム。 - 切除対象物を切除する手術において手術部位が撮影された手術画像を取得する手術画像取得部と、
入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知する切除状況検知部と、
前記切除対象物の切除の状況を通知する切除状況通知部と、を備え、
前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む、手術支援装置。 - 手術支援装置が実行する方法であって、
切除対象物を切除する手術において手術部位が撮影された手術画像を取得するステップと、
入力が手術画像であり出力が切除完了に関連する情報である学習データを機械学習することにより生成されたモデルを用いて、前記取得した手術画像から前記切除対象物の切除の状況を検知するステップと、
前記切除対象物の切除の状況を通知するステップと、を含み、
前記切除完了に関連する情報は、前記切除対象物が切除されると前記手術画像に表れる臓器の領域情報を含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-143971 | 2022-09-09 | ||
JP2022143971 | 2022-09-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024053697A1 true WO2024053697A1 (ja) | 2024-03-14 |
Family
ID=90191273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/032610 WO2024053697A1 (ja) | 2022-09-09 | 2023-09-07 | 手術支援プログラム、手術支援装置、および手術支援方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024053697A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021108966A (ja) * | 2020-01-10 | 2021-08-02 | 公立大学法人公立はこだて未来大学 | 手術工程同定システム、手術工程同定方法および手術工程同定プログラム |
JP2022069464A (ja) * | 2020-07-30 | 2022-05-11 | アナウト株式会社 | コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 |
WO2022168905A1 (ja) * | 2021-02-04 | 2022-08-11 | オリンパス株式会社 | 内視鏡システム、手技支援方法および手技支援プログラム |
-
2023
- 2023-09-07 WO PCT/JP2023/032610 patent/WO2024053697A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021108966A (ja) * | 2020-01-10 | 2021-08-02 | 公立大学法人公立はこだて未来大学 | 手術工程同定システム、手術工程同定方法および手術工程同定プログラム |
JP2022069464A (ja) * | 2020-07-30 | 2022-05-11 | アナウト株式会社 | コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 |
WO2022168905A1 (ja) * | 2021-02-04 | 2022-08-11 | オリンパス株式会社 | 内視鏡システム、手技支援方法および手技支援プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7127785B2 (ja) | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 | |
US8385614B2 (en) | Slice image display apparatus, method and recording-medium having stored therein program | |
JP2006320650A (ja) | 画像表示装置 | |
US8811676B2 (en) | Image processing apparatus, image processing method, and computer readable recording device | |
US20230263573A1 (en) | Probes, systems, and methods for computer-assisted landmark or fiducial placement in medical images | |
US20230190136A1 (en) | Systems and methods for computer-assisted shape measurements in video | |
US20230245753A1 (en) | Systems and methods for ai-assisted surgery | |
JP2007151645A (ja) | 医用画像診断支援システム | |
JP2005157902A (ja) | 画像解析方法 | |
EP3298949B1 (en) | Image processing apparatus, image processing method, and surgical system | |
JP4436838B2 (ja) | 局所的曲率分布パターンの分析方法 | |
JP6571687B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7081862B1 (ja) | 手術支援システム、手術支援方法、及び手術支援プログラム | |
JP2008054763A (ja) | 医療画像診断装置 | |
WO2024053697A1 (ja) | 手術支援プログラム、手術支援装置、および手術支援方法 | |
WO2023168306A2 (en) | Arthroscopic surgery assistance apparatus and method | |
US11900615B2 (en) | Tracking device, endoscope system, and tracking method | |
EP4323975A1 (en) | Systems and methods for ai-assisted medical image annotation | |
Kadomatsu et al. | A novel system applying artificial intelligence in the identification of air leak sites | |
Narihiro et al. | Deep Learning-Based Real-time Ureter Identification in Laparoscopic Colorectal Surgery | |
JP2009039446A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
KR102607593B1 (ko) | 딥러닝 기반 무릎 자기 공명 이미지의 반월상 연골을 분할하는 방법, 이를 위한 프로그램 및 장치 | |
JP2004016721A (ja) | 画像診断支援装置 | |
WO2022190740A1 (ja) | 内視鏡システム及びその作動方法 | |
WO2024004013A1 (ja) | プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23863235 Country of ref document: EP Kind code of ref document: A1 |