KR20210133198A - Method and server for providing analysis of surgical procedures based on user interface - Google Patents
Method and server for providing analysis of surgical procedures based on user interface Download PDFInfo
- Publication number
- KR20210133198A KR20210133198A KR1020210145359A KR20210145359A KR20210133198A KR 20210133198 A KR20210133198 A KR 20210133198A KR 1020210145359 A KR1020210145359 A KR 1020210145359A KR 20210145359 A KR20210145359 A KR 20210145359A KR 20210133198 A KR20210133198 A KR 20210133198A
- Authority
- KR
- South Korea
- Prior art keywords
- surgical
- bleeding
- user interface
- image
- recognized
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 51
- 238000004458 analytical method Methods 0.000 title claims abstract description 34
- 230000000740 bleeding effect Effects 0.000 claims abstract description 135
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000002059 diagnostic imaging Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 11
- 238000002432 robotic surgery Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 210000002747 omentum Anatomy 0.000 description 5
- 230000002980 postoperative effect Effects 0.000 description 5
- 208000005718 Stomach Neoplasms Diseases 0.000 description 4
- 206010017758 gastric cancer Diseases 0.000 description 4
- 201000011549 stomach cancer Diseases 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Quality & Reliability (AREA)
Abstract
Description
본 발명은 수술 후 수술과정 분석 방법 및 시스템에 관한 것이다. 보다 상세하게는 본 건은 수술 후 영상의 개별단계(Phase)를 학습모델을 통해 인식하고, 인식된 단계별 수술영상의 스위칭 결과, 소요시간 및 출혈 발생횟수를 카운팅하여 사용자에게 제공하는 것을 제공하는 시스템 및 방법에 관한 것이다.The present invention relates to a method and system for analyzing a post-operative procedure. More specifically, this case is a system that recognizes individual phases of post-operative images through a learning model, counts the switching results of the recognized staged surgical images, and counts the time required and the number of occurrences of bleeding and provides them to the user and methods.
일반적으로 의사들이 수술 전후로 환자의 수술 계획을 수립할 때, 환자의 CT(Computed Tomographic) 또는 MRI(Magnetic Resonance Imaging) 사진 등의 2차원 의료 영상을 참고한다. 이 경우, 대부분 환자의 장기 내부에 존재하는 병변의 위치나 병변의 위치에 따른 혈관과의 관계 등을 2차원 의료 영상에 매칭하기 어려우며, 수술 전에 장기 촬영 정보로 활용할 수단이 없으므로, 수술시 장기 내부 병변의 위치와 주위 혈관 분포 등을 파악하는데 많은 한계가 있다.In general, when doctors plan a patient's surgery before and after surgery, they refer to a two-dimensional medical image such as a computed tomographic (CT) or magnetic resonance imaging (MRI) image of the patient. In this case, it is difficult to match the location of the lesion existing inside the patient's organs or the relationship with the blood vessels according to the location of the lesion with the two-dimensional medical image, and there is no means to utilize the organ imaging information before surgery. There are many limitations in determining the location of the lesion and the distribution of surrounding blood vessels.
또한, 수술 프로세스를 최적화하기 위한 시나리오 구상을 위해서는 사전에 촬영된 의료영상을 참고하거나 매우 숙련된 의사의 자문을 받아야 했는데, 의료영상만으로는 불필요한 프로세스의 판단이 어려웠으며 숙련된 의사의 자문은 특정 환자에 맞는 자문을 받기에 어려운 문제점이 있었다. 즉, 단순히 촬영된 의료영상만으로는 수술프로세스의 최적화 및 평가를 위한 용도로는 활용되기 어려운 점이 많았다.In addition, in order to design a scenario for optimizing the surgical process, it was necessary to refer to the medical images taken in advance or to obtain advice from a very experienced doctor. It was difficult to get the right advice. That is, there were many difficulties in using the simply captured medical images for the purpose of optimizing and evaluating the surgical process.
따라서, 3차원 의료영상(예를 들어, 3차원 수술도구 움직임 및 도구의 움직임으로 인해 발생하는 장기 내부의 변화에 대한 가상영상)을 이용하여 수술을 행하는데 있어서 불필요한 프로세스를 최소화하여 수술 프로세스를 최적화하고, 이에 기반한 수술보조 정보를 제공할 수 있는 방법에 대한 개발이 요구된다.Therefore, it optimizes the surgical process by minimizing unnecessary processes in performing surgery using a 3D medical image (eg, a 3D surgical tool movement and a virtual image of a change in an organ that occurs due to the movement of the tool) and development of a method capable of providing surgical assistance information based on this is required.
또한, 최근에는 의료영상의 분석에 딥러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.In addition, recently, deep learning has been widely used in the analysis of medical images. Deep learning is defined as a set of machine learning algorithms that attempt high-level abstractions (summarizing key contents or functions in large amounts of data or complex data) through a combination of several nonlinear transformation methods. Deep learning can be viewed as a field of machine learning that teaches computers to think in a broad framework.
본 발명이 해결하고자 하는 과제는 수술결과 영상에서 수술단계(phase) 학습모델을 이용하여 개별 수술단계를 인식하고, 인식된 수술 단계별로 스위칭 횟수, 소요시간 및 출혈 이벤트를 발생여부를 표시한 UI를 사용자에게 제공하는 것이다.The problem to be solved by the present invention is to recognize individual surgical stages using a surgical phase learning model in the surgical result image, and display a UI that displays the number of switching times, required time, and occurrence of bleeding events for each recognized surgical stage. to provide to users.
또한, 수술결과 영상에서 인식된 각각의 수술 단계에서 출혈이 발생하였는지 여부를 판단하고, 출혈 발생 영역 및 출혈량을 측정하여 수술오류가 있었는지 판단하는 방법을 개시한다.In addition, a method of determining whether or not bleeding has occurred in each surgical step recognized in the surgical result image, and measuring a bleeding region and amount of bleeding to determine whether there is a surgical error is disclosed.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 수술 후 수술과정 분석 방법은, 촬영된 전체 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하고 각각의 수술단계에 해당하는 시간영역을 분리하는 단계; 상기 인식된 수술단계별로 스위칭 횟수 및 소요시간을 산출하는 단계; 상기 인식된 수술단계별로 출혈이벤트의 발생여부를 판단하는 단계; 및 상기 스위칭 횟수, 소요시간 및 출혈이벤트를 기초로 수술단계별로 수술결과를 분석할 수 있는 사용자인터페이스를 제공하는 단계;를 포함할 수 있다.The post-surgical process analysis method according to an embodiment of the present invention for solving the above-described problems recognizes individual surgical steps using a surgical step learning model in the captured overall surgical image and corresponds to each surgical step. separating the time domain; calculating the number of switching times and required time for each recognized surgical step; determining whether a bleeding event has occurred for each recognized operation stage; and providing a user interface capable of analyzing surgical results for each operation stage based on the number of switching times, required time, and bleeding events.
또한, 상기 스위칭 횟수를 산출하는 단계는, 상기 인식된 수술 단계가 이어지지 못하고 단절된 횟수를 카운팅 하는 단계를 포함할 수 있다.In addition, calculating the number of switching may include counting the number of times the recognized surgical step is not followed and disconnected.
또한, 상기 수술단계학습모델은, 수술데이터를 이용하여 상기 대상체의 수술에 필요한 적어도 하나 이상의 단계를 레이블로 정의하고, 정의된 레이블 별로 학습영상을 입력하여 기계학습 된 것이며, 상기 수술단계학습모델을 이용하여 대상체의 수술단계를 인식하는 단계는, CNN(Convolutional neural network)을 이용한 딥러닝 기반의 학습에 기초하여 수술영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 수술단계를 인식할 수 있다.In addition, the surgical stage learning model is machine-learned by defining at least one or more stages necessary for the operation of the object as a label using surgical data, inputting a learning image for each defined label, and using the surgical stage learning model In the step of recognizing the surgical stage of the object using a CNN (Convolutional Neural Network) based on deep learning-based learning, feature information is extracted from the surgical image, and the surgical stage can be recognized based on the extracted feature information. have.
또한, 상기 출혈 이벤트의 발생여부를 판단하는 단계는, 딥러닝 기반의 학습을 기초로 상기 인식된 수술단계의 수술영상 내 출혈 영역이 존재하는지 판단하는 단계; 상기 판단결과를 기초로 출혈영역의 위치를 판단하는 단계; 및 상기 출혈영역의 위치를 기초로 출혈량을 산출하는 단계를 포함할 수 있다.In addition, the step of determining whether the bleeding event occurs may include: determining whether a bleeding area exists in the surgical image of the recognized surgical stage based on deep learning-based learning; determining the location of the bleeding area based on the determination result; and calculating the amount of bleeding based on the location of the bleeding region.
또한, 상기 출혈이벤트의 발생여부를 판단하는 단계는, 산출된 출혈량을 기초로 수술을 중지할 필요가 있는 출혈인지 여부를 판단하고, 수술을 중지할 필요가 없었던 경우는 제1 출혈이벤트로 인식하고, 수술을 중지할 필요가 있었던 경우는 제2 출혈이벤트로 인식하는 단계를 더 포함할 수 있다.In addition, in the step of determining whether the bleeding event occurs, it is determined whether it is bleeding that needs to be stopped based on the calculated amount of bleeding, and if there is no need to stop the operation, it is recognized as the first bleeding event, , when it is necessary to stop the operation may further include the step of recognizing it as a second bleeding event.
또한, 상기 제1 출혈이벤트 또는 제2 출현이벤트 인지 여부는, 출혈이 발생한 시점에서의 상기 스위칭 횟수 및 상기 수술단계의 소요시간을 기초로 판단될 수 있다.In addition, whether it is the first bleeding event or the second appearance event may be determined based on the number of times of switching at the point in time when bleeding occurs and the time required for the operation step.
본 발명의 일 실시예에 따른 컴퓨터 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 수술과정 분석 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장될 수 있다.The computer program according to an embodiment of the present invention may be stored in a computer-readable recording medium in combination with a computer, which is hardware, to perform the surgical procedure analysis method.
본 발명의 일 실시예에 따른 수술과정 분석 시스템은, 수술영상을 촬영하기 위한 의료영상 촬영장비; 수술 과정 분석 결과를 사용자에게 제공하기 위한 디스플레이부; 및 하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하는 제어부를 포함하고, 상기 제어부에서 수행되는 연산은, 촬영된 전체 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하고 각각의 수술단계에 해당하는 시간영역을 분리하는 연산; 상기 인식된 수술단계별로 스위칭 횟수 및 소요시간을 산출하는 연산; 상기 인식된 수술단계별로 출혈이벤트의 발생여부를 판단하는 연산; 및 상기 스위칭 횟수, 소요시간 및 출혈이벤트를 기초로 수술단계별로 수술결과를 분석할 수 있는 사용자인터페이스를 제공하는 연산;을 포함할 수 있다.Surgical process analysis system according to an embodiment of the present invention, a medical imaging equipment for taking a surgical image; a display unit for providing a surgical procedure analysis result to a user; and one or more processors; And when executed by the one or more processors, the one or more processors comprising a controller including one or more memories stored in the instructions to perform an operation, the operation performed in the controller is, an operation for recognizing individual surgical steps using a step learning model and separating time domains corresponding to each surgical step; Calculation of the number of switching times and required time for each recognized surgical step; a calculation for determining whether a bleeding event has occurred for each recognized surgical stage; and an operation that provides a user interface capable of analyzing the surgical result for each surgical stage based on the number of switching times, the required time, and the bleeding event.
또한, 상기 스위칭 횟수를 산출하는 연산은, 상기 인식된 수술 단계가 이어지지 못하고 단절된 횟수를 카운팅 하는 연산을 포함할 수 있다.In addition, the operation of calculating the number of switching may include an operation of counting the number of times the recognized surgical step is not continued and disconnected.
또한, 상기 출혈 이벤트의 발생여부를 판단하는 연산은, 산출된 출혈량을 기초로 수술을 중지할 필요가 있는 출혈인지 여부를 판단하고, 수술을 중지할 필요가 없었던 경우는 제1 출혈이벤트로 인식하고, 수술을 중지할 필요가 있었던 경우는 제2 출혈이벤트로 인식하는 연산을 포함할 수 있다.In addition, the calculation for determining whether the bleeding event occurs is determined based on the calculated amount of bleeding to determine whether the operation needs to be stopped, and if there is no need to stop the operation, it is recognized as the first bleeding event, , when it is necessary to stop the operation may include an operation for recognizing it as a second bleeding event.
상기 본 발명의 일 실시 예에 따르면, 수술결과 영상에서 각 수술단계에 대응하는 분석결과를 사용자에게 제공함으로써 수술 오류를 판단하는데 도움을 주고, 사용자가 피드백을 통해 수술 프로세스를 최적화할 수 있도록 할 수 있다.According to an embodiment of the present invention, by providing the user with the analysis result corresponding to each surgical step in the surgical result image, it is possible to help determine the surgical error, and to optimize the surgical process through the feedback by the user. have.
특히, 각 수술 단계별로 특화된 스위칭 횟수, 소요시간 및 출혈 이벤트를 발생여부를 표시한 UI를 사용자 선택적으로 제공하여, 사용자의 수술 숙련도를 높임과 동시에 수술에서 원치 않는 출혈을 발생시키거나 장기를 손상시킬 가능성을 낮출 수 있도록 효율적으로 평가 결과를 제공할 수 있다.In particular, the user can selectively provide a UI that indicates the number of switching times, the required time, and whether a bleeding event has occurred for each surgical stage, thereby increasing the user's surgical skill and preventing unwanted bleeding or damage to organs. The evaluation results can be provided efficiently to reduce the likelihood.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 일 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2은 일 실시예에 따른 수술과정 분석방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 수술단계학습모델을 설명하기 위한 순서도이다.
도 4는 일 실시예에 따른 분할된 수술단계의 일 예를 도시한다.
도 5는 일 실시예에 따른 수술단계별 스위칭 횟수 및 소요시간을 나타내는 일 예를 도시한다
도 6은 일 실시예에 따른 수술단계별 출혈 평가 방법을 설명하기 위한 순서도이다.
도 7 은 일 실시예에 따른 수술단계별 출혈이벤트를 표시하는 일 예를 도시한다.
도 8은 일 실시예에 따른 수술과정 분석 결과를 도시하는 일 예이다.1 is a view showing a robotic surgery system according to an embodiment.
2 is a flowchart for explaining a surgical procedure analysis method according to an embodiment.
3 is a flowchart for explaining a surgical step learning model according to an embodiment.
4 shows an example of a divided surgical stage according to an embodiment.
5 shows an example showing the number of switching times and required time for each operation stage according to an embodiment
6 is a flowchart for explaining a bleeding evaluation method for each surgical step according to an embodiment.
7 illustrates an example of displaying a bleeding event for each operation stage according to an embodiment.
8 is an example illustrating a surgical procedure analysis result according to an embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다. In this specification, "image" may mean multi-dimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image). For example, the image may include a medical image of the object obtained by the CT imaging apparatus.
본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다. As used herein, an “object” may be a human or an animal, or a part or all of a human or animal. For example, the object may include at least one of organs such as liver, heart, uterus, brain, breast, abdomen, and blood vessels.
본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.As used herein, a “user” may be a medical professional, such as a doctor, a nurse, a clinical pathologist, or a medical imaging specialist, and may be a technician repairing a medical device, but is not limited thereto.
본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography;CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.As used herein, "medical image data" is a medical image captured by a medical imaging device, and includes all medical images that can be implemented as a three-dimensional model of the body of an object. "Medical image data" may include a computed tomography (CT) image, a magnetic resonance imaging (MRI), a positron emission tomography (PET) image, and the like.
본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.As used herein, the term "virtual body model" refers to a model generated to match the actual patient's body based on medical image data. The "virtual body model" may be generated by modeling medical image data in 3D as it is, or may be corrected after modeling to be the same as during actual surgery.
본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다. 또한, "가상수술데이터"는 수술학습모델을 학습시키기 위한 학습데이터를 포함할 수도 있다.As used herein, “virtual surgical data” refers to data including rehearsal or simulation actions performed on a virtual body model. “Virtual surgical data” may be image data on which rehearsal or simulation is performed on a virtual body model in a virtual space, or data recorded on a surgical operation performed on the virtual body model. In addition, "virtual surgery data" may include learning data for learning the surgical learning model.
본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.As used herein, “actual surgical data” refers to data obtained by actual medical staff performing surgery. "Surgery data" may be image data of a surgical site taken in an actual surgical procedure, or may be data recorded on a surgical operation performed in an actual surgical procedure.
본 명세서에서 수술단계(phase)는 특정한 수술유형의 전체 수술에서 순차적으로 수행되는 기본단계를 의미한다.In the present specification, a surgical phase refers to a basic phase that is sequentially performed in the entire operation of a specific type of operation.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다. As used herein, the term “computer” includes various devices capable of providing a result to a user by performing arithmetic processing. For example, computers include desktop PCs and notebooks (Note Books) as well as smart phones, tablet PCs, cellular phones, PCS phones (Personal Communication Service phones), synchronous/asynchronous A mobile terminal of International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable. Also, when a head mounted display (HMD) device includes a computing function, the HMD device may be a computer. In addition, the computer may correspond to a server that receives a request from a client and performs information processing.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일 실시 예에 따른 로봇수술 시스템을 도시한 도면이다. 1 is a view showing a robotic surgery system according to an embodiment.
도 1을 참조하면, 일 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.Referring to FIG. 1 , a schematic diagram of a system capable of performing robotic surgery according to an embodiment is shown.
도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 일 실시예에 따른 로봇수술 시스템에서 생략될 수 있다.According to FIG. 1 , the robotic surgery system includes a medical
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.In one embodiment, the robotic surgery is performed by the user using the
서버(20)는 적어도 하나의 프로세서, 메모리 및 통신부를 포함하는 컴퓨팅 장치이다. The
제어부(30)는 적어도 하나의 프로세서, 메모리 및 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.The
영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수 있다.The
일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다. In an embodiment, the image captured by the
제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.The
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.For example, the user performs robotic surgery by controlling the movement of the
서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다. The
제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20) 로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다. The
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다. In one embodiment, the means that can be used in the
이하에서는, 설명의 편의를 위하여 각 단계들이 "컴퓨터"에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.Hereinafter, each step is described as being performed by a “computer” for convenience of explanation, but the subject performing each step is not limited to a specific device, and all or part of it is performed by the
일 실시 예에서, 의료영상 촬영장비(10)에서 촬영된 수술 영상은 다양한 기준으로 분할될 수 있다. 일 예로, 수술 영상은 영상에 포함된 객체의 종류를 기초로 하여 분할될 수 있다. 객체의 종류를 기초로 하는 분할방법은 컴퓨터가 각 객체를 인식하는 단계를 필요로 한다.In an embodiment, the surgical image captured by the
수술 영상에서 인식되는 객체는 크게 인체, 외부에서 유입된 객체 및 자체적으로 생성된 객체를 포함한다. 인체는 수술에 선행되는 의료영상 촬영(예를 들어, CT)에 의하여 촬영되는 신체부위와 촬영되지 않는 신체부위를 포함한다.Objects recognized in the surgical image largely include a human body, an object introduced from the outside, and an object created by itself. The human body includes body parts that are imaged by medical imaging (eg, CT) prior to surgery and body parts that are not imaged.
예를 들어, 의료영상 촬영에 의하여 촬영되는 신체부위는 장기, 혈관, 뼈, 힘줄 등을 포함하며, 이러한 신체부위는 의료영상에 기초하여 생성되는 3D 모델링 영상에 기초하여 인식될 수 있다.For example, body parts photographed by medical imaging include organs, blood vessels, bones, tendons, and the like, and these body parts may be recognized based on a 3D modeling image generated based on the medical image.
구체적으로, 각 신체부위의 위치와 크기, 모양 등이 의료영상에 기초한 3D 분석방법에 의하여 사전에 인지된다. 컴퓨터는 실시간으로 수술영상에 대응하는 신체부위의 위치를 파악할 수 있는 알고리즘을 정의하고, 이에 기초하여 별도의 이미지 인식을 수행하지 않아도 수술영상에 포함되는 각 신체부위의 위치, 크기 및 모양 등에 대한 정보를 획득할 수 있다. 또한, 의료영상 촬영에 의하여 촬영되지 않는 신체부위는 오멘텀(omentum) 등을 포함하며, 이는 의료영상에 의하여 촬영되지 않으므로 수술 중에 실시간으로 인식하는 것이 필요하다. 예를 들어, 컴퓨터는 이미지 인식방법을 통하여 오멘텀의 위치 및 크기를 판단하고, 오멘텀 내부에 혈관이 있는 경우 혈관의 위치 또한 예측할 수 있다.Specifically, the position, size, shape, etc. of each body part are recognized in advance by a 3D analysis method based on a medical image. The computer defines an algorithm that can determine the position of the body part corresponding to the surgical image in real time, and based on this, information on the position, size, shape, etc. of each body part included in the surgical image without performing separate image recognition can be obtained. In addition, body parts that are not photographed by medical imaging include omentum, etc., which are not photographed by medical imaging, so it is necessary to recognize them in real time during surgery. For example, the computer may determine the position and size of the omentum through the image recognition method, and if there is a blood vessel inside the omentum, the location of the blood vessel may also be predicted.
외부에서 유입된 객체는, 예를 들어 수술도구, 거즈, 클립 등을 포함한다. 이는 기 설정된 형태적 특징을 가지므로, 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.The objects introduced from the outside include, for example, surgical tools, gauze, clips, and the like. Since it has preset morphological characteristics, the computer can recognize it in real time through image analysis during surgery.
내부에서 생성되는 객체는, 예를 들어 신체부위에서 발생하는 출혈 등을 포함한다. 이는 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.The object generated inside includes, for example, bleeding occurring in a body part. This can be recognized in real time by the computer through image analysis during surgery.
신체부위에 포함된 장기나 오멘텀의 움직임, 그리고 객체가 내부에서 생성되는 원인은 모두 외부에서 유입된 객체의 움직임에 기인한다.The movement of organs or omentum included in the body part, and the cause of the internal creation of an object, are all caused by the movement of an object introduced from the outside.
따라서, 수술 영상은 각 객체를 인식하는 것에 더하여, 각 객체의 움직임에 기초하여 여러 수술 단계(phase)로 분할될 수 있다. 일 실시 예에서, 수술 영상은 외부에서 유입된 객체의 움직임, 즉 액션에 기초하여 분할될 수 있다. Therefore, in addition to recognizing each object, the surgical image may be divided into several surgical phases based on the movement of each object. In an embodiment, the surgical image may be divided based on a movement of an externally introduced object, that is, an action.
컴퓨터는 수술영상에서 인식된 각 객체의 종류를 판단하고, 각 객체의 종류에 따라 사전에 정의된 특정한 동작, 일련의 동작, 동작에 따라 발생하는 상황이나 결과 등에 기초하여, 각 객체의 움직임, 즉 액션을 인식할 수 있다.The computer determines the type of each object recognized in the surgical image, and the movement of each object, that actions can be recognized.
컴퓨터는 각 액션의 종류를 인식하고, 나아가 각 액션의 원인 또한 인식할 수 있다. 컴퓨터는 인식되는 액션에 기초하여 수술영상을 분할할 수 있고, 단계적 분할을 통해 각각의 세부수술동작부터 전체 수술의 종류까지 인식할 수 있다. 예를 들면, 컴퓨터는 컨볼루션신경망네트워크(Convolutional Neural Network) 방식의 기계학습을 수행하는 수술단계학습모델을 기초로 촬영된 수술영상에서 특징정보를 추출하고, 특징정보를 기초로 수술단계별로 영상을 분할하거나 현재 어떤 수술단계에 위치하는지 인식할 수 있다. The computer can recognize the type of each action and further recognize the cause of each action. The computer can segment the surgical image based on the recognized action, and can recognize from each detailed surgical operation to the type of the entire operation through stepwise segmentation. For example, a computer extracts feature information from a surgical image taken based on a surgical stage learning model that performs machine learning of a convolutional neural network method, and generates images for each surgical stage based on the feature information. It can be divided or recognized at which stage of surgery it is currently located.
나아가, 컴퓨터는 액션에 대한 판단으로부터 수술영상에 대응하는, 기 정의된 수술의 종류를 판단할 수 있다. 수술의 종류를 판단하는 경우, 전체 수술 프로세스에 대한 정보를 획득할 수 있다. 동일한 종류의 수술에 대하여 복수 개의 수술 프로세스가 존재하는 경우, 의사의 선택에 따라서, 또는 특정 시점까지 인식된 액션들에 기초하여 하나의 수술 프로세스를 선택할 수 있다. Furthermore, the computer may determine a predefined type of operation corresponding to the operation image from the determination of the action. When determining the type of surgery, information on the entire surgical process may be acquired. When a plurality of surgical processes exist for the same type of surgery, one surgical process may be selected according to the selection of a doctor or based on actions recognized up to a specific point in time.
컴퓨터는 획득된 수술 프로세스에 기초하여 수술단계를 인식 및 예측할 수 있다. 예를 들어, 일련의 수술 프로세스 중 특정 단계가 인식되는 경우, 이에 후속되는 단계들을 예측하거나 가능한 단계들의 후보를 추려낼 수 있다. 따라서, 오멘텀 등에 의하여 발생하는 수술영상 인식의 오류 율을 크게 낮출 수 있다. 또한, 수술영상이 예측 가능한 수술단계로부터 소정의 오차범위 이상 크게 벗어나는 경우, 수술오류(surgical error)상황이 발생한 것으로 인식할 수도 있다. 예를 들면, 정해진 수술 프로세스를 벗어나는 수술단계 스위칭이 빈번히 일어난다면 수술 오류 상황이 발생한 것으로 인식할 수 있다. The computer may recognize and predict the surgical stage based on the acquired surgical process. For example, when a specific step is recognized in a series of surgical processes, the subsequent steps may be predicted or candidates for possible steps may be selected. Therefore, it is possible to greatly reduce the error rate of surgical image recognition caused by omentum. In addition, when the surgical image greatly deviates from the predictable surgical stage by more than a predetermined error range, it may be recognized that a surgical error situation has occurred. For example, if a surgical stage switching that deviates from a predetermined surgical process frequently occurs, it may be recognized that a surgical error situation has occurred.
또한 컴퓨터는 수술단계에 대한 영상 인식에 기반하여, 각 수술단계에 대응하는 주요혈관들 및 혈액 흐름에 따라 주요혈관에 분기된 혈관들에 대한 네비게이션 정보를 추출하여 사용자에게 제공함으로써 효과적인 수술이 되도록 보조할 수 있다.In addition, based on the image recognition of the surgical stage, the computer extracts navigation information about the main vessels corresponding to each surgical stage and the vessels branched to the main vessels according to the blood flow, thereby assisting the user for effective surgery. can do.
또한, 컴퓨터는 수술단계에 대한 영상 인식에 기반하여, 수술오류로 인한 출혈이 발생하였는지 판단할 수 있다.In addition, the computer may determine whether bleeding has occurred due to a surgical error based on the image recognition of the surgical stage.
구체적으로, 컴퓨터는 각각의 출혈의 위치, 시간, 규모를 판단을 할 수 있다. 또한, 출혈로 인해 수술이 중단되어야 하는지 여부를 판단할 수 있다. 따라서, 일 실시예에 따라 컴퓨터는 오류 상황 및 출혈 상황에 대한 데이터를 수술결과 리포트로 제공하고, 수술과정에서 불필요한 동작이나 실수를 배제하고, 수술 과정을 효율화하는 데 이용될 수 있다.Specifically, the computer can determine the location, time, and magnitude of each bleeding. It can also determine whether surgery should be stopped due to bleeding. Accordingly, according to an embodiment, the computer may be used to provide data on an error situation and bleeding situation as a surgical result report, to exclude unnecessary operations or mistakes in the surgical process, and to streamline the surgical process.
일 실시예에 다라 수술 후 수술과정 분석방법을 제공하기 위해, 컴퓨터에서 수행되는 연산은, 촬영된 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하는 연산; 상기 인식된 수술단계별로 스위칭 횟수 및 소요시간을 산출하는 연산; 상기 인식된 수술단계별로 출혈이벤트의 발생여부를 판단하는 연산; 및 상기 스위칭 횟수, 소요시간 및 출혈이벤트를 기초로 수술단계별로 수술결과를 분석할 수 있는 사용자인터페이스를 제공하는 연산을 포함할 수 있다.In order to provide a post-operative surgical process analysis method according to an embodiment, the computation performed on the computer may include, in a photographed surgical image, an operation for recognizing an individual surgical stage using a surgical stage learning model; Calculation of the number of switching times and required time for each recognized surgical step; a calculation for determining whether a bleeding event has occurred for each recognized surgical stage; and an operation of providing a user interface capable of analyzing surgical results for each operation stage based on the number of switching times, required time, and bleeding events.
또한, 스위칭 횟수를 산출하는 연산은, 상기 인식된 수술 단계가 이어지지 못하고 단절된 횟수를 카운팅 하는 연산을 포함할 수 있다.In addition, the operation of calculating the number of switching may include an operation of counting the number of times the recognized surgical step is not followed and disconnected.
또한, 출혈 이벤트의 발생여부를 판단하는 연산은, 산출된 출혈량을 기초로 수술을 중지할 필요가 있는 출혈인지 여부를 판단하고, 수술을 중지할 필요가 없었던 경우는 제1 출혈이벤트로 인식하고, 수술을 중지할 필요가 있었던 경우는 제2 출혈이벤트로 인식하는 연산을 포함할 수 있다.In addition, the calculation for determining whether a bleeding event occurs is determined based on the calculated amount of bleeding to determine whether the operation needs to be stopped, and if there is no need to stop the operation, it is recognized as the first bleeding event, When it is necessary to stop the operation, an operation for recognizing it as a second bleeding event may be included.
이하에서는 도면을 참조하여 수술 후 수술과정 분석 방법에 대하여 보다 상세하게 설명한다.Hereinafter, with reference to the drawings, a post-operative procedure analysis method will be described in more detail.
도 2은 일 실시예에 따른 수술 후 수술과정 분석 방법을 설명하기 위한 순서도이다.2 is a flowchart for explaining a post-operative procedure analysis method according to an embodiment.
도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 이하에서는, 설명의 편의를 위하여 각 단계들이 "컴퓨터"에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다. Each of the steps shown in FIG. 2 is performed in time series by the
단계 S200에서, 일 실시예에 따른 컴퓨터는, 촬영된 전체 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하고 각각의 수술단계에 해당하는 시간영역을 분리한다.In step S200, the computer according to an embodiment recognizes individual surgical steps using the surgical step learning model in the captured overall surgical image and separates the time domain corresponding to each surgical step.
예를 들면, 수술데이터를 이용하여 상기 대상체의 수술에 필요한 적어도 하나 이상의 단계를 레이블로 정의하고, 정의된 레이블 별로 학습영상을 입력하여 CNN(Convolutional neural network)을 이용한 딥러닝 기반의 학습을 수행하고, 학습된 수술단계학습모델에서 수술영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 수술단계를 인식할 수 있다.For example, by using surgical data, at least one or more steps necessary for the operation of the object are defined as labels, and learning images are input for each defined label to perform deep learning-based learning using a convolutional neural network (CNN), and , it is possible to extract feature information from the surgical image from the learned surgical stage learning model, and recognize the surgical stage based on the extracted feature information.
예를 들면, 도 3은 일 실시예에 따른 수술단계학습모델을 설명하기 위한 순서도이다.For example, FIG. 3 is a flowchart for explaining a surgical step learning model according to an embodiment.
도 3을 참조하면, 단계 S300에서 컴퓨터는 수술 종류를 선정한다. 수술 종류는 입력된 영상에서 객체 또는 대상체를 인식하여 자동으로 선정될 수도 있으며 사용자가 직접 입력할 수도 있다.Referring to FIG. 3 , in step S300, the computer selects the type of surgery. The type of surgery may be automatically selected by recognizing an object or an object in the input image, or may be directly input by the user.
다음으로 단계 S310에서 컴퓨터는 수술데이터를 이용하여 수술을 단계별 레이블로 정의한다.Next, in step S310, the computer uses the surgical data to define surgery as a label for each step.
각각의 수술 단계(phase)는 카메라의 움직임, 롯봇암 등의 장비 들의 움직임 및 장기들을 영상들의 인식함으로써 자동으로 분할될 수도 있으며, 사용자가 정형화된 수술 프로세스에 맞는 영상을 학습영상으로 분류하여 미리 학습시킬 수도 있다. Each surgical phase can also be divided automatically by recognizing images of camera movements, movements of equipment such as robot arms, and organs, and the user classifies images that fit the standardized surgical process into learning images and learns in advance. may do it
예를 들면, 도 4를 참조하면, 위암을 수술하는 경우, 도 4의 표(400)에 도시된 것과 같이 수술단계를 약 21개로 정의할 수 있다.For example, referring to FIG. 4 , in the case of surgery for gastric cancer, as shown in the table 400 of FIG. 4 , about 21 surgical steps may be defined.
다음으로 단계 S320에서 컴퓨터는 정의된 레이블에 해당하는 학습영상을 선정한다. 학습영상은 컴퓨터가 입력된 수술영상을 자동으로 분할하여 선정할 수도 있으며, 사용자가 미리 실제의 수술데이터를 기반으로 학습영상을 선정하여 입력할 수도 있다. Next, in step S320, the computer selects a learning image corresponding to the defined label. The learning image may be selected by automatically dividing the inputted surgical image by a computer, or the user may select and input the learning image in advance based on actual surgical data.
다음으로 단계 S330에서 컴퓨터는 선정된 학습영상들을 기초로 컨볼루션 신경망 네트워크를 이용한 기계학습을 수행할 수 있다. 예를 들면, 이렇게 정의된 수술단계 각각의 수술 영상의 프레임을 Low-Fast-Net 모델을 이용하여 학습한 경우 정확도 높은 수술단계학습모델을 훈련시킬 수 있다.Next, in step S330, the computer may perform machine learning using a convolutional neural network based on the selected learning images. For example, when the frame of each surgical image defined in this way is learned using the Low-Fast-Net model, a high-accuracy surgical stage learning model can be trained.
이와 같이, 훈련된 수술단계학습모델은 수술 후에 분석될 수술영상에서 수술단계를 보다 정확하게 인식하는데 활용될 수 있다.In this way, the trained surgical stage learning model can be utilized to more accurately recognize the surgical stage in the surgical image to be analyzed after surgery.
예를 들면, 촬영된 전체 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하고 각각의 수술단계에 해당하는 시간영역을 분리하는 방법으로 촬영된 전체 영상에서 각각의 수술단계를 분할 수 있다.For example, in the total surgical image taken, each surgical stage can be divided from the entire captured image by recognizing individual surgical stages using the surgical stage learning model and separating the time domain corresponding to each surgical stage. have.
다시 도2의 단계 S210에서, 일 실시예에 따른 컴퓨터는 인식된 수술단계별로 스위칭 횟수 및 소요시간을 산출한다.In step S210 of FIG. 2 again, the computer according to an embodiment calculates the number of switching times and the required time for each recognized surgical step.
예를 들면, 위암 수술을 하기 위해 21단계의 수술단계가 정의된 경우 각 단계는 수선대로 진행되는 것이 가장 이상적이다. 그런데, 이러한 수술단계가 이어지지 못하고 단절되는 것은 수술 중에 실수나 오류가 발생한 것으로 추측할 수 있다. 따라서, 정해진 수술 프로세스를 벗어나는 수술단계 스위칭이 빈번히 일어나거나 특정 수술 단계가 상대적으로 긴 소요시간을 갖는다면 수술 오류 상황이 발생한 것으로 인식할 수 있다.For example, if 21 surgical stages are defined for gastric cancer surgery, it is ideal for each stage to proceed as repaired. However, it can be inferred that the failure of these surgical steps to continue and disconnection is due to a mistake or error occurring during the operation. Therefore, it can be recognized that a surgical error situation has occurred when switching of a surgical step that deviates from a predetermined surgical process occurs frequently or a specific surgical step has a relatively long required time.
예를 들면, 도 5는 일 실시예에 따른 수술단계별 스위칭 횟수 및 소요시간을 워크플로우(500)로 나타내는 일 예를 도시한다.For example, FIG. 5 shows an example in which the number of switching times and the required time for each surgical step according to an embodiment are represented as a
도 5를 참조하면, 수술단계 5(예컨대, 위암 수술에서 partial omentectomy를 진행해야 하는 단계)에서 단계가 연속되지 못하고 다른 단계로 넘어가기 위해 최소 6번의 스위칭이 발생한 것을 알 수 있다.Referring to FIG. 5 , it can be seen that the steps are not continuous in operation step 5 (eg, a step in which partial omentectomy should be performed in gastric cancer surgery) and that at least 6 switching occurs in order to move to another step.
위암수술에서 수술단계 5의 경우 일반적으로 harmonic이라는 커팅기계가 사용되는 단계인데 순간적으로 커팅기계가 화면에서 인식되지 않는다거나 화면이 다른 장비로 이동한다는 등의 이벤트가 발생하였기 때문에 스위칭이 발생한 것으로 추측할 수 있다. 따라서 수술단계 5에서 출혈 등의 수술 오류가 발생하였음을 예측할 수 있으며, 컴퓨터는 이를 수술과정 분석 결과에 포함시켜 사용자에게 제공할 수 있다.In the case of
다시 도2를 참조하면, 단계 S220에서, 일 실시예에 따른 컴퓨터는 인식된 수술 단계별로 출혈이벤트 발생 여부를 판단한다.Referring back to FIG. 2 , in step S220, the computer according to an embodiment determines whether a bleeding event occurs at each recognized surgical stage.
일 실시예에 따라 컴퓨터는 각각의 출혈의 위치, 시간, 규모를 판단을 할 수 있다. 또한, 출혈로 인해 수술에 간섭이 있었는지 여부를 판단할 수 있다. According to an embodiment, the computer may determine the location, time, and magnitude of each bleeding. In addition, it can be determined whether there was interference with the operation due to bleeding.
예를 들면, 도 6은 일 실시예에 따른 수술단계별 출혈 평가 방법을 설명하기 위한 순서도이다.For example, FIG. 6 is a flowchart for explaining a bleeding evaluation method for each surgical step according to an embodiment.
도 6을 참조하면, 컴퓨터는 딥러닝 기반의 학습을 기초로 단계 S100에서 촬영된 전체 수술영상에서 프레임 단위로 내 출혈 영역이 존재하는지 여부를 인식할 수 있다(S600).Referring to FIG. 6 , the computer may recognize whether an internal bleeding region exists in units of frames in the entire surgical image taken in step S100 based on deep learning-based learning ( S600 ).
일 실시예로, 컴퓨터는 단계 S600에서 획득된 전체수술영상의 각프레임이 출혈 영역을 포함하고 있는 출혈영상인지 여부를 인식(즉, 수술영상 내 출혈 영역이 존재하는지 여부를 인식)하기 위해서 미리 학습된 학습 모델을 이용할 수 있다.In one embodiment, the computer learns in advance to recognize whether each frame of the entire surgical image obtained in step S600 is a bleeding image including a bleeding area (that is, to recognize whether a bleeding area exists in the surgical image). used learning models are available.
이때, 미리 학습된 학습 모델을 이용함에 있어서, 컴퓨터는 먼저 수술영상 데이터셋을 기초로 딥러닝을 이용하여 수술영상 내 출혈 영역의 유무를 인식하는 학습을 수행할 수 있다. 수술영상 데이터셋은 수술영상에 대해 다양한 학습 방법을 통해 레이블링을 수행한 학습 데이터셋일 수 있다. 예를 들어, 수술영상 데이터셋은 지도학습, 비지도학습, 강화학습 등의 기계학습 방법을 사용하여 학습된 데이터일 수 있다. 따라서, 컴퓨터는 학습 데이터로서 수술영상 데이터셋을 획득하고, 이를 이용하여 수술영상에서 출혈이 발생한 부분(즉, 출혈 영역)의 유무를 인식하는 학습을 수행하여 학습 모델(예컨대, 출혈유무 인식모델)을 미리 구축하여 둘 수 있다. 이때, 컴퓨터는 수술영상 데이터셋을 기초로 학습된 학습 모델을 미리 구축하여 저장하여 둘 수도 있고, 또는 다른 장치에서 구축된 학습 모델을 이용할 수도 있다.In this case, in using the pre-trained learning model, the computer may first perform learning to recognize the presence or absence of a bleeding region in the surgical image using deep learning based on the surgical image dataset. The surgical image dataset may be a learning dataset in which labeling is performed on surgical images through various learning methods. For example, the surgical image dataset may be data learned using machine learning methods such as supervised learning, unsupervised learning, and reinforcement learning. Therefore, the computer acquires a surgical image dataset as learning data, and uses it to perform learning to recognize the presence or absence of a bleeding area (ie, bleeding region) in a surgical image to learn a learning model (eg, bleeding presence recognition model). can be built in advance. In this case, the computer may build and store a learning model learned based on the surgical image dataset in advance, or use the learning model built in another device.
이후, 컴퓨터는 새로운 수술영상(즉, 단계 S600에서의 수술영상)을 획득하면, 수술영상 데이터셋을 기초로 학습된 학습 모델(예컨대, 출혈유무 인식모델)을 이용하여 새로운 수술영상 내 출혈 영역이 존재하는지 여부를 인식할 수 있다. 즉, 컴퓨터는 딥러닝 기반의 미리 구축된 학습 모델(예컨대, 출혈유무 인식모델)을 통해 새로 획득된 수술영상이 출혈 영역을 포함하고 있는 출혈영상인지 비출혈영상인지 여부를 신속하고 효과적으로 판단할 수 있다.Then, when the computer acquires a new surgical image (that is, the surgical image in step S600), the bleeding region in the new surgical image is created using a learning model (eg, bleeding recognition model) learned based on the surgical image dataset. It can be recognized whether it exists or not. That is, the computer can quickly and effectively determine whether the newly acquired surgical image is a bleeding image containing a bleeding area or a non-bleeding image through a deep learning-based pre-established learning model (eg, bleeding presence recognition model). have.
컴퓨터는 단계 S610의 수술영상 인식 결과(즉, 수술영상이 출혈영상인지 비 출혈영상인지 인식 결과)를 기반으로, 수술영상으로부터 출혈 영역의 위치를 추정할 수 있다(S620).The computer may estimate the location of the bleeding region from the surgical image based on the surgical image recognition result of step S610 (ie, the recognition result of whether the surgical image is a bleeding image or a non-bleeding image) (S620).
일 실시 예로, 컴퓨터는 딥러닝 기반의 학습을 기초로 수술영상 내 출혈 영역이 존재하는 출혈영상인 것으로 인식한 경우, 수술영상 내 출혈 영역을 특정하고, 특정된 출혈 영역의 위치를 추정할 수 있다. 예를 들어, 컴퓨터는 딥러닝 기반의 학습을 통해 수술영상으로부터 특징(feature) 정보를 추출하고, 추출된 특징 정보를 기초로 수술영상 내 출혈 영역을 인식하여 특정할 수 있다. 이때, 특징 정보는 출혈의 특징을 나타내는 정보로, 출혈을 특정할 수 있는 색상, 형태, 질감 등의 텍스처(texture) 정보를 이용할 수 있다. In one embodiment, when the computer recognizes that the bleeding area in the surgical image is a bleeding image based on deep learning-based learning, it can specify the bleeding area in the surgical image and estimate the location of the specified bleeding area. . For example, the computer may extract feature information from the surgical image through deep learning-based learning, and recognize and specify the bleeding area in the surgical image based on the extracted feature information. In this case, the characteristic information is information indicating the characteristics of bleeding, and texture information such as color, shape, and texture for specifying bleeding may be used.
컴퓨터는 단계 S620에서 추정된 출혈 영역의 위치를 기초로, 출혈 영역에서의 출혈량을 산출할 수 있다(S630).The computer may calculate the amount of bleeding in the bleeding area based on the location of the bleeding area estimated in step S620 (S630).
일 실시 예로, 컴퓨터는 수술영상 내 출혈 영역의 픽셀 정보를 이용하여 출혈량을 산출할 수 있다. 또는, 수술영상이 스테레오스코픽 영상인 경우, 컴퓨터는 수술영상의 깊이맵(depth map)을 기초로 수술영상 내 출혈 영역의 깊이 정보를 획득하고, 이를 기초로 출혈 영역에 대응하는 부피를 추정하여 출혈량을 산출할 수 있다. 또는, 수술영상 내 거즈가 포함된 경우, 컴퓨터는 거즈 정보를 이용하여 출혈 영역에서의 출혈량을 산출할 수 있다. In an embodiment, the computer may calculate the amount of bleeding by using pixel information of the bleeding region in the surgical image. Alternatively, when the surgical image is a stereoscopic image, the computer acquires depth information of the bleeding region in the surgical image based on a depth map of the surgical image, and estimates the volume corresponding to the bleeding region based on this to estimate the amount of bleeding. can be calculated. Alternatively, when gauze is included in the surgical image, the computer may calculate the amount of bleeding in the bleeding area using the gauze information.
또한, 컴퓨터는 수술영상 내 출혈 영역의 위치 및 산출된 출혈량을 기초로 수술에 간섭(intervention)이 있는 출혈인지 여부를 판단하고, 수술에 간섭이 없었던 경우는 제1 출혈이벤트로 인식하고, 수술에 간섭이 있었던 경우는 제2 출혈이벤트로 인식할 수 있다. 예를 들면, 제1 출혈이벤트는 긁힘 등과 같이 수술에 영향이 없는 출혈을 의미하고, 제2 출혈이벤트는 동맥에 손상이 가는 등의 수술을 중지해야 하는 출혈을 의미할 수 있다. 또한, 컴퓨터는 피가 고여있는 조직 (bleeding collected)이 인식되거나 피가 묻어있는 조직 (bleeding stained tissue)이 발견되는 경우를 제2 출혈 이벤트로 인식할 수 있다. 또는 피가 고여 있는 조직이 인식된 경우를 제3 출혈 이벤트로 정의하고 피가 묻어 있는 조직이 인식된 경우를 제4 출혈 이벤트로 정의할 수도 있을 것이다.In addition, the computer determines whether there is bleeding with intervention in the operation based on the location of the bleeding area in the surgical image and the calculated amount of bleeding, and if there is no intervention in the operation, it is recognized as the first bleeding event, and If there is interference, it may be recognized as a second bleeding event. For example, the first bleeding event may mean bleeding that does not affect surgery, such as scratching, and the second bleeding event may mean bleeding that requires stopping surgery, such as damage to an artery. In addition, the computer may recognize a case in which a bleeding collected tissue is recognized or a bleeding stained tissue is detected as the second bleeding event. Alternatively, a case in which a bloody tissue is recognized may be defined as a third bleeding event, and a case in which a bloody tissue is recognized may be defined as a fourth bleeding event.
상술한 바에 따라, 수술영상은 수술단계 인식모델에 입력됨에 따라 수술단계별로 분할이 되고, 수술영상을 출혈인식모델에 입력함에 따라 수술영상 내에 제1 출혈이벤트와 제 2출혈이벤트가 존재하는 프레임과 프레임 내의 영역을 추출하게 된다. 그런 후에 수술단계 분할 결과를 기반으로 스위칭 횟수와 소요시간을 산출하고, 각 수술단계 분할결과와 출혈인식결과를 연결하여, 각 수술단계 내의 출혈 이벤트 발생 횟수에 대해 산출이 이루어 진다.As described above, the surgical image is divided into surgical stages as it is input to the surgical stage recognition model, and as the surgical image is input to the bleeding recognition model, the frame in which the first bleeding event and the second bleeding event exist in the surgical image; The region within the frame is extracted. After that, the number of switching times and the required time are calculated based on the surgical stage division result, and the number of occurrence of bleeding events within each surgical stage is calculated by linking the surgical stage division result and the bleeding recognition result.
즉, 상술한 수술단계인식과 출혈인식이 병렬적으로 이루어 질 수 있다.That is, the above-described operation stage recognition and bleeding recognition can be performed in parallel.
한편, 상기 제1 출혈이벤트 또는 제2 출현이벤트 인지 여부는, 출혈이 발생한 시점에서의 상기 스위칭 횟수 및 상기 수술단계의 소요시간을 기초로도 판단할 수 있다.On the other hand, whether the first bleeding event or the second appearance event can be determined based on the number of switching times at the time when bleeding occurs and the time required for the operation step.
도 7 은 일 실시예에 따른 수술단계별 출혈이벤트를 표시하는 일 예를 도시한다.7 illustrates an example of displaying a bleeding event for each operation stage according to an embodiment.
도 7을 참조하면, 출혈이 발생하지 않은 단계(701), 제1 출혈이벤트가 발생한 단계(703) 및 제2 출혈 이벤트(702)가 발생한 단계가 시인 성 높은 형태로 도식화되어 표시 수 있다. 물론 반드시 이러한 구성에 한정되는 것은 아니며 선형 그래프, 막대 그래프 또는 원형 그래프 등 다양한 형태로 수술단계별 출혈이벤트 발생 여부 및 지속 시간이 도시될 수 있다. Referring to FIG. 7 , a
예를 들면, 도 7에서는 수술단계 5 및 수술단계 15에서 제2 출혈이벤트가 가장 길게 발생한 것을 판단할 수 있다.For example, in FIG. 7 , it may be determined that the second bleeding event occurs the longest in
다시 도2를 참조하면, 단계 S230에서, 일 실시예에 따른 컴퓨터는 스위칭 횟수, 소요시간 및 출혈이벤트를 기초로 수술단계별로 수술결과를 분석할 수 있는 사용자인터페이스를 제공한다.Referring back to FIG. 2 , in step S230, the computer according to an embodiment provides a user interface capable of analyzing the surgical result for each surgical step based on the number of switching times, the required time, and the bleeding event.
따라서, 사용자는 수술 단계별로 오류 상황 및 출혈 상황에 대한 데이터를 수술결과 리포트로 제공받고, 수술과정에서 불필요한 동작이나 실수를 배제하고, 수술 과정을 효율화하는 데 이용할 수 있다.Accordingly, the user can receive data on the error situation and bleeding situation for each stage of the operation as a surgical result report, exclude unnecessary motions or mistakes in the surgical process, and use it to streamline the surgical process.
도 8은 일 실시예에 따른 수술과정 분석 결과를 도시하는 일 예이다.8 is an example illustrating a surgical procedure analysis result according to an embodiment.
도 8을 참조하면, 일 실시예에 따른 사용자 인터페이스(800)는 동영상 재생영역(801), 전체 수술과정에 대한 요약을 표시하는 영역(802), 동영상이 재생되면 해당 부분에 대한 분석 데이터를 노출하는 영역(803) 및 동영상 관련 부가기능을 제공하는 영역(804)을 포함할 수 있다.Referring to FIG. 8 , the
우선, 동영상 재생영역(801)에는 선택된 수술단계에 대한 영상이 0.5~7배속으로 재생될 수 있다. 또한 수술 기구 및 출혈 지점을 인식하여 제1 출혈이벤트 또는 제2 출혈이벤트가 발생한 것인지를 표시해 줄 수 있다.First, in the
전체 수술과정에 대한 요약을 표시하는 영역(802)에서는 전체 수술시간에서 각 수술단계에 대한 부분을 소정 색상으로 표시할 수 있다. 예를 들면 사용자가 특정 수술단계를 선택하면, 해당 단계에서의 수술과정만을 살펴볼 수 있다.In the
또한 전체 수술 시간에서 출혈 지점이 표시될 수 있으며, 사용자 선택에 의해 해당 부분의 동영상이 재생되도록 할 수 있다.In addition, the bleeding point may be displayed during the entire operation time, and a video of the corresponding part may be played by the user's selection.
동영상이 재생되면 해당 부분에 대한 분석 데이터를 노출하는 영역(803)에서는 사용자에게 스위칭 횟수, 소요시간 및 출혈이벤트와 관련된 그래프 및 각각의 분석 결과가 도시될 수 있다.When a moving picture is reproduced, a graph related to the number of switching times, a required time, and a bleeding event and each analysis result may be shown to the user in the
동영상 관련 부가기능을 제공하는 영역(804)에서는 사용자가 원하는 부분만 저장하는 비디오 클립 기능이 제공될 수 있다.A video clip function for storing only a part desired by a user may be provided in the
추가로, 본 발명의 일 실시예에 따라 수술과정 분석 결과는 리포트 형태로 사용자에게 제공할 수 있다.In addition, according to an embodiment of the present invention, the surgical procedure analysis result may be provided to the user in the form of a report.
예를 들면, 도 5와 도7에 도시된 차트와 같이 사용자가 사용자 인터페이스(800)를 통해 확인 가능한 분석 결과를 자동으로 분석하여 리포트 형태로 제공할 수 있다.For example, as shown in the charts shown in FIGS. 5 and 7 , an analysis result that a user can check through the
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부10: medical imaging equipment
20: server
30: control unit
32: display
34: surgical robot
36: video recording unit
Claims (10)
촬영된 전체 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하는 단계;
상기 인식된 수술단계 별로 스위칭 횟수 및 소요시간을 산출하는 단계;
상기 인식된 수술단계 별로 출혈이벤트의 발생여부를 판단하는 단계; 및
상기 스위칭 횟수, 소요시간 및 출혈이벤트를 기초로 수술단계별로 수술결과를 분석할 수 있는 상기 UI를 제공하는 단계를 포함하는,
상기 UI는, 선택된 수술단계에 대한 영상이 재생되는 제1 영역, 전체 수술과정에 대한 요약을 표시하는 제2 영역 및 상기 제1 영역에서 재생되는 영역의 해당 부분의 분석 데이터를 표시하는 제3 영역 중 적어도 하나를 포함하는, 사용자 인터페이스 기반의 수술과정 분석 제공 방법.In the method for providing analysis of a surgical procedure based on a user interface performed by a server,
Recognizing individual surgical steps using a surgical step learning model in the captured overall surgical image;
calculating the number of switching times and required time for each recognized surgical step;
determining whether a bleeding event has occurred for each recognized surgical step; and
Comprising the step of providing the UI for analyzing the surgical result for each surgical step based on the number of switching times, the required time and the bleeding event,
The UI includes a first area in which an image for a selected surgical step is reproduced, a second area displaying a summary of the entire surgical procedure, and a third area displaying analysis data of a corresponding portion of the area reproduced in the first area. A method of providing a user interface-based surgical process analysis, including at least one of.
상기 스위칭 횟수를 산출하는 단계는,
상기 인식된 수술 단계가 이어지지 못하고 단절된 횟수를 카운팅 하는 단계를 포함하는, 사용자 인터페이스 기반의 수술과정 분석 제공 방법.According to claim 1,
The step of calculating the number of switching is,
A method for providing analysis of a user interface-based surgical process, comprising the step of counting the number of times the recognized surgical step is not followed and disconnected.
상기 수술단계학습모델은, 수술데이터를 이용하여 대상체의 수술에 필요한 적어도 하나 이상의 단계를 레이블로 정의하고, 정의된 레이블 별로 학습영상을 입력하여 기계학습 된 것이며,
상기 수술단계학습모델을 이용하여 상기 대상체의 수술단계를 인식하는 단계는, CNN(Convolutional neural network)을 이용한 딥러닝 기반의 학습에 기초하여 수술영상에서 특징 정보를 추출하고, 추출된 특징 정보를 기초로 수술단계를 인식하는 것인, 사용자 인터페이스 기반의 수술과정 분석 제공 방법.The method of claim 1,
The surgical step learning model is machine-learned by defining at least one or more steps necessary for surgery of an object as a label using surgical data, and inputting learning images for each defined label,
The step of recognizing the surgical stage of the object using the surgical stage learning model is to extract feature information from the surgical image based on deep learning-based learning using a convolutional neural network (CNN), and based on the extracted feature information A method of providing an analysis of the surgical process based on a user interface, which recognizes the surgical stage with
상기 출혈이벤트의 발생여부를 판단하는 단계는,
딥러닝 기반의 학습을 기초로 상기 촬영된 전체 수술영상에서 프레임 단위로 출혈 이벤트 발생 여부를 판단하는 단계; 및
상기 분리된 시간 영역을 이용하여 상기 출혈이벤트 발생여부를 상기 수술단계 인식결과에 연결하는 단계; 를 포함하는 것인, 사용자 인터페이스 기반의 수술과정 분석 제공 방법.The method of claim 1,
The step of determining whether the bleeding event occurs is,
Determining whether a bleeding event occurs on a frame-by-frame basis in the total surgical image taken on the basis of deep learning-based learning; and
connecting the occurrence of the bleeding event to the surgical stage recognition result using the separated time domain; A method of providing a user interface-based surgical process analysis, comprising a.
상기 출혈이벤트의 발생여부를 판단하는 단계는,
산출된 출혈량을 기초로 수술에 간섭이 있는 출혈인지 여부를 판단하고, 수술에 간섭이 없었던 경우는 제1 출혈이벤트로 인식하고, 수술에 간섭이 있었던 경우는 제2 출혈이벤트로 인식하는 단계를 더 포함하는, 사용자 인터페이스 기반의 수술과정 분석 제공 방법.The method of claim 1,
The step of determining whether the bleeding event occurs is,
The step of determining whether there is bleeding with interference in the operation based on the calculated amount of bleeding, recognizing the first bleeding event when there is no interference in the operation, and recognizing the second bleeding event when there is interference in the operation. Including, a user interface-based surgical procedure analysis providing method.
상기 제1 출혈이벤트 또는 제2 출현이벤트 인지 여부는, 출혈이 발생한 시점에서의 상기 스위칭 횟수 및 상기 수술단계의 소요시간을 기초로 판단되는 것인, 사용자 인터페이스 기반의 수술과정 분석 제공 방법.6. The method of claim 5,
Whether it is the first bleeding event or the second appearance event is determined based on the number of switching times at the time when bleeding occurs and the time required for the operation step, a user interface-based surgical procedure analysis providing method.
하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에 의한 실행 시, 상기 하나 이상의 프로세서가 연산을 수행하도록 하는 명령들이 저장된 하나 이상의 메모리를 포함하는 제어부를 포함하고,
상기 제어부에서 수행되는 연산은,
의료영상 촬영장비로부터 촬영된 전체 수술영상에서, 수술단계학습모델을 이용하여 개별 수술단계를 인식하고 각각의 수술단계에 해당하는 시간영역을 분리하는 연산;
상기 인식된 수술단계별로 스위칭 횟수 및 소요시간을 산출하는 연산;
상기 인식된 수술단계별로 출혈이벤트의 발생여부를 판단하는 연산; 및
상기 스위칭 횟수, 소요시간 및 출혈이벤트를 기초로 수술단계별로 수술결과를 분석할 수 있는 사용자인터페이스를 제공하는 연산을 포함하고,
상기 UI는, 선택된 수술단계에 대한 영상이 재생되는 제1 영역, 전체 수술과정에 대한 요약을 표시하는 제2 영역 및 상기 제1 영역에서 재생되는 영역의 해당 부분의 분석 데이터를 표시하는 제3 영역 중 적어도 하나를 포함하는, 사용자 인터페이스 기반의 수술과정 분석 제공하는 서버.a display unit for displaying a user interface (User Interface) for providing a surgical procedure analysis result to a user; and
one or more processors; and a control unit including one or more memories in which instructions for causing the one or more processors to perform an operation when executed by the one or more processors are stored,
The operation performed by the control unit is,
an operation of recognizing individual surgical steps and separating time domains corresponding to each surgical step using a surgical step learning model in the entire surgical image taken from the medical imaging equipment;
Calculation of the number of switching times and required time for each recognized surgical step;
a calculation for determining whether a bleeding event has occurred for each recognized surgical stage; and
and an operation for providing a user interface capable of analyzing surgical results for each surgical step based on the number of switching times, required time, and bleeding events,
The UI includes a first area in which an image for a selected surgical step is reproduced, a second area displaying a summary of the entire surgical procedure, and a third area displaying analysis data of a corresponding portion of the area reproduced in the first area. A server that provides a user interface-based surgical procedure analysis, including at least one of.
상기 스위칭 횟수를 산출하는 연산은,
상기 인식된 수술 단계가 이어지지 못하고 단절된 횟수를 카운팅 하는 연산을 포함하는, 사용자 인터페이스 기반의 수술과정 분석 제공하는 서버.9. The method of claim 8,
The calculation for calculating the number of switching is,
A server that provides a user interface-based surgical process analysis, including an operation for counting the number of times the recognized surgical step is not followed and disconnected.
상기 출혈 이벤트의 발생여부를 판단하는 연산은,
산출된 출혈량을 기초로 수술을 중지할 필요가 있는 출혈인지 여부를 판단하고, 수술을 중지할 필요가 없었던 경우는 제1 출혈이벤트로 인식하고, 수술을 중지할 필요가 있었던 경우는 제2 출혈이벤트로 인식하는 연산을 포함하는, 사용자 인터페이스 기반의 수술과정 분석 제공하는 서버.9. The method of claim 8,
The calculation for determining whether the bleeding event occurs is,
Based on the calculated amount of bleeding, it is judged whether it is bleeding that needs to be stopped. If it is not necessary to stop the operation, it is recognized as the first bleeding event, and if it is necessary to stop the operation, it is recognized as the second bleeding event. A server that provides a user interface-based surgical procedure analysis, including an operation to be recognized as a .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210145359A KR102376161B1 (en) | 2020-04-10 | 2021-10-28 | Method and server for providing analysis of surgical procedures based on user interface |
KR1020220031857A KR102628324B1 (en) | 2020-04-10 | 2022-03-15 | Device and method for analysing results of surgical through user interface based on artificial interlligence |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200043791A KR102321157B1 (en) | 2020-04-10 | 2020-04-10 | Method and system for analysing phases of surgical procedure after surgery |
KR1020210145359A KR102376161B1 (en) | 2020-04-10 | 2021-10-28 | Method and server for providing analysis of surgical procedures based on user interface |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200043791A Division KR102321157B1 (en) | 2020-04-10 | 2020-04-10 | Method and system for analysing phases of surgical procedure after surgery |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220031857A Division KR102628324B1 (en) | 2020-04-10 | 2022-03-15 | Device and method for analysing results of surgical through user interface based on artificial interlligence |
Publications (3)
Publication Number | Publication Date |
---|---|
KR20210133198A true KR20210133198A (en) | 2021-11-05 |
KR102376161B1 KR102376161B1 (en) | 2022-03-18 |
KR102376161B9 KR102376161B9 (en) | 2024-01-11 |
Family
ID=78022925
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200043791A KR102321157B1 (en) | 2020-04-10 | 2020-04-10 | Method and system for analysing phases of surgical procedure after surgery |
KR1020210145359A KR102376161B1 (en) | 2020-04-10 | 2021-10-28 | Method and server for providing analysis of surgical procedures based on user interface |
KR1020220031857A KR102628324B1 (en) | 2020-04-10 | 2022-03-15 | Device and method for analysing results of surgical through user interface based on artificial interlligence |
KR1020240007956A KR20240011228A (en) | 2020-04-10 | 2024-01-18 | Method and apparatus for providing information related to surgery via display screen |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200043791A KR102321157B1 (en) | 2020-04-10 | 2020-04-10 | Method and system for analysing phases of surgical procedure after surgery |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220031857A KR102628324B1 (en) | 2020-04-10 | 2022-03-15 | Device and method for analysing results of surgical through user interface based on artificial interlligence |
KR1020240007956A KR20240011228A (en) | 2020-04-10 | 2024-01-18 | Method and apparatus for providing information related to surgery via display screen |
Country Status (2)
Country | Link |
---|---|
KR (4) | KR102321157B1 (en) |
WO (1) | WO2021206518A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023102880A1 (en) * | 2021-12-10 | 2023-06-15 | 曾稼志 | Method and system for processing tracheal intubation images and method for evaluating tracheal intubation effectiveness |
WO2023230114A1 (en) * | 2022-05-26 | 2023-11-30 | Verily Life Sciences Llc | Computer vision based two-stage surgical phase recognition module |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190201102A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
KR20190080736A (en) | 2017-12-28 | 2019-07-08 | (주)휴톰 | Device and method for segmenting surgical image |
KR20190080705A (en) * | 2018-05-23 | 2019-07-08 | (주)휴톰 | Program and method for providing feedback about result of surgery |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101795720B1 (en) * | 2011-05-12 | 2017-11-09 | 주식회사 미래컴퍼니 | Control method of surgical robot system, recording medium thereof, and surgical robot system |
KR101175065B1 (en) * | 2011-11-04 | 2012-10-12 | 주식회사 아폴로엠 | Method for bleeding scanning during operation using image processing apparatus for surgery |
US20160259888A1 (en) * | 2015-03-02 | 2016-09-08 | Sony Corporation | Method and system for content management of video images of anatomical regions |
CN104866727A (en) * | 2015-06-02 | 2015-08-26 | 陈宽 | Deep learning-based method for analyzing medical data and intelligent analyzer thereof |
US9836654B1 (en) * | 2017-02-28 | 2017-12-05 | Kinosis Ltd. | Surgical tracking and procedural map analysis tool |
KR101862360B1 (en) * | 2017-12-28 | 2018-06-29 | (주)휴톰 | Program and method for providing feedback about result of surgery |
KR102014385B1 (en) | 2018-02-20 | 2019-08-26 | (주)휴톰 | Method and apparatus for learning surgical image and recognizing surgical action based on learning |
CN111837195A (en) * | 2018-03-20 | 2020-10-27 | 索尼公司 | Operation support system, information processing device, and program |
-
2020
- 2020-04-10 KR KR1020200043791A patent/KR102321157B1/en active IP Right Grant
-
2021
- 2021-04-09 WO PCT/KR2021/004533 patent/WO2021206518A1/en active Application Filing
- 2021-10-28 KR KR1020210145359A patent/KR102376161B1/en active IP Right Grant
-
2022
- 2022-03-15 KR KR1020220031857A patent/KR102628324B1/en active IP Right Grant
-
2024
- 2024-01-18 KR KR1020240007956A patent/KR20240011228A/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190201102A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
KR20190080736A (en) | 2017-12-28 | 2019-07-08 | (주)휴톰 | Device and method for segmenting surgical image |
KR20190080705A (en) * | 2018-05-23 | 2019-07-08 | (주)휴톰 | Program and method for providing feedback about result of surgery |
Also Published As
Publication number | Publication date |
---|---|
KR20210126806A (en) | 2021-10-21 |
KR20240011228A (en) | 2024-01-25 |
KR102376161B1 (en) | 2022-03-18 |
KR102321157B1 (en) | 2021-11-04 |
WO2021206518A1 (en) | 2021-10-14 |
KR20220055457A (en) | 2022-05-03 |
KR102628324B1 (en) | 2024-01-23 |
KR102376161B9 (en) | 2024-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102014385B1 (en) | Method and apparatus for learning surgical image and recognizing surgical action based on learning | |
KR101926123B1 (en) | Device and method for segmenting surgical image | |
US9152760B2 (en) | Smart 3D PACS workflow by learning | |
JP5222082B2 (en) | Information processing apparatus, control method therefor, and data processing system | |
US10565710B2 (en) | Systems and user interfaces for determination of electro magnetically identified lesions as included in medical images of differing perspectives | |
KR102376161B1 (en) | Method and server for providing analysis of surgical procedures based on user interface | |
US10248756B2 (en) | Anatomically specific movie driven medical image review | |
EP4170673A1 (en) | Auto-focus tool for multimodality image review | |
US12040071B2 (en) | Method and program for providing feedback on surgical outcome | |
KR102146672B1 (en) | Program and method for providing feedback about result of surgery | |
US20170262584A1 (en) | Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir) | |
JP2020518047A (en) | All-Patient Radiation Medical Viewer | |
JP5539478B2 (en) | Information processing apparatus and information processing method | |
CN111770735A (en) | Operation simulation information generation method and program | |
KR102298417B1 (en) | Program and method for generating surgical simulation information | |
KR102457585B1 (en) | Method and system for navigating vascular during surgery | |
US10438351B2 (en) | Generating simulated photographic anatomical slices | |
US10614570B2 (en) | Medical image exam navigation using simulated anatomical photographs | |
JP2024023303A (en) | Medical image processing system, medical image processing method and medical image processing program | |
JP2012085833A (en) | Image processing system for three-dimensional medical image data, image processing method for the same, and program | |
KR20190133423A (en) | Program and method for generating surgical simulation information | |
KR20190133424A (en) | Program and method for providing feedback about result of surgery | |
KR102628325B1 (en) | Apparatus and Method for matching the Real Surgical Image with the 3D based Virtual Simulated Surgical Image based on POI Definition and Phase Recognition | |
EP3822983A1 (en) | Learning, indexing, and/or applying aspects of digital hanging protocols | |
KR20210073041A (en) | Method for combined artificial intelligence segmentation of object searched on multiple axises and apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] |