KR102276862B1 - Method, apparatus and program for controlling surgical image play - Google Patents
Method, apparatus and program for controlling surgical image play Download PDFInfo
- Publication number
- KR102276862B1 KR102276862B1 KR1020180081802A KR20180081802A KR102276862B1 KR 102276862 B1 KR102276862 B1 KR 102276862B1 KR 1020180081802 A KR1020180081802 A KR 1020180081802A KR 20180081802 A KR20180081802 A KR 20180081802A KR 102276862 B1 KR102276862 B1 KR 102276862B1
- Authority
- KR
- South Korea
- Prior art keywords
- surgical
- node
- image
- computer
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001356 surgical procedure Methods 0.000 claims description 41
- 210000000056 organ Anatomy 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000000740 bleeding effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims 1
- 230000008929 regeneration Effects 0.000 claims 1
- 238000011069 regeneration method Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 15
- 238000002059 diagnostic imaging Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000002432 robotic surgery Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 210000002747 omentum Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 208000005718 Stomach Neoplasms Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 206010017758 gastric cancer Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 201000011549 stomach cancer Diseases 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013110 gastrectomy Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002350 laparotomy Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G06T3/0068—
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2074—Interface software
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
컴퓨터가 수술영상을 획득하는 단계, 상기 수술영상을 하나 이상의 영역으로 분할한 정보를 획득하는 단계, 상기 분할된 하나 이상의 영역 각각에 대응하는 수술단계에 대한 정보를 획득하는 단계, 상기 수술단계 각각에 대한 중요도를 판단하는 단계 및 상기 판단된 중요도에 기초하여 상기 수술영상의 재생을 제어하는 단계를 포함하는, 수술영상 재생제어 방법이 개시된다.Computer acquiring the surgical image, acquiring information obtained by dividing the surgical image into one or more regions, acquiring information on the surgical step corresponding to each of the divided one or more regions, each of the surgical steps Disclosed is a method for controlling the reproduction of a surgical image, comprising the step of determining the importance of the operation and controlling the reproduction of the surgical image based on the determined importance.
Description
본 발명은 수술영상 재생제어 방법, 장치 및 프로그램에 관한 것이다. The present invention relates to a surgical image reproduction control method, apparatus and program.
수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다.In the course of surgery, the development of technologies capable of providing information for assisting a surgeon's operation is required. In order to provide information to assist the operation, it must be able to recognize the operation.
따라서, 컴퓨터가 수술영상으로부터 수술행위를 인식하고, 수술영상을 재생하며, 수술영상에 대응하는 보조정보를 제공할 수 있는 기술의 개발이 요구된다.Therefore, it is required to develop a technology that allows a computer to recognize a surgical action from a surgical image, reproduce the surgical image, and provide auxiliary information corresponding to the surgical image.
또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.In addition, recently, deep learning has been widely used in the analysis of medical images. Deep learning is defined as a set of machine learning algorithms that attempt high-level abstractions (summarizing key contents or functions in large amounts of data or complex data) through a combination of several nonlinear transformation methods. Deep learning can be viewed as a field of machine learning that teaches computers to think in a broad framework.
본 발명이 해결하고자 하는 과제는 수술영상 재생제어 방법, 장치 및 프로그램을 제공하는 것이다.An object to be solved by the present invention is to provide a method, apparatus and program for controlling the reproduction of surgical images.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술영상 재생제어 방법은, 컴퓨터가 수술영상을 획득하는 단계, 상기 수술영상을 하나 이상의 영역으로 분할한 정보를 획득하는 단계, 상기 분할된 하나 이상의 영역 각각에 대응하는 수술단계에 대한 정보를 획득하는 단계, 상기 수술단계 각각에 대한 중요도를 판단하는 단계 및 상기 판단된 중요도에 기초하여 상기 수술영상의 재생을 제어하는 단계를 포함한다. Surgical image reproduction control method according to an aspect of the present invention for solving the above-described problems, the computer acquiring a surgical image, acquiring information obtained by dividing the surgical image into one or more regions, the divided one Acquiring information on a surgical step corresponding to each of the above regions, determining the importance of each of the surgical steps, and controlling the reproduction of the surgical image based on the determined importance.
또한, 상기 수술단계에 대한 정보를 획득하는 단계는, 상기 수술의 종류를 판단하는 단계를 포함하고, 상기 중요도를 판단하는 단계는, 상기 수술의 종류에 기초하여 상기 수술단계 각각의 중요도를 판단하는 단계를 포함할 수 있다.In addition, the step of obtaining information on the surgical stage includes determining the type of the operation, and the determining of the importance includes determining the importance of each of the operation stages based on the type of operation may include steps.
또한, 상기 수술영상의 재생을 제어하는 단계는, 상기 수술단계 각각의 중요도에 기초하여 상기 수술단계 각각에 대응하는 수술영상의 재생여부 및 요약수준을 결정하는 단계를 포함할 수 있다.In addition, the step of controlling the reproduction of the surgical image may include determining whether to reproduce the surgical image corresponding to each of the surgical steps and a summary level based on the importance of each of the surgical steps.
또한, 상기 수술영상의 재생을 제어하는 단계는, 상기 수술단계 각각의 중요도에 기초하여 상기 수술단계 각각의 분할수준을 결정하는 단계, 상기 결정된 분할수준에 따라 상기 수술단계 각각을 분할하는 단계 및 상기 분할된 수술단계 각각에 대응하는 수술영상을 재생하되, 상기 분할된 수술단계 각각의 분할수준에 기초하여 상기 분할된 수술단계 각각에 대응하는 수술영상의 재생여부 및 요약수준을 결정하는 단계를 포함할 수 있다.In addition, the step of controlling the reproduction of the surgical image may include determining the division level of each operation stage based on the importance of each operation stage, dividing each operation stage according to the determined division level, and the Playing a surgical image corresponding to each of the divided surgical steps, based on the division level of each of the divided surgical steps, determining whether to reproduce the surgical image corresponding to each of the divided surgical steps and a summary level can
또한, 상기 분할한 정보를 획득하는 단계는, 상기 수술영상을 하나 이상의 분류단위로 계층적으로 분할한 정보를 획득하는 단계를 포함하고, 상기 수술단계에 대한 정보를 획득하는 단계는, 상기 계층적으로 분할한 정보를 탐색하되, 상위 계층으로부터 상기 계층적으로 분할한 정보를 탐색하는, 단계 및 상기 계층적으로 분할한 정보 각각에 대응하는 수술단계에 대한 정보를 획득하는 단계를 포함할 수 있다.In addition, the step of obtaining the divided information includes obtaining information obtained by hierarchically dividing the surgical image into one or more classification units, and obtaining the information on the operation step includes the hierarchical It may include the steps of searching for the divided information, searching for the hierarchically divided information from a higher layer, and obtaining information on the surgical step corresponding to each of the hierarchically divided information.
또한, 상기 중요도를 판단하는 단계는, 상기 계층적으로 분할한 정보 각각에 대응하는 수술단계에 대한 중요도를 판단하는 단계를 포함하고, 상기 수술영상의 재생을 제어하는 단계는, 상기 수술단계 각각의 중요도에 기초하여 상기 수술단계 각각의 계층적 분할여부를 결정하는 단계 및 상기 계층적으로 분할된 수술단계 각각의 중요도에 기초하여 상기 계층적으로 분할된 수술단계 각각에 대응하는 수술영상의 재생여부 및 요약수준을 결정하는 단계를 포함할 수 있다.In addition, the step of determining the importance includes the step of determining the importance of the surgical step corresponding to each of the hierarchically divided information, and the step of controlling the reproduction of the surgical image includes: Determining whether to hierarchically divide each of the surgical steps based on the importance and whether or not to reproduce the surgical image corresponding to each of the hierarchically divided surgical steps based on the importance of each of the hierarchically divided surgical steps; It may include the step of determining a summary level.
또한, 상기 수술영상에 포함된 적어도 하나의 이벤트를 인식하는 단계 및 상기 이벤트에 대응하는 수술영상을 재생하는 단계를 더 포함할 수 있다.The method may further include recognizing at least one event included in the surgical image and reproducing a surgical image corresponding to the event.
또한, 상기 이벤트에 대응하는 수술영상을 재생하는 단계는, 상기 인식된 이벤트의 중요도를 판단하는 단계 및 상기 이벤트의 중요도에 기초하여 상기 이벤트에 대응하는 수술영상의 재생을 제어하는 단계를 포함할 수 있다.In addition, the step of reproducing the surgical image corresponding to the event may include determining the importance of the recognized event and controlling the reproduction of the surgical image corresponding to the event based on the importance of the event. have.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 학습용 데이터 관리장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 컴퓨터가 수술영상을 획득하는 단계, 상기 수술영상을 하나 이상의 영역으로 분할한 정보를 획득하는 단계, 상기 분할된 하나 이상의 영역 각각에 대응하는 수술단계에 대한 정보를 획득하는 단계, 상기 수술단계 각각에 대한 중요도를 판단하는 단계 및 상기 판단된 중요도에 기초하여 상기 수술영상의 재생을 제어하는 단계를 수행한다.An apparatus for managing data for learning according to an aspect of the present invention for solving the above problems includes a memory for storing one or more instructions and a processor for executing the one or more instructions stored in the memory, wherein the processor includes the one or more instructions By executing the instruction, the computer acquiring a surgical image, acquiring information obtained by dividing the surgical image into one or more regions, acquiring information on a surgical step corresponding to each of the divided one or more regions; The step of determining the importance of each of the surgical steps and the step of controlling the reproduction of the surgical image based on the determined importance is performed.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 수술영상 재생제어 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.According to an aspect of the present invention for solving the above problems, a computer program stored in a computer-readable recording medium is provided in combination with a computer, which is hardware, to perform the surgical image reproduction control method according to the disclosed embodiment.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
개시된 실시 예에 따르면, 수술영상을 중요도에 따라 용이하게 생략 또는 요약하여 재생함으로써, 손쉽게 수술영상을 리뷰할 수 있는 효과가 있다.According to the disclosed embodiment, the surgical image can be easily reviewed by easily omitting or summarizing the surgical image according to importance.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 2는 일 실시 예에 따라 수술영상의 재생을 제어하는 방법을 도시한 흐름도이다.
도 3은 수술동작을 계층적으로 분할 및 인식하는 방법의 일 예를 도시한 도면이다.
도 4는 일 실시 예에 따라 각 수술단계의 분할수준을 결정하고, 수술영상을 재생하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따라 이벤트를 포함하는 수술 영상의 재생을 제어하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 장치의 구성도이다.1 is a schematic diagram of a system capable of performing robotic surgery according to an embodiment disclosed herein.
2 is a flowchart illustrating a method of controlling reproduction of a surgical image according to an embodiment.
3 is a diagram illustrating an example of a method for hierarchically dividing and recognizing a surgical operation.
4 is a view for explaining a method of determining a division level of each surgical step and reproducing a surgical image according to an embodiment.
5 is a diagram for explaining a method of controlling reproduction of a surgical image including an event according to an embodiment.
6 is a block diagram of an apparatus according to an embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used herein, the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles. However, “part” or “module” is not meant to be limited to software or hardware. A “unit” or “module” may be configured to reside on an addressable storage medium or to reproduce one or more processors. Thus, by way of example, “part” or “module” refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or as additional components and “parts” or “modules”. can be further separated.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.1 is a schematic diagram of a system capable of performing robotic surgery according to an embodiment disclosed herein.
도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.Referring to FIG. 1 , the robotic surgery system includes a
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.In one embodiment, the
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.In one embodiment, the robotic surgery is performed by the user using the
서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.The
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.The
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.The photographing
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.In an embodiment, the image captured by the photographing
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.In one embodiment, the
제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.The
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.For example, the user performs robotic surgery by controlling the movement of the
서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다. The
제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.The
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다. In one embodiment, the means that can be used in the
개시된 실시 예에서, 촬영장치(36)에서 획득되는 수술영상은 제어부(30)로 전달된다.In the disclosed embodiment, the surgical image acquired by the
일 실시 예에서, 제어부(30)는 수술 중에 획득되는 수술영상을 실시간으로 분할(segmentation)할 수 있다.In an embodiment, the
일 실시 예에서, 제어부(30)는 수술 중 또는 수술이 완료된 후 수술영상을 서버(20)에 전송한다.In one embodiment, the
서버(20)는 수술영상을 분할하여 분석할 수 있다.The
서버(20)는 수술영상을 분할하여 분석하기 위한 적어도 하나의 모델을 학습 및 저장한다. 또한, 서버(20)는 최적화된 수술 프로세스를 생성하기 위한 적어도 하나의 모델을 학습 및 저장한다.The
또한, 서버(20) 또는 클라이언트(예를 들어, 제어부(30)를 포함)는 획득된 수술 영상을 표시할 수 있다. 하지만, 수술 영상은 일반적으로 매우 길기 때문에, 연구자나 의사가 수술 영상을 모두 리뷰하는 것은 현실적으로 어렵다.In addition, the
이하에서는, 서버(20) 또는 클라이언트가 수술 영상을 표시하되, 중요도에 따라 각 부분을 생략하거나, 요약하여 표시하는 방법에 대해서 구체적으로 설명한다.Hereinafter, a method in which the
도 2는 일 실시 예에 따라 수술영상의 재생을 제어하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of controlling reproduction of a surgical image according to an embodiment.
도 2를 참조하면, 도 1에서 도시된 서버(20) 또는 클라이언트에서 수행될 수 있는 단계들이 시계열적으로 도시되어 있다. 이하에서는, 설명의 편의를 위하여 컴퓨터가 도 2에 도시된 각 단계들을 수행하는 것으로 설명한다. 하지만, 도 2에 도시된 각 단계들의 전부 또는 일부가 각각 서버(20) 또는 클라이언트에서 수행될 수 있다.Referring to FIG. 2 , steps that may be performed by the
단계 S110에서, 컴퓨터는 수술영상을 획득한다. In step S110, the computer acquires a surgical image.
본 명세서에서, 수술영상은 수술로봇(34)에 의하여 실제로 수행된 수술 영상일 수도 있고, 의료영상 촬영장비(10)로부터 획득된 영상에 기초하여 수행된 시뮬레이션 영상일 수도 있다. 또한, 수술영상은 의료영상 촬영장비(10)로부터 획득된 영상에 기초하여 생성된, 최적화된 수술방법에 따른 영상일 수도 있다.In this specification, the surgical image may be a surgical image actually performed by the
또한, 본 명세서의 수술영상은 실제로 수술과정이 촬영된 영상을 의미할 수도 있고, 의료영상 촬영장비(10)로부터 획득되는 의료 영상에 기초하여 생성되는 3D 모델링 영상을 의미할 수도 있다. 마찬가지로, 본 명세서에서 언급되는 수술영상의 종류는 제한되지 않으며, 적어도 일부에 수술과정을 포함하는 모든 종류의 영상을 포함하는 의미로서 이해될 수 있다.In addition, the surgical image of the present specification may refer to an image of an actual surgical procedure or may refer to a 3D modeling image generated based on a medical image obtained from the
일 실시 예에서, 컴퓨터는 단계 S110에서 획득된 수술영상을 하나 이상의 영역으로 분할(segmentation)한 정보를 획득한다. 일 실시 예에서, 수술 영상은 컴퓨터에 의하여 자동으로 분할된다.In one embodiment, the computer acquires information obtained by segmenting the surgical image obtained in step S110 into one or more regions. In an embodiment, the surgical image is automatically segmented by the computer.
일 실시 예에서, 수술 영상은 다양한 기준으로 분할될 수 있다. 일 예로, 수술 영상은 영상에 포함된 객체의 종류를 기초로 하여 분할될 수 있다. 객체의 종류를 기초로 하는 분할방법은 컴퓨터가 각 객체를 인식하는 단계를 필요로 한다.In an embodiment, the surgical image may be divided according to various criteria. For example, the surgical image may be divided based on the type of object included in the image. The segmentation method based on the type of object requires the computer to recognize each object.
수술 영상에서 인식되는 객체는 크게 인체, 외부에서 유입된 객체 및 자체적으로 생성된 객체를 포함한다. 인체는 수술에 선행되는 의료영상 촬영(예를 들어, CT)에 의하여 촬영되는 신체부위와 촬영되지 않는 신체부위를 포함한다.Objects recognized in the surgical image largely include a human body, an object introduced from the outside, and an object created by itself. The human body includes body parts that are imaged by medical imaging (eg, CT) prior to surgery and body parts that are not imaged.
예를 들어, 의료영상 촬영에 의하여 촬영되는 신체부위는 장기, 혈관, 뼈, 힘줄 등을 포함하며, 이러한 신체부위는 의료영상에 기초하여 생성되는 3D 모델링 영상에 기초하여 인식될 수 있다. For example, body parts photographed by medical imaging include organs, blood vessels, bones, tendons, and the like, and these body parts may be recognized based on a 3D modeling image generated based on the medical image.
구체적으로, 각 신체부위의 위치와 크기, 모양 등이 의료영상에 기초한 3D 분석방법에 의하여 사전에 인지된다. 컴퓨터는 실시간으로 수술영상에 대응하는 신체부위의 위치를 파악할 수 있는 알고리즘을 정의하고, 이에 기초하여 별도의 이미지 인식을 수행하지 않아도 수술영상에 포함되는 각 신체부위의 위치, 크기 및 모양 등에 대한 정보를 획득할 수 있다. 또한 의료영상 촬영에 의하여 촬영되지 않는 신체부위는 오멘텀(omentum) 등을 포함하며, 이는 의료영상에 의하여 촬영되지 않으므로 수술중에 실시간으로 인식하는 것이 필요하다. 예를 들어, 컴퓨터는 이미지 인식방법을 통하여 오멘텀의 위치 및 크기를 판단하고, 오멘텀 내부에 혈관이 있는 경우 혈관의 위치 또한 예측할 수 있다.Specifically, the position, size, shape, etc. of each body part are recognized in advance by a 3D analysis method based on a medical image. The computer defines an algorithm that can determine the position of the body part corresponding to the surgical image in real time, and based on this, information on the position, size, shape, etc. of each body part included in the surgical image without performing separate image recognition can be obtained. In addition, body parts that are not photographed by medical imaging include omentum, etc., which are not photographed by medical imaging, so it is necessary to recognize them in real time during surgery. For example, the computer may determine the position and size of the omentum through the image recognition method, and if there is a blood vessel inside the omentum, the location of the blood vessel may also be predicted.
외부에서 유입된 객체는, 예를 들어 수술도구, 거즈, 클립 등을 포함한다. 이는 기 설정된 형태적 특징을 가지므로, 컴퓨터가 수술중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.The objects introduced from the outside include, for example, surgical tools, gauze, clips, and the like. Since it has preset morphological characteristics, the computer can recognize it in real time through image analysis during surgery.
내부에서 생성되는 객체는, 예를 들어 신체부위에서 발생하는 출혈 등을 포함한다. 이는 컴퓨터가 수술중에 이미지 분석을 통하여 실시간으로 인식할 수 있다.The object generated inside includes, for example, bleeding occurring in a body part. This can be recognized in real time by the computer through image analysis during surgery.
신체부위에 포함된 장기나 오멘텀의 움직임, 그리고 객체가 내부에서 생성되는 원인은 모두 외부에서 유입된 객체의 움직임에 기인한다.The movement of organs or omentum included in the body part, and the cause of the internal creation of an object, are all caused by the movement of an object introduced from the outside.
따라서, 수술 영상은 각 객체를 인식하는 것에 더하여, 각 객체의 움직임에 기초하여 분할될 수 있다. 일 실시 예에서, 수술 영상은 외부에서 유입된 객체의 움직임, 즉 액션에 기초하여 분할될 수 있다.Accordingly, in addition to recognizing each object, the surgical image may be divided based on the movement of each object. In an embodiment, the surgical image may be divided based on a movement of an externally introduced object, that is, an action.
컴퓨터는 수술영상에서 인식된 각 객체의 종류를 판단하고, 각 객체의 종류에 따라 사전에 정의된 특정한 동작, 일련의 동작, 동작에 따라 발생하는 상황이나 결과 등에 기초하여, 각 객체의 움직임, 즉 액션을 인식할 수 있다.The computer determines the type of each object recognized in the surgical image, and the movement of each object, i.e., based on a specific motion, a series of motions, and situations or results that occur according to the type of each object. actions can be recognized.
컴퓨터는 각 액션의 종류를 인식하고, 나아가 각 액션의 원인 또한 인식할 수 있다. 컴퓨터는 인식되는 액션에 기초하여 수술영상을 분할할 수 있고, 단계적 분할을 통해 각각의 세부수술동작부터 전체 수술의 종류까지 인식할 수 있다.The computer can recognize the type of each action and further recognize the cause of each action. The computer can segment the surgical image based on the recognized action, and can recognize from each detailed surgical operation to the type of the entire operation through stepwise segmentation.
나아가, 컴퓨터는 액션에 대한 판단으로부터 수술영상에 대응하는, 기 정의된 수술의 종류를 판단한다. 수술의 종류를 판단하는 경우, 전체 수술 프로세스에 대한 정보를 획득할 수 있다. 동일한 종류의 수술에 대하여 복수 개의 수술 프로세스가 존재하는 경우, 의사의 선택에 따라서, 또는 특정 시점까지 인식된 액션들에 기초하여 하나의 수술 프로세스를 선택할 수 있다.Furthermore, the computer determines the predefined type of operation corresponding to the operation image from the determination of the action. When determining the type of surgery, information on the entire surgical process may be acquired. When a plurality of surgical processes exist for the same type of surgery, one surgical process may be selected according to a selection of a doctor or based on actions recognized up to a specific time point.
컴퓨터는 획득된 수술 프로세스에 기초하여 수술단계를 인식 및 예측할 수 있다. 예를 들어, 일련의 수술 프로세스 중 특정 단계가 인식되는 경우, 이에 후속되는 단계들을 예측하거나 가능한 단계들의 후보를 추려낼 수 있다. 따라서, 오멘텀 등에 의하여 발생하는 수술영상 인식의 오류율을 크게 낮출 수 있다. 또한, 수술영상이 예측가능한 수술단계로부터 소정의 오차범위 이상 크게 벗어나는 경우, 수술오류(surgical error)상황이 발생한 것으로 인식할 수도 있다.The computer may recognize and predict the surgical stage based on the acquired surgical process. For example, when a specific step is recognized in a series of surgical processes, the subsequent steps may be predicted or candidates for possible steps may be selected. Therefore, it is possible to significantly reduce the error rate of surgical image recognition caused by omentum. In addition, when the surgical image greatly deviates from the predictable surgical stage by more than a predetermined error range, it may be recognized that a surgical error situation has occurred.
또한, 컴퓨터는 각각의 액션에 대한 인식에 기반하여, 각각의 액션에 대한 판단을 할 수 있다. 예를 들어, 컴퓨터는 각각의 액션에 대한 필요성(necessity)과 효율성(effectiveness)을 인식할 수 있다.In addition, the computer may make a judgment about each action based on the recognition of each action. For example, a computer may recognize the necessity and effectiveness of each action.
구체적으로, 컴퓨터는 각각의 액션이 필요한 것이었는지, 또는 불필요한 것이었는지에 대한 판단을 할 수 있다. 또한, 컴퓨터는 각각의 액션이 필요한 것이었던 경우에도, 각 액션이 효율적으로 수행되었는지에 대한 판단을 할 수 있다. 이는 수술성적 리포트를 제공하고, 수술과정에서 불필요한 동작을 배제하고, 비효율적인 동작을 효율화하는 데 이용된다.Specifically, the computer can make a judgment as to whether each action was necessary or unnecessary. Also, the computer can determine whether each action is efficiently performed even when each action is necessary. This is used to provide a surgical result report, to exclude unnecessary operations from the surgical procedure, and to streamline inefficient operations.
상술한 바와 같이, 수술영상은 크게 신체부위(장기 및 오멘텀), 외부에서 유입된 객체, 내부에서 생성되는 객체, 액션, 수술의 종류, 각 액션의 필요성과 효율성을 포함하는 구성요소들로 분할될 수 있다. 즉, 컴퓨터는 수술영상을 전체로서 인식하는 대신, 수술영상의 가능한 한 모든 요소를 포함하되, 상호간 중복을 최소화하는 구성요소 단위로 수술영상을 분할하고, 분할된 구성요소 단위에 기초하여 수술영상을 인식함으로써, 더 구체적이고 더 용이하게 수술영상을 인식할 수 있다.As described above, the surgical image is largely divided into components including body parts (organs and omentum), externally imported objects, internally generated objects, actions, types of surgery, and the necessity and effectiveness of each action. can be That is, instead of recognizing the surgical image as a whole, the computer divides the surgical image into component units that include all possible elements of the surgical image, but minimizes mutual overlap, and generates the surgical image based on the divided component unit. By recognizing, it is possible to recognize the surgical image more specifically and more easily.
일 실시 예에서, 컴퓨터는 수술 영상을 계층적(또는 단계적)으로 분할할 수 있다.In an embodiment, the computer may divide the surgical image hierarchically (or stepwise).
일 실시 예에서, 컴퓨터는 수술 영상을 하나 이상의 분류단위로 계층적(또는 단계적)으로 분할하고, 분할된 각 분류단위에 대응하는 동작을 계층적(또는 단계적)으로 인식할 수 있다.In an embodiment, the computer may hierarchically (or step-by-step) segment the surgical image into one or more classification units, and recognize the operation corresponding to each divided classification unit hierarchically (or step-by-step).
예를 들어, 컴퓨터는 수술영상에 포함된 제1 분류단위, 제2 분류단위, 제3 분류단위 및 제4 분류단위의 동작을 차례로 인식할 수 있다.For example, the computer may sequentially recognize the operations of the first classification unit, the second classification unit, the third classification unit, and the fourth classification unit included in the surgical image.
예를 들어, 제1 분류단위는 구성요소(component)단위이고, 제2 분류단위는 세부 분할동작(subsegment) 단위이고, 제3 분류단위는 분할동작(segment) 단위이고, 제4 분류단위는 수술(operation) 단위일 수 있으나, 이에 제한되는 것은 아니다.For example, the first classification unit is a component unit, the second classification unit is a subsegment unit, the third classification unit is a segment unit, and the fourth classification unit is surgery. (operation) may be a unit, but is not limited thereto.
도 3을 참조하면, 수술동작을 계층적으로 분할 및 인식하는 방법의 일 예가 도시되어 있다.Referring to FIG. 3 , an example of a method for hierarchically dividing and recognizing a surgical operation is illustrated.
도 3을 참조하면, 수술동작을 제1 분류단위(210)로 분할하여 인식하고, 이로부터 제2 분류단위(220), 제3 분류단위(230) 및 제4 분류단위(240)로 각각 단계적으로 분할하여 인식하는 방법이 개념적으로 도시되어 있다.Referring to FIG. 3 , the surgical operation is recognized by dividing it into a
일 실시 예에서, 도 3에 도시된 각각의 코드는 각각의 분류단위에 포함되는 동작들을 식별할 수 있는 기 설정된 코드를 의미할 수 있다.In an embodiment, each code shown in FIG. 3 may mean a preset code for identifying operations included in each classification unit.
제한되지 않는 예로서, 제1 분류단위의 동작은 잡기, 자르기, 이동하기 등을 포함하고, 제2 분류단위의 동작은 혈관절단, 지방제거 등을 포함하고, 제3 분류단위의 동작은 개복, 장기절제, 장기연결, 봉합 등을 포함하고, 제4 분류단위의 동작은 위암수술을 포함할 수 있다.As a non-limiting example, the operation of the first classification unit includes grabbing, cutting, moving, etc., the operation of the second classification unit includes blood vessel cutting and fat removal, and the operation of the third classification unit includes laparotomy, Organ resection, organ connection, suturing, etc. are included, and the operation of the fourth classification unit may include gastric cancer surgery.
즉, 위암수술을 예로 들었을 때 위암수술의 각 동작은 크게 개복, 위절제, 장기연결 및 봉합을 포함할 수 있고, 각각의 동작은 더 구체적으로 혈관절단, 위의 각 부위 절단, 위의 각 부위와 다른 장기의 일부 부위의 연결 등을 포함할 수 있고, 각각의 동작은 더 구체적으로 혈관절단, 지방 등 장애물 제거 등으로 구체화될 수 있으며, 이는 더 세부적으로 단순한 이동, 잡기, 절단 등의 동작으로 더 구체화될 수 있다.That is, when gastric cancer surgery is taken as an example, each operation of gastric cancer surgery can largely include laparotomy, gastrectomy, organ connection and suturing, and each operation is more specifically blood vessel cut, gastric section cutting, and gastric section each. and the connection of some parts of other organs, and each operation can be more specifically embodied as cutting blood vessels, removing obstacles such as fat, etc., which are more specifically simple movements, grabbing, cutting, etc. can be more specific.
개시된 실시 예에 따르면 이러한 hierarchy를 역으로 이용하여, 수술동작을 최소 세부단위로 분할하여 인식하고, 분할하여 인식된 결과를 이용하여 단계적으로 상위 동작을 인식하도록 컴퓨터를 학습시킬 수 있다.According to the disclosed embodiment, by using this hierarchy inversely, it is possible to divide and recognize a surgical operation into minimum detailed units, and train a computer to recognize a higher operation step by step using the divided and recognized result.
이러한 단계적 접근방법 없이 수술영상을 이미지 프로세싱하여 상위 단계에 해당하는 수술동작을 정확하게 인식하기는 상대적으로 어려울 수 있다. 수술부위는 환자마다, 질병마다 모양이 다르고, 또한 수술의 종류에 따라 수술동작의 양상은 모두 상이하기 때문이다.Without such a step-by-step approach, it may be relatively difficult to image-process a surgical image to accurately recognize a surgical operation corresponding to a higher stage. This is because the surgical site has a different shape for each patient and for each disease, and the operation of the operation is also different depending on the type of surgery.
개시된 실시 예에 따르면, 상대적으로 환자의 신체조건이나 수술의 종류 등에 의하여 영향을 덜 받는 세부 수술동작(예를 들어, 자르기, 잡기 등)을 인식하는 것에서부터 시작해, 기계학습을 통해 일련의 세부동작들이 의미하는 상위 수술동작을 인식하고, 단계적으로 더 큰 단위의 수술동작, 나아가 수술의 종류까지 인식할 수 있는 학습모델을 제공할 수 있다.According to the disclosed embodiment, starting from recognizing detailed surgical motions (eg, cutting, grabbing, etc.) that are relatively less affected by the patient's physical condition or type of surgery, a series of detailed motions through machine learning It is possible to provide a learning model that can recognize higher-order surgical motions that they mean, and can recognize step-by-step larger unit surgical motions and even types of surgery.
개시된 실시 예에 따른 학습모델을 이용하면, 환자의 신체상태나 수술의 종류와 상관없이 어디에나 적용가능한 수술동작 인식모델을 제공할 수 있으며, 필요한 경우 미세조정(fine tuning)을 이용하여 각 환자의 신체상태 또는 수술의 종류에 맞도록 특화된 수술동작 인식모델을 제공할 수도 있다.Using the learning model according to the disclosed embodiment, it is possible to provide a surgical motion recognition model that can be applied anywhere regardless of the patient's physical condition or the type of surgery, and if necessary, fine tuning is used to provide each patient's body It is also possible to provide a specialized surgical motion recognition model to fit the condition or type of surgery.
일 실시 예에서, 컴퓨터는 수술영상에서 발생하는 이벤트를 인식할 수 있다. 예를 들어, 이벤트는 출혈 등 수술오류(surgical error)상황을 포함한다. 이벤트가 발생하는 경우, 컴퓨터는 수술영상에 대한 이미지 프로세싱을 통하여 이를 인식할 수 있다.In an embodiment, the computer may recognize an event occurring in the surgical image. For example, the event includes a surgical error situation such as bleeding. When an event occurs, the computer may recognize it through image processing for the surgical image.
컴퓨터는 이벤트가 인식되는 경우, 수술영상을 인식된 이벤트를 포함하는 하나 이상의 이벤트 그룹으로 분할할 수 있다. 분할된 이벤트 그룹은 별도로 관리될 수도 있고, 개시된 실시 예에 따른 분류단위에 포함되거나, 독립적인 분류단위로서 수술동작의 분석에 활용될 수도 있다.When an event is recognized, the computer may divide the surgical image into one or more event groups including the recognized event. The divided event group may be managed separately, may be included in the classification unit according to the disclosed embodiment, or may be utilized as an independent classification unit for the analysis of a surgical operation.
일 실시 예에서, 컴퓨터는 인식된 이벤트와, 이벤트가 인식된 시점 전후의 수술동작에 기초하여 이벤트의 발생원인을 판단할 수 있다.In an embodiment, the computer may determine the cause of the occurrence of the event based on the recognized event and the surgical operation before and after the recognized event.
예를 들어, 컴퓨터는 이벤트가 발생하는 경우, 이벤트가 발생한 시점 전후의 소정 분류단위의 동작들을 이벤트에 대한 정보와 함께 저장함으로써 이벤트의 발생원인을 분석하기 위한 학습 데이터를 생성할 수 있다. For example, when an event occurs, the computer may generate learning data for analyzing the cause of the event by storing operations of a predetermined classification unit before and after the event occurs together with information about the event.
컴퓨터는 생성된 학습 데이터를 이용하여 학습을 수행하고, 각 분류단위의 수술동작들과 이벤트 간의 상관관계를 학습할 수 있다.The computer may perform learning by using the generated learning data and learn the correlation between surgical operations and events of each classification unit.
컴퓨터는 학습 결과에 기초하여, 이벤트가 발생하는 경우 그 원인을 판단하고 사용자에게 피드백을 제공할 수 있다.Based on the learning result, when an event occurs, the computer may determine the cause and provide feedback to the user.
일 실시 예에서, 컴퓨터는 소정 분류단위의 동작에 기초하여 수술동작의 최적화를 위한 학습을 수행할 수 있다.In an embodiment, the computer may perform learning for optimizing a surgical operation based on the operation of a predetermined classification unit.
예를 들어, 컴퓨터는 환자의 신체상태 및 수술의 종류별로 각 분류단위의 동작을 수행하는 순서 및 방법에 있어 최적화된 순서 및 방법을 학습할 수 있다.For example, the computer may learn the order and method optimized in the order and method of performing the operation of each classification unit according to the patient's physical condition and the type of surgery.
일 실시 예에서, 컴퓨터는 제1 분류단위의 동작에 기초하여 수술동작의 최적화를 위한 학습을 수행할 수 있다. 예를 들어, 컴퓨터는 하나 이상의 레퍼런스 수술정보를 획득할 수 있다. 컴퓨터는 하나 이상의 레퍼런스 수술정보에 포함되는 수술동작의 순서에 기초하여 학습을 수행하고, 학습 결과에 따라 수술별로 최적화된 수술동작의 순서를 판단할 수 있다.In an embodiment, the computer may perform learning for optimizing the surgical operation based on the operation of the first classification unit. For example, the computer may obtain one or more reference surgical information. The computer may perform learning based on the sequence of surgical operations included in one or more reference surgical information, and determine the optimal sequence of surgical operations for each operation according to the learning result.
제1 분류단위의 동작은 어느 수술에서든 공통적으로 적용되는 최소단위의 동작이므로, 제1 분류단위에 기초하여 학습을 수행하는 경우, 수술의 종류 및 환자의 신체상태와 무관하게 최적화된 수술동작의 순서를 판단할 수 있는 학습모델을 획득할 수 있다. 마찬가지로, 또한 학습된 모델에 대한 미세조정을 통하여 수술의 종류 및 환자의 신체상태에 따라 최적화된 학습모델을 획득하는 것도 가능하다.Since the operation of the first classification unit is the smallest unit of operation that is commonly applied to any surgery, when learning is performed based on the first classification unit, the optimal surgical operation sequence is irrespective of the type of operation and the patient's physical condition. It is possible to obtain a learning model that can determine Likewise, it is also possible to obtain an optimized learning model according to the type of surgery and the patient's physical condition through fine adjustment of the learned model.
단계 S130에서, 컴퓨터는 단계 S120에서 분할된 하나 이상의 영역 각각에 대응하는 수술단계에 대한 정보를 획득한다.In step S130, the computer acquires information on the surgical step corresponding to each of the one or more regions divided in step S120.
일 실시 예에서, 컴퓨터는 각 수술단계의 중요도를 판단(단계 S140)하고, 판단된 중요도에 기초하여 수술영상의 재생을 제어(단계 S150)한다.In one embodiment, the computer determines the importance of each surgical step (step S140), and controls the reproduction of the surgical image based on the determined importance (step S150).
일 실시 예에서, 컴퓨터는 수술의 종류를 판단하고, 판단된 수술의 종류에 기초하여 각 수술단계의 중요도를 판단한다. 예를 들어, 특정 수술단계가 특정 수술에 대해서는 중요할 수 있으나, 다른 수술에서는 중요도가 떨어질 수 있다. 따라서, 컴퓨터는 상술한 방법에 따라 수술 영상으로부터 수술의 종류를 판단하고, 판단된 수술 종류에 기초하여, 수술 영상을 분할한 각 수술단계의 중요도를 판단할 수 있다.In an embodiment, the computer determines the type of surgery, and determines the importance of each surgical step based on the determined type of surgery. For example, a particular surgical step may be important for a particular operation, but less important for another operation. Accordingly, the computer may determine the type of surgery from the surgical image according to the above-described method, and determine the importance of each surgical step in which the surgical image is divided based on the determined type of surgery.
또한, 컴퓨터는 수술단계 각각의 중요도에 기초하여, 수술단계 각각에 대응하는 수술영상의 재생여부 및 요약수준을 결정한다. 예를 들어, 상대적으로 중요도가 떨어지는 수술단계는 재생하지 않거나, 많이 요약하여 재생할 수 있다. 마찬가지로, 상대적으로 중요도가 높은 수술단계는 요약하지 않거나, 적게 요약하여 재생할 수 있다.In addition, based on the importance of each surgical stage, the computer determines whether or not to reproduce the surgical image corresponding to each surgical stage and the level of summary. For example, relatively less important surgical steps may not be regenerated, or may be regenerated in summary. Similarly, surgical steps of relatively high importance can be reproduced without or with a small summary.
일 실시 예에서, 컴퓨터는 각각의 수술단계에 대하여 판단된 중요도에 기초하여, 각 수술단계의 분할수준을 결정한다. 컴퓨터는 결정된 분할수준에 따라 각각의 수술단계를 분할하고, 분할된 수술단계 각각에 대응하는 수술영상을 재생하되, 분할된 수술단계 각각의 분할수준에 기초하여 분할된 수술단계 각각에 대응하는 수술영상의 재생여부 및 요약수준을 결정할 수 있다.In one embodiment, the computer determines the division level of each surgical step based on the determined importance for each surgical step. The computer divides each surgical stage according to the determined segmentation level, reproduces a surgical image corresponding to each of the divided surgical stages, and a surgical image corresponding to each of the divided surgical stages based on the division level of each divided surgical stage You can decide whether or not to replay and the level of summary.
도 4는 일 실시 예에 따라 각 수술단계의 분할수준을 결정하고, 수술영상을 재생하는 방법을 설명하기 위한 도면이다. 4 is a view for explaining a method of determining a division level of each surgical step and reproducing a surgical image according to an embodiment.
도 4를 참조하면, 수술영상을 계층적으로 분할한 일 예에 대응하는 트리(300)가 도시되어 있다. 도 4에 도시된 트리(300)는 이진 트리로 도시되어 있으나, 수술 영상을 계층적으로 분할하는 자료구조는 이진 트리에 제한되지 않으며, 더 높은 차수의 트리 구조를 갖거나, 트리가 아닌 다른 구조를 가질 수도 있다.Referring to FIG. 4 , a
도 4에서는, 설명의 편의를 위하여 도 3에 도시된 바와 같이 계층적으로 분할된 수술영상에 대한 정보가 도 4에 도시된 바와 같은 트리 형태로 저장되는 것으로 가정하여 설명한다.In FIG. 4, for convenience of explanation, it is assumed that information on the hierarchically segmented surgical image as shown in FIG. 3 is stored in a tree form as shown in FIG.
일 실시 예에서, 트리(300)의 루트 노드(310)는 제4 분류단위, 즉 수술의 종류에 대응할 수 있다.In an embodiment, the
또한, 루트 노드(310)의 자식 노드들(320 및 330)은 제3 분류단위에 대응하며, 그 자식 노드들은 제2 분류단위, 또 그 자식 노드들은 제1 분류단위에 각각 대응할 수 있으나, 이에 제한되는 것은 아니다.In addition, the
일 실시 예에서, 컴퓨터는 루트 노드(310)에서 수술의 종류를 판단하고, 이하에서 각각의 자식 노드들(320 및 330)에 대응하는 수술단계의 중요도를 판단할 수 있다. 예를 들어, 노드(320)는 지방제거 동작에 대응하고, 노드(330)는 위 절제 동작에 대응할 수 있다. In an embodiment, the computer may determine the type of surgery in the
일 실시 예에서, 컴퓨터는 상대적으로 중요도가 떨어지는 지방제거 동작에 대응하는 노드(320)에 대응하는 수술 단계에 대해서는 추가 분할을 하지 않고, 요약된 수술영상을 재생하거나, 재생을 생략할 수 있다.In an embodiment, the computer may reproduce a summarized surgical image or omit the operation without additional division for the surgical step corresponding to the
또한, 컴퓨터는 노드(330)에 대응하는 수술단계를 추가적으로 분할하고, 분할된 노드(340 및 350) 각각에 대응하는 수술단계의 중요도를 판단할 수 있다. In addition, the computer may additionally divide the surgical stage corresponding to the
일 실시 예에서, 노드(350)는 상대적으로 중요도가 떨어지는 수술단계에 대응하여 추가 분할이 중지되고, 노드(350)에 대응하는 수술동작이 요약되어 재생될 수 있다. 노드(350)에 대한 요약수준은 노드(320)에 대한 요약수준보다 낮을 수 있다. 즉, 노드(320)에 대응하는 수술영상은 노드(350)에 대응하는 수술영상보다 더 많이 요약되어 표시될 수 있다.In one embodiment, the
또한, 노드(340)는 상대적으로 중요한 수술단계에 대응하여 추가로 분할되고, 노드(360 및 370) 각각에 대응하는 수술단계의 중요도가 판단될 수 있다. In addition, the
노드(360)가 노드(370)보다 더 중요한 수술단계에 대응하는 경우, 컴퓨터는 노드(360)에 대응하는 수술 영상을 노드(370)에 대응하는 수술 영상보다 더 길게(또는 적게 요약하여) 표시할 수 있다.If
도 5는 일 실시 예에 따라 이벤트를 포함하는 수술 영상의 재생을 제어하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method of controlling reproduction of a surgical image including an event according to an embodiment.
일 실시 예에서, 수술 영상에는 각 수술단계의 중요도와 무관하게 이벤트가 발생할 수 있다. 예를 들어, 이벤트는 출혈이나 수술 오류 상황 등을 포함할 수 있다.In an embodiment, an event may occur in the surgical image regardless of the importance of each surgical step. For example, an event may include a bleeding or surgical error condition, and the like.
예를 들어, 트리(400)에 포함된 노드(410)는 상대적으로 중요도가 떨어지는 지방제거 동작에 대응하지만, 노드(410)의 하위 노드들 중 하나인 노드(420)에 대응하는 수술단계에서 이벤트(예를 들어, 출혈)가 발생할 수 있다. For example, a
이 경우, 컴퓨터는 노드(410)에 대응하는 수술영상을 요약하여 표시하되, 이벤트가 발생한 수술단계에 대응하는 노드(420)에 대응하는 수술영상은 요약하지 않거나, 상대적으로 적게 요약하여 표시할 수 있다. 예를 들어, 노드(420)에 대응하는 수술영상은, 노드(410)에 대응하는 요약된 수술영상의 상당 분량을 차지하도록 재생될 수 있다.In this case, the computer summarizes and displays the surgical image corresponding to the
또한, 컴퓨터는 인식된 이벤트 각각의 중요도를 판단할 수 있다. 컴퓨터는 판단된 중요도에 기초하여, 이벤트에 대응하는 수술영상의 재생을 제어할 수 있다. 예를 들어, 컴퓨터는 이벤트에 대응하는 수술영상의 재생여부 및 요약수준을 결정하고, 결정된 재생여부 및 요약수준에 따라 이벤트에 대응하는 수술영상을 재생할 수 있다. In addition, the computer may determine the importance of each recognized event. Based on the determined importance, the computer may control the reproduction of the surgical image corresponding to the event. For example, the computer may determine whether the operation image corresponding to the event is reproduced and the summary level, and reproduce the operation image corresponding to the event according to the determined reproduction or not and the summary level.
이외에도, 개시된 실시 예에 따른 수술영상 재생제어 방법은, 수술영상이 하나 이상의 단계로 분할되고, 각각의 단계가 하나 이상의 그룹으로 그룹핑된 상황에도 적용될 수 있다. In addition, the surgical image reproduction control method according to the disclosed embodiment may be applied to a situation in which the surgical image is divided into one or more stages, and each stage is grouped into one or more groups.
컴퓨터는 그룹핑된 각각의 그룹에 대한 중요도를 판단하고, 상대적으로 중요도가 떨어지는 그룹에 대응하는 수술영상은 생략되거나 많이 요약될 수 있다. 마찬가지로, 상대적으로 중요도가 높은 그룹에 대응하는 수술영상은 요약되지 않거나, 적게 요약될 수 있다.The computer determines the importance for each grouped group, and the surgical image corresponding to the group with relatively low importance may be omitted or summarized a lot. Similarly, surgical images corresponding to groups of relatively high importance may not be summarized or may be summarized less.
일 실시 예에서, 컴퓨터는 수술영상을 재생할 시간에 대한 정보를 획득하고, 획득된 시간 내에 수술영상이 모두 재생될 수 있도록 각각의 수술영상에 대한 요약수준을 결정할 수 있다. 예를 들어, 상대적으로 짧은 시간 내에 수술영상을 재생해야 하는 경우, 중요도에 따라 더 많이 생략하고, 더 많이 요약할 수 있다.In an embodiment, the computer may obtain information about the time to reproduce the surgical image, and determine the summary level for each surgical image so that all the surgical images can be reproduced within the acquired time. For example, when a surgical image needs to be reproduced within a relatively short time, more may be omitted and more may be summarized according to importance.
일 실시 예에서, 컴퓨터는 사용자로부터 시청을 원하는 수술단계에 대한 정보를 획득할 수 있다. 이 경우, 컴퓨터는 획득된 정보에 대응하는 수술단계를 요약하지 않거나, 적게 요약하여 재생할 수 있다. In an embodiment, the computer may obtain information about the surgical stage desired to be viewed from the user. In this case, the computer may not summarize the surgical steps corresponding to the acquired information, or may summarize them in small numbers.
일 실시 예에서, 컴퓨터는 실시간으로 자료구조를 탐색하여, 각 단계에 대한 중요도를 판단하고, 재생여부 및 요약수준을 결정할 수 있다. 컴퓨터는 특정 수술단계에 대하여 중요도가 낮다고 판단하여, 생략하거나 많이 요약할 것을 결정할 수 있다. 이때 사용자로부터 선택 입력이 수신되면, 컴퓨터는 수술단계를 추가적으로 분할하여 해당 수술단계를 더 자세하게 표시할 수 있다.In an embodiment, the computer may search the data structure in real time, determine the importance of each step, and determine whether to reproduce and a summary level. The computer may decide to omit or summarize a lot by determining that the importance of a particular surgical step is low. In this case, when a selection input is received from the user, the computer may further divide the surgical stage and display the corresponding surgical stage in more detail.
도 6은 일 실시 예에 따른 장치(100)의 구성도이다.6 is a block diagram of an
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.The
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 8과 관련하여 설명된 학습용 데이터 관리방법을 수행한다.The
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술영상을 획득하고, 상기 수술영상을 하나 이상의 영역으로 분할한 정보를 획득하고, 상기 분할된 하나 이상의 영역 각각에 대응하는 수술단계에 대한 정보를 획득하고, 상기 수술단계 각각에 대한 중요도를 판단하고, 상기 판단된 중요도에 기초하여 상기 수술영상의 재생을 제어할 수 있다.For example, the
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다. On the other hand, the
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The
이상에서 전술한 본 발명의 일 실시예에 따른 학습용 데이터 관리방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The data management method for learning according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium to be executed in combination with a computer, which is hardware.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected by a network, and a computer readable code may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may contain random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
100: 장치
102: 프로세서
104: 메모리100: device
102: processor
104: memory
Claims (10)
상기 컴퓨터가 각 세부수술동작 내에 포함된 객체를 기반으로 상기 수술영상을 분할하되, 상기 객체는 신체 장기, 신체 조직, 외부에서 유입된 객체 및 수술 과정에서 신규로 생성된 객체 중 적어도 하나를 포함하는, 수술영상 분할단계;
상기 컴퓨터가 상기 각 세부수술동작의 계층적 분할 정보를 기반으로 상기 각 세부수술동작이 포함된 특정 수술단계 정보를 획득하되, 상기 계층적 분할 정보는 상기 수술영상을 분할함에 따라 생성된 계층 구조에서 특정 세부수술동작에 대응되는 노드가 포함된 상위 계층의 노드로부터 최하위 계층의 노드까지의 정보이며, 상기 수술단계 정보는 상기 각 세부수술동작이 속하는 특정 계층 단위의 노드에 대한 정보인, 수술단계 정보 획득단계;
상기 컴퓨터가 각각의 계층에 대응되는 노드에 대한 재생조건을 판단하는, 재생조건 판단단계; 및
상기 컴퓨터가 상기 판단된 재생조건에 기초하여 특정 노드에 대응하는 영상의 재생을 제어하는, 수술영상 재생 제어단계;를 포함하는, 수술영상 재생 제어 방법.computer acquiring a surgical image;
The computer divides the surgical image based on an object included in each detailed surgical operation, wherein the object includes at least one of a body organ, a body tissue, an object introduced from the outside, and an object newly created in the surgical procedure , surgical image segmentation step;
The computer acquires specific surgical step information including each detailed surgical operation based on the hierarchical segmentation information of each detailed surgical operation, wherein the hierarchical segmentation information is obtained from the hierarchical structure generated by segmenting the surgical image. It is information from the node of the upper layer including the node corresponding to the specific detailed surgical operation to the node of the lowest layer, and the surgical stage information is information about the node of the specific hierarchical unit to which each detailed surgical operation belongs. acquisition stage;
a reproduction condition determination step in which the computer determines reproduction conditions for nodes corresponding to each layer; and
Surgical image reproduction control method comprising a; wherein the computer controls the reproduction of the image corresponding to a specific node based on the determined reproduction condition, the operation image reproduction control step.
상기 수술영상 재생 제어단계는,
상기 컴퓨터가 상기 판단된 재생조건에 기초하여 특정 노드에 대응하는 영상의 재생 여부 또는 요약 수준을 결정하고,
상기 컴퓨터가 상기 결정된 결과를 기반으로 상기 영상의 재생을 제어하는, 수술영상 재생 제어 방법.According to claim 1,
The operation image playback control step,
The computer determines whether or not to reproduce an image corresponding to a specific node or a summary level based on the determined reproduction condition,
The computer controls the reproduction of the image based on the determined result, the surgical image reproduction control method.
상기 수술단계 정보 획득단계는,
상기 컴퓨터가 수술의 종류를 판단하는 단계;를 포함하고,
상기 재생조건 판단단계는,
상기 컴퓨터가 상기 수술의 종류에 기초하여 각 노드의 중요도를 판단하는 단계;를 포함하는, 수술영상 재생 제어 방법.3. The method of claim 2,
The operation step information acquisition step,
Including; determining the type of surgery by the computer;
The regeneration condition determination step is,
Comprising the; step of the computer determining the importance of each node based on the type of surgery; Surgical image reproduction control method.
상기 수술영상 재생 제어단계는,
상기 특정 노드가 중요도가 낮은 것으로 분류되거나 또는 동일한 계층단위에서 이미 동일한 수술단계 정보를 가지는 노드가 재생되는 것으로 분류된 경우, 상기 특정 노드의 복수의 하위 노드에 대한 재생여부 판단을 수행하지 않고 재생범위에서 제외하는, 수술영상 재생 제어 방법.3. The method of claim 2,
The operation image playback control step,
When the specific node is classified as having low importance or a node having the same surgical stage information in the same hierarchical unit is classified as being regenerated, the reproduction range is not performed on a plurality of sub-nodes of the specific node. Excluded from, surgical image playback control method.
상기 수술영상 재생 제어단계는,
상기 특정 노드가 중요도가 낮은 것으로 분류되거나 또는 동일한 계층단위에서 이미 동일한 수술단계 정보를 가지는 노드가 재생되는 것으로 분류된 경우, 상기 특정 노드의 복수의 하위 노드의 중요도를 판단하는 단계; 및
상기 판단된 중요도를 기반으로 상기 복수의 하위 노드의 재생 여부를 분류하는 단계;를 포함하는, 수술영상 재생 제어 방법.3. The method of claim 2,
The operation image playback control step,
determining the importance of a plurality of sub-nodes of the specific node when the specific node is classified as having low importance or a node having the same surgical stage information is regenerated in the same hierarchical unit; and
Classifying whether to reproduce the plurality of sub-nodes based on the determined importance; Containing, Surgical image reproduction control method.
상기 수술영상 재생 제어단계는,
상기 특정 노드가 중요도가 낮은 것으로 분류되거나 또는 동일한 계층단위에서 이미 동일한 수술단계 정보를 가지는 노드가 재생되는 것으로 분류된 경우, 상기 특정 노드의 복수의 하위 노드 중 기 설정된 이벤트가 발생한 하위 노드의 존재 여부를 판단하는 단계; 및
상기 판단된 존재 여부를 기반으로 상기 복수의 하위 노드의 재생 여부를 분류하는 단계;를 포함하고,
상기 이벤트는, 출혈, 수술 중 오류 상황 및 처치 중 적어도 하나를 포함하는, 수술영상 재생 제어 방법.3. The method of claim 2,
The operation image playback control step,
When the specific node is classified as having low importance or a node having the same surgical stage information is classified as being reproduced in the same hierarchical unit, whether there is a sub-node in which a preset event occurs among a plurality of sub-nodes of the specific node determining; and
classifying whether the plurality of lower nodes are reproduced based on the determined existence or not;
The event, including at least one of bleeding, an error situation during surgery, and treatment, a surgical image reproduction control method.
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
수술영상을 획득하는 단계;
각 세부수술동작 내에 포함된 객체를 기반으로 상기 수술영상을 분할하되, 상기 객체는 신체 장기, 신체 조직, 외부에서 유입된 객체 및 수술 과정에서 신규로 생성된 객체 중 적어도 하나를 포함하는, 수술영상 분할단계;
상기 각 세부수술동작의 계층적 분할 정보를 기반으로 상기 각 세부수술동작이 포함된 특정 수술단계 정보를 획득하되, 상기 계층적 분할 정보는 상기 수술영상을 분할함에 따라 생성된 계층 구조에서 특정 세부수술동작에 대응되는 노드가 포함된 상위 계층의 노드로부터 최하위 계층의 노드까지의 정보이며, 상기 수술단계 정보는 상기 각 세부수술동작이 속하는 특정 계층 단위의 노드에 대한 정보인, 수술단계 정보 획득단계;
각각의 계층에 대응되는 노드에 대한 재생조건을 판단하는, 재생조건 판단단계; 및
상기 판단된 재생조건에 기초하여 특정 노드에 대응하는 영상의 재생을 제어하는, 수술영상 재생 제어단계;를 수행하는, 수술영상 재생 제어 장치.a memory storing one or more instructions; and
a processor executing the one or more instructions stored in the memory;
The processor, by executing the one or more instructions,
acquiring a surgical image;
The surgical image is divided based on the object included in each detailed surgical operation, wherein the object includes at least one of a body organ, a body tissue, an object introduced from the outside, and an object newly created in the surgical procedure. division step;
Based on the hierarchical segmentation information of each detailed surgical operation, specific surgical step information including each detailed surgical operation is acquired, wherein the hierarchical segmentation information is a specific detailed surgery in a hierarchical structure created by segmenting the surgical image. an operation step information obtaining step, which is information from the node of the upper layer including the node corresponding to the operation to the node of the lowest layer, wherein the operation step information is information on a node of a specific layer unit to which each detailed operation operation belongs;
a reproduction condition determination step of determining a reproduction condition for a node corresponding to each layer; and
Controlling the reproduction of an image corresponding to a specific node based on the determined reproduction condition, a surgical image reproduction control step; performing a surgical image reproduction control device.
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 특정 노드가 중요도가 낮은 것으로 분류되거나 또는 동일한 계층단위에서 이미 동일한 수술단계 정보를 가지는 노드가 재생되는 것으로 분류된 경우, 상기 특정 노드의 복수의 하위 노드의 중요도를 판단하는 단계; 및
상기 판단된 중요도를 기반으로 상기 복수의 하위 노드의 재생 여부를 분류하는 단계;를 더 수행하는, 수술영상 재생 제어 장치.8. The method of claim 7,
The processor, by executing the one or more instructions,
determining the importance of a plurality of sub-nodes of the specific node when the specific node is classified as having low importance or a node having the same surgical stage information is regenerated in the same hierarchical unit; and
Classifying whether to reproduce the plurality of sub-nodes based on the determined importance; further performing, the surgical image reproduction control device.
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 특정 노드가 중요도가 낮은 것으로 분류되거나 또는 동일한 계층단위에서 이미 동일한 수술단계 정보를 가지는 노드가 재생되는 것으로 분류된 경우, 상기 특정 노드의 복수의 하위 노드 중 기 설정된 이벤트를 포함하는 하위 노드의 존재 여부를 판단하는 단계; 및
상기 판단된 존재 여부를 기반으로 상기 복수의 하위 노드의 재생 여부를 분류하는 단계;를 더 수행하는, 수술영상 재생 제어 장치.8. The method of claim 7,
The processor, by executing the one or more instructions,
When the specific node is classified as having low importance or a node having the same surgical stage information is classified as being reproduced in the same hierarchical unit, the existence of a lower node including a preset event among a plurality of lower nodes of the specific node determining whether or not; and
Classifying whether the plurality of sub-nodes are reproduced based on the determined existence or not; further performing, the surgical image reproduction control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180081802A KR102276862B1 (en) | 2018-03-06 | 2018-07-13 | Method, apparatus and program for controlling surgical image play |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180026574A KR101880246B1 (en) | 2017-12-28 | 2018-03-06 | Method, apparatus and program for controlling surgical image play |
| KR1020180081802A KR102276862B1 (en) | 2018-03-06 | 2018-07-13 | Method, apparatus and program for controlling surgical image play |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180026574A Division KR101880246B1 (en) | 2017-12-28 | 2018-03-06 | Method, apparatus and program for controlling surgical image play |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190106628A KR20190106628A (en) | 2019-09-18 |
| KR102276862B1 true KR102276862B1 (en) | 2021-07-13 |
Family
ID=68070892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180081802A KR102276862B1 (en) | 2018-03-06 | 2018-07-13 | Method, apparatus and program for controlling surgical image play |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102276862B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102505016B1 (en) * | 2020-08-03 | 2023-03-02 | (주)휴톰 | System for generating descriptive information of unit movement in surgical images and method thereof |
| KR102628325B1 (en) * | 2021-07-29 | 2024-01-24 | (주)휴톰 | Apparatus and Method for matching the Real Surgical Image with the 3D based Virtual Simulated Surgical Image based on POI Definition and Phase Recognition |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101175065B1 (en) | 2011-11-04 | 2012-10-12 | 주식회사 아폴로엠 | Method for bleeding scanning during operation using image processing apparatus for surgery |
| KR101302595B1 (en) | 2012-07-03 | 2013-08-30 | 한국과학기술연구원 | System and method for predict to surgery progress step |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101235044B1 (en) * | 2010-11-02 | 2013-02-21 | 서울대학교병원 (분사무소) | Method of operation simulation and automatic operation device using 3d modelling |
| KR101795720B1 (en) * | 2011-05-12 | 2017-11-09 | 주식회사 미래컴퍼니 | Control method of surgical robot system, recording medium thereof, and surgical robot system |
-
2018
- 2018-07-13 KR KR1020180081802A patent/KR102276862B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101175065B1 (en) | 2011-11-04 | 2012-10-12 | 주식회사 아폴로엠 | Method for bleeding scanning during operation using image processing apparatus for surgery |
| KR101302595B1 (en) | 2012-07-03 | 2013-08-30 | 한국과학기술연구원 | System and method for predict to surgery progress step |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190106628A (en) | 2019-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101880246B1 (en) | Method, apparatus and program for controlling surgical image play | |
| KR102014385B1 (en) | Method and apparatus for learning surgical image and recognizing surgical action based on learning | |
| KR101864380B1 (en) | Surgical image data learning system | |
| US11605161B2 (en) | Surgical workflow and activity detection based on surgical videos | |
| KR101926123B1 (en) | Device and method for segmenting surgical image | |
| WO2019204777A1 (en) | Surgical simulator providing labeled data | |
| KR101862360B1 (en) | Program and method for providing feedback about result of surgery | |
| KR102146672B1 (en) | Program and method for providing feedback about result of surgery | |
| US11625834B2 (en) | Surgical scene assessment based on computer vision | |
| KR102276862B1 (en) | Method, apparatus and program for controlling surgical image play | |
| JP2024500938A (en) | Automatic annotation of state features in medical images | |
| KR102427171B1 (en) | Method and Apparatus for providing object labeling within Video | |
| KR102376161B1 (en) | Method and server for providing analysis of surgical procedures based on user interface | |
| Badgery et al. | Machine learning in laparoscopic surgery | |
| US20240223722A1 (en) | Artificial intelligence surgical system and control method therefor | |
| KR20190133424A (en) | Program and method for providing feedback about result of surgery | |
| Diao | A survey on deep learning for surgical planning | |
| US20230045686A1 (en) | Fusion of spatial and temporal context for location determination for visualization systems | |
| WO2024100286A1 (en) | Mapping surgical workflows including model merging | |
| WO2024100287A1 (en) | Action segmentation with shared-private representation of multiple data sources | |
| CN118213051A (en) | System and method for predicting operation stage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |