KR20210157961A - Method and program for acquiring motion information of a surgical robot using 3d simulation - Google Patents

Abstract

Disclosed is a method for acquiring motion information of a surgical robot using a 3D simulation. The method for acquiring motion information of a surgical robot using three-dimensional simulation is a method executed by a computer. The method comprises the steps of: acquiring manipulator operation data obtained by performing a motion on a virtual body model generated by 3D modeling data on a 3D simulation; converting the manipulator operation data into a machine signal so that the robot arm can be executed in the same manner as in the 3D simulation in a real space; executing the robot arm using the machine signal of the converted manipulator operation data, and acquiring robot arm execution data; and acquiring the manipulator operation data and the robot arm execution data as surgical robot data sets. According to the present invention, it is possible to provide an optimized surgical robot data set with high accuracy.

Description

3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램{METHOD AND PROGRAM FOR ACQUIRING MOTION INFORMATION OF A SURGICAL ROBOT USING 3D SIMULATION}Method and program for acquiring operation information of a surgical robot using 3D simulation

본 발명은 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램에 관한 것이다. The present invention relates to a method and a program for acquiring operation information of a surgical robot using 3D simulation.

로봇수술은 의사가 로봇조작장치에서 수술할 때와 같은 손동작으로 로봇암을 조정해 수술을 진행하는 것이다. 대부분 복강경 수술을 통해, 환자의 몸에 몇 개의 작은 구멍을 뚫어 이곳을 통해 수술용 카메라와 수술로봇의 암(arm)을 넣어 수술하는 것인데, 수술과 동시에 수술 부위를 2차원 또는 고화질의 3차원 영상으로 구현하여 제공할 수 있다.Robotic surgery is a surgical operation in which a doctor controls a robot arm with the same hand movements as when operating on a robot-controlled device. In most cases, laparoscopic surgery involves making a few small holes in the patient's body and inserting a surgical camera and surgical robot arm through these. can be implemented and provided.

수술로봇을 이용하여 수술을 진행할 경우, 수술로봇은 사람의 손보다 정교할 수 있고, 또한, 사람의 손보다 가느다란 암을 이용하여 수술도구만을 넣어 수술이 가능하므로, 절개부위를 줄여 인체에 상처를 최소한으로 남기는 최소침습수술을 수행하는데 보다 용이한 장점이 있다.When a surgery is performed using a surgical robot, the surgical robot can be more sophisticated than a human hand, and since it is possible to perform surgery using only a surgical tool using an arm that is thinner than a human hand, the incision area is reduced and the wound on the human body is reduced. It has the advantage of being easier to perform minimally invasive surgery that leaves a minimum of

상술한 장점 등에 의해 최근 이와 같은 로봇의 수술 건수가 증가하고 있으며, 의사와 손동작과 로봇암의 동작을 정확히 일치시키는 것, 또는 정확한 계산에 따른 로봇암을 제어할 수 있는 것이, 이 수술의 성공률을 높일 수 있는 것이다.Due to the above-mentioned advantages, etc., the number of such robot surgeries is increasing recently, and the ability to precisely match the motion of the robot arm with the doctor's hand motion, or to control the robot arm according to accurate calculations, increases the success rate of this surgery. it can be raised

본 발명이 해결하고자 하는 과제는 사용자의 손동작에 의해 동작하는 로봇암의 동작 데이터를 학습데이터로서 활용할 수 있도록 학습 데이터 셋을 제공하는 것이다.An object to be solved by the present invention is to provide a learning data set so that operation data of a robot arm operated by a user's hand motion can be utilized as learning data.

또한, 본 발명이 해결하고자 하는 과제는 사용자의 손동작에 의한 동작과 로봇암의 동작이 매칭되지 않을 경우, 매칭시키는 방법을 제공하는 것이다.In addition, the problem to be solved by the present invention is to provide a method of matching when the motion by the user's hand motion and the motion of the robot arm do not match.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 컴퓨터에 의해 실행되는 방법으로서, 3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 단계, 로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 상기 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계, 상기 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 단계 및 상기 매니퓰레이터작동데이터와 상기 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 단계를 포함한다.A method of acquiring operation information of a surgical robot using 3D simulation according to an embodiment of the present invention for solving the above-described problems is a method executed by a computer, and a virtual body generated by 3D modeling data on a 3D simulation obtaining manipulator operation data obtained by performing an operation on the model; converting the manipulator operation data into a machine signal so that the robot arm can be executed in real space in the same manner as in the 3D simulation; the converted manipulator It includes the steps of executing the robot arm by using the machine signal of the operation data, acquiring the robot arm execution data, and acquiring the manipulator operation data and the robot arm execution data as a surgical robot data set.

상기 매니퓰레이터작동데이터는, 상기 3D 시뮬레이션 상에서 획득한 가상팔동작데이터 및 가상영상데이터이고, 상기 로봇암실행데이터는, 로봇암동작데이터 및 리얼영상데이터이다.The manipulator operation data is virtual arm operation data and virtual image data obtained in the 3D simulation, and the robot arm operation data is robot arm operation data and real image data.

상기 매니퓰레이션작동데이터는, 하나 이상의 특정 가상신체모델을 대상으로, 하나 이상의 사용자가 하나 이상의 특정 동작을 매니퓰레이터로 조작함으로써 획득된 데이터이다.The manipulation operation data is data obtained by manipulating one or more specific motions by one or more users with a manipulator for one or more specific virtual body models.

상기 하나 이상의 특정 가상신체모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 특정 환자마다 획득, 특정 질환 케이스별로 획득, 또는, 특정 장기별로 획득되는 것 중 적어도 하나에 의해 획득되는 데이터이다.The one or more specific virtual body models are data obtained by shaping body parts in 3D through 3D modeling, and are data acquired by at least one of being acquired for each specific patient, acquired for each specific disease case, or acquired for each specific organ. to be.

하나 이상의 특정 동작은, 수술 동작, 사용자 임의의 동작, 단순 동작, 미리 정해진 형식적인 동작 중 적어도 하나이다.The one or more specific operations are at least one of a surgical operation, a user's arbitrary operation, a simple operation, and a predetermined formal operation.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 상기 수술로봇 데이터 셋의 매칭도를 획득하는 단계, 상기 획득된 매칭도에 따라, 3D 시뮬레이션 상에서 동작을 수행하여 획득되는 상기 매니퓰레이터작동데이터 보정, 및 상기 컨버팅된 매니퓰레이션작동데이터의 기계 신호에 따라 동작하는 로봇 암의 동작 보정 중 적어도 하나의 보정을 수행하는 단계를 더 포함한다.A method of obtaining operation information of a surgical robot using 3D simulation according to an embodiment of the present invention for solving the above-described problems includes obtaining a matching degree of the surgical robot data set, according to the obtained matching degree , correction of the manipulator operation data obtained by performing an operation on a 3D simulation, and correction of at least one of operation correction of a robot arm operating according to a machine signal of the converted manipulation operation data. .

상기 매칭도를 획득하는 단계에서, 상기 매칭도는, 상기 3D 시뮬레이션 상의 동작과 로봇 암의 동작이 일치하는 정도를 나타내는 지표이다.In the obtaining of the degree of matching, the degree of matching is an index indicating a degree to which the motion in the 3D simulation matches the motion of the robot arm.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 상기 수술로봇 데이터 셋을 하나 이상 획득하고, 획득된 하나 이상의 수술로봇 데이터 셋을 이용하여 상기 매칭도를 높이는 학습을 수행하는 단계를 더 포함한다.In a method for acquiring operation information of a surgical robot using 3D simulation according to an embodiment of the present invention for solving the above-mentioned problems, one or more surgical robot data sets are acquired, and the acquired one or more surgical robot data sets are used. The method further includes performing learning to increase the matching degree by using the .

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은 상기 학습을 수행함에 따라, 수술로봇 최적 데이터셋을 생성하는 단계를 더 포함한다.The method of obtaining operation information of a surgical robot using 3D simulation according to an embodiment of the present invention for solving the above-described problem further includes the step of generating an optimal surgical robot dataset as the learning is performed. .

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 방법 중 어느 하나의 방법을 실행시키기 위해 매체에 저장된다.A program for obtaining operation information of a surgical robot using 3D simulation according to an embodiment of the present invention for solving the above-described problems is combined with a computer that is hardware, and is stored in a medium to execute any one of the methods. is saved

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

상기 본 발명에 의하면, 사용자의 손동작으로부터 획득되는 데이터와 그로 인해 동작하는 로봇암으로부터 획득되는 데이터를 수술로봇 데이터 셋으로 획득하여 제공할 수 있다.According to the present invention, data obtained from a user's hand motion and data obtained from a robot arm operating thereby can be obtained and provided as a surgical robot data set.

상기 본 발명에 의하면, 획득된 수술로봇 데이터 셋을 학습함으로써 보다 정확도가 높은 수술로봇 최적 데이터 셋을 제공할 수 있다.According to the present invention, it is possible to provide an optimal surgical robot data set with higher accuracy by learning the acquired surgical robot data set.

따라서, 상기 본 발명에 의하면, 사용자의 손동작에 의한 데이터와 로봇암의 동작에 의한 데이터 간의 학습 인지 정확도를 높일 수 있는 효과가 있다.Therefore, according to the present invention, there is an effect that can increase the learning recognition accuracy between the data by the user's hand motion and the data by the operation of the robot arm.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법의 흐름도이다.
도 2는 본 발명의 수술로봇의 동작 정보를 획득하기 위한 정보 획득의 매체 및 정보 획득 과정을 설명하기 위한 도면이다.
도 3 내지 도 5는 수술로봇의 동작 정보를 획득하기 위하여 획득한 데이터들을 기반으로 매칭 및 학습을 수행하는 방법을 설명하기 위한 흐름도이다.1 is a flowchart of a method of acquiring operation information of a surgical robot using 3D simulation according to an embodiment of the present invention.
2 is a view for explaining the information acquisition medium and information acquisition process for acquiring the operation information of the surgical robot of the present invention.
3 to 5 are flowcharts for explaining a method of performing matching and learning based on data obtained to obtain operation information of a surgical robot.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.In this specification, "image" may mean multi-dimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image). For example, the image may include a medical image of the object obtained by the CT imaging apparatus.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.As used herein, "object" may be a human or animal, or a part or all of a human or animal. For example, the object may include at least one of organs, such as a liver, heart, uterus, brain, breast, and abdomen, and blood vessels.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.As used herein, a “user” may be a medical professional, such as a doctor, a nurse, a clinical pathologist, or a medical imaging specialist, and may be a technician repairing a medical device, but is not limited thereto.

본 명세서에서 "3D 모델링데이터"는 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 사용자에게 제공되는 디스플레이 상에서 2D로 제공되나, 3D의 형태로 보여지도록 제공되거나, 또는 증강현실과 같이 해당 디스플레이를 통하여 실제 공간상에 신체 부위가 나타나는 것처럼 보여지도록 제공될 수 있다.In the present specification, "3D modeling data" is data obtained by shaping a body part in 3D through 3D modeling, and is provided in 2D on a display provided to a user, but is provided to be viewed in 3D form, or a corresponding display such as augmented reality. It can be provided so that body parts appear as if they appear in real space through

본 명세서에서 "매니퓰레이터(Manipulator)"는 사용자의 손을 이용하여 실제 수술 로봇의 암(arm)에 신호를 전송하여 로봇의 암을 제어하는 것으로서, 후술하는 도 2의 예시와 같이 사용자가 손을 통해 매니퓰레이터를 실제 움직임 또는 수술 행위로 동작을 제어할 수 있다.As used herein, a "manipulator" is to transmit a signal to the arm of an actual surgical robot using the user's hand to control the arm of the robot. The manipulator can be controlled by actual movement or surgical action.

본 명세서에서 "로봇암실행데이터"는 수술 로봇의 암이 매니퓰레이터의 신호를 받아 매니퓰레이터의 제어대로 움직이는 데이터로서, 로봇암실행데이터 자체에서 발생되는 움직임 데이터를 의미한다.As used herein, “robot arm execution data” refers to data that the arm of the surgical robot receives a signal from the manipulator and moves according to the control of the manipulator, and refers to movement data generated from the robot arm execution data itself.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.As used herein, the term “computer” includes various devices capable of providing a result to a user by performing arithmetic processing. For example, computers include desktop PCs and notebooks (Note Books) as well as smart phones, tablet PCs, cellular phones, PCS phones (Personal Communication Service phones), synchronous/asynchronous A mobile terminal of International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable. In addition, when a head mounted display (HMD) device includes a computing function, the HMD device may be a computer. In addition, the computer may correspond to a server that receives a request from a client and performs information processing.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법의 흐름도이다.1 is a flowchart of a method of acquiring operation information of a surgical robot using 3D simulation according to an embodiment of the present invention.

도 1을 참조하면, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 컴퓨터에 의해 실행되는 방법으로서, 매니퓰레이터작동데이터를 획득하는 단계(S110), 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계(S130), 로봇암실행데이터를 획득하는 단계(S150) 및 수술로봇 데이터 셋을 획득하는 단계(S170)를 포함한다.Referring to FIG. 1 , the method of obtaining operation information of a surgical robot using 3D simulation is a method executed by a computer, and includes obtaining manipulator operation data (S110), converting the manipulator operation data into a machine signal. It includes a step (S130), a step of acquiring robot arm execution data (S150), and a step of acquiring a surgical robot data set (S170).

매니퓰레이터작동데이터를 획득하는 단계(S110)는 3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 것이다.The step of acquiring the manipulator operation data ( S110 ) is to acquire the manipulator operation data obtained by performing an operation on the virtual body model generated by the 3D modeling data on the 3D simulation.

3D 시뮬레이션이란, 신체부위가 3D로 모델링된 3D 모델링데이터를 기반으로 하여 수술도구 등의 움직임을 확인할 수 있도록 3D 상에서 시뮬레이션하는 프로그램이다. 3D 시뮬레이션은 수술도구의 단순 움직임뿐만 아니라, 해당 3D 모델링데이터에 의해 생성된 가상신체모델에 수술 행위를 가상으로 진행되는 상황을 시뮬레이션하는 것이다. 본 명세서에서 3D 시뮬레이션은 매니퓰레이터와 연결되어 활용될 수 있고, 또는 단독 프로그램으로 활용되어 다른 가상의 수술도구를 사용할 수도 있다.3D simulation is a program that simulates in 3D so that movement of surgical tools, etc. can be checked based on 3D modeling data in which body parts are modeled in 3D. The 3D simulation simulates not only the simple movement of a surgical tool, but also a situation in which a surgical action is performed in a virtual body model generated by the corresponding 3D modeling data. In this specification, the 3D simulation may be utilized in connection with the manipulator, or may be utilized as a standalone program to use other virtual surgical tools.

매니퓰레이터는, 상술한 바와 같이 사용자의 손을 이용하여 실제 수술 로봇의 암(arm)에 신호를 전송하여 로봇의 암을 제어하는 것인데, 매니퓰레이터작동데이터는, 3D 시뮬레이션 상에서 사용자가 매니퓰레이터를 동작함으로써 획득한 가상팔동작데이터 및 가상영상데이터이다.As described above, the manipulator controls the arm of the robot by transmitting a signal to the arm of the actual surgical robot using the user's hand. virtual arm motion data and virtual image data.

가상팔동작데이터는, 사용자가 매니퓰레이터를 이용하여 움직이는 팔동작의 데이터이고, 가상영상데이터는, 매니퓰레이터를 이용함으로써 3D 시뮬레이션 상에서 수술도구에 근접하게 배치된 하나 이상의 카메라를 통하여 획득되는 가상의 영상데이터이다.The virtual arm motion data is data of an arm motion that a user moves using a manipulator, and the virtual image data is virtual image data obtained through one or more cameras placed close to a surgical tool on a 3D simulation by using a manipulator. .

보다 구체적으로, 매니퓰레이션작동데이터는, 하나 이상의 특정 가상신체모델을 대상으로, 하나 이상의 사용자가 하나 이상의 특정 동작을 매니퓰레이터로 조작함으로써 획득된 데이터이다.More specifically, the manipulation operation data is data obtained by one or more users operating one or more specific movements with a manipulator for one or more specific virtual body models.

하나 이상의 특정 가상신체모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 특정 환자마다 획득, 특정 질환 케이스별로 획득, 또는, 특정 장기별로 획득되는 것 중 적어도 하나에 의해 획득되는 데이터이다.One or more specific virtual body models are data obtained by shaping body parts in 3D through 3D modeling, and are data obtained by at least one of being acquired for each specific patient, acquired for each specific disease case, or acquired for each specific organ. .

3D 모델링 데이터는 신체 부위를 촬영한 의료영상데이터를 기반으로 생성된다. 3D modeling data is generated based on medical image data of body parts.

일 실시예로, 3D 모델링 데이터는, 특정 대상체의 수술이 필요한 특정 신체 부위를 촬영하는 경우, 다양한 자세 및 각도에 의해 촬영된 의료영상데이터를 기반으로 생성될 수 있으며, 또는, 수술 자세에서 촬영된 의료영상데이터를 기반으로 생성될 수도 있다.In one embodiment, the 3D modeling data may be generated based on medical image data captured by various postures and angles when capturing a specific body part that requires surgery of a specific object, or, It may be generated based on medical image data.

다른 실시예로, 3D 모델링 데이터는, 특정 질환 케이스별로 해당 질환이 있는 대상체의 대상 신체 부위를 촬영하여 획득된 의료영상데이터를 기반으로 생성될 수 있으며, 이 때에도 다양한 자세 및 각도, 또는 해당 수술 자세에서 촬영된 의료영상데이터를 기반으로 생성될 수 있다.In another embodiment, 3D modeling data may be generated based on medical image data obtained by photographing a target body part of an object having a corresponding disease for each specific disease case, and even in this case, various postures and angles, or corresponding surgical postures It can be generated based on the medical image data taken in

다른 실시예로, 3D 모델링 데이터는, 특정 장기를 촬영하여 획득된 의료영상데이터를 기반으로 생성될 수 있으며, 이 ??에도 다양한 자세 및 각도, 또는 해당 장기에 대하여 수행될 수 있는 수술의 자세에서 촬영된 의료영상데이터를 기반으로 생성될 수 있다.In another embodiment, 3D modeling data may be generated based on medical image data obtained by photographing a specific organ, and even in this case, various postures and angles, or postures of surgery that can be performed on the organ It may be generated based on the photographed medical image data.

의료영상 촬영장치(예를 들어, CT 장치 등)가 의료영상데이터를 기반으로 3D 렌더링을 수행하여 3D 모델링 데이터를 생성한 후 컴퓨터로 전송할 수 있다. 컴퓨터로 전송된 3D 모델링 데이터는 3D 시뮬레이션 프로그램 상에서 제공될 수 있다.A medical imaging apparatus (eg, a CT apparatus, etc.) may perform 3D rendering based on the medical image data to generate 3D modeling data, and then transmit the 3D modeling data to a computer. The 3D modeling data transmitted to the computer may be provided on a 3D simulation program.

다른 실시예로, 컴퓨터는 일반적인 촬영조건에서 촬영된 의료영상데이터에서 특정한 수술 시의 신체상태로 변경하는 보정알고리즘을 적용하여 3D 모델링 데이터를 생성할 수 있다. 예컨대, 보정알고리즘은 일반적인 촬영조건 및 신체상태에 대한 의료영상데이터와 특정한 신체상태 및 수술조건의 수술 시 신체상태데이터를 매칭하여 형성된 빅데이터를 학습함에 따라 산출될 수 있다.In another embodiment, the computer may generate 3D modeling data by applying a correction algorithm that changes from medical image data captured under general imaging conditions to a physical state during a specific operation. For example, the correction algorithm may be calculated by learning big data formed by matching medical image data for general imaging conditions and physical conditions with body state data during surgery for specific physical conditions and surgical conditions.

컴퓨터는 가상현실 디바이스를 통해 사용자에게 3D 모델링 데이터를 통해 생성된 가상신체모델을 제공하여, 해당 가상신체모델에 대하여 매니퓰레이터로 동작을 수행할 수 있도록 하거나, 또는, 가상현실 디바이스가 아닌 3D 시뮬레이션 상에서 2D로 제공되는 3D 형태의 가상신체모델에 대하여 매니퓰레이터로 동작을 수행할 수 있도록 한다.The computer provides a virtual body model generated through 3D modeling data to the user through a virtual reality device so that an operation can be performed on the virtual body model as a manipulator, or 2D in a 3D simulation rather than a virtual reality device It enables the manipulator to perform operations on the 3D form of the virtual body model provided by .

하나 이상의 특정 동작은, 수술 동작, 사용자 임의의 동작, 단순 동작, 미리 정해진 형식적인 동작 중 적어도 하나이다. 사용자 임의의 동작이나 단순 동작은, 예컨대, 사용자가 매니퓰레이터를 이용하여 수술도구를 1cm 이동하는 경우 등으로 이동의 거리, 방향이나 간격이 그대로 로봇암에 반영되는지를 확인할 수 있다.The one or more specific operations are at least one of a surgical operation, a user's arbitrary operation, a simple operation, and a predetermined formal operation. A user's arbitrary motion or simple motion, for example, when the user moves a surgical tool by 1 cm using a manipulator, can be checked to see whether the distance, direction, or interval of movement is reflected in the robot arm as it is.

미리 정해진 형식적인 동작이란, 수술 행위에서 수행하는 형식적인 동작이나, 수술 전 상태를 확인하기 위한 형식적인 동작 등을 포함하는 것이다.The predetermined formal operation includes a formal operation performed in a surgical act, a formal operation for confirming a pre-operative state, and the like.

매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계(S130)는 로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 것이다.The step of converting the manipulator operation data into a machine signal ( S130 ) is to convert the manipulator operation data into a machine signal so that the robot arm can be executed in the same manner as in the 3D simulation in real space.

매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 방법은, 로봇 암이 매니퓰레이터작동데이터를 받아 매니퓰레이터의 동작대로 실행되기 위한 것이면 어느 방법이든 가능하다.A method of converting the manipulator operation data into a machine signal may be any method as long as the robot arm receives the manipulator operation data and executes the operation according to the operation of the manipulator.

로봇암실행데이터를 획득하는 단계(S150)는 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 것이다.The step of acquiring the robot arm execution data (S150) is to execute the robot arm by using the machine signal of the converted manipulator operation data, and to acquire the robot arm execution data.

로봇 암을 실행시킨다는 것은, 매니퓰레이터의 움직임대로 컨버팅된 신호를 통해 로봇 암을 움직이도록 하는 것이며, 로봇암실행데이터는 로봇암이 동작함으로써 획득되는 데이터로서, 로봇암동작데이터 및 리얼영상데이터이다.Executing the robot arm means moving the robot arm through a signal converted according to the movement of the manipulator, and the robot arm execution data is data obtained by operating the robot arm, which are robot arm motion data and real image data.

로봇암동작데이터는, 로봇암이 동작함으로써 획득되는 움직임 자체에 대한 데이터이고, 리얼영상데이터는, 로봇암에 근접하게 배치된 하나 이상의 카메라를 통하여 획득되는 실제 영상의 데이터이다. The robot arm motion data is data about the movement itself obtained by operating the robot arm, and the real image data is data of an actual image obtained through one or more cameras disposed close to the robot arm.

수술로봇 데이터 셋을 획득하는 단계(S170)는, 매니퓰레이터작동데이터와 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 것이다. 즉, 매니퓰레이터작동데이터와, 매니퓰레이터를 3D 시뮬레이션을 통해 동작시킴으로써 획득되는 매니퓰레이터작동데이터에 의해 동작한 로봇암의 로봇암실행데이터를 하나의 셋으로 획득하는 것이다.The step of acquiring the surgical robot data set (S170) is to acquire the manipulator operation data and the robot arm execution data as the surgical robot data set. That is, the manipulator operation data and the robot arm execution data of the robot arm operated by the manipulator operation data obtained by operating the manipulator through 3D simulation are acquired as one set.

수술로봇 데이터 셋은, 하나 이상의 매니퓰레이터의 동작에 의해 획득되는 것으로서, 다양한 수술행위 또는 동작 등에 대하여 3D 시뮬레이션에서 동작하는 매니퓰레이터의 동작과 이로 인해 실제 로봇암에서 실행되는 동작에 대하여 데이터 셋으로 획득할 수 있다.The surgical robot data set is obtained by the motion of one or more manipulators, and it can be obtained as a data set for the motion of the manipulator operating in the 3D simulation for various surgical actions or motions and the motion executed in the actual robot arm. have.

실제로 간단한 동작이나 자주 수행되는 수술 동작의 경우에는, 실제 수술 진행으로 인하여 많은 데이터가 축적되어 있으나, 복잡한 동작이나 특이한 케이스의 수술 동작의 경우에는, 데이터가 적어 이를 고도화시키는 데에 어려움이 있다.In fact, in the case of a simple operation or a frequently performed surgical operation, a lot of data is accumulated due to the actual operation. However, in the case of a complicated operation or a surgical operation in a specific case, there is little data and it is difficult to upgrade it.

따라서, 본 발명에 의하면 복잡한 동작이나 특이한 케이스의 수술 동작의 경우라도, 많은 데이터를 축적하여 해당 동작들을 로봇암에서 정확하게 수행될 수 있도록 고도화시킬 수 있다.Therefore, according to the present invention, even in the case of a complicated operation or a surgical operation of a specific case, it is possible to accumulate a lot of data and upgrade the corresponding operations to be accurately performed by the robot arm.

또한, 로봇암을 이용하여 수술을 진행하는 경우, 사용자가 의도하는 수치 방향, 정도 등이 로봇암에서는 정확히 반영되지 않는 경우가 있다. In addition, when a surgery is performed using a robot arm, the numerical direction, degree, etc. intended by the user may not be accurately reflected in the robot arm.

본 발명과 같이 상호간의 데이터를 수술로봇 데이터 셋으로 획득하여 이를 활용하는 경우, 신호 전달이나 상호 데이터 간 매칭 부분에서 보정을 통해 사용자가 의도하는 수치, 방향, 정도 등이 로봇암에서도 정확하게 반영될 수 있도록 하는 효과가 있다.As in the present invention, when mutual data is acquired as a surgical robot data set and used, the number, direction, degree, etc. intended by the user can be accurately reflected in the robot arm through correction in signal transmission or matching between mutual data. has the effect of making it

도 2는 본 발명의 수술로봇의 동작 정보를 획득하기 위한 정보 획득의 매체 및 정보 획득 과정을 설명하기 위한 도면이다.2 is a view for explaining the information acquisition medium and information acquisition process for acquiring the operation information of the surgical robot of the present invention.

도 2에는, 수술로봇의 동작 정보를 획득하기 위한 정보 획득의 매체로서 매니퓰레이터(10)와 로봇암(20)이 도시되어 있다.2, the manipulator 10 and the robot arm 20 are shown as information acquisition media for acquiring operation information of the surgical robot.

매니퓰레이터(10)는 도 1의 설명에서 상술한 내용 및 도 2에 도시된 바와 같이, 사용자가 손을 이용하여 가상신체모델에 대한 수술 행위 또는 특정 동작 등을 수행하도록 구성되어 있다.As described above in the description of FIG. 1 and as shown in FIG. 2 , the manipulator 10 is configured to allow a user to perform a surgical action or a specific action on the virtual body model using a hand.

이 때, 사용자는 매니퓰레이터(10)에 포함된 디스플레이 또는 가상현실 디바이스를 통해 3D 시뮬레이션 상에서 디스플레이 되는 가상신체모델을 대상으로 특정 동작이나 수술 행위 등을 수행할 수 있다. In this case, the user may perform a specific operation or surgical action on the virtual body model displayed on the 3D simulation through the display or the virtual reality device included in the manipulator 10 .

상기와 같이 매니퓰레이터(10)를 이용한 사용자의 가상신체모델에 대한 특정 동작이나 수술 행위로 인하여 매니퓰레이터작동데이터가 획득되고, 획득된 매니퓰레이터작동데이터를 기계 신호로 컨버팅하여 로봇암(20)을 실행시키고, 실행된 로봇암(20)으로부터 로봇암실행데이터를 획득하는 것이다.As described above, manipulator operation data is obtained due to a specific operation or surgical action on the user's virtual body model using the manipulator 10, and the obtained manipulator operation data is converted into a machine signal to execute the robot arm 20, It is to acquire robot arm execution data from the executed robot arm 20 .

도 3 내지 도 5는 수술로봇의 동작 정보를 획득하기 위하여 획득한 데이터들을 기반으로 매칭 및 학습을 수행하는 방법을 설명하기 위한 흐름도이다.3 to 5 are flowcharts for explaining a method of performing matching and learning based on data obtained to obtain operation information of a surgical robot.

도 3을 참조하면, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 도 1의 단계 이후에, 수술로봇 데이터 셋의 매칭도를 획득하는 단계(S190) 및 보정을 수행하는 단계(S210)를 더 포함한다.Referring to FIG. 3 , the method of obtaining the operation information of the surgical robot using 3D simulation includes the steps of obtaining a matching degree of the surgical robot data set ( S190 ) and performing correction after the step of FIG. 1 ( S190 ) S210) is further included.

수술로봇 데이터 셋의 매칭도를 획득하는 단계(S190)에서 매칭도는, 상술한 바와 같이 매니퓰레이터에서 수행된 동작과 동일하게 로봇암이 동작을 수행하였는지, 즉, 3D 시뮬레이션 상의 동작과 로봇암의 동작이 일치하는 정도에 대한 지표로서, 가상팔동작데이터와 로봇암동작데이터의 매칭 정도 및 가상영상데이터와 리얼영상데이터의 매칭 정도를 기반으로 하여 획득하거나, 또는 가상팔동작데이터와 가상영상데이터가 조합된 매니퓰레이터작동데이터 및 로봇암동작데이터와 리얼영상데이터가 조합된 로봇암실행데이터의 매칭 정도를 나타낸 지표일 수 있다.In the step (S190) of obtaining the degree of matching of the surgical robot data set, the degree of matching is determined whether the robot arm performed the same motion as the motion performed by the manipulator as described above, that is, the motion in the 3D simulation and the motion of the robot arm. As an indicator of the degree of matching, it is obtained based on the matching degree of the virtual arm motion data and the robot arm motion data and the matching degree of the virtual image data and the real image data, or a combination of the virtual arm motion data and the virtual image data It may be an index indicating the degree of matching of the robot arm operation data in which the manipulator operation data and robot arm operation data and real image data are combined.

또한, 매칭도는 단순하게 어느 정도 매칭되었는지 뿐만 아니라, 어느 부분이 매칭되지 않고 얼마나 차이가 존재하는지에 대한 정보를 함께 포함할 수도 있다.In addition, the degree of matching may include not only the degree of matching, but also information on which parts are not matched and how much difference exists.

보정을 수행하는 단계(S210)는 획득된 매칭도에 따라, 3D 시뮬레이션 상에서 동작을 수행하여 획득되는 매니퓰레이터작동데이터 보정, 및 컨버팅된 매니퓰레이션작동데이터의 기계 신호에 따라 동작하는 로봇 암의 동작 보정 중 적어도 하나의 보정을 수행하는 것이다.In the step of performing the correction (S210), according to the obtained matching degree, the manipulator operation data obtained by performing the operation on the 3D simulation, and the operation correction of the robot arm operating according to the machine signal of the converted manipulation operation data are performed. to perform at least one of the corrections.

즉, 매칭도가 일정 수준 이하로서 보정이 필요한 경우, 매니퓰레이터작동데이터 자체를 보정하거나, 또는 매니퓰레이터작동데이터를 전송하여 이에 따라 동작하는 로봇암의 동작을 보정하거나, 또는 매니퓰레이터작동데이터 및 로봇암의 동작을 매칭도가 일정 수준 이상이 되도록 모두 보정할 수 있다.That is, when the matching degree is below a certain level and correction is required, the manipulator operation data itself is corrected, or the operation of the robot arm that operates according to the transmission of the manipulator operation data is corrected, or the operation of the manipulator operation data and the robot arm can be corrected so that the matching degree is above a certain level.

3D 시뮬레이션을 통해 매니퓰레이터의 동작과 그에 의한 로봇암의 동작의 매칭도를 판단하여, 매칭도가 일정 수준 이상으로 되도록 데이터나 움직임 정도를 보정함으로써, 보다 정확한 로봇암 제어가 가능하도록 하는 효과가 있다.Through 3D simulation, the degree of matching between the motion of the manipulator and the motion of the robot arm is determined, and the data or the degree of motion is corrected so that the degree of matching is higher than a certain level, thereby enabling more accurate robot arm control.

3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 도 1의 단계 이후 또는, 도 3의 단계 이후에, 학습을 수행하는 단계(S230)를 더 포함할 수 있다.The method of obtaining the operation information of the surgical robot using 3D simulation may further include the step of performing learning ( S230 ) after the step of FIG. 1 or after the step of FIG. 3 .

도 4에서는 도 3의 단계 이후에, 학습을 수행하는 단계(S230)를 더 포함하는 것으로 도시하였으나, 수술로봇 데이터 셋을 획득하는 단계(S170) 이후에 해당 데이터 셋을 이용하여 학습을 수행하는 단계(S230)를 진행할 수도 있다.In FIG. 4, after the step of FIG. 3, the step of performing learning (S230) is further illustrated, but after the step (S170) of acquiring the surgical robot data set (S170), the step of performing learning using the data set (S230) may be performed.

도 4를 참조하여 설명하면, 수술로봇 데이터 셋을 하나 이상 획득하고, 획득된 하나 이상의 수술로봇 데이터 셋을 이용하여 매칭도를 높이는 학습을 수행(S230)할 수 있다.Referring to FIG. 4 , one or more surgical robot data sets may be acquired, and learning to increase the degree of matching may be performed using the acquired one or more surgical robot data sets (S230).

학습은, 하나 이상의 수술로봇 데이터 셋을 학습 데이터 셋으로서 딥러닝을 수행하는 것이다. 매칭도를 높이는 학습이란, 수술로봇 데이터 셋의 매칭도가 일정 수준 이하인 경우, 해당 매칭도가 일정 수준 이상이 되도록 각 데이터 또는 동작 기준 등으로 보정하는 학습을 의미하는 것이다.Learning is to perform deep learning using one or more surgical robot data sets as a learning data set. Learning to increase the degree of matching means learning to correct with each data or operation standard so that the matching degree of the surgical robot data set is below a certain level, so that the matching level is higher than or equal to a certain level.

해당 학습은 특정 동작뿐만 아니라, 가능한 다양하고 동일한 동작일지라도 많은 동작에 대하여 수행함으로써, 로봇암의 수술행위 정확도가 높아질 수 있다.The corresponding learning is performed not only for a specific motion but also for many motions that are as diverse and identical as possible, so that the surgical action accuracy of the robot arm can be increased.

본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성 될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.A deep neural network (DNN) according to embodiments of the present invention refers to a system or network that constructs one or more layers in one or more computers and performs judgment based on a plurality of data. For example, a deep neural network may be implemented with a set of layers including a convolutional pooling layer, a locally-connected layer, and a fully-connected layer. A convolutional pooling layer or a local connection layer may be configured to extract features in an image. A fully connected layer can determine the correlation between features of an image. In some embodiments, the overall structure of the deep neural network may consist of a convolutional pooling layer followed by a local access layer, and a fully connected layer connected to the local access layer. The deep neural network may include various judgment criteria (ie, parameters), and may add new judgment criteria (ie, parameters) through input image analysis.

본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다. The deep neural network according to embodiments of the present invention is a structure called a convolutional neural network suitable for image analysis, and a feature extraction layer that learns by itself the feature with the greatest discriminative power from given image data. ) and a prediction layer that learns a predictive model to obtain the highest predictive performance based on the extracted features may have an integrated structure.

특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다. The feature extraction layer spatially integrates the convolution layer, which creates a feature map by applying a plurality of filters to each region of the image, and the feature map to obtain features that are invariant to changes in position or rotation. It may be formed in a structure in which a pooling layer that can be extracted is alternately repeated several times. Through this, various level features can be extracted from low-level features such as points, lines, and planes to complex and meaningful high-level features.

콘벌루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상 시킨다. The convolutional layer obtains a feature map by taking a nonlinear activation function on the dot product of the filter and the local receptive field for each patch of the input image. In comparison, CNNs are characterized by using filters with sparse connectivity and shared weights. This connection structure reduces the number of parameters to be learned, makes learning through the backpropagation algorithm efficient, and consequently improves prediction performance.

통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.The integration layer (Pooling Layer or Sub-sampling Layer) generates a new feature map by using local information of the feature map obtained from the previous convolutional layer. In general, the newly created feature map by the integration layer is reduced to a smaller size than the original feature map. Representative integration methods include Max Pooling, which selects the maximum value of the corresponding region in the feature map, and the corresponding feature map in the feature map. There is an average pooling method that obtains the average value of a region. In general, the feature map of the integrated layer can be less affected by the location of arbitrary structures or patterns present in the input image than the feature map of the previous layer. That is, the integration layer can extract features that are more robust to regional changes such as noise or distortion in the input image or previous feature map, and these features can play an important role in classification performance. Another role of the integration layer is to reflect the features of a wider area as you go up to the upper learning layer in the deep structure. More and more abstract features can be generated that reflect the features of the entire image.

이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.In this way, the features finally extracted through iteration of the convolutional layer and the integration layer are fully connected to a classification model such as a multi-layer perception (MLP) or a support vector machine (SVM). -connected layer) and can be used for classification model training and prediction.

다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.However, the structure of the deep neural network according to the embodiments of the present invention is not limited thereto, and may be formed of a neural network of various structures.

도 5를 참조하면, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법은, 도 4의 단계 이후, 수술로봇 최적 데이터셋을 생성하는 단계(S250)를 더 포함할 수 있다.Referring to FIG. 5 , the method of obtaining operation information of the surgical robot using 3D simulation may further include, after the step of FIG. 4 , the step of generating an optimal surgical robot dataset ( S250 ).

수술로봇 최적 데이터셋을 생성하는 단계(S250)는 학습을 수행(S230)함에 따라, 수술로봇 최적 데이터셋을 생성하는 것이다.The step of generating the optimal surgical robot dataset (S250) is to generate the optimal surgical robot dataset as the learning is performed (S230).

전술한 바와 같이, 수술로봇 데이터 셋의 매칭도가 일정 수준 이하인 경우, 해당 매칭도가 일정 수준 이상이 되도록 각 데이터 또는 동작 기준 등으로 보정하는 학습을 수행하고, 이에 따라 획득된 데이터들을 기반으로 하여 수술로봇 최적 데이터셋을 생성하는 것이다.As described above, when the matching degree of the surgical robot data set is below a certain level, learning is performed to correct each data or operation standard so that the matching degree is above a certain level, and based on the obtained data, It is to create an optimal dataset for surgical robots.

수술로봇 최적 데이터셋은, 최적의 매니퓰레이터작동데이터와 로봇암실행데이터의 셋을 포함하는 것이다.The optimal surgical robot dataset includes a set of optimal manipulator operation data and robot arm operation data.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing the technical spirit or essential features thereof. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10 : 매니퓰레이터
20 : 로봇암10 : Manipulator
20: robot arm

Claims (10)

컴퓨터에 의해 실행되는 방법으로서,
3D 시뮬레이션 상에서 3D 모델링데이터에 의해 생성된 가상신체모델에 동작을 수행함으로써 획득되는 매니퓰레이터작동데이터를 획득하는 단계;
로봇 암이 실제 공간 상에서, 3D 시뮬레이션 상에서의 동작과 동일하게 실행될 수 있도록 상기 매니퓰레이터작동데이터를 기계 신호로 컨버팅하는 단계;
상기 컨버팅된 매니퓰레이터작동데이터의 기계 신호를 이용하여 로봇 암을 실행시키고, 로봇암(arm)실행데이터를 획득하는 단계; 및
상기 매니퓰레이터작동데이터와 상기 로봇암실행데이터를 수술로봇 데이터 셋으로 획득하는 단계; 를 포함하는,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.A computer-implemented method comprising:
acquiring manipulator operation data obtained by performing an operation on a virtual body model generated by 3D modeling data on a 3D simulation;
converting the manipulator operation data into machine signals so that the robot arm can be executed in the same manner as in the 3D simulation in real space;
executing the robot arm using the machine signal of the converted manipulator operation data, and acquiring robot arm execution data; and
acquiring the manipulator operation data and the robot arm execution data as a surgical robot data set; containing,
A method of acquiring operation information of a surgical robot using 3D simulation. 제1항에 있어서,
상기 매니퓰레이터작동데이터는,
상기 3D 시뮬레이션 상에서 획득한 가상팔동작데이터 및 가상영상데이터이고,
상기 로봇암실행데이터는,
로봇암동작데이터 및 리얼영상데이터인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.According to claim 1,
The manipulator operation data is
Virtual arm motion data and virtual image data obtained in the 3D simulation,
The robot arm execution data is
Robot arm motion data and real image data,
A method of acquiring operation information of a surgical robot using 3D simulation. 제1항에 있어서,
상기 매니퓰레이션작동데이터는,
하나 이상의 특정 가상신체모델을 대상으로, 하나 이상의 사용자가 하나 이상의 특정 동작을 매니퓰레이터로 조작함으로써 획득된 데이터인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.According to claim 1,
The manipulation operation data is
Targeting one or more specific virtual body models, data obtained by one or more users operating one or more specific motions with a manipulator,
A method of acquiring operation information of a surgical robot using 3D simulation. 제3항에 있어서,
상기 하나 이상의 특정 가상신체모델은,
3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 특정 환자마다 획득, 특정 질환 케이스별로 획득, 또는, 특정 장기별로 획득되는 것 중 적어도 하나에 의해 획득되는 데이터인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.4. The method of claim 3,
The one or more specific virtual body models,
Data obtained by forming a body part in 3D through 3D modeling, which is data obtained by at least one of being acquired for each specific patient, acquired for each specific disease case, or acquired for each specific organ,
A method of acquiring operation information of a surgical robot using 3D simulation. 제3항에 있어서,
하나 이상의 특정 동작은,
수술 동작, 사용자 임의의 동작, 단순 동작, 미리 정해진 형식적인 동작 중 적어도 하나인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.4. The method of claim 3,
one or more specific actions,
At least one of a surgical operation, a user's arbitrary operation, a simple operation, and a predetermined formal operation,
A method of acquiring operation information of a surgical robot using 3D simulation. 제1항에 있어서,
상기 수술로봇 데이터 셋의 매칭도를 획득하는 단계;
상기 획득된 매칭도에 따라, 3D 시뮬레이션 상에서 동작을 수행하여 획득되는 상기 매니퓰레이터작동데이터 보정, 및 상기 컨버팅된 매니퓰레이션작동데이터의 기계 신호에 따라 동작하는 로봇 암의 동작 보정 중 적어도 하나의 보정을 수행하는 단계;
를 더 포함하는,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.According to claim 1,
obtaining a matching degree of the surgical robot data set;
According to the obtained matching degree, correction of at least one of the manipulator operation data correction obtained by performing an operation on 3D simulation, and the operation correction of the robot arm operating according to the machine signal of the converted manipulation operation data performing;
further comprising,
A method of acquiring operation information of a surgical robot using 3D simulation. 제6항에 있어서,
상기 매칭도를 획득하는 단계에서, 상기 매칭도는,
상기 3D 시뮬레이션 상의 동작과 로봇 암의 동작이 일치하는 정도를 나타내는 지표인,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.7. The method of claim 6,
In the step of obtaining the matching degree, the matching degree is
It is an index indicating the degree to which the motion on the 3D simulation matches the motion of the robot arm,
A method of acquiring operation information of a surgical robot using 3D simulation. 제6항에 있어서,
상기 수술로봇 데이터 셋을 하나 이상 획득하고, 획득된 하나 이상의 수술로봇 데이터 셋을 이용하여 상기 매칭도를 높이는 학습을 수행하는 단계를 더 포함하는,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.7. The method of claim 6,
Acquiring one or more surgical robot data sets, further comprising the step of performing learning to increase the matching degree using the acquired one or more surgical robot data sets,
A method of acquiring operation information of a surgical robot using 3D simulation. 제8항에 있어서,
상기 학습을 수행함에 따라, 수술로봇 최적 데이터셋을 생성하는 단계를 더 포함하는,
3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법.9. The method of claim 8,
Further comprising the step of generating an optimal surgical robot dataset as the learning is performed,
A method of acquiring operation information of a surgical robot using 3D simulation. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 하나의 항을 실행시키기 위해 매체에 저장된, 3D 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 프로그램.A program for acquiring operation information of a surgical robot using 3D simulation, which is combined with a computer that is hardware, and stored in a medium to execute any one of claims 1 to 9.

Images