KR20200007213A

KR20200007213A - Procedural prediction solution

Info

Publication number: KR20200007213A
Application number: KR1020180081049A
Authority: KR
Inventors: 김도엽
Original assignee: 주식회사 진이어스
Priority date: 2018-07-12
Filing date: 2018-07-12
Publication date: 2020-01-22
Also published as: KR102151252B1

Abstract

According to an embodiment of the present invention, disclosed is a method of predicting a surgical procedure. Operations stored in a computer program for processing of the method comprises the operations of: generating a surgical procedure model including one or more network functions using training data generated by labeling training surgical procedure data on a first training surgical procedure image; receiving a surgical procedure image; and inputting the surgical procedure image to the surgical procedure model and determining surgical procedure data by calculating the surgical procedure image using the surgical procedure model. The surgical procedure data includes data related to the surgical procedure.

Description

시술 예측 솔루션{PROCEDURAL PREDICTION SOLUTION}Procedure Prediction Solution {PROCEDURAL PREDICTION SOLUTION}

본 발명은 컴퓨팅 장치를 이용한 이미지 프로세싱 솔루션을 제공하는 방법에 관한 것으로 보다 구체적으로 컴퓨팅 장치를 이용한 시술 예측 및 재진 예측 방법에 관한 것이다.The present invention relates to a method for providing an image processing solution using a computing device, and more particularly, to a method for predicting a procedure and a prediction using a computing device.

성형에 대한 관심이 높아지면서 턱, 이마, 볼, 어깨 및 종아리 등을 보완하기 위한 간편한 시술법이 다양한 형태로 등장하고 있다. 예를 들어, 꺼진 볼의 단점을 보완하기 위해 볼에 필러를 주입하거나, 종아리 근육을 축소시키기 위해 종아리에 보톡스를 주입하는 등의 시술법이 사용되고 있다. With increasing interest in plastic surgery, a variety of simple treatments have appeared to complement the jaw, forehead, cheek, shoulder, and calf. For example, a method of injecting a filler into a ball or a botox injecting a calf to reduce a calf muscle is used to compensate for a disadvantage of a ball that is turned off.

기존의 시술 진행 방식은 고객이 어느 부위를 보완하기 위해 어떤 시술을 받아야 하는지 여부를 의사와 상담을 통하여 확인 후 시술을 받게 되는 방식이었다. 이러한 시술 진행 방식은 소요 시간이 길고, 고객이 원하는 시술 방향과 조율하는데 있어 부정확성이 존재하고 있었다.Existing procedure was a method of receiving a procedure after consulting with a doctor to determine what procedure the client should receive to supplement which part. This procedure progressed in a long time, and there was an inaccuracy in coordinating the direction desired by the client.

대한민국 등록특허 제10-1836096호는 이미지 데이터의 상태 판단 방법을 개시한다.Republic of Korea Patent No. 10-1836096 discloses a method for determining the state of the image data.

본 개시는 전술한 배경기술에 대응하여 안출 된 것으로, 이미지 데이터로부터 성형 시술을 도출할 수 있는 시술 예측 방법을 제공하는 것을 목적으로 한다.The present disclosure has been made in response to the above-described background art, and an object of the present invention is to provide a procedure prediction method capable of deriving a molding procedure from image data.

전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 컴퓨팅 장치의 하나 이상의 프로세서에서 실행되는 경우 시술 예측을 위한 이하의 동작들을 수행하도록 하며 상기 동작들은: 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하는 동작; 시술 이미지를 수신하는 동작; 및 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하는 동작을 포함할 수 있고, 그리고 상기 시술 데이터는 시술과 관련한 데이터를 포함할 수 있다.A computer program stored in a computer readable storage medium is disclosed in accordance with one embodiment of the present disclosure for realizing the above-described problem. The computer program, when executed on one or more processors of a computing device, performs the following operations for procedure prediction, the operations comprising: one or more training data generated by labeling the training procedure data on a first training procedure image. Generating a surgical model including a network function; Receiving a procedure image; And inputting the surgical image into the surgical model and calculating the surgical image using the surgical model to determine the surgical data, and the surgical data may include data related to the surgical procedure.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 상기 시술 데이터는 상기 시술 이미지의 적어도 일부의 픽셀에 상기 픽셀과 시술 항목 및 시술 용량 중 적어도 하나가 매칭된 데이터를 포함할 수 있다.In an alternative embodiment of the computer program operations to perform the following operations for procedure prediction, the surgical data may include at least one pixel of the surgical image with data matched with at least one of the pixel and the procedure item and the treatment capacity. It may include.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 시술 전 이미지를 수신하는 동작; 상기 시술 전 이미지에 대한 변경 정보를 수신하는 동작; 및 상기 변경 정보를 상기 시술 전 이미지에 매칭시켜 상기 시술 이미지를 생성하는 동작을 더 포함할 수 있다.In an alternative embodiment of computer program operations to perform the following operations for procedure prediction, receiving an image before a procedure; Receiving change information about the image before the procedure; And generating the procedure image by matching the change information to the pre-procedure image.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 제 2 학습 시술 이미지를 상기 학습 데이터의 라벨로 하는 상기 학습 데이터를 생성하는 동작; 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하는 동작; 상기 이미지 비교 모델로 연산한 출력 데이터와 제 2 학습 시술 이미지를 비교하여 오차를 계산하는 동작; 및 상기 오차에 기초하여 상기 이미지 비교 모델의 가중치를 조정하여 상기 이미지 비교 모델을 생성하는 동작을 더 포함할 수 있다.In an alternative embodiment of the computer program operations to perform the following operations for procedure prediction, the pre-learning image and the post-learning image as input of learning data, and in the pre-learning image and the post-learning image Generating the learning data using a second learning procedure image including position information of a pixel having a difference as a label of the learning data; Inputting the pre-learning image and the post-learning image into an image comparison model including one or more network functions and calculating the image comparison model; Calculating an error by comparing the output data calculated by the image comparison model with a second learning procedure image; And generating the image comparison model by adjusting a weight of the image comparison model based on the error.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하는 동작은, 상기 학습 시술 전 이미지를 상기 이미지 비교 모델의 제 1 서브 모델에 입력하는 동작; 상기 학습 시술 후 이미지를 상기 이미지 비교 모델의 제 2 서브 모델에 입력하는 동작; 상기 제 1 서브 네트워크의 출력과 상기 제 2 서브 네트워크의 출력의 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치 정보 및 레이어 비교 정보 중 적어도 하나를 비교하는 동작; 상기 비교 정보에 기초하여, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 연산하는 동작; 및 상기 학습 시술 전 이미지에 상기 차이점이 존재하는 픽셀의 위치정보에 기초하여 상기 픽셀을 표시하는 동작을 포함할 수 있다.In an alternative embodiment of computer program operations to perform the following operations for procedure prediction, the operation of inputting the pre-learning image and the post-learning image into an image comparison model and computing the image comparison model includes: Inputting an image before a learning procedure into a first submodel of the image comparison model; Inputting an image after the training procedure into a second sub-model of the image comparison model; Comparing at least one of location information of a feature of an output of the first sub-network and an output of the second sub-network, location information of a pixel from which each feature is extracted, and layer comparison information; Calculating position information of a pixel in which a difference exists in the pre-learning image and the post-learning image based on the comparison information; And displaying the pixel based on location information of a pixel in which the difference exists in the image before the learning procedure.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 시술 전 이미지 및 시술 후 이미지를 수신하는 동작; 상기 시술 전 이미지 및 상기 시술 후 이미지를 상기 이미지 비교 모델에 입력하는 동작; 및 상기 이미지 비교 모델을 이용하여 상기 시술 이미지를 생성하는 동작을 더 포함할 수 있다.In an alternative embodiment of computer program operations to perform the following operations for procedure prediction, receiving an image before and after a procedure; Inputting the pre-image and post-image images into the image comparison model; And generating the procedure image by using the image comparison model.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성하는 동작; 및 상기 재진 시술 이미지를 상기 시술 모델의 입력으로 하여 제 1 재진 시술 데이터를 출력하는 동작을 더 포함할 수 있고, 제 2 시술 후 이미지는 제 1 시술 후 이미지의 생성 시점보다 이후에 생성된 이미지일 수 있다.In an alternative embodiment of computer program operations to perform the following operations for procedure prediction, generating a reconstructed surgical image using the first post-operative image and the second post-operative image as input to an image comparison model; And outputting first visited procedure data by using the visited procedure image as an input of the procedure model, wherein the second post-treatment image is an image generated later than a time point of generation of the image after the first procedure. Can be.

시술 예측을 위한 이하의 동작들을 수행하도록 하는 컴퓨터 프로그램 동작들의 대안적인 실시예에서, 상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성하는 동작; 및 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성하는 동작을 더 포함할 수 있다.In an alternative embodiment of the computer program operations to perform the following operations for procedure prediction, the length of time interval from the time of generating the first post-surgical image to the time of generating the second post-surgery image and the first Generating a jam prediction function based on the amount of change in the jam procedure data; And generating second disaster treatment procedure data based on the length of the period between the disaster prediction function and the prediction time point.

본 개시의 다른 일 실시예에 따라 시술 예측 방법이 개시된다. 상기 방법은, 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하는 단계; 시술 이미지를 수신하는 단계; 및 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하는 단계를 포함할 수 있고, 그리고 상기 시술 데이터는 시술과 관련한 데이터를 포함할 수 있다.In accordance with another embodiment of the present disclosure, a method of predicting a procedure is disclosed. The method includes generating a surgical model including at least one network function using the training data generated by labeling training procedure data on a first training procedure image; Receiving a procedure image; And inputting the surgical image into the surgical model, calculating the surgical image using the surgical model, and determining the surgical data, and the surgical data may include data related to the surgical procedure.

본 개시의 다른 일 실시예에 따라 컴퓨팅 장치가 개시된다. 상기 컴퓨팅 장치는, 하나 이상의 코어를 포함하는 프로세서; 및 메모리를 포함할 수 있고, 상기 프로세서는, 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하고, 시술 이미지를 수신하고, 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하고, 그리고 상기 시술 데이터는 시술과 관련한 데이터를 포함할 수 있다.A computing device is disclosed in accordance with another embodiment of the present disclosure. The computing device includes a processor including one or more cores; And a memory, wherein the processor generates a surgical model including one or more network functions using the training data generated by labeling the training procedure data on the first training procedure image, and receives the treatment image. The procedure image may be input to the procedure model, the procedure image may be calculated using the procedure model, and procedure data may be determined, and the procedure data may include data related to the procedure.

본 개시는 시술 예측 방법을 제공할 수 있다.The present disclosure can provide a procedure prediction method.

도 1은 본 개시의 일 실시예에 따라 시술 예측 솔루션을 위한 동작을 수행하는 컴퓨팅 장치의 블록 구성도를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 이미지 비교 모델 및 시술 모델의 예시도이다.
도 3은 본 개시의 일 실시예에 따라 시술 예측을 위한 순서도이다.
도 4는 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 로직을 도시한 블록 구성도이다.
도 5는 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 모듈을 도시한 블록 구성도이다.
도 6은 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 회로를 도시한 블록 구성도이다.
도 7은 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 수단을 도시한 블록 구성도이다.
도 8은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록 구성도이다.1 is a block diagram of a computing device performing an operation for a procedure prediction solution according to an embodiment of the present disclosure.
2 is an exemplary diagram of an image comparison model and a surgical model according to an embodiment of the present disclosure.
3 is a flowchart for procedure prediction in accordance with one embodiment of the present disclosure.
4 is a block diagram illustrating logic for implementing a procedure prediction method according to an embodiment of the present disclosure.
5 is a block diagram illustrating a module for implementing a procedure prediction method according to an embodiment of the present disclosure.
6 is a block diagram illustrating a circuit for implementing a procedure prediction method according to an exemplary embodiment of the present disclosure.
7 is a block diagram illustrating a means for implementing a procedure prediction method according to an embodiment of the present disclosure.
8 is a block diagram of a computing device according to an embodiment of the present disclosure.

다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.Various embodiments are now described with reference to the drawings. In the present specification, various descriptions are presented to provide an understanding of the present disclosure. It may be evident, however, that such embodiments may be practiced without these specific details.

본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.As used herein, the terms “component”, “module”, “system” and the like refer to computer-related entities, hardware, firmware, software, a combination of software and hardware, or the execution of software. For example, a component may be, but is not limited to being, a process running on a processor, a processor, an object, a thread of execution, a program, and / or a computer. For example, both an application running on a computing device and the computing device can be a component. One or more components can reside within a processor and / or thread of execution. One component can be localized within one computer. One component may be distributed between two or more computers. In addition, these components can execute from various computer readable media having various data structures stored thereon. The components may be connected via a network such as the Internet and other systems via, for example, signals with one or more data packets (e.g., data and / or signals from one component interacting with other components in a local system, distributed system, etc.). Data may be communicated via local and / or remote processes.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의 미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.In addition, the term "or" is intended to mean an implicit "or" rather than an exclusive "or". That is, unless specified otherwise or unambiguously in context, "X uses A or B" is intended to mean one of the natural implicit substitutions. That is, X uses A; X uses B; Or where X uses both A and B, "X uses A or B" may apply in either of these cases. In addition, the term "and / or" as used herein is to be understood to refer to and include all possible combinations of one or more of the listed related items.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.In addition, the terms "comprises" and / or "comprising" should be understood to mean that the corresponding features and / or components are present. It is to be understood, however, that the terms "comprises" and / or "comprising" do not exclude the presence or addition of one or more other features, components, and / or groups thereof. Also, unless otherwise specified or in the context of indicating a singular form, the singular in the specification and claims should generally be construed as meaning "one or more."

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시 적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.Those skilled in the art will further appreciate that the various illustrative logical blocks, configurations, modules, circuits, means, logics, and algorithm steps described in connection with the embodiments disclosed herein may be electronic hardware, computer software, or a combination of both. It should be appreciated that it can be implemented with To clearly illustrate the interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented in hardware or as software depends on the particular application and design constraints imposed on the overall system. Skilled artisans can implement the described functionality in a variety of ways for each particular application. However, such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

제시된 실시예들에 대한 설명은 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니다. 본 발명은 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be apparent to those of ordinary skill in the art. The general principles defined herein may be applied to other embodiments without departing from the scope of the present disclosure. Thus, the present invention is not limited to the embodiments presented herein. The invention should be construed in the broadest scope consistent with the principles and novel features set forth herein.

본 개시의 일 실시예에서 서버는 서버의 서버 환경을 수행하기 위한 다른 구성들이 포함될 수도 있다. 서버는 임의의 형태의 장치는 모두 포함할 수 있다. 서버는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 서버는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. In one embodiment of the present disclosure, the server may include other configurations for performing the server environment of the server. The server may include all types of devices. The server may be a digital device, and may be a digital device having a computing power including a processor and having a memory such as a laptop computer, a notebook computer, a desktop computer, a web pad, a mobile phone, and the like. The server may be a web server that handles services. The type of server described above is merely an example and the present disclosure is not limited thereto.

본 명세서에 걸쳐, 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 신경망은 일반적으로 "노드"라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 "노드"들은 "뉴런(neuron)"들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다. 신경망들을 구성하는 노드(또는 뉴런)들은 하나 이상의 "링크"에 의해 상호 연결될 수 있다.Throughout this specification, models, neural networks, network functions, neural networks may be used in the same sense. A neural network may consist of a set of interconnected computing units, which may generally be referred to as "nodes." Such "nodes" may be referred to as "neurons". The neural network comprises at least one node. Nodes (or neurons) that make up neural networks may be interconnected by one or more "links".

본 명세서에 걸쳐, 모델은 하나 이상의 네트워크 함수를 포함하는 의미로 사용될 수 있다. 모델은 다른 모델과 함께 데이터의 처리를 수행할 수 있다. 모델은 다른 모델과 직렬 또는 병렬로 상호 연결될 수 있다.Throughout this specification, a model can be used to mean one or more network functions. The model can perform the processing of the data along with other models. Models can be interconnected in series or in parallel with other models.

도 1은 본 개시의 일 실시예에 따라 시술 예측 솔루션을 위한 동작을 수행하는 컴퓨팅 장치의 블록 구성도를 도시한 도면이다.1 is a block diagram of a computing device performing an operation for a procedure prediction solution according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(110), 네트워크부(120), 메모리(130) 및 카메라부(140)를 포함할 수 있다. 도 1에 도시된 블록 구성도는 컴퓨팅 장치를 간소화한 구성으로 표현한 것으로서, 본 개시는 이에 제한되지 않고, 구동에 필요한 추가적인 구성 요소들을 포함할 수 있다.The computing device 100 according to the exemplary embodiment of the present disclosure may include a processor 110, a network unit 120, a memory 130, and a camera unit 140. The block diagram shown in FIG. 1 is a simplified configuration of a computing device, and the present disclosure is not limited thereto and may include additional components required for driving.

프로세서(110)는 하나 이상으로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(110)는 메모리(130)에 저장된 컴퓨터 프로그램을 판독하여 본 개시의 일 실시예에 따른 건강 위험 예측 방법을 수행할 수 있다. 본 개시의 일실시예에 따라 프로세서(110)는 신경망의 훈련을 위한 계산을 수행할 수 있다. 프로세서(110)는 딥러닝(DN: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피쳐(feature) 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.The processor 110 may include one or more processors, and include a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), and a tensor processing unit (TPU) of the computing device. Data processing, deep learning, and the like. The processor 110 may read a computer program stored in the memory 130 to perform a health risk prediction method according to an embodiment of the present disclosure. According to an embodiment of the present disclosure, the processor 110 may perform calculations for training a neural network. The processor 110 may be configured to process neural networks such as processing input data for learning in deep learning (DN), feature extraction from input data, error calculation, weight update of neural networks using backpropagation, and the like. You can perform calculations for learning. In addition, the computer program executed in the computing device according to an embodiment of the present disclosure may be a CPU, a GPGPU, or a TPU executable program.

프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 시술 이미지 연산 또는 시술 데이터 연산을 처리할 수 있다. 또한, 본 개시의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 시술 이미지 연산 및 네트워크 함수를 이용한 시술 데이터 연산을 처리할 수 있다. 또한, 본 개시의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.At least one of the CPU, GPGPU, and TPU of the processor 110 may handle the learning of the network function. For example, the CPU and GPGPU can work together to learn network functions, process image operations using network functions, or process data operations. In an embodiment of the present disclosure, a processor of a plurality of computing devices may be used together to process learning of a network function, an operation image operation using a network function, and an operation data operation using a network function. In addition, the computer program executed in the computing device according to an embodiment of the present disclosure may be a CPU, a GPGPU, or a TPU executable program.

본 개시의 일 실시예에서 컴퓨팅 장치(100)는 CPU, GPGPU, 및 TPU 중 적어도 하나를 이용하여 네트워크 함수를 분산하여 처리할 수 있다. 또한 본 개시의 일 실시예에서 컴퓨팅 장치(100)는 다른 컴퓨팅 장치와 함께 네트워크 함수를 분산하여 처리할 수 있다.In an embodiment of the present disclosure, the computing device 100 may distribute and process network functions using at least one of a CPU, a GPGPU, and a TPU. In addition, in an embodiment of the present disclosure, the computing device 100 may distribute and process network functions along with other computing devices.

신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.Within a neural network, one or more nodes connected via a link may form a relationship of input node and output node relatively. The concept of an input node and an output node is relative; any node in an output node relationship for one node may be in an input node relationship in relation to another node, and vice versa. As mentioned above, the input node to output node relationship can be created around the link. More than one output node can be connected to a single input node via a link, and vice versa.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입 력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중 치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변 될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.In an input node and output node relationship connected via one link, the output node may be determined based on data input to the input node. In this case, a node connecting the input node and the output node may have a weight. The weights can be variable, and can be varied by the user or algorithm in order for the neural network to perform the desired function. For example, when one or more input nodes are interconnected by each link to one output node, the output node is set to values input to input nodes connected to the output node and to a link corresponding to each input node. The output node value may be determined based on the weight.

전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.As noted above, a neural network is formed by interconnecting one or more nodes via one or more links to form input and output node relationships within the neural network. The characteristics of the neural network may be determined according to the number of nodes and links in the neural network, the relationship between the nodes and the links, and the value of the weight assigned to each of the links. For example, if there are the same number of nodes and links, and there are two neural networks with different weight values between the links, the two neural networks may be recognized as different from each other.

신경망은 하나 이상의 노드들을 포함하 여, 구성될 수 있다. 신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다, 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.Neural networks can be configured, including one or more nodes. Some of the nodes that make up the neural network may construct one layer based on distances from the original input node, for example, a set of nodes with a distance n from the original input node, You can configure n layers. The distance from the original input node may be defined by the minimum number of links that must pass to reach the node from the original input node. However, the definition of such a layer is arbitrary for explanation, and the order of the layer in the neural network may be defined in a manner different from that described above. For example, a layer of nodes may be defined by distance from the final output node.

최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드 들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.The initial input node may refer to one or more nodes into which data is directly input without going through a link in relation to other nodes among the nodes in the neural network. Alternatively, in a neural network network, in a relationship between nodes based on a link, it may mean nodes having no other input nodes connected by a link. Similarly, the final output node may refer to one or more nodes that do not have an output node in relation to other nodes of the nodes in the neural network. Also, the hidden node may refer to nodes constituting a neural network other than the first input node and the last output node. The neural network according to an embodiment of the present disclosure may be more than the nodes of the hidden layer closer to the output layer than the node of the input layer, and may be a neural network in which the number of nodes decreases as the node progresses from the input layer to the hidden layer.

딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 잇는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크 (CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.A deep neural network (DNN) may refer to a neural network including a plurality of hidden layers in addition to an input layer and an output layer. Deep neural networks can be used to identify latent structures of data. In other words, you can identify potential structures of photos, texts, videos, voices, and music (e.g., what objects are in the picture, what are the content and feelings of the text, what are the contents and feelings of the voice, etc.) . Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs) and deep belief networks (DBNs). , Q network, U network, Siamese network and the like.

컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network)는 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptron)의 한 종류이다. CNN은 하나 또는 여러 개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있으며, 가중치와 풀링 레이어(pooling layer)들을 추가로 활용할 수 있다. 이러한 구조 덕분에 CNN은 2 차원 구조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩 된 이미지 데이터의 경우, R, G, B 색상별로 각각 2차원(예를 들어, 2 차원 이미지인 경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서 이미지 데이터는 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다. 컨벌루셔널 뉴럴 네트워크에 대한 구체적인 구성에 관한 설명은 본 출원에서 전체가 참조로서 통합되는 미국 등록 특허 US9870768B2에서 보다 구체적으로 논의된다.A convolutional neural network (CNN) is a type of deep neural network that includes a neural network including a convolutional layer. Convolutional neural networks are a type of multilayer perceptron designed to use minimal preprocessing. The CNN may consist of one or several convolutional layers and artificial neural network layers associated with them, and may further utilize weights and pooling layers. This structure allows CNNs to take full advantage of the two-dimensional input data. Convolutional neural networks can be used to recognize objects in an image. Convolutional neural networks can process image data by representing them in a matrix with dimensions. For example, in the case of image data encoded in red-green-blue (RGB), each of R, G, and B colors may be represented by a 2-dimensional (for example, 2-dimensional image) matrix. That is, the color value of each pixel of the image data may be a component of the matrix, and the size of the matrix may be equal to the size of the image. Therefore, the image data can be represented by three two-dimensional matrices (three-dimensional data array). A description of the specific configuration for the convolutional neural network is discussed in more detail in US registered patent US9870768B2, which is incorporated herein by reference in its entirety.

본 개시의 일 실시예에서 이미지는 이차원 이미지 또는 삼차원 이미지를 포함할 수 있다.In one embodiment of the present disclosure, the image may include a two-dimensional image or a three-dimensional image.

이하에서는 본 개시의 일 실시예에 따른 시술 이미지의 생성 방법에 관하여 설명한다.Hereinafter, a method of generating a surgical image according to an exemplary embodiment of the present disclosure will be described.

본 개시에서 시술은 고객의 외견을 변화시키기 위한 의학적 시술을 모두 포함할 수 있다. 시술은 예를 들어, 필러, 보톡스 등이 포함되며, 전술한 시술의 종류에 관한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.Procedures in the present disclosure may include all medical procedures to change the appearance of the customer. The procedure includes, for example, a filler, botox, and the like, and the description of the type of the aforementioned procedure is merely an example, and the present disclosure is not limited thereto.

프로세서(110)는 네트워크부(120)를 이용하여 시술 전 이미지를 획득할 수 있다. 프로세서(110)는 카메라부(140)를 이용하여 고객의 신체 중 일 부분을 촬영한 시술 전 이미지를 획득할 수 있다. 시술 전 이미지는 고객의 신체 중 시술을 받고자 하는 일 부분을 촬영한 이미지일 수 있다. 예를 들어, 프로세서(110)는 입술 필러 시술을 받고자 하는 고객의 신체 중 입술 또는 입술을 포함한 얼굴 전체를 촬영한 이미지인 시술 전 이미지를 네트워크부(120)를 이용하여 획득할 수 있다. 예를 들어, 프로세서(110)는 종아리 보톡스를 받고자 하는 고객의 신체 중 다리를 카메라부(140)를 이용하여 촬영한 이미지를 획득할 수 있다. 전술한 시술 전 이미지에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.The processor 110 may acquire an image before the procedure by using the network unit 120. The processor 110 may acquire a pre-surgical image of a part of the body of the customer by using the camera unit 140. The pre-image may be an image of a part of the client's body to be treated. For example, the processor 110 may acquire the pre-procedure image, which is an image of the entire face including the lips or the lips, of the customer's body to receive the lip filler procedure using the network unit 120. For example, the processor 110 may acquire an image of the leg of the client's body to receive the calf botox using the camera unit 140. The description of the above-described pre-image is just an example and the present disclosure is not limited thereto.

프로세서(110)는 시술 전 이미지에 대한 변경 정보를 획득할 수 있다. 시술 전 이미지에 대한 변경 정보는 시술 전 이미지의 적어도 일부를 변경하기 위한 데이터를 포함할 수 있다. 시술 전 이미지의 변경 정보는 사용자의 입력 또는 기본 알고리즘에 기초한 것일 수 있다. 프로세서(110)는 시술 전 이미지의 변경 정보에 기초하여 시술 전 이미지에 포함된 사용자의 신체 중 적어도 일부를 변경할 수 있다. 프로세서(110)는 사용자의 신체 중 적어도 일부를 변경함에 있어, 사용자의 신체 경계 부분을 변경하는 경우 영상 처리 알고리즘을 이용하여 사용자의 신체 경계 부분을 추출할 수 있다. 영상 처리 알고리즘은 캐니 엣지 디텍션(canny edge detection), 해리스 코너 디텍션(harris corner detection)등을 포함할 수 있으나, 본 개시는 이에 제한되지 않는다. 캐니 엣지 디텍션을 통해 프로세서(110)는 영상을 블러링(blurring) 처리하여 노이즈를 제거하고, 마스크 엣지를 이용하여 엣지를 검출하고, Non-Maximum Value를 제거하고, Double Threshold로 크기를 구분하여 엣지를 연결함으로써 엣지를 추출할 수 있다. 영상 처리 알고리즘 기법을 사용하여 일정한 픽셀 두께의 엣지를 정상 데이터에서 추출할 수 있다. 프로세서(110)는 사용자의 신체 중 적어도 일부를 이용함에 있어 임의의 보정 기본 알고리즘을 이용할 수 있다. 예를 들어, 사용자의 입력이 시술 전 이미지의 턱의 경계를 얼굴의 안쪽으로 밀어 넣는 입력인 경우, 프로세서(110)는 턱의 경계 부분에 해당하는 픽셀을 배경 부분의 픽셀로 대체할 수 있다. 예를 들어, 프로세서(110)는 스마트폰의 단말기에 탑재된 카메라 어플의 보정 기본 알고리즘을 이용하여 시술 전 이미지를 변경할 수 있다. 전술한 시술 전 이미지의 변경에 관한 개시는 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.The processor 110 may obtain change information about the image before the procedure. The change information on the pre-procedure image may include data for changing at least a part of the pre-procedure image. The change information of the image before the procedure may be based on a user input or a basic algorithm. The processor 110 may change at least a part of a user's body included in the pre-image based on the change information of the pre-image. When changing at least a part of the user's body, the processor 110 may extract the user's body boundary using an image processing algorithm when changing the body boundary of the user. The image processing algorithm may include canny edge detection, Harris corner detection, and the like, but the present disclosure is not limited thereto. Through canny edge detection, the processor 110 blurs an image to remove noise, detects an edge using a mask edge, removes a non-maximum value, and classifies an edge by dividing the size by a double threshold. You can extract the edge by connecting. Image processing algorithms can be used to extract edges of constant pixel thickness from normal data. The processor 110 may use any correction basic algorithm in using at least a part of the user's body. For example, when the user's input is an input for pushing the boundary of the jaw of the image before the procedure into the face, the processor 110 may replace the pixel corresponding to the boundary of the jaw with the pixel of the background portion. For example, the processor 110 may change the image before the procedure by using a basic algorithm of the calibration of the camera application mounted on the terminal of the smartphone. The disclosure relating to the change of the image before the procedure is only an example, the disclosure is not limited thereto.

프로세서(110)는 시술 전 이미지에 대한 변경 정보를 시술 전 이미지에 매칭시켜 시술 이미지를 생성할 수 있다. 프로세서(110)는 시술 전 이미지에 대한 변경 정보를 시술 전 이미지의 해당 픽셀에 매칭하는 방법으로 시술 이미지를 생성할 수 있다. 예를 들어, 프로세서(110)는 사용자의 입력에 따라 종아리를 줄이는 변경 정보를 수신하여 종아리의 경계부분의 픽셀을 배경으로 대체한 경우, 배경으로 대체한 픽셀 부분을 시술 전 이미지위에 임의의 시각적 표시로 레이어링 하여 매칭시키는 방법으로 시술 이미지를 생성할 수 있다. 전술한 시술 이미지의 생성에 관한 개시는 예시일 뿐이며, 본개시는 이에 제한되지 않는다. 따라서, 본개시의 일 실시예에 따라 고객은 자신의 얼굴을 보정한 이미지를 이용하여 시술이 필요한 부분을 이미지로 확인할 수 있다. The processor 110 may generate the surgical image by matching the change information on the pre-image to the pre-image. The processor 110 may generate the surgical image by matching the change information of the pre-image to the corresponding pixel of the pre-image. For example, when the processor 110 receives change information that reduces the calf according to a user's input and replaces the pixel at the boundary of the calf with the background, an arbitrary visual display on the image before the procedure is performed. The surgical image may be generated by layering and matching. The disclosure relating to the generation of the above-described surgical image is only an example, and the present disclosure is not limited thereto. Therefore, according to an exemplary embodiment of the present disclosure, the customer may identify a portion that needs to be treated as an image by using an image of correcting his or her face.

이하에서는 본 개시의 다른 일 실시예에 따른 시술 이미지의 생성 방법에 관하여 설명한다.Hereinafter, a method of generating a surgical image according to another exemplary embodiment of the present disclosure will be described.

본 개시의 일 실시예에 따른 시술 이미지를 연산하기 위한 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델을 생성하는 방법에 관하여 설명한다.A method of generating an image comparison model including one or more network functions for calculating a surgical image according to an embodiment of the present disclosure is described.

프로세서(110)는 학습 데이터 세트를 획득할 수 있다. 학습 데이터 세트는 전체 고객의 학습 시술 전 이미지, 학습 시술 후 이미지 및 학습 시술 이미지를 포함할 수 있다. 학습 시술 전 이미지는 고객의 시술 전 이미지일 수 있다. 학습 시술 후 이미지는 고객의 시술 후 이미지일 수 있다. 학습 시술 이미지는 고객의 시술 부위가 표시된 이미지일 수 있다. 예를 들어, 학습 시술 이미지는 고객의 진료 차트에서 획득된 시술 관련 정보(예를 들어, 코에 필러 3cc 등의 진료 차트에서 획득된 시술 관련 정보)를 고객의 신체 이미지에 매칭시킨 이미지(예를 들어, 코에 해당하는 픽셀에 시술 정보를 매칭시킨 이미지 등)일 수 있다. 프로세서(110)는 네트워크부(120)를 이용하여 병원 서버로부터 환자 의료 기록을 획득하여 고객의 학습 시술 전 이미지, 학습 시술 후 이미지 및 학습 시술 이미지를 획득할 수 있다. 예를 들어, 학습 데이터 세트는 다년간 고객들의 학습 시술 전 이미지, 학습 시술 후 이미지 및 학습 시술 이미지 데이터를 포함할 수 있다. 예를 들어, 학습 데이터 세트의 데이터는 고객을 구분할 수 있는 정보를 포함할 수 있고, 고객을 구분할 수 있는 정보는 익명 또는 실명일 수 있다. 전술한 학습 데이터 세트에 대한 기재는 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.The processor 110 may obtain a training data set. The training data set may include pre-learning images, post-learning images, and learning procedure images of all customers. The pre-learning image may be a pre-surgical image of the customer. The image after the learning procedure may be an image after the procedure of the client. The learning procedure image may be an image in which a treatment part of a client is displayed. For example, the learning procedure image is an image (for example, procedure related information obtained from a care chart such as a nose filler 3cc) obtained from a care chart of a client by matching an image of the body of the customer (for example, For example, the image may be matched with the procedure information to a pixel corresponding to the nose. The processor 110 may acquire a patient medical record from a hospital server using the network unit 120 to obtain a pre-learning image, a post-learning image, and a learning procedure image. For example, the training data set may include pre-learning images, post-learning images, and learning procedure image data of customers for many years. For example, the data of the training data set may include information that can distinguish the customer, and the information that can distinguish the customer may be anonymous or real name. The description of the above-described learning data set is only an example, and the present disclosure is not limited thereto.

프로세서(110)는 학습 데이터 세트에 포함된 고객 정보에 기초하여 학습 데이터 세트를 고객 별로 그룹화하여 학습 데이터를 생성할 수 있다. 프로세서(110)는 일 고객의 학습 시술 전 이미지, 학습 시술 후 이미지 및 학습 시술 이미지를 그룹화하여 하나의 학습 데이터를 생성할 수 있다. 프로세서(110)는 학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 학습 시술 전 이미지와 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 포함하는 학습 시술 이미지를 학습 데이터의 라벨로 하여 학습 데이터를 생성할 수 있다. 예를 들어, 고객A의 코에 필러를 주사하기 전의 학습 시술 전 이미지와 코에 필러를 주사한 후의 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 고객A의 코에 필러를 주사하여 변경된 부분, 즉 시술 전과 시술 후 이미지에서 차이점이 존재하는 필러를 주사한 부분의 픽셀의 위치 정보를 포함하는 학습 시술 이미지를 학습 데이터의 라벨로 하여 학습 데이터를 생성할 수 있다. 전술한 학습 데이터의 생성에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.The processor 110 may generate the training data by grouping the training data set for each customer based on the customer information included in the training data set. The processor 110 may generate one piece of learning data by grouping a pre-learning image, a post-learning image, and a learning image of a customer. The processor 110 uses the pre-learning image and the post-learning image as input of the training data, and uses the learning procedure image including the location information of the pixel in which there is a difference between the pre-learning image and the post-learning procedure image. You can create training data with labels. For example, the pre-injection image before the injection of the filler into the nose of the client A and the post-treatment image after the injection of the filler into the nose are input of the training data, and the changed portion is injected by injecting the filler into the nose of the client A, That is, the training data may be generated by using the training procedure image including the position information of the pixel of the portion in which the filler is scanned in the pre- and post-treatment images as the label of the training data. The description of the generation of the above-described learning data is only an example and the present disclosure is not limited thereto.

프로세서(110)의 이미지 비교 모델은 적어도 부분적으로 가중치를 공유하는 2 이상의 서브 모델과 서브 모델들로부터 출력을 입력 받는 비교 모델을 포함할 수 있다. 프로세서(110)의 이미지 비교 모델에 적어도 2개의 이미지가 입력될 수 있다. 프로세서(110)의 이미지 비교 모델에 시술 전 이미지 및 시술 후 이미지가 입력될 수 있다. 프로세서(110)의 이미지 비교 모델은 입력되는 이미지들의 차이점이 존재하는 픽셀의 위치 정보를 포함하는 시술 이미지를 출력할 수 있다. 프로세서(110)의 이미지 비교 모델은 입력 받는 이미지를 비교하기 위하여 이미지를 입력 받는 2개의 컨벌루셔널 뉴럴 네트워크를 포함할 수 있다. 프로세서(110)의 이미지 비교 모델에 포함된 2개의 컨벌루셔널 뉴럴 네트워크는 가중치를 공유함으로써, 입력된 두 이미지에 대해 공통된 가중치로 피쳐를 추출하여 비교할 수 있다. 프로세서(110)의 이미지 비교 모델에 포함된 제 1 서브 모델에서 추출된 시술 전 이미지에 대한 피쳐와 제 2 서브 모델에서 추출된 시술 후 이미지에 대한 피쳐는 비교 모델에 입력될 수 있다. 프로세서(110)의 이미지 비교 모델은 두 피쳐를 비교하여 시술 이미지를 출력할 수 있다. 프로세서(110)의 이미지 비교 모델은 피쳐의 위치 정보, 피쳐가 추출된 픽셀의 위치 정보, 시술 전 이미지와 시술 후 이미지의 픽셀 위치 정보, 레이어 비교 정보 등에 기초하여 두 피쳐를 비교하여 시술 이미지를 출력할 수 있다.The image comparison model of the processor 110 may include two or more submodels that share at least a weight and a comparison model that receives an output from the submodels. At least two images may be input to the image comparison model of the processor 110. The pre-image and the post-image may be input to the image comparison model of the processor 110. The image comparison model of the processor 110 may output a surgical image including position information of pixels in which differences between input images exist. The image comparison model of the processor 110 may include two convolutional neural networks that receive an image to compare the received image. Two convolutional neural networks included in the image comparison model of the processor 110 may share weights, thereby extracting and comparing features with common weights for the two input images. Features for the pre-images extracted from the first sub-model included in the image comparison model of the processor 110 and features for the post-images extracted from the second sub-model may be input to the comparison model. The image comparison model of the processor 110 may compare the two features and output a surgical image. The image comparison model of the processor 110 outputs a surgical image by comparing the two features based on the position information of the feature, the position information of the pixel from which the feature is extracted, the pixel position information of the pre- and post-image images, the layer comparison information, and the like. can do.

프로세서(110)는 교사학습(supervised learning) 방식으로 이미지 비교 모델을 생성할 수 있다. 프로세서(110)는 이미지 비교 모델을 생성하기 위하여 학습 데이터의 학습 시술 전 이미지와 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고, 이미지 비교 모델에서 연산한 시술 이미지(즉, 출력)와 학습 시술 이미지(즉, 정답)를 비교하여 오차를 계산할 수 있다. 프로세서(110)는 오차에 기초하여 이미지 비교 모델의 가중치를 역전파 방식으로 조정할 수 있다. 프로세서(110)는 신경망의 학습에서 과적합 (overfitting)을 방지하기 위하여 히든 노드의 출력의 일부가 다음 히든 노드에 전달되지 못하도록 드롭 아웃(drop out)을 설정할 수 있다. 프로세서(110)는 학습 효율을 위하여 학습률(learning rate)을 학습 초기에는 높게 설정하고, 학습이 진행되며 낮아지도록 설정할 수도 있다. 이미지 비교 모델에 포함된 모델들의 각 노드의 최초 가중치는 랜덤 또는 연속 균등 분포에 기초하여 설정될 수 있다.The processor 110 may generate an image comparison model by a supervised learning method. The processor 110 inputs the pre-training image of the training data and the post-treatment image of the training data into the image comparison model to generate an image comparison model, and calculates a procedure image (that is, an output) and a training procedure image ( That is, the error can be calculated by comparing the correct answers). The processor 110 may adjust the weight of the image comparison model in a reverse propagation manner based on the error. The processor 110 may set a drop out so that a part of the output of the hidden node is not transmitted to the next hidden node in order to prevent overfitting in the neural network learning. The processor 110 may set a learning rate higher in the initial stage of learning for learning efficiency, and set the learning rate to be lowered as the learning progresses. The initial weight of each node of the models included in the image comparison model may be set based on a random or continuous equal distribution.

프로세서(110)는 이러한 학습을 사전결정된 에폭(epoch) 이상 수행한 후, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 여기서 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다. 프로세서(110)는 테스트 데이터를 이용하여 생성된 이미지 비교 모델의 성능을 테스트하고, 성능에 기초하여 이미지 비교 모델의 활성화 여부를 결정할 수 잇다. 검증 데이터는 학습 데이터 세트에 포함된 고객 정보에 기초하여 고객 별로 그룹화 한 데이터의 일부를 포함할 수 있다. 프로세서(110)는 학습 데이터를 사용하여 이미지 비교 모델의 학습을 수행하며, 이미지 비교 모델의 학습이 사전결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 이미지 비교 모델의 학습 효과가 사전결정된 수준 이상인지 판단할 수 있다. 예를 들어, 프로세서(110)는 100만개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10만회인 학습을 수행하는 경우, 사전결정된 에폭인 10000회의 반복 학습을 수행한 후, 1000개의 검증 데이터를 이용하여 10회의 반복 학습을 수행하여, 10회의 반복 학습 동안 이미지 비교 모델 출력의 변화가 사전결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다. 즉, 검증 데이터는 신경망의 반복 학습에서 에폭 별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는데 이용될 수 있으며 학습 데이터와 동일한 구성(즉, 입력 및 라벨)을 가지고, 학습 데이터와는 구분된 데이터 일 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. The processor 110 may perform such learning more than a predetermined epoch and then determine whether to stop learning using the verification data. The predetermined epoch here may be part of the overall learning goal epoch. The processor 110 may test the performance of the image comparison model generated using the test data, and determine whether to activate the image comparison model based on the performance. The verification data may include a portion of data grouped by customer based on customer information included in the training data set. The processor 110 performs the training of the image comparison model using the training data, and after the training of the image comparison model is repeated over a predetermined epoch, whether the learning effect of the image comparison model is above the predetermined level using the verification data. You can judge. For example, the processor 110 uses 100 million pieces of learning data to perform 10000 times of target repetition learning, and then uses 1000 pieces of verification data after performing 10000 times of repetitive learning, which is a predetermined epoch. 10 times of repetitive learning, if the change of the output of the image comparison model during the 10 times repetition is less than a predetermined level it can be determined that the further learning is meaningless and ends the learning. That is, the verification data may be used to determine the completion of the learning based on whether the effect of the epoch-specific learning in the repetitive learning of the neural network is above or below a certain schedule, and has the same configuration (ie, input and label) as the learning data, The data may be separated from the training data. The above-described learning data, the number of verification data, and the number of repetitions are only examples, and the present disclosure is not limited thereto.

프로세서(110)는 학습이 완료된 이미지 비교 모델에 테스트 데이터를 이용하여 학습 완료된 이미지 비교 모델의 성능을 검증하고 학습 완료된 이미지 비교 모델의 성능이 사전결정된 기준 이상인 경우 해당 이미지 비교 모델을 다른 어플리케이션에서 사용하도록 활성화할 수 있다. 또한 프로세서(110)는 학습 완료된 이미지 비교 모델의 성능이 사전결정된 기준 이하인 경우 해당 신경망을 비활성화하여 폐기할 수 있다. 예를 들어, 프로세서(110)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 신경망 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. The processor 110 verifies the performance of the trained image comparison model by using test data on the trained image comparison model, and uses the image comparison model in another application when the performance of the trained image comparison model is greater than or equal to a predetermined criterion. It can be activated. In addition, the processor 110 may deactivate and discard the neural network when the performance of the trained image comparison model is less than or equal to a predetermined criterion. For example, the processor 110 may determine the performance of the generated neural network model based on factors such as accuracy, precision, recall, and the like. The above performance evaluation criteria are merely examples and the present disclosure is not limited thereto.

본 개시의 일 실시예에 따라 고객들의 학습 시술 전 이미지, 학습 시술 후 이미지 및 학습 시술 이미지에 기초하여 시술 이미지를 연산할 수 있는 신경망 모델을 생성할 수 있다.According to an exemplary embodiment of the present disclosure, a neural network model capable of calculating a surgical image may be generated based on a pre-learning image, a post-learning image, and a learning image.

본 개시의 일 실시예에 따라 학습된 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델을 이용하여 시술 이미지를 생성하는 방법에 관하여 설명한다.A method of generating a surgical image using an image comparison model including one or more network functions trained according to an embodiment of the present disclosure will be described.

프로세서(110)는 네트워크부(120)를 이용하여 시술 전 이미지 및 시술 후 이미지를 수신할 수 있다. 시술 전 이미지는 고객의 시술 전 이미지일 수 있다. 시술 후 이미지는 고객이 시술 후 되려고 하는 목표가 포함된 이미지일 수 있다. 예를 들어, 시술 전 이미지는 고객이 시술을 희망하는 시술 전의 신체 부위를 포함하는 이미지일 수 있다. 예를 들어, 시술 후 이미지는 연예인 이미지, 시술에 성공한 케이스에 해당하는 고객의 이미지, 자신의 과거 시술 시 이미지일 수 있다. 시술 후 이미지는 병원 서버 또는 외부 데이터 베이스로부터 획득될 수 있다. 예를 들어, 턱 보톡스 시술을 희망하는 고객A의 턱 부분이 포함된 얼굴 이미지가 시술 전 이미지일 수 있다. 예를 들어, 고객A가 연예인B처럼 갸름한 턱을 가지기 위하여 보톡스 시술을 희망하는 경우 연예인B의 턱 부분이 포함된 얼굴 이미지가 시술 후 이미지일 수 있다. 예를 들어, 고객A가 연예인B처럼 갸름한 턱을 가지기 위하여 보톡스 시술을 희망하는 경우 시술 후 이미지는 외부 데이터 베이스로부터 획득될 수 있다. 예를 들어, 고객A가 턱 보톡스 시술을 받은 다른 고객B와 같이 갸름한 턱을 희망하는 경우, 고객B에 대한 이미지인 시술 후 이미지는 병원 서버로부터 획득될 수 있다. 전술한 시술 전 이미지 및 시술 후 이미지에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.The processor 110 may receive an image before the procedure and an image after the procedure by using the network unit 120. The pretreatment image may be a pretreatment image of the client. The post-procedure image may be an image containing a goal that the client intends to become after the procedure. For example, the pretreatment image may be an image including a body part before the procedure, which the client desires to perform. For example, the post-surgical image may be a celebrity image, an image of a customer corresponding to a successful case, and an image of a past procedure. After the procedure, the image may be obtained from a hospital server or an external database. For example, the facial image including the jaw portion of the customer A who wishes to have a jaw botox treatment may be a pre-surgical image. For example, if the customer A wants to have a botox procedure in order to have a slim chin like the celebrity B, the face image including the chin part of the celebrity B may be an image after the procedure. For example, if client A wishes to have a botox procedure in order to have a slim jaw like celebrity B, the image after the procedure may be obtained from an external database. For example, if client A desires a slim jaw like another client B who has undergone a jaw botox treatment, the post treatment image, which is an image for client B, may be obtained from a hospital server. The descriptions of the above-described pre-image and post-procedure images are exemplary only, and the present disclosure is not limited thereto.

프로세서(110)는 시술 전 이미지 및 시술 후 이미지를 학습된 이미지 생성 모델에 입력시키고, 학습된 이미지 생성 모델을 이용하여 시술 이미지를 연산할 수 있다. 학습된 이미지 생성 모델은 전술한 본 개시의 일 실시예에 따라 시술 이미지를 연산하기 위한 이미지 비교 모델을 생성하는 방법에 의하여 학습된 이미지 비교 모델일 수 있다. 시술 이미지는 시술 전 이미지와 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 이미지일 수 있다. 시술 이미지는 고객의 시술을 받아야하는 부분에 해당하는 픽셀의 위치 정보를 포함하는 이미지일 수 있다. 예를 들어, 고객A의 시술 전 이미지와 고객A의 목표 얼굴인 고객B의 이미지를 포함하는 시술 후 이미지를 이미지 생성 모델에 입력시키고, 학습된 이미지 생성 모델을 이용하여 고객A가 시술을 받아야하는 부분에 해당하는 픽셀의 위치 정보를 포함하는 시술 이미지를 출력할 수 있다. 전술한 시술 이미지 생성에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 따라서, 본 개시의 일 실시예에 따라 고객은 자신이 되고자 하는 모델의 이미지를 이용하여 시술이 필요한 부분을 이미지로 확인할 수 있다.The processor 110 may input the pre-image and the post-image to the trained image generation model, and may calculate the procedure image using the trained image generation model. The trained image generation model may be an image comparison model trained by a method of generating an image comparison model for calculating a surgical image according to an embodiment of the present disclosure. The procedure image may be an image including position information of pixels in which there is a difference between the pre-image and the post-image. The procedure image may be an image including position information of a pixel corresponding to a portion of the client to be treated. For example, after inputting a post-treatment image including the client A's pre-image and the target face of the client A, the client A should receive the procedure by using the trained image generation model. The surgical image including position information of the pixel corresponding to the portion may be output. The description of the above-described surgical image generation is only an example and the present disclosure is not limited thereto. Therefore, according to an exemplary embodiment of the present disclosure, the customer may identify a portion requiring the procedure as an image by using an image of a model to be a customer.

이하에서는 본 개시의 일 실시예에 따른 시술 데이터의 생성 방법에 관하여 설명한다.Hereinafter, a method of generating surgical data according to an embodiment of the present disclosure will be described.

본 개시의 일 실시예에 따른 시술 데이터를 연산하기 위한 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하는 방법에 관하여 설명한다.A method of generating a surgical model including one or more network functions for computing surgical data according to an embodiment of the present disclosure is described.

프로세서(110)는 학습 시술 이미지 및 학습 시술 데이터를 포함하는 학습 데이터 세트를 획득할 수 있다. 학습 시술 이미지는 고객의 시술 전과 시술 후의 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 이미지일 수 있다. 학습 시술 데이터는 상기 시술 이미지의 적어도 일부의 픽셀에 상기 픽셀과 행해진 시술에 관련한 정보가 매칭된 데이터를 포함할 수 있다. 예를 들어, 학습 시술 이미지는 고객A의 이마에서 이마 필러로 인하여 변경된 부분에 해당하는 픽셀의 위치 정보를 포함하는 고객A의 이미지일 수 있다. 예를 들어, 학습 시술 데이터는 고객A의 이마 필러를 이마의 어느 픽셀 부분에 어느 용량으로 주입했는지에 대한 정보를 포함하며 고객A의 이마 이미지의 적어도 일부의 픽셀에 해당 픽셀과 매칭되는 시술 항목(본 예시에서, 이마 필러) 및 시술 용량(본 예시에서, 필러 3cc)을 포함할 수 있다. 학습 시술 이미지 및 학습 시술 데이터는 병원 서버 또는 외부 데이터 베이스에서 획득된 데이터일 수 있다. 학습 시술 이미지 및 학습 시술 데이터는 고객을 식별할 수 있는 고객 정보를 포함할 수 있다. 고객을 식별할 수 있는 고객 정보는 실명 또는 익명일 수 있다. 프로세서(110)는 학습 데이터 세트에 포함된 고객 정보에 기초하여 고객 별로 학습 시술 이미지 및 학습 시술 데이터를 그룹화하여 학습 데이터를 생성할 수 있다. 전술한 학습 데이터 세트에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.The processor 110 may acquire a training data set including the training procedure image and the training procedure data. The learning procedure image may be an image including position information of a pixel having a difference in an image before and after a procedure of a client. The training procedure data may include data in which at least some pixels of the procedure image are matched with information related to the procedure performed with the pixel. For example, the learning procedure image may be an image of the customer A including location information of a pixel corresponding to a portion changed by the forehead filler of the customer A's forehead. For example, the training procedure data includes information on which pixel portion of Forehead's forehead filler was injected at what capacity, and a treatment item (e.g., a matching item corresponding to at least a portion of pixels of Client A's forehead image) In this example, the forehead filler) and the treatment dose (in this example, the filler 3cc) may be included. The training procedure image and the training procedure data may be data obtained from a hospital server or an external database. The training procedure image and the training procedure data may include customer information to identify the customer. Customer information that can identify the customer can be real or anonymous. The processor 110 may generate the training data by grouping the training procedure image and the training procedure data for each customer based on the customer information included in the training data set. The description of the above-described learning data set is only an example and the present disclosure is not limited thereto.

프로세서(110)는 교사학습 방식으로 시술 모델을 생성할 수 있다. 프로세서(110)는 시술 모델을 생성하기 위하여 학습 데이터의 학습 시술 이미지를 시술 모델에 입력시키고, 시술 모델에서 연산한 시술 데이터와 학습 시술 데이터를 비교하여 오차를 계산할 수 있다. 프로세서(110)는 오차에 기초하여 시술 모델의 가중치를 역전파 방식으로 조정할 수 있다. 프로세서(110)는 신경망의 학습에서 과적합 (overfitting)을 방지하기 위하여 히든 노드의 출력의 일부가 다음 히든 노드에 전달되지 못하도록 드롭 아웃(drop out)을 설정할 수 있다. 프로세서(110)는 학습 효율을 위하여 학습률(learning rate)을 학습 초기에는 높게 설정하고, 학습이 진행되며 낮아지도록 설정할 수도 있다. 이미지 비교 모델에 포함된 모델들의 각 노드의 최초 가중치는 랜덤 또는 연속 균등 분포에 기초하여 설정될 수 있다. 프로세서(110)는 이러한 학습을 사전결정된 에폭(epoch) 이상 수행한 후, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 프로세서(110)는 학습이 완료된 이미지 비교 모델에 테스트 데이터를 이용하여 학습 완료된 이미지 비교 모델의 성능을 검증하고 학습 완료된 이미지 비교 모델의 성능이 사전결정된 기준 이상인 경우 해당 이미지 비교 모델을 다른 어플리케이션에서 사용하도록 활성화할 수 있다.The processor 110 may generate a surgical model in a teacher learning manner. The processor 110 may input the training procedure image of the training data into the surgery model to generate the surgery model, and calculate an error by comparing the training data calculated from the surgery model with the training surgery data. The processor 110 may adjust the weight of the surgical model in a reverse propagation manner based on the error. The processor 110 may set a drop out so that a part of the output of the hidden node is not transmitted to the next hidden node in order to prevent overfitting in the neural network learning. The processor 110 may set a learning rate higher in the initial stage of learning for learning efficiency, and set the learning rate to be lowered as the learning progresses. The initial weight of each node of the models included in the image comparison model may be set based on a random or continuous equal distribution. The processor 110 may perform such learning more than a predetermined epoch and then determine whether to stop learning using the verification data. The processor 110 verifies the performance of the trained image comparison model by using test data on the trained image comparison model, and uses the image comparison model in another application when the performance of the trained image comparison model is greater than or equal to a predetermined criterion. It can be activated.

본 개시의 일 실시예에 따라 고객들의 학습 시술 이미지 및 학습 시술 데이터에 기초하여 시술 데이터를 연산할 수 있는 시술 모델을 생성할 수 있다.According to an exemplary embodiment of the present disclosure, a surgical model capable of calculating surgical data based on a training procedure image and training procedure data of customers may be generated.

본 개시의 일 실시예에 따라 학습된 하나 이상의 네트워크 함수를 포함하는 시술 모델을 이용하여 시술 데이터를 생성하는 방법에 관하여 설명한다.A method of generating surgical data using a surgical model including one or more network functions learned according to one embodiment of the present disclosure is described.

프로세서(110)는 전술한 시술 이미지의 생성 방법에 의해 생성된 시술 이미지를 학습된 시술 모델에 입력시킬 수 있다. 프로세서(110)는 전술한 이미지 비교 모델을 이용하여 출력된 시술 이미지를 학습된 시술 모델에 입력시킬 수 있다. 이미지 비교 모델과 시술 모델을 직렬(in series)로 연결될 수 있다. 여기서 직렬은 이미지 비교 모델의 출력의 적어도 일부가 시술 모델의 입력이 되거나, 이미지 비교 모델의 일부가 비교 모델과 중첩될 수 있음을 의미할 수 있다. 시술 이미지는 고객이 시술을 받아야하는 부분에 해당하는 픽셀의 위치 정보를 포함하는 상기 고객의 신체 부위 중 적어도 일부를 포함하는 이미지일 수 있다. 예를 들어, 프로세서(110)는 고객A가 연예인B와 같은 얼굴형이 되고 싶은 경우, 고객A의 얼굴형을 포함하는 얼굴 이미지와 연예인B의 얼굴형을 포함하는 얼굴 이미지를 이미지 비교 모델을 통해 연산하여 차이점이 존재하는 픽셀의 위치 정보를 포함하는 시술 이미지를 획득할 수 있다. 예를 들어, 프로세서(110)는 상기 시술 이미지를 직렬로 연결된 학습된 시술 모델에 입력시키고, 학습된 시술 모델을 이용하여 시술 데이터를 연산할 수 있다. 시술 데이터는 시술 이미지의 적어도 일부의 픽셀에 상기 픽셀과 시술 항목 및 시술 용량 중 적어도 하나가 매칭된 데이터를 포함할 수 있다. 예를 들어, 고객A의 시술 이미지를 시술 모델에 입력으로 하여 연산한 시술 데이터는 이마의 일 부분의 픽셀에 상기 픽셀과 필러, 3cc, 턱 끝의 일 부분의 픽셀에 상기 픽셀과 필러, 1cc일 수 있다. 전술한 시술 데이터의 생성에 관한 기재는 예시일 뿐이며 본개시는 이에 제한되지 않는다.The processor 110 may input the surgical image generated by the above-described method of generating the surgical image into the learned surgical model. The processor 110 may input the output surgical image to the learned surgical model using the above-described image comparison model. The image comparison model and the procedure model can be connected in series. Here, the serial may mean that at least a part of the output of the image comparison model may be an input of the surgical model, or a part of the image comparison model may overlap the comparison model. The procedure image may be an image including at least a part of a body part of the client including location information of a pixel corresponding to a portion where the client needs to be treated. For example, if the customer A wants to have a face shape such as celebrity B, the processor 110 may use a face comparison image including the face shape of the customer A and the face image including the face shape of the celebrity B through an image comparison model. The operation may be performed to obtain a surgical image including location information of pixels having differences. For example, the processor 110 may input the surgical image into a trained surgical model connected in series, and calculate the surgical data using the trained surgical model. The treatment data may include data in which at least one of the pixel, the treatment item, and the treatment volume is matched to at least some pixels of the treatment image. For example, the treatment data obtained by inputting a treatment image of the client A into the treatment model includes the pixel and the filler, 3cc, and the pixel and the filler, 1cc, the pixel of the forehead. Can be. The description regarding the generation of the above-described procedure data is only an example and the present disclosure is not limited thereto.

본 개시의 일 실시예에 따라 프로세서(110)는 시술 모델에서 시술 데이터를 추출할 수 있으며, 고객은 자신이 어느 부위에 어떤 시술을 얼마나 받아야 하는지 알 수 있다. 익스프레스존(Express Zone)은 고객이 의사와 어떤 시술을 얼마의 용량만큼 받을 것인지에 대한 상담 과정을 거치지 않고, 고객이 원하는 시술을 결정하고 내원하여 바로 시술을 받을 수 있도록 하는 고객의 시술 시간을 최소한으로 단축시킨 병원의 일 형태이다. 고객은 시술 데이터를 시술 모델을 통해 알 수 있어, 전문 지식 없이도 익스프레스존(Express Zone)을 빠르게 이용할 수 있다. 또한, 고객이 시술을 통해 되고 싶은 얼굴형을 결정하면 본 개시의 일 실시예의 컴퓨팅 장치(100)는 고객의 얼굴과 목표를 비교하여 정확한 시술 데이터를 추출할 수 있다. 본 개시의 일 실시예의 컴퓨팅 장치는 고객의 목표를 달성하기 위한 시술에 관한 정보를 제공할 수 있으며, 컴퓨팅 장치에서 제공되는 시술에 관한 정보는 일반적으로 의료계에서 통용되던 시술과는 다른 새로운 시술을 제공할 수 있다. 예를 들어, 본 개시의 일 실시예의 컴퓨팅 장치의 사용자는 시술 모델을 통해 추출된 시술 데이터를 통해 얼굴형을 갸름해 보이게 만들기 위한 시술은 일반적으로 알려진 턱 보톡스 이외에 다른 시술인 광대 보톡스라는 새로운 시술 방법을 획득할 수 있으며, 이러한 컴퓨팅 장치가 제공하는 시술에 관한 정보는 의료계 종사자에게 새로운 통찰을 제공할 수도 있다. According to an exemplary embodiment of the present disclosure, the processor 110 may extract the procedure data from the procedure model, and the customer may know which part of the procedure and how much to receive. The Express Zone minimizes the amount of treatment time that allows the client to decide on the procedure he or she wants and to receive the procedure immediately. It is a form of hospital shortened. Customers can see the treatment data through the treatment model, so they can quickly access the Express Zone without the need for specialized knowledge. In addition, when the customer determines a face shape to be performed through the procedure, the computing device 100 according to the exemplary embodiment of the present disclosure may extract accurate treatment data by comparing the face and the target of the customer. The computing device of one embodiment of the present disclosure may provide information about a procedure to achieve a client's goal, and the information about the procedure provided by the computing device generally provides a new procedure that is different from the procedures generally used in the medical field. can do. For example, a procedure for a user of a computing device according to an embodiment of the present disclosure to make the face look thin through the treatment data extracted through the treatment model is a new treatment method called clown botox, which is another treatment in addition to the commonly known jaw botox. The information about the procedure provided by such a computing device may provide new insights to medical practitioners.

이하에서는 본 개시의 일 실시예에 따라 재진 시술 데이터의 생성 방법에 관하여 설명한다. Hereinafter, a description will be given of a method of generating the procedure data according to an embodiment of the present disclosure.

재진 시술 데이터는 시술 후 일정시간이 경과한 경우에, 시술 직후의 상태와 얼마나 달라졌는지를 나타내는 데이터일 수 있다. 예를 들어, 코에 필러를 맞은 고객의 경우, 필러는 시간의 경과에 따라 몸속에서 분해될 수 있으며, 본 개시의 일 실시예의 컴퓨팅 장치(100)는 필러 시술 후의 고객의 사진과 시술 후 일정 시간이 경과한 후의 고객의 사진을 비교하여, 차이점을 판단할 수 있고, 이에 기초하여 재진 시술 이미지를 생성할 수 있다. 컴퓨팅 장치(100)는 재진 시술 이미지를 시술 모델을 이용하여 처리하여, 고객이 언제 다시 시술을 받아야 하는지에 대한 정보를 사용자에게 제공할 수 있다. The visited procedure data may be data indicating how different from the state immediately after the procedure when a predetermined time elapses after the procedure. For example, in the case of a customer who has a filler in the nose, the filler may be disintegrated in the body over time, and the computing device 100 according to an embodiment of the present disclosure may photograph the customer after the filler procedure and a predetermined time after the procedure. By comparing the photographs of the customers after the elapsed time, the difference can be determined, and based on this, a reconstructed procedure image can be generated. The computing device 100 may process the photographed surgical image by using the surgical model to provide the user with information on when the customer should be treated again.

프로세서(110)는 네트워크부(120)를 이용하여 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 수신할 수 있다. 프로세서(110)는 카메라부(140)를 이용하여 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 수신할 수 있다. 제 2 시술 후 이미지는 제 1 시술 후 이미지의 생성 시점보다 이후에 생성된 이미지일 수 있다. 프로세서(110)는 병원서버 또는 외부 데이터 베이스로부터 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 수신할 수 있다. 프로세서(110)는 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 학습된 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성할 수 있다. 학습된 이미지 비교 모델은 전술한 본 개시의 일 실시예에 따라 시술 이미지를 연산하는 이미지 비교 모델을 생성하는 방법에 의하여 학습된 모델일 수 있다. 재진 시술 이미지는 제 1 시술 후 이미지와 제 2 시술 후 이미지에서 차이점이 존재하는 위치 정보를 포함하는 이미지일 수 있다. 제 1 시술 후 이미지는 시술 후 이미지에 대응되는 데이터일 수 있고, 제 2 시술 후 이미지는 시술 전 이미지와 대응되는 데이터일 수 있고, 그리고 재진 시술 이미지는 시술 이미지와 대응되는 데이터일 수 있다. 예를 들어, 고객A가 턱 끝 필러를 맞은 당일의 이미지는 제 1 시술 후 이미지일 수 있고, 고객A가 턱 끝 필러를 맞은 후 1개월이 지난 후의 이미지는 제 2 시술 후 이미지일 수 있다. 예를 들어, 프로세서(110)는 제 1 시술 후 이미지(본 예시에서, 턱 끝 필러를 맞은 당일의 이미지) 및 제 2 시술 후 이미지(본 예시에서, 턱 끝 필러를 맞은 후 1 개월이 지난 후의 이미지)를 이미지 비교 모델에 입력시키면, 재진 시술 이미지(본 예시에서, 턱 끝 필러를 맞은 당일의 이미지와 1개월이 지난 후의 이미지에서 차이점이 존재하는 픽셀의 위치정보를 포함하는 이미지)가 출력될 수 있다. 전술한 재진 시술 이미지에 대한 기재는 예시일 뿐이며, 본개시는 이에 제한되지 않는다.The processor 110 may receive an image after the first procedure and an image after the second procedure by using the network unit 120. The processor 110 may receive the first post-image and the second post-image using the camera unit 140. The image after the second procedure may be an image generated after the time of generation of the image after the first procedure. The processor 110 may receive an image after the first procedure and an image after the second procedure from a hospital server or an external database. The processor 110 may generate a reviewed procedure image by using the first post-treatment image and the second post-treatment image as inputs of the learned image comparison model. The trained image comparison model may be a model trained by a method of generating an image comparison model for calculating a surgical image according to an embodiment of the present disclosure. The visited procedure image may be an image including location information in which a difference exists between the first post-image and the second post-image. The first postoperative image may be data corresponding to the postoperative image, the second postoperative image may be data corresponding to the preoperative image, and the refurbished procedure image may be data corresponding to the surgical image. For example, the image of the day when Client A hits the tip of the jaw filler may be an image after the first procedure, and the image after one month after Client A has hit the tip of the jaw filler may be an image after the second procedure. For example, the processor 110 may include a first post-surgical image (in this example, the image of the day of the jaw tip filler) and a second post-surgical image (in this example, one month after the jaw tip filler is hit. When the image is input to the image comparison model, a reconstructed procedure image (in this example, an image including position information of pixels having a difference in the image on the day of the jaw tip filler and the image one month later) is output. Can be. The description of the above-described reproducing procedure image is merely an example, and the present disclosure is not limited thereto.

프로세서(110)는 전술한 이미지 비교 모델에 의해 출력된 재진 시술 이미지를 학습된 시술 모델에 입력시켜 재진 시술 데이터를 출력할 수 있다. 학습된 시술 모델은 전술한 본 개시의 일 실시예에 따라 시술 데이터를 연산하는 시술 모델을 생성하는 방법에 의하여 학습된 모델일 수 있다. 재진 시술 데이터는 재진 시술 이미지의 적어도 일부의 픽셀에 상기 픽셀과 시술 항목 및 시술 용량 중 적어도 하나가 매칭된 데이터를 포함할 수 있다. 재진 시술 데이터는 제 2 시술 후 이미지의 생성 시점을 기준으로 제 1 시술 후 이미지의 생성 시점에 대응하는 시술 효과를 가지기 위하여 필요한, 시술 부분, 시술 항목 및 시술 용량에 대한 데이터를 포함할 수 있다. 재진 시술 데이터의 시술 용량의 부호를 변경한 데이터는 제 1 시술 후 이미지에 기초하여 제 2 시술 이미지에서 시술의 효과가 감소된 용량에 해당하는 데이터일 수 있다. 예를 들어, 프로세서(110)가 시술 모델에 재진 시술 이미지(본 실시예에서, 턱 끝 필러를 맞은 당일의 이미지와 1개월이 지난 후의 이미지에서 차이점이 존재하는 픽셀의 위치정보를 포함하는 이미지)를 비교 모델에 입력시키고, 재진 시술 데이터(본 실시예에서, 턱 끝의 적어도 일부의 픽셀에 해당 픽셀과 매칭되는 필러 0.5cc)를 출력할 수 있다. 프로세서(110)에서 출력된 재진 시술 데이터(본 실시예에서, 턱 끝의 적어도 일부의 픽셀에 해당 픽셀과 매칭되는 필러 0.5cc)에 해당하는 시술을 받으면 제 1 시술 후 이미지에 대응하는 시술 효과를 가질 수 있음을 출력할 수 있다. 전술한 재진 시술 데이터의 생성에 대한 개시는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.The processor 110 may output the jaw treatment data by inputting the jaw treatment image output by the above-described image comparison model to the learned surgery model. The learned surgical model may be a model learned by a method of generating a surgical model for calculating the surgical data according to the embodiment of the present disclosure. The visited procedure data may include data in which at least one of the pixel, the procedure item, and the procedure volume is matched to at least a portion of the pixel of the visited procedure image. The visited procedure data may include data about a treatment part, a procedure item, and a treatment dose, which are necessary to have a treatment effect corresponding to a time after the first surgery image is generated based on the time after the second surgery image is generated. The data in which the sign of the treatment dose of the visited procedure data is changed may be data corresponding to the dose of which the effect of the procedure is reduced in the second procedure image based on the first post-treatment image. For example, a processor image in which the processor 110 is placed in a surgical model (in this embodiment, an image including the position information of a pixel having a difference in the image of the day on which the jaw tip filler is hit and the image one month later). May be input to the comparison model, and output of the reconstructed procedure data (in this embodiment, a filler 0.5cc that matches the pixel in at least a portion of the tip of the jaw). Upon receiving the procedure corresponding to the jaw treatment data output from the processor 110 (in this embodiment, a filler 0.5cc corresponding to the pixel in at least a portion of the tip of the jaw), the treatment effect corresponding to the image after the first treatment is performed. It can output that it can have. The disclosure of the generation of the above-described reconstruction procedure data is merely an example and the disclosure is not limited thereto.

프로세서(110)의 시술 모델에 제 1 시술 후 이미지와 제 2 시술 후 이미지를 입력으로 하여 재진 시술 데이터를 출력할 수 있다. 따라서, 고객은 제 2 시술 후 이미지를 입력함으로써 현재 어떤 시술을 어느 정도의 용량으로 받아야 제 1 시술 후 이미지의 시점과 같은 효과를 가질 수 있는지 의사와 상담 없이 알 수 있고, 이에 기초하여 미리 시술에 필요한 금액을 알 수 있다. 또한, 의사와 상담 없이 기존과 같은 효과를 갖기 위한 시술 데이터를 알 수 있어, 전술한 익스프레스존 형태의 병원에서 시술 시간을 단축시킬 수 있다.The first and second post-operative images and the second post-operative image may be input to the surgical model of the processor 110 to output the reviewed procedure data. Therefore, the client can know without any consultation with the doctor what procedure should be received at a certain amount of time by inputting the image after the second procedure without the consultation with the doctor, and based on the procedure in advance Know how much you need. In addition, it is possible to know the procedure data to have the same effect as before without consulting a doctor, it is possible to shorten the procedure time in the hospital of the above-described Express Zone type.

프로세서(110)는 제 1 시술 후 이미지 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성할 수 있다. 프로세서(110)는 시간 구간의 길이를 독립 변수로 하고, 재진 시술 데이터를 종속 변수로 하는 함수를 생성할 수 있다. 프로세서(110)는 함수의 기울기를 재진 시술 데이터의 변화량에서 제 1 시술 후 이미지 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이를 나눈 것으로 할 수 있다. 프로세서(110)는 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 재진 시술 데이터를 생성할 수 있다. 프로세서(110)는 재진 예상 시점까지의 시간 구간의 길이를 상기 재진 예측 함수의 독립 변수로 하여 종속 변수인 재진 시술 데이터를 생성할 수 있다. 예를 들어, 제 1 시술 후 이미지 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이가 3개월이고, 재진 시술 데이터에 포함된 시술 용량이 1cc인 경우, 프로세서(110)는 0.33을 기울기로 하고, 독립 변수를 시간 구간의 길이, 그리고 종속 변수를 재진 시술 데이터로 하여 1차 함수를 생성할 수 있다. 예를 들어, 재진을 받으려는 시점이 시술 후부터 6개월 후 인 경우, 6개월을 상기 함수의 종속변수로 하여 연산하면, 재진을 받으려는 시점에 시술 받아야하는 시술 용량은 2cc일 수 있다. 전술한 재진 예측 함수에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.The processor 110 may generate the predictive prediction function based on the length of the time interval from the time of generating the first post-surgical image to the time of generating the second post-surgery image and the amount of change in the reinterpretation data. The processor 110 may generate a function having the length of the time interval as an independent variable and the reconstructed procedure data as a dependent variable. The processor 110 may be determined by dividing the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure in the amount of change in the inclined function data. The processor 110 may generate the data of the procedure based on the length of the time period up to the predictive function and the predicted prediction function. The processor 110 may generate vibration processing data, which is a dependent variable, by using the length of the time interval up to the anticipation time of the disaster as an independent variable of the prediction function. For example, when the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure is 3 months, and the amount of the procedure included in the visited procedure data is 1cc, the processor 110 With a slope of 0.33, the first-order function can be created with the independent variable as the length of the time interval and the dependent variable as the ternary procedure data. For example, if the time to receive a visit is 6 months after the procedure, if 6 months is calculated as a dependent variable of the function, the procedure dose to be treated at the time to receive a visit may be 2cc. The description of the foregoing predictive prediction function is merely an example and the present disclosure is not limited thereto.

네트워크부(120)는 본 개시의 일 실시예에 따른 시술 예측을 위한 시술 전 이미지, 시술 후 이미지, 시술 이미지 및 시술 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 예를 들어, 네트워크부(120)는 병원의 고객 정보 데이터 베이스 등에서 시술 전 이미지, 시술 후 이미지, 시술 이미지 및 시술 데이터 등을 수신할 수 있다. 또한, 네트워크부(120)는 복수의 컴퓨팅 장치 사이의 통신을 가능하게 하여 복수의 컴퓨팅 장치 각각에서 네트워크 함수의 학습이 분산 수행되도록 할 수 있다. 네트워크부(120)는 복수의 컴퓨팅 장치 사이의 통신을 가능하게 하여 네트워크 함수를 사용한 시술 이미지 또는 시술 데이터에 관한 연산을 분산 처리할 수 있도록 할 수 있다. 네트워크부(120)는 시술 데이터 및 재진 데이터를 다른 컴퓨팅 장치에 전송할 수 있다.The network unit 120 may transmit / receive a preoperative procedure image, a postoperative procedure image, a procedure image, procedure data, and the like to predict a procedure according to an exemplary embodiment of the present disclosure. For example, the network unit 120 may receive an image before the procedure, an image after the procedure, a procedure image, and the procedure data from the customer information database of the hospital. In addition, the network unit 120 may enable communication between a plurality of computing devices so that learning of network functions is distributed in each of the plurality of computing devices. The network unit 120 may enable communication between a plurality of computing devices to enable distributed processing of a procedure image or procedure data using a network function. The network unit 120 may transmit the procedure data and the visited data to another computing device.

메모리(130)는 본 개시의 일 실시예에 따른 시술 예측 솔루션을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(110)에 의하여 판독되어 구동될 수 있다.The memory 130 may store a computer program for performing a procedure prediction solution according to an embodiment of the present disclosure, and the stored computer program may be read and driven by the processor 110.

본 개시의 실시예들에 따른 메모리(130)는 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 시술 전 이미지, 시술 후 이미지 또는 시술 이미지 등)을 임시 또는 영구 저장할 수도 있다. 상기 메모리(130)는 디스플레이 및 음향에 관한 데이터를 저장할 수 있다. 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 130 according to embodiments of the present disclosure may store a program for the operation of the processor 110, and input / output data (eg, a pre-image, a post-image or a procedure image). Can be stored temporarily or permanently. The memory 130 may store data regarding a display and sound. The memory 130 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (Random Access Memory, RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic It may include a storage medium of at least one type of disk, optical disk.

카메라부(140)는 본 개시의 일 실시예에 따른 시술 예측을 수행하기 위하여 고객의 신체의 적어도 일부를 촬영하여 이미지 데이터를 생성하도록 할 수 있다. 프로세서(110)는 카메라부(140)를 이용하여 시술 전 이미지, 시술 후 이미지, 시술 이미지, 제 1 시술 후 이미지, 제 2 시술 후 이미지 및 재진 시술 이미지를 생성하도록 할 수 있다. 본 개시의 일 실시예에서 컴퓨팅 장치(100)는 하나 이상의 카메라부(140)를 포함할 수 있다.The camera unit 140 may generate image data by photographing at least a part of the body of the customer in order to perform the procedure prediction according to the exemplary embodiment of the present disclosure. The processor 110 may generate a pre-image, a post-image, a procedure image, a first post-image, a second post-image, and a retreatment procedure image by using the camera unit 140. In one embodiment of the present disclosure, the computing device 100 may include one or more camera units 140.

본 개시의 일 실시예에서 컴퓨팅 장치(100)는 고객의 이미지와 고객의 목표 이미지를 입력 받아 고객이 원하는 바를 이룰 수 있는 시술에 관련한 정보를 의료 종사자에게 제공할 수 있다. 이를 통해 의료 종사자에게는 시술에 대한 새로운 통찰을 제공할 수 있으며, 전문 지식이 없는 고객에게 자신이 어떤 시술을 받아야 하는지에 대한 정보를 제공함으로써, 고객이 불가피한 사정으로 재진시에 다른 병원에 방문하게 되는 경우에도 일관된 시술을 받을 수 있도록 할 수 있다. 또한, 본 개시의 일 실시예에서 컴퓨팅 장치(100)는 시술 후 일정시간이 경과한 후 고객의 상태를 분석하여, 고객이 언제 재진을 받아야 하는지에 대한 정보를 제공할 수 있어 고객은 성형 시술의 효과를 일정하게 유지할 수 있다. In an exemplary embodiment of the present disclosure, the computing device 100 may receive an image of a customer and a target image of the customer, and provide information related to a procedure to a healthcare practitioner to achieve a customer's desire. This can provide medical practitioners with new insights into the procedure and by providing information to clients who do not have the expertise to know what procedure they should receive, which will inevitably lead them to other hospitals when they return. Even if it is possible to receive a consistent procedure. In addition, in an embodiment of the present disclosure, the computing device 100 may analyze the state of the customer after a predetermined time elapses after the procedure, and may provide information about when the customer should receive a medical examination, thereby providing the customer with a plastic surgery procedure. The effect can be kept constant.

도 2는 본 개시의 일 실시예에 따른 이미지 비교 모델 및 시술 모델의 예시도이다.2 is an exemplary diagram of an image comparison model and a surgical model according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따라, 프로세서(110)는 시술 전 이미지(230) 및 시술 후 이미지(240)를 이미지 비교 모델(210)에 입력시킬 수 있다. 프로세서(110)는 시술 전 이미지(230)를 제 1 서브 모델(212)에 입력 시키고 시술 후 이미지(240)를 제 2 서브 모델(214)에 입력시킬 수 있다. 프로세서(110)의 이미지 비교 모델(210)의 비교 모델(216)은 제 1 서브 모델(212)의 피쳐와 제 2 서브 모델(214)의 피쳐를 비교하여 시술 이미지(250)를 출력할 수 있다. 프로세서(110)는 시술 이미지(250)를 시술 모델(220)에 입력시켜 시술 데이터(260)를 출력할 수 있다.According to an embodiment of the present disclosure, the processor 110 may input the pre-image 230 and the post-image 240 to the image comparison model 210. The processor 110 may input the pre-procedure image 230 to the first submodel 212 and the post-treatment image 240 to the second submodel 214. The comparison model 216 of the image comparison model 210 of the processor 110 may output the surgical image 250 by comparing the features of the first sub-model 212 with the features of the second sub-model 214. . The processor 110 may input the surgical image 250 to the surgical model 220 and output the surgical data 260.

도 3은 본 개시의 일 실시예에 따라 시술 예측을 위한 순서도이다.3 is a flowchart for procedure prediction in accordance with one embodiment of the present disclosure.

컴퓨팅 장치(100)는 학습 시술 전 이미지 및 학습 시술 후 이미지에 제 2 학습 시술 이미지를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델을 생성할 수 있다. 학습 시술 전 이미지는 고객의 시술 전 이미지일 수 있다. 학습 시술 후 이미지는 고객의 시술 후 이미지일 수 있다. 학습 시술 이미지는 고객의 시술 부위가 표시된 이미지일 수 있다. The computing device 100 may generate an image comparison model including one or more network functions using the training data generated by labeling the second training procedure image on the pre-training image and the post-training image. The pre-learning image may be a pre-surgical image of the customer. The image after the learning procedure may be an image after the procedure of the client. The learning procedure image may be an image in which a treatment part of a client is displayed.

컴퓨팅 장치(100)는 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 시술 모델을 생성(310)할 수 있다. 학습 시술 이미지는 고객의 시술 전과 시술 후에 차이점이 존재하는 픽셀의 위치 정보를 포함하는 이미지일 수 있다. 학습 시술 데이터는 상기 시술 이미지의 적어도 일부의 픽셀에 상기 픽셀과 시술 항목 및 시술 용량 중 적어도 하나가 매칭된 데이터를 포함할 수 있다.The computing device 100 may generate a surgical model 310 using the training data generated by labeling the training procedure data on the first training procedure image. The learning procedure image may be an image including position information of a pixel in which a difference exists before and after the procedure of the client. The training procedure data may include data in which at least one of the pixel, the procedure item, and the procedure volume is matched to at least a portion of the pixel of the procedure image.

컴퓨팅 장치(100)는 시술 전 이미지 및 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 시술 이미지를 생성할 수 있다. 시술 전 이미지는 학습 시술 전 이미지와 대응될 수 있고, 시술 후 이미지는 학습 시술 후 이미지와 대응될 수 있고, 그리고 시술 이미지는 학습 시술 이미지와 대응될 수 있다.The computing device 100 may generate the surgical image by using the pre-image and the post-image as inputs of the image comparison model. The pre-procedure image may correspond to the pre-learning procedure image, the post-treatment image may correspond to the post-learning procedure image, and the procedure image may correspond to the learning procedure image.

컴퓨팅 장치(100)는 시술 전 이미지와 시술 전 이미지에 대한 변경 정보를 수신할 수 있다. 컴퓨팅 장치(100)는 상기 변경 정보를 시술 전 이미지에 매칭시켜 시술 이미지를 생성할 수 있다. 시술 전 이미지에 대한 변경 정보는 시술 전 이미지의 적어도 일부를 변경하기 위한 데이터를 포함할 수 있다. 시술 전 이미지의 변경 정보는 사용자의 입력 또는 기본 알고리즘에 기초한 것일 수 있다.The computing device 100 may receive the pre-image and the change information about the pre-image. The computing device 100 may generate the procedure image by matching the change information to the pre-procedure image. The change information on the pre-procedure image may include data for changing at least a part of the pre-procedure image. The change information of the image before the procedure may be based on a user input or a basic algorithm.

컴퓨팅 장치(100)는 시술 이미지를 수신(320)할 수 있다. 컴퓨팅 장치(100)는 상기 시술 이미지를 하나 이상의 네트워크 함수를 포함하는 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정(330)할 수 있다. 시술 데이터는 학습 시술 데이터와 대응될 수 있다.The computing device 100 may receive 320 a surgical image. The computing device 100 may determine the procedure data by inputting the procedure image to a procedure model including one or more network functions and calculating the procedure image using the procedure model. The procedure data may correspond to the learning procedure data.

컴퓨팅 장치(100)는 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 수신할 수 있다. 제 2 시술 후 이미지는 제 1 시술 후 이미지의 생성 시점보다 이후에 생성된 이미지일 수 있다. 컴퓨팅 장치(100)는 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 학습된 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성할 수 있다. 재진 시술 이미지는 제 1 시술 후 이미지와 제 2 시술 후 이미지에서 차이점이 존재하는 위치 정보를 포함하는 이미지일 수 있다. 제 1 시술 후 이미지는 시술 후 이미지에 대응되는 데이터일 수 있고, 제 2 시술 후 이미지는 시술 전 이미지와 대응되는 데이터일 수 있고, 그리고 재진 시술 이미지는 시술 이미지와 대응되는 데이터일 수 있다.The computing device 100 may receive an image after the first procedure and an image after the second procedure. The image after the second procedure may be an image generated after the time of generation of the image after the first procedure. The computing device 100 may generate the reviewed procedure image by using the first post-operative image and the second post-operative image as inputs of the learned image comparison model. The visited procedure image may be an image including location information in which a difference exists between the first post-image and the second post-image. The first postoperative image may be data corresponding to the postoperative image, the second postoperative image may be data corresponding to the preoperative image, and the refurbished procedure image may be data corresponding to the surgical image.

컴퓨팅 장치(100)는 재진 시술 이미지를 시술 모델의 입력으로 하여 재진 시술 데이터를 연산할 수 있다. 컴퓨팅 장치(100)는 상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성할 수 있다. 컴퓨팅 장치(100)는 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성할 수 있다.The computing device 100 may calculate the jaw procedure data using the jaw procedure image as an input of the surgery model. The computing device 100 may generate the predictive prediction function based on the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure and the amount of change of the first reconstruction data. have. The computing device 100 may generate the second vibration procedure data based on the length of the period from which the disaster prediction function and the prediction time point are predicted.

도 4는 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 로직을 도시한 블록 구성도이다.4 is a block diagram illustrating logic for implementing a procedure prediction method according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따라 플레이어 이탈 방지 방법은 다음과 같은 로직에 의해 구현될 수 있다.According to one embodiment of the present disclosure, the player departure prevention method may be implemented by the following logic.

본 개시의 일 실시예에 따라 시술 예측을 위한 방법은 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하기 위한 로직(410); 시술 이미지를 수신하기 위한 로직(420); 및 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하기 위한 로직(430)에 의하여 구현될 수 있다.According to an embodiment of the present disclosure, a method for predicting a procedure may include logic 410 for generating a surgery model including one or more network functions using training data generated by labeling training procedure data on a first training procedure image. ; Logic 420 for receiving a surgical image; And a logic 430 for inputting the surgical image into the surgical model and calculating the surgical data by calculating the surgical image using the surgical model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지를 수신하기 위한 로직; 상기 시술 전 이미지에 대한 변경 정보를 수신하기 위한 로직; 및 상기 변경 정보를 상기 시술 전 이미지에 매칭시켜 상기 시술 이미지를 생성하기 위한 로직에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises logic for receiving an image before the procedure; Logic to receive change information about the pre-image image; And logic for generating the procedure image by matching the change information to the pre-procedure image.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 제 2 학습 시술 이미지를 상기 학습 데이터의 라벨로 하는 상기 학습 데이터를 생성하기 위한 로직; 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 로직; 상기 이미지 비교 모델로 연산한 출력 데이터와 제 2 학습 시술 이미지를 비교하여 오차를 계산하기 위한 로직; 및 상기 오차에 기초하여 상기 이미지 비교 모델의 가중치를 조정하여 상기 이미지 비교 모델을 생성하기 위한 로직에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method additionally uses the pre-learning image and the post-learning image as input of the training data, and the position of the pixel where there is a difference in the pre-learning image and the post-learning image. Logic for generating the learning data having a second learning procedure image comprising information as a label of the learning data; Logic for inputting the pre-learning image and the post-learning image into an image comparison model including one or more network functions and calculating the image comparison model; Logic for calculating an error by comparing output data calculated by the image comparison model with a second learning procedure image; And a logic for generating the image comparison model by adjusting a weight of the image comparison model based on the error.

시술 예측 방법의 대안적인 실시예에서, 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 로직은, 상기 학습 시술 전 이미지를 상기 이미지 비교 모델의 제 1 서브 모델에 입력하기 위한 로직; 상기 학습 시술 후 이미지를 상기 이미지 비교 모델의 제 2 서브 모델에 입력하기 위한 로직; 상기 제 1 서브 네트워크의 출력과 상기 제 2 서브 네트워크의 출력의 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치 정보 및 레이어 비교 정보 중 적어도 하나를 비교하기 위한 로직; 상기 비교 정보에 기초하여, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 연산하기 위한 로직; 및 상기 학습 시술 전 이미지에 상기 차이점이 존재하는 픽셀의 위치정보에 기초하여 상기 픽셀을 표시하기 위한 로직에 의하여 구현될 수 있다.In an alternative embodiment of the procedure prediction method, logic for inputting the pre-learning image and the post-learning image into an image comparison model and calculating the image comparison model may be configured to convert the pre-learning image to the image comparison model. Logic for inputting to the first submodel; Logic for inputting an image after the training procedure into a second sub-model of the image comparison model; Logic for comparing at least one of location information of a feature of an output of the first sub-network and an output of the second sub-network, location information of a pixel from which each feature is extracted, and layer comparison information; Logic for calculating position information of a pixel in which there is a difference in the image before the learning procedure and the image after the learning procedure based on the comparison information; And logic for displaying the pixel based on location information of the pixel in which the difference exists in the image before the learning procedure.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지 및 시술 후 이미지를 수신하기 위한 로직; 및 상기 시술 전 이미지 및 상기 시술 후 이미지를 상기 이미지 비교 모델에 입력하기 위한 로직; 상기 이미지 비교 모델을 이용하여 상기 시술 이미지를 생성하기 위한 로직에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises logic for receiving a pre-surgical image and a post-surgical image; And logic for inputting the pre-image and post-image images into the image comparison model. It may be implemented by logic for generating the surgical image using the image comparison model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성하기 위한 로직; 및 상기 재진 시술 이미지를 상기 시술 모델의 입력으로 하여 제 1 재진 시술 데이터를 출력하기 위한 로직에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises logic for generating a relapsed procedure image using the first post-treatment image and the second post-treatment image as inputs of an image comparison model; And logic for outputting the first visited procedure data by using the readout procedure image as an input of the procedure model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성하기 위한 로직; 및 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성하기 위한 로직에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method is further based on the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure and the amount of change of the first re-exposure procedure data. Logic to generate a predictive prediction function; And logic for generating second data of the second procedure based on the length of the time period up to the second prediction function and the second prediction function.

도 5는 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 모듈을 도시한 블록 구성도이다.5 is a block diagram illustrating a module for implementing a procedure prediction method according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따라 플레이어 이탈 방지 방법은 다음과 같은 모듈에 의해 구현될 수 있다.According to one embodiment of the present disclosure, the player departure prevention method may be implemented by the following module.

본 개시의 일 실시예에 따라 시술 예측을 위한 방법은 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하기 위한 모듈(510); 시술 이미지를 수신하기 위한 모듈(520); 및 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하기 위한 모듈(530)에 의하여 구현될 수 있다.According to an embodiment of the present disclosure, a method for predicting a procedure may include: a module 510 for generating a procedure model including one or more network functions using training data generated by labeling training procedure data on a first training procedure image ; A module 520 for receiving a procedure image; And a module 530 for inputting the surgical image into the surgical model and determining the surgical data by calculating the surgical image using the surgical model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지를 수신하기 위한 모듈; 상기 시술 전 이미지에 대한 변경 정보를 수신하기 위한 모듈; 및 상기 변경 정보를 상기 시술 전 이미지에 매칭시켜 상기 시술 이미지를 생성하기 위한 모듈에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises a module for receiving an image before the procedure; A module for receiving change information about the image before the procedure; And a module for generating the procedure image by matching the change information to the pre-procedure image.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 제 2 학습 시술 이미지를 상기 학습 데이터의 라벨로 하는 상기 학습 데이터를 생성하기 위한 모듈; 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 모듈; 상기 이미지 비교 모델로 연산한 출력 데이터와 제 2 학습 시술 이미지를 비교하여 오차를 계산하기 위한 모듈; 및 상기 오차에 기초하여 상기 이미지 비교 모델의 가중치를 조정하여 상기 이미지 비교 모델을 생성하기 위한 모듈에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method additionally uses the pre-learning image and the post-learning image as input of the training data, and the position of the pixel where there is a difference in the pre-learning image and the post-learning image. A module for generating the learning data having a second learning procedure image including information as a label of the learning data; A module for inputting the pre-learning image and the post-learning image into an image comparison model including one or more network functions and calculating the image comparison model; A module for comparing an output data calculated by the image comparison model with an image of a second learning procedure to calculate an error; And a module for generating the image comparison model by adjusting a weight of the image comparison model based on the error.

시술 예측 방법의 대안적인 실시예에서, 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 모듈은, 상기 학습 시술 전 이미지를 상기 이미지 비교 모델의 제 1 서브 모델에 입력하기 위한 모듈; 상기 학습 시술 후 이미지를 상기 이미지 비교 모델의 제 2 서브 모델에 입력하기 위한 모듈; 상기 제 1 서브 네트워크의 출력과 상기 제 2 서브 네트워크의 출력의 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치 정보 및 레이어 비교 정보 중 적어도 하나를 비교하기 위한 모듈; 상기 비교 정보에 기초하여, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 연산하기 위한 모듈; 및 상기 학습 시술 전 이미지에 상기 차이점이 존재하는 픽셀의 위치정보에 기초하여 상기 픽셀을 표시하기 위한 모듈에 의하여 구현될 수 있다.In an alternative embodiment of the procedure prediction method, the module for inputting the pre-learning image and the post-learning image into an image comparison model and calculating the image comparison model may include: converting the pre-learning image to the image comparison model. A module for inputting to the first submodel; A module for inputting an image after the training procedure into a second submodel of the image comparison model; A module for comparing at least one of location information of a feature of an output of the first sub-network and an output of the second sub-network, location information of a pixel from which each feature is extracted, and layer comparison information; A module for calculating position information of a pixel having a difference in the pre-learning image and the post-learning procedure image based on the comparison information; And a module for displaying the pixel based on the location information of the pixel in which the difference exists in the image before the learning procedure.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지 및 시술 후 이미지를 수신하기 위한 모듈; 및 상기 시술 전 이미지 및 상기 시술 후 이미지를 상기 이미지 비교 모델에 입력하기 위한 모듈; 상기 이미지 비교 모델을 이용하여 상기 시술 이미지를 생성하기 위한 모듈에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises a module for receiving a pre-surgical image and a post-surgical image; And a module for inputting the pre-image and the post-image to the image comparison model. It may be implemented by a module for generating the procedure image using the image comparison model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성하기 위한 모듈; 및 상기 재진 시술 이미지를 상기 시술 모델의 입력으로 하여 제 1 재진 시술 데이터를 출력하기 위한 모듈에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises a module for generating a reconstructed procedure image using the first post-treatment image and the second post-treatment image as inputs of an image comparison model; And a module for outputting first visited procedure data by using the readout procedure image as an input of the procedure model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성하기 위한 모듈; 및 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성하기 위한 모듈에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method is further based on the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure and the amount of change of the first re-exposure procedure data. A module for generating a predictive prediction function; And a module for generating second disaster treatment procedure data based on the length of the disaster prediction function and the length of the time interval up to the prediction time point.

도 6은 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 회로를 도시한 블록 구성도이다.6 is a block diagram illustrating a circuit for implementing a procedure prediction method according to an exemplary embodiment of the present disclosure.

본 개시의 일 실시예에 따라 플레이어 이탈 방지 방법은 다음과 같은 회로에 의해 구현될 수 있다.According to one embodiment of the present disclosure, the player departure prevention method may be implemented by the following circuit.

본 개시의 일 실시예에 따라 시술 예측을 위한 방법은 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하기 위한 회로(610); 시술 이미지를 수신하기 위한 회로(620); 및 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하기 위한 회로(630)에 의하여 구현될 수 있다.According to an embodiment of the present disclosure, a method for predicting a procedure may include a circuit 610 for generating a procedure model including one or more network functions using training data generated by labeling training procedure data on a first training procedure image. ; Circuitry 620 for receiving a procedure image; And a circuit 630 for inputting the surgical image into the surgical model and determining the surgical data by calculating the surgical image using the surgical model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지를 수신하기 위한 회로; 상기 시술 전 이미지에 대한 변경 정보를 수신하기 위한 회로; 및 상기 변경 정보를 상기 시술 전 이미지에 매칭시켜 상기 시술 이미지를 생성하기 위한 회로에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises circuitry for receiving an image before the procedure; Circuitry for receiving change information about the image before the procedure; And a circuit for generating the procedure image by matching the change information to the pre-procedure image.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 제 2 학습 시술 이미지를 상기 학습 데이터의 라벨로 하는 상기 학습 데이터를 생성하기 위한 회로; 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 회로; 상기 이미지 비교 모델로 연산한 출력 데이터와 제 2 학습 시술 이미지를 비교하여 오차를 계산하기 위한 회로; 및 상기 오차에 기초하여 상기 이미지 비교 모델의 가중치를 조정하여 상기 이미지 비교 모델을 생성하기 위한 회로에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method additionally uses the pre-learning image and the post-learning image as input of the training data, and the position of the pixel where there is a difference in the pre-learning image and the post-learning image. Circuitry for generating the learning data having a second learning procedure image comprising information as a label of the learning data; Circuitry for inputting the pre-learning image and the post-learning image into an image comparison model that includes one or more network functions and calculating the image comparison model; A circuit for comparing the output data calculated by the image comparison model with a second learning procedure image to calculate an error; And a circuit for generating the image comparison model by adjusting a weight of the image comparison model based on the error.

시술 예측 방법의 대안적인 실시예에서, 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 회로는, 상기 학습 시술 전 이미지를 상기 이미지 비교 모델의 제 1 서브 모델에 입력하기 위한 로직; 상기 학습 시술 후 이미지를 상기 이미지 비교 모델의 제 2 서브 모델에 입력하기 위한 회로; 상기 제 1 서브 네트워크의 출력과 상기 제 2 서브 네트워크의 출력의 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치 정보 및 레이어 비교 정보 중 적어도 하나를 비교하기 위한 회로; 상기 비교 정보에 기초하여, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 연산하기 위한 회로; 및 상기 학습 시술 전 이미지에 상기 차이점이 존재하는 픽셀의 위치정보에 기초하여 상기 픽셀을 표시하기 위한 회로에 의하여 구현될 수 있다.In an alternative embodiment of the procedure prediction method, circuitry for inputting the pre-learning image and the post-learning image into an image comparison model and calculating the image comparison model may include: Logic for inputting to the first submodel; Circuitry for inputting the post-training image into a second submodel of the image comparison model; A circuit for comparing at least one of position information of a feature of an output of the first sub-network and an output of the second sub-network, position information of a pixel from which each feature is extracted, and layer comparison information; A circuit for calculating position information of a pixel in which there is a difference in the pre-learning image and the post-learning procedure image based on the comparison information; And a circuit for displaying the pixel based on the location information of the pixel in which the difference exists in the image before the learning procedure.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지 및 시술 후 이미지를 수신하기 위한 회로; 및 상기 시술 전 이미지 및 상기 시술 후 이미지를 상기 이미지 비교 모델에 입력하기 위한 회로; 상기 이미지 비교 모델을 이용하여 상기 시술 이미지를 생성하기 위한 회로에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises circuitry for receiving a pre-surgical image and a post-surgical image; And a circuit for inputting the pre-image and the post-image to the image comparison model. It may be implemented by a circuit for generating the procedure image using the image comparison model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성하기 위한 회로; 및 상기 재진 시술 이미지를 상기 시술 모델의 입력으로 하여 제 1 재진 시술 데이터를 출력하기 위한 회로에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises circuitry for generating a reconstructed procedure image using the first post-treatment image and the second post-treatment image as inputs of an image comparison model; And a circuit for outputting first visited procedure data by using the readout procedure image as an input of the procedure model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성하기 위한 회로; 및 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성하기 위한 회로에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method is further based on the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure and the amount of change of the first re-exposure procedure data. Circuitry for generating a predictive prediction function; And a circuit for generating second vibration procedure data based on the length of the disaster prediction function and the time interval up to the prediction time point.

도 7은 본 개시의 일 실시예에 따라 시술 예측 방법을 구현하기 위한 수단을 도시한 블록 구성도이다.7 is a block diagram illustrating a means for implementing a procedure prediction method according to an embodiment of the present disclosure.

본 개시의 일 실시예에 따라 플레이어 이탈 방지 방법은 다음과 같은 수단에 의해 구현될 수 있다.According to one embodiment of the present disclosure, the player departure prevention method may be implemented by the following means.

본 개시의 일 실시예에 따라 시술 예측을 위한 방법은 제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하기 위한 수단(710); 시술 이미지를 수신하기 위한 수단(720); 및 상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하기 위한 수단(730)에 의하여 구현될 수 있다.According to an embodiment of the present disclosure, a method for procedure prediction includes a means for generating a procedure model including one or more network functions using training data generated by labeling training procedure data on a first training procedure image. ; Means 720 for receiving a procedure image; And means 730 for inputting the surgical image into the surgical model and determining the surgical data by calculating the surgical image using the surgical model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지를 수신하기 위한 수단; 상기 시술 전 이미지에 대한 변경 정보를 수신하기 위한 수단; 및 상기 변경 정보를 상기 시술 전 이미지에 매칭시켜 상기 시술 이미지를 생성하기 위한 수단에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises means for receiving an image before the procedure; Means for receiving change information about the image before the procedure; And means for matching the change information with the pre-image to generate the procedure image.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 제 2 학습 시술 이미지를 상기 학습 데이터의 라벨로 하는 상기 학습 데이터를 생성하기 위한 수단; 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 수단; 상기 이미지 비교 모델로 연산한 출력 데이터와 제 2 학습 시술 이미지를 비교하여 오차를 계산하기 위한 수단; 및 상기 오차에 기초하여 상기 이미지 비교 모델의 가중치를 조정하여 상기 이미지 비교 모델을 생성하기 위한 수단에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method additionally uses the pre-learning image and the post-learning image as input of the training data, and the position of the pixel where there is a difference in the pre-learning image and the post-learning image. Means for generating the learning data having a second learning procedure image comprising information as a label of the learning data; Means for inputting the pre-trained image and the post-trained image into an image comparison model that includes one or more network functions and calculating the image comparison model; Means for comparing the output data computed by the image comparison model with a second learning procedure image to calculate an error; And means for adjusting the weight of the image comparison model based on the error to generate the image comparison model.

시술 예측 방법의 대안적인 실시예에서, 상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하기 위한 수단은, 상기 학습 시술 전 이미지를 상기 이미지 비교 모델의 제 1 서브 모델에 입력하기 위한 수단; 상기 학습 시술 후 이미지를 상기 이미지 비교 모델의 제 2 서브 모델에 입력하기 위한 수단; 상기 제 1 서브 네트워크의 출력과 상기 제 2 서브 네트워크의 출력의 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치 정보 및 레이어 비교 정보 중 적어도 하나를 비교하기 위한 수단; 상기 비교 정보에 기초하여, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 연산하기 위한 수단; 및 상기 학습 시술 전 이미지에 상기 차이점이 존재하는 픽셀의 위치정보에 기초하여 상기 픽셀을 표시하기 위한 수단에 의하여 구현될 수 있다.In an alternative embodiment of the procedure prediction method, means for inputting the pre-learning image and the post-learning image into an image comparison model and calculating the image comparison model includes: converting the pre-learning image to the image comparison model. Means for inputting to a first submodel; Means for inputting the post-training image into a second submodel of the image comparison model; Means for comparing at least one of location information of a feature of an output of the first sub-network and an output of the second sub-network, location information of a pixel from which each feature is extracted, and layer comparison information; Means for calculating position information of a pixel in which there is a difference in the pre-learning image and the post-learning procedure image based on the comparison information; And means for displaying the pixel based on the position information of the pixel in which the difference exists in the image before the learning procedure.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 시술 전 이미지 및 시술 후 이미지를 수신하기 위한 수단; 및 상기 시술 전 이미지 및 상기 시술 후 이미지를 상기 이미지 비교 모델에 입력하기 위한 수단; 상기 이미지 비교 모델을 이용하여 상기 시술 이미지를 생성하기 위한 수단에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises means for receiving a pre- and post-operative image; And means for inputting the pre-image and post-image images into the image comparison model; It may be implemented by means for generating the surgical image using the image comparison model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 제 1 시술 후 이미지 및 제 2 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성하기 위한 수단; 및 상기 재진 시술 이미지를 상기 시술 모델의 입력으로 하여 제 1 재진 시술 데이터를 출력하기 위한 수단에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method further comprises means for generating a reconstructed procedure image using the first post-treatment image and the second post-treatment image as inputs of an image comparison model; And means for outputting first visited procedure data using the visited procedure image as an input of the procedure model.

시술 예측 방법의 대안적인 실시예에서, 상기 방법은 추가적으로 상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성하기 위한 수단; 및 상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성하기 위한 수단에 의하여 구현될 수도 있다.In an alternative embodiment of the procedure prediction method, the method is further based on the length of the time interval from the time of generating the image after the first procedure to the time of generating the image after the second procedure and the amount of change of the first re-exposure procedure data. Means for generating a predictive prediction function; And means for generating second disaster treatment procedure data based on the length of the disaster prediction function and the length of time interval to the prediction time point.

도 8은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록 구성도이다.8 is a block diagram of a computing device according to an embodiment of the present disclosure.

도 8은 본 개시의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.8 shows a brief general schematic of an exemplary computing environment in which embodiments of the present disclosure may be implemented.

본 개시가 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되었지만, 당업자라면 본 개시가 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로써 구현될 수 있다는 것을 잘 알 것이다.Although the present disclosure has been described above generally with respect to computer executable instructions that may be executed on one or more computers, those skilled in the art will appreciate that the present disclosure may be implemented in combination with other program modules and / or as a combination of hardware and software. will be.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인 프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.Generally, program modules include routines, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types. In addition, those skilled in the art will appreciate that the methods of the present disclosure may include uniprocessor or multiprocessor computer systems, minicomputers, mainframe computers as well as personal computers, handheld computing devices, microprocessor-based or programmable consumer electronics, and the like (each of which And other computer system configurations, including one or more associated devices.

본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있다.The described embodiments of the present disclosure can also be practiced in distributed computing environments where certain tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote memory storage devices.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있다. 컴퓨터 판독가능 매체는 휘발성 및 비 휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비 휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.Computers typically include a variety of computer readable media. Any medium accessible by a computer may be a computer readable medium. Computer readable media includes volatile and nonvolatile media, transitory and non-transitory media, removable and non-removable media. By way of example, and not limitation, computer readable media may comprise computer readable storage media and computer readable transmission media. Computer-readable storage media are volatile and nonvolatile media, temporary and non-transitory media, removable and non-removable implemented in any method or technology for storing information such as computer readable instructions, data structures, program modules or other data. Media. Computer storage media may include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROMs, digital video disks or other optical disk storage devices, magnetic cassettes, magnetic tapes, magnetic disk storage devices or other magnetic storage devices, Or any other medium that can be accessed by a computer and used to store desired information.

컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피 변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. 피 변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.Computer-readable transmission media typically embody computer readable instructions, data structures, program modules or other data in a modulated data signal, such as a carrier wave or other transport mechanism, and the like. Includes all information delivery media. The term modulated data signal means a signal that has one or more of its characteristics set or changed to encode information in the signal. By way of example, and not limitation, computer readable transmission media includes wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, or other wireless media. Combinations of any of the above should also be included within the scope of computer readable transmission media.

컴퓨터(1102)를 포함하는 본 개시의 여러가지 측면들을 구현하는 예시적인 환경(1100)이 나타내어져 있으며, 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.An exemplary environment 1100 is illustrated that implements various aspects of the present disclosure, including a computer 1102, which includes a processing unit 1104, a system memory 1106, and a system bus 1108. do. System bus 1108 connects system components, including but not limited to system memory 1106, to processing unit 1104. Processing unit 1104 may be any of a variety of commercially available processors. Dual processor and other multiprocessor architectures may also be used as the processing unit 1104.

시스템 버스(1108)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇 가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비 휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.System bus 1108 may be any of several types of bus structures that may be further interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures. System memory 1106 includes read only memory (ROM) 1110 and random access memory (RAM) 1112. The basic input / output system (BIOS) is stored in nonvolatile memory 1110, such as ROM, EPROM, EEPROM, etc., and the BIOS provides a basic aid for transferring information between components in the computer 1102, such as during startup. Contains routines. RAM 1112 may also include fast RAM, such as static RAM, for caching data.

컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA)-이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음-, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘 다를 포함한다.Computer 1102 also includes an internal hard disk drive (HDD) 1114 (eg, EIDE, SATA) —the internal hard disk drive 1114 may also be configured for external use within a suitable chassis (not shown). Yes, magnetic floppy disk drive (FDD) 1116 (eg, for reading from or writing to removable diskette 1118), and optical disk drive 1120 (eg, CD-ROM Disc 1122 for reading from or writing to or writing from other high capacity optical media such as DVD). The hard disk drive 1114, the magnetic disk drive 1116, and the optical disk drive 1120 are connected to the system bus 1108 by the hard disk drive interface 1124, the magnetic disk drive interface 1126, and the optical drive interface 1128, respectively. ) Can be connected. Interface 1124 for external drive implementation includes at least one or both of Universal Serial Bus (USB) and IEEE 1394 interface technologies.

이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비 휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 개시의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.These drives and their associated computer readable media provide nonvolatile storage of data, data structures, computer executable instructions, and the like. In the case of computer 1102, drives and media correspond to storing any data in a suitable digital format. Although the description of computer readable media above refers to HDDs, removable magnetic disks, and removable optical media such as CDs or DVDs, those skilled in the art will appreciate zip drives, magnetic cassettes, flash memory cards, cartridges, and the like. Other types of media readable by the computer, etc. may also be used in the exemplary operating environment and it will be appreciated that any such media may include computer executable instructions for performing the methods of the present disclosure.

운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 개시가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.Multiple program modules may be stored in the drive and RAM 1112, including operating system 1130, one or more application programs 1132, other program modules 1134, and program data 1136. All or a portion of the operating system, applications, modules and / or data may also be cached in RAM 1112. It will be appreciated that the present disclosure may be implemented in various commercially available operating systems or combinations of operating systems.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.A user may enter commands and information into the computer 1102 through one or more wired / wireless input devices, such as a keyboard 1138 and a mouse 1140. Other input devices (not shown) may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like. These and other input devices are often connected to the processing unit 1104 through an input device interface 1142 that is connected to the system bus 1108, but the parallel port, IEEE 1394 serial port, game port, USB port, IR interface, Etc. can be connected by other interfaces.

모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.A monitor 1144 or other type of display device is also connected to the system bus 1108 via an interface such as a video adapter 1146. In addition to the monitor 1144, the computer generally includes other peripheral output devices (not shown) such as speakers, printers, and the like.

컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 컴퓨팅 디바이스 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.Computer 1102 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer (s) 1148, via wired and / or wireless communications. Remote computer (s) 1148 can be a workstation, computing device computer, router, personal computer, portable computer, microprocessor-based entertainment device, peer device, or other conventional network node, and typically is associated with computer 1102. Although many or all of the components described above are included, for simplicity, only memory storage 1150 is shown. The logical connections shown include wired / wireless connections to a local area network (LAN) 1152 and / or a larger network, such as a telecommunications network (WAN) 1154. Such LAN and WAN networking environments are commonplace in offices and businesses, facilitating enterprise-wide computer networks such as intranets, all of which may be connected to worldwide computer networks, such as the Internet.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 컴퓨팅 디바이스에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.When used in a LAN networking environment, the computer 1102 is connected to the local network 1152 via a wired and / or wireless communication network interface or adapter 1156. Adapter 1156 may facilitate wired or wireless communication to LAN 1152, which also includes a wireless access point installed therein for communicating with wireless adapter 1156. When used in a WAN networking environment, the computer 1102 may include a modem 1158, connect to a communications computing device on the WAN 1154, or establish communications over the WAN 1154, such as over the Internet. Other means. The modem 1158, which may be an internal or external and wired or wireless device, is connected to the system bus 1108 via the serial port interface 1142. In a networked environment, program modules or portions thereof described with respect to computer 1102 may be stored in remote memory / storage device 1150. It will be appreciated that the network connections shown are exemplary and other means of establishing a communications link between the computers can be used.

컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.Computer 1102 is associated with any wireless device or entity disposed and operating in wireless communication, such as a printer, scanner, desktop and / or portable computer, portable data assistant, communications satellite, wireless detectable tag. Communicate with any equipment or location and telephone. This includes at least Wi-Fi and Bluetooth wireless technology. Thus, the communication can be a predefined structure as in a conventional network or simply an ad hoc communication between at least two devices.

Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성 있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a, b, g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.Wireless Fidelity (Wi-Fi) allows you to connect to the Internet without wires. Wi-Fi is a wireless technology such as a cell phone that allows a device, for example, a computer, to transmit and receive data indoors and outdoors, ie anywhere within the coverage area of a base station. Wi-Fi networks use a wireless technology called IEEE 802.11 (a, b, g, etc.) to provide secure, reliable, high-speed wireless connections. Wi-Fi may be used to connect computers to each other, to the Internet, and to a wired network (using IEEE 802.3 or Ethernet). Wi-Fi networks can operate in unlicensed 2.4 and 5 GHz wireless bands, for example, at 11 Mbps (802.11a) or 54 Mbps (802.11b) data rates, or in products that include both bands (dual band). have.

본 개시의 기술 분야에서 통상의 지식을 가진 자는 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 위의 설명에서 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 입자들, 광학장들 또는 입자들, 또는 이들의 임의의 결합에 의해 표현될 수 있다.Those skilled in the art will appreciate that information and signals may be represented using any of a variety of different technologies and techniques. For example, data, instructions, instructions, information, signals, bits, symbols, and chips that may be referenced in the above description may include voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields. Or particles, or any combination thereof.

본 개시의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 개시의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 개시의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.One of ordinary skill in the art of the disclosure will appreciate that the various illustrative logical blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein may be implemented in electronic hardware, It will be appreciated that for purposes of the present invention, various forms of program or design code, or combinations thereof, may be implemented. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. One skilled in the art of the present disclosure may implement the described functionality in various ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. The various embodiments presented herein may be embodied in a method, apparatus, or article of manufacture using standard programming and / or engineering techniques. The term "article of manufacture" includes a computer program, carrier, or media accessible from any computer-readable device. For example, computer-readable media may include magnetic storage devices (eg, hard disks, floppy disks, magnetic strips, etc.), optical disks (eg, CDs, DVDs, etc.), smart cards, and flash memory. Devices, such as, but not limited to, EEPROM, cards, sticks, key drives, and the like. In addition, various storage media presented herein include one or more devices and / or other machine-readable media for storing information.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.It is to be understood that the specific order or hierarchy of steps in the processes presented is an example of exemplary approaches. Based upon design priorities, it is understood that the specific order or hierarchy of steps in the processes may be rearranged within the scope of the present disclosure. The accompanying method claims present elements of the various steps in a sample order, but are not meant to be limited to the specific order or hierarchy presented.

제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present disclosure. Various modifications to these embodiments will be apparent to those of ordinary skill in the art. The general principles defined herein may be applied to other embodiments without departing from the scope of the present disclosure. Thus, the present disclosure should not be limited to the embodiments set forth herein but should be construed in the broadest scope consistent with the principles and novel features set forth herein.

Claims

컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨팅 장치의 하나 이상의 프로세서에서 실행되는 경우 시술 예측을 위한 이하의 동작들을 수행하도록 하며 상기 동작들은,
제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하는 동작;
시술 이미지를 수신하는 동작; 및
상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하는 동작;
을 포함하고, 그리고
상기 시술 데이터는 시술과 관련한 데이터를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
A computer program stored in a computer readable storage medium, the computer program configured to perform the following operations for procedure prediction when executed on one or more processors of a computing device,
Generating a surgical model including one or more network functions using the training data generated by labeling the training procedure data on the first training procedure image;
Receiving a procedure image; And
Inputting the procedure image into the procedure model and calculating the procedure image using the procedure model to determine procedure data;
Including, and
The procedure data includes data relating to the procedure,
Computer program stored on a computer readable storage medium.

제 1 항에 있어서,
상기 시술 데이터는 상기 시술 이미지의 적어도 일부의 픽셀에 상기 픽셀과 시술 항목 및 시술 용량 중 적어도 하나가 매칭된 데이터를 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The treatment data may include data in which at least one of the pixel, a treatment item, and a treatment volume is matched to at least some pixels of the treatment image.
Computer program stored on a computer readable storage medium.

제 1 항에 있어서,
시술 전 이미지를 수신하는 동작;
상기 시술 전 이미지에 대한 변경 정보를 수신하는 동작; 및
상기 변경 정보를 상기 시술 전 이미지에 매칭시켜 상기 시술 이미지를 생성하는 동작;
을 더 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
Receiving an image before the procedure;
Receiving change information about the image before the procedure; And
Generating the procedure image by matching the change information to the pre-procedure image;
Including more;
Computer program stored on a computer readable storage medium.

제 1 항에 있어서,
학습 시술 전 이미지 및 학습 시술 후 이미지를 학습 데이터의 입력으로 하고, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치 정보를 포함하는 제 2 학습 시술 이미지를 상기 학습 데이터의 라벨로 하는 상기 학습 데이터를 생성하는 동작;
상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 하나 이상의 네트워크 함수를 포함하는 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하는 동작;
상기 이미지 비교 모델로 연산한 출력 데이터와 제 2 학습 시술 이미지를 비교하여 오차를 계산하는 동작; 및
상기 오차에 기초하여 상기 이미지 비교 모델의 가중치를 조정하여 상기 이미지 비교 모델을 생성하는 동작;
을 더 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
A second learning procedure image including the position information of a pixel having a difference between the pre-learning image and the post-learning procedure as input of the training data, and including a difference between the pre-learning image and the post-learning procedure image. Generating the learning data with a label;
Inputting the pre-learning image and the post-learning image into an image comparison model including one or more network functions and calculating the image comparison model;
Calculating an error by comparing the output data calculated by the image comparison model with a second learning procedure image; And
Generating the image comparison model by adjusting a weight of the image comparison model based on the error;
Including more;
Computer program stored on a computer readable storage medium.

제 4 항에 있어서,
상기 학습 시술 전 이미지 및 상기 학습 시술 후 이미지를 이미지 비교 모델에 입력시키고 상기 이미지 비교 모델로 연산하는 동작은,
상기 학습 시술 전 이미지를 상기 이미지 비교 모델의 제 1 서브 모델에 입력하는 동작;
상기 학습 시술 후 이미지를 상기 이미지 비교 모델의 제 2 서브 모델에 입력하는 동작;
상기 제 1 서브 모델의 출력과 상기 제 2 서브 모델의 출력의 피쳐의 위치정보, 각 피쳐가 추출된 픽셀의 위치 정보 및 레이어 비교 정보 중 적어도 하나를 비교하는 동작;
상기 비교 정보에 기초하여, 상기 학습 시술 전 이미지와 상기 학습 시술 후 이미지에서 차이점이 존재하는 픽셀의 위치정보를 연산하는 동작; 및
상기 학습 시술 전 이미지에 상기 차이점이 존재하는 픽셀의 위치정보에 기초하여 상기 픽셀을 표시하는 동작;
을 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 4, wherein
The operation of inputting the image before the training procedure and the image after the training procedure into an image comparison model and calculating the image comparison model,
Inputting the image before the training procedure into a first submodel of the image comparison model;
Inputting an image after the training procedure into a second sub-model of the image comparison model;
Comparing at least one of position information of a feature of an output of the first submodel and an output of the second submodel, position information of a pixel from which each feature is extracted, and layer comparison information;
Calculating position information of a pixel in which a difference exists in the pre-learning image and the post-learning image based on the comparison information; And
Displaying the pixel based on location information of a pixel in which the difference exists in the image before the learning procedure;
Including,
Computer program stored on a computer readable storage medium.

제 4 항에 있어서,
시술 전 이미지 및 시술 후 이미지를 수신하는 동작;
상기 시술 전 이미지 및 상기 시술 후 이미지를 상기 이미지 비교 모델에 입력하는 동작; 및
상기 이미지 비교 모델을 이용하여 상기 시술 이미지를 생성하는 동작;
을 더 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 4, wherein
Receiving an image before the procedure and an image after the procedure;
Inputting the pre-image and post-image images into the image comparison model; And
Generating the procedure image using the image comparison model;
Including more;
Computer program stored on a computer readable storage medium.

제 4 항에 있어서,
제 1 시술 후 이미지 및 제 2 시술 후 이미지를 이미지 비교 모델의 입력으로 하여 재진 시술 이미지를 생성하는 동작; 및
상기 재진 시술 이미지를 상기 시술 모델의 입력으로 하여 제 1 재진 시술 데이터를 출력하는 동작;
을 더 포함하고,
제 2 시술 후 이미지는 제 1 시술 후 이미지의 생성 시점보다 이후에 생성된 이미지인,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 4, wherein
Generating a reconstructed surgical image by using the first postoperative image and the second postoperative image as inputs of an image comparison model; And
Outputting first visited procedure data using the visited procedure image as an input of the procedure model;
More,
The image after the second procedure is an image generated after the time of generation of the image after the first procedure,
Computer program stored on a computer readable storage medium.

제 7 항에 있어서,
상기 제 1 시술 후 이미지의 생성 시점부터 상기 제 2 시술 후 이미지의 생성 시점까지의 시간 구간의 길이 및 상기 제 1 재진 시술 데이터의 변화량에 기초하여 재진 예측 함수를 생성하는 동작; 및
상기 재진 예측 함수 및 재진 예상 시점까지의 시간 구간의 길이에 기초하여 제 2 재진 시술 데이터를 생성하는 동작;
을 더 포함하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
The method of claim 7, wherein
Generating a predictive prediction function based on the length of the time interval from the time of generating the first post-surgical image to the time of generating the second post-surgery image and the amount of change in the first reconstruction data; And
Generating second disasterary procedure data based on the length of the time interval up to the anticipation time and the anticipation function;
Including more;
Computer program stored on a computer readable storage medium.

시술 예측 방법으로서,
제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하는 단계;
시술 이미지를 수신하는 단계; 및
상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하는 단계;
를 포함하고, 그리고
상기 시술 데이터는 시술과 관련한 데이터를 포함하는,
시술 예측 방법.
As a procedure prediction method,
Generating a surgical model including one or more network functions using the training data generated by labeling the training procedure data on the first training procedure image;
Receiving a procedure image; And
Inputting the procedure image into the procedure model and calculating the procedure image using the procedure model to determine procedure data;
Including, and
The procedure data includes data relating to the procedure,
Procedure prediction method.

시술 예측을 위한 컴퓨팅 장치로서
하나 이상의 코어를 포함하는 프로세서; 및
메모리;
를 포함하고,
상기 프로세서는,
제 1 학습 시술 이미지에 학습 시술 데이터를 라벨링하여 생성된 학습 데이터를 이용하여 하나 이상의 네트워크 함수를 포함하는 시술 모델을 생성하고,
시술 이미지를 수신하고,
상기 시술 이미지를 상기 시술 모델에 입력시키고 상기 시술 모델을 이용하여 상기 시술 이미지를 연산하여 시술 데이터를 결정하고, 그리고
상기 시술 데이터는 시술과 관련한 데이터를 포함하는,
시술 예측을 위한 컴퓨팅 장치.

As a computing device for procedure prediction
A processor including one or more cores; And
Memory;
Including,
The processor,
Generating a surgical model including one or more network functions using the training data generated by labeling training procedure data on the first training procedure image,
Receive the procedure image,
Inputting the procedure image into the procedure model and calculating the procedure image using the procedure model to determine procedure data, and
The procedure data includes data relating to the procedure,
Computing device for procedure prediction.