KR102386828B1 - System and Method for Predicting of facial profile after prosthodontic treatment using deep learning - Google Patents
System and Method for Predicting of facial profile after prosthodontic treatment using deep learning Download PDFInfo
- Publication number
- KR102386828B1 KR102386828B1 KR1020200141409A KR20200141409A KR102386828B1 KR 102386828 B1 KR102386828 B1 KR 102386828B1 KR 1020200141409 A KR1020200141409 A KR 1020200141409A KR 20200141409 A KR20200141409 A KR 20200141409A KR 102386828 B1 KR102386828 B1 KR 102386828B1
- Authority
- KR
- South Korea
- Prior art keywords
- point
- treatment
- image
- deep learning
- prosthetic
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Robotics (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 보철 치료 개선에 관한 것으로, 구체적으로 보철 치료 이후의 실제 이미지를 이용하여 치료 전의 가상 이미지를 만들어 딥러닝을 통한 데이터 셋을 구축하여 안모 변화 예측 정확도를 높인 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법에 관한 것이다.The present invention relates to improvement of prosthetic treatment, and specifically, by using real images after prosthetic treatment to create a virtual image before treatment, build a data set through deep learning to increase the accuracy of predicting facial changes. It relates to an apparatus and method for predicting change.
일반적으로 교합이란 입을 다물었을 때 상악 및 하악의 치아가 서로 맞물리는 상태를 의미한다. 그리고, 부정교합이란 어떤 원인에 의해 상기 치아의 배열이 가지런하지 않거나 상하악의 맞물림 상태가 정상의 위치를 벗어나서 기능적, 심미적으로 문제가 되는 부정확한 교합관계를 의미한다.In general, occlusion means a state in which the teeth of the maxilla and the mandible are meshed with each other when the mouth is closed. And, the malocclusion refers to an inaccurate occlusal relationship in which the arrangement of the teeth is not aligned due to some cause or the upper and lower jaws deviate from their normal positions, causing functional and aesthetic problems.
정상치열에서 많이 벗어난 치아가 있거나 턱의 위치가 비정상이라면 외부에서 충격이 가해질 때 치아 파절 등 치아에 손상이 가해질 가능성도 크다.If there are teeth that deviate a lot from the normal dentition or the position of the jaw is abnormal, there is a high possibility of damage to the teeth such as fractured teeth when an external shock is applied.
이에, 부정교합을 치료하기 위해 교정 치료가 수행된다. Accordingly, orthodontic treatment is performed to treat the malocclusion.
한편, 치아를 상실했을 경우 인공적으로 치아를 대체할 수 있는 보형물을 보철이라 하며, 보철 치료는 충치나 잇몸질환, 외부 충격 등으로 인해 치아 및 주위 조직이 상실된 경우 턱과 치아의 기능(씹는 기능, 말하는 기능, 미적 기능 등)을 회복시켜주는 치료이다.On the other hand, when a tooth is lost, an implant that can artificially replace the tooth is called a prosthesis. It is a treatment that restores speech function, aesthetic function, etc.).
즉, 보철 치료는 자연치아를 수복하거나 인공대체물로 빠진 치아 또는 이와 관계되는 구강 및 악안면 조직을 회복시켜 구강 기능, 외관 및 건강을 회복시키는 것이다.That is, prosthetic treatment restores oral function, appearance, and health by restoring natural teeth or missing teeth with artificial substitutes or oral and maxillofacial tissues related thereto.
이와 같은 교정 치료 및 보철 치료는 교정 진단을 위한 얼굴형 판단이 선행되고, 얼굴형 판단은 안면 골격, 치아, 얼굴 윤곽 등의 상대적인 위치를 지시하는 해부학점 기준점을 이용하여 교정 치료를 위한 얼굴형을 판단하는 것이다.In such orthodontic treatment and prosthetic treatment, face shape determination for orthodontic diagnosis is preceded, and face shape determination is performed to determine the face shape for orthodontic treatment using anatomical point reference points indicating the relative positions of the facial skeleton, teeth, and facial contours. is to judge
한편, 교정 진단용 치과 영상 분석 방법으로, 환자의 시술 전 안면 이미지와 시술 후 안면 이미지를 획득하고, 하나의 화면에서 시술 전 및 시술 후 안면 이미지가 각각 표시될 수 있도록 화면을 분할하여 나타냄으로써 시술로 인해 달라진 얼굴의 변화를 육안으로 쉽게 비교할 수 있도록 제공하는 시스템이 제안되고 있다.On the other hand, as a dental image analysis method for orthodontic diagnosis, it acquires a facial image before and after surgery of a patient, and divides the screen so that the facial images before and after the procedure can be displayed on one screen, respectively. A system has been proposed that provides a way to easily compare changes in the face with the naked eye.
환자가 치아를 상실하면, 환자의 안면부를 지지하던 치아의 역할이 상실됨에 따라서 환자의 외모가 변하게 된다. 보철 치료는 단순히 저작의 기능만을 회복시켜 주는 것이 아니라, 치아 상실전의 안모도 회복시켜 주어야 하는 것이 매우 중요한 점이다.When a patient loses a tooth, the patient's appearance changes as the role of the tooth supporting the patient's face is lost. It is very important that prosthetic treatment not only restores the function of mastication, but also restores the facial appearance before tooth loss.
보철 치료 후의 안모는 치아가 상실된 부위에 얹어진 기록상과 왁스(wax)의 형태를 조절해 가면서 수많은 시행착오를 거치며 많은 임상시간을 들여 평가해 왔으나, 그 전 단계까지는 치료가 종료된 후의 환자의 안모에 대해 예측할 수 있는 방법이 존재하지 않았다.The facial appearance after prosthetic treatment has been evaluated through numerous trials and errors while controlling the shape of the wax and the record placed on the area where the tooth has been lost. There was no way to predict.
보철 치료 후의 안모를 예측할 수 있다면 치료 전에 미리 환자와 치료 결과에 대해 충분히 토의하고 치료의 방향을 설정할 수 있으므로 예측 가능한 치료 결과를 도출할 수 있다.If the facial appearance after prosthetic treatment can be predicted, predictable treatment results can be derived because the patient can sufficiently discuss the treatment results and set the treatment direction before treatment.
그러나 종래 기술의 치료후의 안모 변화 예측은 보철물 치료 전 이미지와 치료 후의 이미지를 이용한 변화 데이터를 축적하여 예측에 이용하는 것으로, 치료기간에 따른 헤어스타일, 광원, 옷의 위치와 색, 머리 자세의 미세한 변화 등의 오염된 데이터의 사용으로 안모 변화 예측 정확도를 높이는데 한계가 있다.However, the prior art prediction of facial changes after treatment is to accumulate change data using images before and after treatment of the prosthesis and use it for prediction, and minute changes in hairstyle, light source, position and color of clothes, and head posture according to the treatment period There is a limit in improving the accuracy of predicting facial changes due to the use of contaminated data such as
따라서, 이러한 종래 기술의 치료 전후의 안모 변화 예측 시스템의 문제를 해결하기 위한 새로운 기술의 개발이 요구되고 있다.Therefore, the development of a new technology for solving the problem of the facial change prediction system before and after treatment of the prior art is required.
본 발명은 종래 기술의 보철 치료 및 안모 변화 예측 기술의 문제점을 해결하기 위한 것으로, 보철 치료 이후의 실제 이미지를 이용하여 치료 전의 가상 이미지를 만들어 딥러닝을 통한 데이터 셋을 구축하여 안모 변화 예측 정확도를 높인 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prosthetic treatment and facial change prediction technology of the prior art, and by creating a virtual image before treatment using the real image after the prosthetic treatment, build a data set through deep learning to improve the accuracy of predicting facial changes An object of the present invention is to provide an apparatus and method for predicting facial changes after prosthetic treatment using advanced deep learning.
본 발명은 치료 전후의 치료기간에 따른 헤어스타일, 광원, 옷의 위치와 색, 머리 자세의 미세한 변화 등에 의한 오염된 데이터를 딥러닝 네트워크가 학습하지 않도록 하여 안모 변화 예측 정확도를 높일 수 있는 데이터 셋 구축이 가능하도록 한 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a data set that can increase the accuracy of predicting facial changes by preventing the deep learning network from learning contaminated data caused by minute changes in hair style, light source, clothes position and color, and head posture according to the treatment period before and after treatment. An object of the present invention is to provide an apparatus and method for predicting facial changes after prosthetic treatment using deep learning that enables construction.
본 발명은 보철 치료 후 튀어나오는 입 부분을 제외한 점들인 고정점 및 보철 치료 후 튀어나오는 입 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 모습을 만들어 안모 변화 예측을 위한 데이터 셋을 구축하고, 이후에 구축된 데이터 셋을 이용하여 보철 치료 후 보철물 착용 모습을 효율적으로 예측할 수 있도록 한 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention uses a fixed point, which is a point excluding the mouth part that protrudes after prosthetic treatment, and a strain point, which is a point including the mouth part that protrudes after prosthetic treatment, to create an appearance before wearing the prosthesis from the appearance after wearing the prosthesis. The purpose of this is to provide an apparatus and method for predicting facial changes after prosthetic treatment using deep learning that builds a data set and uses the subsequently constructed data set to efficiently predict the appearance of wearing a prosthesis after prosthetic treatment. .
본 발명은 고정점을 이용한 보철물 전 후 이미지 정합(registration)을 하고, 보철물 치료 후 사진과 변형점을 이용해서 차이만큼 안쪽으로 밀어넣어서 가상의 보철물 치료 전 이미지를 만들어 오염된 데이터의 사용없이 딥러닝을 통한 데이터 셋을 구축하여 안모 변화 예측 정확도를 높인 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention performs the registration of images before and after the prosthesis using a fixed point, and uses the photos and strain points after the treatment of the prosthesis to push inward as much as the difference to create a virtual image before treatment for the prosthesis and deep learning without the use of contaminated data. The purpose of this is to provide an apparatus and method for predicting facial changes after prosthetic treatment using deep learning, which increases the accuracy of predicting facial changes by building a data set through
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치는 보철 치료 이후의 실제 이미지를 이용하여 치료 전의 가상 이미지를 만들어 딥러닝을 통한 데이터 셋을 구축하는 데이터 셋 구축 수단;데이터 셋 구축 수단에서 구축된 예측 알고리즘을 이용하여 치료전 이미지를 입력하면 치료후 예측 이미지를 출력하는 예측 이미지 출력 수단;을 포함하는 것을 특징으로 한다.The apparatus for predicting facial changes after prosthetic treatment using deep learning according to the present invention for achieving the above object is to create a virtual image before treatment using the real image after prosthetic treatment to build a data set through deep learning. It characterized in that it comprises; data set construction means; predictive image output means for outputting a post-treatment prediction image when the pre-treatment image is input using the prediction algorithm built in the data set construction means.
여기서, 상기 데이터 셋 구축 수단은, 예측 알고리즘 구축을 위하여 치료 후 이미지 입력을 하는 치료후 이미지 입력부와,고정점 지정 및 변형점 지정 처리를 위하여 입력된 이미지를 분석하는 이미지 분석부와,이미지 분석부의 분석 결과에 따라 고정점이 속한 라인을 정하고 고정점 지정 처리를 하는 고정점 지정 처리부와,이미지 분석부의 분석 결과에 따라 변형점이 속한 라인을 정하고 변형점 지정 처리를 하는 변형점 지정 처리부와,고정점 지정 및 변형점 지정에 따른 이미지 정합을 하는 이미지 정합부와,보철 치료 후 변화가 있는 부분을 제외한 점들인 고정점 및 보철 치료 후 변화가 있는 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 이미지 생성을 하는 치료전 가상 이미지 생성부와,치료 후 이미지 및 생성된 보철물 착용 전 이미지 데이터를 학습하여 예측 알고리즘 구축 및 업데이트를 하는 학습 및 예측 알고리즘 구축부를 포함하는 것을 특징으로 한다.Here, the data set building means includes: a post-treatment image input unit for inputting an image after treatment for constructing a prediction algorithm; an image analysis unit for analyzing the input image for fixed point designation and transformation point designation processing; and an image analysis unit A fixed point designation processing unit that determines the line to which the fixed point belongs according to the analysis result and performs fixed point designation processing; A transformation point designation processing unit that determines the line to which the transformation point belongs according to the analysis result of the image analysis unit and performs transformation point designation processing; And the image matching unit for image registration according to the designation of the deformation point, and the image after wearing the prosthesis using the fixed point, which is points excluding the part with changes after prosthetic treatment, and the deformation point, which is the point including the part with change after prosthetic treatment It characterized in that it comprises a pre-treatment virtual image generation unit for generating an image before wearing the prosthesis, and a learning and prediction algorithm construction unit for building and updating a prediction algorithm by learning the image after treatment and the generated image data before wearing the prosthesis.
그리고 고정점 지정 처리부는, 보철 치료에 의해 영향을 받지 않는 인중 위의 facial profile인 안면 내부의 선들인 눈, 눈썹 위, 눈썹 아래, 윗볼, 귓구멍, 귓바퀴, 귀에서 턱뼈각까지의 선을 고정점이 속한 라인으로 정하고, 이들 고정점이 속한 라인들을 선택적으로 사용되도록 하는 것을 특징으로 한다.And the fixation point designation processing unit sets the line from the inside of the face, which is the facial profile on the pharynx that is not affected by the prosthetic treatment, to the eye, above the eyebrow, below the eyebrow, upper cheek, the ear canal, the pinna, and the line from the ear to the jawbone angle. It is characterized in that it is determined as a line to which these fixed points belong, and the lines to which these fixed points belong are selectively used.
그리고 고정점으로, 전방점, 하방점, 전하방점, 튀어나온 점, 가장 들어간 점, 상방점, 선이 만나는 점 들중에서 선택하거나, 고정점이 속한 라인 상에서 이 점들의 균등분할 점들 중에서 지정하여 사용하는 것을 특징으로 한다.And as a fixed point, you can select from the front point, the lower point, the front point, the protruding point, the deepest point, the upper point, and the point where the line meets, or designate and use from among the equally dividing points of these points on the line to which the fixed point belongs. characterized in that
그리고 고정점으로 눈썹라인 최후방점, 눈썹위라인 최상방점, 눈썹위라인 최전방점, 눈끝, 코봉에서 가장 움푹 들어간 점, 윗볼 최상방점, 코에서 가장 튀어나온 점, 코에서 가장 움푹 들어간 점, 코콧구멍 최상방점, 코콧구멍 최후방점, 귓구멍 최하방점, 귓불 최전방점, 턱뼈각 점 들중에서 선택하는 것을 특징으로 한다.And as fixed points, the last point of the eyebrow line, the uppermost point of the upper eyebrow line, the frontmost point of the upper eyebrow line, the tip of the eye, the most concave point on the nose stick, the uppermost point on the upper cheek, the most protruding point from the nose, the most concave point on the nose, the nose nostril It is characterized in that it is selected from the highest point, the rearmost point of the nose and nostrils, the lowest point of the ear canal, the most frontmost point of the earlobe, and the angle of the jawbone.
그리고 변형점 지정 처리부는, 보철 치료에 의해 영향을 받는 인중 아래의 facial profile인 인중 아래부터 아래턱 최하방점까지 팔자주름, 아래턱선을 포함하는 안면 내부의 선 들중에서 변형점이 속한 라인을 정하는 것을 특징으로 한다.And the strain point designation processing unit determines the line to which the strain point belongs from among the lines inside the face including the nasolabial fold and the lower jaw line from the lowermost point of the lower jaw to the lowermost point of the lower jaw, which is the facial profile under the pharynx affected by prosthetic treatment. do.
그리고 변형점으로, 전방점, 하방점, 전하방점, 튀어나온 점, 가장 들어간 점, 상방점, 선이 만나는 점들 그리고 변형점이 속한 라인 상에서 이들 점의 균등분할 점들 중에서 지정하여 사용하는 것을 특징으로 한다.And as the transformation point, it is characterized by designating and using the forward point, the downward point, the front discharge point, the protruding point, the deepest point, the top point, the points where the lines meet, and the equally divided points of these points on the line to which the transformation point belongs. .
그리고 변형점으로 팔자주름 최상방점, 윗입술 최상방점, 위,아래 입술이 만나는 점, 아래입술 최하방점, 입꼬리, 아래턱 전하방점, 아래턱 최하방점, 팔자주름 최하방점 들중에서 선택하는 것을 특징으로 한다.And it is characterized by selecting from the topmost point of the nasolabial fold, the highest point of the upper lip, the point where the upper and lower lips meet, the lowest point of the lower lip, the corner of the mouth, the lowermost point of the lower jaw, the lowest point of the lower jaw, and the lowest point of the nasolabial fold.
그리고 예측 이미지 출력 수단은, 데이터 셋 구축 수단에 의해 구축된 예측 알고리즘을 이용하여 치료후 예측 이미지를 출력하기 위하여, 치료전 이미지를 입력하는 치료전 이미지 입력부와,치료 전 이미지가 입력되면 데이터 셋 구축 수단에 의해 구축된 예측 알고리즘을 이용하여 안모 변화를 예측하는 안모 변화 예측부와,안모 변화 예측부의 예측에 의한 치료후 예측 이미지를 출력하는 치료후 예측 이미지 출력부를 포함하는 것을 특징으로 한다.And the predictive image output unit includes a pre-treatment image input unit for inputting a pre-treatment image in order to output a post-treatment prediction image using the prediction algorithm built by the data set construction unit, and a data set construction when the pre-treatment image is input It is characterized in that it comprises a facial change prediction unit for predicting a facial change using the prediction algorithm built by the means, and a post-treatment prediction image output unit for outputting a post-treatment prediction image according to the prediction of the facial change prediction unit.
다른 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법은 예측 알고리즘 구축을 위하여 치료 후 이미지를 입력하는 단계;입력된 이미지를 분석하여 고정점 지정 및 변형점 지정 처리를 하여 이미지 정합을 수행하는 단계;보철 치료 후 변화가 있는 부분을 제외한 점들인 고정점 및 보철 치료 후 변화가 있는 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 이미지 생성을 하는 단계;치료 후 이미지 및 생성된 보철물 착용 전 이미지 데이터를 학습하여 예측 알고리즘을 구축하는 단계;치료 전 이미지가 입력되면 예측 알고리즘을 이용하여 예측되는 치료 후 이미지를 생성하여 출력하는 단계;를 포함하는 것을 특징으로 한다.A method for predicting facial changes after prosthetic treatment using deep learning according to the present invention for achieving another object includes: inputting an image after treatment to construct a prediction algorithm; Analyze the input image to designate a fixed point and a transformation point Performing image registration by processing; Image before wearing the prosthesis from the appearance after wearing the prosthesis by using the fixed point, which is the point excluding the part with changes after prosthetic treatment, and the deformation point, which is the point including the part with the change after the prosthetic treatment Creating a prediction algorithm by learning the post-treatment image and the generated image data before wearing the prosthesis; When the pre-treatment image is input, generating and outputting a post-treatment image predicted using the prediction algorithm; characterized by including.
여기서, 보철물 착용 전 이미지 생성을 하는 단계에서, 변형점이 치아가 상실되면, 치아가 차지하고 있던 공간만큼 인중부터 턱끝까지의 길이인 교합고경이 줄어서 고정점을 기준으로 교합고경 감소분만큼 위로 올라가는 것을 이용하는 것을 특징으로 한다.Here, in the step of generating the image before wearing the prosthesis, when the tooth is lost at the strain point, the occlusal diameter, which is the length from the pharynx to the tip of the chin, is reduced by the space occupied by the tooth, so that the occlusal diameter is increased by the decrease in the occlusal diameter based on the fixed point. characterized.
그리고 고정점과 변형점이 정해지면, 최적 삼각 분할(optimal triangulation) 후 분할된 삼각형들을 warping시켜서(Piecewise Linear Transformation) 변형이 이루어져 가상의 치료전 이미지가 생성되도록 하는 것을 특징으로 한다.And when the fixed point and the transformation point are determined, it is characterized in that after optimal triangulation, the divided triangles are warped (Piecewise Linear Transformation) to create a virtual pre-treatment image.
이상에서 설명한 바와 같은 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법은 다음과 같은 효과가 있다.As described above, the apparatus and method for predicting facial changes after prosthetic treatment using deep learning according to the present invention have the following effects.
첫째, 보철 치료 이후의 실제 이미지를 이용하여 치료 전의 가상 이미지를 만들어 딥러닝을 통한 데이터 셋을 구축하여 안모 변화 예측 정확도를 높인다.First, using real images after prosthetic treatment, create a virtual image before treatment to build a data set through deep learning to increase the accuracy of predicting facial changes.
둘째, 치료 전후의 치료기간에 따른 헤어스타일, 광원, 옷의 위치와 색, 머리 자세의 미세한 변화 등에 의한 오염된 데이터를 딥러닝 네트워크가 학습하지 않도록 하여 안모 변화 예측 정확도를 높일 수 있다.Second, it is possible to increase the accuracy of predicting facial changes by preventing the deep learning network from learning the data polluted by hair styles, light sources, position and color of clothes, and minute changes in head posture according to the treatment period before and after treatment.
셋째, 보철 치료 후 튀어나오는 입 부분을 제외한 점들인 고정점 및 보철 치료 후 튀어나오는 입 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 모습을 만들어 안모 변화 예측을 위한 데이터 셋을 구축하고, 이후에 구축된 데이터 셋을 이용하여 보철 치료 후 보철물 착용 모습을 효율적으로 예측할 수 있도록 한다.Third, data for predicting facial changes by making the appearance before wearing the prosthesis from the appearance after wearing the prosthesis using the fixed point, which is the points excluding the mouth part that protrudes after prosthetic treatment, and the deformation point, which is the point that includes the mouth part that protrudes after the prosthetic treatment. After constructing a set, it is possible to efficiently predict how the prosthesis will be worn after prosthetic treatment by using the subsequently constructed data set.
넷째, 고정점을 이용한 보철물 전 후 이미지 정합(registration)을 하고, 보철물 치료 후 사진과 변형점을 이용해서 차이만큼 안쪽으로 밀어넣어서 가상의 보철물 치료 전 이미지를 만들어 오염된 데이터의 사용없이 딥러닝을 통한 데이터 셋을 구축하여 안모 변화 예측 정확도를 높인다.Fourth, before and after image registration of the prosthesis using a fixed point is performed, and after the prosthesis treatment, the photo and the transformation point are used to push the difference inward to create a virtual image before the prosthesis treatment and deep learning without the use of contaminated data. Increase the accuracy of predicting facial changes by building a data set through
도 1은 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치의 구성도
도 2a 내지 도 2c는 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 고정점 및 변형점의 일 예를 나타낸 구성도
도 3a 내지 도 3d는 가상으로 보철물 치료전 이미지를 만들기 위한 임상 이미지 처리 과정의 일 예를 나타낸 이미지
도 4는 딥러닝 학습 결과를 나타낸 이미지
도 5는 보철 치료 후의 일 예에 따른 원본 이미지
도 6a와 도 6b는 고정점이 속한 라인 및 고정점의 예를 나타낸 구성도
도 7a와 도 7b는 변형점이 속한 라인 및 변형점의 예를 나타낸 구성도
도 8은 틀니 치료에 의한 변형점 영역의 변화를 나타낸 구성도
도 9는 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법을 나타낸 플로우 차트
도 10은 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법에 따른 이미지를 나타낸 구성도1 is a block diagram of an apparatus for predicting facial changes after prosthetic treatment using deep learning according to the present invention;
2A to 2C are configuration diagrams showing an example of a fixed point and a strain point for predicting facial changes after prosthetic treatment using deep learning according to the present invention;
3A to 3D are images showing an example of a clinical image processing process for creating a virtual image before prosthesis treatment;
4 is an image showing the results of deep learning learning
5 is an original image according to an example after prosthetic treatment
6A and 6B are configuration diagrams showing examples of a line to which a fixed point belongs and an example of the fixed point;
7A and 7B are configuration diagrams showing examples of lines and strain points to which strain points belong;
8 is a configuration diagram showing the change of the strain point area by denture treatment
9 is a flowchart illustrating a method for predicting facial changes after prosthetic treatment using deep learning according to the present invention;
10 is a configuration diagram showing an image according to a method for predicting facial changes after prosthetic treatment using deep learning according to the present invention
이하, 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the apparatus and method for predicting facial changes after prosthetic treatment using deep learning according to the present invention will be described in detail as follows.
본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for predicting facial changes after prosthetic treatment using deep learning according to the present invention will become apparent through detailed description of each embodiment below.
도 1은 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치의 구성도이다.1 is a block diagram of an apparatus for predicting facial changes after prosthetic treatment using deep learning according to the present invention.
본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법은 보철 치료 이후의 실제 이미지를 이용하여 치료 전의 가상 이미지를 만들어 딥러닝을 통한 데이터 셋을 구축하여 안모 변화 예측 정확도를 높인 것이다.The apparatus and method for predicting facial changes after prosthetic treatment using deep learning according to the present invention is to create a virtual image before treatment using real images after prosthetic treatment, and build a data set through deep learning to increase the accuracy of predicting facial changes. will be.
이를 위하여 본 발명은 치료 전후의 치료기간에 따른 헤어스타일, 광원, 옷의 위치와 색, 머리 자세의 미세한 변화 등에 의한 오염된 데이터를 딥러닝 네트워크가 학습하지 않도록 하는 구성을 포함한다.To this end, the present invention includes a configuration that prevents the deep learning network from learning contaminated data caused by minute changes in hairstyle, light source, clothes position and color, and head posture according to the treatment period before and after treatment.
본 발명은 보철 치료 후 튀어나오는 입 부분을 제외한 점들인 고정점 및 보철 치료 후 튀어나오는 입 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 모습을 만들어 안모 변화 예측을 위한 데이터 셋을 구축하고, 이후에 구축된 데이터 셋을 이용하여 보철 치료 후 보철물 착용 모습을 예측하는 구성을 포함할 수 있다.The present invention uses a fixed point, which is a point excluding the mouth part that protrudes after prosthetic treatment, and a strain point, which is a point including the mouth part that protrudes after prosthetic treatment, to create an appearance before wearing the prosthesis from the appearance after wearing the prosthesis. It may include a configuration of constructing a data set and then predicting a prosthesis wearing appearance after prosthetic treatment by using the constructed data set.
본 발명은 고정점을 이용한 보철물 전후 이미지 정합(registration)을 하고, 보철물 치료 후 사진과 변형점을 이용해서 차이만큼 안쪽으로 밀어넣어서 가상의 보철물 치료 전 이미지를 만드는 구성을 포함할 수 있다.The present invention may include a configuration to create a virtual image before prosthesis treatment by performing image registration before and after the prosthesis using a fixed point, and pushing the prosthesis inward by the difference by using the photo and strain point after treatment of the prosthesis.
본 발명은 보철(prosthodontic) 치료 후의 안모를 예측하기 위해 이미지 처리와 함께 deep learning을 기반으로 하는 것으로, 딥러닝을 통한 데이터 셋 구축시에 image to image regression 혹은 GAN(Generative Adversarial Network)를 이용하여 보철 치료 후 보철물 착용 모습을 예측하는 것이다.The present invention is based on deep learning along with image processing to predict the face after prosthodontic treatment. It is to predict how the prosthesis will be worn after treatment.
본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치는 크게 보철 치료 이후의 실제 이미지를 이용하여 치료 전의 가상 이미지를 만들어 딥러닝을 통한 데이터 셋을 구축하는 데이터 셋 구축 수단과, 데이터 셋 구축 수단에서 구축된 예측 알고리즘을 이용하여 치료전 이미지를 입력하면 치료후 예측 이미지를 출력하는 예측 이미지 출력 수단으로 이루어질 수 있다.An apparatus for predicting facial changes after prosthetic treatment using deep learning according to the present invention is largely a data set construction means for constructing a data set through deep learning by creating a virtual image before treatment using an actual image after prosthetic treatment; When the pre-treatment image is input using the prediction algorithm built in the set building means, the prediction image output means for outputting the post-treatment prediction image may be made.
데이터 셋 구축 수단은 예측 알고리즘 구축을 위하여 치료 후 이미지 입력을 하는 치료후 이미지 입력부(10)와, 고정점 지정 및 변형점 지정 처리를 위하여 입력된 이미지를 분석하는 이미지 분석부(20)와, 이미지 분석부(20)의 분석 결과에 따라 고정점이 속한 얼굴 윤곽 라인을 정하고 고정점 지정 처리를 하는 고정점 지정 처리부(30a)와, 이미지 분석부(20)의 분석 결과에 따라 변형점이 속한 얼굴 윤곽 라인을 정하고 변형점 지정 처리를 하는 변형점 지정 처리부(30b)와, 고정점 지정 및 변형점 지정에 따른 이미지 정합을 하는 이미지 정합부(40)와, 보철 치료 후 튀어나오는 입 부분을 제외한 점들인 고정점 및 보철 치료 후 튀어나오는 입 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 이미지 생성을 하는 치료전 가상 이미지 생성부(50)와, 치료 후 이미지 및 생성된 보철물 착용 전 이미지 데이터를 학습하여 예측 알고리즘 구축 및 업데이트를 하는 학습 및 예측 알고리즘 구축부(60)를 포함한다.The data set construction means includes: a post-treatment
그리고 예측 이미지 출력 수단은 데이터 셋 구축 수단에 의해 구축된 예측 알고리즘을 이용하여 치료후 예측 이미지를 출력하는 것으로, 치료전 이미지를 입력하는 치료전 이미지 입력부(10)와, 치료 전 이미지가 입력되면 데이터 셋 구축 수단에 의해 구축된 예측 알고리즘을 이용하여 안모 변화를 예측하는 안모 변화 예측부(80)와, 안모 변화 예측부(80)의 예측에 의한 치료후 예측 이미지를 출력하는 치료후 예측 이미지 출력부(90)를 포함한다.And the prediction image output means outputs the post-treatment prediction image using the prediction algorithm built by the data set building means, and the pre-treatment
2D photo에서 틀니 착용 후 모습 예측에 관하여 설명하면 다음과 같다.Prediction of appearance after wearing dentures in 2D photo is as follows.
도 2a 내지 도 2c는 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 고정점 및 변형점의 일 예를 나타낸 구성도이다.2A to 2C are diagrams illustrating an example of a fixed point and a strain point for predicting facial changes after prosthetic treatment using deep learning according to the present invention.
도 2a는 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 고정점 및 변형점들의 위치를 나타낸 것이다.2A shows the positions of fixed points and strain points for predicting facial changes after prosthetic treatment using deep learning according to the present invention.
고정점 및 변형점은 학습 데이터를 만들기 위한 것으로, 고정점은 보철 치료 후 변화가 발생하는(튀어나오는) 입 부분을 제외한 점들이고, 점의 개수는 가변적이다.The fixed points and strain points are for creating learning data. The fixed points are points excluding the mouth part where changes occur (protruding) after prosthetic treatment, and the number of points is variable.
그리고 변형점은 보철 치료 후 변화가 발생하는(튀어나오는) 입 부분이 포함된 점들이다.And the deformation points are the points including the mouth part where the change occurs (protruding) after prosthetic treatment.
도 2b는 보철물(틀니) 전 후 이미지를 정합하기 위해 사용된 고정점의 일 예를 나타낸 것이다.2B shows an example of an anchor point used to register an image before and after a prosthesis (denture).
그리고 도 2c는 보철물 치료 후의 모습에서 보철물 치료 전 모습으로 이미지 변형을 위해 사용된 변형점의 일 예를 나타낸 것이다.And FIG. 2c shows an example of a strain point used for image transformation from a shape after treatment of the prosthesis to a shape before treatment of the prosthesis.
이와 같은 임상 데이터 처리를 위한 54개 점들의 위치 및 갯수는 일 예를 나타낸 것으로 이로 제한되지 않는다.The location and number of 54 points for processing such clinical data is not limited thereto.
도 3a 내지 도 3d는 가상으로 보철물 치료전 이미지를 만들기 위한 임상 이미지 처리 과정의 일 예를 나타낸 이미지이다.3A to 3D are images illustrating an example of a clinical image processing process for creating a virtual image before prosthesis treatment.
고정점을 이용해 보철물 착용 후 모습에서 보철물 착용 전 모습을 만들기 위하여 고정점을 이용한 보철물 전 후 이미지 정합(registration)을 한다.In order to create the image before and after wearing the prosthesis using the fixed point, the image registration is performed before and after the prosthesis using the fixed point.
도 3a는 고정점을 기준으로 도 3b에 정합된 이미지이다.3A is an image registered to FIG. 3B based on a fixed point.
변형점을 이용한 가상의 보철물 전 이미지를 만든다.Create a virtual full image of the prosthesis using strain points.
도 3b의 보철물 치료 후 사진과 22개의 변형점을 이용해서 도 3a와 도 3b의 차이만큼 안쪽으로 밀어넣어서 가상의 보철물 치료 전 이미지를 만든다.Using the photograph and 22 strain points after treatment of the prosthesis of FIG. 3B, the image is pushed inward as much as the difference between FIGS. 3A and 3B to create a virtual image before the treatment of the prosthesis.
도 3a의 보철물 치료 전 원본 이미지를 바로 쓰지 않는 이유는 헤어스타일, 광원, 옷의 위치와 색, 머리 자세의 미세한 변화 등 불필요한 부분을 딥러닝 네트워크가 학습하지 않도록 하기 위한 것이다.The reason for not using the original image immediately before the treatment of the prosthesis in FIG. 3A is to prevent the deep learning network from learning unnecessary parts such as hair style, light source, position and color of clothes, and minute changes in head posture.
도 3b의 치료 후 이미지를 warping하여 보철물 치료전 이미지를 만들어서 도 3c를 학습을 시킨다.By warping the image after the treatment of Fig. 3b, the image before the treatment of the prosthesis is made, and Fig. 3c is taught.
가상으로 보철물 치료전 이미지를 만들기 위한 임상 이미지 처리를 하는 과정으로 도 3a는 도 3b의 고정점을 기준으로 정합된 무치악 이미지(보철물 치료 전)이고, 도 3b는 보철물 치료 후 원본 이미지이고, 도 3c는 도 3b에서 도 3a와 도 3b의 차이만큼 변형점을 안쪽으로 밀어넣어서 만들어진 보철물 치료전 이미지이고, 도 3d는 도 3b와 도 3c의 차이를 나타낸 것이다.It is a process of clinical image processing to virtually create an image before prosthesis treatment. Fig. 3a is an edentulous image (before prosthesis treatment) matched based on the fixed point of Fig. 3b, Fig. 3b is an original image after prosthesis treatment, Fig. 3c is an image before the treatment of the prosthesis made by pushing the strain point inward as much as the difference between FIGS. 3A and 3B in FIG. 3B, and FIG. 3D shows the difference between FIGS. 3B and 3C.
도 4는 딥러닝 학습 결과를 나타낸 이미지이다.4 is an image showing the results of deep learning learning.
도 4의 (a)와 도 4의 (d)는 딥러닝 학습 결과에 따른 가상 무치악 이미지이고, 도 4의 (b)와 도 4의 (e)는 deep regression 네트워크가 예측한 틀니 착용 후 이미지이고, 도 4의 (c)와 도 4의 (f)는 실제 틀니 착용 후 이미지이다.4 (a) and 4 (d) are virtual edentulous images according to the results of deep learning learning, and FIGS. 4 (b) and 4 (e) are images after wearing dentures predicted by the deep regression network. , Figures 4 (c) and 4 (f) are images after wearing actual dentures.
고정점이 속한 라인 및 고정점의 예 및 변형점이 속한 라인 및 변형점의 예에 관하여 구체적으로 설명하면 다음과 같다.Examples of the line and the fixed point to which the fixed point belongs and the example of the line and the modified point to which the deformation point belongs will be described in detail as follows.
도 5는 보철 치료 후의 일 예에 따른 원본 이미지이다.5 is an original image according to an example after prosthetic treatment.
그리고 도 6a와 도 6b는 고정점이 속한 라인 및 고정점의 예를 나타낸 구성도이고, 도 7a와 도 7b는 변형점이 속한 라인 및 변형점의 예를 나타낸 구성도이다.6A and 6B are configuration diagrams showing examples of a line to which a fixed point belongs and a fixed point, and FIGS. 7A and 7B are diagrams illustrating an example of a line and a strain point to which the strain point belongs.
도 6a에서와 같이, 고정점이 속한 라인은 보철 치료에 의해 영향을 받지 않는 인중 위의 facial profile이다.As shown in FIG. 6A , the line to which the fixation point belongs is the facial profile on the pharynx that is not affected by the prosthetic treatment.
즉, 안면 내부의 명확한 선 들(눈, 눈썹 위(아래), 윗볼, 귓구멍,귓바퀴, 귀에서 턱뼈각까지의 선 등)로, 눈동자위나, 귀는 목적에 따라 불필요시 사용하지 않을 수 있다.In other words, with clear lines inside the face (eyes, eyebrows above (below), upper cheeks, ear canal, pinna, and the line from the ear to the angle of the jawbone, etc.)
예를 들어, 귀 앞과 눈 아래만 보여줄 수 있고, 머리를 묶거나 머리가 짧아서, 이마와 귓바퀴 라인 전체가 보이면 이마와 귓바퀴 라인 전체도 사용 가능하다.For example, you can only show the front of the ears and under the eyes, and if the entire forehead and pinna line are visible because the hair is tied up or the hair is short, the entire forehead and pinna line can also be used.
도 6b에서와 같이, 고정점으로 쓰기에 용이한 점은 고정점이 속한 라인 위의 점들이 모두 가능하지만 다음의 기준으로 선정될 수 있다.As shown in FIG. 6B , all points on a line to which the fixed point belongs are easy to write as a fixed point, but may be selected based on the following criteria.
고정점으로 사람이 직관적으로 찍기 쉬운 전방점, 하방점, 전하방점, 튀어나온 점, 가장 들어간 점, 상방점, 선이 만나는 점 등이 사용될 수 있고, 고정점이 속한 라인 상에서 상기한 점들의 균등분할 점들(2등분, 3등분,….N등분 점)이 사용될 수 있다.As the fixed point, the front point, the lower point, the front point, the protruding point, the deepest point, the upper point, the point where the lines meet, etc. which are easy for a person to intuitively take can be used, and the above-mentioned points are equally divided on the line to which the fixed point belongs. Points (bisectors, halves, ... N equidiments) may be used.
예를 들어, 고정점으로 눈썹라인 최후방점, 눈썹위라인 최상방점, 눈썹위라인 최전방점, 눈끝, 코봉에서 가장 움푹 들어간 점, 윗볼 최상방점, 코에서 가장 튀어나온 점, 코에서 가장 움푹 들어간 점, 코콧구멍 최상방점, 코콧구멍 최후방점, 귓구멍 최하방점, 귓불 최전방점, 턱뼈각 점이 될 수 있다.For example, as fixed points, the furthest point of the eyebrow line, the uppermost point of the upper eyebrow line, the most forward point of the upper eyebrow line, the tip of the eye, the most concave point on the nose stick, the uppermost point on the upper cheek, the most protruding point from the nose, and the most concave point on the nose. , the uppermost point of the nostril, the rearmost point of the nostril, the lowest point of the ear canal, the most anteriormost point of the earlobe, and the angle of the jawbone.
도 7a에서와 같이, 변형점이 속한 라인은 보철 치료에 의해 영향을 받는 인중 아래의 facial profile(인중 아래부터 아래턱 최하방점까지)이다.As shown in FIG. 7A, the line to which the strain point belongs is the facial profile under the pharynx affected by the prosthetic treatment (from the bottom of the pharynx to the lowest point of the lower jaw).
즉, 안면 내부의 명확한 선 들(팔자주름, 아래턱선)이다.That is, there are clear lines inside the face (nasolabial fold, lower jaw line).
변형점으로 쓰기에 용이한 점들은 변형점이 속한 라인 위의 점들이 모두 가능하지만 사람이 직관적으로 찍기 쉬운 전방점, 하방점, 전하방점, 튀어나온 점, 가장 들어간 점, 상방점, 선이 만나는 점 등 그리고 변형점이 속한 라인 상에서 이들 점의 균등분할 점들(2등분, 3등분,….N등분 점)이 사용될 수 있다.Points that are easy to write as transformation points are all points on the line to which the transformation point belongs. Equal division points (second division, third division, ... N division points) of these points on the line to which the equilateral and strain points belong can be used.
예를 들어, 변형점으로 팔자주름 최상방점, 윗입술 최상방점, 위,아래 입술이 만나는 점, 아래입술 최하방점, 입꼬리, 아래턱 전하방점, 아래턱 최하방점, 팔자주름 최하방점이 될 수 있다.For example, the deformation points may be the uppermost point of the nasolabial fold, the uppermost point of the upper lip, the point where the upper and lower lips meet, the lowermost point of the lower lip, the corner of the mouth, the lowermost point of the lower jaw, the lowermost point of the lower jaw, and the lowermost point of the nasolabial fold.
도 8은 틀니 치료에 의한 변형점 영역의 변화를 나타낸 구성도이다.8 is a configuration diagram showing the change of the strain point region by denture treatment.
변형점은 치아가 상실되면, 치아가 차지하고 있던 공간만큼 고정점 기준으로 뒤로 밀려나게 된다.When a tooth is lost, the deformation point is pushed back as much as the space occupied by the tooth based on the fixed point.
즉, 치아 상실 시 교합고경(쉽게는 인중부터 턱끝까지의 길이)이 줄어서, 고정점 기준으로 교합고경 감소분만큼 위로 올라가게 된다.That is, when a tooth is lost, the occlusal diameter (easily, the length from the pharynx to the tip of the chin) decreases, and rises upward by the decrease in occlusal diameter based on the fixed point.
고정점과 변형점이 정해지면, 최적 삼각 분할(optimal triangulation) 후 분할된 삼각형들을 warping시켜서(Piecewise Linear Transformation) 변형이 이루어져 가상의 치료전 이미지가 생성되도록 한다.When the fixed point and the transformation point are determined, after optimal triangulation, the divided triangles are warped (Piecewise Linear Transformation) to create a virtual pre-treatment image.
본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법을 구체적으로 설명하면 다음과 같다.A method for predicting facial changes after prosthetic treatment using deep learning according to the present invention will be described in detail as follows.
도 9는 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법을 나타낸 플로우 차트이다.9 is a flowchart illustrating a method for predicting facial changes after prosthetic treatment using deep learning according to the present invention.
먼저, 예측 알고리즘 구축을 위하여 치료 후 이미지를 입력한다.(S901)First, an image after treatment is input to construct a prediction algorithm. (S901)
이어, 입력된 이미지를 분석하여 고정점 지정 및 변형점 지정 처리를 하여 이미지 정합을 수행한다.(S902)Then, by analyzing the input image, fixed point designation and transformation point designation processing are performed to perform image registration. (S902)
그리고 보철 치료 후 튀어나오는 입 부분을 제외한 점들인 고정점 및 보철 치료 후 튀어나오는 입 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 이미지를 생성한다.(S903)And by using the fixed point, which is points excluding the mouth part that protrudes after prosthetic treatment, and the deformation point, which is the point that includes the mouth part protruding after prosthetic treatment, an image is created from the appearance after wearing the prosthesis before wearing the prosthesis. (S903)
이어, 치료 후 이미지 및 생성된 보철물 착용 전 이미지 데이터를 학습하여 예측 알고리즘 구축 및 업데이트를 한다.(S904)Next, the prediction algorithm is built and updated by learning the post-treatment image and the generated image data before wearing the prosthesis. (S904)
그리고 치료 전 이미지가 입력되면 예측 알고리즘을 이용하여 예측되는 치료 후 이미지를 생성하여 출력한다.(S905)And when the pre-treatment image is input, a predicted post-treatment image is generated and output using a prediction algorithm (S905).
3D 데이터에서 보철물 치료 후 안모 예측에 관하여 설명하면 다음과 같다.The prediction of facial features after prosthesis treatment from 3D data is as follows.
도 10은 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법에 따른 이미지를 나타낸 구성도이다.10 is a block diagram illustrating an image according to a method for predicting facial changes after prosthetic treatment using deep learning according to the present invention.
3D 데이터에서 보철물 치료 후 안모 예측을 위하여, 도 10의 (a)에서와 같이, 학습 데이터 생성을 위하여, 정상 치열을 가진 환자의 CBCT, CT, MRI 데이터를 이용해 무치악 이미지를 생성한다.For facial prediction after prosthesis treatment in 3D data, as shown in FIG. 10 ( a ) , for generating learning data, an edentulous image is generated using CBCT, CT, and MRI data of a patient with normal dentition.
3차원에서 치조골을 지우고 아래턱을 과두(mandibular condyle)를 중심으로 전상방으로 회전한다.In 3D, the alveolar bone is erased and the lower jaw is rotated anteriorly and upwards around the mandibular condyle.
그리고 도 10의 (b)에서와 같이, 생성된 데이터를 입력하여 정상인의 치조골과 치열 형태를 예측하는 deep regression network나 GAN을 학습시킨다.And, as shown in (b) of FIG. 10, a deep regression network or GAN for predicting the alveolar bone and dentition shape of a normal person is trained by inputting the generated data.
그리고 도 10의 (c)에서와 같이, 악골 데이터와 피부 평균 두께 정보를 입력하여 연조직을 예측하는 deep regression network나 GAN을 학습시킨다.And, as shown in (c) of FIG. 10, a deep regression network or GAN for predicting soft tissue is trained by inputting jaw bone data and skin average thickness information.
이상에서 설명한 본 발명에 따른 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법은 보철(prosthodontic) 치료 후의 안모를 예측하기 위해 이미지 처리와 함께 deep learning을 기반으로 하는 것으로, 딥러닝을 통한 데이터 셋 구축시에 image to image regression 혹은 GAN(Generative Adversarial Network)를 이용하여 보철 치료 후 보철물 착용 모습을 예측하는 것이다.The apparatus and method for predicting facial changes after prosthetic treatment using deep learning according to the present invention described above is based on deep learning along with image processing to predict the facial appearance after prosthodontic treatment. When constructing a data set, image-to-image regression or GAN (Generative Adversarial Network) is used to predict the appearance of prosthesis wearing after prosthetic treatment.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered in an illustrative rather than a restrictive sense, the scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope are included in the present invention. will have to be interpreted.
10. 치료후 이미지 입력부 20. 이미지 분석부
30a. 고정점 지정 처리부 30b. 변형점 지정 처리부
40. 이미지 정합부 50. 치료전 가상 이미지 생성부
60. 학습 및 예측 알고리즘 구축부 70. 치료전 이미지 입력부
80. 안모 변화 예측부 90. 치료후 예측 이미지 출력부10. Post-treatment
30a. Fixed point
40.
60. Learning and prediction
80. Facial
Claims (12)
데이터 셋 구축 수단에서 구축된 예측 알고리즘을 이용하여 치료전 이미지를 입력하면 치료후 예측 이미지를 출력하는 예측 이미지 출력 수단;을 포함하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.a data set building means for constructing a data set through deep learning by creating a virtual image before treatment using the real image after prosthetic treatment;
Apparatus for predicting facial changes after prosthetic treatment using deep learning, comprising: a predictive image output means for outputting a post-treatment predicted image when a pre-treatment image is input using a prediction algorithm built in the data set building means .
예측 알고리즘 구축을 위하여 치료 후 이미지 입력을 하는 치료후 이미지 입력부와,
고정점 지정 및 변형점 지정 처리를 위하여 입력된 이미지를 분석하는 이미지 분석부와,
이미지 분석부의 분석 결과에 따라 고정점이 속한 라인을 정하고 고정점 지정 처리를 하는 고정점 지정 처리부와,
이미지 분석부의 분석 결과에 따라 변형점이 속한 라인을 정하고 변형점 지정 처리를 하는 변형점 지정 처리부와,
고정점 지정 및 변형점 지정에 따른 이미지 정합을 하는 이미지 정합부와,
보철 치료 후 변화가 있는 부분을 제외한 점들인 고정점 및 보철 치료 후 변화가 있는 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 이미지 생성을 하는 치료전 가상 이미지 생성부와,
치료 후 이미지 및 생성된 보철물 착용 전 이미지 데이터를 학습하여 예측 알고리즘 구축 및 업데이트를 하는 학습 및 예측 알고리즘 구축부를 포함하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.According to claim 1, wherein the data set building means,
A post-treatment image input unit for inputting an image after treatment to build a prediction algorithm;
An image analysis unit that analyzes the input image for fixed point designation and transformation point designation processing;
A fixed point designation processing unit that determines the line to which the fixed point belongs according to the analysis result of the image analysis unit and performs fixed point designation processing;
A transformation point designation processing unit that determines the line to which the transformation point belongs according to the analysis result of the image analysis unit and performs transformation point designation processing;
An image matching unit that performs image registration according to fixed point designation and transformation point designation;
A pre-treatment virtual image generator that creates an image before wearing the prosthesis from the appearance after wearing the prosthesis using the fixed point, which is the points excluding the part with changes after prosthetic treatment, and the deformation point, which is the point that includes the part with the change after the prosthetic treatment, and ,
A device for predicting facial changes after prosthetic treatment using deep learning, comprising: a learning and prediction algorithm building unit configured to build and update a prediction algorithm by learning the post-treatment image and the generated image data before wearing the prosthesis.
보철 치료에 의해 영향을 받지 않는 인중 위의 facial profile인 안면 내부의 선들인 눈, 눈썹 위, 눈썹 아래, 윗볼, 귓구멍, 귓바퀴, 귀에서 턱뼈각까지의 선을 고정점이 속한 라인으로 정하고,
이들 고정점이 속한 라인들을 선택적으로 사용되도록 하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.According to claim 2, wherein the fixed point designation processing unit,
Lines inside the face that are the facial profile on the pharynx that are not affected by prosthetic treatment, such as the eyes, above the eyebrows, below the eyebrows, the upper cheeks, the auricle, the pinna, and the line from the ear to the jawbone angle, are defined as the line to which the fixation point belongs.
A device for predicting facial changes after prosthetic treatment using deep learning, characterized in that the lines to which these fixed points belong are selectively used.
전방점, 하방점, 전하방점, 튀어나온 점, 가장 들어간 점, 상방점, 선이 만나는 점 들중에서 선택하거나,
고정점이 속한 라인 상에서 이 점들의 균등분할 점들 중에서 지정하여 사용하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.4. The method of claim 3, wherein as a fixed point,
Select from the front point, the down point, the front point, the protruding point, the deepest point, the top point, and the point where the lines meet,
A device for predicting facial changes after prosthetic treatment using deep learning, characterized in that it is designated and used from among the equally divided points of the fixed points on the line to which the fixed points belong.
보철 치료에 의해 영향을 받는 인중 아래의 facial profile인 인중 아래부터 아래턱 최하방점까지 팔자주름, 아래턱선을 포함하는 안면 내부의 선 들중에서 변형점이 속한 라인을 정하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.The method according to claim 2, wherein the transformation point designation processing unit comprises:
Prosthetic treatment using deep learning, characterized in that the line to which the strain point belongs from among the lines inside the face including the nasolabial fold and the lower jaw line from the lowermost point of the lower jaw to the lowest point of the lower jaw, which is the facial profile under the pharynx affected by prosthetic treatment. A device for predicting posterior facial changes.
전방점, 하방점, 전하방점, 튀어나온 점, 가장 들어간 점, 상방점, 선이 만나는 점들 그리고 변형점이 속한 라인 상에서 이들 점의 균등분할 점들 중에서 지정하여 사용하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.7. The method of claim 6, wherein as a strain point,
Prosthetics using deep learning, characterized in that the anterior point, the inferior point, the anterior discharge point, the protruding point, the deepest point, the upper point, the points where the lines meet, and the equally divided points of these points on the line to which the deformation point belongs A device for predicting facial changes after treatment.
데이터 셋 구축 수단에 의해 구축된 예측 알고리즘을 이용하여 치료후 예측 이미지를 출력하기 위하여,
치료전 이미지를 입력하는 치료전 이미지 입력부와,
치료 전 이미지가 입력되면 데이터 셋 구축 수단에 의해 구축된 예측 알고리즘을 이용하여 안모 변화를 예측하는 안모 변화 예측부와,
안모 변화 예측부의 예측에 의한 치료후 예측 이미지를 출력하는 치료후 예측 이미지 출력부를 포함하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치.According to claim 1, wherein the prediction image output means,
In order to output a prediction image after treatment using the prediction algorithm built by the data set construction means,
A pre-treatment image input unit for inputting a pre-treatment image, and
When an image before treatment is input, a facial change prediction unit that predicts facial changes using a prediction algorithm built by a data set construction means;
An apparatus for predicting facial changes after prosthetic treatment using deep learning, characterized in that it comprises a post-treatment prediction image output unit for outputting a post-treatment prediction image according to the prediction of the facial change prediction unit.
입력된 이미지를 분석하여 고정점 지정 및 변형점 지정 처리를 하여 이미지 정합을 수행하는 단계;
보철 치료 후 변화가 있는 부분을 제외한 점들인 고정점 및 보철 치료 후 변화가 있는 부분이 포함된 점들인 변형점을 이용하여 보철물 착용 후 모습에서 보철물 착용 전 이미지 생성을 하는 단계;
치료 후 이미지 및 생성된 보철물 착용 전 이미지 데이터를 학습하여 예측 알고리즘을 구축하는 단계;
치료 전 이미지가 입력되면 예측 알고리즘을 이용하여 예측되는 치료 후 이미지를 생성하여 출력하는 단계;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법.inputting an image after treatment to construct a prediction algorithm;
performing image registration by analyzing the input image and performing fixed point designation and transformation point designation processing;
generating an image before wearing the prosthesis from the appearance after wearing the prosthesis using a fixed point, which is a point excluding a part with changes after prosthetic treatment, and a deformation point, which is a point including a part with a change after prosthetic treatment;
building a prediction algorithm by learning the post-treatment image and the generated image data before wearing the prosthesis;
When a pre-treatment image is input, generating and outputting a post-treatment image predicted using a prediction algorithm; A method for predicting facial changes after prosthetic treatment using deep learning, comprising: a.
변형점이 치아가 상실되면, 치아가 차지하고 있던 공간만큼 인중부터 턱끝까지의 길이인 교합고경이 줄어서 고정점을 기준으로 교합고경 감소분만큼 위로 올라가는 것을 이용하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법.The method of claim 10, wherein in the step of generating an image before wearing the prosthesis,
When a tooth is lost at a deformation point, the occlusal diameter, which is the length from the pharynx to the tip of the chin, decreases as much as the space occupied by the tooth, and changes in facial appearance after prosthetic treatment using deep learning Methods for prediction.
최적 삼각 분할(optimal triangulation) 후 분할된 삼각형들을 warping시켜서(Piecewise Linear Transformation) 변형이 이루어져 가상의 치료전 이미지가 생성되도록 하는 것을 특징으로 하는 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 방법.
12. The method of claim 11, wherein once the fixed point and the deformation point are determined,
A method for predicting facial changes after prosthetic treatment using deep learning, characterized in that, after optimal triangulation, the divided triangles are warped (Piecewise Linear Transformation) to create a virtual pre-treatment image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200141409A KR102386828B1 (en) | 2020-10-28 | 2020-10-28 | System and Method for Predicting of facial profile after prosthodontic treatment using deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200141409A KR102386828B1 (en) | 2020-10-28 | 2020-10-28 | System and Method for Predicting of facial profile after prosthodontic treatment using deep learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102386828B1 true KR102386828B1 (en) | 2022-04-14 |
Family
ID=81211163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200141409A KR102386828B1 (en) | 2020-10-28 | 2020-10-28 | System and Method for Predicting of facial profile after prosthodontic treatment using deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102386828B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311403A (en) * | 2022-08-26 | 2022-11-08 | 北京百度网讯科技有限公司 | Deep learning network training method, virtual image generation method and device |
| CN115909470A (en) * | 2022-11-24 | 2023-04-04 | 浙江大学 | Deep learning-based full-automatic eyelid disease postoperative appearance prediction system and method |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110270583A1 (en) * | 2010-05-01 | 2011-11-03 | Phillip Getto | Compensation orthodontic archwire design |
| KR20180004865A (en) | 2016-07-04 | 2018-01-15 | 김진옥 | Portable hand acupressure massage device |
| JP2018520804A (en) * | 2014-11-13 | 2018-08-02 | アライン テクノロジー， インコーポレイテッド | How to track, predict, and preventative correction of malocclusions and related problems |
| KR20180103672A (en) | 2017-03-10 | 2018-09-19 | 주식회사 모르페우스 | Method, system and non-transitory computer-readable recording medium for providing result information about a procedure |
| KR101930062B1 (en) * | 2017-12-27 | 2019-03-14 | 클리어라인 주식회사 | Automatic stepwise tooth movement system using artificial intelligence technology |
| KR101952887B1 (en) * | 2018-07-27 | 2019-06-11 | 김예현 | Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same |
| KR20190077849A (en) * | 2017-12-26 | 2019-07-04 | 오스템임플란트 주식회사 | Method for generating tooth arrangement data used for designing clear aligner, apparatus, and recording medium thereof |
| JP6548097B2 (en) * | 2015-10-23 | 2019-07-31 | 国立大学法人大阪大学 | Method and system for predicting morphology after treatment in human body |
| KR20200023703A (en) | 2018-08-21 | 2020-03-06 | 디디에이치 주식회사 | Dental image analyzing method for orthodontic daignosis and apparatus using the same |
| KR20200083822A (en) * | 2018-12-28 | 2020-07-09 | 디디에이치 주식회사 | Computing device for analyzing dental image for orthodontic daignosis and dental image analyzing method |
-
2020
- 2020-10-28 KR KR1020200141409A patent/KR102386828B1/en active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110270583A1 (en) * | 2010-05-01 | 2011-11-03 | Phillip Getto | Compensation orthodontic archwire design |
| JP2018520804A (en) * | 2014-11-13 | 2018-08-02 | アライン テクノロジー， インコーポレイテッド | How to track, predict, and preventative correction of malocclusions and related problems |
| JP6548097B2 (en) * | 2015-10-23 | 2019-07-31 | 国立大学法人大阪大学 | Method and system for predicting morphology after treatment in human body |
| KR20180004865A (en) | 2016-07-04 | 2018-01-15 | 김진옥 | Portable hand acupressure massage device |
| KR20180103672A (en) | 2017-03-10 | 2018-09-19 | 주식회사 모르페우스 | Method, system and non-transitory computer-readable recording medium for providing result information about a procedure |
| KR20190077849A (en) * | 2017-12-26 | 2019-07-04 | 오스템임플란트 주식회사 | Method for generating tooth arrangement data used for designing clear aligner, apparatus, and recording medium thereof |
| KR101930062B1 (en) * | 2017-12-27 | 2019-03-14 | 클리어라인 주식회사 | Automatic stepwise tooth movement system using artificial intelligence technology |
| KR101952887B1 (en) * | 2018-07-27 | 2019-06-11 | 김예현 | Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same |
| KR20200023703A (en) | 2018-08-21 | 2020-03-06 | 디디에이치 주식회사 | Dental image analyzing method for orthodontic daignosis and apparatus using the same |
| KR20200083822A (en) * | 2018-12-28 | 2020-07-09 | 디디에이치 주식회사 | Computing device for analyzing dental image for orthodontic daignosis and dental image analyzing method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115311403A (en) * | 2022-08-26 | 2022-11-08 | 北京百度网讯科技有限公司 | Deep learning network training method, virtual image generation method and device |
| CN115311403B (en) * | 2022-08-26 | 2023-08-08 | 北京百度网讯科技有限公司 | Training method of deep learning network, virtual image generation method and device |
| CN115909470A (en) * | 2022-11-24 | 2023-04-04 | 浙江大学 | Deep learning-based full-automatic eyelid disease postoperative appearance prediction system and method |
| CN115909470B (en) * | 2022-11-24 | 2023-07-07 | 浙江大学 | Deep learning-based full-automatic eyelid disease postoperative appearance prediction system and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3685797B1 (en) | Method for using a dynamic virtual articulator for simulating occlusion when designing a dental prosthesis for a patient, and data carrier | |
| JP6775621B2 (en) | Methods and systems for obtaining data from people to create 3D models | |
| Sarver | Interactions of hard tissues, soft tissues, and growth over time, and their impact on orthodontic diagnosis and treatment planning | |
| Sarver et al. | Dynamic smile visualization and quantification: Part 2. Smile analysis and treatment strategies | |
| US8352060B2 (en) | Computer-aided fabrication of a removable dental prosthesis | |
| KR101799878B1 (en) | 2d image arrangement | |
| Ritter et al. | Analysis of the smile photograph | |
| Seixas et al. | Checklist of esthetic features to consider in diagnosing and treating excessive gingival display (gummy smile). | |
| WO2012140021A2 (en) | Modeling and manufacturing orthodontic appliances | |
| KR102386828B1 (en) | System and Method for Predicting of facial profile after prosthodontic treatment using deep learning | |
| KR102269030B1 (en) | Teeth setup method for orthodontic treatment and orthodontic setup apparatus therefor | |
| KR20200070706A (en) | Design method and apparatus for guiding a dental implant surgery that determines a crown position by reflecting a relationship between adjacent teeth and a an antagonistic teeth | |
| JP2021515684A (en) | How to design a dental part | |
| Pareek et al. | Artificial intelligence in prosthodontics: a scoping review on current applications and future possibilities | |
| Khan et al. | Frequency of gingival display during smiling and comparison of biometric measurements in subjects with and without gingival display | |
| CN114126535A (en) | Virtual joint motion in orthodontic and dental treatment planning | |
| KR102448169B1 (en) | Method and apparatus for predicting orthodontic treatment result based on deep learning | |
| NL2029943B1 (en) | Process and system for initiating and monitoring an orthodontic treatment | |
| Sarver et al. | Diagnosis and treatment planning | |
| KR20200021261A (en) | Dental CAD apparatus using characteristic of mirroring teeth and operating method the dental CAD apparatus | |
| Bhardwaj et al. | Smile Designing: The Aesthetic Architecture | |
| US20230069231A1 (en) | Adjusting a position of artificial teeth of a denture | |
| EP3741323A1 (en) | Method for providing an anatomical prototype | |
| Bhullar et al. | Digital Smile Design–A Review | |
| Goldstein et al. | Facial Considerations in Esthetic Restorations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |