WO2022131419A1 - Method for determining registration accuracy of three-dimensional dental ct image and three-dimensional digital impression model, and computer-readable recording medium in which program for executing same in computer is recorded - Google Patents

Method for determining registration accuracy of three-dimensional dental ct image and three-dimensional digital impression model, and computer-readable recording medium in which program for executing same in computer is recorded Download PDF

Info

Publication number
WO2022131419A1
WO2022131419A1 PCT/KR2020/018799 KR2020018799W WO2022131419A1 WO 2022131419 A1 WO2022131419 A1 WO 2022131419A1 KR 2020018799 W KR2020018799 W KR 2020018799W WO 2022131419 A1 WO2022131419 A1 WO 2022131419A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection image
data
scan
projection
Prior art date
Application number
PCT/KR2020/018799
Other languages
French (fr)
Korean (ko)
Inventor
신봉주
김한나
최진혁
김영준
Original Assignee
이마고웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이마고웍스 주식회사 filed Critical 이마고웍스 주식회사
Publication of WO2022131419A1 publication Critical patent/WO2022131419A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method for determining the matching accuracy of a three-dimensional dental CT image and a three-dimensional digital impression model, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded, and more particularly, to a computer-readable recording medium automatically performed by deep learning.
  • a method for determining the registration accuracy of a 3D dental CT image and a 3D digital impression model that can reduce the time and effort for determining the accuracy of the registration result of a 3D dental CT image and a 3D digital impression model by performing the It relates to a computer-readable recording medium in which a program to be executed in the program is recorded.
  • CT Computed Tomography
  • CBCT Cone Beam Computed Tomography
  • CT three-dimensional volume data required when diagnosing oral and maxillofacial conditions or establishing surgery and treatment plans in dentistry and plastic surgery It includes not only hard tissue corresponding to bones or teeth, but also various information such as soft tissue such as the tongue or lips, and the location and shape of neural tube existing inside the bone.
  • metallic materials in the oral cavity such as implants, orthodontic devices, and dental crowns, which the patient has previously treated, metal artifacts occur in the CT, an X-ray-based image, and the teeth and surrounding areas are greatly distorted and identified. and difficulties in diagnosis.
  • a three-dimensional digital scan model is acquired and used. This is obtained by directly scanning the patient's oral cavity, or data is obtained by scanning the patient's plaster impression model. .
  • An object of the present invention is a 3D dental CT image and 3D dental CT image that can be automatically performed by deep learning to reduce the time and effort for determining the accuracy of the registration result of the 3D dental CT image and the 3D digital impression model It is to provide a method for determining the matching accuracy of a dimensional digital impression model.
  • Another object of the present invention is to provide a computer-readable recording medium in which a program for executing a method for determining matching accuracy between the three-dimensional dental CT image and a three-dimensional digital impression model is recorded on a computer.
  • the method for determining the matching accuracy of a 3D dental CT image and a 3D digital impression model is the 3D scan data and the 3D CT data registered in the registration data. Projecting the scan data in two dimensions to generate a scan projection image, projecting the three-dimensional CT data from the registration data in two dimensions to generate a CT projection image, a first convolutional neural network model ), inputting the frontal vertical frontal frontal scan projection image and the frontal vertical frontal CT projection image to determine the frontal registration accuracy, and the lateral vertical direction side scan projection image and the side vertical direction in a second convolutional neural network model and determining lateral registration accuracy by inputting a lateral CT projection image of a direction, and determining final registration accuracy of the registration data based on the frontal registration accuracy and the lateral registration accuracy.
  • the scan projection image may be a projection depth image indicating a distance between the 3D scan data and a projection plane in terms of brightness.
  • the CT projection image may be generated by accumulating voxel values of the CT data along a projection direction.
  • the projection direction is A
  • the voxel value of the CT data is I(x, y, z)
  • the pixel value of the CT projection image is I(u) , v) when can be satisfied with
  • the CT projection image may be generated based on a standard deviation of voxel values of the CT data along a projection direction.
  • the CT projection image may be generated based on a maximum value of voxel values of the CT data along a projection direction.
  • the 3D CT data is projected in two dimensions to generate the front CT projection image direction may coincide.
  • a second direction in which the 3D scan data is projected in two dimensions to generate the side scan projection image may coincide with a direction in which the side CT projection image is generated by projecting the 3D CT data in two dimensions.
  • the first direction in which the front scan projection image is generated may be a front direction of the 3D CT data.
  • the second direction in which the side scan projection image is generated may be a side direction of the 3D CT data.
  • the first convolutional neural network model is based on a first feature extractor for extracting features of the front scan projection image and the front CT projection image, and features extracted by the first feature extractor and a first classifier for calculating a matching result score of the front scan projected image and the front CT projected image.
  • the second convolutional neural network model is based on a second feature extractor for extracting features of the lateral scan projection image and the lateral CT projection image, and features extracted by the second feature extractor and a second classifier for calculating a score as a result of matching the lateral scan projection image and the lateral CT projection image.
  • the first feature extractor performs the steps of extracting features of the front scan projection image and the front CT projection image, and a first convolutional layer extracted from the first convolutional layer. It may include a first pooling layer that performs the steps of culling features by classification.
  • the second feature extractor performs the steps of extracting features of the side scan projected image and the side CT projected image by a second convolution layer, and extracting features extracted from the second convolution layer by classification It may include a second pooling layer.
  • the first classifier generates a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor, and if r1 > q1, the first classifier The result of the first classifier may be determined as success, and if r1 ⁇ q1, the result of the first classifier may be determined as failure.
  • the second classifier generates a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor, and if r2 > q2, the result of the second classifier is determined to be successful, , if r2 ⁇ q2, the result of the second classifier may be determined to be a failure.
  • the final matching result is determined as a success; If at least one of the result of the first classifier and the result of the second classifier is a failure, the final matching result may be determined as a failure.
  • a program for executing the method for determining the matching accuracy of the three-dimensional dental CT image and the three-dimensional digital impression model in a computer may be recorded in a computer-readable recording medium.
  • a 2D projection image is obtained from a 3D dental CT image and 3D scan data without a separate user input and constructed by convolution operation
  • the matching accuracy can be automatically determined using the deep learning model.
  • FIG. 1 is a flowchart illustrating a method for determining matching accuracy between a 3D dental CT image and a 3D digital impression model according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a registration result of a 3D dental CT image and a 3D digital impression model.
  • FIG. 3 is a diagram illustrating a projected depth image of scan data in a vertical direction in front of the matched image of FIG. 2 .
  • FIG. 4 is a diagram illustrating a projected depth image of scan data in a lateral vertical direction in the registered image of FIG. 2 .
  • FIG. 5 is a diagram illustrating a projection image of CT data in a vertical direction in front of the registered image of FIG. 2 .
  • FIG. 6 is a diagram illustrating a projection image of CT data in a lateral vertical direction in the registered image of FIG. 2 .
  • FIG. 7 is a conceptual diagram illustrating a method of generating a projection depth image of scan data in a front vertical direction and a projection depth image of scan data in a side vertical direction from the registered image of FIG. 2 .
  • FIG. 8 is a conceptual diagram illustrating a method of generating a projection image of CT data in a front vertical direction and a projection image of CT data in a side vertical direction from the registered image of FIG. 2 .
  • FIG. 9 is a conceptual diagram illustrating a first convolutional neural network for determining matching accuracy between a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction.
  • FIG. 10 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are well matched.
  • FIG. 11 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are not well matched.
  • FIG. 12 is a conceptual diagram illustrating a second convolutional neural network for determining the matching accuracy of a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction.
  • FIG. 13 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are well matched.
  • FIG. 14 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are not well matched.
  • 15 is a conceptual diagram illustrating a method of determining the final matching accuracy of scan data and CT data based on the matching accuracy in the front vertical direction and the matching accuracy in the side vertical direction.
  • first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • FIG. 1 is a flowchart illustrating a method for determining matching accuracy between a 3D dental CT image and a 3D digital impression model according to the present embodiment.
  • 2 is a diagram illustrating an example of a registration result of a 3D dental CT image and a 3D digital impression model.
  • FIG. 3 is a diagram illustrating a projected depth image of scan data in a vertical direction in front of the matched image of FIG. 2 .
  • FIG. 4 is a diagram illustrating a projected depth image of scan data in a lateral vertical direction in the registered image of FIG. 2 .
  • FIG. 5 is a diagram illustrating a projection image of CT data in a vertical direction in front of the registered image of FIG. 2 .
  • FIG. 6 is a diagram illustrating a projection image of CT data in a lateral vertical direction in the registered image of FIG. 2 .
  • the method for determining the matching accuracy of the 3D dental CT image and the 3D digital impression model (3D scan data) includes the 3D scan data and the 3D CT data in the registration data. Projecting the dimensional scan data in two dimensions to generate a scan projection image (S100), projecting the three-dimensional CT data from the registration data in two dimensions to generate a CT projection image (S200), a first convolution Determining frontal matching accuracy by inputting a frontal vertical scan projection image and a frontal vertical frontal CT projection image to a neural network model (S300), and a side vertical to the second convolutional neural network model Determining lateral registration accuracy by inputting the lateral scan projection image in the lateral direction and the lateral CT projection image in the lateral vertical direction (S400) and the final registration accuracy of the registration data based on the front registration accuracy and the lateral registration accuracy and determining (S500).
  • the dental CT image may be a CBCT (Cone Beam CT) image.
  • the dental CT image may be an image including teeth, bones, and neural tubes.
  • the scan data of the digital impression model may be an image obtained by scanning the inside of the patient's oral cavity with a scanner.
  • the scan data may be an image scanned by a scanner of a shape imitating the inside of the patient's oral cavity with plaster.
  • the matching data may be an image in which the CT image and the scan data are matched.
  • the scan projection image which is a projection image of the scan data, may include a front scan projection image and a side scan projection image.
  • 3 shows a front scan projection image
  • FIG. 4 shows a side scan projection image.
  • the scan projection image may be a projection depth image indicating a distance between the 3D scan data and a projection plane in terms of brightness.
  • the step of generating the scan projection image by projecting the three-dimensional scan data in two dimensions will be described later in detail with reference to FIG. 7 .
  • the CT projection image which is a projection image of the CT scan data, may include a front CT projection image and a side CT projection image.
  • 5 shows a front CT projection image
  • FIG. 6 shows a side CT projection image.
  • FIG. 7 is a conceptual diagram illustrating a method of generating a projection depth image of scan data in a front vertical direction and a projection depth image of scan data in a side vertical direction from the registered image of FIG. 2 .
  • a projection image is generated in two directions, a 3D medical image data reference (3D CT data reference), anterior-posterior (AP), and a lateral vertical direction (Lateral) depending on the projection direction.
  • 3D CT data reference 3D medical image data reference
  • AP anterior-posterior
  • Lateral lateral vertical direction
  • the image obtained by projecting the scan data onto the projection plane may be a projection depth image in which vertical distance information between each point p(x, y, z) of the scan data and each projection plane is reflected.
  • the pixel values of the projection depth image represent the distances d(u, v) and d(s, t) from the scan data surface to the projection plane in each projection direction.
  • x, y, and z denote a three-dimensional coordinate system
  • u and v denote a coordinate system on a side projection plane
  • s and t denote a coordinate system on a front projection plane.
  • the x direction may be the side projection direction
  • the y direction may be the front projection direction
  • the x, y, and z may be coordinate systems in the CT data.
  • a brightly marked portion may mean that a distance from the front projection plane is close, and a darkly displayed portion may mean a long distance from the front projection plane. That is, the central incisor portion may be displayed relatively brightly, and the molar portion may be displayed relatively darkly.
  • a brightly marked portion may mean that a distance from the side projection plane is close, and a darkened portion may mean a long distance from the side projection plane. That is, the central incisor portion may be displayed relatively darkly, and the molar portion may be displayed relatively brightly.
  • the side scan projection image may be generated for only one side of the patient's left and right sides.
  • FIG. 8 is a conceptual diagram illustrating a method of generating a projection image of CT data in a front vertical direction and a projection image of CT data in a side vertical direction from the registered image of FIG. 2 .
  • a pixel value of an image obtained by projecting the CT data onto a two-dimensional plane may represent a cumulative brightness value of data image points on the same straight line with respect to each projection direction. That is, the CT projection image may be generated by accumulating voxel values of the CT data along a projection direction.
  • the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(u, v), can be satisfied with As shown in FIG. 8 , A may indicate a frontal direction.
  • the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(s, t), can be satisfied with As shown in FIG. 8 , where B may represent a lateral direction.
  • the CT projection image is not limited to being generated by accumulating voxel values.
  • the CT projection image may be generated based on a standard deviation of voxel values of the CT data along a projection direction.
  • the CT projection image may be generated based on a maximum value of voxel values of the CT data along a projection direction.
  • a first direction (y direction in FIG. 7 ) of generating the front scan projection image by projecting the 3D scan data in two dimensions is a direction in which the 3D CT data is projected in two dimensions to generate the front CT projection image (direction y in FIG. 8), the second direction in which the 3D scan data is projected in two dimensions to generate the side scan projection image (direction x in FIG. 7) is the 3D CT data in two dimensions
  • the projection may coincide with a direction (x direction in FIG. 8 ) in which the lateral CT projection image is generated.
  • the first direction in which the front scan projection image is generated may be a front direction of the 3D CT data
  • the second direction in which the side scan projection image is generated may be a side direction of the 3D CT data
  • FIG. 9 is a conceptual diagram illustrating a first convolutional neural network for determining matching accuracy between a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction.
  • 10 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are well matched.
  • 11 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are not well matched.
  • the first convolutional neural network model that receives a frontal scan projection image and a frontal CT projection image to determine frontal matching accuracy is a first feature extractor (AP) and a first classifier (AP). classifier) may be included.
  • the first feature extractor may extract features of the front scan projection image and the front CT projection image.
  • the first classifier may calculate a matching result score of the front scan projection image and the front CT projection image based on the features extracted by the first feature extractor.
  • the training data of the first convolutional neural network model may be a front scan projection training image, a front CT projection training image, and whether or not matching is successful (GOOD or BAD).
  • the first feature extractor performs the steps of extracting the features of the front scan projected image and the front CT projected image, a first convolutional layer performing steps, and steps of extracting features extracted from the first convolutional layer by classification It may include a first pooling layer.
  • the first classifier may generate a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor.
  • the front matching score is gradually extracted.
  • the result of the first classifier may be determined as success, and if r1 ⁇ q1, the result of the first classifier may be determined as failure.
  • the result of the first classifier may be determined as matching success.
  • FIG. 10 shows a case in which the front scan projection image and the front CT projection image are well matched. In this case, r1 may be greater than q1.
  • FIG. 11 shows a case in which the front scan projection image and the front CT projection image do not match well. In this case, q1 may be greater than r1. 11 , it can be seen that the molar portion of the front CT projection image and the molar portion of the front scan projection image do not match at all.
  • 12 is a conceptual diagram illustrating a second convolutional neural network for determining the matching accuracy of a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction.
  • 13 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are well matched.
  • 14 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are not well matched.
  • the second convolutional neural network model that receives a lateral scan projection image and a lateral CT projection image to determine lateral registration accuracy is a second feature extractor and a second classifier classifier) may be included.
  • the second feature extractor may extract features of the side scan projection image and the side CT projection image.
  • the second classifier may calculate a score as a result of matching the lateral scan projection image and the lateral CT projection image based on the features extracted by the second feature extractor.
  • the training data of the second convolutional neural network model may be a side scan projection training image, a side CT projection training image, and whether or not matching is successful (GOOD or BAD).
  • the second feature extractor performs the steps of extracting features of the side scan projected image and the side CT projected image by a second convolution layer, and extracting features extracted from the second convolution layer by classification It may include a second pooling layer.
  • the second classifier may generate a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor.
  • the lateral matching score is gradually extracted.
  • the result of the second classifier may be determined as a success, and if r2 ⁇ q2, the result of the second classifier may be determined as a failure.
  • the result of the second classifier may be determined as matching success.
  • FIG. 13 shows a case in which the side scan projection image and the side CT projection image are well matched. In this case, r2 may be greater than q2.
  • FIG. 14 shows a case in which the lateral scan projection image and the lateral CT projection image are not well matched. In this case, q2 may be greater than r2. 14 , it can be seen that the incisors of the lateral CT projection image and the incisors of the lateral scan projection image do not match at all.
  • 15 is a conceptual diagram illustrating a method of determining the final matching accuracy of scan data and CT data based on the matching accuracy in the front vertical direction and the matching accuracy in the side vertical direction.
  • the step of determining the final matching accuracy of the matching data ( S500 ) if the result of the first classifier is Good and the result of the second classifier is Good, the The final matching result may be judged as good.
  • the final matching result is set as a failure (Bad).
  • a computer-readable recording medium in which a program for executing the above-described 3D dental CT image for dentistry and the method for determining matching accuracy of a 3D digital impression model is recorded on a computer.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of data used in the above-described method may be recorded in a computer-readable medium through various means.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc.
  • Hardware devices specially configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
  • the above-described 3D dental CT image and the 3D digital impression model matching accuracy determination method may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
  • the present invention relates to a method for determining the accuracy of matching between a three-dimensional dental CT image for dentistry and a three-dimensional digital impression model, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded, the three-dimensional dental CT image data and It is possible to automatically determine the accuracy of the registration of the three-dimensional digital impression model data, thereby reducing the time and effort required to determine the registration result, and also increasing the accuracy of the automatic registration algorithm.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

A method for determining the registration accuracy of a three-dimensional dental CT image and a three-dimensional digital impression model comprises the steps of: generating a scan projection image by two-dimensionally projecting three-dimensional scan data in registration data in which the three-dimensional scan data and three-dimensional CT data are registered; generating a CT projection image by two-dimensionally projecting the three-dimensional CT data in the registration data; determining front registration accuracy by inputting, into a first convolutional neural network model, a front scan projection image in the front-vertical direction and a front CT projection image in the front-vertical direction; determining lateral registration accuracy by inputting, into a second convolutional neural network model, a lateral scan projection image in the lateral-vertical direction and a lateral CT projection image in the lateral-vertical direction; and determining the final registration accuracy of the registration data on the basis of the front registration accuracy and the lateral registration accuracy.

Description

3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 A method for determining the matching accuracy of a three-dimensional dental CT image and a three-dimensional digital impression model, and a computer-readable recording medium in which a program for executing the same on a computer is recorded
본 발명은 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 딥러닝에 의해 자동으로 수행되어 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과에 대한 정확도 판단을 위한 시간과 노력을 감소시킬 수 있는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.The present invention relates to a method for determining the matching accuracy of a three-dimensional dental CT image and a three-dimensional digital impression model, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded, and more particularly, to a computer-readable recording medium automatically performed by deep learning. A method for determining the registration accuracy of a 3D dental CT image and a 3D digital impression model that can reduce the time and effort for determining the accuracy of the registration result of a 3D dental CT image and a 3D digital impression model by performing the It relates to a computer-readable recording medium in which a program to be executed in the program is recorded.
치과, 성형외과 등에서 구강 및 악안면 상태를 진단하거나 수술 및 치료 계획을 수립할 때 필수로 요구되는 3차원 볼륨 데이터인 CT(Computed Tomography) 또는 CBCT(Cone Beam Computed Tomography) (이하 CT로 통칭) 데이터는 뼈나 치아에 해당하는 경조직 뿐만 아니라, 혀 또는 입술과 같은 연조직, 뼈 내부에 존재하는 신경관 위치 및 형태 등의 다양한 정보를 포함하고 있다. 하지만, 환자가 기존에 시술 받은 임플란트, 교정장치, 치아 크라운 등의 구강 내에 존재하는 금속성 물질들로 인해, X-선 기반의 영상인 CT에서 Metal Artifact 현상이 일어나, 치아 및 주변부가 크게 왜곡되어 식별 및 진단에 어려움이 있다. 또한, 잇몸의 형상 또는 치아와의 경계면을 특정하기 어렵다. 이와 같은 제한된 치아 및 구강 정보를 보완하기 위해 3차원 디지털 스캔 모델을 획득해 사용한다. 이는 환자의 구강을 직접 스캔하여 획득되거나, 환자의 석고 인상 모형을 스캔하여 데이터를 획득되며, stl, obj, ply 등의 점과 면 정보로 이루어진 3차원 모델 파일 형식(이하 스캔 데이터)의 데이터이다.CT (Computed Tomography) or CBCT (Cone Beam Computed Tomography) (collectively referred to as CT) data, which are three-dimensional volume data required when diagnosing oral and maxillofacial conditions or establishing surgery and treatment plans in dentistry and plastic surgery It includes not only hard tissue corresponding to bones or teeth, but also various information such as soft tissue such as the tongue or lips, and the location and shape of neural tube existing inside the bone. However, due to the presence of metallic materials in the oral cavity, such as implants, orthodontic devices, and dental crowns, which the patient has previously treated, metal artifacts occur in the CT, an X-ray-based image, and the teeth and surrounding areas are greatly distorted and identified. and difficulties in diagnosis. In addition, it is difficult to specify the shape of the gum or the interface with the teeth. To supplement this limited dental and oral information, a three-dimensional digital scan model is acquired and used. This is obtained by directly scanning the patient's oral cavity, or data is obtained by scanning the patient's plaster impression model. .
3차원 볼륨 데이터와 함께 스캔 데이터를 활용할 때는, 서로 다른 모달리티의 데이터를 중첩하는 정합 과정을 거친다. 또한, 치료 경과 혹은 전후 비교를 위해 다른 시기에 획득된 동일 환자의 스캔 데이터를 같은 방식으로 정합하기도 한다. 정합 결과는 치료, 수술 등의 중요한 기초 자료가 되기 때문에 정합 결과의 정확도에 대한 판단은 중요하다. 특히 임플란트의 경우, 결손 치아 크기 및 신경관, 조직 등의 위치를 파악하여 최적의 위치와 크기로 임플란트를 식립하기 위한 계획 작업의 기초가 되므로 정확한 정합의 여부를 판단하는 것은 의료적, 경제적인 측면에서 큰 효율을 기대할 수 있다. 하지만, 육안만으로 일관된 기준으로 정합의 정확도를 판단하는 것은 까다로우면서도 많은 시간이 소요되며 사용자별 편차가 존재한다. 정합의 정확도를 높이고 사용자의 노력과 시간을 줄이기 위해, 정확한 정합 여부를 자동으로 판단하는 방법이 필요하다.When using scan data together with 3D volume data, a matching process of overlapping data of different modality is performed. In addition, scan data of the same patient acquired at different times for treatment progress or before and after comparison are matched in the same way. Since the registration result becomes important basic data for treatment and surgery, it is important to judge the accuracy of the registration result. In particular, in the case of implants, it is a basis for planning work to place the implant in the optimal position and size by identifying the size of the missing tooth and the location of the neural tube, tissue, etc. Great efficiency can be expected. However, it is difficult and takes a lot of time to judge the accuracy of registration based on a consistent standard only with the naked eye, and there is a difference between users. In order to increase the accuracy of the registration and reduce the user's effort and time, there is a need for a method for automatically determining whether the registration is correct.
본 발명이 이루고자 하는 목적은 딥러닝에 의해 자동으로 수행되어 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과에 대한 정확도 판단을 위한 시간과 노력을 감소시킬 수 있는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 제공하는 것이다. An object of the present invention is a 3D dental CT image and 3D dental CT image that can be automatically performed by deep learning to reduce the time and effort for determining the accuracy of the registration result of the 3D dental CT image and the 3D digital impression model It is to provide a method for determining the matching accuracy of a dimensional digital impression model.
본 발명이 이루고자 하는 다른 목적은 상기 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.Another object of the present invention is to provide a computer-readable recording medium in which a program for executing a method for determining matching accuracy between the three-dimensional dental CT image and a three-dimensional digital impression model is recorded on a computer.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법은 3차원 스캔 데이터 및 3차원 CT 데이터가 정합된 정합 데이터에서 상기 3차원 스캔 데이터를 2차원으로 투영하여 스캔 투영 영상을 생성하는 단계, 상기 정합 데이터에서 상기 3차원 CT 데이터를 2차원으로 투영하여 CT 투영 영상을 생성하는 단계, 제1 컨볼루션 신경망 모델(convolutional neural network model)에 정면 수직 방향의 정면 스캔 투영 영상과 상기 정면 수직 방향의 정면 CT 투영 영상을 입력하여 정면 정합 정확도를 판단하는 단계, 제2 컨볼루션 신경망 모델에 측면 수직 방향의 측면 스캔 투영 영상과 상기 측면 수직 방향의 측면 CT 투영 영상을 입력하여 측면 정합 정확도를 판단하는 단계 및 상기 정면 정합 정확도 및 상기 측면 정합 정확도를 기초로 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계를 포함한다.The method for determining the matching accuracy of a 3D dental CT image and a 3D digital impression model according to an embodiment for realizing the object of the present invention is the 3D scan data and the 3D CT data registered in the registration data. Projecting the scan data in two dimensions to generate a scan projection image, projecting the three-dimensional CT data from the registration data in two dimensions to generate a CT projection image, a first convolutional neural network model ), inputting the frontal vertical frontal frontal scan projection image and the frontal vertical frontal CT projection image to determine the frontal registration accuracy, and the lateral vertical direction side scan projection image and the side vertical direction in a second convolutional neural network model and determining lateral registration accuracy by inputting a lateral CT projection image of a direction, and determining final registration accuracy of the registration data based on the frontal registration accuracy and the lateral registration accuracy.
본 발명의 일 실시예에 있어서, 상기 스캔 투영 영상은 상기 3차원 스캔 데이터와 투영 평면 사이의 거리를 밝기로 나타내는 투영 깊이 영상일 수 있다.In an embodiment of the present invention, the scan projection image may be a projection depth image indicating a distance between the 3D scan data and a projection plane in terms of brightness.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값을 누적하여 생성될 수 있다.In an embodiment of the present invention, the CT projection image may be generated by accumulating voxel values of the CT data along a projection direction.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 상기 투영 방향이 A이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(u, v)일 때,
Figure PCTKR2020018799-appb-I000001
를 만족할 수 있다.In an embodiment of the present invention, in the CT projection image, the projection direction is A, the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(u) , v) when
Figure PCTKR2020018799-appb-I000001
can be satisfied with
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 표준 편차를 기초로 생성될 수 있다.In an embodiment of the present invention, the CT projection image may be generated based on a standard deviation of voxel values of the CT data along a projection direction.
본 발명의 일 실시예에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 최대값을 기초로 생성될 수 있다. In an embodiment of the present invention, the CT projection image may be generated based on a maximum value of voxel values of the CT data along a projection direction.
본 발명의 일 실시예에 있어서, 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 정면 스캔 투영 영상을 생성하는 제1 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 정면 CT 투영 영상을 생성하는 방향과 일치할 수 있다. 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 측면 스캔 투영 영상을 생성하는 제2 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 측면 CT 투영 영상을 생성하는 방향과 일치할 수 있다.In an embodiment of the present invention, in a first direction in which the 3D scan data is projected in two dimensions to generate the front scan projection image, the 3D CT data is projected in two dimensions to generate the front CT projection image direction may coincide. A second direction in which the 3D scan data is projected in two dimensions to generate the side scan projection image may coincide with a direction in which the side CT projection image is generated by projecting the 3D CT data in two dimensions.
본 발명의 일 실시예에 있어서, 상기 정면 스캔 투영 영상을 생성하는 상기 제1 방향은 상기 3차원 CT 데이터의 정면 방향일 수 있다. 상기 측면 스캔 투영 영상을 생성하는 상기 제2 방향은 상기 3차원 CT 데이터의 측면 방향일 수 있다.In an embodiment of the present invention, the first direction in which the front scan projection image is generated may be a front direction of the 3D CT data. The second direction in which the side scan projection image is generated may be a side direction of the 3D CT data.
본 발명의 일 실시예에 있어서, 상기 제1 컨볼루션 신경망 모델은 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징을 추출하는 제1 특징 추출기 및 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 정합 결과 점수를 산출하는 제1 분류기를 포함할 수 있다.In an embodiment of the present invention, the first convolutional neural network model is based on a first feature extractor for extracting features of the front scan projection image and the front CT projection image, and features extracted by the first feature extractor and a first classifier for calculating a matching result score of the front scan projected image and the front CT projected image.
본 발명의 일 실시예에 있어서, 상기 제2 컨볼루션 신경망 모델은 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징을 추출하는 제2 특징 추출기 및 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 정합 결과 점수를 산출하는 제2 분류기를 포함할 수 있다.In an embodiment of the present invention, the second convolutional neural network model is based on a second feature extractor for extracting features of the lateral scan projection image and the lateral CT projection image, and features extracted by the second feature extractor and a second classifier for calculating a score as a result of matching the lateral scan projection image and the lateral CT projection image.
본 발명의 일 실시예에 있어서, 상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제1 컨볼루션층 및 상기 제1 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제1 풀링층을 포함할 수 있다. 상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제2 컨볼루션층 및 상기 제2 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제2 풀링층을 포함할 수 있다.In an embodiment of the present invention, the first feature extractor performs the steps of extracting features of the front scan projection image and the front CT projection image, and a first convolutional layer extracted from the first convolutional layer. It may include a first pooling layer that performs the steps of culling features by classification. The second feature extractor performs the steps of extracting features of the side scan projected image and the side CT projected image by a second convolution layer, and extracting features extracted from the second convolution layer by classification It may include a second pooling layer.
본 발명의 일 실시예에 있어서, 상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 제1 정합 성공 점수 r1과 제1 정합 실패 점수 q1을 생성하고, r1 > q1이면 상기 제1 분류기의 결과가 성공으로 판단되며, r1 < q1이면 상기 제1 분류기의 결과가 실패로 판단될 수 있다. 상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 제2 정합 성공 점수 r2와 제2 정합 실패 점수 q2를 생성하고, r2 > q2이면 상기 제2 분류기의 결과가 성공으로 판단되며, r2 < q2이면 상기 제2 분류기의 결과가 실패로 판단될 수 있다.In an embodiment of the present invention, the first classifier generates a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor, and if r1 > q1, the first classifier The result of the first classifier may be determined as success, and if r1 < q1, the result of the first classifier may be determined as failure. The second classifier generates a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor, and if r2 > q2, the result of the second classifier is determined to be successful, , if r2 < q2, the result of the second classifier may be determined to be a failure.
본 발명의 일 실시예에 있어서, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계는 상기 제1 분류기의 결과가 성공이고, 상기 제2 분류기의 결과가 성공이면 상기 최종 정합 결과를 성공으로 판단하고, 상기 제1 분류기의 결과 및 상기 제2 분류기의 결과 중 적어도 어느 하나가 실패이면 상기 최종 정합 결과를 실패로 판단할 수 있다.In one embodiment of the present invention, in the step of determining the final matching accuracy of the matching data, if the result of the first classifier is a success, and if the result of the second classifier is a success, the final matching result is determined as a success; If at least one of the result of the first classifier and the result of the second classifier is a failure, the final matching result may be determined as a failure.
본 발명의 일 실시예에 있어서, 상기 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.In one embodiment of the present invention, a program for executing the method for determining the matching accuracy of the three-dimensional dental CT image and the three-dimensional digital impression model in a computer may be recorded in a computer-readable recording medium.
본 발명에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법에 따르면, 별도의 사용자 입력 없이 3차원 치과 CT 영상 및 3차원 스캔 데이터로부터 2차원 투영 영상을 얻고 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여 정합의 정확도를 자동으로 판단할 수 있다. According to the method for determining the matching accuracy of a 3D dental CT image and a 3D digital impression model according to the present invention, a 2D projection image is obtained from a 3D dental CT image and 3D scan data without a separate user input and constructed by convolution operation The matching accuracy can be automatically determined using the deep learning model.
3차원 치과 CT 영상 데이터와 3차원 디지털 인상 모델 데이터의 정합의 정확도를 자동으로 판단할 수 있어, 정합 결과를 판단하는데 소요되는 시간과 노력을 줄일 수 있고, 또한 상기 판단된 정합의 정확도를 기초로 자동 정합 알고리즘의 정확도를 높일 수 있다.It is possible to automatically determine the accuracy of the registration of the 3D dental CT image data and the 3D digital impression model data, thereby reducing the time and effort required to determine the registration result, and also based on the determined accuracy of registration It is possible to increase the accuracy of the automatic matching algorithm.
도 1은 본 실시예에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 나타내는 흐름도이다.1 is a flowchart illustrating a method for determining matching accuracy between a 3D dental CT image and a 3D digital impression model according to the present embodiment.
도 2는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과의 예시를 나타내는 도면이다.2 is a diagram illustrating an example of a registration result of a 3D dental CT image and a 3D digital impression model.
도 3은 도 2의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다.FIG. 3 is a diagram illustrating a projected depth image of scan data in a vertical direction in front of the matched image of FIG. 2 .
도 4는 도 2의 정합 영상에서 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다.FIG. 4 is a diagram illustrating a projected depth image of scan data in a lateral vertical direction in the registered image of FIG. 2 .
도 5는 도 2의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다.FIG. 5 is a diagram illustrating a projection image of CT data in a vertical direction in front of the registered image of FIG. 2 .
도 6은 도 2의 정합 영상에서 측면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다.FIG. 6 is a diagram illustrating a projection image of CT data in a lateral vertical direction in the registered image of FIG. 2 .
도 7은 도 2의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 생성하는 방법을 나타내는 개념도이다.7 is a conceptual diagram illustrating a method of generating a projection depth image of scan data in a front vertical direction and a projection depth image of scan data in a side vertical direction from the registered image of FIG. 2 .
도 8은 도 2의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상 및 측면 수직 방향의 CT 데이터의 투영 영상을 생성하는 방법을 나타내는 개념도이다.8 is a conceptual diagram illustrating a method of generating a projection image of CT data in a front vertical direction and a projection image of CT data in a side vertical direction from the registered image of FIG. 2 .
도 9는 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제1 컨볼루션 신경망을 나타내는 개념도이다.9 is a conceptual diagram illustrating a first convolutional neural network for determining matching accuracy between a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction.
도 10은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다.10 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are well matched.
도 11은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.11 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are not well matched.
도 12는 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제2 컨볼루션 신경망을 나타내는 개념도이다.12 is a conceptual diagram illustrating a second convolutional neural network for determining the matching accuracy of a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction.
도 13은 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다.13 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are well matched.
도 14는 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.14 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are not well matched.
도 15는 정면 수직 방향의 정합 정확도 및 측면 수직 방향의 정합 정확도를 기초로 스캔 데이터와 CT 데이터의 최종 정합 정확도를 결정하는 방법을 나타내는 개념도이다.15 is a conceptual diagram illustrating a method of determining the final matching accuracy of scan data and CT data based on the matching accuracy in the front vertical direction and the matching accuracy in the side vertical direction.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.With respect to the embodiments of the present invention disclosed in the text, specific structural or functional descriptions are only exemplified for the purpose of describing the embodiments of the present invention, and the embodiments of the present invention may be embodied in various forms and the text It should not be construed as being limited to the embodiments described in .
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle. Other expressions describing the relationship between elements, such as "between" and "immediately between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as meanings consistent with the context of the related art, and unless explicitly defined in the present application, they are not to be interpreted in an ideal or excessively formal meaning. .
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.On the other hand, when a certain embodiment can be implemented differently, functions or operations specified in a specific block may occur in a different order from that specified in the flowchart. For example, two consecutive blocks may be performed substantially simultaneously, or the blocks may be performed in reverse according to a related function or operation.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The same reference numerals are used for the same components in the drawings, and repeated descriptions of the same components are omitted.
도 1은 본 실시예에 따른 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 나타내는 흐름도이다. 도 2는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 결과의 예시를 나타내는 도면이다. 도 3은 도 2의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다. 도 4는 도 2의 정합 영상에서 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 나타내는 도면이다. 도 5는 도 2의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다. 도 6은 도 2의 정합 영상에서 측면 수직 방향의 CT 데이터의 투영 영상을 나타내는 도면이다.1 is a flowchart illustrating a method for determining matching accuracy between a 3D dental CT image and a 3D digital impression model according to the present embodiment. 2 is a diagram illustrating an example of a registration result of a 3D dental CT image and a 3D digital impression model. FIG. 3 is a diagram illustrating a projected depth image of scan data in a vertical direction in front of the matched image of FIG. 2 . FIG. 4 is a diagram illustrating a projected depth image of scan data in a lateral vertical direction in the registered image of FIG. 2 . FIG. 5 is a diagram illustrating a projection image of CT data in a vertical direction in front of the registered image of FIG. 2 . FIG. 6 is a diagram illustrating a projection image of CT data in a lateral vertical direction in the registered image of FIG. 2 .
도 1 내지 도 6을 참조하면, 상기 3차원 치과 CT 영상과 3차원 디지털 인상 모델(3차원 스캔 데이터)의 정합 정확도 판단 방법은 3차원 스캔 데이터 및 3차원 CT 데이터가 정합된 정합 데이터에서 상기 3차원 스캔 데이터를 2차원으로 투영하여 스캔 투영 영상을 생성하는 단계(S100), 상기 정합 데이터에서 상기 3차원 CT 데이터를 2차원으로 투영하여 CT 투영 영상을 생성하는 단계(S200), 제1 컨볼루션 신경망 모델(convolutional neural network model)에 정면 수직 방향의 정면 스캔 투영 영상과 상기 정면 수직 방향의 정면 CT 투영 영상을 입력하여 정면 정합 정확도를 판단하는 단계(S300), 제2 컨볼루션 신경망 모델에 측면 수직 방향의 측면 스캔 투영 영상과 상기 측면 수직 방향의 측면 CT 투영 영상을 입력하여 측면 정합 정확도를 판단하는 단계(S400) 및 상기 정면 정합 정확도 및 상기 측면 정합 정확도를 기초로 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계(S500)를 포함한다.1 to 6 , the method for determining the matching accuracy of the 3D dental CT image and the 3D digital impression model (3D scan data) includes the 3D scan data and the 3D CT data in the registration data. Projecting the dimensional scan data in two dimensions to generate a scan projection image (S100), projecting the three-dimensional CT data from the registration data in two dimensions to generate a CT projection image (S200), a first convolution Determining frontal matching accuracy by inputting a frontal vertical scan projection image and a frontal vertical frontal CT projection image to a neural network model (S300), and a side vertical to the second convolutional neural network model Determining lateral registration accuracy by inputting the lateral scan projection image in the lateral direction and the lateral CT projection image in the lateral vertical direction (S400) and the final registration accuracy of the registration data based on the front registration accuracy and the lateral registration accuracy and determining (S500).
예를 들어, 상기 치과 CT 영상은 CBCT (Cone Beam CT)영상일 수 있다. 상기 치과 CT 영상은 치아, 뼈, 신경관을 포함하는 영상일 수 있다. 예를 들어, 상기 디지털 인상 모델의 상기 스캔 데이터는 환자의 구강 내부를 스캐너로 스캔한 영상일 수 있다. 예를 들어, 상기 스캔 데이터는 환자의 구강 내부를 석고로 본 뜬 형상을 스캐너로 스캔한 영상일 수 있다.For example, the dental CT image may be a CBCT (Cone Beam CT) image. The dental CT image may be an image including teeth, bones, and neural tubes. For example, the scan data of the digital impression model may be an image obtained by scanning the inside of the patient's oral cavity with a scanner. For example, the scan data may be an image scanned by a scanner of a shape imitating the inside of the patient's oral cavity with plaster.
도 2에서 보듯이, 상기 정합 데이터는 상기 CT 영상과 상기 스캔 데이터가 정합된 영상일 수 있다. As shown in FIG. 2 , the matching data may be an image in which the CT image and the scan data are matched.
상기 스캔 데이터의 투영 영상인 상기 스캔 투영 영상은 정면 스캔 투영 영상과 측면 스캔 투영 영상을 포함할 수 있다. 도 3은 정면 스캔 투영 영상을 나타내며, 도 4는 측면 스캔 투영 영상을 나타낸다. The scan projection image, which is a projection image of the scan data, may include a front scan projection image and a side scan projection image. 3 shows a front scan projection image, and FIG. 4 shows a side scan projection image.
상기 스캔 투영 영상은 상기 3차원 스캔 데이터와 투영 평면 사이의 거리를 밝기로 나타내는 투영 깊이 영상일 수 있다. 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 스캔 투영 영상을 생성하는 단계는 도 7을 참조하여 상세히 후술한다.The scan projection image may be a projection depth image indicating a distance between the 3D scan data and a projection plane in terms of brightness. The step of generating the scan projection image by projecting the three-dimensional scan data in two dimensions will be described later in detail with reference to FIG. 7 .
상기 CT 스캔 데이터의 투영 영상인 상기 CT 투영 영상은 정면 CT 투영 영상과 측면 CT 투영 영상을 포함할 수 있다. 도 5는 정면 CT 투영 영상을 나타내며, 도 6은 측면 CT 투영 영상을 나타낸다. The CT projection image, which is a projection image of the CT scan data, may include a front CT projection image and a side CT projection image. 5 shows a front CT projection image, and FIG. 6 shows a side CT projection image.
상기 3차원 CT 데이터를 2차원으로 투영하여 상기 CT 투영 영상을 생성하는 단계는 도 8을 참조하여 상세히 후술한다.The step of generating the CT projection image by projecting the 3D CT data in two dimensions will be described in detail later with reference to FIG. 8 .
도 7은 도 2의 정합 영상에서 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 스캔 데이터의 투영 깊이 영상을 생성하는 방법을 나타내는 개념도이다.7 is a conceptual diagram illustrating a method of generating a projection depth image of scan data in a front vertical direction and a projection depth image of scan data in a side vertical direction from the registered image of FIG. 2 .
도 1 내지 도 7을 참조하면, 투영 영상은 투영 방향에 따라 3차원 의료 영상 데이터 기준(3차원 CT 데이터 기준) 정면 수직 방향(Anterior-Posterior(AP))과 측면 수직 방향(Lateral)의 두 방향으로 치과 CT 데이터 및 스캔 데이터에 대해 각각 생성할 수 있다. Referring to FIGS. 1 to 7 , a projection image is generated in two directions, a 3D medical image data reference (3D CT data reference), anterior-posterior (AP), and a lateral vertical direction (Lateral) depending on the projection direction. can be generated for dental CT data and scan data respectively.
예를 들어, 스캔 데이터를 투영 평면으로 투영한 영상은 스캔 데이터의 각 점 p(x, y, z)와 각 투영 평면 간의 수직거리 정보가 반영된 투영 깊이 영상일 수 있다. 투영 깊이 영상의 픽셀 값은 스캔 데이터 표면에서 각 투영 방향에 있는 투영 평면까지의 거리 d(u, v)와 d(s, t)를 나타낸다. 여기서, x, y, z는 3차원 좌표계를 나타내고, u와 v는 측면 투영 평면 상의 좌표계를 나타내며, s와 t는 정면 투영 평면 상의 좌표계를 나타낸다. For example, the image obtained by projecting the scan data onto the projection plane may be a projection depth image in which vertical distance information between each point p(x, y, z) of the scan data and each projection plane is reflected. The pixel values of the projection depth image represent the distances d(u, v) and d(s, t) from the scan data surface to the projection plane in each projection direction. Here, x, y, and z denote a three-dimensional coordinate system, u and v denote a coordinate system on a side projection plane, and s and t denote a coordinate system on a front projection plane.
예를 들어, x 방향은 상기 측면 투영 방향일 수 있고, y 방향은 상기 정면 투영 방향일 수 있다. 상기 x, y, z는 상기 CT 데이터 내의 좌표계일 수 있다. For example, the x direction may be the side projection direction, and the y direction may be the front projection direction. The x, y, and z may be coordinate systems in the CT data.
예를 들어, 상기 정면 스캔 투영 영상에서 밝게 표시된 부분은 정면 투영 평면과의 거리가 가까운 것을 의미하고, 어둡게 표시된 부분은 정면 투영 평면과의 거리가 먼 것을 의미할 수 있다. 즉, 중절치 부분은 상대적으로 밝게 표시될 수 있고, 대구치 부분은 상대적으로 어둡게 표시될 수 있다.For example, in the front-scan projection image, a brightly marked portion may mean that a distance from the front projection plane is close, and a darkly displayed portion may mean a long distance from the front projection plane. That is, the central incisor portion may be displayed relatively brightly, and the molar portion may be displayed relatively darkly.
예를 들어, 상기 측면 스캔 투영 영상에서 밝게 표시된 부분은 측면 투영 평면과의 거리가 가까운 것을 의미하고, 어둡게 표시된 부분은 측면 투영 평면과의 거리가 먼 것을 의미할 수 있다. 즉, 중절치 부분은 상대적으로 어둡게 표시될 수 있고, 대구치 부분은 상대적으로 밝게 표시될 수 있다. 상기 측면 스캔 투영 영상은 환자의 좌측과 우측 중 하나의 측면에 대해서만 생성될 수 있다. For example, in the side-scan projection image, a brightly marked portion may mean that a distance from the side projection plane is close, and a darkened portion may mean a long distance from the side projection plane. That is, the central incisor portion may be displayed relatively darkly, and the molar portion may be displayed relatively brightly. The side scan projection image may be generated for only one side of the patient's left and right sides.
도 8은 도 2의 정합 영상에서 정면 수직 방향의 CT 데이터의 투영 영상 및 측면 수직 방향의 CT 데이터의 투영 영상을 생성하는 방법을 나타내는 개념도이다.8 is a conceptual diagram illustrating a method of generating a projection image of CT data in a front vertical direction and a projection image of CT data in a side vertical direction from the registered image of FIG. 2 .
도 1 내지 도 8을 참조하면, 상기 CT 데이터를 2차원 평면으로 투영한 영상의 픽셀 값은 각 투영 방향에 대해 같은 일직선상에 있는 데이터 상 점들의 누적 밝기 값을 나타낼 수 있다. 즉, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값을 누적하여 생성될 수 있다.1 to 8 , a pixel value of an image obtained by projecting the CT data onto a two-dimensional plane may represent a cumulative brightness value of data image points on the same straight line with respect to each projection direction. That is, the CT projection image may be generated by accumulating voxel values of the CT data along a projection direction.
상기 CT 투영 영상은 상기 투영 방향이 A이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(u, v)일 때,
Figure PCTKR2020018799-appb-I000002
를 만족할 수 있다. 도 8에서 보듯이, 여기서 A는 정면 방향을 나타낼 수 있다. When the projection direction of the CT projection image is A, the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(u, v),
Figure PCTKR2020018799-appb-I000002
can be satisfied with As shown in FIG. 8 , A may indicate a frontal direction.
상기 CT 투영 영상은 상기 투영 방향이 B이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(s, t)일 때,
Figure PCTKR2020018799-appb-I000003
를 만족할 수 있다. 도 8에서 보듯이, 여기서 B는 측면 방향을 나타낼 수 있다. When the projection direction of the CT projection image is B, the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(s, t),
Figure PCTKR2020018799-appb-I000003
can be satisfied with As shown in FIG. 8 , where B may represent a lateral direction.
본 실시예에서 상기 CT 투영 영상은 복셀 값을 누적하여 생성되는 것으로 한정되지 않는다. 예를 들어, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 표준 편차를 기초로 생성될 수 있다. 또한, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 최대값을 기초로 생성될 수도 있다.In the present embodiment, the CT projection image is not limited to being generated by accumulating voxel values. For example, the CT projection image may be generated based on a standard deviation of voxel values of the CT data along a projection direction. Also, the CT projection image may be generated based on a maximum value of voxel values of the CT data along a projection direction.
상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 정면 스캔 투영 영상을 생성하는 제1 방향(도 7의 y 방항)은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 정면 CT 투영 영상을 생성하는 방향(도 8의 y 방항)과 일치하고, 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 측면 스캔 투영 영상(도 7의 x 방항)을 생성하는 제2 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 측면 CT 투영 영상을 생성하는 방향(도 8의 x 방항)과 일치할 수 있다. A first direction (y direction in FIG. 7 ) of generating the front scan projection image by projecting the 3D scan data in two dimensions is a direction in which the 3D CT data is projected in two dimensions to generate the front CT projection image (direction y in FIG. 8), the second direction in which the 3D scan data is projected in two dimensions to generate the side scan projection image (direction x in FIG. 7) is the 3D CT data in two dimensions The projection may coincide with a direction (x direction in FIG. 8 ) in which the lateral CT projection image is generated.
상기 정면 스캔 투영 영상을 생성하는 상기 제1 방향은 상기 3차원 CT 데이터의 정면 방향이고, 상기 측면 스캔 투영 영상을 생성하는 상기 제2 방향은 상기 3차원 CT 데이터의 측면 방향일 수 있다. The first direction in which the front scan projection image is generated may be a front direction of the 3D CT data, and the second direction in which the side scan projection image is generated may be a side direction of the 3D CT data.
도 9는 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제1 컨볼루션 신경망을 나타내는 개념도이다. 도 10은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다. 도 11은 정면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 정면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.9 is a conceptual diagram illustrating a first convolutional neural network for determining matching accuracy between a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction. 10 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are well matched. 11 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a front vertical direction and a projection image of CT data in a front vertical direction are not well matched.
도 1 내지 도 11을 참조하면, 정면 스캔 투영 영상과 정면 CT 투영 영상을 입력받아 정면 정합 정확도를 판단하는 상기 제1 컨볼루션 신경망 모델은 제1 특징 추출기(AP Feature extractor) 및 제1 분류기(AP Classifier)를 포함할 수 있다. 1 to 11 , the first convolutional neural network model that receives a frontal scan projection image and a frontal CT projection image to determine frontal matching accuracy is a first feature extractor (AP) and a first classifier (AP). classifier) may be included.
상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징을 추출할 수 있다. 상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 정합 결과 점수를 산출할 수 있다. The first feature extractor may extract features of the front scan projection image and the front CT projection image. The first classifier may calculate a matching result score of the front scan projection image and the front CT projection image based on the features extracted by the first feature extractor.
상기 제1 컨볼루션 신경망 모델의 학습 데이터는 정면 스캔 투영 학습 영상, 정면 CT 투영 학습 영상, 정합 성공 여부(GOOD or BAD)일 수 있다. The training data of the first convolutional neural network model may be a front scan projection training image, a front CT projection training image, and whether or not matching is successful (GOOD or BAD).
상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제1 컨볼루션층 및 상기 제1 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제1 풀링층을 포함할 수 있다. The first feature extractor performs the steps of extracting the features of the front scan projected image and the front CT projected image, a first convolutional layer performing steps, and steps of extracting features extracted from the first convolutional layer by classification It may include a first pooling layer.
상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 제1 정합 성공 점수 r1과 제1 정합 실패 점수 q1을 생성할 수 있다. The first classifier may generate a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor.
상기 제1 특징 추출기에서 추출된 특징들이 상기 제1 분류기의 히든층을 통과하면서 상기 정면 정합 점수가 점차 추출되게 된다. 상기 히든층을 모두 통과한 결과, r1 > q1이면 상기 제1 분류기의 결과가 성공으로 판단되며, r1 < q1이면 상기 제1 분류기의 결과가 실패로 판단될 수 있다.As the features extracted by the first feature extractor pass through the hidden layer of the first classifier, the front matching score is gradually extracted. As a result of passing all of the hidden layers, if r1 > q1, the result of the first classifier may be determined as success, and if r1 < q1, the result of the first classifier may be determined as failure.
도 9에서는 제1 정합 성공 점수(Good) r1이 0.9이고, 제1 정합 실패 점수(Bad) q1이 0.1이므로, 상기 제1 분류기의 결과는 정합 성공으로 판단될 수 있다.In FIG. 9 , since the first matching success score (Good) r1 is 0.9 and the first matching failure score (Bad) q1 is 0.1, the result of the first classifier may be determined as matching success.
도 10은 정면 스캔 투영 영상과 정면 CT 투영 영상이 잘 정합된 경우를 나타내며, 이 경우, r1이 q1보다 클 수 있다. 반대로 도 11은 정면 스캔 투영 영상과 정면 CT 투영 영상이 잘 정합되지 않은 경우를 나타내며, 이 경우, q1이 r1보다 클 수 있다. 도 11의 동그라미 부분을 보면, 상기 정면 CT 투영 영상의 어금니 부분과 상기 정면 스캔 투영 영상의 어금니 부분이 전혀 일치하지 않음을 알 수 있다. 10 shows a case in which the front scan projection image and the front CT projection image are well matched. In this case, r1 may be greater than q1. Conversely, FIG. 11 shows a case in which the front scan projection image and the front CT projection image do not match well. In this case, q1 may be greater than r1. 11 , it can be seen that the molar portion of the front CT projection image and the molar portion of the front scan projection image do not match at all.
도 12는 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합 정확도를 판단하는 제2 컨볼루션 신경망을 나타내는 개념도이다. 도 13은 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 된 예시를 나타내는 개념도이다. 도 14는 측면 수직 방향의 스캔 데이터의 투영 깊이 영상 및 측면 수직 방향의 CT 데이터의 투영 영상의 정합이 잘 되지 않은 예시를 나타내는 개념도이다.12 is a conceptual diagram illustrating a second convolutional neural network for determining the matching accuracy of a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction. 13 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are well matched. 14 is a conceptual diagram illustrating an example in which a projection depth image of scan data in a lateral vertical direction and a projection image of CT data in a lateral vertical direction are not well matched.
도 1 내지 도 14를 참조하면, 측면 스캔 투영 영상과 측면 CT 투영 영상을 입력받아 측면 정합 정확도를 판단하는 상기 제2 컨볼루션 신경망 모델은 제2 특징 추출기(Lateral Feature extractor) 및 제2 분류기(Lateral Classifier)를 포함할 수 있다. 1 to 14 , the second convolutional neural network model that receives a lateral scan projection image and a lateral CT projection image to determine lateral registration accuracy is a second feature extractor and a second classifier classifier) may be included.
상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징을 추출할 수 있다. 상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 정합 결과 점수를 산출할 수 있다. The second feature extractor may extract features of the side scan projection image and the side CT projection image. The second classifier may calculate a score as a result of matching the lateral scan projection image and the lateral CT projection image based on the features extracted by the second feature extractor.
상기 제2 컨볼루션 신경망 모델의 학습 데이터는 측면 스캔 투영 학습 영상, 측면 CT 투영 학습 영상, 정합 성공 여부(GOOD or BAD)일 수 있다. The training data of the second convolutional neural network model may be a side scan projection training image, a side CT projection training image, and whether or not matching is successful (GOOD or BAD).
상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제2 컨볼루션층 및 상기 제2 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제2 풀링층을 포함할 수 있다. The second feature extractor performs the steps of extracting features of the side scan projected image and the side CT projected image by a second convolution layer, and extracting features extracted from the second convolution layer by classification It may include a second pooling layer.
상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 제2 정합 성공 점수 r2와 제2 정합 실패 점수 q2를 생성할 수 있다. The second classifier may generate a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor.
상기 제2 특징 추출기에서 추출된 특징들이 상기 제2 분류기의 히든층을 통과하면서 상기 측면 정합 점수가 점차 추출되게 된다. 상기 히든층을 모두 통과한 결과, r2 > q2면 상기 제2 분류기의 결과가 성공으로 판단되며, r2 < q2면 상기 제2 분류기의 결과가 실패로 판단될 수 있다.As the features extracted by the second feature extractor pass through the hidden layer of the second classifier, the lateral matching score is gradually extracted. As a result of passing all the hidden layers, if r2 > q2, the result of the second classifier may be determined as a success, and if r2 < q2, the result of the second classifier may be determined as a failure.
도 12에서는 제2 정합 성공 점수(Good) r2가 0.9이고, 제2 정합 실패 점수(Bad) q2가 0.1이므로, 상기 제2 분류기의 결과는 정합 성공으로 판단될 수 있다.In FIG. 12 , since the second matching success score (Good) r2 is 0.9 and the second matching failure score (Bad) q2 is 0.1, the result of the second classifier may be determined as matching success.
도 13은 측면 스캔 투영 영상과 측면 CT 투영 영상이 잘 정합된 경우를 나타내며, 이 경우, r2가 q2보다 클 수 있다. 반대로 도 14는 측면 스캔 투영 영상과 측면 CT 투영 영상이 잘 정합되지 않은 경우를 나타내며, 이 경우, q2가 r2보다 클 수 있다. 도 14의 동그라미 부분을 보면, 상기 측면 CT 투영 영상의 앞니 부분과 상기 측면 스캔 투영 영상의 앞니 부분이 전혀 일치하지 않음을 알 수 있다. 13 shows a case in which the side scan projection image and the side CT projection image are well matched. In this case, r2 may be greater than q2. Conversely, FIG. 14 shows a case in which the lateral scan projection image and the lateral CT projection image are not well matched. In this case, q2 may be greater than r2. 14 , it can be seen that the incisors of the lateral CT projection image and the incisors of the lateral scan projection image do not match at all.
도 15는 정면 수직 방향의 정합 정확도 및 측면 수직 방향의 정합 정확도를 기초로 스캔 데이터와 CT 데이터의 최종 정합 정확도를 결정하는 방법을 나타내는 개념도이다.15 is a conceptual diagram illustrating a method of determining the final matching accuracy of scan data and CT data based on the matching accuracy in the front vertical direction and the matching accuracy in the side vertical direction.
도 1 내지 도 15를 참조하면, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계(S500)는 상기 제1 분류기의 결과가 성공(Good)이고, 상기 제2 분류기의 결과가 성공(Good)이면 상기 최종 정합 결과(Result)를 성공(Good)으로 판단할 수 있다. 1 to 15 , in the step of determining the final matching accuracy of the matching data ( S500 ), if the result of the first classifier is Good and the result of the second classifier is Good, the The final matching result may be judged as good.
한편, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계(S500)는 상기 제1 분류기의 결과 및 상기 제2 분류기의 결과 중 적어도 어느 하나가 실패(Bad)이면 상기 최종 정합 결과를 실패(Bad)로 판단할 수 있다. 정면 정합과 측면 정합이 모두 정확하게 된 경우에 상기 스캔 데이터와 CT 데이터의 정합이 성공한 것으로 볼 수 있기 때문이다.Meanwhile, in the step of determining the final matching accuracy of the matching data (S500), if at least one of the result of the first classifier and the result of the second classifier is a failure (Bad), the final matching result is set as a failure (Bad). can judge This is because, when both the front registration and the side registration are correct, it can be considered that the registration of the scan data and the CT data is successful.
본 실시예에 따르면, 별도의 사용자 입력 없이 3차원 치과 CT 영상 및 3차원 스캔 데이터로부터 2차원 투영 영상을 얻고 컨볼루션 연산으로 구축된 딥러닝 모델을 이용하여 정합의 정확도를 자동으로 판단할 수 있다. According to this embodiment, it is possible to obtain a two-dimensional projection image from a three-dimensional dental CT image and three-dimensional scan data without a separate user input and automatically determine the accuracy of registration by using a deep learning model constructed by convolution operation. .
3차원 치과 CT 영상 데이터와 3차원 디지털 인상 모델 데이터의 정합의 정확도를 자동으로 판단할 수 있어, 정합 결과를 판단하는데 소요되는 시간과 노력을 줄일 수 있고, 또한 상기 판단된 정합의 정확도를 기초로 자동 정합 알고리즘의 정확도를 높일 수 있다.It is possible to automatically determine the accuracy of the registration of the 3D dental CT image data and the 3D digital impression model data, thereby reducing the time and effort required to determine the registration result, and also based on the determined accuracy of registration It is possible to increase the accuracy of the automatic matching algorithm.
본 발명의 일 실시예에 의하면, 전술한 치과용 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.According to an embodiment of the present invention, there may be provided a computer-readable recording medium in which a program for executing the above-described 3D dental CT image for dentistry and the method for determining matching accuracy of a 3D digital impression model is recorded on a computer. have. The above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. In addition, the structure of data used in the above-described method may be recorded in a computer-readable medium through various means. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, etc. Hardware devices specially configured to store and execute program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention.
또한, 전술한 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구형될 수 있다.In addition, the above-described 3D dental CT image and the 3D digital impression model matching accuracy determination method may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
본 발명은 치과용 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 3차원 치과 CT 영상 데이터와 3차원 디지털 인상 모델 데이터의 정합의 정확도를 자동으로 판단할 수 있어, 정합 결과를 판단하는데 소요되는 시간과 노력을 줄일 수 있고, 또한 자동 정합 알고리즘의 정확도를 높일 수 있다. The present invention relates to a method for determining the accuracy of matching between a three-dimensional dental CT image for dentistry and a three-dimensional digital impression model, and to a computer-readable recording medium in which a program for executing the same on a computer is recorded, the three-dimensional dental CT image data and It is possible to automatically determine the accuracy of the registration of the three-dimensional digital impression model data, thereby reducing the time and effort required to determine the registration result, and also increasing the accuracy of the automatic registration algorithm.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.Although the above has been described with reference to the preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. you will understand that you can

Claims (14)

  1. 3차원 스캔 데이터 및 3차원 CT 데이터가 정합된 정합 데이터에서 상기 3차원 스캔 데이터를 2차원으로 투영하여 스캔 투영 영상을 생성하는 단계;generating a scan projection image by two-dimensionally projecting the 3D scan data from registration data in which 3D scan data and 3D CT data are matched;
    상기 정합 데이터에서 상기 3차원 CT 데이터를 2차원으로 투영하여 CT 투영 영상을 생성하는 단계;generating a CT projection image by two-dimensionally projecting the 3D CT data from the registration data;
    제1 컨볼루션 신경망 모델(convolutional neural network model)에 정면 수직 방향의 정면 스캔 투영 영상과 상기 정면 수직 방향의 정면 CT 투영 영상을 입력하여 정면 정합 정확도를 판단하는 단계;determining frontal registration accuracy by inputting a frontal vertical scan projection image and a frontal vertical frontal CT projection image to a first convolutional neural network model;
    제2 컨볼루션 신경망 모델에 측면 수직 방향의 측면 스캔 투영 영상과 상기 측면 수직 방향의 측면 CT 투영 영상을 입력하여 측면 정합 정확도를 판단하는 단계; 및determining lateral registration accuracy by inputting a lateral scan projection image in a lateral vertical direction and a lateral CT projection image in the lateral vertical direction to a second convolutional neural network model; and
    상기 정면 정합 정확도 및 상기 측면 정합 정확도를 기초로 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계를 포함하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.and determining the final registration accuracy of the registration data based on the frontal registration accuracy and the side registration accuracy.
  2. 제1항에 있어서, 상기 스캔 투영 영상은 상기 3차원 스캔 데이터와 투영 평면 사이의 거리를 밝기로 나타내는 투영 깊이 영상인 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The method according to claim 1, wherein the scan projection image is a projection depth image representing a distance between the 3D scan data and a projection plane in terms of brightness. .
  3. 제2항에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값을 누적하여 생성되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The method of claim 2, wherein the CT projection image is generated by accumulating voxel values of the CT data along a projection direction.
  4. 제3항에 있어서, 상기 CT 투영 영상은 상기 투영 방향이 A이고, 상기 CT 데이터의 상기 복셀 값이 I(x, y, z)이며, 상기 CT 투영 영상의 픽셀 값이 I(u, v)일 때,
    Figure PCTKR2020018799-appb-I000004
    를 만족하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.    4. The CT projection image of claim 3, wherein the projection direction of the CT projection image is A, the voxel value of the CT data is I(x, y, z), and the pixel value of the CT projection image is I(u, v) when,
    Figure PCTKR2020018799-appb-I000004
    A method for determining the matching accuracy of a three-dimensional dental CT image and a three-dimensional digital impression model, characterized in that it satisfies
  5. 제2항에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 표준 편차를 기초로 생성되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The method of claim 2, wherein the CT projection image is generated based on a standard deviation of voxel values of the CT data along a projection direction.
  6. 제2항에 있어서, 상기 CT 투영 영상은 투영 방향을 따라 상기 CT 데이터의 복셀 값의 최대값을 기초로 생성되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The method of claim 2, wherein the CT projection image is generated based on a maximum value of voxel values of the CT data along a projection direction.
  7. 제1항에 있어서, 상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 정면 스캔 투영 영상을 생성하는 제1 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 정면 CT 투영 영상을 생성하는 방향과 일치하고, According to claim 1, wherein the first direction to generate the front scan projection image by projecting the 3D scan data in 2D is the same as the direction in which the 3D CT data is projected in 2D to generate the front CT projection image match,
    상기 3차원 스캔 데이터를 2차원으로 투영하여 상기 측면 스캔 투영 영상을 생성하는 제2 방향은 상기 3차원 CT 데이터를 2차원으로 투영하여 상기 측면 CT 투영 영상을 생성하는 방향과 일치하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.A second direction for generating the side scan projection image by projecting the 3D scan data in two dimensions coincides with a direction for generating the side CT projection image by projecting the 3D CT data in two dimensions A method for determining the registration accuracy of a 3D dental CT image and a 3D digital impression model.
  8. 제7항에 있어서, 상기 정면 스캔 투영 영상을 생성하는 상기 제1 방향은 상기 3차원 CT 데이터의 정면 방향이고, The method of claim 7, wherein the first direction for generating the front scan projection image is a front direction of the 3D CT data,
    상기 측면 스캔 투영 영상을 생성하는 상기 제2 방향은 상기 3차원 CT 데이터의 측면 방향인 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The second direction for generating the side scan projection image is a 3D dental CT image and a 3D digital impression model matching accuracy determination method, characterized in that the lateral direction of the 3D CT data.
  9. 제1항에 있어서, 상기 제1 컨볼루션 신경망 모델은 The method of claim 1, wherein the first convolutional neural network model is
    상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징을 추출하는 제1 특징 추출기; 및a first feature extractor for extracting features of the front scan projection image and the front CT projection image; and
    상기 제1 특징 추출기에 의해 추출된 특징을 기초로 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 정합 결과 점수를 산출하는 제1 분류기를 포함하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.3D dental CT image and 3D digital image, characterized in that it comprises a first classifier for calculating a matching result score of the frontal scan projection image and the frontal CT projection image based on the features extracted by the first feature extractor A method for judging the registration accuracy of an impression model.
  10. 제9항에 있어서, 상기 제2 컨볼루션 신경망 모델은 The method of claim 9, wherein the second convolutional neural network model is
    상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징을 추출하는 제2 특징 추출기; 및a second feature extractor for extracting features of the lateral scan projection image and the lateral CT projection image; and
    상기 제2 특징 추출기에 의해 추출된 특징을 기초로 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 정합 결과 점수를 산출하는 제2 분류기를 포함하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.3D dental CT image and 3D digital image, characterized in that it comprises a second classifier for calculating a matching result score of the side scan projection image and the side CT projection image based on the features extracted by the second feature extractor A method for judging the registration accuracy of impression models.
  11. 제10항에 있어서, 상기 제1 특징 추출기는 상기 정면 스캔 투영 영상 및 상기 정면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제1 컨볼루션층 및 상기 제1 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제1 풀링층을 포함하고,The method of claim 10 , wherein the first feature extractor classifies the first convolutional layer and features extracted from the first convolutional layer by performing the steps of extracting features of the front-scan projection image and the front-view CT projection image. a first pooling layer that performs culling steps;
    상기 제2 특징 추출기는 상기 측면 스캔 투영 영상 및 상기 측면 CT 투영 영상의 특징들을 추출하는 단계들을 수행하는 제2 컨볼루션층 및 상기 제2 컨볼루션층에서 추출된 특징들을 분류 별로 추려나가는 단계들을 수행하는 제2 풀링층을 포함하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The second feature extractor performs the steps of extracting features of the side scan projected image and the side CT projected image by a second convolution layer, and extracting features extracted from the second convolution layer by classification A method for determining the accuracy of matching between a three-dimensional dental CT image and a three-dimensional digital impression model, characterized in that it comprises a second pooling layer.
  12. 제10항에 있어서, 상기 제1 분류기는 상기 제1 특징 추출기에 의해 추출된 특징을 기초로 제1 정합 성공 점수 r1과 제1 정합 실패 점수 q1을 생성하고, r1 > q1이면 상기 제1 분류기의 결과가 성공으로 판단되며, r1 < q1이면 상기 제1 분류기의 결과가 실패로 판단되고,11. The method of claim 10, wherein the first classifier generates a first matching success score r1 and a first matching failure score q1 based on the features extracted by the first feature extractor, and if r1 > q1, The result is determined to be a success, and if r1 < q1, the result of the first classifier is determined to be a failure,
    상기 제2 분류기는 상기 제2 특징 추출기에 의해 추출된 특징을 기초로 제2 정합 성공 점수 r2와 제2 정합 실패 점수 q2를 생성하고, r2 > q2이면 상기 제2 분류기의 결과가 성공으로 판단되며, r2 < q2이면 상기 제2 분류기의 결과가 실패로 판단되는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.The second classifier generates a second matching success score r2 and a second matching failure score q2 based on the features extracted by the second feature extractor, and if r2 > q2, the result of the second classifier is determined to be successful, , r2 < q2, the method for determining the accuracy of matching between a 3D dental CT image and a 3D digital impression model, characterized in that the result of the second classifier is determined as a failure.
  13. 제12항에 있어서, 상기 정합 데이터의 최종 정합 정확도를 판단하는 단계는The method of claim 12, wherein determining the final matching accuracy of the matching data comprises:
    상기 제1 분류기의 결과가 성공이고, 상기 제2 분류기의 결과가 성공이면 상기 최종 정합 결과를 성공으로 판단하고, If the result of the first classifier is success and the result of the second classifier is success, the final matching result is determined as success;
    상기 제1 분류기의 결과 및 상기 제2 분류기의 결과 중 적어도 어느 하나가 실패이면 상기 최종 정합 결과를 실패로 판단하는 것을 특징으로 하는 3차원 치과 CT 영상과 3차원 디지털 인상 모델의 정합 정확도 판단 방법.If at least one of the result of the first classifier and the result of the second classifier fails, the final matching result is determined as a failure.
  14. 제1항 내지 13항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium in which a program for executing the method of any one of claims 1 to 13 on a computer is recorded.
PCT/KR2020/018799 2020-12-17 2020-12-21 Method for determining registration accuracy of three-dimensional dental ct image and three-dimensional digital impression model, and computer-readable recording medium in which program for executing same in computer is recorded WO2022131419A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0177353 2020-12-17
KR1020200177353A KR102302587B1 (en) 2020-12-17 2020-12-17 Method for determining accuracy of registration result of 3d dental ct image and 3d digital impression model

Publications (1)

Publication Number Publication Date
WO2022131419A1 true WO2022131419A1 (en) 2022-06-23

Family

ID=77926635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018799 WO2022131419A1 (en) 2020-12-17 2020-12-21 Method for determining registration accuracy of three-dimensional dental ct image and three-dimensional digital impression model, and computer-readable recording medium in which program for executing same in computer is recorded

Country Status (2)

Country Link
KR (1) KR102302587B1 (en)
WO (1) WO2022131419A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082534A (en) * 2022-07-21 2022-09-20 杭州三坛医疗科技有限公司 Biplane image registration method and device and robot
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102426230B1 (en) * 2021-12-29 2022-07-29 이마고웍스 주식회사 Automated method for tooth segmentation of three dimensional scan data and computer readable medium having program for performing the method
KR102522720B1 (en) 2022-03-04 2023-04-25 이마고웍스 주식회사 Automated method for aligning three dimensional dental library model to three dimensional oral scan data and computer readable medium having program for performing the method
KR102512005B1 (en) 2022-05-04 2023-03-21 이마고웍스 주식회사 Automated method for aligning three dimensional single dental model to three dimensional oral scan data and computer readable medium having program for performing the method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119381A (en) * 2009-04-30 2010-11-09 안준범 Automatic spanner
KR101613159B1 (en) * 2014-12-31 2016-04-20 오스템임플란트 주식회사 Automatic dental image registration method, apparatus, and recording medium thereof
KR20180047850A (en) * 2016-11-01 2018-05-10 한국과학기술연구원 Method, apparatus and program for selective matching three-dimensional tooth image data with optical scanning tooth model
KR20180106451A (en) * 2017-03-20 2018-10-01 오스템임플란트 주식회사 Method and device for dental image registration
KR101913586B1 (en) * 2017-05-24 2018-11-01 오스템임플란트 주식회사 Dental image registration method, apparatus, and recording medium thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119381A (en) * 2009-04-30 2010-11-09 안준범 Automatic spanner
KR101613159B1 (en) * 2014-12-31 2016-04-20 오스템임플란트 주식회사 Automatic dental image registration method, apparatus, and recording medium thereof
KR20180047850A (en) * 2016-11-01 2018-05-10 한국과학기술연구원 Method, apparatus and program for selective matching three-dimensional tooth image data with optical scanning tooth model
KR20180106451A (en) * 2017-03-20 2018-10-01 오스템임플란트 주식회사 Method and device for dental image registration
KR101913586B1 (en) * 2017-05-24 2018-11-01 오스템임플란트 주식회사 Dental image registration method, apparatus, and recording medium thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
CN115082534A (en) * 2022-07-21 2022-09-20 杭州三坛医疗科技有限公司 Biplane image registration method and device and robot

Also Published As

Publication number Publication date
KR102302587B1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
WO2022131419A1 (en) Method for determining registration accuracy of three-dimensional dental ct image and three-dimensional digital impression model, and computer-readable recording medium in which program for executing same in computer is recorded
US8731280B2 (en) Virtual cephalometric imaging
WO2022164126A1 (en) Device and method for automatically matching oral scan data and computed tomography image by means of crown segmentation of oral scan data
US9579170B2 (en) Method for creating a personalized digital planning file for simulation of dental implant placement
WO2021210723A1 (en) Method and apparatus for automatically detecting feature points of three-dimensional medical image data by using deep learning
WO2016003257A2 (en) Tooth model generation method for dental procedure simulation
WO2022124462A1 (en) Method for automatically detecting landmark in three-dimensional dental scan data, and computer-readable recording medium with program for executing same in computer recorded thereon
WO2018056544A1 (en) Augmented reality system for dental surgery and implementation method therefor
JP2010524529A (en) Computer-aided creation of custom tooth setup using facial analysis
WO2022131418A1 (en) Simplified method for automatically detecting landmarks of three-dimensional dental scan data, and computer readable medium having program recorded thereon for performing same by computer
WO2014073818A1 (en) Implant image creating method and implant image creating system
CN113052902B (en) Tooth treatment monitoring method
WO2017191878A1 (en) Teeth movement tracking device and method thereof
WO2021025296A1 (en) Method for automatically recommending crown model and prosthesis cad apparatus for performing same
WO2023013805A1 (en) Method for deriving head measurement parameters for tooth correction diagnosis based on machine learning from three-dimensional cbct image captured at natural head position
US11869203B2 (en) Dental image registration device and method
WO2023163263A1 (en) Method for automatically matching three-dimensional face scan data and three-dimensional volume medical image data by using deep learning, and computer-readable recording medium having recorded thereon program for executing same on computer
WO2022060183A1 (en) Three-dimensional scan data processing system and three-dimensional scan data processing method
WO2024043378A1 (en) Method for automatically generating prosthesis from three-dimensional scan data, and computer-readable recording medium having recorded thereon program for executing same in computer
WO2022145557A1 (en) Method for automatically segmenting maxillofacial bones in ct image by using deep learning
WO2023229152A1 (en) Automatic three-dimensional face scan matching device having artificial intelligence applied thereto, method for driving same, and computer program stored in medium
WO2023038313A1 (en) Electronic device and scanned image processing method of three-dimensional scanner thereof
WO2020060020A1 (en) X-ray imaging method, x-ray imaging device, and computer-readable recording medium
CN115471506A (en) Position adjusting method of mouth-scanning model, storage medium and electronic equipment
JP2023143585A (en) Data processing apparatus, data processing method, and data processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20966073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20966073

Country of ref document: EP

Kind code of ref document: A1