WO2020209496A1 - 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치 - Google Patents

치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치 Download PDF

Info

Publication number
WO2020209496A1
WO2020209496A1 PCT/KR2020/002756 KR2020002756W WO2020209496A1 WO 2020209496 A1 WO2020209496 A1 WO 2020209496A1 KR 2020002756 W KR2020002756 W KR 2020002756W WO 2020209496 A1 WO2020209496 A1 WO 2020209496A1
Authority
WO
WIPO (PCT)
Prior art keywords
tooth
image
oral scan
scan image
reference point
Prior art date
Application number
PCT/KR2020/002756
Other languages
English (en)
French (fr)
Inventor
김진철
김진백
Original Assignee
주식회사 디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190042382A external-priority patent/KR102284623B1/ko
Priority claimed from KR1020190042383A external-priority patent/KR102322634B1/ko
Application filed by 주식회사 디오 filed Critical 주식회사 디오
Priority to CN202080027596.8A priority Critical patent/CN113645902A/zh
Priority to US17/602,677 priority patent/US11978203B2/en
Priority to EP20787897.6A priority patent/EP3954297A4/en
Publication of WO2020209496A1 publication Critical patent/WO2020209496A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/682—Mouth, e.g., oral cavity; tongue; Lips; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present invention relates to a method of detecting an object of each tooth in an oral scan image, and in an oral scan image and a computed tomography (CT) image.
  • the present invention relates to a method and apparatus capable of performing image registration between an oral scan image and a CT image using a tooth object.
  • the oral scan image is a 3D image that displays the surface state of the tooth, unlike CT images and MRI, which are 3D images that display the internal state of the tooth.
  • each tooth needs to be separately detected in an oral scan image.
  • each tooth was detected using curvature information in an oral scan image.
  • the detection error frequently occurs because the boundary between the teeth is ambiguous and the curvature information of the teeth and the gums is similar, and the detection time and efficiency are low due to the large load according to the detection. There was this.
  • image registration refers to processing for displaying these different images in one coordinate system.
  • image registration between an oral scan image and a CT image is performed before an implant or the like is performed.
  • the matched image can be used as important data to determine the optimal implant location by allowing the location of bone tissue and neural tube to be identified.
  • the conventional method for image registration between the oral scan image and the CT image is to perform image registration using a marker of each image manually designated by the user, or to compare the distances between all vertices included in each image. Then, image registration was performed.
  • the conventional method has a problem that not only the speed of image registration is reduced due to a large load, but also the image registration is inaccurate due to inaccurate characteristics of manual markers and vertices.
  • an object of the present invention is to provide a method of detecting an object that may correspond to each tooth in an oral scan image of an oral cavity.
  • an object of the present invention is to provide a method and apparatus capable of quickly and accurately performing image registration between an oral scan image and a CT image by using an object of each tooth in an oral scan image and a CT image.
  • a method for detecting a tooth object in an oral scan image includes the steps of: (1) extracting a region of interest including a tooth from an oral scan image of a learning target, (2 ) Generating a learning model trained with learning data that forms an object for each tooth in multiple directions of the extracted region of interest, (3) using the learning model, in multiple directions of each tooth in the oral scan image of the detection target And detecting an object for.
  • the method of detecting a tooth object in an oral scan image may further include extracting information on a location, a center point, and a size of each detected object.
  • the method for detecting a tooth object in an oral scan image may further include a displaying step of displaying each detected object on an oral scan image of a detection target.
  • the learning data may include objects in two or more different directions (specific directions) for each tooth.
  • the specific direction may include a planar direction and an out-of-plane direction.
  • a display step of forming a 3D object including two or more objects for each detected tooth as a surface and displaying it on an oral scan image of a detection target It may further include.
  • the displaying may include displaying at least one of information on a location, a center point, and a size of each detected object and each detected object on an oral scan image of a detection target.
  • an image registration method using a tooth object for solving the above-described problems includes (1) spaced apart from each other in an oral scan image and a computed tomography (CT) image of the registration target.
  • a generation step of generating each of the plurality of reference points, (2) using the reference point (first reference point) of the Oral scan image and the reference point (second reference point) of the CT image, to match the Oral scan image and CT image of the registration target. Includes steps.
  • the first and second reference points may include a reference point for one frontmost tooth of the anterior tooth region and a reference point for two teeth on both sides of the posteriormost region of the posterior tooth region.
  • the first reference point may be derived from an object that is a simplified shape of a tooth.
  • the generating step includes: (1) generating a learning model by learning from learning data formed with objects for each tooth in a plurality of directions of the oral scan image of the learning object, and (2) using the generated learning model A step of detecting an object in a plurality of directions of each tooth in the oral scan image of, (3) selecting a reference object from among the detected objects, and generating a first reference point from the selected reference object.
  • each object for n teeth (target teeth) spaced apart from each other (where n is a natural number of 3 or more), which are some teeth in multiple directions of an oral scan image to be learned, is Generating a learning model trained with the formed learning data, (2) detecting an object in multiple directions of each target tooth from an oral scan image of a registration target using the created learning model, (3) It may include selecting the detected object as a reference object, and generating a first reference point from the selected reference object.
  • the reference object may include an object for one frontmost tooth of the anterior tooth region and an object for two teeth on both sides of the posteriormost region of the posterior tooth region.
  • the generating step may further include selecting a center point of the selected reference object as a first reference point.
  • An image matching apparatus includes: (1) a storage unit that stores an oral scan image and a computed tomography (CT) image of an object to be matched, (2) a stored oral scan image and a CT image. After generating a plurality of reference points spaced apart from each other, it includes a control unit that matches the Oral scan image and the CT image of the registration target using the reference point (first reference point) of the Oral scan image and the reference point (second reference point) of the CT image. do.
  • CT computed tomography
  • the first and second reference points may include a reference point for one frontmost tooth of the anterior tooth region and a reference point for two teeth on both sides of the posteriormost region of the posterior tooth region.
  • the first reference point may be derived from an object that is a simplified shape of a tooth.
  • the control unit uses a learning model generated by learning from learning data that forms objects for each tooth in multiple directions of an oral scan image and a CT image of a learning target, and uses a plurality of directions of each tooth in the oral scan image of the registration object. After detecting the object for, a reference object may be selected from among the detected objects, and a first reference point may be generated from the selected reference object.
  • the control unit learns from the learning data forming each object for n teeth (target teeth) spaced apart from each other (where n is a natural number of 3 or more), which are some teeth in a plurality of directions of the oral scan image and the CT image to be learned. After detecting objects in multiple directions of each target tooth in the Oral scan image of the registration target, using the generated learning model, the detected object is selected as a reference object, and a first reference point is generated from the selected reference object. I can.
  • the present invention configured as described above can easily detect an object that may correspond to each tooth in an oral scan image of the inside of the oral cavity, thereby improving detection time and efficiency.
  • the present invention can provide extraction information such as location, center point, and size information of each detected object, and as a result, the extracted information is a reference point for image registration with a CT image, an implant procedure placement position grasp, and arch shape grasp Since it can be used for such a task, the usability is increased, and the accuracy of the extracted information is high, so that the accuracy of the task can be improved.
  • the present invention configured as described above is by performing image registration between the oral scan image and the CT image using the object of each tooth that can be quickly and accurately extracted from the oral scan image and the CT image, corresponding image registration. There is an advantage that can improve the speed and accuracy of the.
  • FIG. 1 shows a block diagram of an image matching apparatus 100 according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an image registration method using a tooth object according to an embodiment of the present invention.
  • FIG 3 shows a tooth region including an anterior region FA and a posterior region BA.
  • FIG. 4 is a more detailed flowchart of S100 of an image registration method using a tooth object according to an embodiment of the present invention.
  • FIG. 5 shows a state of extracting from an ROI from an oral scan image to be learned.
  • FIG. 6 shows a state in which objects for four directions are set in an ROI of an oral scan image to be learned.
  • FIG 7 shows an object detected in an oral scan image of first to fourth registration targets.
  • FIG. 8 shows appearances in various directions in which a 3D object is detected in an oral scan image of a fifth registration object.
  • 9 and 10 illustrate an image registration process between an oral scan image and a CT image of a registration target.
  • FIG. 11 shows a state after image registration between an oral scan image and a CT image of a registration target.
  • terms such as “or” and “at least one” may represent one of words listed together, or a combination of two or more.
  • “A or B” and “at least one of A and B” may include only one of A or B, and may include both A and B.
  • FIG. 1 shows a block diagram of an image matching apparatus 100 according to an embodiment of the present invention.
  • the image matching apparatus 100 is an electronic device that performs image registration between an oral scan image and a CT image of an oral cavity.
  • the oral scan image is an image that provides information on the shape of the crown of the tooth exposed to the outside and the shape of the gum around the tooth.
  • the oral scan image is obtained by directly scanning the inside of the patient's oral cavity through an oral scanner, etc., or by scanning an impression model that mimics the inside of the patient's oral cavity as an intaglio or a plaster model created through the relief of the impression model. It is also possible, and the scanned image of the impression model can be reversed and used as an oral scan image.
  • CT images are images taken through a computed tomography (CT) device using radiation. That is, the CT image may represent internal tissue distribution and bone density information, such as a crown, a tooth root, and an alveolar bone, among the oral cavity, based on the transmittance of radiation.
  • CT computed tomography
  • an image matching device 100 may include a communication unit 110, an input unit 120, a display unit 130, a storage unit 140, and a control unit 150.
  • the communication unit 110 is a component that communicates with an external device such as an image acquisition device (not shown) and a server (not shown), and may receive image data.
  • the communication unit 110 5G (5 th generation communication), LTE-A (long term evolution-advanced), LTE (long term evolution), Bluetooth, BLE (bluetooth low energe), NFC (near field communication) Wireless communication such as, etc. can be performed, and wired communication such as cable communication can be performed.
  • the image data may include oral scan image data, CT image data, and the like.
  • the input unit 120 generates input data in response to a user's input.
  • the input unit 120 includes at least one input means.
  • the input unit 120 includes a keyboard, a key pad, a dome switch, a touch panel, a touch key, a mouse, a menu button ( menu button), etc.
  • the display unit 130 displays display data according to the operation of the preprocessor 100.
  • Such display data may include image data.
  • the display unit 130 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electromechanical system (MEMS). mechanical systems) displays and electronic paper displays.
  • the display unit 130 may be combined with the input unit 120 to be implemented as a touch screen or the like.
  • the storage unit 140 stores various types of information and programs necessary for the operation of the image matching device 100.
  • the storage unit 140 may store image data received from an image acquisition device, etc., and an algorithm related to an image matching method using a tooth object according to an embodiment of the present invention, which will be described later.
  • the storage unit 140 may store a learning model.
  • the controller 150 performs image matching between an oral scan image and a CT image received from an image acquisition device or a server or previously stored in the storage unit 140. To this end, the control unit 150 may receive image data from an image acquisition device or a server and store it in the storage unit 140. In addition, the controller 150 may control operations of the communication unit 110, the input unit 120, the display unit 130, and the storage unit 140.
  • FIG. 2 is a flowchart illustrating an image registration method using a tooth object according to an embodiment of the present invention.
  • an image matching method using a tooth object may include S100 and S200 for performing image processing on image data.
  • the controller 150 generates a plurality of reference points spaced apart from each other in the Oral scan image and the CT image of the registration target. That is, the control unit 150 generates a reference point (hereinafter, referred to as “first reference point”) from an oral scan image to be matched, and generates a reference point (hereinafter, referred to as “second reference point”) from a matching target CT image.
  • first reference point a reference point from an oral scan image to be matched
  • second reference point a reference point from a matching target CT image.
  • the controller 150 performs image registration by changing an oral scan image to be matched or a CT image to be matched so that the reference points coincide with each other by using the first and second reference points.
  • the reference point is a point indicating a position of a specific tooth (eg, a position of a center point of the specific tooth), and is used for image registration. That is, in S200, the controller 150 changes the angle, size, position, etc. of the matching target oral scan image and the matching target CT image so that a specific first reference point and a specific second reference point corresponding thereto coincide with each other. Image matching can be performed.
  • FIG 3 shows a tooth region including an anterior region FA and a posterior region BA.
  • a registration target oral scan image and a CT image of a registration target include tooth regions representing shapes of teeth.
  • the tooth region includes an anterior region FA located in front and a posterior region BA located behind the anterior tooth region FA.
  • the anterior region FA may be an area in which teeth 1 to 3 are located
  • the posterior area BA may be an area in which teeth 4 to 8 are located.
  • the reference point is a reference point for one frontmost tooth FT of the anterior tooth region FA (hereinafter, referred to as “the most anterior reference point”) and two teeth BT1 and BT2 on both sides of the posteriormost tooth of the posterior region BA.
  • Each of the reference points for (hereinafter referred to as “rearmost reference points”) may be included. That is, among the rearmost reference points, one is a reference point for one tooth selected from among the teeth on the right side of the posterior tooth area BA, and the other is a reference point for one tooth selected from among the teeth on the left side of the posterior tooth area BA. It is a reference point.
  • the second reference point can be easily derived manually or through various algorithms from 3D coordinate information of the CT image to be matched, which can indicate information such as the structure, size, and location of the inside of the tooth.
  • the derived second reference point may be a point indicating the position of the center point of one foremost tooth FT and two rearmost teeth BT1 and BT2.
  • the second reference point may be derived using a method of deriving (detecting) the first reference point described later.
  • the description of the'oral scan image' may be replaced with the description of the'CT image'.
  • a first reference point corresponding to the derived second reference point must be derived.
  • the first reference point since the first reference point must be derived from an oral scan image representing information on the surface of a tooth, the accuracy of the first reference point is degraded when a manual or conventional algorithm (using curvature information in the oral scan image) is used.
  • the present invention derives the first reference point using the object OB, which is a simplified shape of the tooth. This will be described in more detail according to S101 to S104 to be described later.
  • FIG. 4 is a more detailed flowchart of S100 of the image registration method using a tooth object according to an embodiment of the present invention
  • FIG. 5 shows a state of extracting from a region of interest (ROI) from an oral scan image to be learned.
  • ROI region of interest
  • the controller 150 extracts an ROI including a tooth from an oral scan image (hereinafter, referred to as “learning oral scan image”) of a learning target. That is, the learning oral scan image may include a tooth region and a region other than the tooth, and in S101, the controller 150 may extract the tooth region as the region of interest ROI.
  • learning oral scan image an oral scan image of a learning target. That is, the learning oral scan image may include a tooth region and a region other than the tooth, and in S101, the controller 150 may extract the tooth region as the region of interest ROI.
  • control unit 150 generates a learning model by learning from training data that forms an object OB1 for each tooth in multiple directions of the extracted ROI.
  • the controller 150 may learn the prepared training data using a machine learning technique.
  • machine learning techniques are supervised learning techniques, such as Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of It can be one of the techniques such as classifiers and deep learning.
  • Artificial neural network Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of It can be one of the techniques such as classifiers and deep learning.
  • the learning data is a result value (set) of the extracted learning oral scan image of the ROI as an input value, and the object OB formed for each tooth in the corresponding image ( Target value).
  • the object OB1 is set in various directions in the region of interest ROI of the learning oral scan image, and various shapes that simplify the shape of the corresponding tooth in the corresponding direction to correspond to the shape of each tooth ( Covering the area, but a simpler shape than the tooth shape), that is, it may be a shape such as a circle or polygon.
  • the result value of the learning data for the object OB1 may include location information, center point information, and size information occupied by the object OB1 in the ROI.
  • the learning model is a model supervised learning using a machine learning technique using training data, and includes a rule function for matching corresponding input values and result values.
  • FIG. 6 shows a state in which objects OB1 for four directions are set in an ROI of an oral scan image to be learned. That is, FIG. 6(a) shows a planar direction, FIG. 6(b) shows a front direction, FIG. 6(c) shows a left direction, and FIG. 6(d) shows a right direction, respectively.
  • objects OB1 may be set in four directions, that is, in the plane, front, left, and right directions.
  • the setting of the object OB1 may be set by the user through the input unit 120.
  • the learning data may include the object OB1 in at least two directions (specific directions) for each tooth.
  • the specific direction may include a planar direction and an out-of-plane direction (a front direction, a left direction, or a right direction).
  • the object OB1 may be formed in the planar direction and the front direction of the region of interest ROI, respectively.
  • objects OB1 may be formed in the left direction and the front direction of the region of interest ROI, respectively.
  • objects OB1 may be formed in the right direction and the front direction of the region of interest ROI, respectively.
  • objects OB1 for all teeth may be formed in the planar direction of the region of interest ROI as described above.
  • the object OB1 in the planar direction is a simplified shape of the tooth in the planar direction
  • the object OB1 in the out-of-plane direction is a simplified shape of the tooth in the out-of-plane direction. Accordingly, the object OB1 in the planar direction can serve as a medium providing information on the plane of the corresponding tooth, and the object OB1 in the out-of-plane direction provides information on one side (height, etc.) of the tooth. It can act as a providing medium.
  • the object OB1 in the plane direction with respect to the mandible tooth can serve as a medium that provides information on the upper surface of the tooth, and the object OB1 in the out-of-plane direction with respect to the mandibular tooth corresponds to It can act as a medium that provides information on one side of the tooth.
  • the object OB1 in the plane direction with respect to the upper teeth can serve as a medium for providing information on the lower surface of the corresponding tooth, and the object OB1 in the out-of-plane direction with respect to the upper teeth is It can act as a medium that provides information on one aspect.
  • the control unit 150 detects the object OB2 for multiple directions of each tooth from the oral scan image of the registration target by using the learning model generated in S102. That is, the controller 150 may input the matching target oral scan image to the learning model as an input value, and as a result, the learning model may output the object OB2 for the matching target oral scan image as the result value. have.
  • FIG. 7 shows a state in which an object OB2 is detected in an oral scan image of the first to fourth detection targets
  • FIG. 8 is a view in various directions in which a 3D object OB3 is detected in the oral scan image of a fifth detection target. Shows the appearance of.
  • the learning model may output (detect) an object OB2 corresponding to multiple directions of S102 from an oral scan image to be matched.
  • corresponding objects OB2 may be detected in the planar direction and the front direction of the matching target oral scan image, respectively.
  • an object OB2 may be detected in the left direction and the front direction of the registration target oral scan image, respectively.
  • the object OB1 may be detected in the right direction and the front direction of the registration target oral scan image, respectively.
  • objects OB2 for all teeth may be detected in the plane direction of the region of interest ROI as described above.
  • the controller 150 may generate (detect) a 3D object OB3 using two or more objects OB2 for each detected tooth. That is, the controller 150 may generate a 3D shape including two or more objects OB2 for each detected tooth as a surface, and detect the 3D shape as a 3D object OB3.
  • the object OB2 generated by the learning model has various shapes that simplify the shape of the tooth in the corresponding direction to correspond to the shape of each tooth (a shape that covers the area of the tooth in the corresponding direction but is simpler than the shape of the tooth), that is, It may have a shape such as a circle or a polygon.
  • the three-dimensional object OB3 is a variety of three-dimensional shapes that simplify the three-dimensional shape of the tooth to correspond to the three-dimensional shape of each tooth (a shape that covers the volume of the tooth but is simpler than the three-dimensional shape of the tooth), that is, a cylinder. , It may be in the shape of an elliptical column, a polygonal column, a truncated cone or a polygonal pyramid.
  • the control unit 150 when the three-dimensional object OB3 is a rectangular parallelepiped, the control unit 150 has two objects OB2 for a certain tooth as the first and second surfaces.
  • a 3D object OB3 having a rectangular parallelepiped shape for a corresponding tooth may be detected by generating a rectangular parallelepiped having virtual surfaces perpendicular to the first and second surfaces as the remaining surfaces.
  • the object OB2 in the planar direction represents the shape in the planar direction of the tooth
  • the object OB2 in the out-of-plane direction represents the shape in the direction out of the plane direction of the tooth. Accordingly, the object OB2 in the planar direction can act as a medium providing information on the plane of the corresponding tooth, and the object OB2 in the out-of-plane direction stores information on one side (height, etc.) of the tooth. It can act as a providing medium.
  • the control unit 150 is a three-dimensional object (OB3) having the object (OB2) in the planar direction as the upper or lower surface of the tooth and the object (OB2) in the out-of-plane direction as a side surface of the tooth. Can be detected.
  • the controller 150 may add the remaining surfaces as virtual surfaces except for the surface formed by the object OB2 in the planar direction and the object OB2 in the out-of-plane direction.
  • the controller 150 may add one or more virtual planes perpendicular to the object OB2 in the plane direction to the other side, and the virtual plane corresponding to the object OB2 in the plane direction parallel to the other plane (If the tooth is included in the mandible, the lower side, if the tooth is included in the maxilla, it can be added as the single side).
  • the controller 150 may extract location information (position coordinates in the oral scan image), center point information (center point coordinates in the oral scan image), and size information of the detected objects OB2 and OB3. have.
  • the location information, center point information, and size information of the object OB2 may be output together with the object OB2 as a result value for the input value by the learning model.
  • control unit 150 uses the location information, center point information, and size information of two or more related objects OB2 used to generate each 3D object OB3. Location information, center point information, and size information can be extracted.
  • the control unit 150 when the three-dimensional object OB3 is a rectangular parallelepiped, the control unit 150 includes location information and center point information of the objects OB2 constituting the first and second surfaces of the rectangular parallelepiped. And using the size information, position information, center point information, and size information of the 3D object OB3 may be extracted.
  • the controller 150 may display each of the detected objects OB2 and OB3 on the matching target oral scan image. That is, the control unit 150 may display each object OB2 and OB3 on an oral scan image to be matched using the location information, center point information, and size information of the detected objects OB2 and OB3. However, in order to make the classification of each tooth more clear, as shown in FIG. 6, the controller 150 may display the detected objects OB2 and OB3 in different colors for each tooth on the oral scan image to be matched. have.
  • control unit 150 displays at least one of position information, center point information, and size information for each of the detected objects OB2 and OB3, and each of the detected objects OB2 and OB3 on the matching target oral scan image. can do.
  • FIGS. 5 to 8 show only the teeth of the lower jaw, the present invention is not limited thereto, and the object detection operation according to the present invention can be applied equally to the teeth of the upper jaw.
  • FIGS. 9 and 10 illustrate an image registration process between an oral scan image and a CT image of a registration target.
  • a dotted rectangular parallelepiped represents regions of the frontmost teeth FT and the rearmost teeth BT1 and BT2 in each image. That is, FIGS. 9 and 10 illustrate a process in which image registration is performed so that the first reference point and the second reference point of each image match each other.
  • FIG. 11 shows a state after image registration between an oral scan image and a CT image of a registration target.
  • the controller 150 selects a reference object from among the detected objects OB2 and OB3, and generates a first reference point from the selected reference object.
  • the reference object is an object for one frontmost tooth FT of the anterior tooth region FA (hereinafter, referred to as “the foremost object”), and two teeth BT1 and BT2 on both sides of the rearmost tooth of the posterior tooth region BA. ) May be included (hereinafter, referred to as “rearmost object”).
  • the controller 150 may select a center point (a center point of a surface or volume) of the reference object as the first reference point.
  • the present invention can easily detect objects OB2 and OB3 that may correspond to each tooth in an oral scan image of the inside of the oral cavity, thereby improving detection time and efficiency.
  • the present invention can provide extraction information such as location, center point, and size information of each detected object (OB2, OB3), and as a result, the extracted information can be used as a reference point for image matching with a CT image.
  • the accuracy of the extracted information is high, so that the accuracy of image matching can be improved.
  • center point information about a plurality of objects OB2 and OB3 that can be quickly extracted can be used as a first reference point for image registration.
  • the information on the first reference point is more accurate than information according to the conventional tooth detection method using curvature information, and as a result, as shown in FIG. 11, the speed and accuracy of image registration accordingly can be improved.
  • the controller 150 may control the learning model to output the frontmost object and the rearmost object as its output values.
  • the control unit 150 includes n teeth (hereinafter referred to as “target teeth”), which are some teeth in multiple directions of the extracted region of interest (ROI) (where n is a natural number of 3 or more)
  • a learning model is generated by learning according to a machine learning technique with the learning data forming each object OB1 for. That is, the target tooth includes the frontmost teeth FT and the rearmost teeth BT. Accordingly, the learning model is learned using the learning data that forms the object OB1 corresponding to the frontmost object and the rearmost object.
  • the control unit 150 uses the learning model generated in S102. Objects OB2 in multiple directions of each target tooth are detected in the oral scan image.
  • the control unit 150 selects the detected objects OB2 and OB3 as reference objects, and generates a first reference point from the selected reference object. Other than this, it is the same as the contents of S101 to S104 described above.
  • the method for detecting a tooth object and a method and apparatus for image matching using a tooth object according to the present invention can be used in various dental treatment fields such as an implant procedure.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 치아 오브젝트를 이용한 영상 정합 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법은 정합 대상의 오랄 스캔 영상 및 컴퓨터단층촬영(Computed Tomography; CT) 영상에서 서로 이격된 복수의 기준점을 각각 생성하는 생성 단계; 및 오랄 스캔 영상의 기준점(제1 기준점)과 CT 영상의 기준점(제2 기준점)을 이용하여, 정합 대상의 오랄 스캔 영상과 CT 영상을 정합하는 단계;를 포함하며, 상기 제1 및 제2 기준점은 전치 영역의 최전방 1개 치아에 대한 기준점과, 구치 영역의 최후방 양측의 2개 치아에 대한 기준점을 포함하고, 상기 제1 기준점은 치아의 간략화된 형상인 오브젝트로부터 도출되는 것을 특징으로 한다.

Description

치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
본 발명은 오랄 스캔 영상(oral scan image)에서 각 치아의 오브젝트(object)를 검출하는 방법과, 구강 내부에 대한 오랄 스캔 영상(oral scan image) 및 컴퓨터단층촬영(Computed Tomography; CT) 영상에서 각 치아의 오브젝트(object)를 이용하여 오랄 스캔 영상과 CT 영상 간의 영상 정합을 수행할 수 있는 방법 및 장치에 관한 것이다.
치과 분야에서는 다양한 구강 내부의 영상을 활용하여 각종 시술을 시행한다. 이러한 영상으로는 오랄 스캔 영상, 컴퓨터단층촬영(Computed Tomography; CT) 영상, 자기공명영상(Magnetic Resonance Image; MRI) 등이 있다. 그 중에서 오랄 스캔 영상은 치아의 내부 상태까지 표시하는 3차원 영상인 CT 영상 및 MRI 등과 달리, 치아의 표면 상태를 표시하는 3차원 영상이다.
한편, CT 영상과의 영상 정합을 위한 기준점으로의 활용, 임플란트 시술 식립 위치 파악 및 악궁 형태 파악 등을 위해, 오랄 스캔 영상에서는 각 치아가 분리 검출될 필요가 있다. 이를 위해, 종래에는 오랄 스캔 영상 에서 곡률 정보를 이용하여 각 치아를 검출하였다. 하지만, 이러한 종래 검출 방식은 치아 간의 경계가 모호하고 치아 및 잇몸의 곡률 정보가 유사함으로 인해 그 검출 오류가 빈번하게 발생할 뿐 아니라, 그 검출에 따른 로드(load)가 커 검출 시간 및 효율성이 떨어지는 문제점이 있었다.
한편, 컴퓨터 비전 분야에서 동일 대상을 다른 시간, 측정 방식 또는 관점 등에서 촬영할 경우, 서로 다른 좌표계를 가지는 영상이 획득되는데, 영상 정합은 이러한 서로 다른 영상을 하나의 좌표계에 나타내기 위한 처리를 지칭한다.
특히, 치과 분야에서는 임플란트 등의 시술 전에 오랄 스캔 영상과 CT 영상 간의 영상 정합을 수행하게 된다. 이때, 정합된 영상은 골조직과 신경관 위치 등을 파악할 수 있게 하여, 최적의 임플란트 시술 위치를 결정하는데 중요한 자료로 사용될 수 있다.
하지만, 오랄 스캔 영상과 CT 영상 간의 영상 정합을 위한 종래 방식은 사용자가 수동으로 지정하는 각 영상의 마커를 이용하여 영상 정합을 수행하거나, 각 영상에 포함된 모든 버텍스(vertex)들 간의 거리를 비교하여 영상 정합을 수행하였다. 그 결과, 종래 방식은 로드(load)가 커 영상 정합의 속도가 저하될 뿐 아니라, 부정확한 수동 마커 및 버텍스의 특성으로 인해 영상 정합도 부정확해질 수 밖에 없는 문제점이 있었다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 구강 내부에 대한 오랄 스캔 영상에서 각 치아에 대응될 수 있는 오브젝트를 검출하는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 구강 내부에 대한 오랄 스캔 영상 및 CT 영상에서 각 치아의 오브젝트를 이용함으로써 오랄 스캔 영상과 CT 영상 간의 영상 정합을 신속 정확하게 수행할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은, (1) 학습 대상의 오랄 스캔 영상에서 치아가 포함된 관심 영역을 추출하는 단계, (2) 추출된 관심 영역의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시킨 학습 모델을 생성하는 단계, (3) 학습 모델을 이용하여 검출 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계를 포함한다.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 검출된 각 오브젝트의 위치, 중심점 및 크기 정보를 추출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 표시하는 표시 단계를 더 포함할 수 있다.
상기 학습데이터는 각 치아에 대하여 서로 다른 2개 이상 방향(특정 방향)에서의 오브젝트를 포함할 수 있다.
상기 특정 방향은 평면 방향과 평면 방향 외 방향을 포함할 수 있다.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 검출된 각 치아에 대한 2개 이상 오브젝트를 면으로 포함하는 3차원 오브젝트를 형성하여 검출 대상의 오랄 스캔 영상에 표시하는 표시 단계를 더 포함할 수 있다.
상기 표시 단계는 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 중 적어도 어느 하나와, 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 함께 표시하는 단계를 포함할 수 있다.
또한, 상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법은, (1) 정합 대상의 오랄 스캔 영상 및 컴퓨터단층촬영(Computed Tomography; CT) 영상에서 서로 이격된 복수의 기준점을 각각 생성하는 생성 단계, (2) 오랄 스캔 영상의 기준점(제1 기준점)과 CT 영상의 기준점(제2 기준점)을 이용하여, 정합 대상의 오랄 스캔 영상과 CT 영상을 정합하는 단계를 포함한다.
상기 제1 및 제2 기준점은 전치 영역의 최전방 1개 치아에 대한 기준점과, 구치 영역의 최후방 양측의 2개 치아에 대한 기준점을 포함할 수 있다.
상기 제1 기준점은 치아의 간략화된 형상인 오브젝트로부터 도출될 수 있다.
상기 생성 단계는, (1) 학습 대상의 오랄 스캔 영상의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시켜 학습 모델을 생성하는 단계, (2) 생성된 학습 모델을 이용하여 정합 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계, (3) 검출된 오브젝트 중에 기준 오브젝트를 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성하는 단계를 포함할 수 있다.
상기 생성 단계는, (1) 상기 모델 생성 단계는 학습 대상의 오랄 스캔 영상의 복수 방향에서 일부 치아인 서로 이격된 n개의 치아(대상 치아)(단, n은 3 이상의 자연수)에 대한 각 오브젝트를 형성한 학습데이터로 학습시킨 학습 모델을 생성하는 단계, (2) 생성된 학습 모델을 이용하여 정합 대상의 오랄 스캔 영상에서 각 대상 치아의 복수 방향에 대한 오브젝트를 검출하는 오브젝트 검출 단계, (3) 검출된 오브젝트를 기준 오브젝트로 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성하는 단계를 포함할 수 있다.
상기 기준 오브젝트는 전치 영역의 최전방 1개 치아에 대한 오브젝트와, 구치 영역의 최후방 양측의 2개 치아에 대한 오브젝트를 포함할 수 있다.
상기 생성 단계는 선택된 기준 오브젝트의 중심점을 제1 기준점으로 선택하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치는, (1) 정합 대상의 오랄 스캔 영상 및 컴퓨터단층촬영(Computed Tomography; CT) 영상을 저장한 저장부, (2) 저장된 오랄 스캔 영상 및 CT 영상에서 서로 이격된 복수의 기준점을 각각 생성한 후, 오랄 스캔 영상의 기준점(제1 기준점)과 CT 영상의 기준점(제2 기준점)을 이용하여 정합 대상의 오랄 스캔 영상과 CT 영상을 정합하는 제어부를 포함한다.
상기 제1 및 제2 기준점은 전치 영역의 최전방 1개 치아에 대한 기준점과, 구치 영역의 최후방 양측의 2개 치아에 대한 기준점을 포함할 수 있다.
상기 제1 기준점은 치아의 간략화된 형상인 오브젝트로부터 도출될 수 있다.
상기 제어부는, 학습 대상의 오랄 스캔 영상 및 CT 영상의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시켜 생성된 학습 모델을 이용하여, 정합 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출한 후, 검출된 오브젝트 중에 기준 오브젝트를 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성할 수 있다.
상기 제어부는, 학습 대상의 오랄 스캔 영상 및 CT 영상의 복수 방향에서 일부 치아인 서로 이격된 n개의 치아(대상 치아)(단, n은 3 이상의 자연수)에 대한 각 오브젝트를 형성한 학습데이터로 학습시켜 생성된 학습 모델을 이용하여, 정합 대상의 오랄 스캔 영상에서 각 대상 치아의 복수 방향에 대한 오브젝트를 검출한 후, 검출된 오브젝트를 기준 오브젝트로 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성할 수 있다.
상기와 같이 구성되는 본 발명은 구강 내부에 대한 오랄 스캔 영상에서 각 치아에 대응될 수 있는 오브젝트를 간편하게 검출할 수 있어, 그 검출 시간 및 효율성을 향상시킬 수 있다.
또한, 본 발명은 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 등의 추출 정보를 제공할 수 있으며, 그 결과 추출 정보가 CT 영상과의 영상 정합을 위한 기준점, 임플란트 시술 식립 위치 파악 및 악궁 형태 파악 등의 작업에 활용될 수 있어 활용성이 증대될 뿐 아니라, 추출 정보의 정확성이 높아 해당 작업의 정확성을 향상시킬 수 있는 이점이 있다.
또한, 상기와 같이 구성되는 본 발명은 구강 내부에 대한 오랄 스캔 영상 및 CT 영상에서 신속 정확하게 추출될 수 있는 각 치아의 오브젝트를 이용하여 오랄 스캔 영상과 CT 영상 간의 영상 정합을 수행함으로써, 해당 영상 정합의 속도 및 정확성을 향상시킬 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 영상 정합 장치(100)의 블록 구성도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법을 설명하기 위한 순서도이다.
도 3은 전치 영역(FA) 및 구치 영역(BA)을 포함하는 치아 영역을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법의 S100에 대한 보다 상세한 순서도이다.
도 5는 제1 학습 대상 오랄 스캔 영상에서 관심 영역(ROI)에서 추출하는 모습을 나타낸다.
도 6은 제2 학습 대상 오랄 스캔 영상의 관심 영역(ROI)에서 4개 방향에 대한 오브젝트를 설정한 모습을 나타낸다.
도 7은 제1 내지 제4 정합 대상의 오랄 스캔 영상에서 오브젝트가 검출된 모습을 나타낸다.
도 8은 제5 정합 대상의 오랄 스캔 영상에서 3차원 오브젝트가 검출된 다양한 방향에서의 모습을 나타낸다.
도 9 및 도 10은 정합 대상의 오랄 스캔 영상과 CT 영상 간의 영상 정합 과정에 대한 모습을 나타낸다.
도 11은 정합 대상의 오랄 스캔 영상과 CT 영상 간의 영상 정합 후의 모습을 나타낸다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 ‘연결되어’ 있다거나 ‘접속되어’ 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 ‘직접 연결되어’ 있다거나 ‘직접 접속되어’ 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 정합 장치(100)의 블록 구성도를 나타낸다.
본 발명의 일 실시예에 따른 영상 정합 장치(100)는 전자장치로서, 구강 내부에 대한 오랄 스캔 영상과 CT 영상 간의 영상 정합을 수행하는 장치이다.
오랄 스캔 영상은 외부로 드러난 치아의 치관 부분의 형상과 치아 주변의 잇몸 형상에 대한 정보를 제공하는 이미지이다. 이때, 오랄 스캔 영상은 오랄 스캐너(oral scanner) 등을 통해 피시술자의 구강 내부를 직접 스캔하여 획득되거나 피시술자의 구강 내부를 음각으로 본뜬 인상 모델이나 인상 모델의 양각을 통해 생성한 석고 모델을 스캔하여 획득되는 것도 가능하며, 인상 모델의 스캔 이미지는 반전되어 오랄 스캔 영상으로 사용될 수 있다.
CT 영상은 방사선을 이용한 컴퓨터 단층촬영(computed tomography, CT) 장치를 통해서 촬영되는 이미지이다. 즉, CT 영상은 방사선의 투과율을 기반으로 구강 내부 중 치관, 치근 및 치조골 등의 내부 조직 분포 및 골밀도 정보 등을 나타낼 수 있다.
도 1을 참조하면, 일 실시예에 따른 영상 정합 장치(100)는 통신부(110), 입력부(120), 표시부(130), 저장부(140) 및 제어부(150)를 포함할 수 있다.
통신부(110)는 영상획득장치(미도시), 서버(미도시) 등의 외부장치와의 통신을 수행하는 구성으로서, 영상데이터를 수신할 수 있다. 예를 들어, 통신부(110)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication) 등의 무선 통신을 수행할 수 있고, 케이블 통신 등의 유선 통신을 수행할 수 있다.
이때, 영상데이터는 오랄 스캔 영상데이터, CT 영상데이터 등을 포함할 수 있다.
입력부(120)는 사용자의 입력에 대응하여, 입력데이터를 발생시킨다. 입력부(120)는 적어도 하나의 입력수단을 포함한다. 예를 들어, 입력부(120)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.
표시부(130)는 전처리 장치(100)의 동작에 따른 표시데이터를 표시한다. 이러한 표시데이터는 영상데이터를 포함할 수 있다. 예를 들어, 표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 또한, 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.
저장부(140)는 영상 정합 장치(100)의 동작에 필요한 각종 정보, 프로그램들을 저장한다. 예를 들어, 저장부(140)는 영상획득장치 등으로부터 수신된 영상데이터와, 후술할 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법에 관련된 알고리즘 등을 저장할 수 있다. 또한, 저장부(140)는 학습 모델을 저장할 수 있다.
제어부(150)는 영상획득장치 또는 서버 등으로부터 수신되거나 저장부(140)에 기 저장된 오랄 스캔 영상과 CT 영상 간의 영상 정합을 수행한다. 이를 위해, 제어부(150)는 영상획득장치 또는 서버 등으로부터 영상데이터를 수신하여 저장부(140)에 저장할 수 있다. 또한, 제어부(150)는 통신부(110), 입력부(120), 표시부(130) 및 저장부(140)의 동작을 제어할 수 있다.
이하, 제어부(150)에 의해 제어 동작되는 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법에 대하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법은 영상데이터에 대해 영상 처리를 수행하는 S100 및 S200를 포함할 수 있다.
먼저, S100에서, 제어부(150)는 정합 대상의 오랄 스캔 영상 및 CT 영상에서 서로 이격된 복수의 기준점을 각각 생성한다. 즉, 제어부(150)는 정합 대상 오랄 스캔 영상에서 기준점(이하, “제1 기준점”이라 지칭함)을 생성하고, 정합 대상 CT 영상에서 기준점(이하, “제2 기준점”이라 지칭함)을 생성한다.
이후, S200에서, 제어부(150)는 제1 기준점과 제2 기준점을 이용하여, 이들 기준점이 서로 일치하도록 정합 대상 오랄 스캔 영상 또는 정합 대상 CT 영상을 변경하여 영상 정합을 수행한다.
이때, 기준점은 특정 치아에 대한 위치(예를 들어, 해당 특정 치아의 중심점 위치)를 나타내는 점으로서, 영상 정합 시에 이용된다. 즉, S200에서, 제어부(150)는 특정 제1 기준점과 이에 대응하는 특정 제2 기준점이 서로 일치하도록, 정합 대상 오랄 스캔 영상과 정합 대상 CT 영상의 각도, 크기, 위치 등을 변경시킴으로써 이들 영상 간의 영상 정합을 수행할 수 있다.
도 3은 전치 영역(FA) 및 구치 영역(BA)을 포함하는 치아 영역을 나타낸다.
도 3을 참조하면, 정합 대상의 정합 대상 오랄 스캔 영상 및 CT 영상은 치아들의 형상을 나타내는 치아 영역을 포함한다. 이때, 치아 영역은 전방에 위치한 전치 영역(FA)과, 전치 영역(FA) 보다 후방에 위치한 구치 영역(BA)을 포함한다. 예를 들어, 전치 영역(FA)은 1번 내지 3번의 치아들이 위치하는 영역일 수 있고, 구치 영역(BA)은 4번 내지 8번의 치아들이 위치하는 영역일 수 있다.
이때, 기준점은 전치 영역(FA)의 최전방 1개 치아(FT)에 대한 기준점(이하, “최전방 기준점”이라 지칭함)과, 구치 영역(BA)의 최후방 양측의 2개 치아(BT1, BT2)에 대한 기준점(이하, “최후방 기준점”이라 지칭함)을 각각 포함할 수 있다. 즉, 최후방 기준점 중에서, 하나는 구치 영역(BA)의 우측의 치아들 중 선택된 1개 치아에 대한 기준점이며, 다른 하나는 구치 영역(BA)의 좌측의 치아들 중 선택된 다른 1개 치아에 대한 기준점이다.
이러한 최전방 및 최후방 기준점은 정합 대상 오랄 스캔 영상 및 정합 대상 CT 영상의 각각에서 생성된다. 그 결과, 각 영상에서, 1개 최전방 기준점과 2개의 최후방 기준점은 삼각형의 꼭지점을 이루면서, 정합 대상 오랄 스캔 영상과 정합 대상 CT 영상 간의 영상 정합 시에 그 영상들의 각도, 크기, 위치 등의 변경을 위한 보다 간편하면서 정확한 기준을 제공할 수 있다.
이때, 제2 기준점은 치아의 내부에 대한 구조, 크기, 위치 등의 정보까지 나타낼 수 있는 정합 대상 CT 영상의 3차원 좌표 정보로부터 수동 또는 다양한 알고리즘을 통해 쉽게 도출될 수 있다. 이때, 도출된 제2 기준점은 1개의 최전방 치아(FT)와 2개의 최후방 치아(BT1, BT2)의 중심점 위치를 나타내는 점일 수 있다. 물론, 제2 기준점은 후술한 제1 기준점의 도출(검출) 방법을 이용하여 도출될 수도 있다. 이 경우, ‘오랄 스캔 영상’에 대한 설명이 ‘CT 영상’에 대한 설명인 것으로 대체될 수 있다.
한편, 도출된 제2 기준점에 대응하는 제1 기준점을 도출해야 한다. 하지만, 제1 기준점은 치아의 표면에 대한 정보를 나타내는 오랄 스캔 영상에서 도출되어야 하므로, 수동 또는 종래 알고리즘(오랄 스캔 영상에서 곡률 정보를 이용)할 경우 그 정확성이 떨어질 수 밖에 없다.
이에 따라, 본 발명은 치아의 간략화된 형상인 오브젝트(OB)를 이용하여 제1 기준점을 도출한다. 이에 대해서는 후술할 S101 내지 S104에 따라 보다 상세하게 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 치아 오브젝트를 이용한 영상 정합 방법의 S100에 대한 보다 상세한 순서도이며, 도 5는 제1 학습 대상 오랄 스캔 영상에서 관심 영역(ROI)에서 추출하는 모습을 나타낸다.
도 5를 참조하면, S101에서, 제어부(150)는 학습 대상의 오랄 스캔 영상(이하, “학습 오랄 스캔 영상”이라 지칭함)에서 치아가 포함된 관심 영역(ROI)을 추출한다. 즉, 학습 오랄 스캔 영상은 치아 영역과 치아 외 영역을 포함할 수 있으며, S101에서, 제어부(150)는 이러한 치아 영역을 관심 영역(ROI)으로 추출할 수 있다.
이후, S102에서, 제어부(150)는 추출된 관심 영역(ROI)의 복수 방향에서 각 치아에 대한 오브젝트(OB1)를 형성한 학습데이터(training data)로 학습시켜 학습 모델을 생성한다. 이때, 제어부(150)는 머신 러닝(machine learning) 기법을 이용하여 준비된 학습데이터를 학습시킬 수 있다.
예를 들어, 머신 러닝 기법은 지도 학습(supervised Learning) 기법으로서, Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of classifiers, Deep Learning 등의 기법 중에 하나일 수 있다.
즉, 학습데이터는 추출된 관심 영역(ROI)의 학습 오랄 스캔 영상을 입력값으로, 해당 영상에서 각 치아에 대해 형성한 오브젝트(OB)를 해당 입력값에 대한 셋(set)을 이루는 결과값(목표값)으로 각각 포함할 수 있다. 이때, 오브젝트(OB1)는 학습 오랄 스캔 영상의 관심 영역(ROI)에서 다양한 방향에서 설정된 것으로서, 각 치아의 형상에 대응하도록 해당 방향에서 해당 치아의 형상을 간략화한 다양한 형상(해당 방향에서 해당 치아의 면적을 덮되 그 치아 형상 보다 단순한 형상), 즉 원형 또는 다각형 등의 형상일 수 있다. 또한, 이러한 오브젝트(OB1)에 대한 학습데이터의 결과값은 관심 영역(ROI)에서 해당 오브젝트(OB1)가 차지하는 위치 정보, 중심점 정보 및 크기 정보를 포함할 수 있다.
또한, 학습 모델은 학습데이터를 이용하여 머신 러닝 기법으로 지도 학습시킨 모델로서, 해당 입력값 및 결과값을 매칭시키기 위한 규칙 함수를 포함한다.
도 6은 학습 대상 오랄 스캔 영상의 관심 영역(ROI)에서 4개 방향에 대한 오브젝트(OB1)를 설정한 모습을 나타낸다. 즉, 도 6(a)는 평면 방향, 도 6(b)는 정면 방향, 도 6(c)는 좌측 방향, 도 6(d)는 우측 방향을 각각 나타낸다.
예를 들어, 도 6에 도시된 바와 같이, 학습 오랄 스캔 영상의 관심 영역(ROI)에서 4개 방향, 즉 평면, 정면, 좌측 및 우측 방향에 대한 오브젝트(OB1)을 설정할 수 있다. 이때, 오브젝트(OB1)의 설정은 입력부(120)를 통해 사용자가 설정할 수 있다. 그 결과, 학습데이터는 각 치아에 대해 적어도 2개 방향(특정 방향)에서의 오브젝트(OB1)를 포함할 수 있다. 이때, 특정 방향은 평면 방향과 평면 방향 외 방향(정면 방향, 좌측 방향 또는 우측 방향)을 포함할 수 있다.
즉, 관심 영역(ROI)의 정면 방향에서 보이는 1번 내지 3번 치아들에 대해서는 관심 영역(ROI)의 평면 방향과 정면 방향에서 각각 오브젝트(OB1)가 형성될 수 있다. 또한, 관심 영역(ROI)의 좌측 방향에서 보이는 좌측 4번 내지 좌측 8번 치아들에 대해서는 관심 영역(ROI)의 좌측 방향과 정면 방향에서 각각 오브젝트(OB1)가 형성될 수 있다. 또한, 관심 영역(ROI)의 우측 방향에서 보이는 우측 4번 내지 우측 8번 치아들에 대해서는 관심 영역(ROI)의 우측 방향과 정면 방향에서 각각 오브젝트(OB1) 형성될 수 있다. 또한, 이와 같이 관심 영역(ROI)의 평면 방향에 대해서는 모든 치아들에 대한 오브젝트(OB1)가 형성될 수 있다.
평면 방향의 오브젝트(OB1)는 해당 치아의 평면 방향에서의 형상을 간략화한 형상이며, 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 평면 방향 외 방향에서의 형상을 간략화한 형상이다. 이에 따라, 평면 방향의 오브젝트(OB1)는 해당 치아의 평면에 대한 정보를 제공하는 매체로 작용할 수 있고, 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 일 측면(높이 등)에 대한 정보를 제공하는 매체로 작용할 수 있다.
예를 들어, 하악의 치아에 대한 평면 방향의 오브젝트(OB1)는 해당 치아의 상부면에 대한 정보를 제공하는 매체로 작용할 수 있으며, 하악의 치아에 대한 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 일 측면에 대한 정보를 제공하는 매체로 작용할 수 있다. 마찬가지로, 상악의 치아에 대한 평면 방향의 오브젝트(OB1)는 해당 치아의 하부면에 대한 정보를 제공하는 매체로 작용할 수 있으며, 상악의 치아에 대한 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 일 측면에 대한 정보를 제공하는 매체로 작용할 수 있다.
이후, S103에서, 제어부(150)는 S102에서 생성된 학습 모델을 이용하여 정합 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트(OB2)를 검출한다. 즉, 제어부(150)는 정합 대상 오랄 스캔 영상을 입력값으로 학습 모델에 입력시킬 수 있으며, 그 결과, 학습 모델은 해당 정합 대상 오랄 스캔 영상에 대한 오브젝트(OB2)를 그 결과값으로 출력할 수 있다.
도 7은 제1 내지 제4 검출 대상의 오랄 스캔 영상에서 오브젝트(OB2)가 검출된 모습을 나타내며, 도 8은 제5 검출 대상의 오랄 스캔 영상에서 3차원 오브젝트(OB3)가 검출된 다양한 방향에서의 모습을 나타낸다.
도 7을 참조하면, 학습 모델은 S102의 복수 방향에 대응하는 오브젝트(OB2)를 정합 대상 오랄 스캔 영상에서 출력(검출)할 수 있다.
즉, 정합 대상 오랄 스캔 영상의 정면 방향에서 보이는 1번 내지 3번 치아들에 대해서는 정합 대상 오랄 스캔 영상의 평면 방향과 정면 방향에서 각각 해당 오브젝트(OB2)가 검출될 수 있다. 또한, 정합 대상 오랄 스캔 영상의 좌측 방향에서 보이는 좌측 4번 내지 좌측 8번 치아들에 대해서는 정합 대상 오랄 스캔 영상의 좌측 방향과 정면 방향에서 각각 오브젝트(OB2)기 검출될 수 있다. 또한, 정합 대상 오랄 스캔 영상의 우측 방향에서 보이는 우측 4번 내지 우측 8번 치아들에 대해서는 정합 대상 오랄 스캔 영상의 우측 방향과 정면 방향에서 각각 오브젝트(OB1)가 검출될 수 있다. 또한, 이와 같이 관심 영역(ROI)의 평면 방향에 대해서는 모든 치아들에 대한 오브젝트(OB2)가 검출될 수 있다.
한편, S103에서, 제어부(150)는 검출된 각 치아에 대한 2개 이상 오브젝트(OB2)를 이용하여 3차원 오브젝트(OB3)를 생성(검출)할 수 있다. 즉, 제어부(150)는 검출된 각 치아에 대한 2개 이상 오브젝트(OB2)를 면으로 포함하는 3차원 형상을 생성하여, 해당 3차원 형상을 3차원 오브젝트(OB3)로 검출할 수 있다.
이때, 학습 모델이 생성하는 오브젝트(OB2)는 각 치아의 형상에 대응하도록 해당 방향에서 해당 치아의 형상을 간략화한 다양한 형상(해당 방향에서 해당 치아의 면적을 덮되 그 치아 형상 보다 단순한 형상), 즉 원형 또는 다각형 등의 형상일 수 있다. 또한, 3차원 오브젝트(OB3)는 각 치아의 3차원 형상에 대응하도록 해당 치아의 3차원 형상을 간략화한 다양한 3차원 형상(해당 치아의 부피를 덮되 그 치아 3차원 형상 보다 단순한 형상), 즉 원기둥, 타원기둥, 다각기둥, 원뿔대 또는 다각뿔대 등의 형상일 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 3차원 오브젝트(OB3)가 직육면체인 경우, 제어부(150)는 어떤 치아에 대한 2개의 오브젝트(OB2)들을 제1면과 제2면으로 가지되 해당 제1면 및 제2면과 수직 관계되는 가상의 면들을 나머지 면들로 가지는 직육면체를 생성함으로써 해당 치아에 대한 직육면체 형상의 3차원 오브젝트(OB3)를 검출할 수 있다.
즉, 평면 방향의 오브젝트(OB2)는 해당 치아의 평면 방향에서의 형상을 대표하며, 평면 방향 외 방향의 오브젝트(OB2)는 해당 치아의 평면 방향 외 방향에서의 형상을 대표한다. 이에 따라, 평면 방향의 오브젝트(OB2)는 해당 치아의 평면에 대한 정보를 제공하는 매체로 작용할 수 있고, 평면 방향 외 방향의 오브젝트(OB2)는 해당 치아의 일 측면(높이 등)에 대한 정보를 제공하는 매체로 작용할 수 있다.
그 결과, 제어부(150)는 평면 방향의 오브젝트(OB2)를 해당 치아의 상부면 또는 하부면으로 가지고 평면 방향 외 방향의 오브젝트(OB2)를 해당 치아의 일 츨측면으로 가지는 3차원 오브젝트(OB3)를 검출할 수 있다. 이때, 제어부(150)는 평면 방향의 오브젝트(OB2) 및 평면 방향 외 방향의 오브젝트(OB2)가 이루는 면을 제외한 나머지 면들을 가상의 면으로 추가할 수 있다. 즉, 제어부(150)는 평면 방향의 오브젝트(OB2)에 대해 수직한 가상의 면을 다른 일 측면으로 하나 이상 추가할 수 있고, 평면 방향의 오브젝트(OB2)에 평행 대응하는 가상의 면을 타 평면(해당 치아가 하악에 포함될 경우 하측면, 해당 치아가 상악에 포함될 경우 싱측면)으로 추가할 수 있다.
이후, S103에서, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)의 위치 정보(오랄 스캔 영상에서의 위치 좌표), 중심점 정보(오랄 스캔 영상에서의 중심점 좌표) 및 크기 정보를 추출할 수 있다. 이때, 오브젝트(OB2)의 위치 정보, 중심점 정보 및 크기 정보는 학습 모델이 입력값에 대한 결과값으로 오브젝트(OB2)와 함께 출력할 수 있다.
다만, 제어부(150)는 각 3차원 오브젝트(OB3)를 생성하기 위해 사용된 2개 이상의 관련 오브젝트(OB2)에 대한 위치 정보, 중심점 정보 및 크기 정보를 이용하여, 해당 3차원 오브젝트(OB3)의 위치 정보, 중심점 정보 및 크기 정보를 추출할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 3차원 오브젝트(OB3)가 직육면체인 경우, 제어부(150)는 직육면체의 제1면과 제2면을 구성하는 오브젝트(OB2)들의 위치 정보, 중심점 정보 및 크기 정보를 이용하여, 해당 3차원 오브젝트(OB3)의 위치 정보, 중심점 정보 및 크기 정보를 추출할 수 있다.
이후, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)를 정합 대상 오랄 스캔 영상에 표시할 수 있다. 즉, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)의 위치 정보, 중심점 정보 및 크기 정보를 이용하여, 정합 대상 오랄 스캔 영상에 각 오브젝트(OB2, OB3)를 표시할 수 있다. 다만, 각 치아에 대한 구분을 보다 명확하기 위해, 도 6에 도시된 바와 같이, 제어부(150)는 검출된 오브젝트(OB2, OB3)를 각 치아 별로 다른 색으로 정합 대상 오랄 스캔 영상에 표시할 수 있다.
이때, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)에 대한 위치 정보, 중심점 정보 및 크기 정보 중 적어도 어느 하나와, 검출된 각 오브젝트(OB2, OB3)를 정합 대상 오랄 스캔 영상에 함께 표시할 수 있다.
한편, 도 5 내지 도 8은 하악의 치아들에 대해서만 도시하였지만, 본 발명이 이에 한정되는 것은 아니며, 본 발명에 따른 오브젝트 검출 동작은 상악의 치아들에 대해서도 동일하게 적용될 수 있다.
도 9 및 도 10은 정합 대상의 오랄 스캔 영상과 CT 영상 간의 영상 정합 과정에 대한 모습을 나타낸다. 이때, 도 9 및 도 10에서, 점선의 직육면체는 각 영상에서의 최전방 치아(FT)와 최후방 치아(BT1, BT2)의 영역을 나타낸다. 즉, 도 9 및 도 10은 각 영상에서의 제1 기준점 및 제2 기준점이 서로 매칭되도록 영상 정합이 이루어지는 과정에 대한 모습을 나타낸다. 또한, 도 11은 정합 대상의 오랄 스캔 영상과 CT 영상 간의 영상 정합 후의 모습을 나타낸다.
이후, S104에서, 제어부(150)는 검출된 오브젝트(OB2, OB3) 중에 기준 오브젝트를 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성한다. 이때, 기준 오브젝트는 전치 영역(FA)의 최전방 1개 치아(FT)에 대한 오브젝트(이하, “최전방 오브젝트”라 지칭함)와, 구치 영역(BA)의 최후방 양측의 2개 치아(BT1, BT2)에 대한 오브젝트(이하, “최후방 오브젝트”라 지칭함)를 포함할 수 있다. 또한, 제어부(150)는 기준 오브젝트의 중심점(표면 또는 볼륨의 중심점)을 제1 기준점으로 선택할 수 있다.
본 발명은 구강 내부에 대한 오랄 스캔 영상에서 각 치아에 대응될 수 있는 오브젝트(OB2, OB3)를 간편하게 검출할 수 있어, 그 검출 시간 및 효율성을 향상시킬 수 있다.
또한, 본 발명은 검출된 각 오브젝트(OB2, OB3)의 위치, 중심점 및 크기 정보 등의 추출 정보를 제공할 수 있으며, 그 결과 추출 정보가 CT 영상과의 영상 정합을 위한 기준점에 활용될 수 있을 뿐 아니라, 추출 정보의 정확성이 높아 영상 정합의 정확성을 향상시킬 수 있다.
즉, 도 9 및 도 10을 참조하면, CT 영상과의 영상 정합 시, 신속하게 추출될 수 있는 다수의 오브젝트(OB2, OB3)에 대한 중심점 정보 등을 영상 정합의 제1 기준점으로 활용할 수 있는데, 이러한 제1 기준점에 대한 정보는 종래의 곡률 정보를 이용한 치아 검출 방식에 따른 정보 보다 정확하며, 그 결과, 도 11에 도시된 바와 같이, 이에 따른 영상 정합의 속도 및 정확성을 향상시킬 수 있다.
한편, S100에서, 제어부(150)는 학습 모델이 최전방 오브젝트 및 최후방 오브젝트를 그 출력값으로 출력하도록 제어할 수도 있다.
이 경우, S102에서, 제어부(150)는 추출된 관심 영역(ROI)의 복수 방향에서 일부 치아인 서로 이격된 n개의 치아(이하, “대상 치아”라 지칭함)(단, n은 3 이상의 자연수)에 대한 각 오브젝트(OB1)를 형성한 학습데이터로 머신 러닝 기법에 따라 학습시켜 학습 모델을 생성한다. 즉, 대상 치아는 최전방 치아(FT) 및 최후방 치아(BT)를 포함한다. 이에 따라, 학습 모델은 최전방 오브젝트 및 최후방 오브젝트에 해당하는 오브젝트(OB1)를 형성한 학습데이터를 이용해 학습된다 또한, S103에서, 제어부(150)는 S102에서 생성된 학습 모델을 이용하여 정합 대상의 오랄 스캔 영상에서 각 대상 치아의 복수 방향에 대한 오브젝트(OB2)를 검출한다. 또한, 이 오브젝트(OB2)를 이용해, 3차원 오브젝트(OB3)를 검출한다. 그 결과, S104에서, 제어부(150)는 검출된 오브젝트(OB2, OB3)를 기준 오브젝트로 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성한다. 이 외에는 상술한 S101 내지 S104의 내용과 동일하다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명에 따른 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치는 임플란트 시술 등 다양한 치과 치료 분야에 이용될 수 있다.

Claims (15)

  1. 학습 대상의 오랄 스캔 영상에서 치아가 포함된 관심 영역을 추출하는 단계;
    추출된 관심 영역의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시켜 학습 모델을 생성하는 단계; 및
    학습 모델을 이용하여 검출 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계;
    를 포함하는 오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  2. 제 1 항에 있어서,
    검출된 각 오브젝트의 위치, 중심점 및 크기 정보를 추출하는 단계
    를 더 포함하는 오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  3. 제 1 항에 있어서,
    검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 표시하는 표시 단계
    를 더 포함하는 오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  4. 제 1 항에 있어서,
    상기 학습데이터는
    각 치아에 대하여 서로 다른 2개 이상 방향(특정 방향)에서의 오브젝트를 포함하는
    오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  5. 제 4 항에 있어서,
    상기 특정 방향은
    평면 방향과 평면 방향 외 방향을 포함하는
    오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  6. 제 4 항에 있어서,
    검출된 각 치아에 대한 2개 이상 오브젝트를 면으로 포함하는 3차원 오브젝트를 형성하여 검출 대상의 오랄 스캔 영상에 표시하는 단계
    를 더 포함하는 오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  7. 제 6 항에 있어서,
    상기 3차원 오브젝트를 상기 오랄 스캔 영상에 표시하는 단계는
    검출된 각 오브젝트의 위치, 중심점 및 크기 정보 중 적어도 어느 하나와, 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 함께 표시하는 단계인
    오랄 스캔 영상에서의 치아 오브젝트 검출 방법.
  8. 정합 대상의 오랄 스캔 영상 및 컴퓨터단층촬영(Computed Tomography; CT) 영상에서 서로 이격된 복수의 기준점을 각각 생성하는 단계; 및
    오랄 스캔 영상의 기준점(제1 기준점)과 CT 영상의 기준점(제2 기준점)을 이용하여, 정합 대상의 오랄 스캔 영상과 CT 영상을 정합하는 단계를 포함하고,
    상기 제1 및 제2 기준점은 전치 영역의 최전방 1개 치아에 대한 기준점과, 구치 영역의 최후방 양측의 2개 치아에 대한 기준점을 포함하고,
    상기 제1 기준점은 치아의 간략화된 형상인 오브젝트로부터 도출되는
    치아 오브젝트를 이용한 영상 정합 방법.
  9. 제 8 항에 있어서,
    상기 기준점을 생성하는 단계는
    학습 대상의 오랄 스캔 영상의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시켜 학습 모델을 생성하는 단계;
    생성된 학습 모델을 이용하여 정합 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계; 및
    검출된 오브젝트 중에 기준 오브젝트를 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성하는 단계
    를 포함하는 치아 오브젝트를 이용한 영상 정합 방법.
  10. 제 8 항에 있어서,
    상기 기준점을 생성하는 단계는
    상기 모델 생성 단계는 학습 대상의 오랄 스캔 영상의 복수 방향에서 일부 치아인 서로 이격된 n개의 치아(대상 치아)(단, n은 3 이상의 자연수)에 대한 각 오브젝트를 형성한 학습데이터로 학습시킨 학습 모델을 생성하는 단계;
    생성된 학습 모델을 이용하여 정합 대상의 오랄 스캔 영상에서 각 대상 치아의 복수 방향에 대한 오브젝트를 검출하는 단계; 및
    검출된 오브젝트를 기준 오브젝트로 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성하는 단계
    를 포함하는 치아 오브젝트를 이용한 영상 정합 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 기준 오브젝트는
    전치 영역의 최전방 1개 치아에 대한 오브젝트와, 구치 영역의 최후방 양측의 2개 치아에 대한 오브젝트를 포함하는
    치아 오브젝트를 이용한 영상 정합 방법.
  12. 제 9 항 또는 제 10 항에 있어서,
    상기 기준점을 생성하는 단계는
    선택된 기준 오브젝트의 중심점을 제1 기준점으로 선택하는 단계를 더 포함하는 치아 오브젝트를 이용한 영상 정합 방법.
  13. 정합 대상의 오랄 스캔 영상 및 컴퓨터단층촬영(Computed Tomography; CT) 영상을 저장한 저장부; 및
    저장된 오랄 스캔 영상 및 CT 영상에서 서로 이격된 복수의 기준점을 각각 생성한 후, 오랄 스캔 영상의 기준점(제1 기준점)과 CT 영상의 기준점(제2 기준점)을 이용하여 정합 대상의 오랄 스캔 영상과 CT 영상을 정합하는 제어부를 포함하며,
    상기 제1 및 제2 기준점은 전치 영역의 최전방 1개 치아에 대한 기준점과, 구치 영역의 최후방 양측의 2개 치아에 대한 기준점을 포함하고,
    상기 제1 기준점은 치아의 간략화된 형상인 오브젝트로부터 도출되는
    영상 정합 장치.
  14. 제 13 항에 있어서,
    상기 제어부는,
    학습 대상의 오랄 스캔 영상 및 CT 영상의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시켜 생성된 학습 모델을 이용하여, 정합 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출한 후,
    검출된 오브젝트 중에 기준 오브젝트를 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성하는
    영상 정합 장치.
  15. 제 13 항에 있어서,
    상기 제어부는,
    학습 대상의 오랄 스캔 영상 및 CT 영상의 복수 방향에서 일부 치아인 서로 이격된 n개의 치아(대상 치아)(단, n은 3 이상의 자연수)에 대한 각 오브젝트를 형성한 학습데이터로 학습시켜 생성된 학습 모델을 이용하여, 정합 대상의 오랄 스캔 영상에서 각 대상 치아의 복수 방향에 대한 오브젝트를 검출한 후,
    검출된 오브젝트를 기준 오브젝트로 선택하여, 선택된 기준 오브젝트에서 제1 기준점을 생성하는
    영상 정합 장치.
PCT/KR2020/002756 2019-04-11 2020-02-26 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치 WO2020209496A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080027596.8A CN113645902A (zh) 2019-04-11 2020-02-26 牙齿目标检测方法及利用牙齿目标的影像整合方法及装置
US17/602,677 US11978203B2 (en) 2019-04-11 2020-02-26 Dental object detection method, and image matching method and device using dental object
EP20787897.6A EP3954297A4 (en) 2019-04-11 2020-02-26 METHOD AND DEVICE FOR DETECTING DENTAL OBJECTS AND METHOD AND DEVICE FOR IMAGE COMPLIANCE WITH A DENTAL OBJECT

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0042382 2019-04-11
KR10-2019-0042383 2019-04-11
KR1020190042382A KR102284623B1 (ko) 2019-04-11 2019-04-11 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
KR1020190042383A KR102322634B1 (ko) 2019-04-11 2019-04-11 치아 오브젝트를 이용한 영상 정합 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2020209496A1 true WO2020209496A1 (ko) 2020-10-15

Family

ID=72752079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/002756 WO2020209496A1 (ko) 2019-04-11 2020-02-26 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치

Country Status (5)

Country Link
US (1) US11978203B2 (ko)
EP (1) EP3954297A4 (ko)
CN (1) CN113645902A (ko)
TW (1) TWI744859B (ko)
WO (1) WO2020209496A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190105A1 (en) * 2021-03-11 2022-09-15 Mars Dental Ai Ltd. Enhancing dental video to ct model registration and augmented reality aided dental treatment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767347A (zh) * 2021-01-18 2021-05-07 上海商汤智能科技有限公司 一种图像配准方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060083422A1 (en) * 2004-01-27 2006-04-20 Ernst Maurice M Three-dimensional modeling of the oral cavity
KR20110138125A (ko) * 2010-06-18 2011-12-26 정제교 이종의 영상이미지를 정합하는 방법 및 두경부 영상 정합용 마커 트레이
KR20140015239A (ko) * 2010-06-29 2014-02-06 쓰리세이프 에이/에스 2ｄ 영상 장치
KR20160149301A (ko) * 2014-05-07 2016-12-27 얼라인 테크널러지, 인크. 구강내 스캔 중 관심 구역의 식별
KR20170127950A (ko) * 2016-05-13 2017-11-22 연세대학교 산학협력단 Ct 치아 영상의 자동 세그먼테이션 시스템 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116548B2 (en) 2008-06-04 2012-02-14 Siemens Aktiengesellschaft Method and system for detecting 3D anatomical structures using constrained marginal space learning
KR101594497B1 (ko) * 2014-11-14 2016-02-17 주식회사 디오 수직고경 교합표식을 이용한 치아 임플란트 시술을 위한 서지컬 가이드 및 크라운, 어버트먼트 제조방법
KR101550369B1 (ko) * 2014-12-05 2015-09-08 주식회사 디오 치아 임플란트 시술을 위한 서지컬 가이드 및 크라운, 어버트먼트 제조방법
JP6262179B2 (ja) * 2014-12-05 2018-01-17 ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ デンタルインプラント施術のための手術ガイドおよび植立物の製造方法
CN107257992B (zh) 2015-03-09 2021-02-02 锐珂牙科技术顶阔有限公司 用于牙科3d扫描仪的纹理映射的设备和方法
US10032271B2 (en) 2015-12-10 2018-07-24 3M Innovative Properties Company Method for automatic tooth type recognition from 3D scans
KR101893983B1 (ko) * 2017-03-06 2018-08-31 주식회사 디오 레퍼런스 마커에 기반하여 설계 이미지를 생성하는 이미지 처리장치 및 그 방법
EP3449862B1 (en) * 2016-04-28 2021-04-28 DIO Corporation Image processing device for generating design image on basis of reference marker, and method therefor
KR101840444B1 (ko) * 2016-05-04 2018-03-20 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법
KR101878467B1 (ko) 2016-11-01 2018-07-13 한국과학기술연구원 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램
US10888399B2 (en) * 2016-12-16 2021-01-12 Align Technology, Inc. Augmented reality enhancements for dental practitioners
JP2018120283A (ja) * 2017-01-23 2018-08-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101901646B1 (ko) 2017-03-07 2018-10-01 주식회사 메가젠임플란트 3차원 하이브리드 영상 구축 프로그램을 이용한 악교정 시스템
KR101906991B1 (ko) * 2017-03-20 2018-10-12 오스템임플란트 주식회사 치아 영상 정합 방법 및 장치
KR101913586B1 (ko) 2017-05-24 2018-11-01 오스템임플란트 주식회사 치아 영상 정합 방법, 이를 위한 장치, 및 이를 기록한 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060083422A1 (en) * 2004-01-27 2006-04-20 Ernst Maurice M Three-dimensional modeling of the oral cavity
KR20110138125A (ko) * 2010-06-18 2011-12-26 정제교 이종의 영상이미지를 정합하는 방법 및 두경부 영상 정합용 마커 트레이
KR20140015239A (ko) * 2010-06-29 2014-02-06 쓰리세이프 에이/에스 2ｄ 영상 장치
KR20160149301A (ko) * 2014-05-07 2016-12-27 얼라인 테크널러지, 인크. 구강내 스캔 중 관심 구역의 식별
KR20170127950A (ko) * 2016-05-13 2017-11-22 연세대학교 산학협력단 Ct 치아 영상의 자동 세그먼테이션 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3954297A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190105A1 (en) * 2021-03-11 2022-09-15 Mars Dental Ai Ltd. Enhancing dental video to ct model registration and augmented reality aided dental treatment

Also Published As

Publication number Publication date
EP3954297A4 (en) 2023-04-12
US11978203B2 (en) 2024-05-07
EP3954297A1 (en) 2022-02-16
TWI744859B (zh) 2021-11-01
TW202038253A (zh) 2020-10-16
CN113645902A (zh) 2021-11-12
US20220164954A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
WO2020184876A1 (ko) 인공지능을 이용한 임플란트 수술 계획 수립 방법 및 이를 위한 의료영상 처리장치
WO2014073818A1 (ko) 임플란트 영상 생성방법 및 임플란트 영상 생성 시스템
WO2019164093A1 (ko) Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
WO2021157966A1 (ko) 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2020184875A1 (ko) 파노라믹 영상을 이용한 치아번호 선택방법 및 이를 위한 의료영상 처리장치
WO2021006471A1 (ko) 임플란트 구조물 자동 식립을 통한 임플란트 수술 계획 수립 방법, 이를 위한 사용자 인터페이스 제공 방법 및 그 치아영상 처리장치
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
WO2021006472A1 (ko) 임플란트 시술 계획 수립을 위한 다중 골밀도 표시방법 및 그 영상 처리장치
WO2018066763A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
KR20200120035A (ko) 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
KR20200120036A (ko) 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2021141424A1 (ko) 이미지 필터링 방법
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2020218734A1 (ko) 보철물 설계 시 언더컷 영역 표시방법 및 이를 수행하는 보철 캐드 장치
WO2020209495A1 (ko) 영상 데이터의 전처리 장치
WO2021246643A1 (ko) 구강 영상의 결손 치아 예측 방법 및 장치
WO2021215843A1 (ko) 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법
WO2020235784A1 (ko) 신경 검출 방법 및 장치
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법
WO2023286994A1 (ko) 치과 치료 데이터 정합 방법 및 이를 위한 디지털 덴티스트리 장치
WO2022098039A1 (ko) 데이터 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20787897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020787897

Country of ref document: EP

Effective date: 20211111