KR102234425B1 - Method and apparatus for matching medical images - Google Patents
Method and apparatus for matching medical images Download PDFInfo
- Publication number
- KR102234425B1 KR102234425B1 KR1020190018711A KR20190018711A KR102234425B1 KR 102234425 B1 KR102234425 B1 KR 102234425B1 KR 1020190018711 A KR1020190018711 A KR 1020190018711A KR 20190018711 A KR20190018711 A KR 20190018711A KR 102234425 B1 KR102234425 B1 KR 102234425B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- image
- feature point
- directions
- input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000003550 marker Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 description 65
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 13
- 239000007943 implant Substances 0.000 description 13
- 239000004053 dental implant Substances 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 3
- 238000005553 drilling Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
- A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
의료영상 정합 방법 및 그 장치가 개시된다. 일 실시 예에 따른 의료영상 정합 방법은, 정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계와, 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계와, 소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 표시하는 단계를 포함한다.Disclosed are a medical image matching method and apparatus therefor. A medical image registration method according to an embodiment includes the steps of acquiring and displaying first image data and second image data to be matched, and in a plurality of directions with respect to two image data to match the displayed two image data. Including the step of selecting and inputting feature points, which are the criteria for matching, respectively, and automatically switching and displaying the directions of the two image data without user manipulation for inputting the next feature point when the feature point input of the two image data is completed in a predetermined direction. do.
Description
본 발명은 치과 임플란트 수술용 가이드 디자인 기술을 포함한 3D 의료영상 처리 기술에 관한 것이다.The present invention relates to a 3D medical image processing technology including a guide design technology for dental implant surgery.
컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 서로 다른 좌표계에 따른 영상이 얻어지게 된다. 영상 정합은 이와 같은 서로 다른 두 개 이상의 영상을 동일한 좌표계에 표시하기 위한 과정을 의미한다. 영상 정합을 통하여 서로 다른 방식으로 획득한 영상의 대응 관계를 확인할 수 있다.In computer vision, when one scene or object is photographed from a different time or point of view, images according to different coordinate systems are obtained. Image matching refers to a process for displaying two or more different images in the same coordinate system. Through image matching, it is possible to check the correspondence between images acquired in different ways.
치과 임플란트 수술용 가이드 디자인의 경우, 일반적으로 환자의 CT(또는 CBCT) 데이터와 구강 모델 데이터를 이용하여 임플란트 구조물의 식립 계획을 수립하고, 수립된 계획에 맞추어 가이드 형상 및 드릴링 홀의 위치를 결정한다. 환자의 CT 데이터는 해부학적 구조물을 고려하여 임플란트 구조물의 위치를 결정하는 용도로 활용된다. 또한, 구강 모델 데이터 상에 픽스쳐를 포함한 임플란트 구조물의 위치를 기준으로 드릴링 홀이 포함된 가이드 형상을 결정하여 최종 임플란트 수술용 가이드를 디자인한다.In the case of a guide design for dental implant surgery, generally, a plan for placement of an implant structure is established using patient CT (or CBCT) data and oral model data, and the guide shape and the location of the drilling hole are determined according to the established plan. The patient's CT data is used to determine the position of the implant structure in consideration of the anatomical structure. In addition, the guide shape including the drilling hole is determined based on the position of the implant structure including the fixture on the oral model data to design the final implant surgery guide.
픽스쳐를 포함한 임플란트 구조물의 위치에 맞추어 드릴링 홀을 생성하기 위해서 CT 데이터와 구강 모델 데이터의 좌표 축과 위치를 일치시키는 정합 과정이 요구된다. 이때, 사용자가 두 영상 데이터에서 정합을 위한 특징점을 선택하면, 선택된 특징점을 기준으로 두 영상 데이터의 위치를 일치시킨다. 가이드 디자인 프로그램에서는 특징점을 선택하기 위해 사용자가 수동으로 각 데이터 영상을 회전하여 소정의 방향으로 두 영상 데이터를 정렬한 후, 사용자가 정합 특징점을 선택하는 방식으로 정합 과정을 진행하고 있다.In order to create a drilling hole according to the position of the implant structure including the fixture, a registration process is required to match the coordinate axis and the position of the CT data and the oral model data. At this time, when the user selects a feature point for matching from the two image data, the positions of the two image data are matched based on the selected feature point. In the guide design program, in order to select a feature point, a user manually rotates each data image, aligns two image data in a predetermined direction, and then performs a registration process in such a way that the user selects a matching feature point.
이와 같은 프로세스에 의하면, 사용자가 원하는 방향으로 영상 데이터를 회전시키기까지 다수의 드래그(Drag) 동작이나 클릭 동작이 필요하기 때문에 시간이 많이 소요되고, 조작수단을 핸들링하는 것에 서투른 사용자는 의도치 않은 방향으로 영상 데이터가 회전이 되어 많은 시행착오를 거쳐야 하는 문제점이 존재하였다. 뿐만 아니라, 정합 수행시마다 사용자가 영상 데이터를 돌려가며 적절한 포인트를 찾는 조작 동작이 반복되어야 하기 때문에 매우 비효율적이다. 전술된 바와 같은 종래 기술의 문제점으로 인하여 영상 정합에 많은 시간이 소요되고 번거로움이 수반되었으며, 이는 곧 전반적인 디지털 설계 프로세스를 지연시키고 효율성을 저하시키는 요인으로 작용하였다.According to such a process, it takes a lot of time because a number of drag or click actions are required to rotate the image data in the direction the user desires, and the user who is not good at handling the manipulation means is unintended. As the image data is rotated, there is a problem that requires a lot of trial and error. In addition, it is very inefficient because the user needs to repeat the operation of finding an appropriate point while returning the image data every time the registration is performed. Due to the problems of the prior art as described above, it takes a lot of time and hassle for image matching, which soon acts as a factor that delays the overall digital design process and lowers the efficiency.
일 실시 예에 따라, 사용자가 특징점 입력을 위해 영상 데이터를 직접 회전하지 않아도 되어 사용자의 영상 회전에 대한 수동 조작을 최소화할 수 있어 정합 작업의 효율성을 높일 수 있는 의료영상 정합 방법 및 그 장치를 제안한다.According to an embodiment, a medical image registration method and apparatus thereof are proposed that can increase the efficiency of the registration operation by minimizing manual manipulation of the user's image rotation because the user does not have to directly rotate the image data to input the feature points. do.
일 실시 예에 따른 의료영상 정합 방법은, 정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계와, 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계와, 소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 표시하는 단계를 포함한다.A medical image registration method according to an embodiment includes the steps of acquiring and displaying first image data and second image data to be matched, and in a plurality of directions with respect to two image data in order to match the displayed two image data. Including the step of selecting and inputting feature points, which are the criteria for matching, respectively, and automatically switching and displaying the directions of the two image data without user manipulation for inputting the next feature point when the feature point input of the two image data is completed in a predetermined direction. do.
방향을 자동으로 전환하여 표시하는 단계에서, 방향 정보를 알고 있는 제1 영상 데이터의 방향 정보를 이용하여 제1 영상 데이터의 방향을 회전시키고, 회전된 제1 영상 데이터와 동일한 방향으로 제2 영상 데이터를 회전시킴으로써, 두 개의 영상 데이터를 동일한 방향으로 회전시킬 수 있다.In the step of automatically switching and displaying the direction, the direction of the first image data is rotated using the direction information of the first image data, and the second image data is rotated in the same direction as the first image data. By rotating, two image data can be rotated in the same direction.
의료영상 정합 방법은, 최초 표시되는 두 영상 데이터의 방향이 상이한 경우, 사용자에 의해 수동으로 제2 영상 데이터의 방향을 제1 영상 데이터의 방향과 동일한 방향으로 회전시켜 방향을 정렬하는 단계를 더 포함할 수 있다.The medical image registration method further includes the step of aligning the direction by manually rotating the direction of the second image data in the same direction as the direction of the first image data by a user when the directions of the two initially displayed image data are different. can do.
의료영상 정합 방법은, 영상 자동 회전에 따른 특징점 입력이 완료된 후, 각 방향에서 입력된 특징점들을 기준으로 두 영상 데이터의 위치를 일치시켜 정합하고 정합 결과를 표시하는 단계를 더 포함할 수 있다. 정합 결과를 표시하는 단계는, 영상 자동 회전에 따른 특징점 입력이 완료된 후, 사용자 조작 없이 두 영상 데이터를 초기 방향으로 자동 회전시키는 단계와, 정합 결과를 초기 방향으로 자동 회전된 두 영상 데이터에 표시하는 단계를 포함할 수 있다.The medical image registration method may further include the step of matching the positions of the two image data based on the feature points input in each direction after completing the input of the feature points according to the automatic rotation of the image, and displaying the matching result. Displaying the matching result includes automatically rotating the two image data in the initial direction without user manipulation after input of the feature point according to the automatic rotation of the image is completed, and displaying the matching result on the two image data automatically rotated in the initial direction. It may include steps.
다수의 방향은 좌측, 정면 및 우측 방향을 의미하며, 자동 방향 전환 순서는 미리 설정될 수 있다. 각 영상 데이터 별로 다수의 방향에서 특징점을 입력하게 되면, 총 3개의 특징점이 삼각형 형태를 형성하게 된다.The plurality of directions means left, front, and right directions, and the order of automatic direction switching may be set in advance. When a feature point is input from multiple directions for each image data, a total of three feature points form a triangular shape.
방향을 자동으로 전환하여 표시하는 단계에서, 두 영상 데이터에 특징점 선택 입력 이후, 영상 회전 그룹핑 모드가 활성화되면 두 영상 데이터를 동일한 방향으로 함께 회전시킬 수 있고, 영상 회전 그룹핑 모드가 비활성화되면 두 영상 데이터를 개별 회전시킬 수 있다.In the step of automatically switching and displaying the direction, after the feature point selection input to the two image data, if the image rotation grouping mode is activated, the two image data can be rotated together in the same direction, and if the image rotation grouping mode is deactivated, the two image data Can be rotated individually.
의료영상 정합 방법은, 자동 회전된 두 영상 데이터 중 임의의 영상 데이터를 대상으로 특징점 입력을 위해 사용자에 의해 방향을 수동으로 추가 회전하는 단계와, 수동으로 추가 회전된 이후 사용자에 의한 특징점 선택 입력이 완료되면 다음 순서의 특징점 선택 입력을 위해 다음 순서의 방향으로 두 영상 데이터의 방향을 자동으로 회전시켜 두 영상 데이터의 방향을 일치시키는 단계를 더 포함할 수 있다.In the medical image matching method, a user manually rotates a direction for inputting a feature point for an arbitrary image data of two automatically rotated image data, and a feature point selection input by the user after the manually rotated additional image data is performed. Upon completion, the step of matching the directions of the two image data by automatically rotating the directions of the two image data in the direction of the next sequence for input of selecting a feature point in the next sequence may be further included.
의료영상 정합 방법은, 두 영상 데이터의 각 방향에서의 특징점 입력 완료 여부를 하나의 화면을 통해 시각적으로 구분할 수 있는 표식자 정보를 제공하는 단계와, 정합 완료 또는 정합 과정에서 사용자가 수정하고자 하는 표식자를 선택 입력받는 단계와, 표식자를 선택 입력받은 후 수정하고자 하는 특징점을 가진 영상 데이터 화면으로 이동 및 영상 데이터를 표시하는 단계를 더 포함할 수 있다. 의료영상 정합 방법은, 특징점 수정이 완료되고 재정합 모드가 활성화되면 초기 방향으로 두 영상 데이터의 방향을 자동 회전시켜 새로운 정합 결과를 표시하는 단계를 더 포함할 수 있다.In the medical image registration method, the step of providing marker information that can visually distinguish whether or not the feature point input in each direction of two image data is completed through a single screen, and the marker that the user wants to modify during the registration completion or registration process is performed. The step of receiving a selection input, and after receiving a selection input of a marker, moving to an image data screen having a feature point to be corrected and displaying the image data may be further included. The medical image registration method may further include displaying a new registration result by automatically rotating the directions of the two image data in the initial direction when the feature point correction is completed and the re-alignment mode is activated.
다른 실시 예에 따른 의료영상 처리장치는, 정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하는 데이터 획득부와, 두 영상 데이터 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시하는 출력부와, 사용자 조작신호를 입력받되, 화면에 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 입력부와, 선택 입력받은 특징점을 출력부에 표시하도록 제어하는 특징점 선택부와, 소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부를 제어하는 자동 방향 제어부를 포함한다.A medical image processing apparatus according to another embodiment includes a data acquisition unit that acquires first image data and second image data to be matched, and view images corresponding to different directions for each of the two image data on a divided screen. An output unit to display and a user manipulation signal are input, but an input unit that selects and receives feature points as a reference for matching from a plurality of directions for two image data in order to match the two image data displayed on the screen, and an input unit that receives a selection input. A feature point selection unit that controls the display of the feature points on the output unit, and an automatic output unit that automatically switches the directions of the two image data when the input of the feature points of two image data is completed in a predetermined direction without user manipulation for inputting the next feature point. It includes a direction control unit.
자동 방향 제어부는 방향 정보를 알고 있는 제1 영상 데이터의 방향 정보를 이용하여 제1 영상 데이터의 방향을 회전시키고, 회전된 제1 영상 데이터와 동일한 방향으로 제2 영상 데이터를 회전시킴으로써, 두 개의 영상 데이터를 동일한 방향으로 회전시킬 수 있다.The automatic direction control unit rotates the direction of the first image data using the direction information of the first image data, which knows the direction information, and rotates the second image data in the same direction as the rotated first image data. Data can be rotated in the same direction.
의료영상 처리장치는, 최초 표시되는 두 영상 데이터의 방향이 상이한 경우, 사용자에 의해 수동으로 제2 영상 데이터의 방향을 제1 영상 데이터의 방향과 동일한 방향으로 회전시켜 방향을 정렬하고, 자동 회전된 두 영상 데이터 중 임의의 영상 데이터를 대상으로 특징점 입력을 위해 사용자에 의해 방향을 수동으로 추가 회전하는 수동 방향 제어부를 더 포함할 수 있다.When the directions of the two image data initially displayed are different, the medical image processing apparatus aligns the direction by manually rotating the direction of the second image data in the same direction as the direction of the first image data, and automatically rotates the image data. It may further include a manual direction controller for manually additionally rotating a direction by a user in order to input a feature point for arbitrary image data among the two image data.
자동 방향 제어부는, 수동 방향 제어부에 의해 수동 방향 전환된 이후 사용자에 의한 특징점 선택 입력이 완료되면 다음 순서의 특징점 선택 입력을 위해 다음 순서의 방향으로 두 영상 데이터가 자동으로 회전된다.The automatic direction control unit automatically rotates the two image data in the next direction for inputting the selection of the feature points in the next sequence when the user completes the selection of the feature points after the manual direction is switched by the manual direction control unit.
의료영상 처리장치는, 영상 자동 회전에 따른 특징점 입력이 완료된 후, 각 방향에서 입력된 특징점들을 기준으로 두 영상 데이터의 위치를 일치시켜 정합하고 정합 결과를 두 영상 데이터에 표시하도록 출력부를 제어하는 영상 정합부를 더 포함할 수 있다.The medical image processing apparatus is an image that controls the output unit to match and match the position of two image data based on the feature points input in each direction, and display the matching result on the two image data after the input of the feature points according to the automatic rotation of the image is completed. It may further include a matching portion.
자동 방향 제어부는, 영상 자동 회전에 따른 특징점 입력이 완료된 후, 사용자 조작 없이 두 영상 데이터를 초기 방향으로 자동 회전시키고, 영상 정합부는 정합 결과를 초기 방향으로 자동 회전된 두 영상 데이터에 표시하도록 제어할 수 있다.The automatic direction control unit automatically rotates the two image data in the initial direction without user manipulation after input of the feature point according to the automatic image rotation is completed, and the image matching unit controls to display the matching result on the two image data automatically rotated in the initial direction. I can.
다수의 방향은 좌측, 정면 및 우측 방향을 의미하며, 자동 방향 전환 순서는 미리 설정될 수 있다. 각 영상 데이터 별로 다수의 방향에서 특징점을 입력하게 되면, 총 3개의 특징점이 삼각형 형태를 형성하게 된다.The plurality of directions means left, front, and right directions, and the order of automatic direction switching may be set in advance. When a feature point is input from multiple directions for each image data, a total of three feature points form a triangular shape.
의료영상 처리장치는, 사용자 조작에 따라 영상 회전 그룹핑 모드를 활성화 또는 비활성화하는 그룹핑 모드 설정부를 더 포함하며, 자동 방향 제어부는 그룹핑 모드가 활성화되면 두 영상 데이터를 동일한 방향으로 함께 회전시킬 수 있고, 영상 회전 그룹핑 모드가 비활성화되면 두 영상 데이터를 개별 회전시킬 수 있다.The medical image processing apparatus further includes a grouping mode setting unit that activates or deactivates an image rotation grouping mode according to a user manipulation, and the automatic direction control unit can rotate two image data together in the same direction when the grouping mode is activated. When the rotation grouping mode is deactivated, two image data can be individually rotated.
의료영상 처리장치는, 두 영상 데이터의 각 방향에서의 특징점 입력 완료 여부를 하나의 화면을 통해 시각적으로 구분할 수 있는 표식자 정보를 생성하여 출력부에 제공하는 표식자 제어부를 더 포함하며, 자동 방향 제어부는 정합 완료 또는 정합 과정에서 사용자가 수정하고자 하는 표식자를 입력부를 통해 선택 입력받은 후, 수정하고자 하는 특징점을 가진 영상 데이터 화면으로 이동 및 영상 데이터를 표시하도록 제어할 수 있다. 의료영상 처리장치는, 특징점 수정이 완료된 두 영상 데이터를 재정합하되, 초기 방향으로 두 영상 데이터의 방향을 자동 회전시켜 새로운 정합 결과를 표시하도록 출력부를 제어하는 영상 재정합부를 더 포함할 수 있다.The medical image processing apparatus further includes a marker control unit that generates marker information for visually distinguishing whether or not the feature point input in each direction of the two image data is completed in each direction through one screen and provides to the output unit, the automatic direction control unit In the completion of registration or in the registration process, after a user selects and receives a marker to be corrected through an input unit, the user may control to move to an image data screen having a feature point to be corrected and to display the image data. The medical image processing apparatus may further include an image realignment unit that rearranges the two image data for which feature point correction has been completed, and controls the output unit to display a new matching result by automatically rotating the direction of the two image data in an initial direction.
일 실시 예에 따른 의료영상 정합 방법 및 그 장치에 따르면, 영상 정합 시에 사용자에 의한 영상 데이터 수동 조작을 최소화함으로써 사용자의 편의성을 증대시킬 수 있다. 치과 임플란트 수술용 가이드 디자인의 경우, 임플란트 계획의 효율성을 높일 수 있다.According to the method and apparatus for matching a medical image according to an exemplary embodiment, it is possible to increase user convenience by minimizing manual manipulation of image data by a user during image registration. In the case of a guide design for dental implant surgery, the efficiency of implant planning can be improved.
도 1은 본 발명의 일 실시 예에 따른 의료영상 처리장치의 구성을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 도 1의 제어부의 세부 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 최초 획득된 영상 데이터 화면을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 영상 회전 그룹핑 모드 활성화에 의해 CT 데이터 및 구강 모델 데이터가 동시에 회전하는 모습을 보여주는 도면,
도 5는 본 발명의 일 실시 예에 따른 획득된 CT 데이터 및 구강 모델 데이터의 방향이 상이한 경우 방향을 정렬시킨 영상 데이터 화면을 보여주는 도면,
도 6은 본 발명의 일 실시 예에 따른 첫 번째 특징점 선택 및 이에 따른 표식자 정보를 통해 특징점 선택 완료가 표시하는 영상 데이터 화면을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 두 번째 특징점 선택을 위해 방향이 회전되는 영상 데이터 화면을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 세 번째 특징점 선택을 위해 방향이 회전되는 영상 데이터 화면을 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 정합 완료 후 초기 방향으로 전환된 영상 데이터 화면을 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 특징점 수정을 위해 표식자 선택을 통해 화면을 이동하는 모습을 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 영상 정합 방법을 도시한 도면이다.1 is a diagram showing the configuration of a medical image processing apparatus according to an embodiment of the present invention;
2 is a diagram showing a detailed configuration of the control unit of FIG. 1 according to an embodiment of the present invention;
3 is a diagram illustrating an image data screen initially acquired according to an embodiment of the present invention;
4 is a view showing a state in which CT data and oral model data are simultaneously rotated by activating an image rotation grouping mode according to an embodiment of the present invention;
5 is a view showing an image data screen in which directions are aligned when directions of acquired CT data and oral model data are different according to an embodiment of the present invention;
6 is a diagram illustrating an image data screen displayed by selecting a first feature point and completing the feature point selection through marker information according to the first feature point selection according to an embodiment of the present invention;
7 is a diagram illustrating an image data screen in which a direction is rotated to select a second feature point according to an embodiment of the present invention;
8 is a diagram illustrating an image data screen in which a direction is rotated to select a third feature point according to an embodiment of the present invention;
9 is a diagram illustrating an image data screen converted to an initial direction after registration is completed according to an embodiment of the present invention;
FIG. 10 is a diagram illustrating a screen movement through selection of a marker in order to correct a feature point according to an embodiment of the present invention; FIG.
11 is a diagram illustrating an image matching method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and the general knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to the possessor, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same elements throughout the specification.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted, and terms to be described later are in the embodiment of the present invention. These terms are defined in consideration of the functions of the user and may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present specification.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.Combinations of each block of the attached block diagram and each step of the flowchart may be executed by computer program instructions (execution engines), and these computer program instructions may be performed on a processor of a general-purpose computer, special purpose computer, or other programmable data processing device. As can be mounted, the instructions executed by the processor of a computer or other programmable data processing device generate means for performing the functions described in each block of the block diagram or each step of the flowchart.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.These computer program instructions may also be stored in a computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing device to implement a function in a particular manner, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block of the block diagram or each step of the flowchart.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, since computer program instructions can be mounted on a computer or other programmable data processing device, a series of operation steps are performed on a computer or other programmable data processing device to create a computer-executable process. It is also possible that the instructions for performing the data processing apparatus provide steps for executing the functions described in each block in the block diagram and in each step in the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code containing one or more executable instructions for executing specified logical functions, and in some alternative embodiments mentioned in the blocks or steps. It should be noted that it is also possible for functions to occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, and the blocks or steps may be performed in the reverse order of a corresponding function as necessary.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the embodiments of the present invention exemplified below may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiments of the present invention are provided to more completely describe the present invention to those of ordinary skill in the art to which the present invention pertains.
도 1은 본 발명의 일 실시 예에 따른 의료영상 처리장치의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a medical image processing apparatus according to an embodiment of the present invention.
의료영상 처리장치(1)는 치과 임플란트 수술용 가이드 디자인 프로그램과 같은 의료영상 처리 프로그램을 실행 가능한 전자장치이다. 전자장치는 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) PC, 스마트폰, 휴대폰, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등이 있다. 의료영상 처리 프로그램은 가이드 디자인 프로그램 이외에, 스캔 프로그램, CAD 프로그램 등이 있다. 또한, 치과 임플란트 수술용 이외에 다른 일반적인 의료 영상 처리를 위한 프로그램에 적용될 수 있다.The medical
가이드 디자인 프로그램을 포함한 의료영상 처리 프로그램을 이용한 영상처리 과정은 수술 환자 등록, 등록된 환자의 CT 데이터 및 구강 모델 데이터 획득, CT 데이터 및 구강 모델 데이터의 정합, 정합된 영상 데이터에서 악궁 라인 생성 및 악궁 라인을 이용한 파노라믹 영상(panoramic image) 생성, 파노라믹 영상에서 크라운 모델 위치 및 크기 결정, 픽스쳐를 포함한 임플란트 구조물 위치 결정, 가이드 형상 디자인, 최종 가이드 출력을 포함한 과정으로 구성된다. 본 발명은 위 과정 중에서 CT 데이터와 구강 모델 데이터 정합 과정에 관한 기술에 관한 것으로, 정합하고자 하는 영상 데이터의 방향을 사용자에게 자동으로 제공하도록 구성된다. 본 발명에서는 CT 데이터와 구강 모델 데이터의 정합 과정을 예로 들어 설명하고 있으나, 두 영상 데이터를 정합하는 기술에 동일하게 적용 가능하다. 예를 들어, 모델 데이터 - 모델 데이터, 자기공명영상(MRI) 데이터 - CT 데이터 등과 같이 2차원-2차원 영상, 2차원-3차원 영상, 3차원-3차원 영상의 다양한 조합에 대해서도 본 발명에 따른 영상 정합 방법에 의해서 정합이 이루어질 수 있음은 물론이다.The image processing process using a medical image processing program including a guide design program includes registration of surgical patients, acquisition of CT data and oral model data of the registered patient, registration of CT data and oral model data, and generation of arch lines and arches from the matched image data. It consists of a process including creating a panoramic image using lines, determining the position and size of the crown model in the panoramic image, determining the position of the implant structure including fixtures, designing the guide shape, and outputting the final guide. The present invention relates to a process of matching CT data and oral model data among the above processes, and is configured to automatically provide a direction of image data to be matched to a user. In the present invention, the process of matching CT data and oral model data has been described as an example, but it is equally applicable to a technique for matching two image data. For example, various combinations of 2D-2D images, 2D-3D images, 3D-3D images, such as model data-model data, magnetic resonance image (MRI) data-CT data, etc. It goes without saying that registration can be achieved by the image matching method according to the following.
도 1을 참조하면, 일 실시 예에 따른 의료영상 처리장치(1)는 데이터 획득부(10), 저장부(12), 제어부(14), 입력부(16) 및 출력부(18)를 포함한다.Referring to FIG. 1, a medical
데이터 획득부(10)는 정합 대상이 되는 영상 데이터를 획득한다. 예를 들어, 환자의 손상된 대상 치아를 포함하는 치아들로부터 CT 데이터와 구강 모델 데이터를 획득한다. 영상 데이터는 3차원 형태일 수 있다. 데이터 획득부(10)는 임플란트 구조물의 위치를 결정하기 위한 준비 단계 중에서 촬영된 환자의 CT 데이터와 구강 모델 데이터를 정합하기 위해, CT 데이터와 구강 모델 데이터를 프로그램에서 실행하거나 웹 페이지 및 서버에 저장된 데이터를 로딩한다.The
구강 모델 데이터는 손상된 치아를 포함한 실제 치아들의 정보를 가진 데이터이다. 구강 모델 데이터는 환자의 구강을 본떠 생성한 석고 모형을 3D 스캐너(3D Scanner)로 스캐닝하여 획득될 수 있다. 다른 예로서, 구강 내 3D 스캐너(3D Intra-oral scanner)를 이용하여 환자의 구강 내부를 스캐닝하여 획득될 수 있다. 획득된 구강 모델 데이터는 저장부(12)에 저장될 수 있다.The oral model data is data with information on actual teeth including damaged teeth. The oral model data may be obtained by scanning a plaster model created after a patient's oral cavity with a 3D scanner. As another example, it may be obtained by scanning the inside of the patient's oral cavity using a 3D intra-oral scanner. The obtained oral model data may be stored in the
CT 데이터는 CT(computed tomography, 컴퓨터 단층 촬영)를 사용하여 환자의 두부 단층 이미지들을 생성하고, 각각의 단층 이미지에서 치아 부분의 경계를 구분(Segmentation)한 후 하나로 취합함에 따라 획득될 수 있다. 이러한 구강 모델 데이터와 CT 데이터는 환자가 입을 벌린 상태에서 상악 치아 아래에서 상악 치아를 촬영하여 얻은 영상, 입을 벌린 상태에서 하악 치아 위에서 하악 치아를 촬영하여 얻은 영상, 입을 다문 상태에서 국소부위를 촬영하여 얻은 영상, 구강 방사선 사진 등을 포함한다. 획득된 CT 데이터는 저장부(12)에 저장될 수 있다.CT data can be obtained by generating a patient's head tomography images using computed tomography (CT), segmenting the boundary of the tooth from each tomography image, and then combining them into one. These oral model data and CT data are images obtained by photographing the maxillary teeth under the maxillary teeth with the patient's mouth open, the image obtained by photographing the mandibular teeth above the mandibular teeth with the mouth open, and the local area with the mouth closed. Includes images obtained, oral radiographs, etc. The acquired CT data may be stored in the
저장부(12)에는 치과용 임플란트 시술 계획 장치(3)의 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보 등의 각종 데이터가 저장된다. 일 실시 예에 따른 저장부(12)에는 개별 환자의 구강 모델 데이터와 CT 데이터가 저장되고, 치과 치료 시뮬레이션 시 전체 구강 모델 데이터들 및 CT 데이터들 중에서 특정 환자의 구강 모델 데이터 및 CT 데이터를 사용자 요청에 따라 제어부(14)에 제공할 수 있다. 이때, 저장부(12)에는 개별 환자의 상측 치열의 영상 및 하측 치열의 영상이 저장되어 있고, 특정 환자의 구강 모델 데이터 및 CT 데이터에 매칭되는 상측 치열의 영상 및 하측 치열의 영상을 사용자 요청에 따라 제어부(14)에 제공할 수 있다.The
제어부(14)는 컴퓨터 프로그램에 의한 제어를 통하여 임플란트 식립 계획을 수립하면서 각 구성요소를 제어한다. 제어부(14)는 출력부(18)를 통해 화면에 보이는 화면정보를 관리하고, 치과 영상에 가상의 픽스쳐 객체를 식립하는 시뮬레이션을 수행한다. 가상의 픽스쳐 객체가 식립되는 치과 영상은 임플란트 시술 계획 수립을 위해 생성된 환자의 치아 배열이 나타난 2차원, 3차원 등의 다차원 영상을 의미한다. 임플란트 시술 계획에는 X-ray, CT, MRI, 파노라믹 영상, 구강 스캔 영상, 재구성을 통해 생성된 영상, 복수의 영상을 정합한 영상 등 다양한 종류의 영상이 활용될 수 있다.The
일 실시 예에 따른 제어부(14)는 임플란트 식립 계획 수립을 위해 환자의 CT 데이터 및 구강 모델 데이터를 정합한다. 이때, 소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부(18)를 제어한다.The
입력부(16)는 사용자 조작신호를 입력받는다. 예를 들어, 출력부(18)를 통해 화면에 표시되는 두 영상 데이터(CT 데이터 및 구강 모델 데이터)를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는다. 다수의 방향은 정면, 좌측, 우측 방향일 수 있다.The
출력부(18)는 화면을 표시한다. 출력부(18)는 두 영상 데이터(CT 데이터 및 구강 모델 데이터) 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시한다. 뷰 영상은 방향을 기준으로 정면 뷰 영상, 좌측 영상 및 우측 영상을 포함한다. 정면 뷰 영상, 좌측 영상 및 우측 영상에서 사용자로부터 각각 특징점을 입력받으면 각 영상 데이터 별로 총 3개의 삼각형 형태로 특징점이 형성된다. 뷰 영상은 데이터 정합을 위해 제어부(14)에 의해 자동으로 회전하여 방향 전환되어 표시된다. 또한, 출력부(18)는 데이터 정합 결과를 화면에 표시한다.The
도 2는 본 발명의 일 실시 예에 따른 도 1의 제어부의 세부 구성을 도시한 도면이다.2 is a diagram showing a detailed configuration of the control unit of FIG. 1 according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 제어부(14)는 특징점 선택부(140), 자동 방향 제어부(141), 수동 방향 제어부(142), 그룹핑 모드 설정부(143), 표식자 제어부(144), 영상 정합부(145) 및 영상 재정합부(146)를 포함한다.1 and 2, the
특징점 선택부(140)는 입력부(16)를 통해 사용자로부터 선택 입력받은 특징점을 출력부(18)에 표시하도록 제어한다. 특징점이 CT 데이터의 정면 방향 뷰, CT 데이터의 좌측 방향 뷰, CT 데이터의 우측 방향 뷰, 구강 모델 데이터의 정면 방향 뷰, 구강 모델 데이터의 좌측 방향 뷰, 구강 모델 데이터의 우측 방향 뷰 각각에 형성되면, 총 6개가 된다. 이때, 각 영상 데이터 별로 3개의 특징점의 위치가 삼각형 형태를 가진다.The feature
자동 방향 제어부(141)는 출력부(18)를 통해 표시되는 영상 데이터의 방향을 자동으로 회전시킨다. 소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부(18)를 제어한다. 이때, 자동 방향 제어부(141)는 CT 데이터의 방향 정보를 이용하여 두 영상 데이터의 방향을 전환할 수 있다. 예를 들어, CT 데이터의 방향 정보를 이용하여 CT 데이터의 방향을 회전하고 CT 데이터의 방향 정보를 기준으로 구강 모델 데이터의 방향을 CT 데이터의 방향과 동일한 방향으로 회전시켜 방향을 맞춘다. CT 데이터의 방향 정보는 좌표정보를 포함한다. CT 데이터는 촬영 과정에서 데이터의 기준 좌표 축이 결정되어 방향 정보를 포함하고 있다. 그러나 구강 모델 데이터는 스캔 장비에 따라 기준 좌표 축이 아닐 수 있다. 따라서, CT 데이터의 방향 정보를 이용하여 두 영상 데이터의 방향을 자동 전환시킨다.The automatic
일 실시 예에 따른 자동 방향 제어부(141)는 초기 방향에서 두 영상 데이터를 대상으로 사용자에 의해 각각 동일한 위치에 선택 입력된 특징점을 표시하고, 특징점 입력이 완료되면 다음 순서의 특징점을 바로 입력할 수 있도록 사용자 조작 없이 두 영상 데이터를 다음 순서의 방향으로 자동 회전시킨다.The automatic
수동 방향 제어부(142)는 수동으로 영상 데이터의 방향을 전환한다. 최초 표시되는 두 영상 데이터의 방향은 상이할 수 있는데, 이 경우 사용자에 의해 수동으로 구강 모델 데이터의 방향을 CT 데이터의 방향과 동일한 방향으로 회전시켜 초기 방향을 맞춘다. 환자의 CT 데이터는 촬영 과정에서 데이터의 기준 좌표축이 결정되어 방향 정보를 포함하고 있지만, 구강 모델 데이터는 스캔 장비에 따라 기준 좌표축 결정에 차이가 있어 도 3에 도시된 바와 같이 CT 데이터와 동일한 방향의 좌표축이 아닐 수 있다. 이런 경우 사용자가 수동으로 영상을 회전하여 CT 데이터와 동일한 영상 방향으로 맞추는 과정이 요구된다.The manual
일 실시 예에 따른 수동 방향 제어부(142)는 자동 회전된 두 영상 데이터 중 임의의 영상 데이터를 대상으로 특징점 입력을 위해 사용자에 의해 방향을 수동으로 추가 회전한다. 자동 방향 제어부(141)에 의해 자동 회전한 영상 데이터에서 CT 영상의 아티팩트(artifact) 발생 등과 같은 이유로 정합 특징점을 선택하기 어려운 경우가 발생한다. 이 경우, 사용자는 영상 데이터를 자유 회전하여 특징점을 선택할 수 있다. 이때, 자동 방향 제어부(141)는 수동 방향 제어부(142)에 의해 수동 방향 전환된 이후, 사용자에 의한 특징점 선택 입력이 완료되면 다음 순서의 특징점 선택 입력을 위해 다음 순서의 방향으로 두 영상 데이터의 방향을 자동으로 회전시켜 두 영상 데이터의 방향을 일치시킨다.The manual
그룹핑 모드 설정부(143)는 사용자 조작에 따라 영상 회전 그룹핑 모드를 활성화 또는 비활성화한다. 영상 회전 그룹핑 모드 활성화를 위해 별도의 버튼과 같은 그래픽 인터페이스를 제공할 수 있다. 자동 방향 제어부(141)는 그룹핑 모드가 활성화되면 두 영상 데이터를 동일한 방향으로 함께 회전시킬 수 있고, 영상 회전 그룹핑 모드가 비활성화되면 두 영상 데이터를 개별 회전시킬 수 있다.The grouping
표식자 제어부(144)는 두 영상 데이터의 각 방향에서의 특징점 입력 완료 여부를 하나의 화면을 통해 시각적으로 구분할 수 있는 표식자 정보를 생성하여 출력부(18)에 제공한다. 표식자 정보는 도 6에 도시된 바와 같이, 각 영상 데이터 별로 순서에 따른 특징점 입력 완료 여부가 하나의 화면에 표시될 수 있다. 예를 들어, 자동 방향 제어부(141)에 의해 방향이 맞춰진 각 영상 데이터 상에 사용자가 동일한 위치에 첫 번째 정합 특징점을 선택하고 각 영상 데이터에서 특징점이 선택되면 첫 번째 특징점 선택이 완료되었다는 표식을 한다. 도 6에서는 색깔이 변경되는 것으로 표식자 정보를 구분하고 있으나, 색깔 이외에 모양, 지시선 등의 다른 그래픽 인터페이스로 시각적으로 구분할 수 있다.The
표식자 정보는 정합 완료 및 정합 과정에서 사용자가 특징점의 위치를 수정하고자 하는 경우, 수정을 원하는 특징점으로 이동하는 용도로도 사용할 수 있다. 예를 들어, 자동 방향 제어부(141)는 정합 완료 또는 정합 과정에서 사용자가 수정하고자 하는 표식자를 입력부(16)를 통해 선택 입력받은 후, 특징점 위치 수정을 위해 수정하고자 하는 특징점을 가진 영상 데이터 화면으로 이동하도록 제어한다.The marker information can also be used for moving to the desired feature point when the user wants to correct the position of the feature point during the registration completion and registration process. For example, the automatic
영상 정합부(145)는 미리 설정된 순서에 따른 특징점 입력 및 자동 회전이 완료되면, 각 방향에서 입력된 특징점들을 기준으로 두 영상 데이터의 위치를 일치시켜 정합하고 정합 결과를 두 영상 데이터에 표시하도록 출력부(18)를 제어한다. 정합 결과는 CT 데이터에 맞추어 구강 모델 데이터의 좌표가 정합 특징점을 기준으로 이동한 것일 수 있다. CT 데이터에 정합 컬러맵 정보가 함께 표시될 수 있다. 영상 자동 회전에 따른 특징점 입력이 완료된 후, 영상 정합부(145)는 정합 결과를 초기 방향으로 자동 회전된 두 영상 데이터에 표시하도록 제어할 수 있다.When the input of the feature points according to the preset order and automatic rotation are completed, the
영상 재정합부(146)는 특징점 선택부(140)에 의해 특징점 수정이 완료된 두 영상 데이터를 재정합한다. 이때, 초기 방향(예를 들어, 정면 방향)으로 두 영상 데이터의 방향을 자동 회전시켜 새로운 정합 결과를 표시하도록 출력부(18)를 제어한다.The
도 3은 본 발명의 일 실시 예에 따른 최초 획득된 영상 데이터 화면을 도시한 도면이다.3 is a diagram illustrating an image data screen initially acquired according to an embodiment of the present invention.
도 3을 참조하면, 임플란트 구조물의 위치를 결정하기 위한 준비 단계 중에서 촬영된 환자의 CT 데이터(300)와 구강 모델 데이터(302)를 정합하기 전에, 환자의 CT 데이터(300)와 구강 모델 데이터(302)를 프로그램에서 실행하거나 웹 페이지 및 서버에 저장된 데이터를 로딩하여 화면에 표시한다. 환자의 CT 데이터(300)는 촬영 과정에서 데이터의 기준 좌표축이 결정되어 방향 정보를 포함하고 있다. 그러나 구강 모델 데이터(302)는 스캔 장비에 따라 기준 좌표축 결정에 차이가 있어, 도 3에 도시된 바와 같이 CT 데이터(300)와 동일한 방향의 좌표축이 아닐 수 있다. 이 경우, 사용자가 수동으로 구강 모델 데이터(302)를 회전하여 CT 데이터(300)와 동일한 방향으로 영상 데이터를 맞추는 과정을 추가할 수 있다.Referring to FIG. 3, before matching the patient's
도 4는 본 발명의 일 실시 예에 따른 영상 회전 그룹핑 모드 활성화에 의해 CT 데이터 및 구강 모델 데이터가 동시에 회전하는 모습을 보여주는 도면이다.4 is a diagram illustrating a state in which CT data and oral model data are simultaneously rotated by activating an image rotation grouping mode according to an embodiment of the present invention.
도 4를 참조하면, 영상 데이터의 회전 시에, CT 데이터와 구강 모델 데이터를 개별적으로 회전할 수 있다. 또는 회전 그룹핑 기능을 이용하여 도 4에 도시된 바와 같이 두 개의 영상 데이터를 동시에 회전할 수도 있다(400→410). 그룹핑 기능에서는, 그룹핑을 활성화하기 직전의 영상 데이터에서 그룹핑이 활성화된 시점부터 동시 회전되어 두 영상 데이터가 다른 방향으로 배치되어 있어도 사용자의 조작으로 인해 영상 데이터의 회전이 가능하다.Referring to FIG. 4, when image data is rotated, CT data and oral model data may be individually rotated. Alternatively, two image data may be simultaneously rotated as shown in FIG. 4 by using the rotation grouping function (400→410). In the grouping function, the image data immediately before the grouping is activated is simultaneously rotated from the time when the grouping is activated, and the image data can be rotated due to the user's manipulation even if the two image data are arranged in different directions.
도 5는 본 발명의 일 실시 예에 따른 획득된 CT 데이터 및 구강 모델 데이터의 방향이 상이한 경우 방향을 정렬시킨 영상 데이터 화면을 보여주는 도면이다.5 is a diagram illustrating an image data screen in which directions are aligned when directions of acquired CT data and oral model data are different according to an embodiment of the present invention.
CT 데이터(300)와 구강 모델 데이터(302)가 획득했을 때, 두 영상 데이터(300, 302)의 방향이 상이하면, 도 5에 도시된 바와 같이 사용자가 CT 데이터(300)와 구강 모델 데이터(302)의 영상 방향을 일치시킨다. 영상 처리장치는 정합 특징점을 선택하기 위한 방향 제공을 CT 데이터(300)의 방향 정보를 기준으로 하기 때문에, CT 데이터(300)와 동일한 방향으로 구강 모델 데이터(302)를 회전하여 위치를 정렬한다.When the
도 6 내지 도 8은 본 발명의 일 실시 예에 따른 영상 데이터의 방향 전환 및 특징점 선택 시나리오를 도시한 도면이다. 본 발명의 이해를 돕기 위해, 첫 번째 특징점을 정면 방향, 두 번째 특징점을 우측 방향, 세 번째 특징점을 좌측 방향으로 설정하여 영상 데이터가 자동 회전하는 예시를 보이고 있다. 방향에 대한 순서는 사용자 설정 및 데이터에 따라 변경될 수 있다.6 to 8 are diagrams illustrating a scenario for changing a direction of image data and selecting a feature point according to an embodiment of the present invention. For better understanding of the present invention, an example in which image data is automatically rotated is shown by setting the first feature point to the front direction, the second feature point to the right direction, and the third feature point to the left direction. The order of directions can be changed according to user settings and data.
도 6은 본 발명의 일 실시 예에 따른 첫 번째 특징점 선택 및 이에 따른 표식자 정보를 통해 특징점 선택 완료가 표시하는 영상 데이터 화면을 도시한 도면이다.6 is a diagram illustrating an image data screen displayed by selecting a first feature point and completing the feature point selection through marker information according to the first feature point selection according to an embodiment of the present invention.
도 6을 참조하면, 방향이 맞춰진 각 영상 데이터(300, 302) 상에 사용자가 동일한 위치에 정합 특징점(310, 312)을 선택하면, 첫 번째 특징점 선택이 완료되었다는 표식을 표식자(320, 322)에 표시한다. 이 표식자는 정합 완료 및 정합 과정에서 특징점의 위치를 수정할 경우, 수정을 원하는 특징점으로 이동하는 용도로도 사용할 수 있다.Referring to FIG. 6, when a user selects a
도 7은 본 발명의 일 실시 예에 따른 두 번째 특징점 선택을 위해 방향이 회전되는 영상 데이터 화면을 도시한 도면이다.7 is a diagram illustrating an image data screen in which a direction is rotated to select a second feature point according to an embodiment of the present invention.
도 7을 참조하면, CT 데이터(300)와 구강 모델 데이터(302) 상에 첫 번째 특징점이 선택이 완료되면, 도 7에 도시된 바와 같이 CT 데이터의 방향정보를 기준으로 두 번째 특징점을 선택하기 위한 위치의 방향으로 두 영상 데이터(300, 302)를 자동 회전시킨다. 도 7에서는 우측 방향으로 두 영상 데이터(300, 302)를 회전하였다. 특징점 선택 순서는 CT 데이터(300)나 구강 모델 데이터(302)에 순서가 제한되지 않는다.Referring to FIG. 7, when the selection of the first feature point on the
도 8은 본 발명의 일 실시 예에 따른 세 번째 특징점 선택을 위해 방향이 회전되는 영상 데이터 화면을 도시한 도면이다.8 is a diagram illustrating an image data screen in which a direction is rotated to select a third feature point according to an embodiment of the present invention.
도 8을 참조하면, 도 7을 참조로 하여 설명한 바와 같이 각 영상 데이터(300, 302)에 동일 순서의 특징점이 모두 선택되면, 해당 순서의 특징점 선택이 완료되었다고 판단하여 영상 데이터를 다음 순서를 실행하기 위해 자동 회전한다. 도 8에서는 좌측 방향으로 두 영상 데이터(300, 302)를 회전하였다.Referring to FIG. 8, when all of the feature points of the same order are selected in each
첫 번째 특징점과 동일한 방식으로 두 번째 정합 특징점을 CT 데이터(300)와 구강 모델 데이터(302) 상에 선택하면, 두 번째 특징점 선택이 완료되었다는 표식과 함께 도 8에 도시된 바와 같이 세 번째 특징점을 선택하는 초기 방향으로 두 영상이 자동 회전하며, 동일한 방법으로 사용자가 각 영상 데이터(300, 302) 상에 세 번째 특징점을 선택한다.If the second matching feature point is selected on the
도 9는 본 발명의 일 실시 예에 따른 정합 완료 후 초기 방향으로 전환된 영상 데이터 화면을 도시한 도면이다.9 is a diagram illustrating an image data screen converted to an initial direction after registration is completed according to an embodiment of the present invention.
특징점 선택 및 영상 데이터 자동 회전 프로세스가 종료되면, 영상 정합을 수행한다. 예를 들어, 도 9에 도시된 바와 같이 CT 데이터(300)와 구강 모델 데이터(302)는 초기 방향과 동일한 정면 방향으로 자동 회전하여 사용자가 정합 결과를 확인할 수 있도록 제공한다.When the process of selecting a feature point and automatically rotating image data is finished, image matching is performed. For example, as shown in FIG. 9,
정합 화면에는 두 영상 데이터(300, 302)의 특징점들(310, 312, 330, 332, 340, 342)이 표시되고, 표식자 정보(320)를 통해 각 순서에 따른 특징점 선택이 완료되었음을 알려준다. 정합의 예로는, CT 데이터(300)를 따라 구강 모델 데이터(302)의 좌표가 정합 특징점을 기준으로 이동하여 표시한다. 이때, 도 9에 도시된 바와 같이, CT 데이터(300)에 정합 컬러맵 정보(900)가 함께 표현될 수 있다.On the matching screen, feature points 310, 312, 330, 332, 340, and 342 of the two
도 10은 본 발명의 일 실시 예에 따른 특징점 수정을 위해 표식자 선택을 통해 화면을 이동하는 모습을 도시한 도면이다.10 is a diagram illustrating a state in which a screen is moved by selecting a marker to correct a feature point according to an embodiment of the present invention.
자동 회전한 영상에서 특징점을 선택할 때, CT 데이터의 아티팩트 등과 같은 이유로 정합 특징점을 선택하기 어려운 경우가 발생한다. 이 경우, 사용자는 영상 데이터를 수동으로 자유 회전하여 특징점을 선택할 수 있다. 사용자가 정합 특징점을 선택하기 위해 영상 데이터를 자유회전 하여도 다음 순서의 특징점을 선택하기 위해 영상 처리장치는 다음 순서의 방향 위치로 자동 회전시킨다. 각 영상 데이터의 방향은 CT 데이터의 방향정보를 기준으로 하여 CT 데이터의 정면, 우측, 좌측(또는 미리 설정된 순서의 방향)을 유지한다.When selecting a feature point from an automatically rotated image, it may be difficult to select a matched feature point for reasons such as artifacts of CT data. In this case, the user can manually freely rotate the image data to select a feature point. Even if the user freely rotates the image data to select the matching feature point, the image processing apparatus automatically rotates it to the next direction position in order to select the next feature point. The direction of each image data maintains the front, right, and left (or preset order directions) of the CT data based on the direction information of the CT data.
만약 사용자가 정합 결과에 대하여 만족하지 못하고 개별 정합 특징점의 위치를 수정하고자 하는 경우, 정합 특징점 선택이 완료되었음을 표식하는 표식자 정보(320 또는 322)에서 수정을 원하는 특징점을 가진 영상 데이터의 표식자(350 또는 352)를 선택하면, 도 10에 도시된 같이 영상 데이터가 방향 전환되어 해당 특징점을 가진 영상 데이터 화면으로 이동한다(1000→1010). 이때, 사용자가 이동된 영상 데이터 화면에서 특징점을 수정하면, 새로운 정합 결과를 화면에 제공한다. 이때 정합 결과는 각 영상 데이터의 영상이 초기 방향(예를 들어, 정면 방향)으로 자동 회전하여 표시되도록 할 수 있다. 재정합 기능은 자동으로 수행될 수 있고, 버튼 등의 재정합 기능 활성화 인터페이스를 클릭 동작과 같이 선택하는 방법을 통해 이루어질 수 있다.If the user is not satisfied with the matching result and wants to correct the position of the individual matching feature points, in the
도 11은 본 발명의 일 실시 예에 따른 영상 정합 방법을 도시한 도면이다.11 is a diagram illustrating an image matching method according to an embodiment of the present invention.
도 1 및 도 11을 참조하면, 의료영상 처리장치(1)는 영상 데이터 정합을 위해 환자의 CT 데이터 및 구강 모델 데이터를 포함하는 영상 데이터를 획득하여 표시한다(S1100). 최초 표시되는 두 영상 데이터의 방향이 상이한 경우, 자동으로 방향 전환하기 이전에 사용자에 의해 수동으로 구강 모델 데이터의 방향을 CT 데이터의 방향과 동일한 제1 방향(예를 들어, 정면 방향)으로 회전시켜 두 영상 데이터의 방향을 정렬한다(S1110).1 and 11, the medical
이어서, 제1 방향(예를 들어, 정면 방향)으로 정렬된 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 각각 정합의 기준이 되는 특징점을 선택 입력받는다(S1120). 두 영상 데이터의 특징점 입력이 완료되면 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 다음 순서의 제2 방향(예를 들어, 우측 방향)으로 자동 전환하여 표시한다(S1130). 그리고 제2 방향(예를 들어, 우측 방향)의 두 영상 데이터에 대하여 각각 정합의 기준이 되는 특징점을 선택 입력받는다(S1140). 두 영상 데이터의 특징점 입력이 완료되면 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 다음 순서의 제3 방향(예를 들어, 좌측 방향)으로 자동 전환하여 표시한다(S1150). 그리고 제3 방향(예를 들어, 좌측 방향)의 두 영상 데이터에 대하여 각각 정합의 기준이 되는 특징점을 선택 입력받는다(S1160). 미리 설정된 순서(예를 들어, 정면 방향→우측 방향→좌측 방향)에 따른 방향 전환 및 특징점 입력 프로세스가 완료되었는지를 판단하여, 완료되지 않은 경우, 방향 전환 및 특징점 입력 프로세스를 반복 수행한다. 완료된 경우 특징점을 기준으로 영상을 정합하여 표시한다(S1170). 영상을 정합하여 표시하는 단계(S1170)에서는 최초의 제1 방향(예를 들어, 정면 방향)의 두 영상 데이터에 영상 정합 결과를 표시할 수 있다.Subsequently, in order to match the two image data arranged in the first direction (for example, in the front direction), a feature point, which is a reference for matching, is selectively input with respect to the two image data (S1120). When the input of the feature point of the two image data is completed, the direction of the two image data is automatically switched to the second direction (eg, right direction) of the next sequence and displayed without user manipulation for inputting the next feature point (S1130). In addition, a feature point, which is a reference for matching, is selectively input for two image data in the second direction (eg, in the right direction) (S1140). When the input of the feature points of the two image data is completed, the direction of the two image data is automatically switched to the third direction (eg, left direction) of the next sequence and displayed without user manipulation for inputting the next feature point (S1150). In addition, a feature point, which is a reference for matching, is selectively input for two image data in the third direction (eg, left direction) (S1160). It is determined whether the process of changing a direction and inputting a feature point according to a preset sequence (eg, a front direction → a right direction → a left direction) has been completed, and if not, the direction change and the feature point input process are repeatedly performed. When completed, the image is matched and displayed based on the feature point (S1170). In the step of matching and displaying the images (S1170 ), an image matching result may be displayed on two image data in the first first direction (eg, in the front direction).
방향 자동 전환 시에, 두 영상 데이터를 동일한 방향으로 함께 회전시킬 수 있고, 두 영상 데이터를 개별 회전시킬 수도 있다. 방향 자동 전환된 두 영상 데이터 중 임의의 영상 데이터를 대상으로 특징점 입력을 위해 사용자에 의해 방향을 수동으로 추가 회전할 수 있다. 이 경우에도 수동으로 추가 회전된 이후 사용자에 의한 특징점 선택 입력이 완료되면, 다음 순서의 특징점 선택 입력을 위해 다음 순서의 방향으로 두 영상 데이터의 방향을 자동으로 회전시켜 두 영상 데이터의 방향을 일치시킨다.During automatic direction change, two image data may be rotated together in the same direction, or two image data may be individually rotated. In order to input a feature point for arbitrary image data among two image data that have been automatically changed in direction, the user may manually rotate the direction additionally. Even in this case, if the user inputs the feature point selection after being manually rotated, the direction of the two image data is automatically rotated in the next direction to match the direction of the two image data for the next feature point selection input. .
영상 정합 방법은 두 영상 데이터의 각 방향에서의 특징점 입력 완료 여부를 하나의 화면을 통해 시각적으로 구분할 수 있는 표식자 정보를 제공하는 단계를 더 포함할 수 있다. 이 경우, 정합 완료 또는 정합 과정에서 사용자가 수정하고자 하는 표식자를 선택 입력받으면, 수정하고자 하는 특징점을 가진 영상 데이터 화면으로 이동하여 영상 데이터를 표시할 수 있다. 특징점 수정이 완료되고 재정합 모드가 활성화되면 초기 방향으로 두 영상 데이터의 방향을 자동 회전시켜 새로운 정합 결과를 표시할 수 있다.The image matching method may further include providing marker information for visually distinguishing whether or not the feature point input in each direction of the two image data is completed through one screen. In this case, when the user selects and receives a marker to be corrected during the registration completion or the registration process, the image data may be displayed by moving to an image data screen having a feature point to be corrected. When the feature point correction is completed and the re-alignment mode is activated, a new matching result can be displayed by automatically rotating the direction of the two image data in the initial direction.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at around the embodiments. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
Claims (20)
정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계;
표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계; 및
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 각각 이전 화면과 동일한 위치에 표시하는 단계;
를 포함하는 것을 특징으로 하는 의료영상 정합 방법.In the medical image matching method using a medical image processing device, the medical image processing device
Acquiring and displaying first image data and second image data to be matched;
Selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two displayed image data; And
When inputting the feature points of the two image data in a predetermined direction is completed, automatically switching directions of the two image data without user manipulation for inputting the next feature point, and displaying each of the two image data at the same position as the previous screen;
Medical image registration method comprising a.
방향 정보를 알고 있는 제1 영상 데이터의 방향 정보를 이용하여 제1 영상 데이터의 방향을 회전시키고,
회전된 제1 영상 데이터와 동일한 방향으로 제2 영상 데이터를 회전시킴으로써, 두 개의 영상 데이터를 동일한 방향으로 회전시키는 것을 특징으로 하는 의료영상 정합 방법.The method of claim 1, wherein the step of automatically switching and displaying a direction
The direction of the first image data is rotated by using the direction information of the first image data with the direction information known,
A medical image registration method, characterized in that by rotating the second image data in the same direction as the rotated first image data, the two image data are rotated in the same direction.
최초 표시되는 두 영상 데이터의 방향이 상이한 경우, 사용자에 의해 수동으로 제2 영상 데이터의 방향을 제1 영상 데이터의 방향과 동일한 방향으로 회전시켜 방향을 정렬하는 단계;
를 더 포함하는 것을 특징으로 하는 의료영상 정합 방법.The method of claim 1, wherein the medical image registration method
If the directions of the two initially displayed image data are different, aligning the directions by manually rotating the direction of the second image data in the same direction as the direction of the first image data by a user;
Medical image registration method comprising a further.
정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계;
표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계;
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 표시하는 단계; 및
영상 자동 회전에 따른 특징점 입력이 완료된 후, 각 방향에서 입력된 특징점들을 기준으로 두 영상 데이터의 위치를 일치시켜 정합하고 정합 결과를 표시하는 단계; 를 포함하며,
정합 결과를 표시하는 단계는
영상 자동 회전에 따른 특징점 입력이 완료된 후, 사용자 조작 없이 두 영상 데이터를 초기 방향으로 자동 회전시키는 단계; 및
정합 결과를 초기 방향으로 자동 회전된 두 영상 데이터에 표시하는 단계;
를 포함하는 것을 특징으로 하는 의료영상 정합 방법.In the medical image matching method using a medical image processing device, the medical image processing device
Acquiring and displaying first image data and second image data to be matched;
Selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two displayed image data;
When the input of the feature points of the two image data is completed in a predetermined direction, automatically switching and displaying the directions of the two image data without user manipulation for inputting the next feature point; And
After the input of the feature points according to the automatic rotation of the image is completed, matching the positions of the two image data based on the feature points input in each direction, and displaying the matching result; Including,
The step of displaying the matching result is
Automatically rotating the two image data in an initial direction without user manipulation after inputting the feature points according to the automatic image rotation is completed; And
Displaying the matching result on two image data automatically rotated in an initial direction;
Medical image registration method comprising a.
다수의 방향은 좌측, 정면 및 우측 방향을 의미하며,
자동 방향 전환 순서는 미리 설정될 수 있고,
각 영상 데이터 별로 다수의 방향에서 특징점을 입력하게 되면, 총 3개의 특징점이 삼각형 형태를 형성하게 되는 것을 특징으로 하는 의료영상 정합 방법.The method of claim 1,
Multiple directions mean left, front and right directions,
The order of automatic direction change can be set in advance,
A medical image registration method, characterized in that when a feature point is input in a plurality of directions for each image data, a total of three feature points form a triangular shape.
정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계;
표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계; 및
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 표시하는 단계; 를 포함하며,
방향을 자동으로 전환하여 표시하는 단계는
두 영상 데이터에 특징점 선택 입력 이후, 영상 회전 그룹핑 모드가 활성화되면 두 영상 데이터를 동일한 방향으로 함께 회전시키고, 영상 회전 그룹핑 모드가 비활성화되면 두 영상 데이터를 개별 회전시키는 것을 특징으로 하는 의료영상 정합 방법.In the medical image matching method using a medical image processing device, the medical image processing device
Acquiring and displaying first image data and second image data to be matched;
Selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two displayed image data; And
When the input of the feature points of the two image data is completed in a predetermined direction, automatically switching and displaying the directions of the two image data without user manipulation for inputting the next feature point; Including,
The steps to automatically switch the direction and display it are
After a feature point selection input to the two image data, when the image rotation grouping mode is activated, the two image data are rotated together in the same direction, and when the image rotation grouping mode is deactivated, the two image data are individually rotated.
정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계;
표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계;
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 표시하는 단계;
자동 회전된 두 영상 데이터 중 임의의 영상 데이터를 대상으로 특징점 입력을 위해 사용자에 의해 방향을 수동으로 추가 회전하는 단계; 및
수동으로 추가 회전된 이후 사용자에 의한 특징점 선택 입력이 완료되면 다음 순서의 특징점 선택 입력을 위해 다음 순서의 방향으로 두 영상 데이터의 방향을 자동으로 회전시켜 두 영상 데이터의 방향을 일치시키는 단계;
를 포함하는 것을 특징으로 하는 의료영상 정합 방법.In the medical image matching method using a medical image processing device, the medical image processing device
Acquiring and displaying first image data and second image data to be matched;
Selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two displayed image data;
When the input of the feature points of the two image data is completed in a predetermined direction, automatically switching and displaying the directions of the two image data without user manipulation for inputting the next feature point;
Manually additionally rotating a direction by a user in order to input a feature point for arbitrary image data among two automatically rotated image data; And
Automatically rotating the direction of the two image data in the next order for inputting the feature point selection by the user after being manually rotated to match the direction of the two image data;
Medical image registration method comprising a.
정합 대상이 되는 제1 영상 데이터 및 제2 영상 데이터를 획득하여 표시하는 단계;
표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 단계;
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향을 자동으로 전환하여 표시하는 단계;
두 영상 데이터의 각 방향에서의 특징점 입력 완료 여부를 하나의 화면을 통해 시각적으로 구분할 수 있는 표식자 정보를 제공하는 단계;
정합 완료 또는 정합 과정에서 사용자가 수정하고자 하는 표식자를 선택 입력받는 단계;
표식자를 선택 입력받은 후, 수정하고자 하는 특징점을 가진 영상 데이터 화면으로 이동 및 영상 데이터를 표시하는 단계; 및
특징점 수정이 완료되고 재정합 모드가 활성화되면 초기 방향으로 두 영상 데이터의 방향을 자동 회전시켜 새로운 정합 결과를 표시하는 단계;
를 포함하는 것을 특징으로 하는 의료영상 정합 방법.In the medical image matching method using a medical image processing device, the medical image processing device
Acquiring and displaying first image data and second image data to be matched;
Selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two displayed image data;
When the input of the feature points of the two image data is completed in a predetermined direction, automatically switching and displaying the directions of the two image data without user manipulation for inputting the next feature point;
Providing marker information for visually distinguishing whether or not the feature point input in each direction of the two image data is completed through one screen;
Selecting and inputting a marker to be corrected by a user during the registration completion or registration process;
After selecting and receiving a marker, moving to an image data screen having a feature point to be corrected and displaying the image data; And
When the correction of the feature point is completed and the re-alignment mode is activated, automatically rotating the direction of the two image data in an initial direction to display a new matching result;
Medical image registration method comprising a.
두 영상 데이터 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시하되, 소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 데이터 정합을 위해 제어부에 의해 자동으로 회전하여 방향 전환된 뷰 영상을 각각 이전 화면과 동일한 위치에 표시하는 출력부;
사용자 조작신호를 입력받되, 화면에 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 입력부;
선택 입력받은 특징점을 출력부에 표시하도록 제어하는 특징점 선택부; 및
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부를 제어하는 자동 방향 제어부;
를 포함하는 것을 특징으로 하는 의료영상 처리장치.A data acquisition unit that acquires first image data and second image data to be matched;
View images corresponding to different directions for each of the two image data are displayed on the divided screen, but when the feature point input of the two image data is completed in a predetermined direction, the view is automatically rotated by the control unit to match the data and the direction is changed. An output unit that displays the image at the same position as the previous screen, respectively;
An input unit for receiving a user manipulation signal, and for selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two image data displayed on the screen;
A feature point selection unit for controlling to display the selected and input feature points on the output unit; And
An automatic direction control unit for controlling the output unit to automatically switch directions of the two image data without user manipulation for inputting the next feature point when inputting the feature points of the two image data in a predetermined direction is completed;
Medical image processing apparatus comprising a.
방향 정보를 알고 있는 제1 영상 데이터의 방향 정보를 이용하여 제1 영상 데이터의 방향을 회전시키고,
회전된 제1 영상 데이터와 동일한 방향으로 제2 영상 데이터의 방향을 회전시킴으로써, 두 개의 영상 데이터를 동일한 방향으로 회전시키는 것을 특징으로 하는 의료영상 처리장치.The method of claim 11, wherein the automatic direction control unit
The direction of the first image data is rotated by using the direction information of the first image data with the direction information known,
A medical image processing apparatus comprising rotating the two image data in the same direction by rotating the direction of the second image data in the same direction as the rotated first image data.
두 영상 데이터 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시하는 출력부;
사용자 조작신호를 입력받되, 화면에 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 입력부;
선택 입력받은 특징점을 출력부에 표시하도록 제어하는 특징점 선택부;
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부를 제어하는 자동 방향 제어부; 및
최초 표시되는 두 영상 데이터의 방향이 상이한 경우, 사용자에 의해 수동으로 제2 영상 데이터의 방향을 제1 영상 데이터의 방향과 동일한 방향으로 회전시켜 방향을 정렬하고, 자동 회전된 두 영상 데이터 중 임의의 영상 데이터를 대상으로 특징점 입력을 위해 사용자에 의해 방향을 수동으로 추가 회전하는 수동 방향 제어부; 를 포함하며,
자동 방향 제어부는
수동 방향 제어부에 의해 수동 방향 전환된 이후 사용자에 의한 특징점 선택 입력이 완료되면 다음 순서의 특징점 선택 입력을 위해 다음 순서의 방향으로 두 영상 데이터가 자동으로 회전되는 것을 특징으로 하는 의료영상 처리장치.A data acquisition unit that acquires first image data and second image data to be matched;
An output unit that displays a view image corresponding to each of the two image data in different directions on the divided screen;
An input unit for receiving a user manipulation signal, and for selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two image data displayed on the screen;
A feature point selection unit for controlling to display the selected and input feature points on the output unit;
An automatic direction control unit for controlling the output unit to automatically switch directions of the two image data without user manipulation for inputting the next feature point when inputting the feature points of the two image data in a predetermined direction is completed; And
If the directions of the two initially displayed image data are different, the user manually rotates the direction of the second image data in the same direction as the direction of the first image data to align the direction. A manual direction control unit for manually additionally rotating a direction by a user to input a feature point for the image data; Including,
Automatic direction control
A medical image processing apparatus, characterized in that when a user inputs a feature point selection after a manual direction change by a manual direction control unit is completed, two image data are automatically rotated in a next direction for a next sequence of feature point selection input.
영상 자동 회전에 따른 특징점 입력이 완료된 후, 각 방향에서 입력된 특징점들을 기준으로 두 영상 데이터의 위치를 일치시켜 정합하고 정합 결과를 두 영상 데이터에 표시하도록 출력부를 제어하는 영상 정합부;
를 더 포함하는 것을 특징으로 하는 의료영상 처리장치.The method of claim 11, wherein the medical image processing apparatus
An image matching unit for controlling the output unit to match and match the positions of the two image data based on the feature points input in each direction after completion of the input of the feature points according to the automatic rotation of the image, and to display the matching result on the two image data;
Medical image processing apparatus comprising a further.
두 영상 데이터 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시하는 출력부;
사용자 조작신호를 입력받되, 화면에 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 입력부;
선택 입력받은 특징점을 출력부에 표시하도록 제어하는 특징점 선택부; 및
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부를 제어하는 자동 방향 제어부; 를 포함하며,
자동 방향 제어부는
영상 자동 회전에 따른 특징점 입력이 완료된 후, 사용자 조작 없이 두 영상 데이터를 초기 방향으로 자동 회전시키고,
영상 정합부는
정합 결과를 초기 방향으로 자동 회전된 두 영상 데이터에 표시하도록 제어하는 것을 특징으로 하는 의료영상 처리장치.A data acquisition unit that acquires first image data and second image data to be matched;
An output unit that displays a view image corresponding to each of the two image data in different directions on the divided screen;
An input unit for receiving a user manipulation signal, and for selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two image data displayed on the screen;
A feature point selection unit for controlling to display the selected and input feature points on the output unit; And
An automatic direction control unit for controlling the output unit to automatically switch directions of the two image data without user manipulation for inputting the next feature point when inputting the feature points of the two image data in a predetermined direction is completed; Including,
Automatic direction control
After the feature point input according to the automatic image rotation is completed, the two image data are automatically rotated to the initial direction without user manipulation,
The image matching part
A medical image processing apparatus comprising controlling to display a matching result on two image data automatically rotated in an initial direction.
다수의 방향은 좌측, 정면 및 우측 방향을 의미하며,
자동 방향 전환 순서는 미리 설정될 수 있고,
각 영상 데이터 별로 다수의 방향에서 특징점을 입력하게 되면, 총 3개의 특징점이 삼각형 형태를 형성하게 되는 것을 특징으로 하는 의료영상 처리장치.The method of claim 11,
Multiple directions mean left, front and right directions,
The order of automatic direction change can be set in advance,
A medical image processing apparatus, characterized in that when a feature point is input in a plurality of directions for each image data, a total of three feature points form a triangular shape.
두 영상 데이터 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시하는 출력부;
사용자 조작신호를 입력받되, 화면에 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 입력부;
선택 입력받은 특징점을 출력부에 표시하도록 제어하는 특징점 선택부;
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부를 제어하는 자동 방향 제어부; 및
사용자 조작에 따라 영상 회전 그룹핑 모드를 활성화 또는 비활성화하는 그룹핑 모드 설정부; 를 포함하며,
자동 방향 제어부는 그룹핑 모드가 활성화되면 두 영상 데이터를 동일한 방향으로 함께 회전시키고, 영상 회전 그룹핑 모드가 비활성화되면 두 영상 데이터를 개별 회전시키는 것을 특징으로 하는 의료영상 처리장치.A data acquisition unit that acquires first image data and second image data to be matched;
An output unit that displays a view image corresponding to each of the two image data in different directions on the divided screen;
An input unit for receiving a user manipulation signal, and for selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two image data displayed on the screen;
A feature point selection unit for controlling to display the selected and input feature points on the output unit;
An automatic direction control unit for controlling the output unit to automatically switch directions of the two image data without user manipulation for inputting the next feature point when inputting the feature points of the two image data in a predetermined direction is completed; And
A grouping mode setting unit that activates or deactivates an image rotation grouping mode according to a user manipulation; Including,
The automatic direction control unit rotates two image data together in the same direction when the grouping mode is activated, and rotates the two image data separately when the image rotation grouping mode is deactivated.
두 영상 데이터 별로 서로 다른 방향에 각각 대응하는 뷰 영상을 분할된 화면에 표시하는 출력부;
사용자 조작신호를 입력받되, 화면에 표시되는 두 영상 데이터를 정합하기 위해 두 영상 데이터에 대하여 다수의 방향에서 각각 정합의 기준이 되는 특징점을 선택 입력받는 입력부;
선택 입력받은 특징점을 출력부에 표시하도록 제어하는 특징점 선택부;
소정의 방향에서 두 영상 데이터의 특징점 입력이 완료되면, 다음 특징점 입력을 위한 사용자 조작 없이 두 영상 데이터의 방향이 자동으로 전환되도록 출력부를 제어하는 자동 방향 제어부;
두 영상 데이터의 각 방향에서의 특징점 입력 완료 여부를 하나의 화면을 통해 시각적으로 구분할 수 있는 표식자 정보를 생성하여 출력부에 제공하는 표식자 제어부; 및
특징점 수정이 완료된 두 영상 데이터를 재정합하되, 초기 방향으로 두 영상 데이터의 방향을 자동 회전시켜 새로운 정합 결과를 표시하도록 출력부를 제어하는 영상 재정합부; 를 포함하며,
자동 방향 제어부는
정합 완료 또는 정합 과정에서 사용자가 수정하고자 하는 표식자를 입력부를 통해 선택 입력받은 후, 수정하고자 하는 특징점을 가진 영상 데이터 화면으로 이동 및 영상 데이터를 표시하도록 제어하는 것을 특징으로 하는 의료영상 처리장치.A data acquisition unit that acquires first image data and second image data to be matched;
An output unit that displays a view image corresponding to each of the two image data in different directions on the divided screen;
An input unit for receiving a user manipulation signal, and for selecting and inputting feature points that are reference points for matching in a plurality of directions for the two image data in order to match the two image data displayed on the screen;
A feature point selection unit for controlling to display the selected and input feature points on the output unit;
An automatic direction control unit for controlling the output unit to automatically switch directions of the two image data without user manipulation for inputting the next feature point when inputting the feature points of the two image data in a predetermined direction is completed;
A marker control unit for generating marker information for visually distinguishing whether or not the feature point input in each direction of the two image data is completed through a single screen, and providing the marker information to the output unit; And
An image rearrangement unit that rearranges the two image data for which the feature point correction has been completed, and controls the output unit to display a new matching result by automatically rotating the direction of the two image data in an initial direction; Including,
Automatic direction control
A medical image processing apparatus, comprising: controlling to display the image data and move to an image data screen having a feature point to be corrected after a user selects and receives a marker to be corrected through an input unit during a registration completion or a registration process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190018711A KR102234425B1 (en) | 2019-02-18 | 2019-02-18 | Method and apparatus for matching medical images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190018711A KR102234425B1 (en) | 2019-02-18 | 2019-02-18 | Method and apparatus for matching medical images |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200100907A KR20200100907A (en) | 2020-08-27 |
KR102234425B1 true KR102234425B1 (en) | 2021-04-01 |
Family
ID=72237581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190018711A KR102234425B1 (en) | 2019-02-18 | 2019-02-18 | Method and apparatus for matching medical images |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102234425B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102273438B1 (en) * | 2021-01-27 | 2021-07-07 | 주식회사 에이치디엑스윌 | Apparatus and method for automatic registration of oral scan data and computed tomography image using crown segmentation of oral scan data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100124367A1 (en) | 2007-01-11 | 2010-05-20 | Sicat Gmbh & Co. Kg | Image registration |
KR101913586B1 (en) * | 2017-05-24 | 2018-11-01 | 오스템임플란트 주식회사 | Dental image registration method, apparatus, and recording medium thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101932721B1 (en) * | 2012-09-07 | 2018-12-26 | 삼성전자주식회사 | Method and Appartus of maching medical images |
KR20180088061A (en) * | 2017-01-26 | 2018-08-03 | 주식회사 이우소프트 | Method and apparatus for registering a CT image with a surface scan model |
KR102424096B1 (en) * | 2017-05-16 | 2022-07-25 | 주식회사 디오 | Service Apparatus for Coordinating of Images for Dental Implant Procedure and Method for Coordinating of Images for thereof |
-
2019
- 2019-02-18 KR KR1020190018711A patent/KR102234425B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100124367A1 (en) | 2007-01-11 | 2010-05-20 | Sicat Gmbh & Co. Kg | Image registration |
KR101913586B1 (en) * | 2017-05-24 | 2018-11-01 | 오스템임플란트 주식회사 | Dental image registration method, apparatus, and recording medium thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20200100907A (en) | 2020-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101834435B1 (en) | Dental implant planning method, apparatus and recording medium thereof | |
CN107430634B (en) | Dental implant planning method, dental implant planning apparatus, and recording medium for the same | |
KR102236359B1 (en) | Method for selecting tooth number using panoramic image and medical image processing apparatus for the same | |
KR102314890B1 (en) | Method and apparatus for superimposition of medical images | |
KR102314891B1 (en) | Implant surgery guide design device and method for providing screen using the same | |
KR102232294B1 (en) | Method for displaying multi-bone density for dental implant planning and image processing apparatus thereof | |
US20220246269A1 (en) | Implant surgery planning method using automatic placement of implant structure, user interface providing method therefor, and teeth image processing device therefor | |
KR102239358B1 (en) | Method for planning implant surgery using implant center line and dental image processing device for the same | |
KR102234425B1 (en) | Method and apparatus for matching medical images | |
KR102422534B1 (en) | Implant simulation method and apparatus thereof | |
KR102269029B1 (en) | Implant simulation method using manipulator and apparatus thereof | |
KR102350098B1 (en) | Method for generating arch line and dental image processing apparatus therefor | |
JP6868255B2 (en) | Abutment tooth formation support device | |
KR102197309B1 (en) | A guide design method and apparatus for dental implant surgery using fixture invasion area segmentation for maxillary sinus lifting | |
KR102292874B1 (en) | Method for adjusting guide area for implant surgery and guide design apparatus thereof | |
KR102237711B1 (en) | Neural tube line generation method and medical image processing apparatus therefor | |
KR20210114223A (en) | Dental implant surgery planning method and device thereof | |
KR102138922B1 (en) | Method for calculating contact distance to peripheral teeth of prosthesis using contact direction interface in designing prosthesis and prosthetic CAD apparatus therefor | |
KR102210341B1 (en) | Neural tube line detecting method using medical image processing and simulation and apparatus thereof | |
KR102474298B1 (en) | Method for designing prosthetic model and apparatus thereof | |
KR20220087874A (en) | Method and apparatus for superimposition of medical images | |
KR102389747B1 (en) | Method for guide design for implant surgery and apparatus thereof | |
KR102416168B1 (en) | Method for sinus bone graft simulation and apparatus thereof | |
KR102304436B1 (en) | Method for guide design for implant surgery and apparatus thereof | |
KR102573907B1 (en) | Method for editing arch line and tooth arrangement design apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |