KR102284623B1 - Method and apparatus for detecting tooth object in oral scan image - Google Patents
Method and apparatus for detecting tooth object in oral scan image Download PDFInfo
- Publication number
- KR102284623B1 KR102284623B1 KR1020190042382A KR20190042382A KR102284623B1 KR 102284623 B1 KR102284623 B1 KR 102284623B1 KR 1020190042382 A KR1020190042382 A KR 1020190042382A KR 20190042382 A KR20190042382 A KR 20190042382A KR 102284623 B1 KR102284623 B1 KR 102284623B1
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- scan image
- oral scan
- detected
- image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
본 발명은 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 학습 대상의 오랄 스캔 영상에서 치아가 포함된 관심 영역을 추출하는 단계; 추출된 관심 영역의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시켜 학습 모델을 생성하는 단계; 및 학습 모델을 이용하여 검출 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계;를 포함하는 것을 특징으로 한다.The present invention relates to a method and apparatus for detecting a tooth object in an oral scan image. A method of detecting a tooth object in an oral scan image according to an embodiment of the present invention includes extracting a region of interest including a tooth from an oral scan image of a learning object; generating a learning model by learning from the learning data in which an object for each tooth is formed in a plurality of directions of the extracted region of interest; and detecting objects in multiple directions of each tooth from the oral scan image of the detection target by using the learning model.
Description
본 발명은 구강 내부에 대한 오랄 스캔 영상(oral scan image)에서 각 치아의 오브젝트(object)를 검출하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting an object of each tooth in an oral scan image of the inside of the oral cavity.
치과 분야에서는 다양한 구강 내부의 영상을 활용하여 각종 시술을 시행한다. 이러한 영상으로는 오랄 스캔 영상, 컴퓨터단층촬영(Computed Tomography; CT) 영상, 자기공명영상(Magnetic Resonance Image; MRI) 등이 있다. 그 중에서 오랄 스캔 영상은 치아의 내부 상태까지 표시하는 3차원 영상인 CT 영상 및 MRI 등과 달리, 치아의 표면 상태를 표시하는 3차원 영상이다.In the field of dentistry, various procedures are performed using various images of the inside of the oral cavity. Such images include an oral scan image, a computed tomography (CT) image, and a magnetic resonance image (MRI). Among them, an oral scan image is a three-dimensional image that displays the surface state of a tooth, unlike a CT image and MRI, which are three-dimensional images that display even the internal state of a tooth.
한편, CT 영상과의 영상 정합을 위한 기준점으로의 활용, 임플란트 시술 식립 위치 파악 및 악궁 형태 파악 등을 위해, 오랄 스캔 영상에서는 각 치아가 분리 검출될 필요가 있다. 이를 위해, 종래에는 오랄 스캔 영상에서 곡률 정보를 이용하여 각 치아를 검출하였다. 하지만, 이러한 종래 검출 방식은 치아 간의 경계가 모호하고 치아 및 잇몸의 곡률 정보가 유사함으로 인해 그 검출 오류가 빈번하게 발생할 뿐 아니라, 그 검출에 따른 로드(load)가 커 검출 시간 및 효율성이 떨어지는 문제점이 있었다.On the other hand, each tooth needs to be separately detected in the oral scan image for use as a reference point for image matching with a CT image, an implant placement position, and an arch shape. To this end, conventionally, each tooth is detected using curvature information in an oral scan image. However, in this conventional detection method, a detection error occurs frequently because the boundary between teeth is ambiguous and curvature information of teeth and gums is similar, and the detection time and efficiency are reduced due to a large load according to the detection. there was
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 구강 내부에 대한 오랄 스캔 영상에서 각 치아에 대응될 수 있는 오브젝트를 검출하는 방법 및 장치를 제공하는데 그 목적이 있다.In order to solve the problems of the prior art as described above, an object of the present invention is to provide a method and apparatus for detecting an object corresponding to each tooth in an oral scan image of the inside of the oral cavity.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은, (1) 학습 대상의 오랄 스캔 영상에서 치아가 포함된 관심 영역을 추출하는 단계, (2) 추출된 관심 영역의 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터로 학습시킨 학습 모델을 생성하는 단계, (3) 학습 모델을 이용하여 검출 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계를 포함한다.In order to solve the above problems, a method for detecting a tooth object in an oral scan image according to an embodiment of the present invention includes the steps of: (1) extracting a region of interest including teeth from an oral scan image of a learning object; (2) ) generating a learning model trained with learning data that forms an object for each tooth in multiple directions of the extracted region of interest, (3) in multiple directions of each tooth in the oral scan image of the detection target using the learning model detecting an object for
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 검출된 각 오브젝트의 위치, 중심점 및 크기 정보를 추출하는 단계를 더 포함할 수 있다.The method for detecting a tooth object in an oral scan image according to an embodiment of the present invention may further include extracting information on the position, center point, and size of each detected object.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 표시하는 표시 단계를 더 포함할 수 있다.The method for detecting a tooth object in an oral scan image according to an embodiment of the present invention may further include a display step of displaying each detected object in the oral scan image of a detection target.
상기 학습데이터는 각 치아에 대하여 서로 다른 2개 이상 방향(특정 방향)에서의 오브젝트를 포함할 수 있다.The learning data may include objects in two or more different directions (specific directions) for each tooth.
상기 특정 방향은 평면 방향과 평면 방향 외 방향을 포함할 수 있다.The specific direction may include a planar direction and an out-of-plane direction.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 검출된 각 치아에 대한 2개 이상 오브젝트를 면으로 포함하는 3차원 오브젝트를 형성하여 검출 대상의 오랄 스캔 영상에 표시하는 표시 단계를 더 포함할 수 있다.A method for detecting a tooth object in an oral scan image according to an embodiment of the present invention comprises a display step of forming a three-dimensional object including two or more objects for each detected tooth as a surface and displaying it on an oral scan image of a detection target may further include.
상기 표시 단계는 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 중 적어도 어느 하나와, 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 함께 표시하는 단계를 포함할 수 있다.The displaying may include displaying at least one of location, center point, and size information of each detected object, and displaying each detected object on an oral scan image of a detection target.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치는 학습 대상의 오랄 스캔 영상에서 치아를 포함한 관심 영역에 대해 복수 방향에서 각 치아에 대한 오브젝트를 형성한 학습데이터를 학습한 학습 모델을 이용한 검출 장치로서, (1) 학습 모델을 저장한 저장부, (2) 저장부에 저장된 학습 모델을 이용하여 검출 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 제어부를 포함한다.An apparatus for detecting a tooth object in an oral scan image according to an embodiment of the present invention is a learning model obtained by learning learning data in which objects for each tooth are formed in a plurality of directions with respect to a region of interest including teeth in an oral scan image of a learning target. A detection device using (1) a storage unit storing a learning model, and (2) a control unit for detecting objects in multiple directions of each tooth in an oral scan image of a detection target using the learning model stored in the storage unit do.
상기 제어부는 검출된 각 오브젝트의 위치, 중심점 및 크기 정보를 추출할 수 있다.The controller may extract information on the position, center point, and size of each detected object.
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치는 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 표시하는 표시부를 더 포함할 수 있다.The apparatus for detecting a tooth object in an oral scan image according to an embodiment of the present invention may further include a display unit for displaying each detected object in the oral scan image of the detection target.
상기 학습데이터는 각 치아에 대하여 서로 다른 2개 이상 방향(특정 방향)에서의 오브젝트를 포함할 수 있다.The learning data may include objects in two or more different directions (specific directions) for each tooth.
상기 특정 방향은 평면 방향과 평면 방향 외 방향을 포함할 수 있다.The specific direction may include a planar direction and an out-of-plane direction.
상기 표시부는 검출된 각 치아에 대한 2개 이상 오브젝트를 면으로 포함하는 3차원 오브젝트를 형성하여 검출 대상의 오랄 스캔 영상에 표시할 수 있다.The display unit may form a three-dimensional object including two or more objects for each detected tooth as a surface and display it on an oral scan image of a detection target.
상기 표시부는 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 중 적어도 어느 하나와, 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 함께 표시할 수 있다.The display unit may display at least one of location, center point, and size information of each detected object, and each detected object on the oral scan image of the detection target.
상기와 같이 구성되는 본 발명은 구강 내부에 대한 오랄 스캔 영상에서 각 치아에 대응될 수 있는 오브젝트를 간편하게 검출할 수 있어, 그 검출 시간 및 효율성을 향상시킬 수 있다. The present invention configured as described above can easily detect an object corresponding to each tooth in the oral scan image of the inside of the oral cavity, thereby improving the detection time and efficiency.
또한, 본 발명은 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 등의 추출 정보를 제공할 수 있으며, 그 결과 추출 정보가 CT 영상과의 영상 정합을 위한 기준점, 임플란트 시술 식립 위치 파악 및 악궁 형태 파악 등의 작업에 활용될 수 있어 활용성이 증대될 뿐 아니라, 추출 정보의 정확성이 높아 해당 작업의 정확성을 향상시킬 수 있는 이점이 있다.In addition, the present invention can provide extraction information such as the position, center point, and size information of each detected object, and as a result, the extracted information is a reference point for image matching with a CT image, an implant operation placement position identification, and an arch shape identification It can be used for work such as, etc., and not only increases the usability, but also has the advantage of improving the accuracy of the work due to the high accuracy of the extracted information.
도 1은 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치(100)의 블록 구성도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법을 설명하기 위한 순서도이다.
도 3은 제1 학습 대상 오랄 스캔 영상에서 관심 영역(ROI)에서 추출하는 모습을 나타낸다.
도 4는 제2 학습 대상 오랄 스캔 영상의 관심 영역(ROI)에서 4개 방향에 대한 오브젝트를 설정한 모습을 나타낸다.
도 5는 제1 내지 제4 검출 대상의 오랄 스캔 영상에서 오브젝트가 검출된 모습을 나타낸다.
도 6은 제5 검출 대상의 오랄 스캔 영상에서 3차원 오브젝트가 검출된 다양한 방향에서의 모습을 나타낸다.1 is a block diagram of an
2 is a flowchart illustrating a method of detecting a tooth object in an oral scan image according to an embodiment of the present invention.
3 shows a state in which a region of interest (ROI) is extracted from the first learning target oral scan image.
4 shows a state in which objects for four directions are set in a region of interest (ROI) of an oral scan image for a second learning target.
5 is a diagram illustrating a state in which an object is detected in an oral scan image of first to fourth detection targets.
6 is a view illustrating a 3D object detected in various directions in an oral scan image of a fifth detection target.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.The above object and means of the present invention and its effects will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily understand the technical idea of the present invention. will be able to carry out In addition, in the description of the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments, and is not intended to limit the present invention. In this specification, the singular form also includes the plural as the case may be, unless otherwise specified in the text. In this specification, terms such as "include", "provide", "provide" or "have" do not exclude the presence or addition of one or more other elements other than the mentioned elements.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In this specification, terms such as “or” and “at least one” may indicate one of the words listed together, or a combination of two or more. For example, “or B” and “at least one of B” may include only one of A or B, and may include both A and B.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.In the present specification, descriptions according to “for example” and the like may not exactly match the information presented, such as recited properties, variables, or values, tolerances, measurement errors, limits of measurement accuracy, and other commonly known factors. The embodiments of the present invention according to various embodiments of the present invention should not be limited by effects such as modifications including .
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.In this specification, when it is described that a certain element is 'connected' or 'connected' to another element, it may be directly connected or connected to the other element, but other elements may exist in between. It should be understood that there may be On the other hand, when it is mentioned that a certain element is 'directly connected' or 'directly connected' to another element, it should be understood that there is no other element in the middle.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.In this specification, when it is described that a certain element is 'on' or 'adjacent' to another element, it may be directly in contact with or connected to the other element, but another element may exist in the middle. It should be understood that On the other hand, when it is described that a certain element is 'immediately on' or 'directly adjacent to' another element, it may be understood that another element does not exist in the middle. Other expressions describing the relationship between elements, for example, 'between' and 'directly between', etc. can be interpreted similarly.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.In this specification, terms such as 'first' and 'second' may be used to describe various components, but the components should not be limited by the above terms. In addition, the above terms should not be construed as limiting the order of each component, and may be used for the purpose of distinguishing one component from another. For example, a 'first component' may be termed a 'second component', and similarly, a 'second component' may also be termed a 'first component'.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless otherwise defined, all terms used herein may be used with meanings commonly understood by those of ordinary skill in the art to which the present invention pertains. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치(100)의 블록 구성도를 나타낸다.1 is a block diagram of an
본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치(100)는 전자장치로서, 구강 내부에 대한 오랄 스캔 영상을 처리하는 장치이다. 이때, 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치는 오랄 스캔 영상과 CT 영상 간의 영상 정합을 수행하는 장치일 수도 있다.The
오랄 스캔 영상은 외부로 드러난 치아의 치관 부분의 형상과 치아 주변의 잇몸 형상에 대한 정보를 제공할 수 있다. 이때, 오랄 스캔 영상은 오랄 스캐너(oral scanner) 등을 통해 피시술자의 구강 내부를 직접 스캔하여 획득되거나 피시술자의 구강 내부를 음각으로 본뜬 인상 모델이나 인상 모델의 양각을 통해 생성한 석고 모델을 스캔하여 획득되는 것도 가능하며, 인상 모델의 스캔 이미지는 반전되어 오랄 스캔 영상으로 사용될 수 있다.The oral scan image may provide information on the shape of the crown portion of the tooth exposed to the outside and the shape of the gum around the tooth. At this time, the oral scan image is obtained by directly scanning the inside of the recipient's oral cavity through an oral scanner, etc. It is also possible, and the scan image of the impression model can be inverted and used as an oral scan image.
도 1을 참조하면, 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 장치(100)는 통신부(110), 입력부(120), 표시부(130), 저장부(140) 및 제어부(150)를 포함할 수 있다.Referring to FIG. 1 , an
통신부(110)는 영상획득장치(미도시), 서버(미도시) 등의 외부장치와의 통신을 수행하는 구성으로서, 영상데이터를 수신할 수 있다. 예를 들어, 통신부(110)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication) 등의 무선 통신을 수행할 수 있고, 케이블 통신 등의 유선 통신을 수행할 수 있다. The
이때, 영상데이터는 오랄 스캔 영상데이터 외에도, 다른 측정 방식으로 측정한 기타 영상데이터를 포함할 수 있다. 예를 들어, 기타 영상데이터는 CT 영상데이터, MRI 영상데이터 등을 포함할 수 있다. In this case, the image data may include other image data measured by other measurement methods in addition to the oral scan image data. For example, the other image data may include CT image data, MRI image data, and the like.
입력부(120)는 사용자의 입력에 대응하여, 입력데이터를 발생시킨다. 입력부(120)는 적어도 하나의 입력수단을 포함한다. 예를 들어, 입력부(120)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다. The
표시부(130)는 전처리 장치(100)의 동작에 따른 표시데이터를 표시한다. 이러한 표시데이터는 영상데이터를 포함할 수 있다. 예를 들어, 표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 또한, 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다.The
저장부(140)는 치아 오브젝트 검출 장치(100)의 동작에 필요한 각종 정보, 프로그램들을 저장한다. 예를 들어, 저장부(140)는 영상획득장치 등으로부터 수신된 영상데이터와, 후술할 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법에 관련된 알고리즘 등을 저장할 수 있다. 또한, 저장부(140)는 학습 모델을 저장할 수 있다.The
제어부(150)는 영상획득장치 또는 서버 등으로부터 수신되거나 저장부(140)에 기 저장된 오랄 스캔 영상데이터에 대해 치아 오브젝트 검출 동작을 수행한다. 이를 위해, 제어부(150)는 영상획득장치 또는 서버 등으로부터 오랄 스캔 영상데이터를 수신하여 저장부(140)에 저장할 수 있다. 또한, 제어부(150)는 통신부(110), 입력부(120), 표시부(130) 및 저장부(140)의 동작을 제어할 수 있다.The
이하, 제어부(150)에 의해 제어 동작되는 본 발명의 일 실시예에 따른 하는 오랄 스캔 영상에서의 치아 오브젝트 검출 방법에 대하여 설명하도록 한다. Hereinafter, a method for detecting a tooth object in an oral scan image according to an embodiment of the present invention controlled by the
도 2는 본 발명의 일 실시예에 따른 오랄 스캔 영상에서의 치아 오브젝트 검출 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a method of detecting a tooth object in an oral scan image according to an embodiment of the present invention.
도 2를 참조하면, 오랄 스캔 영상에서의 치아 오브젝트 검출 방법은 오랄 스캔 영상데이터에 대해 영상 처리를 수행하는 S201 내지 S204를 포함할 수 있다.Referring to FIG. 2 , the method of detecting a tooth object in an oral scan image may include steps S201 to S204 of performing image processing on the oral scan image data.
도 3은 제1 학습 대상 오랄 스캔 영상에서 관심 영역(ROI)에서 추출하는 모습을 나타낸다.3 shows a state in which a region of interest (ROI) is extracted from the first learning target oral scan image.
먼저, 도 3을 참조하면, S201에서, 제어부(150)는 학습 대상의 오랄 스캔 영상(이하, “학습 오랄 스캔 영상”이라 지칭함)에서 치아가 포함된 관심 영역(ROI)을 추출한다. 즉, 학습 오랄 스캔 영상은 치아 영역과 치아 외 영역을 포함할 수 있으며, S201에서, 제어부(150)는 이러한 치아 영역을 관심 영역(ROI)으로 추출할 수 있다.First, referring to FIG. 3 , in S201 , the
이후, S202에서, 제어부(150)는 추출된 관심 영역(ROI)의 복수 방향에서 각 치아에 대한 오브젝트(OB1)를 형성한 학습데이터(training data)로 학습시켜 학습 모델을 생성한다. 이때, 제어부(150)는 머신 러닝(machine learning) 기법을 이용하여 준비된 학습데이터를 학습시킬 수 있다. Thereafter, in S202 , the
예를 들어, 머신 러닝 기법은 지도 학습(supervised Learning) 기법으로서, Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of classifiers, Deep Learning 등의 기법 중에 하나일 수 있다. For example, machine learning techniques are supervised learning techniques, artificial neural networks, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of It may be one of techniques such as classifiers and deep learning.
즉, 학습데이터는 추출된 관심 영역(ROI)의 학습 오랄 스캔 영상을 입력값으로, 해당 영상에서 각 치아에 대해 형성한 오브젝트(OB)를 해당 입력값에 대한 셋(set)을 이루는 결과값(목표값)으로 각각 포함할 수 있다. 이때, 오브젝트(OB1)는 학습 오랄 스캔 영상의 관심 영역(ROI)에서 다양한 방향에서 설정된 것으로서, 각 치아의 형상에 대응하도록 해당 방향에서 해당 치아의 형상을 간략화한 다양한 형상(해당 방향에서 해당 치아의 면적을 덮되 그 치아 형상 보다 단순한 형상), 즉 원형 또는 다각형 등의 형상일 수 있다. 또한, 이러한 오브젝트(OB1)에 대한 학습데이터의 결과값은 관심 영역(ROI)에서 해당 오브젝트(OB1)가 차지하는 위치 정보, 중심점 정보 및 크기 정보를 포함할 수 있다. 즉, 도 4 내지 도 6을 참조하면, 오브젝트는 오랄 스캔 영상의 원래 영상에서 추가되어 새롭게 생성되는 이미지이다. 즉, 오브젝트는 오랄 스캔 영상에서 치아 이미지에 대한 형상을 간략화한 형상에 관한 이미지로서, 오랄 스캔 영상의 해당 치아 이미지와 다른 새로운 이미지이다.That is, the learning data is an input value of the extracted learning oral scan image of the region of interest (ROI), and an object (OB) formed for each tooth in the image is a result value ( target value). At this time, the object OB1 is set in various directions in the region of interest (ROI) of the learning oral scan image, and has various shapes (the shape of the corresponding tooth in the corresponding direction) in which the shape of the corresponding tooth is simplified in the corresponding direction to correspond to the shape of each tooth. It may be a shape that covers the area but is simpler than the shape of the tooth), that is, a shape such as a circle or a polygon. In addition, the result value of the learning data for the object OB1 may include position information, center point information, and size information occupied by the object OB1 in the region of interest ROI. That is, referring to FIGS. 4 to 6 , the object is an image newly created by adding it to the original image of the oral scan image. That is, the object is an image related to a shape obtained by simplifying the shape of the tooth image in the oral scan image, and is a new image different from the corresponding tooth image of the oral scan image.
또한, 학습 모델은 학습데이터를 이용하여 머신 러닝 기법으로 지도 학습시킨 모델로서, 해당 입력값 및 결과값을 매칭시키기 위한 규칙 함수를 포함한다.In addition, the learning model is a model supervised by a machine learning technique using training data, and includes a rule function for matching the input value and the result value.
도 4는 학습 대상 오랄 스캔 영상의 관심 영역(ROI)에서 4개 방향에 대한 오브젝트(OB1)를 설정한 모습을 나타낸다. 즉, 도 4(a)는 평면 방향, 도 4(b)는 정면 방향, 도 4(c)는 좌측 방향, 도 4(d)는 우측 방향을 각각 나타낸다.4 shows a state in which an object OB1 for four directions is set in a region of interest (ROI) of an oral scan image to be learned. That is, Fig. 4(a) shows a planar direction, Fig. 4(b) shows a front direction, Fig. 4(c) shows a left direction, and Fig. 4(d) shows a right direction, respectively.
예를 들어, 도 4에 도시된 바와 같이, 학습 오랄 스캔 영상의 관심 영역(ROI)에서 4개 방향, 즉 평면, 정면, 좌측 및 우측 방향에 대한 오브젝트(OB1)을 설정할 수 있다. 이때, 오브젝트(OB1)의 설정은 입력부(120)를 통해 사용자가 설정할 수 있다. 그 결과, 학습데이터는 각 치아에 대해 적어도 2개 방향(특정 방향)에서의 오브젝트(OB1)를 포함할 수 있다. 이때, 특정 방향은 평면 방향과 평면 방향 외 방향(정면 방향, 좌측 방향 또는 우측 방향)을 포함할 수 있다. For example, as shown in FIG. 4 , the object OB1 for four directions, ie, plane, front, left, and right directions, may be set in the region of interest (ROI) of the training oral scan image. In this case, the setting of the object OB1 may be set by the user through the
즉, 관심 영역(ROI)의 정면 방향에서 보이는 1번 내지 3번 치아들에 대해서는 관심 영역(ROI)의 평면 방향과 정면 방향에서 각각 오브젝트(OB1)가 형성될 수 있다. 또한, 관심 영역(ROI)의 좌측 방향에서 보이는 좌측 4번 내지 좌측 8번 치아들에 대해서는 관심 영역(ROI)의 좌측 방향과 평면 방향에서 각각 오브젝트(OB1)가 형성될 수 있다. 또한, 관심 영역(ROI)의 우측 방향에서 보이는 우측 4번 내지 우측 8번 치아들에 대해서는 관심 영역(ROI)의 우측 방향과 평면 방향에서 각각 오브젝트(OB1) 형성될 수 있다. 또한, 이와 같이 관심 영역(ROI)의 평면 방향에 대해서는 모든 치아들에 대한 오브젝트(OB1)가 형성될 수 있다.That is, the object OB1 may be formed in the plane direction and the front direction of the region of interest ROI for teeth 1 to 3 seen in the front direction of the region of interest ROI. In addition, with respect to left 4th to left 8th teeth seen in the left direction of the region of interest ROI, an object OB1 may be formed in the left direction and the plane direction of the region of interest ROI, respectively. In addition, the object OB1 may be formed in the right direction and the planar direction of the region of interest ROI with respect to the right fourth to right eighth teeth seen in the right direction of the region of interest ROI. Also, the object OB1 for all teeth may be formed in the plane direction of the region of interest ROI as described above.
평면 방향의 오브젝트(OB1)는 해당 치아의 평면 방향에서의 형상을 간략화한 형상이며, 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 평면 방향 외 방향에서의 형상을 간략화한 형상이다. 이에 따라, 평면 방향의 오브젝트(OB1)는 해당 치아의 평면에 대한 정보를 제공하는 매체로 작용할 수 있고, 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 일 측면(높이 등)에 대한 정보를 제공하는 매체로 작용할 수 있다.The object OB1 in the planar direction is a shape obtained by simplifying the shape of the corresponding tooth in the planar direction, and the object OB1 in the out-of-plane direction is a shape obtained by simplifying the shape in the out-of-planar direction of the corresponding tooth. Accordingly, the object OB1 in the plane direction may act as a medium providing information about the plane of the corresponding tooth, and the object OB1 in the out-of-plane direction provides information on one side (height, etc.) of the corresponding tooth. It can serve as a medium to provide.
예를 들어, 하악의 치아에 대한 평면 방향의 오브젝트(OB1)는 해당 치아의 상부면에 대한 정보를 제공하는 매체로 작용할 수 있으며, 하악의 치아에 대한 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 일 측면에 대한 정보를 제공하는 매체로 작용할 수 있다. 마찬가지로, 상악의 치아에 대한 평면 방향의 오브젝트(OB1)는 해당 치아의 하부면에 대한 정보를 제공하는 매체로 작용할 수 있으며, 상악의 치아에 대한 평면 방향 외 방향의 오브젝트(OB1)는 해당 치아의 일 측면에 대한 정보를 제공하는 매체로 작용할 수 있다.For example, the object OB1 in the plane direction with respect to the teeth of the mandible may act as a medium providing information on the upper surface of the corresponding tooth, and the object OB1 in the out-of-plane direction with respect to the teeth of the mandible corresponds to the corresponding object OB1. It may act as a medium for providing information on one side of the tooth. Similarly, the object OB1 in the plane direction with respect to the maxillary tooth may act as a medium for providing information on the lower surface of the corresponding tooth, and the object OB1 in the out-of-plane direction with respect to the maxillary tooth is the corresponding tooth. It can act as a medium that provides information about one aspect.
이후, S203에서, 제어부(150)는 S202에서 생성된 학습 모델을 이용하여 검출 대상의 오랄 스캔 영상(이하, “검출 오랄 스캔 영상”이라 지칭함)에서 각 치아의 복수 방향에 대한 오브젝트(OB2)를 검출한다. 즉, 제어부(150)는 검출 오랄 스캔 영상을 입력값으로 학습 모델에 입력시킬 수 있으며, 그 결과, 학습 모델은 해당 검출 오랄 스캔 영상에 대한 오브젝트(OB2)를 그 결과값으로 출력할 수 있다.Thereafter, in S203 , the
도 5는 제1 내지 제4 검출 대상의 오랄 스캔 영상에서 오브젝트(OB2)가 검출된 모습을 나타내며, 도 6은 제5 검출 대상의 오랄 스캔 영상에서 3차원 오브젝트(OB3)가 검출된 다양한 방향에서의 모습을 나타낸다.FIG. 5 shows a state in which the object OB2 is detected in the oral scan images of the first to fourth detection targets, and FIG. 6 is a view in which the 3D object OB3 is detected in various directions in the oral scan images of the fifth detection target. shows the appearance of
도 5를 참조하면, 학습 모델은 S202의 복수 방향에 대응하는 오브젝트(OB2)를 검출 오랄 스캔 영상에서 출력(검출)할 수 있다. Referring to FIG. 5 , the learning model may output (detect) an object OB2 corresponding to a plurality of directions in S202 from a detection oral scan image.
즉, 검출 오랄 스캔 영상의 정면 방향에서 보이는 1번 내지 3번 치아들에 대해서는 검출 오랄 스캔 영상의 평면 방향과 정면 방향에서 각각 해당 오브젝트(OB2)가 검출될 수 있다. 또한, 검출 오랄 스캔 영상의 좌측 방향에서 보이는 좌측 4번 내지 좌측 8번 치아들에 대해서는 검출 오랄 스캔 영상의 좌측 방향과 평면 방향에서 각각 오브젝트(OB2)기 검출될 수 있다. 또한, 검출 오랄 스캔 영상의 우측 방향에서 보이는 우측 4번 내지 우측 8번 치아들에 대해서는 검출 오랄 스캔 영상의 우측 방향과 평면 방향에서 각각 오브젝트(OB1)가 검출될 수 있다. 또한, 이와 같이 관심 영역(ROI)의 평면 방향에 대해서는 모든 치아들에 대한 오브젝트(OB2)가 검출될 수 있다.That is, the corresponding object OB2 may be detected in the plane direction and the front direction of the detection oral scan image with respect to teeth 1 to 3 seen in the front direction of the detected oral scan image. In addition, the object OB2 may be detected in the left direction and the plane direction of the detection oral scan image with respect to left 4th to left 8th teeth seen in the left direction of the detection oral scan image. In addition, the object OB1 may be detected in the right direction and the plane direction of the detection oral scan image with respect to right 4th to right 8th teeth seen in the right direction of the detection oral scan image. Also, the object OB2 for all teeth may be detected in the plane direction of the region of interest ROI as described above.
한편, S203에서, 제어부(150)는 검출된 각 치아에 대한 2개 이상 오브젝트(OB2)를 이용하여 3차원 오브젝트(OB3)를 생성(검출)할 수 있다. 즉, 제어부(150)는 검출된 각 치아에 대한 2개 이상 오브젝트(OB2)를 면으로 포함하는 3차원 형상을 생성하여, 해당 3차원 형상을 3차원 오브젝트(OB3)로 검출할 수 있다.Meanwhile, in S203 , the
이때, 학습 모델이 생성하는 오브젝트(OB2)는 각 치아의 형상에 대응하도록 해당 방향에서 해당 치아의 형상을 간략화한 다양한 형상(해당 방향에서 해당 치아의 면적을 덮되 그 치아 형상 보다 단순한 형상), 즉 원형 또는 다각형 등의 형상일 수 있다. 또한, 3차원 오브젝트(OB3)는 각 치아의 3차원 형상에 대응하도록 해당 치아의 3차원 형상을 간략화한 다양한 3차원 형상(해당 치아의 부피를 덮되 그 치아 3차원 형상 보다 단순한 형상), 즉 원기둥, 타원기둥, 다각기둥, 원뿔대 또는 다각뿔대 등의 형상일 수 있다. At this time, the object OB2 generated by the learning model has various shapes that simplify the shape of the corresponding tooth in the corresponding direction to correspond to the shape of each tooth (a shape that covers the area of the corresponding tooth in the corresponding direction but is simpler than the shape of the tooth), that is, It may have a shape such as a circle or a polygon. In addition, the three-dimensional object OB3 has various three-dimensional shapes in which the three-dimensional shape of the corresponding tooth is simplified to correspond to the three-dimensional shape of each tooth (a shape that covers the volume of the corresponding tooth but is simpler than the three-dimensional shape of the tooth), that is, a cylinder. , may be in the form of an elliptical column, a polygonal column, a truncated cone, or a polygonal truncated pyramid.
예를 들어, 도 6에 도시된 바와 같이, 3차원 오브젝트(OB3)가 직육면체인 경우, 제어부(150)는 어떤 치아에 대한 2개의 오브젝트(OB2)들을 제1면과 제2면으로 가지되 해당 제1면 및 제2면과 수직 관계되는 가상의 면들을 나머지 면들로 가지는 직육면체를 생성함으로써 해당 치아에 대한 직육면체 형상의 3차원 오브젝트(OB3)를 검출할 수 있다.For example, as shown in FIG. 6 , when the three-dimensional object OB3 is a rectangular parallelepiped, the
즉, 평면 방향의 오브젝트(OB2)는 해당 치아의 평면 방향에서의 형상을 대표하며, 평면 방향 외 방향의 오브젝트(OB2)는 해당 치아의 평면 방향 외 방향에서의 형상을 대표한다. 이에 따라, 평면 방향의 오브젝트(OB2)는 해당 치아의 평면에 대한 정보를 제공하는 매체로 작용할 수 있고, 평면 방향 외 방향의 오브젝트(OB2)는 해당 치아의 일 측면(높이 등)에 대한 정보를 제공하는 매체로 작용할 수 있다.That is, the object OB2 in the planar direction represents the shape of the corresponding tooth in the planar direction, and the object OB2 in the out-of-plane direction represents the shape in the out-of-planar direction of the corresponding tooth. Accordingly, the object OB2 in the plane direction may act as a medium providing information on the plane of the corresponding tooth, and the object OB2 in the out-of-plane direction provides information on one side (height, etc.) of the corresponding tooth. It can serve as a medium to provide.
그 결과, 제어부(150)는 평면 방향의 오브젝트(OB2)를 해당 치아의 상부면 또는 하부면으로 가지고 평면 방향 외 방향의 오브젝트(OB2)를 해당 치아의 일 츨측면으로 가지는 3차원 오브젝트(OB3)를 검출할 수 있다. 이때, 제어부(150)는 평면 방향의 오브젝트(OB2) 및 평면 방향 외 방향의 오브젝트(OB2)가 이루는 면을 제외한 나머지 면들을 가상의 면으로 추가할 수 있다. 즉, 제어부(150)는 평면 방향의 오브젝트(OB2)에 대해 수직한 가상의 면을 다른 일 측면으로 하나 이상 추가할 수 있고, 평면 방향의 오브젝트(OB2)에 평행 대응하는 가상의 면을 타 평면(해당 치아가 하악에 포함될 경우 하측면, 해당 치아가 상악에 포함될 경우 싱측면)으로 추가할 수 있다.As a result, the
이후, S203에서, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)의 위치 정보(오랄 스캔 영상에서의 위치 좌표), 중심점 정보(오랄 스캔 영상에서의 중심점 좌표) 및 크기 정보를 추출할 수 있다. 이때, 오브젝트(OB2)의 위치 정보, 중심점 정보 및 크기 정보는 학습 모델이 입력값에 대한 결과값으로 오브젝트(OB2)와 함께 출력할 수 있다. Thereafter, in S203, the
다만, 제어부(150)는 각 3차원 오브젝트(OB3)를 생성하기 위해 사용된 2개 이상의 관련 오브젝트(OB2)에 대한 위치 정보, 중심점 정보 및 크기 정보를 이용하여, 해당 3차원 오브젝트(OB3)의 위치 정보, 중심점 정보 및 크기 정보를 추출할 수 있다. However, the
예를 들어, 도 6에 도시된 바와 같이, 3차원 오브젝트(OB3)가 직육면체인 경우, 제어부(150)는 직육면체의 제1면과 제2면을 구성하는 오브젝트(OB2)들의 위치 정보, 중심점 정보 및 크기 정보를 이용하여, 해당 3차원 오브젝트(OB3)의 위치 정보, 중심점 정보 및 크기 정보를 추출할 수 있다. For example, as shown in FIG. 6 , when the three-dimensional object OB3 is a rectangular parallelepiped, the
이후, S204에서, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)를 검출 오랄 스캔 영상에 표시한다. 즉, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)의 위치 정보, 중심점 정보 및 크기 정보를 이용하여, 검출 오랄 스캔 영상에 각 오브젝트(OB2, OB3)를 표시할 수 있다. 다만, 각 치아에 대한 구분을 보다 명확하기 위해, 도 6에 도시된 바와 같이, 제어부(150)는 검출된 오브젝트(OB2, OB3)를 각 치아 별로 다른 색으로 검출 오랄 스캔 영상에 표시할 수 있다.Thereafter, in S204 , the
이때, 제어부(150)는 검출된 각 오브젝트(OB2, OB3)에 대한 위치 정보, 중심점 정보 및 크기 정보 중 적어도 어느 하나와, 검출된 각 오브젝트(OB2, OB3)를 검출 오랄 스캔 영상에 함께 표시할 수 있다.In this case, the
한편, 도 3 내지 도 6은 하악의 치아들에 대해서만 도시하였지만, 본 발명이 이에 한정되는 것은 아니며, 본 발명에 따른 오브젝트 검출 동작 방법은 상악의 치아들에 대해서도 동일하게 적용될 수 있다.Meanwhile, although FIGS. 3 to 6 show only the teeth of the mandible, the present invention is not limited thereto, and the method for detecting an object according to the present invention may be equally applied to teeth of the upper jaw.
상기와 같이 구성되는 본 발명은 구강 내부에 대한 오랄 스캔 영상에서 각 치아에 대응될 수 있는 오브젝트(OB2, OB3)를 간편하게 검출할 수 있어, 그 검출 시간 및 효율성을 향상시킬 수 있다. The present invention configured as described above can easily detect the objects OB2 and OB3 corresponding to each tooth in the oral scan image of the inside of the oral cavity, thereby improving the detection time and efficiency.
또한, 본 발명은 검출된 각 오브젝트(OB2, OB3)의 위치, 중심점 및 크기 정보 등의 추출 정보를 제공할 수 있으며, 그 결과 추출 정보가 CT 영상과의 영상 정합을 위한 기준점, 임플란트 시술 식립 위치 파악 및 악궁 형태 파악 등의 작업에 활용될 수 있어 활용성이 증대될 뿐 아니라, 추출 정보의 정확성이 높아 해당 작업의 정확성을 향상시킬 수 있는 이점이 있다.In addition, the present invention can provide extraction information such as location, center point, and size information of each detected object (OB2, OB3), and as a result, the extracted information is a reference point for image matching with a CT image, implantation location, and the like. It can be used for tasks such as grasping and grasping the shape of the arch, and not only increases the usability, but also has the advantage of improving the accuracy of the work due to the high accuracy of the extracted information.
즉, CT 영상과의 영상 정합 시, 다수의 오브젝트(OB2, OB3)에 대한 위치 정보 또는 중심점 정보 등을 영상 정합의 기준점으로 활용할 수 있는데, 해당 정보는 종래에 곡률 정보를 이용한 각 치아 검출 방식 보다 정확할 수 있어, 이에 따른 영상 정합의 정확성을 향상시킬 수 있다.That is, when image matching with a CT image, location information or center point information on a plurality of objects (OB2, OB3) can be used as a reference point for image registration, and the information is more useful than the conventional method of detecting each tooth using curvature information. may be accurate, thereby improving the accuracy of image registration.
또한, 임플란트 시술 식립 위치 및 악궁 형태 파악 시, 대상 오랄 스캔 영상에 표시되는 다수의 오브젝트(OB2, OB3)와, 이에 대한 위치 정보, 중심점 정보 또는 크기 정보를 이용할 경우, 치아가 존재하는 위치, 치아가 빠진 위치, 악궁 형태 등을 보다 쉽게 판단할 수 있을 뿐 아니라, 해당 식립 위치를 보다 정확히 계산할 수 있다.In addition, when determining the implant placement position and the shape of the arch, when using a plurality of objects (OB2, OB3) displayed on the target oral scan image, and their position information, center point information, or size information, the position of the tooth, the tooth It is possible to more easily determine the missing position, the shape of the arch, and the like, and more accurately calculate the corresponding implantation position.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, although specific embodiments have been described, various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention is not limited to the described embodiments, and should be defined by the following claims and their equivalents.
100: 전처리 장치 110: 통신부
120: 입력부 130: 표시부
140: 저장부 150: 제어부
OB: 오브젝트 ROI: 관심 영역100: preprocessor 110: communication unit
120: input unit 130: display unit
140: storage unit 150: control unit
OB: object ROI: region of interest
Claims (8)
치아가 포함된 치아 영역과 치아가 비 포함된 치아 외 영역을 포함하는 학습 대상의 오랄 스캔 영상에서 치아 영역을 포함하는 관심 영역을 추출하는 단계;
추출된 관심 영역의 복수 방향에서 각 치아에 대한 오브젝트를 포함한 학습데이터를 이용하여 머신 러닝 기법으로 학습시키되, 각 치아에 대하여 서로 다른 2개 이상 방향인 평면 방향과 평면 방향 외 방향에서의 오브젝트를 포함한 학습데이터를 이용하여 학습시켜, 학습 모델을 생성하는 단계;
학습 모델을 이용하여 검출 대상의 오랄 스캔 영상(검출 오랄 스캔 영상)에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 단계;
검출된 각 치아에 대한 서로 다른 2개 이상 방향의 각 오브젝트를 면으로 포함하는 3차원 오브젝트를 형성하는 단계;
검출된 각 오브젝트의 위치, 중심점 및 크기 정보를 추출하는 단계; 및
검출 대상의 오랄 스캔 영상에 형성된 3차원 오브젝트를 표시하는 단계;
를 포함하며,
상기 학습데이터는 추출된 관심 영역의 학습 오랄 스캔 영상을 입력값으로, 해당 영상에서 각 치아에 대해 형성한 오브젝트를 해당 입력값에 대한 셋(set)을 이루는 결과값으로 각각 포함하고,
상기 학습데이터의 결과값은 관심 영역에서 해당 오브젝트가 차지하는 위치 정보, 중심점 정보 및 크기 정보를 포함하며,
상기 학습데이터의 결과값은 1번 내지 3번 치아들의 경우 관심 영역의 평면 및 정면 방향에서 각각 간략화한 오브젝트를 포함하고, 좌측 4번 내지 좌측 8번 치아들의 경우 관심 영역의 좌측 및 평면 방향에서 각각 간략화한 오브젝트를 포함하며, 우측 4번 내지 우측 8번 치아들의 경우 관심 영역의 우측 및 평면 방향에서 각각 간략화한 오브젝트를 포함하고,
상기 검출하는 단계에서, 검출 오랄 스캔 영상을 입력값으로 학습 모델에 입력시킴으로써 해당 검출 오랄 스캔 영상에 대한 결과값인 각 치아의 복수 방향에 대한 오브젝트를 검출하되, 1번 내지 3번 치아들의 경우 검출 오랄 스캔 영상의 평면 및 정면 방향에서 각각 오브젝트를 검출하고, 좌측 4번 내지 좌측 8번 치아들의 경우 검출 오랄 스캔 영상의 좌측 및 평면 방향에서 각각 오브젝트를 검출하며, 우측 4번 내지 우측 8번 치아들의 경우 검출 오랄 스캔 영상의 우측 및 평면 방향에서 각각 오브젝트를 검출하고,
상기 추출하는 단계에서, 직육면체의 3차원 오브젝트의 제1면과 제2면을 구성하는 오브젝트들의 위치 정보, 중심점 정보 및 크기 정보를 이용하여 해당 직육면체의 3차원 오브젝트의 위치 정보, 중심점 정보 및 크기 정보를 추출하며,
상기 형성하는 단계에서, 어떤 치아에 대한 2개의 오브젝트들을 제1면과 제2면으로 가지되 해당 제1면 및 제2면과 수직 관계되는 가상의 면들을 나머지 면들로 가지는 직육면체의 3차원 오브젝트를 형성하고,
상기 표시하는 단계에서, 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 중 적어도 어느 하나를, 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 함께 표시하며,
상기 검출된 각 오브젝트에 대한 정보는 오랄 스캔 영상과 CT 영상의 영상 정합 시, 임플란트 시술 식립 위치 파악 시 또는 악궁 형태 파악 시에 활용되는 방법.In an oral scan image, a method of detecting to generate an image related to a simplified shape of a tooth image but a new image different from the corresponding tooth image, the method comprising:
extracting a region of interest including a tooth region from an oral scan image of a learning object including a tooth region including teeth and an extra-tooth region without teeth;
The machine learning technique is used to learn by using the learning data including the object for each tooth in the plurality of directions of the extracted region of interest. Learning by using the learning data, generating a learning model;
detecting objects in multiple directions of each tooth from an oral scan image (detected oral scan image) of a detection target by using a learning model;
forming a three-dimensional object including each object in two or more different directions for each detected tooth as a surface;
extracting position, center point, and size information of each detected object; and
displaying a 3D object formed on an oral scan image of a detection target;
includes,
The learning data includes the extracted learning oral scan image of the region of interest as an input value, and an object formed for each tooth in the image as a result value forming a set for the input value,
The result value of the learning data includes position information, center point information, and size information occupied by the object in the region of interest,
The result value of the learning data includes a simplified object in the plane and front directions of the region of interest in the case of teeth 1 to 3, respectively, and in the case of teeth 4 to 8 on the left, in the left and plane directions of the region of interest, respectively. Includes a simplified object, and in the case of right 4th to right 8th teeth, includes a simplified object in the right and planar directions of the region of interest, respectively,
In the detecting step, by inputting the detection oral scan image to the learning model as an input value, an object for multiple directions of each tooth, which is a result value for the detection oral scan image, is detected, but in the case of teeth 1 to 3, detection is performed. Objects are detected in the plane and front directions of the oral scan image, respectively, in the case of left 4th to left 8th teeth, the object is detected in the left and planar directions of the detected oral scan image, respectively, and the right 4th to right 8th teeth Detects objects in the right and planar directions of the oral scan image, respectively,
In the extracting step, position information, center point information and size information of the three-dimensional object of the cuboid using the position information, center point information, and size information of the objects constituting the first and second surfaces of the three-dimensional object of the cuboid to extract,
In the forming step, a three-dimensional object of a rectangular parallelepiped having two objects for a certain tooth as a first surface and a second surface, and having virtual surfaces perpendicular to the first and second surfaces as the remaining surfaces form,
In the displaying step, at least any one of the position, center point, and size information of each detected object is displayed together with each detected object on the oral scan image of the detection target,
The information on each detected object is used when matching images of an oral scan image and a CT image, determining an implant placement location, or identifying the shape of the arch.
학습 모델을 저장한 저장부; 및
저장부에 저장된 학습 모델을 이용하여 검출 대상의 오랄 스캔 영상에서 각 치아의 복수 방향에 대한 오브젝트를 검출하는 제어부;를 포함하고,
상기 학습 모델은 치아가 포함된 치아 영역과 치아가 비 포함된 치아 외 영역을 포함하는 학습 대상의 오랄 스캔 영상에서 치아 영역을 포함하는 관심 영역에 대해, 복수 방향에서 각 치아에 대한 오브젝트를 포함한 학습데이터를 이용하여 머신 러닝 기법으로 학습되되, 각 치아에 대하여 서로 다른 2개 이상 방향인 평면 방향과 평면 방향 외 방향에서의 오브젝트를 포함한 학습데이터를 이용하여 학습된 모델이며,
상기 학습데이터는 추출된 관심 영역의 학습 오랄 스캔 영상을 입력값으로, 해당 영상에서 각 치아에 대해 형성한 오브젝트를 해당 입력값에 대한 셋(set)을 이루는 결과값으로 각각 포함하고,
상기 학습데이터의 결과값은 관심 영역에서 해당 오브젝트가 차지하는 위치 정보, 중심점 정보 및 크기 정보를 포함하며,
상기 학습데이터의 결과값은 1번 내지 3번 치아들의 경우 관심 영역의 평면 및 정면 방향에서 각각 간략화한 오브젝트를 포함하고, 좌측 4번 내지 좌측 8번 치아들의 경우 관심 영역의 좌측 및 평면 방향에서 각각 간략화한 오브젝트를 포함하며, 우측 4번 내지 우측 8번 치아들의 경우 관심 영역의 우측 및 평면 방향에서 각각 간략화한 오브젝트를 포함하고,
상기 제어부는,
검출 오랄 스캔 영상을 입력값으로 학습 모델에 입력시킴으로써 해당 검출 오랄 스캔 영상에 대한 결과값인 각 치아의 복수 방향에 대한 오브젝트를 검출하되, 1번 내지 3번 치아들의 경우 검출 오랄 스캔 영상의 평면 및 정면 방향에서 각각 오브젝트를 검출하고, 좌측 4번 내지 좌측 8번 치아들의 경우 검출 오랄 스캔 영상의 좌측 및 평면 방향에서 각각 오브젝트를 검출하며, 우측 4번 내지 우측 8번 치아들의 경우 검출 오랄 스캔 영상의 우측 및 평면 방향에서 각각 오브젝트를 검출하고,
검출된 각 치아에 대한 서로 다른 2개 이상 방향의 각 오브젝트를 면으로 포함하는 3차원 오브젝트를 형성하되, 어떤 치아에 대한 2개의 오브젝트들을 제1면과 제2면으로 가지되 해당 제1면 및 제2면과 수직 관계되는 가상의 면들을 나머지 면들로 가지는 직육면체의 3차원 오브젝트를 형성하며,
검출된 각 오브젝트의 위치, 중심점 및 크기 정보를 추출하되, 직육면체의 3차원 오브젝트의 제1면과 제2면을 구성하는 오브젝트들의 위치 정보, 중심점 정보 및 크기 정보를 이용하여 해당 직육면체의 3차원 오브젝트의 위치 정보, 중심점 정보 및 크기 정보를 추출하고,
검출 대상의 오랄 스캔 영상에 형성된 3차원 오브젝트를 표시하되, 검출된 각 오브젝트의 위치, 중심점 및 크기 정보 중 적어도 어느 하나를, 검출된 각 오브젝트를 검출 대상의 오랄 스캔 영상에 함께 표시하며,
상기 검출된 각 오브젝트에 대한 정보는 오랄 스캔 영상과 CT 영상의 영상 정합 시, 임플란트 시술 식립 위치 파악 시 또는 악궁 형태 파악 시에 활용되는 장치.In an oral scan image, an image related to a simplified shape of a tooth image is an apparatus for detecting to generate an object that is a new image different from the corresponding tooth image,
a storage unit for storing the learning model; and
a control unit that detects objects in multiple directions of each tooth from the oral scan image of the detection target using the learning model stored in the storage unit;
The learning model is a learning model that includes objects for each tooth in a plurality of directions for an ROI including a tooth region in an oral scan image of a learning target including a tooth region including teeth and an extra-tooth region without teeth. It is a model learned using machine learning techniques using data, but it is a model learned using learning data including objects in two or more different directions for each tooth, a plane direction and an object in a direction outside the plane direction,
The learning data includes the extracted learning oral scan image of the region of interest as an input value, and an object formed for each tooth in the image as a result value forming a set for the input value,
The result value of the learning data includes position information, center point information, and size information occupied by the object in the region of interest,
The result value of the learning data includes a simplified object in the plane and front directions of the region of interest in the case of teeth 1 to 3, respectively, and in the case of teeth 4 to 8 on the left, in the left and plane directions of the region of interest, respectively. Includes a simplified object, and in the case of right 4th to right 8th teeth, includes a simplified object in the right and planar directions of the region of interest, respectively,
The control unit is
By inputting the detection oral scan image as an input value to the learning model, an object for multiple directions of each tooth, which is a result value for the detection oral scan image, is detected, but in the case of teeth 1 to 3, the plane of the detection oral scan image and Each object is detected in the front direction, and in the case of the left 4th to left 8th teeth, the object is detected in the left and planar directions of the detected oral scan image, respectively, and in the case of the right 4th to right 8th teeth, the detection of the oral scan image Detect objects in the right and plane directions, respectively,
A three-dimensional object including each object in two or more directions different from each other for each detected tooth is formed as a surface, and two objects for a certain tooth are provided as a first surface and a second surface, but the first surface and Forms a three-dimensional object of a rectangular parallelepiped having virtual surfaces perpendicular to the second surface as the remaining surfaces,
The position, center point, and size information of each detected object are extracted, but the position information, center point information, and size information of the objects constituting the first and second surfaces of the three-dimensional object of the cuboid are used to obtain the three-dimensional object of the cuboid. extract location information, center point information, and size information of
Displaying a three-dimensional object formed in the oral scan image of the detection target, and displaying at least any one of location, center point, and size information of each detected object together with each detected object in the oral scan image of the detection target,
The information on each detected object is used when matching images of an oral scan image and a CT image, determining an implant placement location, or identifying a shape of the arch.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190042382A KR102284623B1 (en) | 2019-04-11 | 2019-04-11 | Method and apparatus for detecting tooth object in oral scan image |
| EP20787897.6A EP3954297A4 (en) | 2019-04-11 | 2020-02-26 | Dental object detection method, and image matching method and device using dental object |
| PCT/KR2020/002756 WO2020209496A1 (en) | 2019-04-11 | 2020-02-26 | Dental object detection method, and image matching method and device using dental object |
| CN202080027596.8A CN113645902B (en) | 2019-04-11 | 2020-02-26 | Tooth target detection method and image integration method and device using tooth target |
| US17/602,677 US11978203B2 (en) | 2019-04-11 | 2020-02-26 | Dental object detection method, and image matching method and device using dental object |
| TW109112224A TWI744859B (en) | 2019-04-11 | 2020-04-10 | Method for detecting tooth object and method and apparatus for matching of images using tooth object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190042382A KR102284623B1 (en) | 2019-04-11 | 2019-04-11 | Method and apparatus for detecting tooth object in oral scan image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200120035A KR20200120035A (en) | 2020-10-21 |
| KR102284623B1 true KR102284623B1 (en) | 2021-08-02 |
Family
ID=73034889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190042382A KR102284623B1 (en) | 2019-04-11 | 2019-04-11 | Method and apparatus for detecting tooth object in oral scan image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102284623B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102461343B1 (en) * | 2022-02-24 | 2022-10-31 | 서울대학교산학협력단 | Automatic tooth landmark detection method and system in medical images containing metal artifacts |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418170B (en) * | 2020-12-11 | 2024-03-01 | 法赫光学科技(成都)有限公司 | 3D scanning-based oral examination and identification method |
| KR102496449B1 (en) * | 2021-12-29 | 2023-02-07 | 이마고웍스 주식회사 | Automated method for tooth segmentation of three dimensional scan data using tooth boundary curve and computer readable medium having program for performing the method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010000349A (en) * | 2008-06-04 | 2010-01-07 | Siemens Ag | Method and system for detecting 3d anatomical object using restricted marginal space learning |
| JP2018120283A (en) * | 2017-01-23 | 2018-08-02 | キヤノン株式会社 | Information processing device, information processing method and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9510757B2 (en) * | 2014-05-07 | 2016-12-06 | Align Technology, Inc. | Identification of areas of interest during intraoral scans |
| US10347031B2 (en) * | 2015-03-09 | 2019-07-09 | Carestream Dental Technology Topco Limited | Apparatus and method of texture mapping for dental 3D scanner |
-
2019
- 2019-04-11 KR KR1020190042382A patent/KR102284623B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010000349A (en) * | 2008-06-04 | 2010-01-07 | Siemens Ag | Method and system for detecting 3d anatomical object using restricted marginal space learning |
| JP2018120283A (en) * | 2017-01-23 | 2018-08-02 | キヤノン株式会社 | Information processing device, information processing method and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102461343B1 (en) * | 2022-02-24 | 2022-10-31 | 서울대학교산학협력단 | Automatic tooth landmark detection method and system in medical images containing metal artifacts |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200120035A (en) | 2020-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102284623B1 (en) | Method and apparatus for detecting tooth object in oral scan image | |
| JP6658308B2 (en) | Tooth type determination program, crown position determination apparatus and method | |
| KR102322634B1 (en) | Method and apparatus for matching of images using tooth object | |
| US10204404B2 (en) | Image processing device and image processing method | |
| US20190005668A1 (en) | Imaging device, image processing device, storage medium, and imaging system | |
| US8884968B2 (en) | Modeling an object from image data | |
| US11602259B2 (en) | Image processing apparatus, display system image processing method, and storage medium that processes an image of dentition including a plurality of teeth in an oral cavity | |
| WO2006054425A1 (en) | Three-dimensional measuring instrument, three-dimensional measuring method, and three-dimensional measuring program | |
| JP6862750B2 (en) | Distance measuring device, distance measuring method and program | |
| CN109426835A (en) | Information processing unit, the control method of information processing unit and storage medium | |
| CN105025839B (en) | Use the method and apparatus of intraoral scanner control computer program | |
| KR102502310B1 (en) | Color identification using infrared imaging | |
| CN106663327A (en) | Automatic restitching of 3-D surfaces | |
| JPWO2019021456A1 (en) | Learning device, recognition device, learning method, recognition method, and program | |
| US20220346913A1 (en) | Apparatus and method for generating virtual model | |
| KR20200120055A (en) | Apparatus For Separating Gum Area From Oral Scan Image | |
| US11978203B2 (en) | Dental object detection method, and image matching method and device using dental object | |
| KR102453543B1 (en) | Method and apparatus for predicting missing tooth in oral image | |
| KR20200129550A (en) | Method and Apparatus for detecting of Alveolar Bone in Image Data | |
| KR102421933B1 (en) | Method of detecting gait events based on deep-learning and computer program performing the same | |
| KR102383544B1 (en) | Method for detecting marker in oral image and apparatus and method for oral image registration using the same | |
| CN113645902B (en) | Tooth target detection method and image integration method and device using tooth target | |
| KR102383955B1 (en) | Method and apparatus for detecting missing tooth in oral image, and method of positioning crown in oral image using the same | |
| US20230215027A1 (en) | Oral image marker detection method, and oral image matching device and method using same | |
| US20220240852A1 (en) | Nerve detection method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |