KR102236973B1 - Method and Apparatus for detecting of Nerve in Dental Image - Google Patents

Method and Apparatus for detecting of Nerve in Dental Image Download PDF

Info

Publication number
KR102236973B1
KR102236973B1 KR1020190060042A KR20190060042A KR102236973B1 KR 102236973 B1 KR102236973 B1 KR 102236973B1 KR 1020190060042 A KR1020190060042 A KR 1020190060042A KR 20190060042 A KR20190060042 A KR 20190060042A KR 102236973 B1 KR102236973 B1 KR 102236973B1
Authority
KR
South Korea
Prior art keywords
nerve
detecting
image
target image
target
Prior art date
Application number
KR1020190060042A
Other languages
Korean (ko)
Other versions
KR20200134512A (en
Inventor
김진철
김진백
Original Assignee
주식회사 디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디오 filed Critical 주식회사 디오
Priority to KR1020190060042A priority Critical patent/KR102236973B1/en
Priority to CN202080036341.8A priority patent/CN113873947A/en
Priority to PCT/KR2020/002757 priority patent/WO2020235784A1/en
Priority to US17/612,436 priority patent/US20220240852A1/en
Priority to EP20809402.9A priority patent/EP3973878A4/en
Priority to TW109112962A priority patent/TWI754259B/en
Publication of KR20200134512A publication Critical patent/KR20200134512A/en
Application granted granted Critical
Publication of KR102236973B1 publication Critical patent/KR102236973B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 신경을 검출하는 방법 및 장치에 관한 것으로, 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득하는 단계와, 학습 영상에 신경과 상기 신경을 검출하는데 기준이 되는 턱끝 결절 및 하악각 중 적어도 하나가 설정된 학습 데이터를 생성하고, 학습 데이터를 학습하여 학습 모델을 생성하는 단계와, 학습 모델에 대상 영상을 입력하는 단계와, 학습 데이터를 기반으로 대상 영상에서 신경을 검출하는 단계를 포함하며, 다른 실시 예로도 적용이 가능하다.The present invention relates to a method and apparatus for detecting a nerve, comprising: acquiring a learning image including a plurality of slices arranged in a coronal direction; Generating training data in which at least one of the mandibular angles is set, generating a training model by learning the training data, inputting a target image to the training model, and detecting a nerve in the target image based on the training data. It includes, and can be applied to other embodiments.

Description

신경 검출 방법 및 장치{Method and Apparatus for detecting of Nerve in Dental Image}TECHNICAL FIELD [Method and Apparatus for detecting of Nerve in Dental Image}

본 발명은 신경 검출 방법 및 장치에 관한 것으로 더욱 상세하게는 신경이 분포하는 해부학적 특성을 기반으로 신경을 검출하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for detecting a nerve, and more particularly, to a method and apparatus for detecting a nerve based on an anatomical characteristic in which the nerve is distributed.

일반적으로, 임플란트는 본래의 인체 조직이 상실되었을 때, 인체 조직을 대신할 수 있는 대치물을 의미하며, 특히, 치과에서는 픽스츄어(fixture), 어버트먼트(abutment) 및 크라운(crown)을 포함하는 보철물을 이용하여 인공으로 만든 치아를 실제 치아의 위치에 이식하는 것을 의미한다. In general, an implant refers to a substitute that can replace human tissue when the original human tissue is lost, and in particular, in dentistry, including a fixture, an abutment, and a crown. It means implanting an artificial tooth using a prosthesis at the location of the actual tooth.

치과에서 임플란트 시술은 치조골에 천공을 형성하여 천공에 픽스츄어를 식립하고, 픽스츄어가 치조골에 융착되면 픽스츄어에 어버트먼트 및 크라운을 결합하는 형태로 시술된다. In the dental implant procedure, a perforation is formed in the alveolar bone to place a fixture in the perforation, and when the fixture is fused to the alveolar bone, the abutment and crown are combined with the fixture.

이러한 임플란트 시술은 신경 손상 등의 문제를 방지하기 위해 임플란트 시술 전에 CBCT(cone beam computed tomography) 영상을 기반으로 임플란트의 식립 위치, 각도, 깊이 등을 결정함으로써 치아 및 치조골 등의 골조직과 신경관 위치 등의 확인을 선행한다.In order to prevent problems such as nerve damage, these implant procedures determine the placement position, angle, and depth of the implant based on a cone beam computed tomography (CBCT) image before the implant procedure. Prior to confirmation.

특히, 임플란트 시술 시 치조골 천공을 위한 드릴링 작업은 픽스쳐와 하치조 신경 사이의 안전 거리를 유지해야 하는데 환자 마다 다양한 신경의 경로 및 상태로 인해 어려움이 있다. 또한, 기존에는 단층 촬영 이미지의 파노라마 영상을 이용하여 하치조 신경을 검출하였으나, 파노라마 영상에는 불투명하고 불명확한 하치조 신경이 존재하고, 이로 인해 임플란트 시술 시 신경의 손상을 초래할 우려가 있다.In particular, drilling for alveolar bone perforation during an implant procedure requires maintaining a safe distance between the fixture and the inferior alveolar nerve, which is difficult due to various nerve paths and conditions for each patient. In addition, conventionally, the inferior alveolar nerve has been detected using a panoramic image of a tomography image, but there is an opaque and unclear inferior alveolar nerve in the panoramic image, which may cause damage to the nerve during implantation.

이러한 종래의 문제점을 해결하기 위해, 본 발명은, 신경이 분포하는 해부학적 특성을 기반으로 신경을 검출함으로써, 보다 빠르고 정확하게 신경을 자동으로 검출할 수 있고, 이를 통해 환자 마다 다른 신경관의 위치 및 상태를 정확히 파악하여 안전하게 임플란트 시술을 시행할 수 있는 신경 검출 방법 및 장치를 제공하는 것을 목적으로 한다.In order to solve such a conventional problem, the present invention can detect the nerve more quickly and accurately by detecting the nerve based on the anatomical characteristics in which the nerve is distributed, and through this, the position and state of the neural tube different for each patient. It is an object of the present invention to provide a method and apparatus for detecting a nerve that can accurately identify and safely perform an implant procedure.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned can be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. There will be.

전술한 과제를 해결하기 위해, 본 발명은, 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득하는 단계와, 학습 영상에 신경과 상기 신경을 검출하는데 기준이 되는 턱끝 결절 및 하악각 중 적어도 하나가 설정된 학습 데이터를 생성하고, 학습 데이터를 학습하여 학습 모델을 생성하는 단계와, 학습 모델에 대상 영상을 입력하는 단계와, 학습 데이터를 기반으로 대상 영상에서 신경을 검출하는 단계를 포함하는 신경 검출 방법을 제공한다.In order to solve the above-described problem, the present invention provides a step of acquiring a learning image including a plurality of slices arranged in a coronal direction, and among the chintip nodules and mandibular angles used as a reference for detecting the nerve and the nerve in the learning image. Generating at least one set training data, generating a training model by learning the training data, inputting a target image to the training model, and detecting a nerve in the target image based on the training data. Provides a method for detecting nerves.

여기서, 대상 영상에서 신경을 검출하는 단계는, 대상 영상에서 턱끝 결절 및 하악각을 검출하는 단계와, 검출된 턱끝 결절 및 하악각 사이의 구간을 신경 유효 구간으로 설정하는 단계와, 신경 유효 구간을 탐색하여 신경을 검출하는 단계를 포함할 수 있다.Here, the step of detecting the nerve in the target image includes detecting the chin tip nodule and the mandibular angle in the target image, setting a section between the detected chin tip nodule and the mandibular angle as a nerve effective section, and searching for a nerve effective section. It may include the step of detecting the nerve.

또한, 학습 데이터를 생성하는 단계는, 학습 영상에 치조골, 턱끝 신경 및 하치조 신경 중 적어도 하나가 설정된 학습 데이터를 생성하는 단계이다.In addition, the step of generating the training data is a step of generating training data in which at least one of an alveolar bone, a jaw nerve, and an inferior alveolar nerve is set in the training image.

또한, 대상 영상에서 신경을 검출하는 단계는 대상 영상에서 치조골, 턱끝 신경 및 하치조 신경을 검출하는 단계이다.In addition, the step of detecting the nerve in the target image is a step of detecting the alveolar bone, the tip nerve, and the inferior alveolar nerve in the target image.

또한, 하치조 신경을 검출하는 단계는 검출된 치조골을 이용하여 하치조 신경을 검출하는 단계이다.In addition, the step of detecting the inferior alveolar nerve is a step of detecting the inferior alveolar nerve using the detected alveolar bone.

또한, 대상 영상에서 턱끝 결절을 검출하는 단계는 학습 영상의 통계치를 기반으로 제1 탐색 시작점을 설정하고, 제1 탐색 시작점에서 대상 영상의 외측 방향으로 탐색하여 턱끝 결절을 검출하는 단계이다.In addition, the step of detecting the chin-tip nodule in the target image is a step of setting a first search starting point based on the statistical value of the training image, and detecting the chin-tip nodule by searching in an outward direction of the target image from the first search starting point.

또한, 대상 영상에서 하악각을 검출하는 단계는, 학습 영상의 통계치를 기반으로 제2 탐색 시작점을 설정하고, 제2 탐색 시작점에서 대상 영상의 외측 방향으로 탐색하여 하악각을 검출하는 단계이다.In addition, the step of detecting the mandibular angle in the target image includes setting a second search starting point based on the statistical value of the training image, and detecting the mandibular angle by searching in an outward direction of the target image from the second search starting point.

또한, 대상 영상에서 신경을 검출하는 단계는, 대상 영상에서 검출 대상인 턱끝 결절, 하악각 및 신경이 포함될 것으로 예상되는 대상 영역을 설정하는 단계와, 대상 영역의 위치 및 크기 정보를 산출하는 단계와, 대상 영역에 검출 대상이 포함될 확률값을 산출하는 단계를 포함할 수 있다.In addition, the step of detecting the nerve in the target image includes setting a target region that is expected to contain the jaw nodule, the mandibular angle, and the nerve to be detected in the target image, calculating the location and size information of the target region, and It may include calculating a probability value in which the detection target will be included in the region.

또한, 대상 영상에서 신경을 검출하는 단계는, 확률값이 기준값 이상인 대상 영역을 검출 대상이 포함되는 검출 영역으로 검출하는 단계를 더 포함할 수 있다.In addition, the step of detecting a nerve in the target image may further include detecting a target region having a probability value equal to or greater than the reference value as a detection region including the detection target.

또한, 대상 영상에서 신경을 검출하는 단계는, 검출 영역 중 신경이 포함되는 영역의 좌표를 추출하는 단계와, 좌표를 기초로 신경을 검출하는 단계를 더 포함할 수 있다.In addition, detecting a nerve in the target image may further include extracting coordinates of an area including the nerve among the detection regions, and detecting a nerve based on the coordinates.

또한, 본 발명은, 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득하는 영상 획득부와, 학습 영상에 신경과 상기 신경을 검출하는데 기준이 되는 턱끝 결절 및 하악각 중 적어도 하나가 설정된 학습 데이터를 생성하고, 학습 데이터를 학습하여 학습 모델을 생성하는 학습부와, 학습 모델에 대상 영상을 입력하여, 학습 데이터를 기반으로 대상 영상에서 신경을 검출하는 신경 검출부를 포함하는 신경 검출 장치를 제공한다.In addition, the present invention provides an image acquisition unit for acquiring a learning image including a plurality of slices arranged in a coronal direction, and at least one of a nerve and a mandibular nodule and a mandibular angle used as a reference for detecting the nerve in the learning image. A nerve detection device comprising a learning unit that generates training data and generates a training model by learning the training data, and a nerve detection unit that detects a nerve in the target image based on the training data by inputting a target image to the training model. to provide.

본 발명에 따르면, 신경이 분포하는 해부학적 특성을 기반으로 신경을 검출함으로써, 보다 빠르고 정확하게 신경을 자동으로 검출할 수 있고, 이를 통해 환자 마다 다른 신경관의 위치 및 상태를 정확히 파악하여 안전하게 임플란트 시술을 시행할 수 있는 효과가 있다.According to the present invention, by detecting the nerve based on the anatomical characteristics of the nerve distribution, it is possible to automatically detect the nerve faster and more accurately, and through this, the position and state of the different neural tube for each patient can be accurately identified and the implant can be safely performed. There is an effect that can be implemented.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those of ordinary skill in the art from the following description. will be.

도 1은 본 발명의 실시예에 따른 대상 영상에서 신경을 검출하는 전자 장치의 개략적인 블록도이다.
도 2는 도 1의 제어부의 구체적인 블록도이다.
도 3은 본 발명의 실시예에 따른 대상 영상에서 신경을 검출하는 방법의 흐름도이다.
도 4는 환자의 두상의 방향에 따라 달라지는 치아 단면 영상을 도시한 도면이다.
도 5는 관상면 방향의 치아 단면 영상에 검출 대상을 각각 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 학습 데이터 생성 방법을 설명하기 위한 도면이다.
도 7은 도 6의 대상 영상에서 신경을 검출하는 단계의 흐름도이다.
도 8은 도 6의 대상 영상에서 신경을 검출하는 단계를 설명하기 위한 도면이다.
도 9는 도 7의 대상 영상에서 신경을 검출하는 단계의 구체적인 흐름도이다.1 is a schematic block diagram of an electronic device for detecting a nerve in a target image according to an embodiment of the present invention.
2 is a detailed block diagram of the control unit of FIG. 1.
3 is a flowchart of a method of detecting a nerve in a target image according to an embodiment of the present invention.
4 is a diagram illustrating a cross-sectional image of a tooth that varies depending on the direction of the patient's head.
5 is a diagram illustrating detection targets on a tooth cross-sectional image in the coronal direction.
6 is a diagram illustrating a method of generating learning data according to an embodiment of the present invention.
7 is a flowchart of a step of detecting a nerve in the target image of FIG. 6.
FIG. 8 is a diagram for describing a step of detecting a nerve in the target image of FIG. 6.
9 is a detailed flowchart of a step of detecting a nerve in the target image of FIG. 7.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE INVENTION The detailed description to be disclosed below together with the accompanying drawings is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. In the drawings, parts irrelevant to the description may be omitted in order to clearly describe the present invention, and the same reference numerals may be used for the same or similar components throughout the specification.

본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In an embodiment of the present invention, expressions such as “or” and “at least one” may represent one of words listed together, or a combination of two or more. For example, “A or B” and “at least one of A and B” may include only one of A or B, and may include both A and B.

도 1은 본 발명의 실시예에 따른 대상 영상에서 신경을 검출하는 전자 장치의 개략적인 블록도이고, 도 2는 도 1의 제어부의 구체적인 블록도이다.1 is a schematic block diagram of an electronic device for detecting nerves in a target image according to an exemplary embodiment of the present invention, and FIG. 2 is a detailed block diagram of a controller of FIG. 1.

도 1을 참조하면, 본 발명에 따른 전자 장치(100)는 통신부(110), 입력부(120), 표시부(130), 메모리(140) 및 제어부(150)를 포함하여 구성될 수 있다.Referring to FIG. 1, an electronic device 100 according to the present invention may include a communication unit 110, an input unit 120, a display unit 130, a memory 140, and a control unit 150.

통신부(110)는 영상 획득 장치(미도시) 및 서버(미도시) 등의 외부 장치와의 통신을 수행한다. 이를 위해, 통신부(110)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energy), NFC(near field communication) 등의 무선 통신을 수행할 수 있고, 케이블 통신 등의 유선 통신을 수행할 수 있다.The communication unit 110 communicates with external devices such as an image acquisition device (not shown) and a server (not shown). To this end, the communication unit 110 5G (5 th generation communication), LTE-A (long term evolution-advanced), LTE (long term evolution), Bluetooth, BLE (bluetooth low energy), NFC (near field communication), etc. Wireless communication can be performed, and wired communication such as cable communication can be performed.

입력부(120)는 전자 장치(100)의 사용자의 입력에 대응하여, 입력 데이터를 발생시킨다. 입력부(120)는 적어도 하나의 입력 수단을 포함한다. 입력부(120)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.The input unit 120 generates input data in response to a user input of the electronic device 100. The input unit 120 includes at least one input means. Input unit 120 is a keyboard (key board), keypad (key pad), dome switch (dome switch), touch panel (touch panel), touch key (touch key), mouse (mouse), menu button (menu button), etc. It may include.

표시부(130)는 전자 장치(100)의 동작에 따른 표시 데이터를 표시한다. 표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함한다. 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.The display unit 130 displays display data according to an operation of the electronic device 100. The display unit 130 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electro mechanical systems (MEMS) display. And electronic paper displays. The display unit 130 may be combined with the input unit 120 to be implemented as a touch screen.

메모리(140)는 전자 장치(100)의 동작 프로그램들을 저장한다. 또한, 메모리(140)는 U-Net, RCNN 등의 컨벌루션 신경망(CNN; convolutional neural network)과 관련된 알고리즘을 저장할 수 있다. 메모리(140)는 영상 획득 장치 등으로부터 수신된 복수의 학습 영상을 저장할 수 있다.The memory 140 stores operation programs of the electronic device 100. In addition, the memory 140 may store an algorithm related to a convolutional neural network (CNN) such as U-Net and RCNN. The memory 140 may store a plurality of training images received from an image acquisition device or the like.

제어부(150)는 학습 영상을 학습하여 학습 데이터를 생성하고, 학습 데이터를 기반으로 대상 영상에서 신경을 검출한다. 특히, 제어부(150)는, 신경이 턱끝 결절과 하악각 사이에 위치한다는 해부학적 특성을 기반으로, 먼저 턱끝 결절 및 하악각을 검출하고, 이후 턱끝 결절 및 하악각 사이에 위치하는 신경을 검출함으로써, 보다 빠르고 정확하게 신경을 검출할 수 있는 이점이 있다.The controller 150 learns the training image to generate training data, and detects a nerve in the target image based on the training data. In particular, the control unit 150, based on the anatomical characteristic that the nerve is located between the mandibular nodule and the mandibular angle, first detects the mandibular nodule and the mandibular angle, and then detects the nerve located between the mandibular nodule and the mandibular angle. It has the advantage of being able to accurately detect nerves.

도 2를 참조하면, 제어부(150)는 영상 획득부(151), 학습부(152) 및 신경 검출부(153)을 포함하여 구성될 수 있다.Referring to FIG. 2, the control unit 150 may include an image acquisition unit 151, a learning unit 152, and a nerve detection unit 153.

이와 같은, 제어부(150)는, 턱끝 결절(mental tubercle), 턱끝 신경(Mental Nerve), 하치조 신경(Inferior Alveolar Nerve), 치조골(Alveolar Bone) 및 하악각(Mandibular Angle) 등의 해부학적 부위가 잘 나타나있고, 그 구분이 명확하게 나타나있는 관상면 방향의 치아 단면 영상을 기반으로 학습 데이터를 생성하고 이를 기반으로 신경을 검출하는 것을 특징으로 한다.As such, the control unit 150 has an anatomical site such as a mental tubercle, a mental nerve, an inferior alveolar nerve, an alveolar bone, and a mandibular angle. It is characterized by generating training data based on a tooth cross-sectional image in the coronal direction, and detecting nerves based on this.

영상 획득부(151)는, 외부의 영상 획득 장치로부터 3차원 영상을 수신하여 이를 관상면 방향으로 배열된 복수의 2차원 단면 영상(이하, 슬라이스)으로 변환한다. 즉, 영상 획득부(151)는 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득한다.The image acquisition unit 151 receives a 3D image from an external image acquisition device and converts it into a plurality of 2D cross-sectional images (hereinafter, slices) arranged in a coronal direction. That is, the image acquisition unit 151 acquires a learning image including a plurality of slices arranged in the coronal direction.

학습부(152)는, 영상 획득부(151)에 의해 획득된 복수의 학습 영상에 신경(턱끝 신경 및 하치조 신경)과, 상기 신경을 검출하는데 기준이 되는 턱끝 결절 및 하악각과, 하치조 신경을 검출하는 도움이 되는 치조골 중 적어도 하나가 설정된 학습 데이터를 생성하고, 상기 학습 데이터를 학습하여 학습 모델을 생성한다. 여기서, 학습부(152)는 메모리(140)에 저장된 U-Net, RCNN 등의 컨벌루션 신경망(CNN; convolutional neural network)과 관련된 알고리즘을 이용하여 학습 영상을 학습할 수 있다.The learning unit 152 includes nerves (chintip nerves and inferior alveolar nerves) in a plurality of learning images acquired by the image acquisition unit 151, a jaw nodule and mandibular angle, and inferior alveolar nerves that are a reference for detecting the nerves. At least one of the alveolar bones useful for detecting is generated training data set, and a learning model is generated by learning the training data. Here, the learning unit 152 may learn the training image using an algorithm related to a convolutional neural network (CNN) such as U-Net and RCNN stored in the memory 140.

신경 검출부(153)는, 학습부(152)에 의해 생성된 학습 모델에 대상 영상을 입력하여, 학습 데이터를 기반으로 대상 영상에서 신경을 검출한다. 여기서, 대상 영상은 환자의 관상면 방향으로 배열된 복수의 슬라이스(2차원 단면 영상)를 포함하는 3차원 영상일 수 있다.The nerve detection unit 153 inputs a target image to the learning model generated by the learning unit 152 and detects a nerve in the target image based on the training data. Here, the target image may be a 3D image including a plurality of slices (two-dimensional cross-sectional images) arranged in the coronal direction of the patient.

구체적으로, 신경 검출부(153)는, 학습 데이터를 기반으로 대상 영상에서 턱끝 결절 및 하악각을 검출하고, 검출된 턱끝 결절 및 하악각 사이의 구간을 신경 유효 구간으로 설정하고, 설정된 신경 유효 구간을 탐색하여 신경(턱끝 신경 및 하치조 신경)을 검출한다. 여기서, 신경 검출부(153)는 치조골을 검출하여 이를 하치조 신경을 검출하는데 이용할 수 있다. 즉, 하치조 신경은 치조골 내부에 위치하기 때문에 치조골을 먼저 검출하고 이후 검출된 치조골에서 하치조 신경을 검출함으로써 검출 정확성을 향상시킬 수 있다.Specifically, the nerve detection unit 153 detects the jaw nodule and the mandibular angle in the target image based on the learning data, sets the section between the detected jaw nodule and the mandibular angle as a nerve effective section, and searches for the set nerve effective section. Nerves (tip nerve and inferior alveolar nerve) are detected. Here, the nerve detection unit 153 may detect the alveolar bone and use it to detect the inferior alveolar nerve. That is, since the inferior alveolar nerve is located inside the alveolar bone, detection accuracy can be improved by detecting the alveolar bone first and then detecting the inferior alveolar nerve from the detected alveolar bone.

한편, 신경 검출부(153)가 턱끝 결절, 하악각, 치조골 및 신경을 검출한다는 의미는 이들 검출 대상이 포함된 슬라이스를 검출한다는 의미를 포함하는 것으로 해석될 수 있다.Meanwhile, the meaning that the nerve detection unit 153 detects the jaw nodule, the mandibular angle, the alveolar bone, and the nerve may be interpreted as including the meaning of detecting a slice including these detection targets.

신경 검출부(153)는 복수의 학습 영상의 통계치를 기반으로 제1 탐색 시작점을 설정하고, 설정된 제1 탐색 시작점에서 대상 영상의 외측 방향으로 탐색하여 턱끝 결절을 검출할 수 있다.The nerve detection unit 153 may set a first search start point based on statistics of a plurality of training images, and detect a jaw nodule by searching in an outward direction of the target image from the set first search start point.

이와 마찬가지로, 신경 검출부(153)는 복수의 학습 영상의 통계치를 기반으로 제2 탐색 시작점을 설정하고, 제2 탐색 시작점에서 대상 영상의 외측 방향으로 탐색하여 하악각을 검출할 수 있다.Likewise, the nerve detection unit 153 may set a second search start point based on the statistics of the plurality of training images, and detect the mandibular angle by searching in the outer direction of the target image from the second search start point.

여기서, 복수의 학습 영상의 통계치는, 영상 획득 장치 별로 촬영된 영상의 해상도가 다름에 착안하여, 각 영상에 포함되는 해부학적 부위의 위치를 정규화한 값(예컨대, 0~1)이다. 통계적으로, 제1 탐색 시작점(예컨대, 0.323) 이상에서는 턱끝 결절이 발견될 가능성이 거의 없고, 제2 탐색 시작점(예컨대, 0.715) 이하에서는 하악각이 발견될 가능성이 거의 없다. 따라서, 제1 탐색 시작점 및 제2 탐색 시작점을 기준으로 턱끝 결절 및 하악각을 탐색하게 되면 보다 빠르고 정확하게 턱끝 결절 및 하악각을 탐색할 수 있게 된다.Here, the statistical value of the plurality of training images is a value (eg, 0 to 1) obtained by normalizing the position of an anatomical part included in each image, focusing on the difference in resolution of the captured image for each image acquisition device. Statistically, there is little likelihood of finding a jaw nodule above the first search start point (eg, 0.323), and there is little likelihood that the mandibular angle is found below the second search start point (eg, 0.715). Accordingly, if the chin nodule and the mandibular angle are searched based on the first search starting point and the second search starting point, the chin tip nodule and the mandibular angle can be searched more quickly and accurately.

신경 검출부(153)는 대상 영상에서 검출 대상인 턱끝 결절, 하악각 및 신경이 포함될 것으로 예상되는 대상 영역을 설정한다. 그리고, 대상 영역의 위치 및 크기 정보를 산출하고, 대상 영역에 상기 검출 대상이 포함될 확률값을 산출한다. 그리고, 산출된 확률값이 기준값 이상인 대상 영역을 검출 대상이 포함되는 검출 영역으로 검출하고, 해당 영역을 포함하는 슬라이스에 검출 대상이 표시되도록 라벨링한다.The nerve detection unit 153 sets a target region that is expected to include a jaw nodule, a mandibular angle, and a nerve to be detected in the target image. Then, information on the location and size of the target area is calculated, and a probability value in which the detection target is included in the target area is calculated. In addition, a target region having a calculated probability value equal to or greater than the reference value is detected as a detection region including the detection target, and a slice including the region is labeled so that the detection target is displayed.

신경 검출부(153)는 검출 영역 중 신경이 포함되는 영역의 좌표(예컨대, 중심 좌표)를 추출하고, 추출된 좌표(예컨대, 중심 좌표)를 기초로 신경을 검출한다. 즉, 복수의 슬라이스에서 신경이 포함되는 영역의 좌표들(예컨대, 중심 좌표들)을 수집하여 최종적으로 신경관을 추출할 수 있다.The nerve detection unit 153 extracts coordinates (eg, center coordinates) of an area including a nerve among the detection areas, and detects a nerve based on the extracted coordinates (eg, center coordinates). That is, by collecting coordinates (eg, center coordinates) of a region including a nerve from a plurality of slices, a neural tube may be finally extracted.

도 3은 본 발명의 실시예에 따른 대상 영상에서 신경을 검출하는 방법의 흐름도이다.3 is a flowchart of a method of detecting a nerve in a target image according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 신경 검출 방법은, 학습 영상을 획득하는 단계(S100), 학습 데이터와 학습 모델을 생성하는 단계(S200), 학습 모델에 대상 영상을 입력하는 단계(S300) 및 대상 영상에서 신경을 검출하는 단계(S400)를 포함하여 구성될 수 있다.Referring to FIG. 3, in the neural detection method according to an embodiment of the present invention, obtaining a training image (S100), generating training data and a training model (S200), inputting a target image to the training model It may be configured to include (S300) and detecting a nerve in the target image (S400).

학습 영상을 획득하는 단계(S100)는, 외부의 영상 획득 장치로부터 3차원 영상을 수신하여 이를 관상면 방향으로 배열된 복수의 2차원 단면 영상(이하, 슬라이스)으로 변환한다. 즉, 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득한다.In the step S100 of acquiring a training image, a 3D image is received from an external image acquisition device and converted into a plurality of 2D cross-sectional images (hereinafter referred to as slices) arranged in a coronal direction. That is, a learning image including a plurality of slices arranged in the coronal direction is acquired.

도 4는 환자의 두상의 방향에 따라 달라지는 치아 단면 영상을 도시한 도면이고, 도 5는 관상면 방향의 치아 단면 영상에 검출 대상을 각각 도시한 도면이다.FIG. 4 is a diagram illustrating a tooth cross-sectional image that varies depending on the direction of the patient's head, and FIG. 5 is a diagram illustrating detection targets in the tooth cross-sectional image in the coronal direction.

도 4를 참조하면, 환자의 두상의 방향은 수평면 방향(axial)(a), 관상면 방향(coronal)(b) 및 시상면 방향(sagittal)(c)으로 구분할 수 있고, 두상의 방향에 따라 치아 단면 영상(슬라이스)에 나타나는 치아의 해부학적 부위가 상이한 것을 확인할 수 있다.4, the direction of the patient's head can be divided into a horizontal direction (a), a coronal (b), and a sagittal (c), depending on the direction of the head. It can be seen that the anatomical parts of the teeth appearing in the tooth cross-sectional image (slice) are different.

도 4 및 도 5를 참조하면, 본 발명의 실시예에 따른 신경 검출 방법은, 턱끝 결절(mental tubercle), 턱끝 신경(Mental Nerve), 하치조 신경(Inferior Alveolar Nerve), 치조골(Alveolar Bone) 및 하악각(Mandibular Angle) 등의 해부학적 부위가 잘 나타나있고, 그 구분이 명확하게 나타나있는 관상면 방향(b)의 치아 단면 영상을 기반으로 학습 데이터를 생성하고 이를 기반으로 신경을 검출하는 것을 특징으로 한다.4 and 5, the nerve detection method according to an embodiment of the present invention includes a mental tubercle, a Mental Nerve, an Inferior Alveolar Nerve, an Alveolar Bone, and It is characterized by generating learning data based on the tooth cross-sectional image in the coronal direction (b) where the anatomical parts such as the mandibular angle are well represented and the distinction is clearly indicated, and the nerve is detected based on this. do.

참고로, 도 5를 참조하면, 하치조 신경은 치조골 내부에 위치하는 것을 확인할 수 있으며, 턱끝 신경은 치조골 내부에 위치하지 않으며 외측으로 뚫린 형태인 것을 확인할 수 있다.For reference, referring to FIG. 5, it can be seen that the inferior alveolar nerve is located inside the alveolar bone, and the jaw nerve is not located inside the alveolar bone, but it can be confirmed that it is in a form pierced outward.

학습 데이터와 학습 모델을 생성하는 단계(S200)는, 획득된 복수의 학습 영상에 신경(턱끝 신경 및 하치조 신경)과, 상기 신경을 검출하는데 기준이 되는 턱끝 결절 및 하악각과, 하치조 신경을 검출하는 도움이 되는 치조골 중 적어도 하나가 설정된 학습 데이터를 생성하고, 이 학습 데이터들을 학습하여 학습 모델을 생성한다. In the step of generating the training data and the learning model (S200), the nerves (chintip nerves and inferior alveolar nerves), the jaw nodules and mandibular angles, and the inferior alveolar nerves, which are a reference for detecting the nerves, are used in the acquired plurality of training images. At least one of the alveolar bones useful for detection is generated, and training data is set, and a learning model is generated by learning the training data.

여기서, 메모리(140)에 저장된 U-Net, RCNN 등의 컨벌루션 신경망(CNN; convolutional neural network)과 관련된 알고리즘을 이용하여 학습 데이터를 학습하여 학습 모델을 생성할 수 있다.Here, a learning model may be generated by learning training data using an algorithm related to a convolutional neural network (CNN) such as U-Net and RCNN stored in the memory 140.

도 6은 본 발명의 실시예에 따른 학습 데이터 생성 방법을 설명하기 위한 도면이다.6 is a diagram illustrating a method of generating learning data according to an embodiment of the present invention.

도 6을 참조하면, 학습 데이터는 학습 영상에 포함된 복수의 슬라이스 별로 턱끝 결절, 하악각, 치조골 및 신경(학습 대상)이 포함된 영역(예컨대, 박스(Box))에 대한 위치 및 크기 정보를 설정할 수 있다. 구체적으로, 학습 영상의 좌측 상단을 원점으로 하여 박스의 좌측 상단의 x축 및 y축 위치를 박스의 위치 좌표로 설정하고, 설정된 위치 좌표를 기준으로 박스의 폭(Width)과 높이(Height)를 설정할 수 있다.Referring to FIG. 6, the training data sets location and size information for an area (e.g., a box) including a chin nodule, mandibular angle, alveolar bone, and nerve (learning target) for each of a plurality of slices included in the training image. I can. Specifically, the x-axis and y-axis positions of the upper left of the box are set as the position coordinates of the box with the upper left of the training image as the origin, and the width and height of the box are determined based on the set position coordinates. Can be set.

한편, 위와 같은 학습 영상에 학습 대상의 위치 및 크기 정보를 설정하는 방식은 후술할 대상 영상에 검출 대상의 위치 및 크기 정보를 설정하는 방식에 그대로 적용할 수 있다.Meanwhile, the method of setting the location and size information of the object to be learned in the training image as described above can be applied as it is to the method of setting the position and size information of the object to be detected in the object image to be described later.

대상 영상에서 신경을 검출하는 단계(S400)는, 학습 모델에 대상 영상을 입력한 후(S300), 학습 데이터를 기반으로 대상 영상에서 신경을 검출한다. 여기서, 대상 영상은 환자의 관상면 방향으로 배열된 복수의 슬라이스(2차원 단면 영상)를 포함하는 3차원 영상일 수 있다.In the step of detecting a nerve in the target image (S400), after inputting the target image to the learning model (S300), a nerve is detected in the target image based on the training data. Here, the target image may be a 3D image including a plurality of slices (two-dimensional cross-sectional images) arranged in the coronal direction of the patient.

도 7은 도 6의 대상 영상에서 신경을 검출하는 단계의 흐름도이고, 도 8은 도 6의 대상 영상에서 신경을 검출하는 단계를 설명하기 위한 도면이다.FIG. 7 is a flowchart illustrating a step of detecting a nerve in the target image of FIG. 6, and FIG. 8 is a diagram for explaining a step of detecting a nerve in the target image of FIG. 6.

도 7을 참조하면, 대상 영상에서 신경을 검출하는 단계(S400)는, 학습 데이터를 기반으로 대상 영상에서 턱끝 결절 및 하악각을 검출하고(S410), 검출된 턱끝 결절 및 하악각 사이의 구간을 신경 유효 구간으로 설정하고(S420), 설정된 신경 유효 구간을 탐색하여 신경(턱끝 신경 및 하치조 신경)을 검출한다(S430). Referring to FIG. 7, in the step of detecting a nerve in the target image (S400), the chin nodule and the mandibular angle are detected in the target image based on the learning data (S410), and the section between the detected chin nodule and the mandibular angle is nerve effective. The interval is set (S420), and nerves (tip nerve and inferior alveolar nerves) are detected by searching for the set nerve effective interval (S430).

여기서, 검출된 치조골은 하치조 신경을 검출하는데 이용할 수 있다. 즉, 하치조 신경은 치조골 내부에 위치하기 때문에 치조골을 먼저 검출하고 이후 검출된 치조골에서 하치조 신경을 검출함으로써 검출 정확성을 향상시킬 수 있다.Here, the detected alveolar bone can be used to detect the inferior alveolar nerve. That is, since the inferior alveolar nerve is located inside the alveolar bone, detection accuracy can be improved by detecting the alveolar bone first and then detecting the inferior alveolar nerve from the detected alveolar bone.

한편, 턱끝 결절, 하악각, 치조골 및 신경을 검출한다는 의미는 이들 검출 대상이 포함된 슬라이스를 검출한다는 의미를 포함하는 것으로 해석될 수 있다.Meanwhile, the meaning of detecting the jaw nodule, the mandibular angle, the alveolar bone, and the nerve may be interpreted as including the meaning of detecting a slice containing these detection targets.

도 8을 참조하면, 대상 영상에서 신경을 검출하는 단계(S400)는, 복수의 학습 영상의 통계치를 기반으로 제1 탐색 시작점(S1)을 설정하고, 설정된 제1 탐색 시작점(S1)에서 대상 영상의 외측 방향으로 탐색하여 턱끝 결절(MT)을 검출할 수 있다.Referring to FIG. 8, in the step of detecting a nerve in the target image (S400), a first search start point S1 is set based on the statistics of a plurality of training images, and the target image at the set first search start point S1. It is possible to detect the chin nodule (MT) by searching in the lateral direction of.

이와 마찬가지로, 복수의 학습 영상의 통계치를 기반으로 제2 탐색 시작점(S2)을 설정하고, 제2 탐색 시작점(S2)에서 대상 영상의 외측 방향으로 탐색하여 하악각(MA)을 검출할 수 있다.Likewise, a second search start point S2 may be set based on statistics of a plurality of training images, and the mandibular angle MA may be detected by searching in an outward direction of the target image at the second search starting point S2.

여기서, 검출된 턱끝 결절(MT) 및 하악각(MA) 사이의 구간을 신경 유효 구간으로 설정하고, 설정된 신경 유효 구간을 탐색하여 신경(턱끝 신경 및 하치조 신경)을 검출할 수 있다. Here, a section between the detected mandibular nodule MT and the mandibular angle MA is set as a nerve effective section, and nerves (chintip nerves and inferior alveolar nerves) can be detected by searching for a set nerve effective section.

여기서, 복수의 학습 영상의 통계치는, 영상 획득 장치 별로 촬영된 영상의 해상도가 다름에 착안하여, 각 영상에 포함되는 해부학적 부위의 위치를 정규화한 값(예컨대, 0~1)이다. 통계적으로, 제1 탐색 시작점(예컨대, 0.323) 이상에서는 턱끝 결절이 발견될 가능성이 거의 없고, 제2 탐색 시작점(예컨대, 0.715) 이하에서는 하악각이 발견될 가능성이 거의 없다. 따라서, 제1 탐색 시작점 및 제2 탐색 시작점을 기준으로 턱끝 결절 및 하악각을 탐색하게 되면 보다 빠르고 정확하게 턱끝 결절 및 하악각을 탐색할 수 있게 된다.Here, the statistical value of the plurality of training images is a value (eg, 0 to 1) obtained by normalizing the position of an anatomical part included in each image, focusing on the difference in resolution of the captured image for each image acquisition device. Statistically, there is little likelihood of finding a jaw nodule above the first search start point (eg, 0.323), and there is little likelihood that the mandibular angle is found below the second search start point (eg, 0.715). Accordingly, if the chin nodule and the mandibular angle are searched based on the first search starting point and the second search starting point, the chin tip nodule and the mandibular angle can be searched more quickly and accurately.

도 9는 도 7의 대상 영상에서 신경을 검출하는 단계의 구체적인 흐름도이다.9 is a detailed flowchart of a step of detecting a nerve in the target image of FIG. 7.

도 9를 참조하면, 대상 영상에서 신경을 검출하는 단계(S400)는, 학습 데이터를 기반으로 대상 영상에서 검출 대상인 턱끝 결절, 하악각 및 신경이 포함될 것으로 예상되는 대상 영역을 설정한다(S431). 그리고, 대상 영역의 위치 및 크기 정보를 산출하고(S432), 대상 영역에 상기 검출 대상이 포함될 확률값을 산출한다(S433). 그리고, 산출된 확률값이 기준값 이상인 대상 영역을 검출 대상이 포함되는 검출 영역으로 검출하고(S434), 해당 영역을 포함하는 슬라이스에 검출 대상이 표시되도록 라벨링할 수 있다.Referring to FIG. 9, in the step of detecting a nerve in a target image (S400), a target region that is expected to include a jaw nodule, a mandibular angle, and a nerve to be detected in the target image is set based on the training data (S431). Then, position and size information of the target region is calculated (S432), and a probability value in which the detection target is included in the target region is calculated (S433). In addition, a target region having a calculated probability value equal to or greater than the reference value may be detected as a detection region including the detection target (S434), and a slice including the region may be labeled so that the detection target is displayed.

그리고, 검출 영역 중 신경이 포함되는 영역의 좌표(예컨대, 중심 좌표)를 추출하고(S435), 추출된 좌표(예컨대, 중심 좌표)를 기초로 신경을 검출한다(S436). 즉, 복수의 슬라이스에서 신경이 포함되는 영역의 좌표들(예컨대, 중심 좌표들)을 수집하여 최종적으로 신경관을 추출할 수 있다.Then, the coordinates (eg, center coordinates) of an area including a nerve among the detection areas are extracted (S435), and a nerve is detected based on the extracted coordinates (eg, center coordinates) (S436). That is, by collecting coordinates (eg, center coordinates) of a region including a nerve from a plurality of slices, a neural tube may be finally extracted.

이와 같이, 본 발명의 실시예에 따른 신경 검출 방법은, 신경이 분포하는 해부학적 특성을 기반으로 신경을 검출함으로써, 보다 빠르고 정확하게 신경을 자동으로 검출할 수 있고, 이를 통해 환자 마다 다른 신경관의 위치 및 상태를 정확히 파악하여 안전하게 임플란트 시술을 시행할 수 있다.As described above, the nerve detection method according to an embodiment of the present invention can detect the nerve more quickly and accurately by detecting the nerve based on the anatomical characteristics in which the nerve is distributed, and through this, the position of a different neural tube for each patient It is possible to safely perform the implant procedure by accurately grasping the condition.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Embodiments of the present invention disclosed in the present specification and drawings are merely provided with specific examples to easily explain the technical content of the present invention and to aid understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed that all changes or modified forms derived based on the technical idea of the present invention in addition to the embodiments disclosed herein are included in the scope of the present invention.

100: 신경 검출 장치
110: 통신부
120: 입력부
130: 표시부
140: 메모리
150: 제어부
151: 영상 획득부
152: 학습부
153: 신경 검출부100: nerve detection device
110: communication department
120: input
130: display
140: memory
150: control unit
151: image acquisition unit
152: Learning Department
153: nerve detection unit

Claims (11)

영상 획득부가 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득하는 단계;
학습부가 상기 학습 영상에 신경과 상기 신경을 검출하는데 기준이 되는 턱끝 결절, 하악각 및 치조골이 설정된 학습 데이터를 생성하고, 상기 학습 데이터를 학습하여 학습 모델을 생성하는 단계; 및
입력부를 통해 상기 학습 모델에 대상 영상을 입력하는 단계;
신경 검출부가 상기 학습 데이터를 기반으로 상기 대상 영상에서 상기 치조골 및 신경을 검출하되, 상기 신경 중 하치조 신경은 검출된 상기 치조골을 이용하여 검출하는 단계
를 포함하는 신경 검출 방법.
Acquiring a learning image including a plurality of slices arranged in a coronal direction by an image acquisition unit;
Generating training data in which a chin nodule, a mandibular angle, and an alveolar bone are set as a reference for detecting a nerve and the nerve in the training image, and generating a learning model by learning the training data; And
Inputting a target image to the learning model through an input unit;
Detecting the alveolar bone and nerve in the target image based on the learning data, and detecting the inferior alveolar nerve among the nerves using the detected alveolar bone
Nerve detection method comprising a.
 제 1 항에 있어서,
상기 신경 검출부가 상기 대상 영상에서 신경을 검출하는 단계는
상기 대상 영상에서 상기 턱끝 결절 및 하악각을 검출하는 단계;
검출된 상기 턱끝 결절 및 하악각 사이의 구간을 신경 유효 구간으로 설정하는 단계; 및
상기 신경 유효 구간을 탐색하여 상기 신경을 검출하는 단계를 포함하는
신경 검출 방법.
The method of claim 1,
The step of detecting a nerve in the target image by the nerve detection unit
Detecting the mandibular nodule and mandibular angle in the target image;
Setting a section between the detected jaw nodule and the mandibular angle as a nerve effective section; And
Including the step of detecting the nerve by searching for the nerve effective section
Nerve detection method.
 삭제delete 삭제delete 삭제delete 제 2 항에 있어서,
상기 신경 검출부가 상기 대상 영상에서 상기 턱끝 결절을 검출하는 단계는
상기 학습 영상의 통계치를 기반으로 제1 탐색 시작점을 설정하고, 상기 제1 탐색 시작점에서 상기 대상 영상의 외측 방향으로 탐색하여 상기 턱끝 결절을 검출하는 단계인
신경 검출 방법.
The method of claim 2,
The step of detecting the jaw nodule in the target image by the nerve detection unit
Setting a first search starting point based on the statistical value of the training image, and detecting the chin-tip nodule by searching in an outward direction of the target image from the first search starting point.
Nerve detection method.
 제 2 항에 있어서,
상기 신경 검출부가 상기 대상 영상에서 하악각을 검출하는 단계는
상기 학습 영상의 통계치를 기반으로 제2 탐색 시작점을 설정하고, 상기 제2 탐색 시작점에서 상기 대상 영상의 외측 방향으로 탐색하여 상기 하악각을 검출하는 단계인
신경 검출 방법.
The method of claim 2,
The step of detecting the mandibular angle in the target image by the nerve detection unit
Setting a second search starting point based on the statistical value of the training image, and detecting the mandibular angle by searching in an outward direction of the target image from the second search starting point
Nerve detection method.
 제 1 항에 있어서,
상기 신경 검출부가 상기 대상 영상에서 신경을 검출하는 단계는
상기 대상 영상에서 검출 대상인 상기 턱끝 결절, 하악각 및 신경이 포함될 것으로 예상되는 대상 영역을 설정하는 단계;
상기 대상 영역의 위치 및 크기 정보를 산출하는 단계; 및
상기 대상 영역에 상기 검출 대상이 포함될 확률값을 산출하는 단계를 포함하는
신경 검출 방법.
The method of claim 1,
The step of detecting a nerve in the target image by the nerve detection unit
Setting a target region that is expected to include the jaw nodule, mandibular angle, and nerve to be detected in the target image;
Calculating location and size information of the target area; And
Comprising the step of calculating a probability value that the detection target will be included in the target region
Nerve detection method.
 제 8 항에 있어서,
상기 신경 검출부가 상기 대상 영상에서 신경을 검출하는 단계는
상기 확률값이 기준값 이상인 상기 대상 영역을 상기 검출 대상이 포함되는 검출 영역으로 검출하는 단계를 더 포함하는
신경 검출 방법.
The method of claim 8,
The step of detecting a nerve in the target image by the nerve detection unit
Further comprising the step of detecting the target region having the probability value equal to or greater than a reference value as a detection region including the detection target
Nerve detection method.
 제 9 항에 있어서,
상기 신경 검출부가 상기 대상 영상에서 신경을 검출하는 단계는
상기 검출 영역 중 상기 신경이 포함되는 영역의 좌표를 추출하는 단계; 및
상기 좌표를 기초로 상기 신경을 검출하는 단계를 더 포함하는
신경 검출 방법.
The method of claim 9,
The step of detecting a nerve in the target image by the nerve detection unit
Extracting coordinates of an area including the nerve among the detection areas; And
Further comprising the step of detecting the nerve based on the coordinates
Nerve detection method.
 관상면 방향으로 배열된 복수의 슬라이스를 포함하는 학습 영상을 획득하는 영상 획득부;
상기 학습 영상에 신경과 상기 신경을 검출하는데 기준이 되는 턱끝 결절, 하악각 및 치조골이 설정된 학습 데이터를 생성하고, 상기 학습 데이터를 학습하여 학습 모델을 생성하는 학습부; 및
상기 학습 모델에 대상 영상이 입력되면, 상기 학습 데이터를 기반으로 상기 대상 영상에서 상기 치조골 및 신경을 검출하되, 상기 신경 중 하치조 신경은 검출된 상기 치조골을 이용하여 검출하는 신경 검출부
를 포함하는 신경 검출 장치.An image acquisition unit that acquires a learning image including a plurality of slices arranged in a coronal direction;
A learning unit for generating training data in which a chin nodule, a mandibular angle, and an alveolar bone are set as a reference for detecting a nerve and the nerve in the training image, and generating a learning model by learning the training data; And
When a target image is input to the learning model, a nerve detection unit that detects the alveolar bone and nerve in the target image based on the training data, and detects the inferior alveolar nerve among the nerves using the detected alveolar bone
A nerve detection device comprising a.
KR1020190060042A 2019-05-22 2019-05-22 Method and Apparatus for detecting of Nerve in Dental Image KR102236973B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020190060042A KR102236973B1 (en) 2019-05-22 2019-05-22 Method and Apparatus for detecting of Nerve in Dental Image
CN202080036341.8A CN113873947A (en) 2019-05-22 2020-02-26 Nerve detection method and device
PCT/KR2020/002757 WO2020235784A1 (en) 2019-05-22 2020-02-26 Nerve detection method and device
US17/612,436 US20220240852A1 (en) 2019-05-22 2020-02-26 Nerve detection method and device
EP20809402.9A EP3973878A4 (en) 2019-05-22 2020-02-26 Nerve detection method and device
TW109112962A TWI754259B (en) 2019-05-22 2020-04-17 Method and apparatus for detecting of nerve in dental image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060042A KR102236973B1 (en) 2019-05-22 2019-05-22 Method and Apparatus for detecting of Nerve in Dental Image

Publications (2)

Publication Number Publication Date
KR20200134512A KR20200134512A (en) 2020-12-02
KR102236973B1 true KR102236973B1 (en) 2021-04-07

Family

ID=73792188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060042A KR102236973B1 (en) 2019-05-22 2019-05-22 Method and Apparatus for detecting of Nerve in Dental Image

Country Status (1)

Country Link
KR (1) KR102236973B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3973878A4 (en) * 2019-05-22 2023-05-31 DIO Corporation Nerve detection method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (en) 2017-08-01 2018-03-19 주식회사 뷰노 System for generating interpretation data of dental image
KR101908963B1 (en) 2017-07-19 2018-12-10 주식회사 디오 Image processing method by using reference marker being attached to intraoral
WO2019002631A1 (en) * 2017-06-30 2019-01-03 Promaton Holding B.V. Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods
KR101974636B1 (en) 2018-04-18 2019-05-03 오스템임플란트 주식회사 Dental implant planning method, apparatus and recording medium thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102330616B1 (en) * 2016-02-02 2021-11-24 김도현 Method for Guiding Dental Implant Surgery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002631A1 (en) * 2017-06-30 2019-01-03 Promaton Holding B.V. Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods
KR101908963B1 (en) 2017-07-19 2018-12-10 주식회사 디오 Image processing method by using reference marker being attached to intraoral
KR101839789B1 (en) 2017-08-01 2018-03-19 주식회사 뷰노 System for generating interpretation data of dental image
KR101974636B1 (en) 2018-04-18 2019-05-03 오스템임플란트 주식회사 Dental implant planning method, apparatus and recording medium thereof

Also Published As

Publication number Publication date
KR20200134512A (en) 2020-12-02

Similar Documents

Publication Publication Date Title
KR102236973B1 (en) Method and Apparatus for detecting of Nerve in Dental Image
KR102322634B1 (en) Method and apparatus for matching of images using tooth object
US11978203B2 (en) Dental object detection method, and image matching method and device using dental object
KR102193942B1 (en) Method and Apparatus for detecting of Alveolar Bone in Image Data
KR102205427B1 (en) Method and apparatus for correcting nerve position in dental image
TWI754259B (en) Method and apparatus for detecting of nerve in dental image
KR102383955B1 (en) Method and apparatus for detecting missing tooth in oral image, and method of positioning crown in oral image using the same
EP4159161A1 (en) Method and apparatus for predicting missing tooth in oral image
EP4140411A1 (en) Oral image marker detection method, and oral image matching device and method using same
KR102161043B1 (en) Method and Apparatus for detecting of Teeth in Image Data
KR102383544B1 (en) Method for detecting marker in oral image and apparatus and method for oral image registration using the same
KR102406324B1 (en) Methods for simulating dental implant procedures
KR101941096B1 (en) Electronic Apparatus, Method and System for Providing of Procedure Guide of Dental Implant
KR102383546B1 (en) Apparatus and method for oral image registration
KR102277022B1 (en) Method and apparatus for matching oral scan image and oral scan image
KR20210019815A (en) Method and apparatus for separating maxilla and mandible of 3-d oral ct image
KR102363740B1 (en) Method and apparatus for selecting fixture
KR102232043B1 (en) Method and Apparatus for Creating Model for Separating of Teeth and Alveolar Bone in Image Data
KR20210148709A (en) Method and apparatus for calculating fixture information
KR102177886B1 (en) Method and apparatus for preprocessing computerized tomography image data
KR102253081B1 (en) Method and Apparatus for detecting of Individual Tooth in Teeth Image
KR101928985B1 (en) Electronic Apparatus, Method and System for Checking of Procedure Guide of Dental Implant
EP4358889A1 (en) Systems, methods, and devices for augmented dental implant surgery using kinematic data
KR20240111347A (en) Devices for prosthetic design

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant