KR101801376B1 - 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법 - Google Patents

3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법 Download PDF

Info

Publication number
KR101801376B1
KR101801376B1 KR1020160113595A KR20160113595A KR101801376B1 KR 101801376 B1 KR101801376 B1 KR 101801376B1 KR 1020160113595 A KR1020160113595 A KR 1020160113595A KR 20160113595 A KR20160113595 A KR 20160113595A KR 101801376 B1 KR101801376 B1 KR 101801376B1
Authority
KR
South Korea
Prior art keywords
skull
image
model
bone
actual
Prior art date
Application number
KR1020160113595A
Other languages
English (en)
Inventor
홍헬렌
이민진
김용욱
심규원
Original Assignee
서울여자대학교 산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단, 연세대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020160113595A priority Critical patent/KR101801376B1/ko
Application granted granted Critical
Publication of KR101801376B1 publication Critical patent/KR101801376B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법에서, 상기 두개골 이형 자동판단시스템은 영상 촬영부, 두개골 모델 생성부, 두개골 모델 정합부, 두개골 뼈 추출부, 두개골 뼈 전사부 및 두개골 이형 판단부를 포함한다. 상기 영상 촬영부는 환자의 두개골 영상을 촬영한다. 상기 두개골 모델 생성부는 상기 영상 촬영부에서 촬영된 영상에서 실제 두개골 영상을 획득하고, 데이터베이스로부터 평균 두개골 모델을 생성한다. 상기 두개골 모델 정합부는 상기 평균 두개골 모델을 상기 실제 두개골 영상에 정합한다. 상기 두개골 뼈 추출부는 상기 정합된 평균 두개골 모델 및 상기 실제 두개골 영상으로부터 각각 두개골 뼈를 분할하여 추출한다. 상기 두개골 뼈 전사부는 상기 추출된 두개골 뼈를 2차원 평면으로 전사한다. 상기 두개골 이형 판단부는 상기 전사 결과를 바탕으로 실제 두개골 이형을 판단한다.

Description

3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법{SKULL DEFORMITY ANALYZING SYSTEM USING A 3D TOPOLOGICAL DESCRIPTOR AND A METHOD FOR ANALYZING SKULL DEFORMITY USING THE SAME}
본 발명은 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법에 관한 것으로, 더욱 상세하게는 3차원 위상 기술자(3D topological descriptor)를 이용하여 환자의 두개골 형상으로부터 두개골 이형을 자동으로 판단할 수 있는 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법에 관한 것이다.
두개골유합증(Craniosynostosis)은 두개골의 봉합선이 유합해 두개골과 뇌조직의 성장에 장애를 초래하는 선천적 질병으로, 특히 출생 후 3개월 내지 1년 사이에 적절한 교정 또는 수술이 필요한 것으로 알려져 있다.
이에 따라, 두개골유합증의 적절한 진단 및 치료는 빠를수록 유리하지만, 현재까지의 두개골유합증의 진단이 대부분 두개골에 대한 CT 촬영 등을 통해 숙련된 의사에 의해 수행될 수밖에 없으므로 조기 진단이 어려운 문제가 있어 왔다.
한편, 두개골유합증의 진단과 관련하여, 미국 등록특허 US 9370318호는 두개골의 양적평가에 관한 기술로 CT이미지로부터 두개골유합증의 연산을 해석하기 위한 기술을 개시하고 있으나, 본 기술을 통해서는 실제 측정된 모델과 형상 모델 사이의 차이를 연산하여 비정상적인 대상을 진단하는 단순한 기술을 개시하고 있을 뿐이며, 이에 따라 두개골유합증의 진단의 정확성이 높지 않은 문제가 있다.
따라서, 특히, 최근의 CT 촬영과 같은 3차원 영상 촬영기술이 발전하였는바, 필요한 정보를 즉각적으로 획득할 수 있는 여건을 바탕으로, 상기 촬영된 영상으로부터 의료 전문가의 주관적인 진단 없이 자가 진단 또는 자동 진단으로 두개골유합증을 보다 정확하게 진단할 수 있는 기술의 필요성이 대두되고 있다.
1. 미국 등록특허 US 9370318호
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 보다 정확하고 효과적인 진단이 가능한 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템에 관한 것이다.
본 발명의 다른 목적은 상기 두개골 이형 자동판단시스템을 이용한 두개골 이형 자동판단방법에 관한 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 두개골 이형 자동판단시스템은 영상 촬영부, 두개골 모델 생성부, 두개골 모델 정합부, 두개골 뼈 추출부, 두개골 뼈 전사부 및 두개골 이형 판단부를 포함한다. 상기 영상 촬영부는 환자의 두개골 영상을 촬영한다. 상기 두개골 모델 생성부는 상기 영상 촬영부에서 촬영된 영상에서 실제 두개골 영상을 획득하고, 데이터베이스로부터 평균 두개골 모델을 생성한다. 상기 두개골 모델 정합부는 상기 평균 두개골 모델을 상기 실제 두개골 영상에 정합한다. 상기 두개골 뼈 추출부는 상기 정합된 평균 두개골 모델 및 상기 실제 두개골 영상으로부터 각각 두개골 뼈를 분할하여 추출한다. 상기 두개골 뼈 전사부는 상기 추출된 두개골 뼈를 2차원 평면으로 전사한다. 상기 두개골 이형 판단부는 상기 전사 결과를 바탕으로 실제 두개골 이형을 판단한다.
일 실시예에서, 상기 두개골 이형 판단부는, 상기 정합된 평균 두개골 모델에서 추출된 두개골 뼈의 전사 면적과, 상기 실제 두개골 영상에서 추출된 두개골 뼈의 전사 면적을 비교하여 두개골 이형을 판단할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 두개골 이형 자동판단방법에서, 실제 두개골 영상을 획득한다. 평균 두개골 모델을 생성한다. 상기 평균 두개골 모델을 변형하여 상기 실제 두개골 영상에 정합한다. 상기 정합된 평균 두개골 모델 및 상기 실제 두개골 영상으로부터 각각 두개골 뼈를 분할하여 추출한다. 상기 추출된 두개골 뼈를 2차원 평면으로 전사한다. 상기 전사 결과를 바탕으로 실제 두개골 이형을 판단한다.
일 실시예에서, 상기 평균 두개골 모델을 생성하는 단계에서, 상기 평균 두개골 모델은 데이터베이스에 저장된 해당 연령에서 정상인 두개골 정보를 바탕으로 생성될 수 있다.
일 실시예에서, 상기 평균 두개골 모델을 변형하여 상기 실제 두개골 영상에 정합하는 단계는, 상기 평균 두개골 모델을 기준점들을 이용하여 이동시키거나 회전시키는 단계, 및 상기 평균 두개골 모델을 상기 기준점들에 대해 축소시키거나 확대시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 두개골 뼈를 분할하여 추출하는 단계에서, 상기 정합된 평균 두개골 모델에서 두개골 뼈를 분할하여 추출하는 경우, 두개골의 봉합을 기준으로 5개의 패치 영역으로 분할하여 각각의 패치 영역을 추출할 수 있다.
일 실시예에서, 상기 두개골 뼈를 분할하여 추출하는 단계에서, 상기 실제 두개골 영상으로부터 두개골 뼈를 분할하여 추출하는 경우, 상기 실제 두개골 영상에 대하여 밝기값을 증가시키며 두개골 뼈를 분할할 수 있다.
일 실시예에서, 상기 밝기값은, 환자의 연령에 따라 서로 다르게 할당된 최대 밝기값의 범위에서 단계적으로 증가시킬 수 있다.
일 실시예에서, 상기 추출된 두개골 뼈를 2차원 평면으로 전사하는 단계에서, 상기 5개의 패치 영역 각각에서 주축에 수직인 방향의 상기 2차원 평면으로 전사할 수 있다.
일 실시예에서, 상기 두개골 이형을 판단하는 단계는, 상기 정합된 평균 두개골 모델에서 추출된 두개골 뼈의 전사 면적과, 상기 실제 두개골 영상에서 추출된 두개골 뼈의 전사 면적을 비교하는 단계, 및 상기 비교된 전사 면적으로부터 실제 두개골의 이형을 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 전사 면적을 비교하는 단계에서,
하기 식 (1)
Figure 112016086153611-pat00001
식 (1)
을 이용할 수 있다.
일 실시예에서, 상기 두개골의 이형을 판단하는 단계에서, 두개골의 봉합을 기준으로 분할되는 5개의 패치 영역 각각에서 상기 식 (1)의 결과를 도출하여 상기 두개골 이형의 종류를 판단할 수 있다.
본 발명의 실시예들에 의하면, 정합된 평균 두개골 모델과 실제 두개골 영상 각각에서 추출된 두개골 뼈의 전사 면적을 비교함으로써, 두개골 이형의 여부를 자동으로 판단할 수 있으므로, 종래의 전문 의료인의 주관적인 판단에 근거하여 진단하던 두개골 이형의 여부를 보다 신속하고 정확하게 진단할 수 있다. 이에 따라, 두개골유합증 등의 두개골 이형의 조기발견을 통한 조기 치료가 가능하다.
특히, 3차원으로 생성되거나 촬영되는 두개골 모델 또는 실제 두개골 영상을 2차원으로 전사한 후, 면적의 비를 비교하여 두개골 이형을 판단하므로 두개골 이형을 보다 빠르고 용이하게 판단할 수 있다.
이 경우, 일반적으로 분할되는 5개의 패치 영역 각각에 대하여 면적의 비를 연산함으로써 상기 두개골 이형의 종류를 즉각적으로 판단할 수 있어, 두개골 이형의 판단의 정확도가 향상될 수 있다.
또한, 실제 두개골 영상으로부터 두개골 뼈를 추출하는 단계에서 촬영된 영상에 대하여 밝기값을 단계적으로 증가시키며 두개골 뼈의 봉합을 찾아 분할하므로 보다 정확하게 두개골 뼈를 분할하여 추출할 수 있다.
이 경우, 환자의 연령에 따른 두개골 뼈의 특성을 고려하여 상기 밝기값의 최대값을 달리함으로써, 연산 시간을 최적화할 수 있다.
도 1은 본 발명의 일 실시예에 의한 두개골 이형 자동판단시스템을 도시한 블록도이다.
도 2는 도 1의 두개골 이형 자동판단시스템을 이용한 두개골 이형 자동판단방법을 도시한 흐름도이다.
도 3은 도 2에서 두개골 뼈를 분할하여 추출하는 단계를 도시한 흐름도이다.
도 4a는 유아기의 두개골 봉합을 도시한 이미지이고, 도 4b는 도 2의 실제 두개골 영상을 획득하는 단계를 통해 획득된 실제 두개골 영상의 예를 도시한 이미지이며, 도 4c는 도 2의 평균 두개골 모델을 생성하는 단계에서 생성된 평균 두개골 모델의 예를 도시한 이미지이다.
도 5는 도 2의 두개골 정합 단계를 통해 정합된 평균 두개골 모델을 도시한 이미지이다.
도 6a는 도 3에서 400HU의 밝기로 두개골 뼈를 분할하는 예를 도시한 이미지이고, 도 6b는 도 3에서 900HU의 밝기로 두개골 뼈를 분할하는 예를 도시한 이미지이다.
도 7a 및 도 7b는 도 2에서 평균 두개골 모델의 두개골 뼈를 2차원 평면으로 전사하는 예를 도시한 이미지들이다.
도 8a 및 도 8b는 도 2에서 실제 두개골 영상에서 추출된 두개골 뼈를 2차원 평면으로 전사하는 예를 도시한 이미지들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 의한 두개골 이형 자동판단시스템을 도시한 블록도이다. 도 2는 도 1의 두개골 이형 자동판단시스템을 이용한 두개골 이형 자동판단방법을 도시한 흐름도이다. 도 3은 도 2에서 두개골 뼈를 분할하여 추출하는 단계를 도시한 흐름도이다. 도 4a는 유아기의 두개골 봉합을 도시한 이미지이고, 도 4b는 도 2의 실제 두개골 영상을 획득하는 단계를 통해 획득된 실제 두개골 영상의 예를 도시한 이미지이며, 도 4c는 도 2의 평균 두개골 모델을 생성하는 단계에서 생성된 평균 두개골 모델의 예를 도시한 이미지이다. 도 5는 도 2의 두개골 정합 단계를 통해 정합된 평균 두개골 모델을 도시한 이미지이다. 도 6a는 도 3에서 400HU의 밝기로 두개골 뼈를 분할하는 예를 도시한 이미지이고, 도 6b는 도 3에서 900HU의 밝기로 두개골 벼를 분할하는 예를 도시한 이미지이다. 도 7a 및 도 7b는 도 2에서 평균 두개골 모델의 두개골 뼈를 2차원 평면으로 전사하는 예를 도시한 이미지들이다. 도 8a 및 도 8b는 도 2에서 실제 두개골 영상에서 추출된 두개골 뼈를 2차원 평면으로 전사하는 예를 도시한 이미지들이다.
우선, 도 1 및 도 2를 참조하면, 본 실시예에 의한 두개골유합증 자동진단시스템(10)은 영상 촬영부(100), 데이터 베이스(200), 두개골 모델 생성부(300), 두개골 모델 정합부(400), 두개골 뼈 추출부(500), 두개골 뼈 전사부(600) 및 두개골 이형 판단부(700)를 포함하고, 이를 이용하여 두개골 이형 여부를 자동으로 판단한다.
보다 구체적으로, 우선, 상기 영상 촬영부(100)는 환자의 두개골을 CT(computerized tomographic) 또는 MRI 영상으로 촬영하고, 상기 촬영된 영상은 상기 두개골 모델 생성부로 제공되어 실제 두개골 영상 정보가 획득된다(단계 S10).
이 경우, CT 영상 또는 MRI 영상은 3차원 영상으로 획득될 수 있으며, 이와 같이 촬영된 영상 데이터는 상기 데이터 베이스(200)로도 제공된다.
상기 데이터 베이스(200)는 상기 영상 촬영부(100)에서 촬영된 정보를 저장하며, 특히 각각의 연령대마다 정상 상태의 두개골에 관한 정보를 저장한 상태에서, 후술되는 평균 두개골 모델의 생성을 위해 상기 정상 상태의 두개골에 관한 정보를 제공한다.
이 후, 상기 두개골 모델 생성부(300)는 상기 데이터 베이스(200)로부터 정상 상태의 두개골에 관한 정보를 제공받아 평균 두개골 모델을 생성한다(단계 S20).
도 4a를 참조하면, 일반적으로 두개골은 봉합(suture)을 포함하며, 특히 유아기의 두개골의 경우 봉합이 열린(open) 경우도 많으므로 실제 촬영된 두개골에서도 봉합 또는 개구(opening)가 포함될 수 있다.
한편, 도 4b는 상기 두개골 모델 생성부(300)로부터 200HU(hounsfield)의 밝기로 상기 실제 두개골에 대한 영상을 획득한 예이다.
또한, 도 4c에 도시된 바와 같이, 상기 두개골 모델 생성부(300)에서는 해당 연령대의 평균 두개골 모델을 생성하고, 상기 평균 두개골 모델은 후술하겠으나 상기 4a의 두개골 봉합을 고려하여 5개의 패치 영역으로 분할된다.
이 후, 도 1, 도 2 및 도 5를 참조하면, 상기 두개골 모델 정합부(400)는 상기 평균 두개골 모델을 변형하여 실제 두개골 영상에 정합한다(단계 S30).
보다 구체적으로, 상기 정합단계에서, 상기 평균 두개골 모델 및 상기 실제 두개골 영상에 각각 기준점들을 할당하고, 상기 기준점들을 이용하여 상기 평균 두개골 모델을 이동시키거나 회전시켜 상기 실제 두개골 영상에 정합시킨다.
이 경우, 상기 할당되는 기준점들은 Nasion, Basion, Opisthion 및 양 측의 Porion의 5개일 수 있다.
또한, 상기 평균 두개골 모델의 5개의 기준점들을 상기 실제 두개골의 5개의 기준점들에 정합시키기 위해, 상기 평균 두개골 모델을 3차원 공간상에서 XYZ 각각의 축에 대하여 평행하게 이동시키거나, 또는 XYZ 각각의 축을 기준으로 회전하도록 이동시킨다.
이 경우, 상기 평균 두개골 모델을 이동 또는 회전시키는 것으로 상기 평균 두개골 모델이 상기 실제 두개골 영상에 정합되지 않을 수 있다.
즉, 상기 5개의 기준점들 중 Nasion을 제외한 4개의 기준점들은 두개골에서 상대적으로 후두부측에 몰려 위치하므로, 상기 평균 두개골 모델을 상기 기준점들을 이용하여 이동시키거나 회전시키더라도 상기 평균 두개골 모델을 상기 실제 두개골에 정합시키기에는 한계가 있다.
이에 따라, 보다 정확한 정합을 위해, 상기 평균 두개골 모델을 상기 기준점들 모두에 대하여 축소시키거나 확대시켜 상기 실제 두개골 영상에 보다 정확하게 정합시킨다.
이 경우, 확대 또는 축소와 같은 스케일(scale)의 변경은 상기 5개의 기준점들 모두에 대하여 수행할 수 있으며, 이를 통해 상기 평균 두개골 모델을 상기 실제 두개골에 보다 정확하게 변형하여 정합할 수 있다.
이와 같은 정합 단계를 통해 변형된 상기 평균 두개골 모델은 예를 들어, 도 5에 도시된 바와 같다.
이 후, 도 1 및 도 2를 참조하면, 상기 두개골 뼈 추출부(500)는 상기 정합된 평균 두개골 모델 및 상기 실제 두개골 영상으로부터 각각 두개골 뼈를 분할하여 추출한다(단계 S40).
상기 정합된 평균 두개골 모델의 경우, 도 5에 도시된 바와 같이 두개골 봉합을 기준으로 5개의 패치 영역으로 이미 분할된 상태로 획득되므로, 상기 정합된 평균 두개골 모델로부터 두개골 뼈를 분할하여 추출하는 것은 즉각적으로 수행될 수 있다.
다만, 상기 실제 두개골 영상의 경우, 촬영된 영상이므로 두개골 봉합이 명확하게 분할되지 않을 수 있다. 즉, 도 4b에 도시된 바와 같이, 200HU의 밝기로 촬영된 영상을 분석하는 경우 두개골 봉합이 명확하게 분할되지 않을 수 있으며 이에 따라 실제 두개골 영상으로부터 두개골 뼈를 분할하여 추출하기 위해서는 본 실시예에서는 하기와 같은 구체적인 방법을 사용한다.
즉, 도 3을 참조하면, 우선, 영상 분석을 위한 초기 밝기값 T를 입력한다(단계 S41).
이 경우, 상기 초기 밝기값 T는 일반적으로 400HU일 수 있으며, 도 6a에는 400HU의 밝기에서의 실제 두개골 영상을 도시하였다.
이 후, 기준 두개골 개수 N0를 입력한다(단계 S42).
이 경우, 기준 두개골 개수란 두개골의 분할되는 뼈의 개수를 의미하는 것으로 일반적으로 두개골 봉합을 고려할 때 5가 초기값으로 입력된다.
그리하여, 상기 두개골 뼈 추출부(500)는 초기 밝기값 400HU로 상기 실제 두개골 영상으로부터 두개골의 분할되는 뼈의 개수(N)를 분석한다(단계 S43).
이 경우, 분할의 기준은 도 6a에 도시된 바와 같이 흰색으로 표시되는 뼈의 사이에 검은색으로 표시되는 경계선이 발생하면 상기 경계선을 기준으로 분할할 수 있다. 즉, 도 6a의 경우, 경계선이 두개골의 상부에 1개가 표시되므로, 분할되는 뼈의 개수는 2개일 수 있다.
이 후, 상기 분할된 두개골 뼈의 개수(N)가 기준 두개골 개수인 N0와 같거나 크다면(단계 S44), 상기 두개골 뼈 추출부(500)는 상기 분할된 두개골 뼈를 추출하여 두개골 추출단계를 종료한다(단계 S45).
그러나, 상기 분할된 두개골 뼈의 개수(N)가 기준 두개골 개수인 N0보다 작다면(단계 S44), 상기 밝기값을 증가시키고(단계 S47), 앞서 설명한 상기 두개골 뼈를 분할하여 추출하는 과정을 반복한다.
도 6b는 900HU의 밝기에서의 실제 두개골 영상을 도시하였다.
즉, 밝기값이 증가함에 따라, 상대적으로 검은색으로 표시되는 경계선이 뚜렷해지며 증가하는 것을 확인할 수 있으며, 이에 따라 실제 두개골 영상으로부터 두개골의 분할을 보다 용이하게 수행할 수 있다.
다만, 상기 밝기값을 지속적으로 증가시키면서 두개골 뼈를 추출한다면 지나치게 추출 과정이 지연되므로, 최대 밝기값 Tmax를 설정하여, 상기 최대 밝기값의 범위 이내에서(단계 S46), 50HU의 단위로 증가시킬 수 있다.
한편, 두개골의 경우 연령이 증가할수록 열려있던 봉합이 닫히게 되므로, 저 연령대에서는 고 연령대보다 상대적으로 낮은 밝기값으로도 두개골 뼈를 용이하게 분할할 수 있음을 고려하여, 환자의 연령에 따라 상기 최대 밝기값은 서로 다르게 설정할 수 있다.
예를 들어, 3-6개월의 두개골에 대하여는 850HU, 7-12개월의 두개골에 대하여는 900HU, 13-24개월의 두개골에 대하여는 1,300HU 등으로 설정할 수 있다.
이와 같이, 밝기값을 초기 밝기값 T로부터 최대 밝기값 Tmax까지 순차적으로 증가시키면서 상기 실제 두개골 영상에서 분할되는 뼈의 개수가 몇 개인지를 분석하는 과정을 반복한다.
그러나, 상기 밝기값을 최대 밝기값까지 증가시키면서 분할되는 뼈의 개수를 분석하였음에도 실제 두개골 영상에서 분할되는 두개골 뼈의 개수가 기준 두개골 개수인 N0보다 작게 도출된다면, 실제 두개골 영상에서 분할되는 두개골 뼈의 개수는 N0보다 작은 것(즉, 5개 미만인 것)이 명확하다.
이에 따라, 상기 기준 두개골 개수를 1개 감소시켜(즉, 4개로 입력)(단계 S48), 상기 실제 두개골 영상으로부터 두개골 뼈를 분할하는 과정을 반복한다.
즉, 상기 기준 두개골 개수가 감소된 상태에서도 초기 밝기값으로부터 최대 밝기값으로까지 밝기값을 증가시키면서 실제 두개골 영상에서 분할되는 두개골 뼈의 개수를 분석한다.
이 경우, 상기 기준 두개골 개수를 1만큼 감소시킨 상태에서 분석된 실제 두개골 영상에서 분할되는 두개골 뼈의 개수가 상기 기준 두개골 개수와 동일하다면, 상기 두개골 뼈 추출부(500)는 상기 실제 두개골 영상으로부터 두개골 뼈를 4개로 분할하여 각각의 뼈를 추출한다.
이와 달리, 상기 기준 두개골 개수가 1만큼 감소된 상태에서도 상기 실제 두개골 영상으로부터 분할되는 두개골 뼈의 개수(N)가 N0보다 작다면, 상기 기준 두개골 개수를 추가로 1만큼 감소시키고 상기 추출 단계를 반복한다.
나아가, 분할되는 두개골 뼈의 개수(N)가 N0보다 작다면, 상기 기준 두개골 개수가 1인 경우까지 기준 두개골 개수를 감소시키며, 상기 추출 단계를 반복하여 최종적으로 상기 실제 두개골 영상으로부터 분할되는 두개골 뼈의 개수와 각각의 뼈에 대한 추출 단계를 수행한다.
이상과 같이, 상기 두개골 뼈 추출부(500)가 상기 평균 두개골 모델, 및 상기 실제 두개골 영상으로부터 두개골 봉합을 기준으로 두개골 뼈를 분할하여 추출한다.
이 후, 도 1 및 도 2를 참조하면, 상기 두개골 뼈 전사부(600)는 상기 추출된 두개골 뼈를 2차원 평면으로 전사한다(단계 S50).
도 7a 및 도 7b를 참조하면, 상기 두개골 뼈 전사부(600)는 상기 정합된 평균 두개골 모델로부터 추출된 두개골 뼈를 2차원 평면으로 전사한다.
이 경우, 상기 정합된 평균 두개골 모델의 경우 5개의 패치 영역으로 가상적으로 분할된 상태이므로, 5개의 패치 영역 각각에서 분할되는 두개골 뼈를 2차원 평면으로 전사한다.
이 때, 상기 전사는 패치 영역 각각에서 분할된 두개골 뼈에 대한 주축(principal axis)에 수직인 평면으로 상기 분할된 두개골 뼈가 전사되며, 도 7b에는 도 7a의 5개의 패치 영역 중 B 영역에서의 분할된 두개골 뼈를 평면으로 전사한 예를 도시하였다.
또한, 도 8a 및 도 8b를 참조하면, 상기 두개골 뼈 전사부(600)는 상기 실제 두개골 영상으로부터 추출된 두개골 뼈를 2차원 평면으로 전사한다.
이 경우, 상기 실제 두개골 영상의 경우 반드시 5개의 패치 영역으로 분할되지 않으며 실제 두개골의 이형에 따라 5개 이하의 패치 영역으로 분할되어 추출되므로, 상기 정합된 평균 두개골 모델에서 각 패치 영역에 대응되는 영역의 두개골 뼈를 2차원 평면으로 전사한다.
이 때, 상기 전사는 실제 두개골 영상에서 각각의 분할된 두개골 뼈에 대한 주축에 수직인 평면으로 전사된다.
예를 들어, 도 8a 및 도 8b에 도시된 바와 같이, 도 7a에서 상기 정합된 평균 두개골 모델에서 B 영역에 대응되는 실제 두개골의 분할된 뼈는 도 8a의 화살표 방향의 영역에 해당되며, 이에 따라, 도 8b와 같이 상기 화살표 방향의 영역에 대하여 평면으로 전사가 수행된다.
한편, 도 7a 및 도 8a를 참조하면, 상기 정합된 평균 두개골 모델에서 E 영역은 실제 두개골의 분할된 뼈에서도 유사한 영역이 대응되지만, 상기 정합된 평균 두개골 모델에서 A 영역 및 C 영역은 실제 두개골의 분할된 뼈에서 좌측 영역으로 대응되고, 상기 정합된 평균 두개골 모델에서 B 영역 및 D 영역은 실제 두개골의 분할된 뼈에서 우측 영역으로 대응된다.
이 후, 도 1 및 도 2를 참조하면, 상기 두개골 이형 판단부(700)는 상기 전사 결과를 바탕으로 실제 두개골 이형을 판단한다.
즉, 상기 두개골 이형 판단부(700)는 상기 정합된 평균 두개골 모델에서 추출된 두개골 뼈의 전사 면적과, 상기 실제 두개골 영상에서 추출된 두개골 뼈의 전사 면적을 비교한다(단계 S60). 그리하여, 상기 두개골 이형 판단부(700)는 상기 비교된 전사 면적으로부터 실제 두개골의 이형을 판단한다(단계 S70).
이 때, 상기 전사 면적을 비교하는 단계에서는 하기 식 (1)의 비율을 이용한다.
Figure 112016086153611-pat00002
식 (1)
Figure 112016086153611-pat00003
는 실제 두개골 영상에서 추출된 두개골 뼈의 전사 면적이고,
Figure 112016086153611-pat00004
는 정합된 평균 두개골 모델에서 추출된 두개골 뼈의 전사 면적이다.
즉, 상기 정합된 평균 두개골 모델과 상기 실제 두개골 영상에서 서로 대응되는 영역에서의 전사 면적의 비를 구한다.
결국, 상기 식 (1)에서의 비(SF)가 1에 가깝다면 상기 정합된 평균 두개골 모델과 상기 실제 두개골 영상에서 서로 대응되는 영역의 면적이 유사한 것으로, 상대적으로 상기 실제 두개골은 정상에 근접한 것으로 볼 수 있다.
이와 달리, 상기 식 (1)에서의 비(SF)가 1로부터 증가할수록 상기 정합된 평균 두개골 모델과 상기 실제 두개골 영상에서 서로 대응되는 영역의 면적의 차이가 큰 것으로, 상대적으로 상기 실제 두개골은 이형이라고 판단할 수 있다.
예를 들어, 도 7a 및 도 8a를 참조하면, 상기 정합된 평균 두개골 모델에서 E 영역은 실제 두개골의 분할된 뼈에서도 유사한 영역이 대응되지만, 상기 정합된 평균 두개골 모델에서 A 영역 및 C 영역은 실제 두개골의 분할된 뼈에서 좌측 영역으로 대응되고, 상기 정합된 평균 두개골 모델에서 B 영역 및 D 영역은 실제 두개골의 분할된 뼈에서 우측 영역으로 대응된다.
이에 따라, 상기 식 (1)에서의 비(SF)는 E 영역에서는 1에 근접하지만, A 내지 D 영역은 1보다 큰 값으로 도출된다.
결과적으로, 상기 평균 두개골 모델에서의 5개의 패치 영역 각각에서, 상기 식 (1)의 비(SF)를 도출하면, 상기 실제 두개골의 이형은 물론이며 두개골 이형의 유형에 대하여도 즉각적으로 판단할 수 있다.
즉, 상기 식 (1)의 비(SF)에서 1로 도출되는 값을 0으로 환산하여 도시한 도 9에서와 같이, 상기 5개의 패치 영역 A 내지 E 각각에서 상기 식 (1)의 비(SF)를 도출한 결과를 바탕으로 실제 두개골 이형의 유형(bicoronal, sagittal, unicoronal, unilambdoid)을 판단할 수 있다.
본 발명의 실시예들에 의하면, 정합된 평균 두개골 모델과 실제 두개골 영상 각각에서 추출된 두개골 뼈의 전사 면적을 비교함으로써, 두개골 이형의 여부를 자동으로 판단할 수 있으므로, 종래의 전문 의료인의 주관적인 판단에 근거하여 진단하던 두개골 이형의 여부를 보다 신속하고 정확하게 진단할 수 있다. 이에 따라, 두개골유합증 등의 두개골 이형의 조기발견을 통한 조기 치료가 가능하다.
특히, 3차원으로 생성되거나 촬영되는 두개골 모델 또는 실제 두개골 영상을 2차원으로 전사한 후, 면적의 비를 비교하여 두개골 이형을 판단하므로 두개골 이형을 보다 빠르고 용이하게 판단할 수 있다.
이 경우, 일반적으로 분할되는 5개의 패치 영역 각각에 대하여 면적의 비를 연산함으로써 상기 두개골 이형의 종류를 즉각적으로 판단할 수 있어, 두개골 이형의 판단의 정확도가 향상될 수 있다.
또한, 실제 두개골 영상으로부터 두개골 뼈를 추출하는 단계에서 촬영된 영상에 대하여 밝기값을 단계적으로 증가시키며 두개골 뼈의 봉합을 찾아 분할하므로 보다 정확하게 두개골 뼈를 분할하여 추출할 수 있다.
이 경우, 환자의 연령에 따른 두개골 뼈의 특성을 고려하여 상기 밝기값의 최대값을 달리함으로써, 연산 시간을 최적화할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명에 따른 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법은 두개골유합증의 판단에 사용될 수 있는 산업상 이용 가능성을 갖는다.
10 : 두개골 이형 자동판단시스템
100 : 영상 촬영부 200 : 데이터 베이스
300 : 두개골 모델 생성부 400 : 두개골 모델 정합부
500 : 두개골 뼈 추출부 600 : 두개골 뼈 전사부
700 : 두개골 이형 판단부

Claims (12)

  1. 환자의 두개골 영상을 촬영하는 영상 촬영부;
    상기 영상 촬영부에서 촬영된 영상에서 실제 두개골 영상을 획득하고, 데이터베이스로부터 평균 두개골 모델을 생성하는 두개골 모델 생성부;
    상기 평균 두개골 모델을 상기 실제 두개골 영상에 정합하는 두개골 모델 정합부;
    상기 정합된 평균 두개골 모델 및 상기 실제 두개골 영상으로부터 각각 두개골 뼈를 분할하여 추출하는 두개골 뼈 추출부;
    상기 추출된 두개골 뼈를 2차원 평면으로 전사하는 두개골 뼈 전사부; 및
    상기 전사 결과를 바탕으로 실제 두개골 이형을 판단하는 두개골 이형 판단부를 포함하는 두개골 이형 자동판단시스템.
  2. 제1항에 있어서, 상기 두개골 이형 판단부는,
    상기 정합된 평균 두개골 모델에서 추출된 두개골 뼈의 전사 면적과, 상기 실제 두개골 영상에서 추출된 두개골 뼈의 전사 면적을 비교하여 두개골 이형을 판단하는 것을 특징으로 하는 두개골 이형 자동판단시스템.
  3. 실제 두개골 영상을 획득하는 단계;
    평균 두개골 모델을 생성하는 단계;
    상기 평균 두개골 모델을 변형하여 상기 실제 두개골 영상에 정합하는 단계;
    상기 정합된 평균 두개골 모델 및 상기 실제 두개골 영상으로부터 각각 두개골 뼈를 분할하여 추출하는 단계;
    상기 추출된 두개골 뼈를 2차원 평면으로 전사하는 단계; 및
    상기 전사 결과를 바탕으로 실제 두개골 이형을 판단하는 단계를 포함하는 두개골 이형 자동판단방법.
  4. 제3항에 있어서, 상기 평균 두개골 모델을 생성하는 단계에서,
    상기 평균 두개골 모델은 데이터베이스에 저장된 해당 연령에서 정상인 두개골 정보를 바탕으로 생성되는 것을 특징으로 하는 두개골 이형 자동판단방법.
  5. 제3항에 있어서, 상기 평균 두개골 모델을 변형하여 상기 실제 두개골 영상에 정합하는 단계는,
    상기 평균 두개골 모델을 기준점들을 이용하여 이동시키거나 회전시키는 단계; 및
    상기 평균 두개골 모델을 상기 기준점들에 대해 축소시키거나 확대시키는 단계를 포함하는 것을 특징으로 하는 두개골 이형 자동판단방법.
  6. 제3항에 있어서, 상기 두개골 뼈를 분할하여 추출하는 단계에서,
    상기 정합된 평균 두개골 모델에서 두개골 뼈를 분할하여 추출하는 경우, 두개골의 봉합을 기준으로 5개의 패치 영역으로 분할하여 각각의 패치 영역을 추출하는 것을 특징으로 하는 두개골 이형 자동판단방법.
  7. 제6항에 있어서, 상기 두개골 뼈를 분할하여 추출하는 단계에서,
    상기 실제 두개골 영상으로부터 두개골 뼈를 분할하여 추출하는 경우,
    상기 실제 두개골 영상에 대하여 밝기값을 증가시키며 두개골 뼈를 분할하는 것을 특징으로 하는 두개골 이형 자동판단방법.
  8. 제7항에 있어서, 상기 밝기값은,
    환자의 연령에 따라 서로 다르게 할당된 최대 밝기값의 범위에서 단계적으로 증가시키는 것을 특징으로 하는 두개골 이형 자동판단방법.
  9. 제7항에 있어서, 상기 추출된 두개골 뼈를 2차원 평면으로 전사하는 단계에서,
    상기 5개의 패치 영역 각각에서 주축에 수직인 방향의 상기 2차원 평면으로 전사하는 것을 특징으로 하는 두개골 이형 자동판단방법.
  10. 제3항에 있어서, 상기 두개골 이형을 판단하는 단계는,
    상기 정합된 평균 두개골 모델에서 추출된 두개골 뼈의 전사 면적과, 상기 실제 두개골 영상에서 추출된 두개골 뼈의 전사 면적을 비교하는 단계; 및
    상기 비교된 전사 면적으로부터 실제 두개골의 이형을 판단하는 단계를 포함하는 것을 특징으로 하는 두개골 이형 자동판단방법.
  11. 제10항에 있어서, 상기 전사 면적을 비교하는 단계에서,
    하기 식 (1)
    Figure 112016086153611-pat00005
    식 (1)
    을 이용하는 것을 특징으로 하는 두개골 이형 자동판단방법.
  12. 제11항에 있어서, 상기 두개골의 이형을 판단하는 단계에서,
    두개골의 봉합을 기준으로 분할되는 5개의 패치 영역 각각에서 상기 식 (1)의 결과를 도출하여 상기 두개골 이형의 종류를 판단하는 것을 특징으로 하는 두개골 이형 자동판단방법.


KR1020160113595A 2016-09-05 2016-09-05 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법 KR101801376B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113595A KR101801376B1 (ko) 2016-09-05 2016-09-05 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113595A KR101801376B1 (ko) 2016-09-05 2016-09-05 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법

Publications (1)

Publication Number Publication Date
KR101801376B1 true KR101801376B1 (ko) 2017-11-24

Family

ID=60810408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113595A KR101801376B1 (ko) 2016-09-05 2016-09-05 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법

Country Status (1)

Country Link
KR (1) KR101801376B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210020617A (ko) * 2019-08-16 2021-02-24 서울여자대학교 산학협력단 평균 골격 모델을 이용한 골격 수술 평가 방법
CN112754734A (zh) * 2020-12-29 2021-05-07 西安康拓医疗技术股份有限公司 一种用于拼接的peek骨板生成***
KR102539069B1 (ko) * 2022-01-27 2023-05-31 연세대학교 산학협력단 인체 두부의 3d 표준모델 모형 및 영상 처리 평가 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273489A (ja) 2000-03-24 2001-10-05 Babcock Hitachi Kk 頭蓋骨の３次元化データ測定装置と認識装置
US9370318B2 (en) 2012-10-04 2016-06-21 Marius G. LINGURARU Quantitative assessment of the skull

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273489A (ja) 2000-03-24 2001-10-05 Babcock Hitachi Kk 頭蓋骨の３次元化データ測定装置と認識装置
US9370318B2 (en) 2012-10-04 2016-06-21 Marius G. LINGURARU Quantitative assessment of the skull

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210020617A (ko) * 2019-08-16 2021-02-24 서울여자대학교 산학협력단 평균 골격 모델을 이용한 골격 수술 평가 방법
KR102291824B1 (ko) 2019-08-16 2021-08-24 서울여자대학교 산학협력단 평균 골격 모델을 이용한 골격 수술 평가 방법
CN112754734A (zh) * 2020-12-29 2021-05-07 西安康拓医疗技术股份有限公司 一种用于拼接的peek骨板生成***
CN112754734B (zh) * 2020-12-29 2024-02-23 西安康拓医疗技术股份有限公司 一种用于拼接的peek骨板生成***
KR102539069B1 (ko) * 2022-01-27 2023-05-31 연세대학교 산학협력단 인체 두부의 3d 표준모델 모형 및 영상 처리 평가 방법

Similar Documents

Publication Publication Date Title
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
JP7152455B2 (ja) セグメンテーション装置および学習モデルの生成方法
US10049457B2 (en) Automated cephalometric analysis using machine learning
KR102062539B1 (ko) 딥러닝 기반의 요추 질환 보조 진단 방법
JP6830082B2 (ja) 歯科分析システムおよび歯科分析ｘ線システム
KR101801376B1 (ko) 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법
CN109907827B (zh) 一种下颌角截骨术的手术导航***
CN115797730B (zh) 模型训练方法及装置、头影测量关键点定位方法及装置
Le et al. Automatic segmentation of mandibular ramus and condyles
Stern et al. Heatmap-based 2d landmark detection with a varying number of landmarks
KR102034648B1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR102373429B1 (ko) 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템
KR102103281B1 (ko) 뇌혈관 질환의 진단을 위한 ａｉ 기반의 보조 진단 시스템
KR101796111B1 (ko) 3차원 형태 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법
Liu et al. Tracking-based deep learning method for temporomandibular joint segmentation
KR102062386B1 (ko) 딥 러닝을 이용한 엑스레이 영상의 뼈 영역 제거 시스템
KR20200112309A (ko) 얼굴 영역 이미지 분석 장치 및 방법
CN112991289B (zh) 图像标准切面的处理方法及装置
JP4571378B2 (ja) 画像処理方法および装置並びにプログラム
US11488305B2 (en) Segmentation device
KR101856200B1 (ko) 두개골의 이형 상태 분류방법
KR102231334B1 (ko) 치아 배열 분석 방법, 이를 이용한 파노라마 이미지 생성 방법 및 그 장치
JP2021097864A (ja) 画像判定装置、画像判定方法及びプログラム
JP2019107453A (ja) 画像処理装置及び画像処理方法
JP7323885B2 (ja) 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant