KR20220014933A - Age estimation method and system from PMCT scan image - Google Patents

Age estimation method and system from PMCT scan image Download PDF

Info

Publication number
KR20220014933A
KR20220014933A KR1020200094357A KR20200094357A KR20220014933A KR 20220014933 A KR20220014933 A KR 20220014933A KR 1020200094357 A KR1020200094357 A KR 1020200094357A KR 20200094357 A KR20200094357 A KR 20200094357A KR 20220014933 A KR20220014933 A KR 20220014933A
Authority
KR
South Korea
Prior art keywords
image
voxel
femur
mandible
pmct
Prior art date
Application number
KR1020200094357A
Other languages
Korean (ko)
Other versions
KR102436358B1 (en
Inventor
김수형
김형석
김소연
팜반그엉
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020200094357A priority Critical patent/KR102436358B1/en
Publication of KR20220014933A publication Critical patent/KR20220014933A/en
Application granted granted Critical
Publication of KR102436358B1 publication Critical patent/KR102436358B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Pulmonology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

The present technology relates to a method and a device for estimating the age from a PMCT scan image. Based on the representation of two types of mandible and femur in the technique, a deep learning 3D CNN model is used to estimate the age. According to the embodiment of the present technology, there are advantages in terms of speed, accuracy and reliability compared to the existing approach, and it has the advantage of being able to serve as a computer-aided tool for professionals in determining the age of an individual.

Description

PMCT 스캔 영상으로부터 연령 추정 방법 및 시스템{Age estimation method and system from PMCT scan image}Age estimation method and system from PMCT scan image

본 발명은 PMCT 스캔 영상으로부터 연령 추정 방법 및 시스템에 관한 것으로 더욱 구체적으로는 PMCT 스캔 영상으로부터 추출된 하악골과 대퇴골 특징의 딥러닝 분석에 기초하여 성인의 연령을 추정하는 PMCT 스캔 영상으로부터 연령 추정 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for estimating age from a PMCT scan image, and more particularly, to a method and system for estimating age from a PMCT scan image for estimating the age of an adult based on deep learning analysis of features of the mandible and femur extracted from the PMCT scan image; It's about the system.

연령 추정은 법의학 분야의 도전적이고 중요한 과제이다. 연령 추정은 범죄자 식별, 성인 상태 예측을 통한 형사 책임 판단, 자연 재해의 경우 피해자 식별 또는 법적 문서가 없는 경우 개인 식별과 같은 광범위한 응용 분야가 있다.Age estimation is a challenging and important task in the field of forensics. Age estimation has a wide range of applications, such as identifying offenders, determining criminal responsibility by predicting adult status, identifying victims in the case of natural disasters, or identifying individuals in the absence of legal documents.

따라서 여러 응용 분야에 적합하고 연령 평가 분야의 전문가 의사 결정을 지원하는 강력하고 안정적인 연령 추정 시스템의 설계가 필요하다.Therefore, there is a need to design a robust and reliable age estimation system that is suitable for multiple applications and supports expert decision-making in the field of age assessment.

오랜 세월에 걸쳐 치아 발달과 골격 성장을 평가하여 어린이의 나이를 추정하는 많은 방법들이 제안되었다. 이는 치아의 분화 순서 또는 방사선 사진을 사용한 발달 단계 분석에 의존하며 가장 많이 쓰이는 방법은 Demirjian 기준이다.Over the years, many methods have been proposed to estimate the age of a child by evaluating tooth development and skeletal growth. It relies on the tooth differentiation sequence or developmental stage analysis using radiographs, and the most used method is the Demirjian criterion.

Dmirjian 기준은 하악골의 왼쪽에 있는 영구적인 7개의 치아를 석회화하여 만든 것이다. 석회화는 8단계로 구분되며 각 단계마다 특정 점수가 할당된다. 이 방법에 대한 대부분의 연구에서는 어금니(특히 첫 번째, 두 번째 및 세 번째 어금니)와 소구치(작은 어금니)의 CT 스캔을 사용했는데, 그 이유는 치아가 더 안정적인 뿌리 형태학을 가지고 있기 때문이다. The Dmirjian criterion is made by calcifying 7 permanent teeth on the left side of the mandible. Calcification is divided into 8 stages, and a specific score is assigned to each stage. Most studies of this method used CT scans of molars (especially first, second and third molars) and premolars (premolars) because the teeth have a more stable root morphology.

또 다른 방법은 어린이의 나이를 예측하기 위하여 왼쪽 X선 이미지를 사용했다. 성인의 경우 갈비뼈, 두개골 봉합, 대퇴골 또는 경골과 같은 특정 뼈의 퇴화 또는 심지어 뼈의 일부에 의존하는 몇 가지 방법을 사용하고 있으나 연령대가 다양하고 치과 및 골격 성숙도가 높아 성인 연령 예측을 위한 적절한 방법을 찾기가 어렵다. 또한, 기존 방법은 일반적으로 회귀 접근 방식을 사용했는데, 이는 종종 방사선 육안 검사에 의한 연령 추정의 변동성 문제가 있고 시간이 오래 걸리는 문제가 있다.Another method used left X-ray images to predict a child's age. For adults, there are several methods that rely on the degeneration of specific bones, such as ribs, cranial sutures, femur or tibia, or even part of the bone, but the different age groups and the high dental and skeletal maturity make it difficult to obtain an appropriate method for predicting adult age. hard to find In addition, existing methods generally used a regression approach, which is often problematic in terms of variability in age estimation by radiographic visual examination and is time consuming.

1. 한국 등록특허 제10-0715763호1. Korean Patent Registration No. 10-0715763

본 발명은 상기와 같은 문제를 해결하기 위한 것으로서 하악골과 대퇴골을 중요한 나이 지표로 간주하여 PMCT 스캔 영상으로부터 하악골과 대퇴골의 이미지를 추출한 다음 3D 컨볼루션 신경망을 적용하여 빠르고 정확한 연령 추정이 가능한 PMCT 스캔 영상으로부터 연령 추정 방법 및 시스템을 제공하는데 그 목적이 있다.In order to solve the above problems, the present invention considers the mandible and femur as important age indicators, extracts images of the mandible and femur from the PMCT scan image, and then applies a 3D convolutional neural network to a PMCT scan image that enables fast and accurate age estimation. An object of the present invention is to provide a method and system for estimating age.

상기와 같은 목적을 달성하기 위한 본 발명은 피검자의 PMCT 스캔 영상을 수신하는 단계; 상기 PMCT 스캔 영상으로부터 하악골과 대퇴골 부위 각 신체 이미지를 추출하는 단계; 상기 하악골과 대퇴골 부위 신체 이미지로부터 각 3D 복셀 이미지를 구성하는 단계; 상기 3D 복셀로부터 하악골과 대퇴골의 각 3D 복셀 이미지를 추출하는 단계; 및 상기 하악골과 대퇴골의 각 3D 복셀 이미지를 각 3D 컨볼루션 신경망으로 분석한 다음 각 결과를 조합하여 연령 추정치를 산출하는 단계를 포함한다.The present invention for achieving the above object comprises the steps of receiving a PMCT scan image of the subject; extracting each body image of the mandible and femur from the PMCT scan image; constructing each 3D voxel image from the mandible and femur body images; extracting each 3D voxel image of the mandible and the femur from the 3D voxel; and analyzing each 3D voxel image of the mandible and the femur with each 3D convolutional neural network, and then calculating an age estimate by combining the results.

바람직하게는, 상기 3D 복셀을 구성하는 단계는, 상기 신체 이미지의 측정 단위를 픽셀 값으로 변환하는 단계; 상기 신체 이미지에 연속 슬라이스 사이의 거리 정보를 추가하는 단계; 및 상기 신체 이미지의 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링 하는 단계를 포함하는 것이다.Preferably, the constructing of the 3D voxel comprises: converting a measurement unit of the body image into a pixel value; adding distance information between successive slices to the body image; and re-sampling to isomorphic resolution to remove scanner resolution of the body image.

바람직하게는, 상기 연속 슬라이스의 각 슬라이스는 1x1x1mm3 단위 복셀로 크기가 조정되는 것이다.Preferably, each slice of the continuous slice is sized in units of 1x1x1mm3 voxels.

바람직하게는, 상기 3D 컨볼루션 신경망은 Resnet 모델 기반인 것이다.Preferably, the 3D convolutional neural network is based on a Resnet model.

본 발명의 다른 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 시스템은 피검자의 PMCT 스캔 영상을 수신하는 영상 수신부; 상기 PMCT 스캔 영상으로부터 하악골과 대퇴골 부위 각 신체 이미지를 추출하는 신체 이미지 추출부; 상기 하악골과 대퇴골 부위 신체 이미지로부터 각 3D 복셀 이미지를 구성하는 3D 복셀 이미지 구성부; 상기 3D 복셀로부터 하악골과 대퇴골의 각 3D 복셀 이미지를 추출하는 3D 복셀 이미지 추출부; 및 상기 하악골과 대퇴골의 각 3D 복셀 이미지를 각 3D 컨볼루션 신경망으로 분석한 다음 각 결과를 조합하여 연령 추정치를 산출하는 연령 추정치 산출부를 포함한다.In accordance with another embodiment of the present invention, an age estimation system from a PMCT scan image includes an image receiver configured to receive a PMCT scan image of a subject; a body image extraction unit for extracting body images of each of the mandible and femur from the PMCT scan image; a 3D voxel image constructing unit constructing each 3D voxel image from the mandible and femur body images; a 3D voxel image extraction unit for extracting 3D voxel images of the mandible and the femur from the 3D voxel; and an age estimate calculator that analyzes each 3D voxel image of the mandible and the femur with each 3D convolutional neural network, and combines the results to calculate an age estimate.

바람직하게는, 상기 3D 복셀 이미지 구성부는, 상기 신체 이미지의 측정 단위를 픽셀 값으로 변환하는 픽셀 변환부; 상기 신체 이미지에 연속 슬라이스 사이의 거리 정보를 추가하는 연속 슬라이스 거리 추가부; 및 상기 신체 이미지의 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링 하는 동형 해상도 샘플링부를 포함하는 것이다.Preferably, the 3D voxel image composing unit comprises: a pixel converting unit converting a measurement unit of the body image into a pixel value; a continuous slice distance adding unit for adding distance information between consecutive slices to the body image; and an isoform resolution sampling unit for re-sampling the body image at the same resolution in order to remove the scanner resolution.

전술한 바와 같은 본 발명에 따르면, 하악골과 대퇴골을 중요한 나이 지표로 간주하여 PMCT 스캔 영상으로부터 하악골과 대퇴골의 이미지를 추출한 다음 3D 컨볼루션 신경망을 적용하여 빠르고 정확한 연령 추정이 가능하도록 전문가의 의사결정을 도울 수 있는 PMCT 스캔 영상으로부터 연령 추정 방법 및 장치를 제공할 수 있는 이점이 있다.According to the present invention as described above, considering the mandible and femur as important age indicators, images of the mandible and femur are extracted from the PMCT scan image, and then a 3D convolutional neural network is applied to enable fast and accurate age estimation by experts. There is an advantage in providing a method and apparatus for estimating age from PMCT scan images that can help.

도 1은 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법의 데이터 전처리의 개념도를 도시한다.
도 3은 본 발명의 실시예에 따른 3D 복셀 이미지 구성 단계의 세부 흐름도를 도시한다.
도 4는 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법의 아키텍쳐에 관한 개념도를 도시한다.
도 5는 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 시스템의 블록도를 도시한다.
도 6은 본 발명의 실시예에 따른 3D 복셀 이미지 구성부의 세부 블록도를 도시한다.1 is a flowchart illustrating an age estimation method from a PMCT scan image according to an embodiment of the present invention.
2 is a conceptual diagram illustrating data preprocessing of an age estimation method from a PMCT scan image according to an embodiment of the present invention.
3 is a detailed flowchart of a 3D voxel image construction step according to an embodiment of the present invention.
4 is a conceptual diagram illustrating an architecture of a method for estimating age from a PMCT scan image according to an embodiment of the present invention.
5 is a block diagram of an age estimation system from a PMCT scan image according to an embodiment of the present invention.
6 is a detailed block diagram of a 3D voxel image construction unit according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특징적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various characteristic contents have been prepared to more specifically describe the invention and help understanding. However, a reader having enough knowledge in this field to understand the present invention may recognize that the present invention may be used without these various specific details. In some cases, it is mentioned in advance that in describing the invention, parts that are commonly known and not largely related to the invention are not described in order to avoid confusion for no reason in explaining the invention.

도 1은 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법의 흐름도를 도시한다.1 is a flowchart illustrating an age estimation method from a PMCT scan image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법은 영상 수신 단계(S101), 신체 이미지 추출 단계(S103), 3D 복셀 이미지 구성 단계(S105), 3D 복셀 이미지 추출 단계(S107) 및 연령 추정치 산출 단계(S109)를 포함한다.1 , the method for estimating age from a PMCT scan image according to an embodiment of the present invention includes the steps of receiving an image ( S101 ), extracting a body image ( S103 ), constructing a 3D voxel image ( S105 ), and extracting a 3D voxel image (S107) and calculating the age estimate (S109).

본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법은 크게 데이터 전처리 단계와 컨볼루션 신경망을 이용한 연령 추정 단계로 구분되며 영상 수신 단계(S101), 신체 이미지 추출 단계(S103), 3D 복셀 이미지 구성 단계(S105), 3D 복셀 이미지 추출 단계(S107)를 데이터 전처리 단계라고 할 수 있고, 연령 추정치 산출 단계(S109)는 전처리 된 데이터를 입력 받아 결과를 산출한다.The method for estimating age from a PMCT scan image according to an embodiment of the present invention is largely divided into a data preprocessing step and an age estimation step using a convolutional neural network. The steps S105 and S107 of extracting the 3D voxel image may be referred to as data preprocessing steps, and the age estimate calculation step S109 receives preprocessed data and calculates a result.

도 2는 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법의 데이터 전처리의 개념도를 도시한다.2 is a conceptual diagram illustrating data preprocessing of an age estimation method from a PMCT scan image according to an embodiment of the present invention.

영상 수신 단계(S101)는 피검자의 PMCT(Postmortem Computed Tomography, 사후 컴퓨터 단층 촬영) 스캔 영상을 수신한다. PMCT 스캔 영상은 각 폴더가 한 명의 피검자를 나타내는 데이터셋으로 분류될 수 있고, 데이터셋에는 연속된 스캔 이미지가 포함될 수 있다.In the image receiving step S101, a postmortem computed tomography (PMCT) scan image of the subject is received. The PMCT scan image may be classified into a dataset in which each folder represents one subject, and the dataset may include continuous scan images.

이어서, 신체 이미지 추출 단계(S103)는 영상 수신 단계(S101)에서 수신된 PMCT 영상으로부터 하악골과 대퇴골 부위의 신체 이미지를 추출한다. Subsequently, the body image extraction step S103 extracts body images of the mandible and the femur from the PMCT image received in the image receiving step S101.

이어서, 3D 복셀 구성 단계(S105)는 신체 이미지 추출 단계(S103)에서 추출된 하악골과 대퇴골 부위 신체 이미지로부터 각 3D 복셀 이미지를 구성한다.Subsequently, in the 3D voxel construction step S105 , each 3D voxel image is constructed from the mandible and femur region body images extracted in the body image extraction step S103 .

3D 복셀의 단위 복셀은 2차원적인 픽셀을 3차원의 형태로 구현한 작은 정육면체 일 수 있고, 본 명세서에서 3D 복셀 이미지는 단위 복셀로 모델링된 이미지를 지칭한다. 본 발명의 실시예에서 바람직한 단위 복셀은 1x1x1

Figure pat00001
일 수 있다.A unit voxel of a 3D voxel may be a small cube in which a two-dimensional pixel is implemented in a three-dimensional form, and in the present specification, a 3D voxel image refers to an image modeled as a unit voxel. In an embodiment of the present invention, a preferred unit voxel is 1x1x1
Figure pat00001
can be

도 2를 참조하면 PMCT 영상으로부터 하악골과 대퇴골이 위치한 부위의 신체 이미지가 추출되어 3D 복셀 이미지로 구성된 예(a)와 하악골과 대퇴골 부위의 신체 이미지로부터 구성된 3D 복셀로부터 하악골과 대퇴골의 3D 복셀 이미지를 추출한 예(b)를 도시하고 있다.Referring to FIG. 2 , an example (a) composed of a 3D voxel image by extracting a body image of a region where the mandible and femur are located from a PMCT image and a 3D voxel image of the mandible and femur from a 3D voxel composed of a body image of the mandible and femur are obtained. The extracted example (b) is shown.

도 3은 본 발명에 따른 3D 복셀 이미지 구성 단계의 세부 흐름도를 도시한다. 3D 복셀 구성 단계(S105)는 신체 이미지 추출 단계(S103)에서 추출된 하악골과 대퇴골 신체 부위 이미지의 측정 단위를 픽셀 값으로 변환하는 단계(S1051), 신체 이미지 추출 단계(S103)에서 추출된 하악골과 대퇴골 신체 부위 이미지에 연속 슬라이스 사이의 거리 정보를 추가하는 단계(S1053) 및 신체 이미지 추출 단계(S103)에서 추출된 하악골과 대퇴골 신체 부위 이미지의 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링하는 단계(S1055)를 포함할 수 있다.3 is a detailed flowchart of a 3D voxel image construction step according to the present invention. The 3D voxel construction step (S105) includes converting the measurement units of the mandible and femur body part images extracted in the body image extraction step (S103) into pixel values (S1051) and the mandible extracted in the body image extraction step (S103) Adding distance information between successive slices to the femur body part image (S1053) and re-sampling with isomorphic resolution to remove the scanner resolution of the mandible and femur body part images extracted in the body image extraction step (S103) ( S1055) may be included.

PMCT 스캔 영상으로부터 3D 복셀 이미지를 구성하기 위하여 메타 데이터인 슬라이스 두께(Z방향의 픽셀 크기)를 추가하여야 하고 PMCT 스캔의 DICOM 파일에서 이 정보를 얻을 수 있다.In order to construct a 3D voxel image from the PMCT scan image, the slice thickness (pixel size in the Z direction), which is metadata, must be added, and this information can be obtained from the DICOM file of the PMCT scan.

PMCT 스캔의 측정 단위는 무선 밀도의 척도인 HU(Hounsfield Unit)인데 3D 복셀을 구성하기 위하여 HU를 픽셀 값으로 변환하여 단위 복셀을 대응시킬 수 있다. 이후 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링을 할 수 있다.The measurement unit of the PMCT scan is the Hounsfield Unit (HU), which is a measure of radio density. In order to construct a 3D voxel, the HU can be converted into a pixel value to correspond to the unit voxel. It can then be resampled to isomorphic resolution to remove the scanner resolution.

슬라이스 두께는 3D 이미지를 2D 슬라이스로 볼 때 연속 슬라이스 사이의 거리를 말하는 것일 수 있으며 각 피험자의 데이터셋 마다 다를 수 있다. 이는 회선 네트워크에 문제를 일으킬 수 있어 각 슬라이스는 1x1x1

Figure pat00002
단위 복셀로 크기가 조정되는 것이 바람직하다. Slice thickness may refer to the distance between successive slices when viewing a 3D image as a 2D slice, and may be different for each subject's dataset. This can cause problems with the circuit network, so each slice is 1x1x1
Figure pat00002
It is preferable that the size be adjusted in unit voxels.

하악골 및 대퇴골 3D 복셀 이미지 추출 단계(S107)는 3D 복셀 구성 단계(S105)에서 구성된 하악골과 대퇴골 신체 부위 각 3D 복셀 이미지로부터 하악골과 대퇴골의 각 3D 복셀 이미지를 추출한다.In the mandible and femur 3D voxel image extraction step S107, each 3D voxel image of the mandible and femur is extracted from each 3D voxel image of the mandible and femur body parts constructed in the 3D voxel construction step S105.

뼈를 추출하고 정상화하는 것은 최종 전처리 단계에 해당하며 3D 복셀 구성 단계(S105)에서 구성된 하악골과 대퇴골 신체 부위 3D 복셀 이미지는 뼈를 추출하기 위해 400과 1,000HU 사이에서 잘릴 수 있다. 뼈의 HU 값은 400에서 1,000이므로 이 두 끝점을 넘는 값은 하악골 및 대퇴골의 3D 복셀 추출과 관련이 없다.Extracting and normalizing the bones corresponds to the final pre-processing step, and the 3D voxel images of the mandible and femur body parts constructed in the 3D voxel construction step S105 can be cropped between 400 and 1,000 HU to extract the bones. Since the HU values of bones are from 400 to 1,000, values beyond these two endpoints are not relevant for 3D voxel extraction of the mandible and femur.

이후 추출된 하악골과 대퇴골의 각 3D 복셀 이미지는 400HU에 0을 맵핑하고 1,000HU에 1을 맵핑하여 각 단위 복셀이 0과 1 사이의 값으로 맵핑될 수 있다.Thereafter, each extracted 3D voxel image of the mandible and femur may be mapped to a value between 0 and 1 by mapping 0 to 400HU and 1 to 1,000HU.

연령 추정치 산출 단계(S109)는 하악골 및 대퇴골 3D 복셀 이미지 추출 단계(S107)에서 추출된 하악골과 대퇴골의 각 3D 복셀 이미지를 각 3D 컨볼루션 신경망(3D Convolution Neural Network)으로 분석한 다음 각 결과를 조합하여 연령 추정치를 산출한다.In the age estimate calculation step (S109), each 3D voxel image of the mandible and femur extracted in the mandibular and femur 3D voxel image extraction step (S107) is analyzed with a 3D convolutional neural network, and then each result is combined to calculate the age estimate.

또한, 3D 컨볼루션 신경망은 Resnet 모델 기반인 것일 수 있고, 회귀 블록보다 먼저 레이어를 추출하는 것일 수 있다. 이 때, 하악골 3D 복셀 이미지를 분석하는 3D 컨볼루션 신경망은 3D Resnet34 기반일 수 있고, 수용필드는 40x128x128mm일 수 있다. 대퇴골 3D 복셀 이미지를 분석하는 3D 컨볼루션 신경망은 3D Resnet50 기반일 수 있고, 수용필드는 112x128x128mm일 수 있다. In addition, the 3D convolutional neural network may be based on a Resnet model, and may extract a layer before a regression block. In this case, the 3D convolutional neural network for analyzing the 3D voxel image of the mandible may be based on 3D Resnet34, and the receptive field may be 40x128x128mm. The 3D convolutional neural network that analyzes the 3D voxel image of the femur may be based on 3D Resnet50, and the receptive field may be 112x128x128mm.

3D 컨볼루션 신경망이 데이터셋을 수용하도록 사용자 정의하기 위해 회귀 블록보다 먼저 레이어를 추출할 수 있다. 그 다음 이진 성별 정보를 입력(남성 1, 여성 0)받아 32개의 완전히 연결된 네트워크를 통해 결합할 수 있다. 이 연결된 레이어는 회귀 블록을 통해 공급된다. 마지막으로 대퇴골 3D 복셀 이미지와 하악골 3D 복셀 이미지로부터의 결과를 융합하여 최종 연령 추정치를 산출한다.To customize the 3D convolutional neural network to accommodate the dataset, we can extract the layers before the regression blocks. It can then take the binary gender information as input (1 male, 0 female) and combine them through 32 fully connected networks. This connected layer is fed through a regression block. Finally, the results from the 3D voxel image of the femur and the 3D voxel of the mandible are fused to yield a final age estimate.

도 4는 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 방법의 아키텍쳐에 관한 개념도를 도시한다. 도 4를 참조하면 대퇴골(Femur)과 하악골(Mandible)의 각 3D 복셀을 각 3D CNN 모델에 입력하고, 마찬가지로 각 성별을 32개의 완전히 연결된 네트워크(fc32)에 입력하여 결합(concat)하고 완전히 연결된 네트워크(fc)를 거쳐 대퇴골과 하악골에 관한 각 결과를 융합(Late Fusion)하여 최종 연령 추정치를 산출하는 아키텍쳐를 도시하고 있다.4 is a conceptual diagram illustrating an architecture of a method for estimating age from a PMCT scan image according to an embodiment of the present invention. Referring to FIG. 4, each 3D voxel of the femur and mandible is input to each 3D CNN model, and similarly, each gender is inputted into 32 fully connected networks (fc32) to concat and fully connected networks. (fc) shows the architecture for calculating the final age estimate by late fusion of each result regarding the femur and mandible.

도 5는 본 발명의 실시예에 따른 PMCT 스캔 영상으로부터 연령 추정 시스템의 블록도를 도시한다. 도 5를 참조하면 PMCT 스캔 영상으로부터 연령 추정 시스템(500)은 영상 수신부(501), 신체 이미지 추출부(503), 3D 복셀 이미지 구성부(505), 3D 복셀 이미지 추출부(507) 및 연령 추정치 산출부(509)를 포함한다.5 is a block diagram of an age estimation system from a PMCT scan image according to an embodiment of the present invention. Referring to FIG. 5 , the age estimation system 500 from the PMCT scan image includes an image receiver 501 , a body image extractor 503 , a 3D voxel image constructor 505 , a 3D voxel image extractor 507 , and an age estimate and a calculator 509 .

도 6은 본 발명의 실시예에 따른 3D 복셀 이미지 구성부의 세부 블록도를 도시한다. 3D 복셀 이미지 구성부(505)는 신체 이미지 추출부(503)에서 추출된 하악골과 대퇴골 신체 부위 이미지의 측정 단위를 픽셀 값으로 변환하는 픽셀 변환부(5051), 신체 이미지 추출부(503)에서 추출된 하악골과 대퇴골 신체 부위 이미지에 연속 슬라이스 사이의 거리 정보를 추가하는 연속 슬라이스 거리 추가부(5053) 및 신체 이미지 추출부(503)에서 추출된 하악골과 대퇴골 신체 부위 이미지의 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링하는 동형 해상도 샘플링부(5055)를 포함할 수 있다. 6 is a detailed block diagram of a 3D voxel image construction unit according to an embodiment of the present invention. The 3D voxel image construction unit 505 converts the measurement unit of the mandible and femur body part images extracted by the body image extraction unit 503 into pixel values, and is extracted from the pixel conversion unit 5051 and the body image extraction unit 503 . In order to remove the scanner resolution of the mandibular and femur body part images extracted by the continuous slice distance adding unit 5053 and the body image extracting unit 503 that add distance information between consecutive slices to the image of the mandible and femur body parts, the isomorphic It may include an isomorphic resolution sampling unit 5055 for re-sampling with resolution.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

500 PMCT 스캔 영상으로부터 연령 추정 시스템
501 영상 수신부
503 신체 이미지 추출부
505 3D 복셀 이미지 구성부
507 3D 복셀 이미지 추출부
509 연령 추정치 산출부Age estimation system from 500 PMCT scan images
501 video receiver
503 body image extraction unit
505 3D voxel image composition part
507 3D voxel image extractor
509 Age Estimator Calculator

Claims (6)

피검자의 PMCT 스캔 영상을 수신하는 단계;
상기 PMCT 스캔 영상으로부터 하악골과 대퇴골 부위 각 신체 이미지를 추출하는 단계;
상기 하악골과 대퇴골 부위 신체 이미지로부터 각 3D 복셀 이미지를 구성하는 단계;
상기 3D 복셀로부터 하악골과 대퇴골의 각 3D 복셀 이미지를 추출하는 단계; 및
상기 하악골과 대퇴골의 각 3D 복셀 이미지를 각 3D 컨볼루션 신경망으로 분석한 다음 각 결과를 조합하여 연령 추정치를 산출하는 단계를 포함하는 것을 특징으로 하는 PMCT 스캔 영상으로부터 연령 추정 방법.Receiving a PMCT scan image of the subject;
extracting each body image of the mandible and femur from the PMCT scan image;
constructing each 3D voxel image from the mandible and femur body images;
extracting each 3D voxel image of the mandible and the femur from the 3D voxel; and
and analyzing each 3D voxel image of the mandible and femur with each 3D convolutional neural network, and then calculating an age estimate by combining each result. 제1항에 있어서,
상기 3D 복셀을 구성하는 단계는,
상기 신체 이미지의 측정 단위를 픽셀 값으로 변환하는 단계;
상기 신체 이미지에 연속 슬라이스 사이의 거리 정보를 추가하는 단계; 및
상기 신체 이미지의 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링 하는 단계를 포함하는 것을 특징으로 하는 PMCT 스캔 영상으로부터 연령 추정 방법.
The method of claim 1,
The step of constructing the 3D voxel comprises:
converting a measurement unit of the body image into a pixel value;
adding distance information between successive slices to the body image; and
and re-sampling at isomorphic resolution to remove the scanner resolution of the body image.
 제2항에 있어서,
상기 연속 슬라이스의 각 슬라이스는 1x1x1mm3 단위 복셀로 크기가 조정되는 것을 특징으로 하는 PMCT 스캔 영상으로부터 연령 추정 방법.
3. The method of claim 2,
Each slice of the continuous slice is an age estimation method from a PMCT scan image, characterized in that the size is adjusted to 1x1x1mm3 unit voxels.
 상기 3D 컨볼루션 신경망은 Resnet 모델 기반인 것을 특징으로 하는 PMCT 스캔 영상으로부터 연령 추정 방법.
The 3D convolutional neural network is an age estimation method from a PMCT scan image, characterized in that based on the Resnet model.
 피검자의 PMCT 스캔 영상을 수신하는 영상 수신부;
상기 PMCT 스캔 영상으로부터 하악골과 대퇴골 부위 각 신체 이미지를 추출하는 신체 이미지 추출부;
상기 하악골과 대퇴골 부위 신체 이미지로부터 각 3D 복셀 이미지를 구성하는 3D 복셀 이미지 구성부;
상기 3D 복셀로부터 하악골과 대퇴골의 각 3D 복셀 이미지를 추출하는 3D 복셀 이미지 추출부; 및
상기 하악골과 대퇴골의 각 3D 복셀 이미지를 각 3D 컨볼루션 신경망으로 분석한 다음 각 결과를 조합하여 연령 추정치를 산출하는 연령 추정치 산출부를 포함하는 것을 특징으로 하는 PMCT 스캔 영상으로부터 연령 추정 시스템.
an image receiving unit for receiving a PMCT scan image of the subject;
a body image extraction unit for extracting each body image of the mandible and femur from the PMCT scan image;
a 3D voxel image constructing unit for constructing each 3D voxel image from the mandible and femur body images;
a 3D voxel image extractor configured to extract 3D voxel images of the mandible and the femur from the 3D voxel; and
and an age estimate calculator that analyzes each 3D voxel image of the mandible and the femur with each 3D convolutional neural network, and combines the results to calculate an age estimate.
 제5항에 있어서,
상기 3D 복셀 이미지 구성부는,
상기 신체 이미지의 측정 단위를 픽셀 값으로 변환하는 픽셀 변환부;
상기 신체 이미지에 연속 슬라이스 사이의 거리 정보를 추가하는 연속 슬라이스 거리 추가부; 및
상기 신체 이미지의 스캐너 해상도를 제거하기 위해 동형 해상도로 다시 샘플링 하는 동형 해상도 샘플링부를 포함하는 것을 특징으로 하는 PMCT 스캔 영상으로부터 연령 추정 시스템.6. The method of claim 5,
The 3D voxel image configuration unit,
a pixel conversion unit converting a measurement unit of the body image into a pixel value;
a continuous slice distance adding unit for adding distance information between consecutive slices to the body image; and
and an isomorphic resolution sampling unit for re-sampling at isomorphic resolution in order to remove the scanner resolution of the body image.
KR1020200094357A 2020-07-29 2020-07-29 Age estimation method and system from PMCT scan image KR102436358B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200094357A KR102436358B1 (en) 2020-07-29 2020-07-29 Age estimation method and system from PMCT scan image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094357A KR102436358B1 (en) 2020-07-29 2020-07-29 Age estimation method and system from PMCT scan image

Publications (2)

Publication Number Publication Date
KR20220014933A true KR20220014933A (en) 2022-02-08
KR102436358B1 KR102436358B1 (en) 2022-08-26

Family

ID=80251939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094357A KR102436358B1 (en) 2020-07-29 2020-07-29 Age estimation method and system from PMCT scan image

Country Status (1)

Country Link
KR (1) KR102436358B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116548961A (en) * 2023-05-12 2023-08-08 河北医科大学 Method for obtaining age of middle-aged and old male individuals in Chinese population
WO2023182569A1 (en) * 2022-03-24 2023-09-28 주식회사 쓰리디오엔에스 Artificial intelligence-based method and device for determining density value with respect to specific tissue of neck and head

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (en) * 2001-07-24 2004-12-02 サンライト メディカル リミテッド Bone age evaluation method using ultrasound
KR100715763B1 (en) 2006-03-15 2007-05-08 재단법인서울대학교산학협력재단 Method for evaluation of skeletal malformation using atlas matching method
KR20190142234A (en) * 2018-06-15 2019-12-26 주식회사 뷰노 System and Method for Bone Age Calculation
US20200211187A1 (en) * 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
JP7089380B2 (en) * 2018-03-06 2022-06-22 Ｊｏｙｓｏｎ Ｓａｆｅｔｙ Ｓｙｓｔｅｍｓ Ｊａｐａｎ株式会社 Seatbelt retractor and seatbelt device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535882A (en) * 2001-07-24 2004-12-02 サンライト メディカル リミテッド Bone age evaluation method using ultrasound
KR100715763B1 (en) 2006-03-15 2007-05-08 재단법인서울대학교산학협력재단 Method for evaluation of skeletal malformation using atlas matching method
JP7089380B2 (en) * 2018-03-06 2022-06-22 Ｊｏｙｓｏｎ Ｓａｆｅｔｙ Ｓｙｓｔｅｍｓ Ｊａｐａｎ株式会社 Seatbelt retractor and seatbelt device
KR20190142234A (en) * 2018-06-15 2019-12-26 주식회사 뷰노 System and Method for Bone Age Calculation
US20200211187A1 (en) * 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182569A1 (en) * 2022-03-24 2023-09-28 주식회사 쓰리디오엔에스 Artificial intelligence-based method and device for determining density value with respect to specific tissue of neck and head
CN116548961A (en) * 2023-05-12 2023-08-08 河北医科大学 Method for obtaining age of middle-aged and old male individuals in Chinese population
CN116548961B (en) * 2023-05-12 2024-06-04 河北医科大学 Method for obtaining age of middle-aged and old male individuals in Chinese population

Also Published As

Publication number Publication date
KR102436358B1 (en) 2022-08-26

Similar Documents

Publication Publication Date Title
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
US10991091B2 (en) System and method for an automated parsing pipeline for anatomical localization and condition classification
US11443423B2 (en) System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
KR20200095504A (en) 3D medical image analysis method and system for identifying vertebral fractures
CN112116004B (en) Focus classification method and device and focus classification model training method
KR102436358B1 (en) Age estimation method and system from PMCT scan image
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
JP2008036068A (en) Osteoporosis diagnosis support apparatus, method and program, computer-readable recording medium recorded with osteoporosis diagnosis support program and lsi for supporting osteoporosis diagnosis
CN113424222A (en) System and method for providing stroke lesion segmentation using a conditional generation countermeasure network
KR20190042429A (en) Method for image processing
Zhong et al. 3D dental biometrics: Alignment and matching of dental casts for human identification
KR102330069B1 (en) Method for determining sex and age of subject from dental image and apparatus using the same
Fariza et al. Automatic tooth and background segmentation in dental x-ray using U-Net convolution network
Rad et al. Dental x-ray image segmentation and multiple feature extraction
Goutham et al. Automatic localization of landmarks in cephalometric images via modified U-Net
Pintana et al. Fully automated method for dental age estimation using the ACF detector and deep learning
KR102387928B1 (en) Method for analyzing human tissue based on medical image and apparatus therefor
Jusman et al. Classification of Caries X-Ray Images using Multilayer Perceptron Models Based Shape Features
Devi et al. Automated dental identification system: An aid to forensic odontology
Liu et al. Tracking-based deep learning method for temporomandibular joint segmentation
CN116580819A (en) Method and system for automatically determining inspection results in an image sequence
KR20230030682A (en) Apparatus and Method for Automatically Detecting 3D Cephalometric Landmarks using Dental Computerized Tomography
Leo et al. Neural Foraminal Stenosis Classifications using Multi-Feature Hierarchical Clustering and Delineation
Younis et al. Identify tooth cone beam computed tomography based on contourlet particle swarm optimization
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant