KR102130963B1 - 두부이미지 분석 장치 및 이미지 분석 방법 - Google Patents
두부이미지 분석 장치 및 이미지 분석 방법 Download PDFInfo
- Publication number
- KR102130963B1 KR102130963B1 KR1020180128188A KR20180128188A KR102130963B1 KR 102130963 B1 KR102130963 B1 KR 102130963B1 KR 1020180128188 A KR1020180128188 A KR 1020180128188A KR 20180128188 A KR20180128188 A KR 20180128188A KR 102130963 B1 KR102130963 B1 KR 102130963B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tofu
- point
- interest
- region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 235000013527 bean curd Nutrition 0.000 claims abstract description 222
- 238000010191 image analysis Methods 0.000 claims abstract description 124
- 238000004458 analytical method Methods 0.000 claims abstract description 46
- 239000000284 extract Substances 0.000 claims abstract description 46
- 230000015654 memory Effects 0.000 claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000003703 image analysis method Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 71
- 238000013527 convolutional neural network Methods 0.000 description 36
- 238000013135 deep learning Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000001847 jaw Anatomy 0.000 description 2
- 210000003928 nasal cavity Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 210000001154 skull base Anatomy 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004283 incisor Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06K9/3233—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
두부 이미지 분석 장치 및 방법을 제시하며, 일 실시예에 따르면 두부이미지 분석 장치는, 두부이미지 상의 랜드마크 지점을 추출하여 분석이미지를 생성하는 제어부, 및 생성된 분석이미지를 저장하는 메모리를 포함할 수 있다.
Description
본 명세서에서 개시되는 실시예들은 두부이미지 분석 장치 및 방법에 관한 것으로, 보다 상세하게는 치과, 양악 또는 안면 성형 수술을 위한 환자의 두부를 계측한 이미지를 분석하기 위한 장치 및 방법에 관한 것이다.
치과, 양악 및 안면 성형 수술을 위해 환자의 두개(頭蓋) 또는 안면을 분석한 자료가 필요하다. 이를 위해 종래에는 의사가 상기 수술을 진행하기 이전에, 먼저 X선 기기 또는 컴퓨터 단층 스캔(CT) 진단 기기를 이용하여 환자의 두부를 촬영한 이미지를 의료진이 분석하고 분석된 파일을 통해 환자의 예상 수술 부위를 결정한다. 이때 의료진은 상기 이미지에 주요 지점을 마킹하는 방식으로 분석하는데 이와 같이 분석하는 방법은 오랜 기간 동안에 쌓인 의료진의 경험을 토대로 한다.
다만 이러한 방법은 의료진이 직접 지점을 선정해야 하기 때문에 실시간으로 분석자료를 얻을 수 없어 의료진이 환자에게 정확한 진단결과를 안내하는데 오랜 시간이 걸리는 문제점이 있다. 또한 상기 방법은 의료진의 경험에 의존할 수 밖에 없어 숙련된 의료진이 아닌 의료진이 지점을 선정하는 경우 지점을 잘못 선정하여 왜곡된 분석자료를 만들고 잘못된 분석자료에 기반하여 수술하기 때문에 문제가 발생될 수밖에 없는 문제점이 있다.
관련하여 선행기술 문헌인 한국특허공개번호 제 10-2000-0054062 호에서는 환자의 의료 진찰 결과 등 모든 정보를 디지털화하여 의사는 집이나 오피스 등 인터넷이 가능한 장소에서 편하게 진료할 수 있는 내용에 대해 기재할 뿐, 의학 관련 이미지를 분석한 결과를 의료진에게 제공하여 향상된 의료서비스를 의료진이 환자에게 제공할 수 있도록 하는 내용에 대해 기재하고 있지 못하다. 따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은 두부이미지 분석 장치 및 방법을 제시하는 데 목적이 있다.
또한 본 명세서에서 개시되는 실시예들은 두부이미지에 기초하여 정확한 분석결과를 제공하는데 목적이 있다.
또한 본 명세서에서 개시되는 실시예들은 두부이미지를 분석한 결과를 신속하게 제공하는데 목적이 있다.
또한 본 명세서에서 개시되는 실시예들은 두부이미지를 분석한 결과를 한차례 가공함에 따라 의료진은 물론 환자가 이해하기 쉬운 리포트를 제공하는데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면 두부이미지를 분석하기 위한 장치로서, 두부이미지 상의 랜드마크 지점을 추출하여 분석이미지를 생성하는 제어부, 및 생성된 분석이미지를 저장하는 메모리를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 다른 실시예에 따르면 두부이미지 분석 장치가 두부이미지를 분석하는 방법으로서, 두부이미지 상의 랜드마크 지점을 추출하는 단계, 및 추출한 랜드마크 지점에 기초하여 분석이미지를 생성하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 다른 실시예에 따르면 두부이미지 분석 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체일 수 있고, 상기 두부이미지 분석 방법은, 두부이미지 상의 랜드마크 지점을 추출하는 단계, 및 추출한 랜드마크 지점에 기초하여 분석이미지를 생성하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 다른 실시예에 따르면 두부이미지 분석 장치에 의해 수행되며, 두부이미지 분석 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램일 수 있고, 상기 두부이미지 분석 방법은, 두부이미지 상의 랜드마크 지점을 추출하는 단계, 및 추출한 랜드마크 지점에 기초하여 분석이미지를 생성하는 단계를 포함할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면 두부이미지 분석 장치 및 방법을 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면 두부이미지에 기초하여 정확한 분석결과를 제공함으로써, 의료진이 환자의 예상 수술부위를 결정하는데 도움을 줄 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면 두부이미지를 분석한 결과를 신속하게 제공함으로써 필요한 수술이 늦춰지는 것을 방지할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면 두부이미지를 분석한 결과를 한차례 가공함에 따라 의료진은 물론 환자가 이해하기 쉬운 리포트를 제공할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 일 실시예에 따른 이미지 분석 장치를 도시한 블록도이다.
도 3 은 일 실시예에 따른 이미지 분석 장치를 설명하기 위한 예시도이다.
도 4 내지 도 6은 일 실시예에 따른 이미지 분석 방법을 설명하기 위한 순서도이다.
도 7 내지 도 8은 일 실시예에 따른 이미지 분석 방법을 설명하기 위한 예시도이다.
도 3 은 일 실시예에 따른 이미지 분석 장치를 설명하기 위한 예시도이다.
도 4 내지 도 6은 일 실시예에 따른 이미지 분석 방법을 설명하기 위한 순서도이다.
도 7 내지 도 8은 일 실시예에 따른 이미지 분석 방법을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
‘두부이미지’는 환자의 두개(頭蓋) 또는 안면을 촬영한 이미지로 이는 두부(頭部) 관찰 또는 두부 계측에 이용될 수 있으며 예를 들어 머리의 해부학적 부위의 위치 또는 머리의 해부학적 위치 간의 치수를 나타낼 수 있다.
두부이미지는 통상 환자 머리의 정면 또는 측면을 방사선 촬영 또는 컴퓨터 단층 스캔(CT) 진단한 사진일 수 있으나 두부이미지의 획득 방법은 상술된 예에 제한되지 않는다. 또한 두부이미지는 2차원 이미지 또는 3차원의 이미지 모두 가능하다.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.
도 1 및 도 2는 일 실시예에 따른 이미지 분석 장치를 설명하기 위한 블록도이다.
이미지 분석 장치(100)는 획득된 두부이미지에 대해 식별이미지를 결합한 분석이미지를 생성할 수 있다.
이러한 이미지 분석 장치(100)는 전자단말기로 구현될 수 있거나 또는 서버-클라이언트 시스템(또는 클라우드 시스템)으로 구현될 수 있으며, 상기 시스템은 사용자와의 인터랙션을 위한 온라인 서비스용 애플리케이션이 설치된 전자단말기를 포함할 수 있다.
이때 전자단말기는 네트워크를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.
일 실시예에 따른 두부이미지 분석 장치(100)는 제어부(110) 및 메모리(120)를 포함할 수 있다.
제어부(110)는 두부이미지 분석 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(110)는 예를 들어, 입출력부(130)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 두부이미지 분석 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
예를 들어, 제어부(110)는 메모리(120)에 저장된 프로그램을 실행시키거나, 메모리(120)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리(120)에 저장할 수도 있다.
본 명세서에 기재된 일실시예에 따르면 제어부(110)는 두부이미지를 획득할 수 있다.
예를 들어 제어부(110)는, 두부의 방사선 촬영 또는 컴퓨터 단층 스캔 진단이 가능한 장치(미도시)를 포함하거나, 상기 장치와 통신하고 있어 상기 장치로부터 두부이미지를 획득할 수 있다.
아울러 다른 실시예에 따르면 제어부(110)는 획득한 이미지에 대한 전처리를 수행한 이후 전처리된 이미지를 두부이미지로 획득하였다고 결정할 수 있다.
예를 들어, 제어부(110)는 획득한 이미지에 대해 CLAHE 파라미터 적용하거나, 가우시안 블러(Gaussian Blur)를 적용하거나, 와핑(warping)을 적용할 수 있고, 또는, X축 및/또는 Y축으로 스케일링(scale)하거나 학습이미지를 축소 또는 크롭(crop)하거나, 화소값 등을 변경하여 해상도를 높임으로써 이미지에 대한 전처리를 수행할 수 있다.
또한 다른 실시예에 따르면 제어부(110)는 획득한 이미지가 로우이미지(raw image)인 경우 로우이미지로부터 두부이미지를 획득할 수 있다. 이를 위해 제어부(110)는 로우이미지에 대한 전처리를 수행할 수 있다.
관련하여 로우이미지는 두부이미지를 포함한 이미지로서 예를 들어 환자의 상체를 찍은 x-ray이미지와 같이 두부이미지를 포함하여 환자의 다른 신체 부위가 함께 찍힌 이미지일 수 있다.
제어부(110)는 로우이미지 상 소정의 영역 내에 소정의 식별자가 위치하고 있는지를 탐색할 수 있다. 예를 들어, 로우이미지 상 소정의 영역 내에 ‘안와’로 인식되는 식별자가 위치하는지 여부를 탐색할 수 있다. 이때, 두부이미지 분석 장치(100)는 임의의 사이즈와 형상을 갖는 폐곡선으로 이루어진 윈도우가 로우이미지 상에 위치하였을 때 상기 윈도우 내 영역을 소정의 영역으로 설정할 수 있으며, 상기 윈도우는 로우이미지 상을 이동하면서 다양한 범위의 영역을 설정할 수 있다.
또한 예를 들어, 두부이미지 분석 장치(100)는 윈도우 내 소정의 영역 내에 소정의 식별자가 위치하는지 여부를 탐색하기 위해 머신러닝(또는 딥러닝 또는 CNN)을 이용할 수 있다. 예를 들어, 두부이미지 분석 장치(100)는 소정의 영역에 대해 CNN을 수행하여 상기 영역 내의 식별자가 위치하는 좌표를 추출할 수 있다. 상기 좌표는 하나 이상의 좌표로 구성될 수 있으며, 소정의 영역 내의 좌표일 수 있고, 또는 로우이미지 상의 좌표일 수 있다.
이와 같이 로우이미지 상의 소정의 식별자에 대한 좌표를 추출한 제어부(110)는 추출한 좌표에 기초하여 두부이미지를 획득할 수 있다.
예를 들어, 제어부(110)는 로우이미지에서 두부이미지로 특정 지을 수 있는 ‘안와’, ’하악골’, ‘비강’의 3개의 식별자를 추출할 수 있다. 3개의 식별자를 추출하기 위해 제어부(110)는 윈도우를 이동시켜가며 식별자에 해당되는 좌표를 추출할 수 있다. 그리고 추출된 좌표에 기초하여 두부이미지로 판단되는 영역을 로우이미지 상에 설정함으로써 제어부(110)는 두부이미지를 획득할 수 있다. 예를 들어 두부이미지 분석 장치(100)는 위 3개의 식별자를 포함하면서 각 식별자로부터 소정의 범위를 포함하는 영역을 두부이미지로 설정할 수 있다.
이때 식별자가 3개인 것은 예시일 뿐이며, 식별자의 개수는 제한되지 않는다. 관련하여 식별자는 일 좌표로 구성될 수 있지만 복수의 좌표로 구성되어 신체의 특정 기관(器官)일 수 있다. 따라서 식별자는 예를 들어, ‘안와’의 중심 지점일 수도 있으나, ‘안와’, ‘코’, ‘척추 1번’ ‘턱’ 등과 같이 신체 기관 그 자체일 수 있다.
획득한 두부이미지에 대해 추가적으로 규격화 처리함으로써 제어부(110)는 랜드마크 지점의 추출이 용이해지도록 두부이미지를 가공할 수 있다. 즉 제어부(110)는 학습이미지로 학습하였기 때문에 학습이미지에 대해 설정된 설정값과 동일 또는 유사하도록 두부이미지를 규격화 처리할 수 있다. 예를 들어, 두부이미지 분석 장치(100)는 두부이미지의 해상도, 밝기 등을 변경하거나 두부이미지의 사이즈를 확대/축소시키는 등의 규격화 처리를 수행할 수 있다. 규격화 처리가 완료된 이후의 두부이미지를 제어부(110)는 획득한 두부이미지로 결정할 수 있다.
상술된 바와 같이 두부이미지를 획득하였다고 판단되면, 제어부(110)는 두부이미지 상의 랜드마크 지점을 추출할 수 있다.
이때 ‘랜드마크 지점’은 치아 교정, 양약 수술 등을 의료진이 수행하기 위해 알아야 할 지점으로서 환자의 두부이미지 상에 식별된 관심 지점을 지칭한다. 랜드마크 지점은 다양하게 조합되어 환자의 두부 상태를 판단하는데 참고 지점으로 이용되며, 종래 기술에 따르면 숙련된 의료진이 두부이미지에 직접 랜드마크 지점을 선정하여 표시하나 본 명세서에 기재된 실시예에 따르면 두부이미지 분석 장치(100)가 두부이미지 상의 랜드마크 지점을 추출할 수 있다.
일 실시예에 따르면 제어부(110)는, 두부이미지 상의 랜드마크 지점을 기하학적 연산을 통해 추출할 수 있다. 즉, 두부이미지 상으로 특징점이 없는 랜드마크 지점 또는 기하학적으로 정의되어 있는 랜드마크 지점의 경우 기하학적 연산을 통해 추출할 수 있다. 예를 들어, 하악평면(mandibular plane)과 레이머스(ramus)의 이등분점을 연산하여 도출된 지점을 턱모서리점(고니온; gonion)의 랜드마크 지점으로 추출할 수 있다.
또 다른 실시예에 따르면 제어부(110)는 머신러닝을 이용하여 두부이미지 상의 랜드마크 지점을 추출할 수 있다.
다른 실시예에 따르면 제어부(110)는 딥러닝을 이용하여 두부이미지 상의 랜드마크 지점을 추출할 수 있다.
다른 실시예에 따르면 제어부(110)는 CNN(convolutional neural network)을 이용하여 두부이미지 상의 랜드마크 지점을 추출할 수 있다. 이를 위해 두부이미지 분석 장치(100)는 랜드마크 지점이 표시된 두부이미지를 하나 이상 획득할 수 있고 상기 하나 이상의 이미지를 이용하여 CNN을 학습시켜, 학습된 CNN을 이용하여 두부이미지 상의 랜드마크 지점을 추출할 수 있다.
이를 위해 제어부(110)는 예를 들어, CNN의 학습을 위해 획득한 이미지로부터 콘볼루션(convolution)을 통해 피쳐 맵(feature map)을 만들며, 상기 피쳐 맵에 대한 서브샘플링(subsampling)을 통해 획득한 로컬 피쳐(local feature)에 대해 콘볼루션과 서브샘플링을 수행하여 획득한 피쳐에 대해 다시 콘볼루션과 서브샘플링을 수행하여 피쳐를 획득하고, 상기 획득한 피쳐에 대해 다시 콘볼루션과 서브샘플링을 수행하는 단계를 반복적으로 수행하여 획득한 글로벌 피쳐(global feature)를 일반적인 뉴럴 네트워크(fully connected network)의 입력으로 연결시켜 최적의 인식 결과를 내도록 할 수 있다.
즉 제어부(110)는 상술된 바와 같이 두부이미지 상의 랜드마크 지점을 추출하기 위해, 랜드마크 지점이 표시된(또는 렌드마크 지점에 식별이미지가 결합된) 학습이미지를 이용하여 학습할 수 있다. 상술된 CNN 학습을 위해 학습이미지에 대해 전처리를 수행할 수 있으며, 예를 들어, 학습이미지에 대해 CLAHE 파라미터 적용하거나, 가우시안 블러를 적용하거나, 와핑을 적용할 수 있고, 또는, X축 및/또는 Y축으로 스케일링하거나 학습이미지를 축소 또는 크롭하거나, 화소값 등을 변경하여 해상도를 높일 수 있다.
또한 제어부(110)는 예를 들어 CNN을 이용하여 세그멘테이션(segmentation)을 수행함으로써 두부이미지 상의 랜드마크 지점을 추출할 수 있다. 세그멘테이션은 두부이미지 상의 의미있는 부분을 구분해내는 기법으로서 공개된 다양한 방법의 세그멘테이션이 본 명세서에 기재된 실시예에 적용될 수 있다. 예를 들어, 히스토그램을 이용하여 픽셀들의 분포를 확인한 이후 적정 값의 임계값을 설정하여 픽셀 별로 구분할 수 있고, 또는 의미 있는 엣지(edge)를 추출하여 구분할 수 있으며, 또한, 동질성 (homegenety)을 갖고 있는 영역으로 구분할 수 있다.
또 다른 실시예에 따르면 제어부(110)는 두부이미지 상의 관심영역을 설정하고 관심영역 내에서의 랜드마크 지점을 추출할 수 있다. 관심영역 설정을 위해 두부이미지 분석 장치(100)는 머신러닝(또는 딥러닝 또는 CNN)을 이용할 수 있으며 또한 상기 관심영역 내의 랜드마크 지점을 추출하기 위해 머신러닝(또는 딥러닝 또는 CNN)을 이용할 수 있다.
관련하여 도 3은 두부이미지 분석 장치(100)가 두부이미지 상의 관심영역을 설정하고 랜드마크 지점을 추출하는 것을 설명하기 위한 예시도이다.
도 3의 (a)에서 도시된 바 같이, 두부이미지 분석 장치(100)는 두부이미지(300) 상의 관심영역(310, 320, 330, 340, 350)을 하나 이상 설정할 수 있으며 관심영역 각각은 상이한 형상, 상이한 사이즈를 갖거나 동일한 형상 또는 동일한 사이즈를 가질 수 있다.
관심영역(310, 320, 330, 340, 350)을 설정할 때 두부이미지 분석 장치(100)는 의학적으로 주요 지점이라고 판단되는 영역을 머신 러닝을 이용하여 디텍션(detection)할 수 있다. 즉 머신러닝으로 관심 대상의 위치를 식별하여 바운딩 박스(bounding box)로 구분할 수 있는데 예를 들어 두부이미지 분석 장치(100)는 ‘턱’이라고 판단되는 영역을 머신러닝을 이용하여 디텍션할 수 있고 턱을 아우르는 영역을 관심영역으로 설정할 수 있다. 디텍션과 관련된 공개된 기술은 본 명세서에 기재된 실시예에 적용될 수 있다. 또한 관심영역(310, 320, 330, 340, 350)을 설정할 때 두부이미지 분석 장치(100)는 두부이미지(300) 상에서 윈도우를 위치시켰을 때 윈도우 내의 영역을 관심영역으로 설정할 수 있다. 이에 두부이미지 분석 장치(100)는, 윈도우를 이동시키면서 관심영역을 변경해가거나, 상기 윈도우를 고정된 위치에 위치시킴으로써 지정된 범위의 영역을 관심영역으로 설정할 수 있다.
이때 도 3의 (a)에서 도시된 바와 같이 실선 내의 관심영역과 상기 관심영역 내의 점선으로 구획된 하위관심영역으로 구분할 수 있다. 하위관심영역은 랜드마크 지점을 획득하기 위한 주요 지점이라고 판단되는 영역으로서 예를 들어 일 주요지점으로 턱모서리점, 또는 턱모서리점 주변의 영역을 하위관심영역으로 설정할 수 있고, 상기 하위관심영역의 중점을 기준으로 상기 하위관심영역을 감쌀 수 있는 관심영역을 추가로 설정할 수 있다. 이를 통해 관심영역을 잘못 설정함에 따른 랜드마크 지점 추출의 오류를 최소화시켜 랜드마크 지점을 보다 정확하게 잡을 수 있다.
이와 같이 선정된 관심영역에 대해 랜드마크 지점을 추출할 수 있는데, 랜드마크 지점으로 추출되어야 하는 지점들에 대한 학습모델이 있어 상기 모델로 세그멘테이션(segmentation)을 수행하여 확률 이미지 맵을 생성하고, 생성된 확률맵에서 블롭(blob)을 설정하여 블롭의 중점을 랜드마크 지점으로 추출할 수 있다. 이와 같은 랜드마크 지점 추출은 각 관심영역(310, 320, 330, 340, 350)에 대해 수행될 수 있으며 예를 들어, 발췌 도시된 도 3의 (a)에서의 관심영역(310)에 대해, 도 3의 (b)의 관심영역(311) 상에 도시된 바와 같이 랜드마크 지점을 추출할 수 있으며 상술된 바와 같이 추출된 랜드마크 지점은 높은 수준의 정확도를 가질 수 있다.
상술된 바와 같이 두부이미지 상에서의 주요 분석 대상이 되는 부분을 머신러닝(또는 딥러닝 또는 CNN)을 이용하여 관심영역으로서 설정하고, 관심영역 내의 랜드마크 지점을 추출할 수 있다. 그 결과 두부이미지의 각도 또는 위치가 정렬되지 않았을 때 랜드마크 지점의 추출이 어려운 문제점을 해결하여 빠르고 정확하게 랜드마크 지점을 추출할 수 있도록 한다.
한편 다른 실시예에 따르면 제어부(110)는 추출하고자 하는 랜드마크 지점에 대해, 머신러닝(또는 딥러닝 또는 CNN)을 이용하여 추출하고 또한 기하학적 연산으로 추출할 수 있다. 따라서 예를 들어, 랜드마크 지점으로 턱모서리점을 추출하고자 할 때, 제어부(110)는 머신러닝과 기하학적 연산 각각을 통해 추출된 지점 중에서 하나의 지점을 턱모서리점으로 결정할 수 있는데 예를 들어 제어부(110)는 머신러닝을 이용하여 추출한 랜드마크 지점의 신뢰도가 소정의 값 이하인 경우 기하학적 연산으로 획득한 지점을 턱모서리점으로 추출할 수 있다.
또한 다른 실시예에 따르면 제어부(110)는, 랜드마크 지점을 추출하고자 할 때, 머신러닝(또는 딥러닝 또는 CNN)을 이용하여 추출하였을 때 추출된 지점에 대해 기하학적 연산으로도 검증할 수 있다.
이때 머신러닝으로 추출된 랜드마크 지점을 기하학적 연산으로 추출된 지점과 동일한 위치인지 여부를 판단하여 검증할 수 있다. 또한 머신러닝으로 추출된 랜드마크 지점의 주변 지점 또는 기관 구조가 위치하는지를 여부를 기하학적으로 연산하여 검증할 수 있다. 이 과정에서 베이지안(Bayesian)(또는 likelihood maximization 방식)을 이용하여 랜드마크 지점의 주변 지점 또는 기관 구조에 대응되는 지점들과의 상대적인 위치에 대한 신뢰도를 구할 수 있다. 예를 들어, 외이도의 최상방점(Por;porion)으로 추출된 랜드마크 지점이, 후두개저(posterior cranial base surface)와 하악과두 후방면(condylar head or neck) 교차점(Ar; articulare)의 좌측상단에 위치하고 있는지 검증하고 그에 따른 결과를 신뢰도로 표현할 수 있다. 또한 머신러닝으로 추출된 랜드마크 지점의 사이즈를 기하학적으로 연산하여 검증할 수 있다. 또한 머신러닝으로 추출된 랜드마크 지점의 주변에, 특정 지점 또는 기관 구조가 위치하는지 여부를 특정 지점의 사이즈(다른 지점과의 상대적인 사이즈 또는 절대적인 사이즈 모두 포함) 또는 기관 구조의 사이즈(다른 기관과의 상대적인 사이즈 또는 절대적인 사이즈 모두 포함)를 연산함으로써 검증할 수 있다.
또한 다른 실시예에 따르면 제어부(110)는, 추출하고자 하는 랜드마크 지점에 대해, 기하학적 연산으로 추출하고, 머신러닝(또는 딥러닝 또는 CNN)을 이용하여 추출된 지점에 대해 검증할 수 있다.
예를 들어 제어부(110)는 하악평면(mandibular plane)과 레이머스(ramus)의 이등분점을 연산하여 도출된 지점을 턱모서리점(고니온; gonion)의 랜드마크 지점으로 추출함으로써 턱모서리점을 기하학적으로 추출하고 추출된 지점을 중심으로 머신러닝을 이용한 분석을 수행하여 추출된 지점이 턱모서리점으로 맞는지를 검증할 수 있다.
추가적으로 제어부(110)는 관심영역을 맞게 설정하였는지를, 머신러닝(또는 딥러닝 또는 CNN) 또는 기하학적 연산으로 검증할 수 있다. 예를 들어 제어부(110)는 머신러닝의 디텍션(detection)으로 추출한 관심영역이 의도한 관심영역인지 여부를 상기 관심영역의 이미지를 분류(classification)함으로써 검증하거나 신뢰도로 표현할 수 있다. 또는 예를 들어 제어부(110)는 머신러닝의 디텍션으로 추출한 관심영역이 의도한 관심영역인지 여부를 상기 관심영역 주변의 지점 또는 기관 구조로 검증할 수 있다.
상술된 바와 같이, 머신러닝과 기하학적 연산을 함께 수행함으로써 추출된 랜드마크 지점에 대한 정확성과 신뢰성을 높일 수 있다.한편 제어부(110)는 상술된 바와 같이 두부이미지 상의 랜드마크 지점을 추출하면, 랜드마크 지점에 식별이미지를 결합하여 분석이미지를 생성할 수 있다.
즉 제어부(110)는 두부이미지를 분석이미지로 변경할 때 두부이미지 상에 식별이미지를 합성할 수 있고 상기 식별이미지의 합성 시 랜드마크 지점에 식별이미지를 합성할 수 있다.
한편 제어부(110)는 분석이미지를 사용자에게 제공할 수 있다. 추가적으로 제어부(110)는 분석이미지를 포함한 리포트를 제공할지 여부를 결정할 수 있다.
이때 일실시예에 따르면 제어부(110)는 분석이미지 그대로가 리포트의 일부분을 구성하도록 리포트를 생성하고 제공할 수 있다.
또 다른 실시예에 따르면 제어부(110)는 분석이미지를 가공한 리포트를 제공할 수 있다.
한편 메모리(120)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(110)는 메모리(120)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(120)에 저장할 수도 있다. 또한, 제어부(110)는 메모리(120)에 설치된 프로그램을 실행할 수도 있다. 도 1을 참조하면, 메모리(120)에는 두부이미지 분석을 위한 방법을 수행하기 위한 컴퓨터 판독가능한 프로그램이 설치될 수 있다. 또한 메모리(120)에는 두부이미지 분석을 수행하기 위한 식별이미지, 두부이미지 분석의 수행에 따른 분석이미지 또는 리포트가 저장될 수 있다.
일 실시예에 따르면, 사용자로부터 두부이미지의 분석을 요청하는 입력을 수신하면, 제어부(110)는 메모리(120)에 저장된 두부이미지 분석 방법을 수행하기 위한 프로그램을 실행시켜 두부이미지 분석을 수행한다.
한편 도 2에서 도시된 바와 같이 두부이미지 분석 장치(100)는 추가적으로 입출력부(130)를 더 포함할 수 있다.
입출력부(130)는 두부이미지를 획득하거나 분석이미지를 사용자에게 제공하기 위한 다양한 형태의 입출력을 지원하는 구성을 포함할 수 있으며 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 두부이미지 분석 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(130)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(130)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
한편 두부이미지 분석 장치(100)는 추가적으로 통신부(140)를 더 포함할 수 있다.
통신부(140)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(140)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
통신부(140)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(140)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.
도 4 내지 도 6은 일 실시예에 따른 이미지 분석 방법을 설명하기 위한 순서도이다.
도 4 내지 도 6에 도시된 실시예에 따른 이미지 분석 방법은 도 1 또는 도 2에 도시된 두부이미지 분석 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 또는 도 2에 도시된 두부이미지 분석 장치(100)에 관하여 이상에서 기술한 내용은 도 4 내지 도 6에 도시된 실시예에 따른 이미지 분석 방법에도 적용될 수 있다.
도 4 내지 도 6은 도 7 내지 도 8을 참조하여 이하에서 후술된다. 도 7 내지 도 8은 일 실시예에 따른 이미지 분석 방법을 설명하기 위한 예시도이다.
두부이미지 분석 장치(100)는 본 발명의 일실시예에 따른 두부이미지 분석 방법을 수행하기 위해, 랜드마크 지점이 표시된 학습이미지를 이용하여 학습할 수 있다. 이때 두부이미지 분석 장치(100)는 학습을 위한 학습이미지에 대해 전처리를 수행할 수 있으며, 예를 들어, 학습이미지에 대해 CLAHE 파라미터 적용하거나, 가우시안 블러를 적용하거나, 와핑을 적용할 수 있고, 또는, X축 및/또는 Y축으로 스케일링(scale)하거나 학습이미지를 축소 또는 크롭(crop)하거나, 화소값을 변경하거나, 해상도를 높일 수 있다. 전처리된 학습이미지를 이용하여 학습된 두부이미지 분석 장치(100)는 두부이미지로부터 랜드마크 지점을 추출할 수 있다.
도 4에 도시된 바와 같이 두부이미지 분석 장치(100)는 두부이미지를 획득할 수 있다 (S410).
두부이미지 분석 장치(100)가 두부의 방사선 촬영 또는 컴퓨터 단층 스캔 진단이 가능한 장치(미도시)를 포함하거나 상기 장치와 통신하고 있어 상기 장치를 통해 두부이미지를 획득할 수 있다.
또한 두부이미지 분석 장치(100)는 외부의 장치(미도시)를 통해 이미지를 수신할 수 있으며 수신된 이미지를 두부이미지로 획득할 수 있다.
관련하여 두부이미지 분석 장치(100)는 이미지를 획득하였을 때 획득한 이미지가 두부이미지인지 여부를 결정할 수 있다.
즉 일 실시예에 따르면 두부이미지 분석 장치(100)는 획득한 이미지가 두부이미지인지 여부를 판단하고 두부이미지라고 판단되는 경우에 한해 두부이미지를 획득하였다고 결정할 수 있다.
예를 들어, 획득한 이미지를 분석하여 두부를 구성하는 이미지가 포함되어 있지 않은 경우 상기 이미지는 두부이미지가 아닌 것으로 판단할 수 있다. 즉 예를 들어 획득한 이미지를 분석하여 치아(齒牙) 이미지가 포함되어 있지 않은 경우 상기 이미지는 두부이미지가 아닌 것으로 판단할 수 있다.
또한 또 다른 실시예에 따르면 두부이미지 분석 장치(100)는 획득한 이미지가 두부이미지로서 분석 가능한지 여부를 판단하고 분석 가능하다고 판단되는 경우에 한해 두부이미지를 획득하였다고 결정할 수 있다.
예를 들어, 두부이미지 분석 장치(100)는 획득한 이미지의 해상도, 사이즈 등을 분석하여 분석가능한지 여부를 판단할 수 있다. 따라서 예를 들어 획득한 이미지가 소정 이상의 해상도보다 낮은 해상도를 갖거나 소정 이상의 사이즈보다 작은 사이즈인 경우 상기 이미지는 분석이 어렵다고 판단하고 두부이미지를 획득하지 못한 것으로 결정할 수 있다.
아울러 다른 실시예에 따르면 두부이미지 분석 장치(100)는 획득한 이미지에 대한 전처리를 수행한 이후 전처리된 이미지를 두부이미지로 결정할 수 있다.
예를 들어 두부이미지 분석 장치(100)는 획득한 이미지가 소정의 기준에 만족하지 못한다고 판단되면 상기 기준을 만족하도록 이미지를 수정하거나 다른 이미지와 합성할 수 있다. 예를 들어 두부이미지 분석 장치(100)는 획득된 이미지의 해상도를 높이거나 명도를 조정하거나 사이즈를 늘리거나 축소시키는 등의 전처리를 수행할 수 있다.
또한 다른 실시예에 따르면 두부이미지 분석 장치(100)는 획득한 이미지가 로우이미지인 경우 로우이미지로부터 두부이미지를 획득할 수 있다.
또한 다른 실시예에 따르면 두부이미지 분석 장치(100)는 획득한 두부이미지에 대해 추가적으로 규격화 처리 할 수 있다. 규격화 처리가 완료된 이후의 두부이미지를 제어부(110)는 획득한 두부이미지로 결정할 수 있다.
상술된 바와 같이 두부이미지를 획득하였다고 판단되면, 두부이미지 분석 장치(100)는 두부이미지 상의 랜드마크 지점을 추출할 수 있다 (S420).
예를 들어, 두부이미지 분석 장치(100)는 두부이미지 상의 랜드마크 지점을 기하학적 연산을 통해 추출할 수 있다. 또는 예를 들어, 두부이미지 분석 장치(100)는 두부이미지 상의 랜드마크 지점을 머신러닝, 딥러닝, 또는 CNN을 이용하여 추출할 수 있다.
또는 예를 들어, 두부이미지 상의 관심영역을 추출하고 관심영역 내에서의 랜드마크 지점을 추출할 수 있다. 관심영역 추출을 위해 두부이미지 분석 장치(100)는 머신러닝, 딥러닝 또는 CNN을 이용할 수 있으며 또한 상기 관심영역 내의 랜드마크 지점을 추출하기 위해 머신러닝, 딥러닝, 또는 CNN을 이용할 수 있다.
관련하여 단계 S420는 도 5에서 도시된 바와 같이, 두부이미지를 분석하여 제1지점을 식별하면(S510), 제2지점에 기초하여 제1지점을 검증하고 제1지점이 맞게 추출된 것으로 판단되면 제1지점을 랜드마크 지점으로 결정할 수 있다(S520).
이때, 제1지점 및 제2지점 각각은 두부이미지 상에 일 지점을 지칭하는 것으로 서로를 구분하기 위한 명명일 뿐 특정 지점을 지칭하는 것은 아니다.
일 실시예에 따르면 두부이미지 분석 장치(100)는 두부이미지 상에서 랜드마크 지점으로 추측되는 제1지점을 다양한 실시예에 따라 식별할 수 있다.
일 실시예에 따르면 두부이미지 분석 장치(100)는 두부이미지 상에 랜드마크 지점으로 추측되는 제1지점을 기하학적 연산을 통해 추출할 수 있다. 즉, 두부이미지 상으로 특징점이 없는 랜드마크 지점 또는 기하학적으로 정의되어 있는 랜드마크 지점의 경우 기하학적 연산을 통해 추출할 수 있다. 예를 들어, 하악평면(mandibular plane)과 레이머스(ramus)의 이등분점을 연산하여 도출된 제1지점을 턱모서리점(고니온; gonion)의 랜드마크 지점으로 추출할 수 있다.
또 다른 실시예에 따르면 두부이미지 분석 장치(100)는 머신러닝을 이용하여 두부이미지 상의 랜드마크 지점으로 추측되는 제1지점을 추출할 수 있다.
다른 실시예에 따르면 두부이미지 분석 장치(100)는 딥러닝을 이용하여 두부이미지 상의 랜드마크 지점으로 추측되는 제1지점을 추출할 수 있다.
다른 실시예에 따르면 두부이미지 분석 장치(100)는 CNN을 이용하여 두부이미지 상의 랜드마크 지점으로 추측되는 제1지점을 추출할 수 있다. 이를 위해 두부이미지 분석 장치(100)는 랜드마크 지점이 표시된 두부이미지를 하나 이상 획득할 수 있고 상기 하나 이상의 이미지와 CNN을 이용하여 두부이미지 상의 랜드마크 지점을 추출할 수 있다.
이를 위해 두부이미지 분석 장치(100)는 예를 들어, CNN의 학습을 위해 획득한 이미지로부터 콘볼루션(convolution)을 통해 피쳐 맵(feature map)을 만들며, 상기 피쳐 맵에 대한 서브샘플링(subsampling)을 통해 획득한 로컬 피쳐(local feature)에 대해 콘볼루션과 서브샘플링을 수행하여 획득한 피쳐에 대해 다시 콘볼루션과 서브샘플링을 수행하여 피쳐를 획득하고, 상기 획득한 피쳐에 대해 다시 콘볼루션과 서브샘플링을 수행하는 단계를 반복적으로 수행하여 획득한 글로벌 피쳐(global feature)를 일반적인 뉴럴 네트워크(fully connected network)의 입력으로 연결시켜 최적의 인식 결과를 내도록 할 수 있다.
또한 두부이미지 분석 장치(100)는 예를 들어 CNN을 이용하여 세그멘테이션(segmentation)을 수행함으로써 두부이미지 상의 랜드마크 지점을 추출할 수 있다. 세그멘테이션은 두부이미지 상의 의미있는 부분을 구분해내는 기법으로서 공개된 다양한 방법의 세그멘테이션이 본 명세서에 기재된 실시예에 적용될 수 있다. 예를 들어, 히스토그램을 이용하여 픽셀들의 분포를 확인한 이후 적정 값의 임계값을 설정하여 픽셀 별로 구분할 수 있고, 또는 의미 있는 엣지(edge)를 추출하여 구분할 수 있으며, 또한, 동질성 (homegenety)을 갖고 있는 영역으로 구분할 수 있다.
또 다른 실시예에 따르면 두부이미지 분석 장치(100)는 두부이미지 상의 관심영역을 추출하고 관심영역 내에서의 랜드마크 지점으로 추측되는 제1지점을 추출할 수 있다. 관심영역 추출을 위해 두부이미지 분석 장치(100)는 머신러닝, 딥러닝 또는 CNN을 이용할 수 있으며 또한 상기 관심영역 내의 랜드마크 지점으로 추측되는 제1지점을 추출하기 위해 머신러닝, 딥러닝 또는 CNN 을 이용할 수 있다.
또 다른 실시예에 따르면 두부이미지 분석 장치(100)는 두부이미지 상에서 윈도우를 이동시킴으로써 윈도우 내의 영역을 관심영역으로 설정하고, 관심영역 내에 랜드마크 지점으로 추측되는 제1지점을 추출할 수 있다. 두부이미지 상에서 추출하고자 하는 랜드마크 지점이 N개(N은 1이상의 정수)라면, 두부이미지 분석 장치(100)는 N개의 랜드마크 지점 각각을 추출하기 위해 관심영역 내 제1지점을 추출하는 과정을 각 랜드마크 지점 별로 수행하여 N번 수행할 수 있다.
한편 다른 실시예에 따르면 두부이미지 분석 장치(100)는 추출하고자 하는 랜드마크 지점으로 추측되는 제1지점에 대해, 머신러닝을 이용하여 추출하고 또한 기하학적 연산으로 추출할 수 있다. 따라서 예를 들어, 랜드마크 지점으로 턱모서리점을 추출하고자 할 때, 두부이미지 분석 장치(100)는 머신러닝과 기하학적 연산 각각을 통해 추출된 지점 중에서 하나의 지점을 제1지점으로 추출할 수 있는데 예를 들어 두부이미지 분석 장치(100)는 머신러닝을 이용하여 추출한 랜드마크 지점의 신뢰도가 소정의 값 이하인 경우 기하학적 연산으로 획득한 지점을 제1지점으로 추출할 수 있다.
한편 두부이미지 분석 장치(100)는, 식별된 제1지점에 대해 검증할 수 있는데, 일 실시예에 따르면 두부이미지 분석 장치(100)는 머신러닝, 딥러닝 또는 CNN 을 이용하여 추출하였을 때 추출된 제1지점에 대해 기하학적 연산으로도 검증할 수 있다.
이때 머신러닝, 딥러닝 또는 CNN으로 식별된 제1지점을 기하학적 연산으로 추출된 제2지점과 동일한 위치인지 여부를 판단하여 검증할 수 있고, 또는 머신러닝, 딥러닝 또는 CNN으로 추출된 제1지점의 주변 지점 또는 기관 구조가 제2지점으로서 위치하는지를 여부를 기하학적으로 연산하여 검증할 수 있다. 예를 들어, 외이도의 최상방점(Por;porion)의 랜드마크 지점으로서의 제1지점이, 후두개저(posterior cranial base surface)와 하악과두 후방면(condylar head or neck) 교차점(Ar; articulare)을 제2지점으로 결정하였을 때 상기 제2지점의 좌측상단에 위치하고 있는지 검증하고 그에 따른 결과를 신뢰도로 표현할 수 있다.
추가적으로 두부이미지 분석 장치(100)는 관심영역을 맞게 설정하였는지를, 머신러닝, 딥러닝 또는 CNN 또는 기하학적 연산으로 검증할 수 있다. 예를 들어 두부이미지 분석 장치(100)는 머신러닝의 디텍션(detection)으로 추출한 관심영역이 의도한 관심영역인지 여부를 상기 관심영역의 이미지를 분류(classification)함으로써 검증하거나 신뢰도로 표현할 수 있다. 또는 예를 들어 두부이미지 분석 장치(100)는 머신러닝의 디텍션으로 추출한 관심영역이 의도한 관심영역인지 여부를 상기 관심영역 주변의 지점 또는 기관 구조로 검증할 수 있다.
또한 다른 실시예에 따르면 두부이미지 분석 장치(100)는, 추출하고자 하는 랜드마크 지점에 대해, 기하학적으로 추출한 제1지점에 대해 머신러닝, 딥러닝 또는 CNN 을 이용하여 검증할 수 있다. 예를 들어, 두부이미지 분석 장치(100)는, 두부이미지에 대해 머신러닝, 딥러닝 또는 CNN 을 수행하여 획득한 제2지점을 기준으로 소정의 반경 내에 제1지점이 위치하는지 여부를 판단하여 제1지점이 랜드마크 지점으로서 적절한지를 검증할 수 있다.
만약 상술된 방법에 따라 검증을 수행하였을 때 추출된 랜드마크 지점이 의도한 랜드마크 지점이 아니거나, 또는 의도한 랜드마크 지점이 아예 추출되지 아니한 경우, 두부이미지 분석 장치(100)는 랜드마크 지점을 다시 추출할 수 있다.
이때, 두부이미지 분석 장치(100)는, 기존의 두부이미지에 대해 랜드마크 지점을 다시 추출할 수 있다. 또는 두부이미지 분석 장치(100)는, 기존의 두부이미지가 아닌 새로운 두부이미지를 획득하여 새로운 두부이미지를 분석하여 랜드마크 지점을 추출할 수 있는데, 이를 위해, 로우이미지로부터 두부이미지를 다시 획득하거나, 두부이미지에 대한 규격화를 다시 수행할 수 있다.
상술된 바와 같이, 머신러닝과 기하학적 연산을 함께 수행함으로써 추출된 랜드마크 지점에 대한 정확성과 신뢰성을 높일 수 있다.한편 두부이미지 분석 장치(100)는 상술된 바와 같이 두부이미지 상의 랜드마크 지점을 추출하면, 랜드마크 지점에 식별이미지를 결합하여 분석이미지를 생성할 수 있다 (S430).
즉 두부이미지 분석 장치(100)는 두부이미지를 분석이미지로 변경할 때 두부이미지 상에 식별이미지를 합성할 수 있고 상기 식별이미지의 합성 시 랜드마크 지점에 식별이미지를 합성할 수 있다.
이때 두부이미지 분석 장치(100)는 동일한 형상을 갖는 식별이미지를 랜드마크 지점에 합성할 수 있다.
또는 두부이미지 분석 장치(100)는 식별이미지를 복수 개 저장하고, 랜드마크 지점의 위치에 따라 합성되는 식별이미지를 달리 할 수 있다.
한편 두부이미지 분석 장치(100)는 분석이미지를 사용자에게 제공할 수 있다 (S440).
추가적으로 두부이미지 분석 장치(100)는 분석이미지를 포함한 리포트를 제공할지 여부를 결정할 수 있다 (S450).
예를 들어 두부이미지 분석 장치(100)는 사용자가 리포트를 제공받을 것을 요청하는 경우에 한해 리포트를 제공할 수 있다.
또 다른 예에 따르면 두부이미지 분석 장치(100)는 분석이미지를 포함한 리포트의 제공을 시스템 내에서 디폴트로 정하고 리포트를 제공할 수 있다.
또한 두부이미지 분석 장치(100)는 예를 들어, 소정의 임계치 이상의 값을 갖는 분석이미지에 관해서만 리포트를 제공할 수 있고, 예를 들어 특정 지점이 일반적으로 표시되는 위치보다 소정의 범위 외의 위치에, 상기 특정 지점에 대응되는 식별이미지가 표시되는 두부를 갖는 환자의 분석이미지에 한해 리포트를 제공할 수 있다.
이와 같이 두부이미지 분석 장치(100)가 리포트를 제공할 것을 결정하면, 분석이미지를 그대로 포함시키거나 분석이미지를 가공하여 리포트를 생성하고 제공할 수 있다 (S460).
이때 일실시예에 따르면 두부이미지 분석 장치(100)는 분석이미지 그대로가 리포트의 일부분을 구성하도록 리포트를 생성하고 제공할 수 있다.
또 다른 실시예에 따르면 두부이미지 분석 장치(100)는 분석이미지를 가공한 리포트를 제공할 수 있다.
한편 또 다른 실시예에 따른 두부이미지 분석 방법에 따르면, 두부이미지 분석 장치(100)는 두부이미지를 획득하기에 앞서 로우이미지를 수신하여 랜드마크 지점을 추출할 수 있는데 이와 관련하여서는 도 6을 참조하여 후술한다.
두부이미지 분석 장치(100)는, 도 6에서 도시된 바와 같이, 로우이미지에 대한 전처리를 수행할 수 있다(S610). 즉, 두부이미지 분석 장치(100)는 로우이미지에 대해 CLAHE 파라미터 적용하거나, 가우시안 블러를 적용하거나, 와핑을 적용할 수 있고, 또는, X축 및/또는 Y축으로 스케일링하거나 학습이미지를 축소 또는 크롭(crop)하거나, 화소값 등을 변경하여 해상도를 높임으로써 로우이미지에 대한 전처리를 수행할 수 있다.
그리고 두부이미지 분석 장치(100)는 로우이미지로부터 두부이미지를 획득할 수 있다 (S620).
두부이미지 획득을 위한 일 실시예에 따르면 두부이미지 분석 장치(100)는 분석 대상으로 입력된 로우이미지 상 소정의 영역 내에 소정의 식별자가 위치하고 있는지를 탐색할 수 있다.
예를 들어, 로우이미지 상 소정의 영역 내에 ‘안와’로 인식되는 식별자가 위치하는지 여부를 탐색할 수 있다. 이때, 두부이미지 분석 장치(100)는 로우이미지 상에 임의의 사이즈와 형상을 갖는 폐곡선으로 이루어진 윈도우 내 영역을 소정의 영역으로 설정할 수 있으며, 상기 윈도우는 로우이미지 상을 이동하면서 다양한 범위의 영역을 설정할 수 있다.
또한 예를 들어, 두부이미지 분석 장치(100)는 윈도우 내 소정의 영역 내에 소정의 식별자가 위치하는지 여부를 탐색하기 위해 머신러닝(또는 딥러닝 또는 CNN)을 이용할 수 있다. 예를 들어, 두부이미지 분석 장치(100)는 소정의 영역에 대해 CNN을 수행하여 상기 영역 내의 식별자가 위치하는 좌표를 추출할 수 있다. 상기 좌표는 소정의 영역 내의 좌표일 수 있고, 또는 로우이미지 상의 좌표일 수 있다.
이와 같이 로우이미지 상의 소정의 식별자에 대한 좌표를 추출한 두부이미지 분석 장치(100)는 추출한 좌표에 기초하여 두부이미지를 획득할 수 있다.
예를 들어, 로우이미지가 환자의 상체를 찍은 x-ray이미지라면, 두부이미지 분석 장치(100)는 로우이미지에서 두부이미지로 특정 지을 수 있는 ‘안와’, ’하악골’, ‘비강’의 3개의 식별자를 추출할 수 있다. 3개의 식별자를 추출하기 위해 두부이미지 분석 장치(100)는 윈도우를 이동시켜가며 식별자에 해당되는 좌표를 추출할 수 있다. 그리고 추출된 좌표에 기초하여 두부이미지로 판단되는 영역을 로우이미지 상에 설정함으로써 두부이미지 분석 장치(100)는 두부이미지를 획득할 수 있다. 예를 들어 두부이미지 분석 장치(100)는 위 3개의 식별자를 포함하면서 각 식별자로부터 소정의 범위를 포함하는 영역을 두부이미지로 설정할 수 있다.
두부이미지 분석 장치(100)는 획득한 두부이미지에 대해 규격화 처리함으로써 랜드마크 지점의 추출이 용이해지도록 두부이미지를 가공할 수 있다. 예를 들어, 두부이미지 분석 장치(100)는 두부이미지의 해상도, 밝기 등을 변경하거나 두부이미지의 사이즈를 확대/축소시키는 등의 규격화 처리를 수행할 수 있다. 또는 예를 들어 두부이미지 분석 장치(100)는 소아의 두부이미지의 경우 두부이미지를 확대 스케일링하거나 머리가 큰 환자의 두부이미지의 경우 두부이미지를 축소 스케일링할 수 있다.
상술된 바와 같이 두부이미지 분석 장치(100)는 두부이미지를 획득할 수 있고, 상기 두부이미지에 대해 랜드마크 후보 지점을 추출할 수 있다 (S630).
랜드마크 후보 지점은 랜드마크 지점으로 추출된 지점으로써 검증되기 이전의 지점을 의미한다.
랜드마크 후보 지점의 추출을 위해 두부이미지 분석 장치(100)는 두부이미지 상의 관심영역을 추출하고 관심영역 내에서의 랜드마크 후보 지점을 추출할 수 있다. 관심영역 추출을 위해 두부이미지 분석 장치(100)는 머신러닝(또는 딥러닝 또는 CNN)을 이용할 수 있으며 또한 상기 관심영역 내의 랜드마크 후보 지점을 추출하기 위해 머신러닝(또는 딥러닝 또는 CNN)을 이용할 수 있다.
관심영역은 두부이미지 상에서 윈도우가 이동하거나 고정된 지점에 위치함으로써 설정될 수 있다.
두부이미지 상에서 추출하고자 하는 랜드마크 지점이 N개(N은 1이상의 정수)이면, 두부이미지 분석 장치(100)는 N개의 랜드마크 지점 각각을 추출하기 위해 관심영역을 설정하면서 관심영역 내 랜드마크 후보 지점을 추출하는 단계를 N번 수행할 수 있다. 이때 두부이미지 분석 장치(100)는 두부이미지의 특정 위치에 랜드마크 지점가 위치할 것으로 추정되는 경우 윈도우를 상기 특정 위치에 고정시켜 랜드마크 후보 지점을 추출할 수 있다. 예를 들어, 턱 주변에 위치하는 랜드마크 지점인 경우 두부이미지 분석 장치(100)는 턱을 포함하는 영역을 관심영역으로 설정하고 상기 관심영역 내에서 랜드마크 후보 지점을 추출할 수 있다.
추출된 랜드마크 후보 지점에 대해 두부이미지 분석 장치(100)는 검증할 수 있다 (S640).
일 실시예에 따르면, 두부이미지 분석 장치(100)는 기하학적 연산을 함께 수행함으로써 머신러닝(또는 딥러닝 또는 CNN)을 이용하여 획득된 랜드마크 지점이 정해진 위치를 벗어났는지를 검증할 수 있다. 또 다른 실시예에 따르면, 두부이미지 분석 장치(100)는 외이도의 최상방점(Por) 또는 A점(point A; 두부측면상에서 결정되는 지점으로, 코 앞끝으로부터 상악익상돌기릉에 이르는 구부러진 골부분의 가장 돌출한 부분)이 랜드마크 지점으로서 맞게 추출되었는지를 검증함으로써 추출된 랜드마크 후보 지점이 맞게 추출되었는지 검증할 수 있다.
상술된 검증을 거쳐 추출된 랜드마크 후보 지점이 맞게 추출된 지점이 아니거나, 또는 추출된 랜드마크 후보 지점을 모두 검증하여도 의도한 랜드마크 지점이 없는 경우, 두부이미지 분석 장치(100)는 로우이미지로부터 두부이미지를 다시 획득하거나, 획득한 두부이미지에 대해 규격화를 다시 수행하여 새로운 두부이미지를 획득하고, 새로운 두부이미지에 대해 랜드마크 후보 지점을 다시 추출하여 검증을 수행할 수 있다. 즉, 단계 S620 내지 단계 S640을 다시 수행하여 정확한 랜드마크 지점을 추출할 수 있다.
한편 두부이미지 분석 장치(100)는 상술된 바와 같이 두부이미지 상의 랜드마크 지점을 추출하면, 랜드마크 지점에 식별이미지를 결합하여 분석이미지를 생성함으로써 분석이미지 또는 레포트를 제공할 수 있다. 이와 관련하여서는 도 4의 각 단계에서 동일한 도면부호에 대한 설명과 동일하므로 도 6의 단계 S430 내지 S460에 관한 설명은 생략한다.
도 7 내지 도 8은 두부이미지 분석 장치(100)가 리포트로서 제공하는 것을 나타내는 예시도이다.
예를 들어, 분석이미지 상에 표시된 식별이미지 간을 선분으로 연결하여 환자의 두부 상태를 직관적으로 나타낼 수 있는데, 예를 들어 환자의 두부 상에서의 아랫니(dental alveolar-lower incisor)를 분석하기 위해 도 8에 도시된 바와 같이 식별이미지 간을 선분으로 연결하여 환자의 두부 상에서의 아랫니 상태를 분석한 리포트를 제공할 수 있다.
또한 분석이미지 상에 표시된 식별이미지 각각에 대응되는 정보를 함께 나타내는 방법으로 사용자에게 리포트를 제공할 수 있는데, 예를 들어, 식별이미지를 활용하여 두부를 계측한 결과값을 제공할 수 있고 도 8에 도시된 바와 같이 환자의 절치간 각도(interincisal angle)를 연산하여 평균치와 함께 표시할 수 있다.
또한 예를 들어, 도 7에서 도시된 바와 같이 분석이미지 상에 또 다른 이미지를 합성한 이미지를 포함하는 리포트를 제공할 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
도 4 내지 도 6을 통해 설명된 실시예에 따른 이미지 분석 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 도 4 내지 도 6을 통해 설명된 실시예에 따른 이미지 분석 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 도 4 내지 도 6을 통해 설명된 실시예에 따른 이미지 분석 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
100: 두부이미지 분석 장치
110: 제어부
120: 메모리
130: 입출력부
140: 통신부
110: 제어부
120: 메모리
130: 입출력부
140: 통신부
Claims (19)
- 두부이미지를 분석하기 위한 장치로서,
두부이미지 상의 랜드마크 지점을 추출하여 분석이미지를 생성하는 제어부; 및
생성된 분석이미지를 저장하는 메모리를 포함하고,
상기 두부이미지에 대한 관심영역을 설정하고, 상기 관심영역 내에서의 두부이미지에 대한 머신러닝을 수행하여 제1지점을 식별하되, 상기 관심영역에 대한 검증을 수행하며,
상기 관심영역에 대한 검증은 상기 두부이미지 상의 상기 관심영역 주변의 이미지를 기초로 기하학적 연산을 수행하거나, 상기 관심영역에 대한 머신러닝을 수행함으로써 검증하는, 두부이미지 분석 장치. - 제 1 항에 있어서,
상기 제어부는,
상기 랜드마크 지점의 추출을 위해 학습이미지를 획득하여 학습한 이후 상기 분석이미지를 생성하는, 두부이미지 분석 장치. - 제 1 항에 있어서,
상기 제어부는,
상기 두부이미지를 분석하여 랜드마크 지점을 식별하고, 식별된 랜드마크 지점에 대한 검증을 수행함으로써 상기 랜드마크 지점을 추출하는, 두부이미지 분석 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 제어부는,
상기 두부이미지에 대한 기하학적 연산을 통해 결정된 제2지점을 기초로, 상기 제1지점에 대한 검증을 수행함으로써 상기 랜드마크 지점을 추출하는, 두부이미지 분석 장치. - 두부이미지 분석 장치가 두부이미지를 분석하는 방법으로서,
두부이미지 상의 랜드마크 지점을 추출하는 단계; 및
추출한 랜드마크 지점에 기초하여 분석이미지를 생성하는 단계를 포함하고,
상기 랜드마크 지점을 추출하는 단계는,
상기 두부이미지에 대한 관심영역을 설정하는 단계; 및
상기 관심영역 내에서의 두부이미지에 대한 머신러닝을 수행하여 제1지점을 식별하는 단계를 포함하고,
상기 관심영역에 대한 검증은 상기 두부이미지 상의 상기 관심영역 주변의 이미지를 기초로 기하학적 연산을 수행하거나, 상기 관심영역에 대한 머신러닝을 수행함으로써 검증하는, 두부이미지 분석 방법. - 제 10 항에 있어서,
상기 랜드마크 지점을 추출하는 단계는,
상기 두부이미지를 분석하여 랜드마크 지점을 식별하는 단계; 및
식별된 랜드마크 지점에 대한 검증을 수행함으로써 상기 랜드마크 지점을 추출하는 단계를 포함하는, 두부이미지 분석 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 10 항에 있어서,
상기 랜드마크 지점을 추출하는 단계는,
상기 두부이미지에 대한 기하학적 연산을 통해 결정된 제2지점을 기초로, 상기 제1지점에 대한 검증을 수행함으로써 상기 랜드마크 지점을 추출하는 단계를 더 포함하는, 두부이미지 분석 방법. - 제 10 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
- 두부이미지 분석 장치에 의해 수행되며, 제 10 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811634646.XA CN110021021B (zh) | 2018-07-09 | 2018-12-29 | 头部图像分析装置及图像分析方法 |
US16/431,538 US11017530B2 (en) | 2018-07-09 | 2019-06-04 | Apparatus and method for analyzing cephalometric image |
JP2019107639A JP7120965B2 (ja) | 2018-07-09 | 2019-06-10 | 頭部イメージ分析装置及びイメージ分析方法 |
EP19180736.1A EP3594901B1 (en) | 2018-07-09 | 2019-06-18 | Apparatus and method for analyzing cephalometric image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20180079623 | 2018-07-09 | ||
KR1020180079623 | 2018-07-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200005984A KR20200005984A (ko) | 2020-01-17 |
KR102130963B1 true KR102130963B1 (ko) | 2020-07-08 |
Family
ID=69370005
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180128188A KR102130963B1 (ko) | 2018-07-09 | 2018-10-25 | 두부이미지 분석 장치 및 이미지 분석 방법 |
KR1020190082333A KR102214652B1 (ko) | 2018-07-09 | 2019-07-08 | 이미지 분석 장치 및 이미지 분석 방법 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190082333A KR102214652B1 (ko) | 2018-07-09 | 2019-07-08 | 이미지 분석 장치 및 이미지 분석 방법 |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102130963B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230046620A (ko) | 2021-09-30 | 2023-04-06 | 주식회사 에이치디엑스윌 | 두부 ct 영상의 머리 회전 기준을 결정하는 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터 프로그램 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102246439B1 (ko) * | 2020-02-19 | 2021-04-30 | 주식회사 토모큐브 | 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치 |
KR102663182B1 (ko) * | 2021-09-14 | 2024-05-14 | 주식회사 잇다헬스케어 | 랜드마크 추출장치 및 그것의 동작방법 |
KR102647652B1 (ko) * | 2021-10-21 | 2024-03-15 | 고려대학교 산학협력단 | 두경부 이미지 구획화 방법 및 장치 |
KR102684725B1 (ko) * | 2022-05-17 | 2024-07-15 | 주식회사 애마슈 | 3차원 볼륨 영상으로부터 랜드마크를 검출하기 위한 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090034813A1 (en) * | 2007-08-02 | 2009-02-05 | Siemens Medical Solutions Usa, Inc. | Joint Detection and Localization of Multiple Anatomical Landmarks Through Learning |
US20100119137A1 (en) * | 2008-11-12 | 2010-05-13 | Siemens Corporation | Method and System for Anatomic Landmark Detection Using Constrained Marginal Space Learning and Geometric Inference |
JP2011244939A (ja) | 2010-05-25 | 2011-12-08 | Toshiba Corp | 医用画像診断装置、画像情報処理装置及び治療支援データ表示用制御プログラム |
JP2013059620A (ja) | 2011-09-13 | 2013-04-04 | General Electric Co <Ge> | 血管狭窄の視覚化及びナビゲーションのシステム及び方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2530220C1 (ru) * | 2013-03-18 | 2014-10-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях |
US10049457B2 (en) * | 2016-08-29 | 2018-08-14 | CephX Technologies Ltd. | Automated cephalometric analysis using machine learning |
-
2018
- 2018-10-25 KR KR1020180128188A patent/KR102130963B1/ko active IP Right Grant
-
2019
- 2019-07-08 KR KR1020190082333A patent/KR102214652B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090034813A1 (en) * | 2007-08-02 | 2009-02-05 | Siemens Medical Solutions Usa, Inc. | Joint Detection and Localization of Multiple Anatomical Landmarks Through Learning |
US20100119137A1 (en) * | 2008-11-12 | 2010-05-13 | Siemens Corporation | Method and System for Anatomic Landmark Detection Using Constrained Marginal Space Learning and Geometric Inference |
JP2011244939A (ja) | 2010-05-25 | 2011-12-08 | Toshiba Corp | 医用画像診断装置、画像情報処理装置及び治療支援データ表示用制御プログラム |
JP2013059620A (ja) | 2011-09-13 | 2013-04-04 | General Electric Co <Ge> | 血管狭窄の視覚化及びナビゲーションのシステム及び方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230046620A (ko) | 2021-09-30 | 2023-04-06 | 주식회사 에이치디엑스윌 | 두부 ct 영상의 머리 회전 기준을 결정하는 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
KR102214652B1 (ko) | 2021-02-10 |
KR20200005984A (ko) | 2020-01-17 |
KR20200006016A (ko) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102130963B1 (ko) | 두부이미지 분석 장치 및 이미지 분석 방법 | |
KR101913586B1 (ko) | 치아 영상 정합 방법, 이를 위한 장치, 및 이를 기록한 기록매체 | |
US10331850B2 (en) | Estimating body surface models of patients | |
US20200226752A1 (en) | Apparatus and method for processing medical image | |
US10424067B2 (en) | Image processing apparatus, image processing method and storage medium | |
WO2018205232A1 (zh) | 一种针对拼接结果自动精确定位参考线的方法 | |
KR20210051141A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
US11158046B2 (en) | Estimating measurements of craniofacial structures in dental radiographs | |
JP7120965B2 (ja) | 頭部イメージ分析装置及びイメージ分析方法 | |
US11847730B2 (en) | Orientation detection in fluoroscopic images | |
KR102433473B1 (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
KR102652749B1 (ko) | 자기 공명 이미지들에서 정중시상 평면을 결정하기 위한 방법 및 장치 | |
JP2020523107A (ja) | 骨に沿った人工ランドマークを使用した三次元画像の自動歪み補正および/または同時位置合わせのためのシステムおよび方法 | |
JP2013220319A (ja) | 画像処理装置、方法及びプログラム | |
JP2022031179A (ja) | デバイス対画像レジストレーションの方法、装置及び記憶媒体 | |
KR102192377B1 (ko) | 두개악안면영상에서의 자동 치아 분리방법 및 시스템 | |
KR20230099680A (ko) | 증강현실 현미경 기반 내비게이션 장치 및 방법 | |
US20220386976A1 (en) | Bone age estimation method and apparatus | |
US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
Wirtz et al. | Automated cephalometric landmark localization using a coupled shape model | |
TWI683286B (zh) | 醫療影像對位方法 | |
KR102518493B1 (ko) | 경추를 포함하는 X-ray 이미지에서, 인공 지능 모델을 이용하여 상기 경추에 포함된 적어도 하나의 경추 포인트를 검출하는 전자 장치 및 그의 방법 | |
US20230206477A1 (en) | Image processing method, image processing device, program, and trained model | |
US20220287570A1 (en) | System and method for identifying errors in positioning of a subject for capturing a thermal image | |
US20220344047A1 (en) | Medical image processing apparatus and medical image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |