KR20210005649A - 딥 러닝 기술을 이용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동 수정 - Google Patents

딥 러닝 기술을 이용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동 수정 Download PDF

Info

Publication number
KR20210005649A
KR20210005649A KR1020207033372A KR20207033372A KR20210005649A KR 20210005649 A KR20210005649 A KR 20210005649A KR 1020207033372 A KR1020207033372 A KR 1020207033372A KR 20207033372 A KR20207033372 A KR 20207033372A KR 20210005649 A KR20210005649 A KR 20210005649A
Authority
KR
South Korea
Prior art keywords
voxel
metal
neural network
data
affected
Prior art date
Application number
KR1020207033372A
Other languages
English (en)
Inventor
프랭크 테오도루스 카타리나 클라에센
사라 안네 파리누사
데이비드 안싸리 모인
Original Assignee
프로메이톤 홀딩 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프로메이톤 홀딩 비.브이. filed Critical 프로메이톤 홀딩 비.브이.
Publication of KR20210005649A publication Critical patent/KR20210005649A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 컴퓨터 구현 방법에 관한 것으로, 금속 영향을 받은 x-선 데이터는 x-선 영상기에 의해 영상화된 조직 볼륨에 있는 금속 또는 금속 물체로 인한 x-선 데이터의 허상을 나타낸다. 상기 방법은, 복셀 맵이 금속에 의해 영향을 받은 복셀 영역에 속하는 초기 복셀 표현의 복셀을 식별하며, 제1 3D 심층 신경망이 그 입력단에서 금속 영향을 받은 x-선 데이터의 초기 복셀 표현을 수신하고 그 출력단에 복셀 맵을 생성하는 단계; 및, 수정된 복셀 표현은 복셀 맵에 의해 금속 영향 영역의 일부로 식별된 복셀에 대한 복셀 추정을 포함하며, 제1 3D 심층 신경망이 환자의 미리 결정된 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는 참조 데이터 및 훈련 데이터에 기초하여 훈련되며, 제2 3D 심층 신경망이 초기 복셀 표현 및 제1 3D 심층 신경망에 의해 생성된 복셀 맵을 그 입력단에서 수신하고 수정된 복셀 표현을 생성하는 단계를 포함한다.

Description

딥 러닝 기술을 이용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동 수정
본 발명은 금속 영향을 받은 x-선 데이터의 복셀 표현을 딥 러닝 기술을 이용하여 자동으로 수정하는 것에 관한 것으로, 특히, 오직 이것에 국한되지는 않지만, 딥 러닝 기술을 사용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 방법 및 시스템, 금속 영향을 받은 x-선의 복셀 표현을 수정하기 위한 심층 신경망 시스템 훈련 방법, 및 이러한 방법을 실행하기 위한 컴퓨터 프로그램 제품에 관한 것이다.
CT 스캔 동안에, 조직의 여러 영역이 미리 결정된 강도의 x-선 방사 빔에 의해 서로 다른 각도로 노출되는 반면에 센서 어레이는 조직을 관통한 x-선 빔의 강도를 측정한다. 센서에 의해 측정된 감쇠 방사선 빔에 기반하여, 조직의 여러 영역에서 x-선 방사의 흡수 정도가 결정될 수 있다. 스캔 동안에 얻은 데이터는 다양한 진폭과 위상을 가진 사인파 신호 세트의 형태를 가지며, 일반적으로 사이노그램(sinogram)이라고 한다. 스캔된 조직의 2D 또는 3D 영상를 재구성하기 위해 재구성 알고리즘이 사이노그램을 사용할 수 있다. 이러한 재구성 알고리즘을 일반적으로 역투영(backprojection)이라고 한다.
생체 물질의 흡수 계수에서 크게 벗어나는 높은 흡수 계수를 갖는 물질(또는 물질들)이 조직에 포함되어 있는 경우에는 역투영을 이용한 영상 재구성시 문제가 발생할 수 있다. 예를 들면 치과 분야에서, 일반적으로 더 높은 흡수 계수를 가지는 상대적으로 고밀도의 금속 물질(예 : 아말감, 금, 은, 팔라듐, 티타늄 등)로 만들어지는 금속 임플란트 및/또는 치과 충전재는 구성된 영상에서 불일치를 유발할 수 있는데, 예를 들면, 스캔된 실제 조직 또는 다른 구조 밀도 값을 나타내지 않는 표면상 누락된 데이터 포인트 또는 부정확한 데이터 포인트를 유발할 수 있다. 고밀도 물질에 의해 야기되는 이러한 불일치는 일반적으로 금속 허상(metal artefacts) 또는 짧게 허상으로 지칭될 수 있으며, 'artefact' 대신에 'artifact'라는 용어가 종종 문헌에 사용된다.
허상은 의료 전문가 또는 자동화된 컴퓨터 기반 진단 시스템에 의해 실행되는 진단 프로세스를 방해할 수 있기에 심각한 문제를 야기시킬 수 있다. 단파장 전리 방사선 사용이 잠재적으로 건강에 위험하다는 우려가 제기됨으로 인해 CT 검사에서 선량 감소의 추세가 일반화되어서 허상으로 인한 문제가 더욱 증가 된다. 선량 감소의 단점은 재구성된 CT 영상에 노이즈가 증가한다는 것이다. 또한, 구강 외과수술, 치내 요법 및 치아 교정과 같은 의료 분야에서는 CBCT(cone beam CT) 스캐너와 같은 소형 CT 스캐너가 점점 더 많이 사용되고 있다. CBCT 스캐너는 x-선 빔이 원뿔 모양을 가지는 소형 저선량 스캐너이다. CBCT 기술이 기존의 CT 스캐닝 기술과 많은 유사점을 공유하기도 하지만 상당한 차이점도 있다. 예를 들어, CBCT가 센서의 2D 어레이 및 원뿔형 빔 모양의 x-선 빔을 사용하므로, 원뿔형 빔 재구성 알고리즘은 기존 CT 스캐너의 전형적인 재구성 알고리즘과는 차이가 있다. 더욱이, CBCT 스캔에서, 하운스필드 단위(Hounsfield Units, HU)로 측정되는 방사선 밀도는 다른 영역이 스캔되는 기관의 상대적 위치에 따라 다른 그레이스케일 값으로 스캔에서 나타나기 때문에 일관성이 없다. CBCT와 의료용 CT 스캐너를 모두 사용하여 동일한 해부학적 영역에서 측정된 HU가 동일하지 않아서 결국 위치-고유의(site-specific), 방사선으로 식별된 측정 밀도를 결정할 때 신뢰할 수 없다. 이러한 차이로 인해 고밀도 재료의 불리한 효과는 스캐너 유형 및 역투영 기술에 따라 영상에 다르게 나타날 것이다.
허상의 일반적인 '유형'에 대한 개요가 Schultze 등에 의해 저술된 논문 (CBCT에서의 허상; 개요, Dentomaxillofacial Radiology 학술지, 265-273쪽, 제40(5)호, 2011년)에 기재되어 있으며, 이 논문에서는 소멸(extinction) 허상, 빔 경화 허상, 지수 엣지 그라데이션 효과(EEGE), 링 허상, 앨리어싱 허상, 및 처음 세 가지가 특히 중요한 모션 허상을 포함하는 다양한 유형의 허상을 구분한다. 소멸 허상은 '가치를 잃은' 허상으로 간주가 될 수 있다. 이러한 허상은 스캔된 물체에 금 크라운과 같은 흡수성이 높은 물질이 포함된 경우에 나타난다. 이 경우에, 고밀도 금속이 바로 뒤에 있는 재료를 '숨긴다'. 이러한 영역은 방사선 빔이 제대로 접근할 수 없어 결국 흡수율이 높은 재료 옆에 '검은 영역'이 생긴다. 빔 경화 허상은 고밀도 재료 및/또는 x-선 소스의 낮은 파장 광자와 높은 원자 수 간의 반비례 관계로 인해 일반적으로 발생한다. 고밀도 물질에 의한 광자의 흡수로 인해 금속 물체 뒤의 경로에 상대적으로 더 많은 흡수가 기록되고, 오류가 볼륨으로 역투영되어 영상에 검은색 줄무늬가 생긴다. 또한, 두 개의 인접한 구조가 밀도 및/또는 원자 수에서 높은 대조를 이룰 때 지수 엣지 그라데이션 효과(EEGE)가 나타난다. 역투영 알고리즘은 기록된 빔에 대해 측정된 강도를 평균하기 때문에 금속 옆에 x-선 투영 방향에 줄무늬를 야기한다.
따라서, 사이노그램에 기반하여 재구성되는 CT 영상에 복수의 소스가 허상 생성에 기여할 수 있다. 고밀도 재료(두께, 밀도, 원자 번호 등)와 관련된 양상을 비롯한 스캐너, 스캔 방법(예: 스캐너 유형, 센서 유형, 센서 형상, 센서 품질, x-선 소스 등)과 관련된 측면 및 재구성 방법은 재구성된 영상에 이러한 허상이 나타나는 방식과 심각도에 영향을 미칠 수 있다. 이러한 요인들로 인해 CT 데이터에서 허상을 제거하는 것은 어려운 도전 과제이다.
영상의 중요한 세부 사항을 보존하면서 CT 영상의 허상을 줄이기 위한 다양한 방법이 제안되었다. 이러한 방법을 금속 허상 감소(MAR) 방법이라 한다. 일반적인 MAR 방법은 선형 보간, 빔 경화 수정 방법 및 정규화된 금속 허상 감소 방법을 포함한다. Meyer 등에 의해 작성된 논문 (컴퓨터 단층 촬영에서 정규화된 금속 허상 감소(NMAR), Medical Physics, Vol. 37, No.10, October 2010, pp. 5482-5493)에서 설명했듯이, 일반적인 MAR 방법은, 예를 들어 사이노그램을 픽셀 또는 복셀 기반의 영상으로 변환하기 전에. 사이노그램-영역(sinogram-domain)에서 실행된다. 이러한 방법은 금속에 의해 영향을 받은 투영된 데이터 일부를 누락된(missing) 데이터로 취급한다. 임계치 방법은 영상에서 하나 이상의 금속 물체를 결정하는데 사용되며 금속 전용 영상의 전방(forward) 투영을 사용하여 금속에 의해 영향을 받은 사이노그램의 신호를 결정할 수 있다. 그런 다음 보간 및 전방 투영 기술이 사이노그램에 적용되어 영향을 받은 데이터를 대리(surrogate) 데이터로 대체한다. 이러한 MAR 기술은 사이노그램 데이터에 대한 접근과 사이노그램 생성시 사용된 스캔 및 역투영 방법에 대한 지식이 필요하다. 또한, 이 기술은 상당한 계산 자원을 필요로 하는 영상 임계치를 비롯하여 여러 전방 및 후방 투영 연산을 사용한다. 따라서 개선되는 점은 있지만, 현재의 MAR 기술은 효율적이고 신뢰할 수 있는 방식으로 x-선 데이터에서 허상을 자동으로 제거하거나 최소한 줄일 수 있는 일반적인 해결책을 제공하지 못한다.
최근에는 MAR 프로세스에 신경망이 사용되고 있다. Zhang 등에 의해 2017년에 발표된 논문 ("x-선 컴퓨터 단층 촬영에 있어서 컨볼루셔널 신경망에 기반한 금속 허상 감소")에서 개시되어 있으며, CNN이 허상 감소에 대한 유용한 정보를 학습할 수 있도록 하기 위해 종래의 MAR 방법으로 처리된 영상을 기반으로 훈련된 2D 컨볼루셔널 신경망(CNN)에 의해 CT 영상에서 허상이 감소되는 점을 설명한다. 금속 허상은 계산으로 시뮬레이션이 된다. CNN은 수정된 사이노그램을 형성하기 위해 후속적으로 원본의 수정되지 않은 데이터와 금속 트레이스 데이터를 함께 사이노그램 영역에서 처리되는 이미지를 생성한다. 수정된 사이노그램은 수정된 영상으로 변환된다. 허상은 감소했지만 여전히 나머지 허상도 고려해야 한다. Gjetseby 등의 연구 ("CT 영상-영역의 금속 허상을 감소하기 위한 딥 러닝 방법", SPIE, Vol. 10391, 25-9-2017)에서, 최첨단 사이노그램 영역 NMAR 기술과 2D-CNN의 조합이 적용되어 2D 영상의 금속 줄무늬를 현저하게 감소시킨다. 영상은 우선 NMAR 기술에 의해 재구성되어 상당한 금속 줄무늬 허상이 잔존하는 재구성 영상을 생성한다. 그 다음에 재구성된 영상이 2D CNN의 입력단에 공급되어 금속 줄무늬가 감소된 재구성된 CT 영상을 결정한다.
많은 실제 상황에서 CT 데이터(예: DICOM 포맷)의 복셀(또는 픽셀) 표현에만 접근이 가능하며 CT 데이터를 생성하는 시스템에 대한 기술적 지식이 없거나 부족하다. Zhang 등은 2018년에 U-Net이라는 컨볼루셔널 신경망 유형을 모의 오염(여러 영상 왜곡에 영향받은) 영상 및 참조 영상에 적용해서 잔상을 예측하는 데 사용되는 (U-net에 의해 훈련된) 연산자를 확인하고, 즉, 이러한 오염 영상과 참조 영상 사이의 불일치를 예측하여 참조 영상을 모방하도록 한다. 복부의 깨끗한 CT 영상에 실제하지 않는 금속을 삽입하여 데이터를 수치적으로 시뮬레이션한다. 2D CT 영상 참조 데이터 세트를 생성하는 데 사용되는 정규 MAR 방법으로 인해 실제 영상에 대한 적용이 기존 방법에 비해 월등하지는 않지만, 시뮬레이션된 데이터에 대한 결과는 유망해 보인다.
따라서, 상술한 내용을 참조하면 허상에 의해 영향을 받은, 복셀과 같은 3D 데이터의 자동 재구성을 위한 개선된 방법 및 시스템이 당업계에 필요하다. 특히, 티타늄 임플란트 또는 복합 충전재와 같은 고밀도 재료의 복셀을 유지하면서, ((CB)CT 스캐너의 센서 데이터를 기반으로 생성된) 조직에 대한 복셀 표현에서 고밀도 재료로 인한 허상이 이러한 개선된 방법 및 시스템에 의해 자동으로 식별되고 허상이 존재하지 않는 정확한 복셀 값의 추정(estimate)을 가지는 복셀로 대체되는 것이 바람직하다.
당업자라면 이해할 수 있는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 발명의 양태는 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함) 또는 모두 일반적으로 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태를 결합한 실시예의 형상를 취할 수 있다. 본 명세서에서 설명되는 기능들은 컴퓨터의 마이크로프로세서에 의해 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 양태들은, 예를 들어 컴퓨터에 저장되어 있는, 컴퓨터 판독 가능 프로그램 코드를 가지는 하나 이상의 컴퓨터 판독 가능 매체에 내장된 컴퓨터 프로그램 제품의 형태를 가질 수 있다.
하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 전술한 것의 임의의 적절한 조합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예(비 제한 목록)는 다음을 포함할 수 있다 : 하나 이상의 와이어가 있는 전기 접속, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 기억장치(ROM), 소거 가능한 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 읽기 전용 컴팩트 디스크 기억 장치(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 기타 상기의 적절한 조합. 본 명세서의 맥락에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형 매체일 수 있다.
컴퓨터 판독 가능 신호 매체는 예를 들어 기저 대역 또는 반송파의 일부로 컴퓨터 판독 가능 프로그램 코드를 가진 전파 데이터 신호를 포함할 수 있다. 이러한 전파 신호는 전자파, 광학 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 임의의 다양한 형상을 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 저장 매체가 아니며 명령 실행 시스템, 장치 또는 장치에 의해 또는 이와 관련하여 프로그램을 통신, 전파 또는 전송할 수 있는 임의의 컴퓨터 가독성 매체일 수 있다.
컴퓨터 판독 가능 매체에 내장되어 있는 프로그램 코드는 무선, 유선, 광섬유, 케이블, RF 등을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다. 본 발명의 양태에 대한 작업을 수행하기 위한 컴퓨터 프로그램 코드는 Java, Scala, C ++, Python과 같은 기능성 또는 객체 지향 프로그래밍 언어 또는 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어 같은 종래의 절차적 프로그래밍 언어를 포함하여 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 사용자 컴퓨터, 일부 사용자 컴퓨터에서 독립형 소프트웨어 패키지로, 일부 사용자 컴퓨터 및 일부 원격 컴퓨터 또는 원격 컴퓨터, 서버 또는 가상 서버에서 완전히 실행될 수 있다. 후자의 경우에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함하는 임의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있고, 또는 (예를 들어, 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해) 외부 컴퓨터에 연결될 수 있다.
본 발명의 양태는 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참고하여 이하 설명된다. 흐름도 및/또는 블록도의 각 블록과 흐름도 및/또는 블록도의 블록 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있다고 이해될 것이다. 이러한 컴퓨터 프로그램 명령은 프로세서에 제공될 수 있으며, 특히 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 마이크로프로세서 또는 중앙 처리 장치(CPU) 또는 그래픽 처리 장치(GPU)에 제공되어 기계적 동작을 생성하며, 컴퓨터 프로세서, 다른 프로그래밍 가능한 데이터 처리 장치 또는 기타 장치를 통해 실행되는 명령이 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 지정된 기능/동작을 구현하기 위한 수단을 생성한다.
이러한 컴퓨터 프로그램 명령은 또한 컴퓨터를 지시할 수 있는 컴퓨터 판독 가능 매체, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치가 특정한 방식으로 작동하도록 지시할 수 있는 컴퓨터 판독 매체에 저장될 수 있고, 컴퓨터 판독 가능 매체에 저장된 그러한 명령은 흐름도 및/또는 블록도의 블록에 지정된 기능/활동을 구현하는 명령을 포함하는 제품을 생성할 수 있다.
또한, 컴퓨터 프로그램 명령은 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 장치에 로딩되어 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능 장치 또는 다른 장치에서 수행되어 컴퓨터로 구현되는 프로세스를 생성하도록 할 수 있으며, 컴퓨터 또는 다른 프로그램 가능 장치에서 실행되는 명령어는 흐름도 및/또는 블록도의 블록에 지정된 기능/동작을 구현하기 위한 프로세스를 제공한다.
흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 모듈, 세그먼트 또는 코드의 일부로 나타날 수 있다. 또한 일부 대체적인 구현들에서, 블록들에서 명시된 기능이 도면에 명시된 순서를 벗어나서 발생할 수 있음에 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 또는 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록과 블록도 및/또는 흐름도의 블록의 조합은 특정 기능이나 동작 또는 조합을 수행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있다는 점에 유의해야 한다.
본 발명의 실시예의 목적은 딥 러닝 기술을 사용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동으로 수정하는 것이다. 바람직하게는 x-선 데이터는 3D 영상를 형성하는 복셀로 표현되고 CBCT(cone beam CT) 스캐너와 같은 저선량 CT 스캐너를 사용하여 생성된다. 3D 영상은 예를 들면 신체의 구강-악안면 부위 또는 흉부 부위와 같은 일반적으로 생물학적 조직을 나타낸다. 여기서, 금속 영향을 받은 x-선 데이터, 즉 복셀은 x-선 영상기로 촬영한 조직 볼륨에 있는 금속 또는 금속 물체로 인해 발생하는 x-선 데이터의 허상을 나타낼 수 있다.
일 양태에서, 본 발명은 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 컴퓨터 구현 방법에 관한 것으로, 복셀 맵은 금속 영향을 받은 복셀 영역에 속하는 초기 복셀 표현의 복셀을 식별하고, 제1 3D 심층 신경망이 그 입력단에서 금속 영향을 받은 x-선 데이터의 초기 복셀 표현을 수신하고 그 출력단에 복셀 맵을 생성하는 단계; 및 수정된 복셀 표현은 금속 영향을 받은 영역의 일부로 복셀 맵에 의해서 식별된 복셀에 대한 복셀 추정(estimations)을 포함하고, 제1 3D 심층 신경망이 환자의 미리 결정된 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는 참조 데이터 및 훈련 데이터에 기초하여 훈련되며, 제2 3D 심층 신경망이 초기 복셀 표현 및 제1 3D 심층 신경망에 의해 생성된 복셀 식별 정도를 그 입력단에서 수신하고 수정된 복셀 표현을 생성하는 단계를 포함한다. 본 실시예에서 x-선 데이터는 3D (CB)CT 데이터일 수 있다.
따라서, 제1 신경망은 금속 영향을 받은 x-선 데이터(허상)와 연관된 복셀 표현의 복셀과 허상에 속하지 않는 복셀, 즉 스캔된 신체 부위의 조직을 나타내는 복셀 간을 자동으로 구별하도록 훈련된다. 이 정보는 복셀 식별 정보의 형태로 제1 신경망의 출력단에 생성될 수 있다. 이 정보는 허상에 속하는 금속 영향을 받은 x-선 데이터의 복셀 표현의 복셀 값을 임상 훈련 데이터를 기반으로 제2 신경망에 의해 추정된 복셀 값으로 대체하기 위해 제2 신경망에 의해 사용될 수 있다. 이 방법은 x-선 영상기(영상기는 스캐너의 다른 용어로 간주됨) 또는 영상을 생성하는 데 사용되는 역투영 방법 대한 특정한 지식 없이도 x-선 영상, 3D (CB)CT 영상 데이터에서 허상을 제거하는 효과적인 방법을 제공할 수 있다. 또한, 이 방법은 사이노그램 영역에 투영된 데이터를 처리할 필요가 없다.
일 실시예에서, 식별 정보를 결정하는 제1 3D 심층 신경망은 다음 단계를 포함하며: 제1 3D 심층 신경망이 복셀 맵을 생성하고, 복셀 맵의 각 복셀은 금속 영향을 받은 x-선 데이터의 초기 복셀 표현의 복셀 및 하나 이상의 확률 척도와 연관되며, 하나 이상의 확률 척도 중 제1 확률 척도는 복셀이 금속 영역의 일부일 확률을 나타내고 제2 확률 척도는 복셀이 금속 영향을 받은 영역의 일부일 확률을 나타낸다. 이와 관련하여 '복셀 맵'은 복셀 식별 정보(의 서브 세트 및/또는 일부)로 간주될 수 있다. 이와 관련하여 영역(region)은 첫 번째 측정 경우에서는 각각 금속 (또는 금속 함유)인 실제 3D 볼륨(들)의 일부인 복셀 세트(들)로 간주되어야 하고, 두 번째 측정 경우에서는 실제 상황으로 존재하는 금속에 의해 영향을 받기 때문에 초기 복셀 표현에서 결정된 잘못된 값을 가지는 복셀 세트(들)로 간주되어야 한다.
일 실시예에서, 상기 방법은 제1 및 제2 확률 척도에 기반하고 하나 이상의 임계값에 기반하여 초기 복셀 표현에 있는 복셀을 금속 영역에 속하는 복셀 및 금속 영향을 받은 영역에 속하는 복셀로 분류하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 방법은 복수의 금속 클래스는 비금속 재료와 관련된 제1 금속 클래스 및 금속 또는 금속 재료와 관련된 제2 클래스를 포함하며, 제1 확률 척도 및 하나 이상의 금속 임계값을 사용하여 복수의 금속 클래스에서 선택된 금속 클래스를 각각의 복셀에 대해 결정하는 단계를 더 포함한다.
일 실시예에서, 제1 3D 심층 신경망 및/또는 제2 3D 심층 신경망은 적어도 제1 3D 컨볼루셔널 층 세트, 바람직하게는 제1 3D CNN 특징 층 세트를 포함하는 적어도 제1 데이터 처리 경로, 및 제1 경로에 평행한 적어도 제2 데이터 처리 경로를 포함하며, 제2 경로는 제2 3D 컨볼루셔널 층 세트, 바람직하게는 제2 3D CNN 특징 층 세트를 포함하고, 제2 3D 컨볼루셔널 층 세트는 제1 3D 컨볼루셔널 층 세트의 입력에 공급되는 복셀 블록과 관련된 맥락(contextual) 정보를 결정한다.
일 실시예에서, 훈련 데이터는 신체 부위의 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현 및 신체 부위의 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하고, 참조 데이터는 신체 부위의 금속 기반 치료와 관련된 금속 영역이 식별되는 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함한다. 이러한 참조 데이터(의 서브 세트 및/또는 처리된 버전)는, 상술한 바와 같이, 복셀 맵을 정확하게 생성하고 사실상 복셀 식별 정보를 최적화하는 데 활용될 수 있다.
일 실시예에서, 제2 3D 심층 신경망은 초기 복셀 표현에 있는 금속 영향을 받은 x-선 데이터와 연관된 허상을 최소화하도록 훈련되고, 훈련 중에, 3D 심층 신경망은 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따르는 관계에 기반하여 수정된 복셀 표현을 최적화하기 위해 선택된 제1 가중치 및 편향치에 의해 매개 변수화된다.
일 실시예에서, 제1 및/또는 제2 3D 심층 신경망은 3D 컨볼루셔널 신경망, 3D 생성적 대립 신경망 또는 3D 순환 심층 신경망을 포함하거나 및/또는 중의 일부일 수 있다.
일 양태에서, 본 발명은 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 심층 신경망 시스템을 훈련하는 컴퓨터 구현 방법에 관한 것으로, 훈련 데이터는 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현 및 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하고, 참조 데이터는 금속 기반 치료와 관련된 금속 영역이 식별되는 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는, 훈련 데이터 및 참조 데이터를 컴퓨터가 수신하는 단계; 복셀 맵은 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현에 있는 금속 영향을 받은 복셀을 식별하는, 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현과 연관된 하나 이상의 복셀 맵을 컴퓨터가 수신하는 단계; 및 컴퓨터가 훈련 데이터와 참조 데이터를 사용하여 3D 심층 신경망을 훈련하고 복셀 맵에 의해서 금속 영향을 받은 영역에 속하는 복셀로 분류된 복셀에 대한 복셀 예측을 생성하고 및 복셀 예측을 기반으로 금속 영향을 받은 복셀 표현에 있는 금속 영향을 받은 복셀을 수정하는 단계;를 포함한다.
추가적인 양태에서, 본 발명은 훈련 데이터 세트 및 참조 데이터 세트를 사용하여 금속 영향을 받은 영역 일부인 복셀에 대한 복셀 추정을 생성하기 위해 금속 영향을 받은 x-선 데이터의 복셀 표현을 처리하도록 신경망을 훈련시키는 방법에 관한 것이다. 상기 방법은: 훈련 데이터 세트를 생성하는 단계로서, 훈련 데이터는 금속 기반 치료 전 환자 신체 부위의 x-선 데이터의 복셀 표현, 환자 신체 부위의 금속 기반 치료 후 금속 영항을 받은 x-선 데이터의 복셀 표현 및 복셀 맵을 포함하고, 금속 영향을 받은 x-선 데이터의 복셀 표현에 있는 복셀이 금속 영역 및/또는 금속 영향을 받은 영역에 속하는지 여부를 식별하며; 참조 데이터 세트를 생성하는 단계로서, 참조 데이터는 금속 기반 치료 전 환자 신체 부위의 x-선 데이터의 복셀 표현을 포함하며; 훈련 데이터의 하나 이상의 특성 및 참조 데이터 세트의 하나 이상의 특성에 따른 제1 가중치 및 편향치에 의해 매개 변수화되는, 생성기 신경망 바람직하게는 생성기 3D 심층 신경망을 훈련하는 단계로서, 생성기 신경망은 수정된 복셀 표현을 생성하도록 훈련되고, 수정된 복셀 표현은 복셀 맵에 의해서 금속 영향을 받은 영역의 일부로 식별된 복셀에 대한 복셀 추정을 포함하며, 생성기 3D 심층 신경망의 훈련에는 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따르는 관계에 기반하여 수정된 복셀 표현을 최적화하기 위해 하나 이상의 제1 가중치 및 편향치를 수정하는 것이 포함되고, 훈련 데이터의 하나 이상의 특성 및 참조 데이터 세트의 하나 이상의 특성에 따른 제1 가중치 및 편향치에 의해 매개 변수화되며; 및, 금속 영향을 받은 영역의 일부 복셀에 대한 복셀 추정을 포함하는 수정된 복셀 표현의 하나 이상의 특성 및 참조 데이터 세트의 적어도 일부의 하나 이상의 특성에 따른 제2 가중치 및 편향치에 의해 매개 변수화되는, 식별기 신경망 바람직하게는 식별기 3D 심층 신경망을 훈련하는 단계로서, 식별기 3D 심층 신경망은 처리된 복셀 표현으로부터 금속 영향을 받은 x-선 데이터를 구별하도록 훈련된다. 식별기 신경망으로부터 얻은 정보는 생성기 신경망의 최적화 과정에서 사용될 수 있다.
다른 양태에서, 본 발명은 금속 영향을 받은 x-선 데이터, 바람직하게는 3D (CB)CT 데이터의 복셀 표현의 수정 방법에 관한 것으로, 금속 영향을 받은 x-선 데이터를 나타내는 초기 복셀 표현을 수신하는 단계; 초기 복셀 표현의 x-선 데이터와 연관된 허상을 최소화하기 위해 훈련되는 생성기 3D 심층 신경망을 사용하여 초기 복셀 표현으로부터 수정된 복셀 표현을 생성하는 단계를 포함하며, 생성기 3D 심층 신경망은 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따르는 관계에 기반한 처리된 복셀 표현을 최적화하기 위해 선택된 제1 가중치 및 편향치에 의해 매개 변수화되며, 식별기 3D 심층 신경망으로부터 얻은 정보를 상기 생성기 3D 심층 신경망의 훈련 및 최적화 과정에서 사용한다.
일 실시예에 있어서, 생성기 3D 심층 신경망 및/또는 식별기 3D 심층 신경망은 3D 컨볼루셔널 신경망 및/또는 3D 심층 순환 신경망으로 구성될 수 있다.
또 다른 양태에서, 본 발명은 금속 영향을 받은 x-선 데이터, 바람직하게는 3D (CB)CT 데이터의 복셀 표현을 수정하도록 채택된 컴퓨터 시스템에 관한 것으로, 프로그램 코드는 전처리 알고리즘 및 적어도 훈련된 제1 3D 심층 신경망을 포함하며, 그 안에 내장되는 컴퓨터 판독 가능 프로그램 코드를 가지는 컴퓨터 판독 가능한 저장 매체, 컴퓨터 판독 가능한 프로그램 코드; 및 컴퓨터 판독 가능한 저장 매체에 연결된 프로세서, 바람직하게는 마이크로 프로세서;를 포함하여 구성되며, 제1 컴퓨터 판독 가능한 프로그램 코드의 실행에 응답하여, 프로세서는 다음을 포함하는 실행 가능한 동작을 수행하도록 구성되며: 금속 영향을 받은 x-선 데이터의 제1 복셀 표현을 제1 3D 심층 신경망의 입력단에 공급하고 제1 3D 심층 신경망의 출력단에서 복셀 식별 정보를 수신하고, 복셀 식별 정보는 금속에 의해 영향을 받은 복셀 영역에 속하는 적어도 제1 복셀 표현의 복셀을 식별하며; 제1 복셀 표현 및 제1 3D 심층 신경망에 의해 생성된 복셀 식별 정보를 그 입력단에서 수신하는 제2 3D 심층 신경망을 제공하고, 복셀 식별 정보에 의해서 식별된 제1 복셀 표현의 각 복셀에 대해 예측된(predicted) 복셀 값을 그 출력단에 생성하고, 제2 3D 심층 신경망은 환자의 미리 결정된 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는 참조 데이터 및 훈련 데이터에 기초하여 예측된 복셀 값을 예측하며; 및, 복셀 맵에 의해 식별된 복셀 위치에서의 예측된 복셀 값을 포함하는 수정된 제1 복셀 표현을 결정한다.
본 발명은 컴퓨터의 메모리에서 실행될 때, 상술한 단계들 중 어느 하나에 따른 방법 단계를 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품에 또한 관련된 것이다.
본 발명은 본 발명에 따른 실시예를 개략적으로 보여주는 첨부된 도면을 참조하여 더 설명된다. 본 발명은 어떤 식으로든 이런 특정 실시예로 제한되지 않는다는 점이 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동으로 수정하기 위한 시스템 개요를 높은 수준으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동으로 수정하도록 구성된 시스템을 도시한다.
도 3은 본 발명의 일 실시예에 따른 복셀 표현에 있는 금속 영향을 받은 영역을 결정하기 위한 시스템을 도시한다.
도 4는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 분류하기 위해 3D 심층 신경망을 훈련하는 방법을 도시한다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 분류하기 위한 3D 심층 신경망 구조의 예를 도시한다.
도 6은 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 시스템을 도시한다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위해 3D 심층 신경망을 훈련하는 방법을 도시한다.
도 8a 및 8b는 본 출원의 실시예에서 사용될 수 있는 복셀 표현의 예를 도시한다.
도 9a-9c는 본 발명의 실시예들에 의해 이용되거나 생성될 수 있는 복셀 표현들을 도시한다.
도 10은 본 발명의 실시예에 따른 생성적 대립 신경망(generative adversarial network)에 기초하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 시스템의 개략도를 도시한다.
도 11은 본 발명의 일 실시예에 따른 생성적 대립 신경망의 식별기 부분의 개략도를 도시한다.
도 12는 본 발명의 일 실시예에 따른 순환 신경망의 개략도를 도시한다.
도 13은 본 발명 개시에서 설명된 실시예들과 함께 사용될 수 있는 예시적인 데이터 처리 시스템을 예시하는 블록도를 도시한다.
도 1은 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동으로 수정하도록 구성된 높은 수준의 시스템 개요를 도시한다. 도 1에 도시된 바와 같이, 시스템은 하나 이상의 허상을 포함하는 x-선 데이터의 복셀 표현(104)을 수신하기 위한 입력단을 갖는 3D 심층 신경망 시스템(102)을 포함한다. x-선 데이터의 복셀 표현은 CT 영상기(imager) 또는 CBCT 영상기와 같은 여러 x-선 영상기에 의해 생성될 수 있다. 허상은 예를 들어 치의학, 임플란트 또는 치과 충전재 분야에서. x-선 영상기에 의해 영상화되는 조직의 볼륨에 존재하는 금속 또는 금속 물체로 인해 발생한다. x-선 데이터의 복셀 표현이 역투영(backprojection) 프로세스를 기반으로 생성되면, 특정 복셀의 복셀 값은 금속 또는 금속 물체에 의한 영향을 받는다. 금속 영향을 받은 복셀 값은 x-선 데이터의 복셀 표현에서 허상을 나타낼 수 있으며, 이는 영상의 품질을 실질적으로 저하시킬 수 있다. 3D 심층 신경망 시스템(102)은 허상을 자동으로 검출하고 허상이 제거되거나 또는 적어도 실질적으로 감소된 x-선 데이터의 수정된 복셀 표현(106)을 생성하도록 구성된다. 특히, 3D 심층 신경망 시스템(102)은 티타늄 임플란트 또는 복합 충전재와 같은 금속 물체에 대한 중요한 정보는 그대로 유지하면서, 다른 조직 및 해당 형상을 명확하게 인식하는 사용자의 능력을 허상이 방해하지 않는 정도로 금속 허상의 영향이 감소되도록 구성된다.
도 2는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동으로 수정하도록 구성된 시스템을 도시한다. 도면에 도시된 바와 같이, 시스템(202)은 x-선 데이터의 복셀 표현(204)에서 금속 영향을 받은 복셀을 식별하기 위한 제1 3D 심층 신경망(212)이 구비된 제1 시스템 구성요소(208)를 포함할 수 있다. 금속 영향을 받은 복셀은 복셀 표현에 있는 금속 영향을 받은 지역-허상-을 형성할 수 있다. 제1 시스템 구성요소(208)는 제2 3D 심층 신경망을 포함하는 제2 시스템 구성요소(210)에 대한 전처리기로서 기능을 할 수 있다. 제1 3D 심층 신경망은 입력 데이터, 즉 금속 영향을 받은 x-선 데이터의 복셀 표현을 처리하고, 금속 영향을 받은 영역의 일부 복셀 값을 수정하도록 구성된 제2 3D 심층 신경망을 포함하는 제2 시스템 구성요소로 입력되는 출력 데이터를 생성할 수 있다. 제1 3D 심층 신경망은 제1 복셀 표현에 있는 복셀의 복셀 값 중 적어도 일부가 금속 영향을 받은 영역(허상) 및/또는 금속 또는 금속 영역(예: 임플란트 또는 치아 충전재)의 일부인지 식별하기 위한 식별 정보를 생성하도록 훈련된다.
일 실시예에서, 식별 정보는 3D 복셀 맵(voxel map)을 포함할 수 있으며, 이는 제1 3D 심층 신경망의 입력단에 제시된 금속 영향을 받은 x-선 데이터의 복셀 표현과 일치하는 크기를 갖는 복셀 표현 형태를 가질 수 있다. 이러한 방식으로, 복셀 맵의 각 복셀은 x-선 데이터의 복셀 표현에 있는 대응하는 복셀을 가질 수 있다. 복셀 맵의 각 복셀은 하나 이상의 확률 척도(measures)와 연관될 수 있으며, 이는 제1 복셀 표현에서의 대응하는 복셀의 복셀 값이 금속 영향을 받은 영역 또는 금속 영역의 일부인지 여부를 결정하는 데 사용될 수 있다. 하나 이상의 확률 척도 값이 특정 임계값 이상이거나 특정 범위 내에 있는 경우에, 시스템은 복셀이 금속 영향을 받은 영역 또는 금속 영역에 속한다고 결정할 수 있다. 복셀이 금속 영향을 받은 영역에 속하는 경우, 시스템은 복셀 값을 수정해야 한다고 결정할 수 있다.
따라서, 제1 3D 심층 신경망은 식별 정보를 생성하도록 구성되는데, 금속 영향을 받은 영역 또는 금속 영역에 속하는 x-선 데이터의 복셀 표현에 관심 볼륨을 지역화하는 3D 맵 객체의 형태로 식별 정보를 생성한다. 또한, 제1 3D 심층 신경망은 금속 또는 금속 물질을 포함하는 복셀 표현의 볼륨을 인식하고 여기에 티타늄, 금, 아말감, 복합체 등과 같은 '재료 클래스'를 할당하도록 훈련될 수 있다. 도 2에 도시된 바와 같이, 제2 3D 심층 신경망은 금속 영향을 받은 x-선 데이터의 식별 정보와 복셀 표현을 입력단에서 수신하여 허상이 제거되거나 적어도 실질적으로 감소된 x-선 데이터의 수정된 복셀 표현을 생성한다.
도 3은 본 발명의 실시예에 따른 복셀 표현에 있는 금속 영향을 받은 영역을 결정하기 위한 시스템을 도시한다. 시스템은 컴퓨터 시스템(302)으로 구현될 수 있는데, 이는 복셀 표현에 있는 금속 영향을 받은 x-선 데이터의 복셀 표현(304)을 수신하고 그리고 복셀 표현에 있는 금속 및/또는 금속 영향을 받은 영역을 결정하도록 구성되는 훈련된 3D 심층 신경망을 사용하여 복셀 표현에 있는 금속 영향을 받은 영역을 결정하도록 구성된다. 금속 영향을 받은 x-선 데이터의 복셀 표현(304)은 구강-악안면(dento-maxillofacial) 구조의 3D 영상 데이터 스택을 포함할 수 있으며, 이는 구강-악안면 구조에서의 턱, 치아 및 신경 구조와 같은 신체 부위의 조직 구조를 포함하고 그리고 치아 충전물 및/또는 치과 임플란트(의 일부)와 같은 신체 부위의 구조에 존재하는 금속 또는 금속 구조를 포함한다. x-선 데이터의 복셀 표현은 복셀, 즉 방사선 강도 또는 방사선 밀도 값을 표현하는 그레이스케일 값 또는 색상 값과 같은 복셀 값에 적어도 연관되는 3D 공간 요소를 포함한다. 이러한 방사선 밀도 값은 하운스필드 단위(HU)로 측정될 수 있다. 복셀 표현은 복셀 공간, 즉 특정 크기를 갖는 복셀의 볼륨을 정의할 수 있다. 복셀 표현은 예를 들어 DICOM 포맷 또는 그 파생물과 같은 미리 결정된 포맷의 (CB)CT x-선 데이터를 나타내는 3D 영상 데이터 스택을 포함할 수 있다. 스캔하는 동안 생물학적 조직에 금속이 있으면 x-선 데이터 및 x-선 영상기의 센서에 의한 x-선 데이터의 감지에 영향을 미친다. 그래서 x-선 데이터에서 파생된 복셀 값은 금속 구조에 의해 영향을 받을 수 있다. 따라서, 금속 영향을 받은 x-선 데이터의 복셀 표현(304)은 하나 이상의 허상을 형성하는 금속 영향을 받은 복셀을 포함하고, 이는 영상 데이터의 품질을 실질적으로 저하시킬 수 있다. 이것은 x-선 영상에서, 특히 CBCT x-선 스캐닝과 같은 저선량 x-선 영상에서 상당한 문제이다.
도 3의 시스템은 도 2를 참조하여 설명된 시스템의 시스템 구성요소로서 구현될 수 있다(그리고 전처리기로 간주가 될 수 있다). 시스템은 훈련 모드와 추론 모드를 갖는다. 훈련 모드에서, 3D 심층 신경망(316)은 미리 결정된 훈련 방식에 따라 훈련될 수 있어서, 훈련된 신경망은 금속 영향을 받은 x-선 데이터 복셀 표현의 복셀을 여러 클래스(예: 다른 금속과 관련된 복셀, 금속 영향을 받은 영역 등)로 정확하게 분류할 수 있다. 심층 신경망은 출력으로 복셀 맵(318)을 생성하도록 훈련되며, 복셀 맵은 금속 및/또는 금속 영향을 받은 영역의 분류된 복셀을 포함한다. 금속 영향을 받은 x-선 데이터의 복셀 표현은 훈련 세트를 결정하는 데 사용될 수 있다. 추론 모드에서, 금속 영향을 받은 x-선 데이터의 새로운 복셀 표현이 훈련된 3D 심층 신경망의 입력단에 제공될 수 있으며, 이에 응답하여 신경망은 입력 데이터에 금속 영역 및 금속 영향을 받은 영역의 복셀을 식별하는 복셀 맵을 생성한다.
3D 훈련 데이터에는 금속 영향을 받은 x-선 데이터의 라벨링된 복셀 표현이 포함될 수 있다. 추가적으로, 금속 영향을 받은 x-선 데이터의 복셀 표현은 금속 영역의 복셀 표현 및 금속 영향을 받은 영역의 복셀 표현(314)으로 분할(segment) 될 수 있다(312). 이러한 데이터는 수동 분할 프로세스를 기반으로 또는 훈련된 신경망을 사용하는 자동화된 분할 프로세스를 기반으로 생성될 수 있다. x-선 데이터의 복셀 표현을 분할하기 위한 자동화된 분할 시스템은 "딥 러닝 네트워크를 사용한 3D 구강-악안면 구조의 분류 및 3D 모델링"이라는 제목을 가진 동일 출원인의 관련 유럽 특허 출원 제17179185.8호에 설명되어 있으며, 이는 본 출원서에 참조로서 통합된다.
CBCT 스캔에서 하운스필드 단위(HU)에서 측정된 방사선 밀도는 스캔의 여러 영역이 스캔되는 생체의 상대적 위치에 따라 다른 그레이스케일 값으로 나타나기 때문에 부정확하다. CBCT 및 의료용 CT 스캐너를 사용하여 동일한 해부학적 영역에서 측정된 HU가 동일하지 않아서, 부위에 특정된, 방사선으로 식별된 골밀도 측정을 신뢰할 수 없다. 또한, CBCT 시스템은 재구성된 밀도 값을 나타내는 그레이 레벨을 수치화하는 표준화된 시스템을 사용하지 않는다. 이러한 값은 임의적이며 뼈의 품질을 평가할 수 없다. 이러한 표준화가 없으면, 그레이 레벨을 해석하기 어렵거나 다른 기계에서 얻은 값을 비교하는 것도 불가능하다. 예를 들어, 구강-악안면 구조의 CBCT 복셀 표현에서, 치아와 턱뼈 구조는 비슷한 밀도를 가지므로 컴퓨터가 치아에 속하는 복셀과 턱에 속하는 복셀을 구별하기가 어렵다. 더욱이, CBCT 시스템은 빔 강화(beam hardening)라는 허상에 매우 민감하고, 빔 강화는 (금속이나 뼈 등과 같은) 2개의 높은 감쇠 물체 사이에, 둘러싸는 밝은 줄무늬를 갖는, 어두운 줄무늬를 생성한다.
오늘날의 CBCT형 복셀 표현에 존재하는 가변성(variability)에 대해 3D 심층 신경망을 강인하게 하기 위해, 본 실시예에서, 3D 훈련 데이터는 금속 영향을 받은 x-선 데이터의 복셀 표현(304)에 나타날 수 있는 금속 물체 또는 비금속 물체에 대한 (고해상도) 3D 모델도 포함을 시킬 수 있다. 3D 모델은 금속 물체의 3D 표면 메쉬 및/또는 x-선 데이터에서의 신체 부위(골 조직 또는 치아)와 같은 비금속 물체의 3D 표면 메쉬를 포함할 수 있다. 이러한 3D 표면 메쉬는 잘 알려진 광학(레이저) 스캐너 또는 3D 치아 메쉬 생성을 위한 구강 내 광학 스캐너와 같은 수단으로 생성될 수 있다. 어떤 경우에는, 관련된 구조를 분리하기 위해 3D 표면 메쉬를 분할하는 것이 필요하다. 분할 모듈(324)은 3D 표면 메쉬(예: 치아의 구강 내 스캔)를 개별적으로 분할된 물체, 예를 들어, 각 표면 메쉬가 치아를 표현하는 다수의 3D 표면 메쉬로 분할할 수 있다. 3D 표면 매쉬를 개별 3D 표면 매쉬로 분할하는 것은 본 기술 분야에서 잘 알려진 기술이다. 추가 단계에서(미도시) 분할된 표면 메쉬는 분할된 복셀 표현과 정렬할 수 있다. 분할된(정렬된) 표면 메쉬는, 이진 복셀 표현과 같은, 복셀 표현으로 변환할 수 있는데(326), 예를 들어, 치아와 같은 물체의 표면을 나타내는 복셀 및 물체 내에 위치한 복셀의 복셀 값은 제1 값(예: 1)으로 설정되고, 물체 외부의 복셀은 제2 값(예: 0)으로 설정된다. 따라서 얻어진 3D 모델의 복셀 표현(328)은 금속 영향을 받은 x-선 데이터의 복셀 표현에 있는 정확하게 결정된 금속 및 금속 영향을 받은 영역으로 심층 신경망을 훈련시키기 위해서 추가 훈련 데이터로 사용될 수 있다.
도 4는 본 발명의 일 실시예에 따라 금속 영향을 받은 x-선 데이터의 복셀 표현을 분류하기 위해 3D 심층 신경망을 훈련하는 방법을 도시한다. 특히, 도 4는 구강-악안면 복합체(complex)에서의 금속 영향을 받은 (CB)CT 데이터의 복셀 표현(402)을 분류하기 위한 3D 심층 신경망의 훈련을 도시한다. 이 도면에 보인 바와 같이, 제1 3D 심층 신경망은 라벨링된 금속 영향을 받은 복셀 표현, 즉 금속 영향을 받은 (CB)CT 데이터의 복셀 표현(402)을 기반으로 훈련될 수 있을 뿐만 아니라, 금속 물체(예, 임플란트 및 충전물)를 나타내는 금속 영향을 받은 복셀 표현(404)에서 파생된(분할된) 라벨링된 복셀 표현, 및 금속 영향을 받은 영역(허상)에서 파생된(분할된) 라벨링된 복셀 표현(406)을 기반으로 훈련될 수 있다. 추가적으로, 일부 실시예에서, 3D 심층 신경망은 또한 비금속 물체로 라벨링된 비금속 물체(408)(치아 및 뼈 구조)에 기반하여 훈련될 수 있다.
이러한 복셀 표현의 복셀은 복셀이 속한 재료의 클래스와 관련하여 라벨링이 된다. 일 실시예에서, 재료의 클래스는 금속, 비금속, 금속 영향을 받은(허상) 및 비금속(비 허상)을 포함할 수 있다. 또한, 이러한 모든 복셀 표현의 복셀 공간은 제1 3D 심층 신경망 입력의 복셀 공간과 동일하다. 목표 훈련 데이터는 3D 복셀 맵 세트를 나타내며, 금속 영향을 받은 (CB)CT 데이터의 복셀 표현 당 하나의 복셀 맵을 표시한다. 3D 복셀 맵은 신경망의 입력단에 제공되는 복셀 표현과 동일한 크기의 복셀 공간을 가지므로, 3D 복셀 맵의 각 복셀은 3D 심층 신경망의 입력에 제공되는 복셀 표현의 복셀에 대응한다. 3D 복셀 맵의 각 복셀은 제1 3D 심층 신경망의 입력단에서 해당하는 복셀 표현의 복셀이 금속 물체 및/또는 금속 영향을 받은 물체의 일부인지 여부를 가리키는 복셀 정보와 연관된다.
일 실시예에서, 제1 3D 심층 신경망을 훈련시키기 위해 추가적인 3D 데이터가 사용될 수 있다. 도 3을 참조하여 이미 설명된 바와 같이, 3D 심층 신경망은 예를 들어 현재의 CBCT 유형의 복셀 표현에 존재하는 가변성에 대해 강인하게 될 수 있다. 이것은 금속 물체 또는 비금속 물체의 (고해상도) 3D 모델에서 파생된 3D 훈련 데이터에 의해 실현될 수 있다. 일 실시예에서, 구강-악안면 복합체의 (CB)CT 데이터에서 크라운 및/또는 임플란트와 같은 금속 물체의 고해상도 3D 표면 메쉬(412)는 3D 광학 스캐너 등을 사용하여 생성될 수 있으며, 이어서 금속 물체(들)의 복셀 표현(418)으로 변환될 수 있다. 복셀 표현의 복셀은 라벨링이 될 수 있는데, 이는 특정 클래스의 금속을 나타내는 복셀을 식별하기 위한 것이다. 유사하게, 구강-악안면 복합체의 (CB)CT 데이터에서 치아 및/또는 턱 뼈와 같은 비금속 물체의 라벨링된 복셀 표현(420)은 3D 표면 메쉬(414)에 기반하여 생성될 수 있다.
일부 실시예에서, 금속 또는 비금속 물체의 3D 표면 메쉬 중 일부는 구강-악안면 복합체의 금속 영향을 받은 (CB)CT 데이터의 복셀 표현(402)에 도시된 물체와 동일한 물체일 수 있다. 이 경우, 미리 결정된 치아와 같은 분할된 3D 표면 메쉬는 구강-악안면 복합체의 금속 영향을 받은 (CB)CT 데이터의 복셀 표현에서 동일 치아의 분할된 복셀 표현(408)에 정렬(중첩)될 수 있다(416). 3D 표면 메쉬에서 파생된 금속 및 비금속 물체의 라벨링된 복셀 표현은 금속 영향을 받은 영역 및/또는 금속 영역을 분류하기 위해 제1 3D 심층 신경망을 훈련하기 위한 훈련 데이터로 사용될 수 있다. 이러한 정렬은 별도의 3D 심층 신경망에 의해 수행될 수 있다.
이러한 방식으로 3D 심층 신경망은 금속 영역 및 금속 영향을 받은 영역에서의 복셀 표현의 복셀을 분류하고 복셀 표현의 각 복셀의 분류를 나타내는 3D 복셀 맵을 생성하도록 훈련된다. 각 복셀에 대해, 3D 심층 신경망은 복셀 정보를 생성할 수 있다. 일 실시예에서, 복셀 정보는 하나 이상의 확률 척도를 포함하는 벡터를 포함할 수 있다. 확률 척도는 복셀이 특정 클래스, 예를 들면 금속 클래스에 속할 가능성에 대한 정보를 제공한다. 금속 물질 클래스는 예를 들어 티타늄, 금, 아말감 등의 다양한 금속을 정의할 수 있다. 훈련 중에 심층 신경망은 턱/뼈/치아에서 발견될 수 있는 금속 물체를 나타내는 복셀이 금속으로 분류되어야 하는 점을 학습할 수 있다. 이러한 금속 물체는 원본 영상(스택)의 일부이므로 그대로 유지해야 한다. 또한, 신경망은 금속으로 분류되고 금속 또는 금속 물체(즉, 금속 물체의 경계 외부)를 나타내는 복셀의 '외부'에 위치하는 복셀이 금속 영향을 받은 복셀(예: 허상 일부의 복셀)로 분류되어야 하는 점을 학습한다.
예를 들어, 영상기에 의해 결정된 복셀 값이 금속과 관련된 값인 경우일 수 있다. 그러나, 복셀은 금속으로 정확하게 분류될 수 있는 가용 정보로부터 알려진 복셀 볼륨 외부에 위치할 수 있다. 이 경우에, 훈련된 3D 심층 신경망은 복셀 값, 즉 하운스필드 단위(HU)로 측정된 방사선 밀도는 복셀 근처에 위치하는 금속 또는 금속 물체의 영향을 받은 값이다. 이 경우에 제1 3D 심층 신경망은 복셀을 (도 2에 설명된 바와 같은) 제2 3D 심층 신경망에 의해 수정해야 하는 금속 영향을 받은 복셀로 분류해야 한다고 결정할 수 있다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 분류하기 위한 3D 심층 신경망 구조의 예를 도시한다. 도 5a에 도시된 바와 같이, 네트워크는 3D 컨볼루셔널 신경망(3D CNN)을 사용하여 구현될 수 있다. 컨볼루셔널 층은 활성화 함수를 사용할 수 있다. 복수의 3D 컨볼루셔널 층이 사용될 수 있으며, 층의 수 및 그 정의 매개 변수, 예를 들어. 다른 활성화 함수, 커널 양 및 크기, 그리고 드롭아웃(dropout) 층과 같은 추가 기능 층은 3D 심층 신경망 설계의 본질을 잃지 않는 범위에서 구현에 사용될 수 있다
도 5a에 도시된 바와 같이, 네트워크는 복수의 컨볼루셔널 경로를 포함할 수 있다. 예를 들어, 일 실시예에서, 네트워크는 적어도 제1 3D 컨볼루셔널 층 세트(504)와 관련된 제1 컨볼루셔널 경로, 제2 3D 컨볼루셔널 층 세트(506)와 관련된 제2 컨볼루셔널 경로 및 제3 3D 컨볼루셔널 층 세트(508)와 관련된 제3 컨볼루셔널 경로를 포함할 수 있다. 컨볼루셔널 경로의 출력은 병합될 수 있고 결과는 복셀 당 클래스 당 확률을 출력하도록 구성된 완전히 연결된(fully connected) 층(510)에 의해 처리될 수 있다. 금속 영향을 받은 x-선 데이터의 복셀 표현(502), 3D CT 영상 데이터의 복셀 표현은 제1, 제2 및 제 3 컨볼루셔널 경로 모두의 입력에 공급될 수 있다.
서로 다른 컨볼루셔널 경로 각각의 기능은 도 5b에 더욱 상세히 표시되어 있다. 이 도면과 같이, 3D 영상 데이터를 나타내는 복셀이 신경망의 입력에 공급된다. 이러한 복셀은 미리 결정된 볼륨을 정의할 수 있으며, 이는 영상 볼륨(521)으로 간주될 수 있다. 영상 볼륨은 제1 블록 세트(5201)로 분할될 수 있고, 제1 경로 (5221)의 3D 컨볼루셔널 층 각각은 3D 영상 데이터의 제1 복셀 블록에 대해 3D 컨볼루셔널 연산을 수행할 수 있다. 처리되는 과정에서, 층 세트(524)에 하나의 3D 컨볼루셔널 층의 출력은 후속하는 3D 컨볼루셔널 층의 입력이다. 이러한 방식으로 각 3D 컨볼루셔널 층은 입력에 공급되는 3D 영상 데이터의 일부를 나타내는 3D 특징 맵을 생성할 수 있다. 따라서 이러한 특징 맵을 생성하도록 구성된 3D 컨볼루셔널 층을 3D CNN 특징(feature) 층이라고 할 수 있다.
도 5b에 도시된 바와 같이, 제2 경로(5222)의 컨볼루셔널 층은 3D 영상 데이터 복셀의 제2 블록 세트(5202)를 처리하도록 구성될 수 있으며, 복셀의 제2 블록은 연관된 복셀의 제1 블록의 다운 샘플링된 버전을 나타내며, 복셀의 제1 및 제2 블록은 동일한 중심 원점을 갖는다. 다운 샘플링 인자는 임의의 적절한 값일 수 있으며, 바람직하게는 2 내지 4에서 선택되는, 바람직하게는 3 이다.
제1 경로(5221)는 제1 3D CNN 특징 층 세트(예: 5-20개 층)(524)를 정의할 수 있으며, 입력 데이터(예를 들어, 영상 볼륨의 미리 결정된 위치에 있는 복셀의 제1 블록)를 목표의 복셀 해상도(즉, 분류된 영상 볼륨의 복셀)로 처리하도록 구성된다. 제2 경로는 제2 3D CNN 특징 층 세트(예: 5-20개 층)(526)를 정의할 수 있으며, 복셀의 제2 블록을 처리하도록 구성되며 복셀의 제2 블록(5202)의 각 블록은 복셀의 제1 블록(5201)과 연관된 블록과 동일한 중심점을 갖는다. 하지만, 이러한 복셀은 5201의 해상도보다 낮은 해상도로 처리된다. 따라서 복셀의 제2 블록은 제1 블록보다 실제 크기에서 더 큰 볼륨을 나타낸다. 제2 3D CNN 특징 층은 제1 3D CNN 특징 층에 의해 처리되는 관련 복셀의 바로 이웃에 대한 정보를 포함하는 3D 특징 맵을 생성하기 위해 복셀을 처리한다. 이러한 방식으로, 제2 경로는 신경망이 맥락 정보(contextual information), 즉 신경망의 입력에 제공되는 3D 영상 데이터 복셀의 맥락(즉,그 주변)에 대한 정보를 결정할 수 있도록 한다. 제3 경로(5223)가 활용될 수 있으며, 훨씬 더 큰 맥락과 더 높게 다운 샘플링된 입력 데이터(5203) 부분을 나타내며, 3D 컨볼루셔널 층 세트(528)를 갖는다. 다운 샘플링 인자는 5 내지 15 사이에서 선택된 적절한 값, 바람직하게는 원래 입력 해상도 9로 다시 설정될 수 있다.
도 5b는 3개의 컨볼루셔널 경로(5221-3)를 포함하는 네트워크를 도시하지만, 훨씬 더 많은 컨볼루셔널 경로를 포함하는 다른 실시예도 또한 고려된다. 3개의 경로 또는 그 이상의 컨볼루셔널 경로를 사용함으로써, 3D 영상 데이터(입력 데이터)와 3D 영상 데이터의 복셀에 대한 맥락 정보 모두를 병렬로 처리할 수 있다. 맥락 정보는 일반적으로 밀접하게 모여있고 및/또는 비슷한 치아 구조를 포함해서 더 큰 맥락 영역 없이는 구별하기 어려운 구강-악안면 구조와 같은 복잡한 복셀 표현을 분류하는 데 중요하다.
복수의 3D CNN 특징 층은 특정 입력으로부터 결정될 수 있는 최적으로 유용한 정보를 도출하고 전달하기 위해 (학습 가능한 매개 변수를 통해) 훈련될 수 있으며, 완전히 연결된 층(532)은 3개의 이전 경로에서 얻은 정보가 결합되어 분류된 복셀(534)의 최적 확률을 제공하는 방법을 결정하는 매개 변수를 인코딩할 수 있다. 그에 따라, 확률(536)이 입력의 영상 공간의 크기를 가질 수 있는 출력의 영상 공간(538)에 제시될 수 있다. 따라서, 입력에서 복셀의 영상 공간에 해당하는 영상 공간의 복셀 당 분류 확률이 3D 심층 신경망의 출력이다.
최적화 방법이, 미리 결정된 입력에 대해 소망하는 출력을 표현하는, 3D 심층 신경망의 출력과 목표 데이터(즉, 분류된 복셀 데이터) 간의 편차를 표현하는 손실 함수를 최소화하여 3D 심층 신경망의 네트워크 매개 변수의 최적 값을 학습하는 데 사용될 수 있다. 손실 함수의 최소화가 일정한 값으로 수렴될 때, 훈련 과정은 적용에 적합한 것으로 간주 될 수 있다. 개별 층을 위한 활성화 함수는 다를 수 있으며 예를 들어 선형, 시그모이드, tanh 및/또는 ReLu로 설정될 수 있다.
도 6은 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 시스템을 도시한다. 특히, 상기 도면은 컴퓨터 시스템(602)을 도시하며, 복셀 표현에 있는 금속 영향을 받은 영역을 수정하도록 훈련된 3D 심층 신경망(612)을 사용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정한다. 시스템에는 훈련 모드와 추론 모드가 있다. 훈련 모드에서, 3D 심층 신경망(612)은 미리 정해진 훈련 방식에 따라 훈련되어서, 훈련된 신경망은 금속 영향을 받은 복셀 표현에서 복셀의 복셀 값을 정확하게 예측할 수 있다. 심층 신경망은 금속 영향을 받은 영역이 수정된 x-선 데이터(638)의 복셀 표현을 생성하도록 훈련된다. 추론 모드에서, 금속 영향을 받은 x-선 데이터의 새로운 복셀 표현이 훈련된 3D 심층 신경망의 입력단에 제공될 수 있으며, 이에 응답하여, 신경망은 금속 영향을 받은 복셀이 수정되는 점을 제외하고는 입력단에서의 복셀 표현과 유사한 복셀 표현을 생성한다. 따라서 3D 심층 신경망은 금속 영향을 받은 허상이 없이 출력이 원본 3D 영상의 정확한 근사치를 제공하도록 훈련된다.
3D 훈련 데이터는 특히, 예를 들어 치과 분야에서, 금속 기반 치료(예: 임플란트 식립, 치아 회복, 치열교정 기기, 브릿지 식립, 근관 충전, 치근 기둥, 골 합성 판 및 나사)를 하는 분야에서. 치료 전후의 환자의 라벨링된 복셀 표현을 포함할 수 있다. 즉, 치료 전(즉, 금속 물체가 환자의 신체 부위에 이식되기 전) 환자 부분의 제1 라벨링된 복셀 표현(603) 및 치료 후(즉, 금속 물체가 환자의 신체 부위에 이식된 후) 동일한 환자의 동일한 부분에 대한 라벨링된 제2 복셀 표현(604)을 포함한다. 또한, 일 실시예에서, 훈련 데이터는 또한 제1 심층 신경망에 의해 생성된 금속 영역 및 금속 영향을 받은 영역을 포함하는 x-선 데이터의 복셀 표현(604)의 복셀 맵(614)을 포함할 수 있다. 복셀 맵은 수정될 필요가 있는 금속 영향을 받은 영역(허상)과 관련된 복셀을 인식하기 위해 제2 3D 심층 신경망(612)을 훈련시키기 위해 사용된다.
일 실시예에서, 3D 심층 신경망의 입력단에 공급되기 전에, 훈련 데이터, 즉 라벨링된 복셀 표현(603, 604) 및 복셀 맵(614)(적용 가능한 경우)에 정렬(alignment) 프로세스(611)가 적용될 수 있다. 이 정렬 프로세스에서, 복셀 표현에서의 구조가 서로에 대해 정렬될 수 있다. 이것은 수동 또는 자동으로 수행될 수 있다. 영상 정합(registration) 분야에서는 다양한 방법이 공지되어 있으며, 특징점 검출 기반 방법, 강도 기반 방법 등의 자동 정렬이 고려되고 있다.
훈련 데이터는 환자 부분의 x-선 데이터의 목표 복셀 표현을 포함하는 목표 데이터를 더 포함할 수 있으며, 복셀 표현은 (금속 기반 치료로 인해) 금속 물체를 포함하지만 금속 영향을 받은 영역은 부재한다. 이러한 목표 복셀 표현은 치료 전후의 x-선 데이터의 복셀 표현과 금속 영역 및 금속 영향을 받은 영역을 식별하는 복셀 맵에 기반하여 구성될 수 있다. 특히, 복셀 맵은 치료 후 복셀 표현에 있는 금속 영역의 복셀을 식별하는 데 사용될 수 있다. 이러한 복셀은 치료 전에 복셀 표현에 적절하게 표현(삽입)될 수 있어서, 결국 임상 데이터를 기반으로 현실적인 근거를 생성할 수 있다. 이러한 목표 데이터를 생성하는 예가 도 7a를 참조하여 더 상세히 설명된다.
환자별로, 상술한 입력 및 목표 데이터를 포함하는 훈련 데이터 세트가 생성된다. 그런 다음, 훈련 데이터를 사용하여 복셀 맵에 의해 식별되는 금속 영향을 받은 영역을 수정하기 위해 3D 심층 신경망을 훈련한다. 3D 심층 신경망 훈련의 예는 도 7-10을 참조하여 아래에 더 상세히 설명된다.
훈련 중에 3D 심층 신경망은 임상 훈련 데이터를 기반으로 학습하여 금속 영향을 받은 복셀 표현의 복셀에 대한 실질적인 복셀 예측(voxel predictions)을 생성한다. 3D 심층 신경망은 금속 영향을 받은 복셀이 복셀 예측으로 대체되는 금속 영향을 받은 x-선 데이터의 복셀 표현을 생성하는 방법을 추가로 학습한다. 이러한 방식으로 금속 영향을 받은 x-선 데이터의 복셀 표현이 생성되며, 금속 영향을 받은 영역과 관련된 복셀은 3D 심층 신경망에 의해 생성된 복셀 예측을 기반으로 수정된다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위해 3D 심층 신경망을 훈련하는 방법을 도시한다. 특히, 도 7a는 구강-악안면 복합체의 금속 영향을 받은 (CB)CT 데이터의 복셀 표현을 분류하기 위한 3D 심층 신경망의 훈련 개략도를 도시한다. 이 도면에 도시된 바와 같이, 제1 3D 심층 신경망은 환자의 구강-악안면 복합체 데이터(702), 즉 환자의 치료 전 및 치료 후의 x-선 영상으로부터 유도된 훈련 데이터에 기초하여 훈련될 수 있으며, 상기 영상은 금속 영역 및 금속 영향을 받은 영역을 포함하는 구강-악안면 구조를 나타내는 x-선 데이터의 라벨링된 복셀 표현(712), 금속 영역 및 금속 영향을 받은 영역이 없는 구강-악안면 구조를 나타내는 x-선 데이터의 복셀 표현(714) 및 복셀 표현에 있는 금속 영역 및/또는 금속 영향을 받은 영역의 복셀을 식별하는 복셀 맵(715)을 포함한다. 일부 실시예에서, 3D 심층 신경망은 또한 환자 치료 동안 사용된 금속 물체의 복셀 표현(710)에 기초하여 훈련될 수 있다. 이러한 금속 물체의 3D 표면 메쉬(708)는 3D 광학 스캐너를 사용하여 생성될 수 있고 그리고 훈련 데이터로 사용되는 다른 복셀 표현과 동일한 크기를 갖는 복셀 표현을 각각의 3D 메쉬로부터 유도할 수 있다.
적용 가능한 경우에, 복셀 표현 및/또는 표면 메쉬와 같은 3D 데이터의 다양한 표현은 동일한 복셀 공간에서 적절하게 일치하도록 다시 정렬될 수 있다. 이 정렬 작업은 수동 또는 자동으로 수행될 수 있다(7111,2,3).
또한, 치료 전후의 x-선 데이터의 영상(스택) 및 복셀 맵을 기반으로 정확하고 사실적인 목표 데이터가 생성될 수 있다. 이 프로세스가 도 7b에 더욱 상세히 설명되어 있다. 이 도면에 보인 바와 같이, 목표 복셀 표현은 환자의 치료 전후의 정렬된(7211,2) 복셀 표현 및 복셀 맵으로부터 유도될 수 있다. 복셀 맵(720)은 금속 영역에 속하는 금속 영향을 받은 x-선 데이터의 복셀 표현(722)에 있는 복셀을 식별하는 데 사용될 수 있다. 금속 추출기 모듈(726)은 금속 영향을 받은 x-선 데이터의 복셀 표현과 동일한 크기를 가질 수 있는 금속 영역의 복셀 표현(728)을 생성하기 위해 사용될 수 있다. 이 복셀 표현은 치료 전 환자의 x-선 데이터의 복셀 표현과 병합되어(730), 금속 영향을 받은 복셀 영역(허상)을 제외하는, 금속 영역을 포함하는 구상-악안면 구조를 나타내는 x-선 데이터의 목표 복셀 표현으로 될 수 있다(732).
임상 훈련 데이터를 기반으로 3D 심층 신경망을 훈련하여 훈련된 3D 심층 신경망을 얻을 수 있으며, 훈련된 신경망은 금속에 의해 영향을 받은 복셀 표현의 복셀에 대한 사실적인 복셀 예측을 생성할 수 있다.
도 8a 및 8b는 본 출원의 실시예에서 이용될 수 있는 복셀 표현의 예를 도시한다. 특히, 도 8a는 구강-악안면 구조(이 경우에는 치아 세트)의 3D 메쉬(802) 및 금속 처리된 치아의 일부에 대한 복셀 표현(804) (DICOM 3D 데이터 세트)의 개요를 도시하며, 복셀의 일부는 금속 영향을 받은 x-선 데이터와 연관된다. 이 도면의 목적을 위해, 복셀 표현은 복셀이 속한 3D 메쉬의 부분과 일치하도록 3D 메쉬 내에 위치한다. 도 8b는 동일한 복셀 표현(808) 및 그것이 속한 치아(806)의 3D 메쉬를 확대하여 도시한다. 도면은 본 실시에서 설명된 신경망을 훈련하는 데 사용될 수 있는 샘플 크기(이 특정의 예에서 복셀 폭, 길이 및 높이가 64)를 나타내는 복셀 표현의 크기를 명확하게 보여준다.
도 9a-9c는 본 발명의 실시예에 의해 이용되거나 생성될 수 있는 복셀 표현을 도시한다. 복셀 표현은 도 8a 및 8b에 도시된 바와 같은 구강-악안면 구조의 동일한 부분과 연관될 수 있다. 특히, 도 9a는 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동으로 수정하기 위한 시스템으로의 입력 데이터로서 사용될 수 있는 금속 영역 및 금속 영향을 받은 영역을 포함하는 복셀 표현을 도시한다. 이 도면에서, 복셀 표현의 '내부'를 볼 수 있도록 복셀 블록이 제거된다. 도 9a에서 백색 영역(9061)은 금속 영역을 나타내고, (백색)금속 영역 주변의 다수의 흑색 영역(9062)은 금속 영향을 받은 영역을 나타낸다.
도 9b는 복셀 표현(808)을 다시 도시한 것으로 제외된 복셀 블록을 갖는다. 이 복셀 블록에 대해, 도 3을 참조하여 설명된 3D 심층 신경망에 의해 복셀 맵이 생성된다. 복셀 맵은 도 9b에 도시되어 있으며 금속 영역(들)(9101)으로 분류된 복셀 및 금속 영향을 받은 영역(9102)으로 분류된 복셀을 포함하며, 이들은 추가의 3D 심층 신경망에 의한 수정이 필요하다. 마지막으로, 도 9c는 금속 영역(9141)이 유지되면서, 금속 영향을 받은 x-선 데이터의 복셀 표현(9142)을 도시하는 것으로 금속 영향을 받은 영역이 수정된 것이다. 도 6을 참조하여 설명한 바와 같이 금속 영향을 받은 영역을 수정하도록 훈련된 3D 심층 신경망에 의해 이러한 수정이 실현된다.
본 발명의 실시예에서는 다양한 신경망 구조가 사용될 수 있다. 도 10은 본 발명의 일 실시예에 따른 생성적 대립(generative adversarial) 신경망에 기반하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 시스템의 개략도를 도시한다. 이 도면에 도시된 바와 같이, 금속 영향을 받은 영역의 복셀을 수정하기 위해 훈련되어야 하는 3D 심층 신경망(1006)은 생성기(generator) 네트워크라고 한다. 훈련 동안에, 생성기 네트워크는 금속 영향을 받은 x-선 데이터의 복셀 표현(1002) 및 (복셀 표현에 있는 금속 및/또는 금속 영향을 받은 영역을 결정하도록 구성된 3D 심층 신경망(1004)에 의해 생성될 수 있는) 관련 복셀 맵을 수신한다. 추가적으로, 생성기 네트워크는 식별기(discriminator) 네트워크(1012)로부터 피드백(1010)을 수신할 수 있으며, 식별기 네트워크는 금속 영역을 포함하는 구강-악안면 구조를 나타내는 x-선 데이터의 목표 훈련 복셀 표현, 즉 '실제' 상황을 따르는 영상(스택)을 수신할 수 있으며, 이후 이는 '목표 복셀 표현'(732, 1014)과 동일한 것으로 간주가 될 수 있다. 이것은 제2 3D 심층 신경망에 목표 트레이닝 데이터로서 공급되거나 또는 생성기 네트워크에 의해 생성된 복셀 표현(1008), 즉, 금속 영향을 받은 영역이 수정된 복셀 표현을 수신한다. 식별기 네트워크의 주 임무는 입력으로 수신하는 복셀 표현이 생성기 네트워크의 수정된 출력 복셀 표현인지 또는 목표 복셀 표현(732, 1014))인지를 구별(discriminate)하는 것이다. 식별기는 제공된 출력이 정확하다면, 즉, 복셀 표현이 식별기가 표시한 대로 실제로 '수정되거나' 또는 '실제'인 경우. 그 대가로 피드백을 수신한다. 생성기와 식별기는 주어진 피드백으로 학습을 하기 때문에 이 정보는 생성기 네트워크가 금속 영향을 받은 복셀을 해당 영역에 대한 실질적인 복셀 예측으로 대체하는 것을 효과적으로 학습하는 데 도움이 된다.
도 11은 식별기 네트워크를 더 상세히 도시한다. 여기서, 식별기 네트워크(1100)는 금속 영향을 받은 영역의 복셀이 수정된 복셀 표현과 목표 복셀 표현을 구별하도록 구성된다. 따라서, 훈련 동안에, 식별기 네트워크에는 (무작위로) 목표 복셀 표현 또는 생성기 네트워크의 출력 복셀 표현(1008) 중 하나가 제시될 수 있다. 이에 응답하여, 식별기 네트워크는 식별기 입력의 복셀 표현이 '실제' 목표 복셀 표현인지 또는 생성기 네트워크에 의해 생성된 수정된 복셀 표현인지 여부에 대한 표시를 생성한다. 그런 다음 식별기 네트워크는 제시된 복셀 표현이 실제인지 혹은 수정되었는지를 나타내는 '점수'를 생성한다. 예를 들어, 일 실시예에서, 식별기는 이진 출력(1106)을 가질 수 있으며, '1'은 복셀 표현이 목표 표현(1102)임을 나타낼 수 있고 '0'은 복셀 표현이 수정된 복셀 표현(1104)임을 나타낼 수 있다. 훈련 동안에 식별기가 목표 복셀 표현과 구별할 수 있는 수정된 복셀 표현을 생성기 네트워크가 생성하면, 이것은 시스템에 대해 수정된 복셀 표현이 충분히 '현실적'이지 않다는 신호가 된다. 따라서, 이러한 방식으로, 생성기 네트워크는 예를 들어, 도 7a 및 7b를 참조하여 설명된 임상 훈련 데이터와 같은 훈련 세트의 목표 복셀 표현과 관련하여 유사한 수정된 복셀 표현을 생성하도록 요구된다.
생성기 네트워크에 의해 생성된 복셀 예측이 더 실제적일수록, 식별기가 둘 사이를 구분하는 것이 더 어려워진다. 따라서, 둘 사이를 구별하는 식별기의 능력은 생성기에 의해 생성된 복셀 수정의 품질 척도(measure)이다. 이 정보는 역전파 (backpropagation)(1108)를 통해 생성기 네트워크(1110)뿐만 아니라 식별기 네트워크(1100)에 피드백될 수 있다. 이러한 방식으로, 생성기는 금속 영향을 받은 영역의 복셀에 대한 정확한 복셀 예측을 생성하도록 훈련된다. GAN의 생성기 네트워크를 나타내는 심층 신경망(1102)은 (심층) 컨볼루셔널 신경망 또는 순환(recurrent)신경망을 포함하는 임의 유형의 3D 심층 신경망일 수 있다.
도 12a 및 12b는 본 발명의 실시예에 따른 3D 심층 순환 신경망의 개략도를 도시한다. 순환 신경망은 영상에서의 픽셀 간 또는 (비디오 또는 3D 데이터 스택의) 영상 시퀀스 간의 장거리(long-range) 종속성을 기반으로 픽셀 값을 예측하는 데 특히 적합한 네트워크 클래스이다. 복셀 표현에 있는 복셀 간의 장거리 종속성을 사용하여 복셀을 예측할 수 있는 3D 경우에도 동일하게 적용된다.
도 12a는 복셀 입력(1202)을 포함하는 3D 심층 신경망을 도시하며, 예를 들어 3D 컨볼루셔널 신경망과 같은 3D 심층 신경망은 가중치(weights) 및 편향치(biases)에 의해 매개 변수화된 하나 이상의 내부 은닉 상태 및 출력(1206)을 포함하며, 가중치 및 편향치 및 하나 이상의 이전 상태의 출력(의 일부)을 고려하는 층이 추가된다. 후속 상태의 출력을 연산하기 위해 고려되는 이전 상태의 수와 이에 상응하는 가중치 및 편향치는 층 수와 관련하여 순환 신경망의 깊이를 표시할 수 있으며, 도 12b에 예시된 심층 순환 신경망은 3개의 층으로 구성된다. 심층 순환 신경망 체계가 도 12b에 더 상세히 설명되어 있다. 도 12b에 도시된 바와 같이, 입력 xi-1, 즉, 복셀 값 예측이 필요한 복셀을 둘러싼 제1 입력 복셀 블록은 순환 신경망의 입력이며, 현 상태의 가중치와 편향치 및 초기 상태(12101)의 가중치와 편향치를 기반으로 출력 xi-1 (제1 복셀 값 예측, 예를 들어 하운스필드 단위의 값)을 결정한다. 다음 입력 xi (예측해야 하는 다음 복셀을 둘러싼 제2 입력 복셀 블록)는 복셀 값 예측을 필요로 하는 제2 복셀을 포함하는 제2 출력 복셀 블록을 생성하기 위해서 이전 상태의 가중치와 편향치(12102) 및 제1 출력 복셀 블록(12121)에 기반하여 신경망에 의해 처리될 수 있다. 그 이후에, 다음 입력 xi+1 (제3 입력 복셀 블록)은 이전 상태의 가중치와 편향치(12103) 및 제2 출력 복셀 블록(12122)을 기반으로 신경망에 의해 처리되어 제3 출력 복셀 블록을 생성한다.
도 13은 본 발명에서 설명된 실시예에서 사용될 수 있는 예시적인 데이터 처리 시스템을 도시하는 블록도이다. 데이터 처리 시스템(1300)은 시스템 버스(1306)를 통해 메모리 소자(1304)에 연결되는 적어도 하나의 프로세서(1302)를 포함할 수 있다. 이와 같이, 데이터 처리 시스템은 메모리 소자(1304) 내에 프로그램 코드를 저장할 수 있다. 또한, 프로세서(1302)는 시스템 버스(1306)를 통해 메모리 소자(1304)로부터 액세스되는 프로그램 코드를 실행할 수 있다. 일 양상에서, 데이터 처리 시스템은 프로그램 코드를 저장 및/또는 실행하기에 적합한 컴퓨터로서 구현될 수 있다. 그러나 데이터 처리 시스템(1300)은 본 명세서에서 설명된 기능들을 수행할 수 있는 프로세서 및 메모리를 포함하는 임의의 시스템 형태로 구현될 수 있음을 이해해야 한다.
메모리 소자(1304)는 예를 들어, 로컬 메모리(1308) 및 하나 이상의 벌크 저장 장치(1310)와 같은 하나 이상의 물리적 메모리 장치를 포함할 수 있다. 로컬 메모리는 일반적으로 프로그램 코드의 실행 동안에 사용되는 랜덤 액세스 메모리 또는 다른 비-영구 메모리 장치를 지칭할 수 있다. 벌크 저장 장치는 하드 드라이브 또는 다른 영구 데이터 저장 장치로 구현될 수 있다. 처리 시스템(1300)은 또한 실행 동안 프로그램 코드가 벌크 저장 장치(1310)로부터 검색되어야 하는 횟수를 감소시키기 위해 적어도 일부 프로그램 코드를 임시 저장하는 하나 이상의 캐시 메모리(미도시)를 포함할 수 있다.
입력 장치(1312) 및 출력 장치(1314)로 도시된 입력/출력(I/O) 장치는 선택적으로 데이터 처리 시스템에 연결될 수 있다. 입력 장치의 예는 키보드, 마우스와 같은 포인팅 장치 등을 포함할 수 있지만, 이에 제한되지는 않는다. 출력 장치의 예는 모니터 또는 디스플레이, 스피커 등을 포함할 수 있지만, 이에 제한되지는 않는다. 입력 장치 및/또는 출력 장치는 직접 또는 중재 I/O 제어기를 통해 데이터 처리 시스템에 연결될 수 있다. 네트워크 어댑터(1316)는 또한 데이터 처리 시스템에 연결되어 개인용 또는 공용 네트워크를 통해 다른 시스템, 컴퓨터 시스템, 원격 네트워크 장치 및/또는 원격 저장 장치에 연결될 수 있다. 네트워크 어댑터는 상기 시스템, 장치 및/또는 네트워크에 의해 전송되는 데이터를 수신하기 위한 데이터 수신기 및 상기 시스템, 장치 및/또는 네트워크로 데이터를 전송하기 위한 데이터 송신기를 포함할 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드는 데이터 처리 시스템(1300)과 함께 사용될 수 있는 다른 유형의 네트워크 어댑터의 예이다.
도 13에 도시된 바와 같이. 메모리 소자(1304)는 응용 프로그램(1318)을 저장할 수 있다. 데이터 처리 시스템(1300)은 응용 프로그램의 실행을 용이하게 할 수 있는 운영 체제(미도시)를 추가로 실행할 수 있음을 이해해야 한다. 실행 가능한 프로그램 코드의 형태로 구현되는 응용 프로그램은 데이터 처리 시스템(1300), 예를 들어 프로세서(1302)에 의해 실행될 수 있다. 응용 프로그램 실행에 응답하여, 데이터 처리 시스템은 본 명세서에서 자세히 설명되고 있는 하나 이상의 작업을 수행하도록 구성될 수 있다.
일 양상에서, 예를 들어, 데이터 처리 시스템(1300)은 클라이언트 데이터 처리 시스템을 나타낼 수 있다. 이 경우, 응용 프로그램(1318)은 실행될 때 "클라이언트"를 참조하여 본 명세서에서 설명된 다양한 기능을 수행하도록 데이터 처리 시스템(1300)을 구성하는 클라이언트 응용 프로그램을 나타낼 수 있다. 클라이언트의 예는 퍼스널 컴퓨터, 휴대용 컴퓨터, 휴대폰 등을 포함할 수 있지만, 이에 제한되지는 않는다.
다른 양상에서, 데이터 처리 시스템은 서버를 나타낼 수 있다. 예를 들어, 데이터 처리 시스템은 (HTTP)서버를 나타낼 수 있고, 이 경우 응용 프로그램(1318)은 실행될 때 (HTTP)서버 동작을 수행하도록 데이터 처리 시스템을 구성할 수 있다. 다른 양상에서, 데이터 처리 시스템은 본 명세서에서 언급된 모듈, 유닛 또는 기능을 나타낼 수 있다.
본 명세서에서 사용한 용어는 특정한 실시예 만을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 본 명세서에서 사용된 단수의 표현 "하나(a, an)", "그(the)"는 문맥상 명백히 다르게 명시하지 않는 한, 다수의 표현을 포함한다. 본 명세서에서 사용되는 "포함하다(comprises)" 및/또는 "포함하는(comprising)" 용어는 언급된 특징, 정수, 단계, 연산, 요소 및/또는 구성 요소의 존재를 명시하지만 하나 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성 요소 및/또는 이들 그룹의 존재 또는 추가를 배제하지는 않는다고 이해될 것이다.
이하의 청구항에서의 모든 수단 또는 단계 플러스 기능 요소의 해당 구조, 재료, 작용 및 동등한 요소는 구체적으로 청구된 다른 청구항 요소와 조합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 작용을 포함하도록 의도된다. 본 발명에 대한 설명은 예시 및 설명의 목적으로 제시되었지만, 공개된 형태로 본 발명을 총망라하거나 제한하려는 것은 아니다. 본 발명의 범위 및 사상을 벗어나지 않는 많은 수정 및 변형이 당업자에게 명백할 것이다. 실시예는 본 발명의 원리와 실제 적용을 가장 잘 설명하고 당업자가 고려된 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시예에 대한 본 발명을 이해할 수 있도록 하기 위해 선택되고 설명되었다.

Claims (14)

  1. 금속 영향을 받은 x-선 데이터는 x-선 영상기에 의해 영상화되는 조직의 볼륨에 있는 금속 또는 금속 물체로 인해서 x-선 데이터에 허상을 나타내며, 금속 영향을 받은 x-선 데이터, 바람직하게는 3D (CB)CT 데이터의 복셀 표현을 수정하기 위한 컴퓨터 구현 방법에 있어서, 상기 방법은,
    복셀 맵은 금속 영향을 받은 복셀 영역에 속하는 초기 복셀 표현의 복셀을 식별하고, 제1 3D 심층 신경망이 그 입력단에서 금속 영향을 받은 x-선 데이터의 초기 복셀 표현을 수신하고 그 출력단에 복셀 맵을 생성하는 단계; 및,
    수정된 복셀 표현은 복셀 맵에 의해서 금속 영향을 받은 영역의 일부로 식별된 복셀에 대한 복셀 추정을 포함하고, 제1 3D 심층 신경망이 환자의 미리 결정된 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는 참조 데이터 및 훈련 데이터에 기초하여 훈련되며, 제2 3D 심층 신경망이 초기 복셀 표현 및 제1 3D 심층 신경망에 의해 생성된 복셀 맵을 그 입력단에서 수신하고 수정된 복셀 표현을 생성하는 단계;를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    식별 정보를 결정하는 제1 3D 심층 신경망은,
    제1 3D 심층 신경망이 복셀 맵을 생성하는 단계를 포함하고,
    복셀 맵의 각 복셀은 금속 영향을 받은 x-선 데이터의 초기 복셀 표현의 복셀 및 하나 이상의 확률 척도와 연관되며, 하나 이상의 확률 척도 중 제1 확률 척도는 복셀이 금속 영역의 일부일 확률을 나타내고 제2 확률 척도는 복셀이 금속 영향을 받은 영역의 일부일 확률을 나타내는 컴퓨터 구현 방법.
  3. 제2항에 있어서,
    제1 및 제2 확률 척도에 기반하고 하나 이상의 임계값에 기반하여 초기 복셀 표현에 있는 복셀을 금속 영역에 속하는 복셀 및 금속 영향을 받은 영역에 속하는 복셀로 분류하는 단계를 더 포함하는 컴퓨터 구현 방법.
  4. 제2항 또는 제3항에 있어서,
    복수의 금속 클래스는 비금속 재료와 관련된 제1 금속 클래스 및 금속 또는 금속 재료와 관련된 제2 클래스를 포함하며, 제1 확률 척도 및 하나 이상의 금속 임계값을 사용하여 복수의 금속 클래스에서 선택된 금속 클래스를 각각의 복셀에 대해 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    제1 3D 심층 신경망 및/또는 제2 3D 심층 신경망은 적어도 제1 3D 컨볼루셔널 층 세트, 바람직하게는 제1 3D CNN 특징 층 세트를 포함하는 적어도 제1 데이터 처리 경로, 및 제1 경로에 평행한 적어도 제2 데이터 처리 경로를 포함하며, 제2 경로는 제2 3D 컨볼루셔널 층 세트, 바람직하게는 제2 3D CNN 특징 층 세트를 포함하고, 제2 3D 컨볼루셔널 층 세트는 제1 3D 컨볼루셔널 층 세트의 입력에 공급되는 복셀 블록과 관련된 맥락 정보를 결정하도록 구성되는 컴퓨터 구현 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    훈련 데이터는 신체 부위의 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현 및 신체 부위의 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하고, 참조 데이터는 신체 부위의 금속 기반 치료와 관련된 금속 영역이 식별되는 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는 컴퓨터 구현 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    제2 3D 심층 신경망은 초기 복셀 표현에 있는 금속 영향을 받은 x-선 데이터와 연관된 허상을 최소화하도록 훈련되고, 훈련 중에, 3D 심층 신경망은 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따르는 관계에 기반하여 수정된 복셀 표현을 최적화하기 위해 선택된 제1 가중치 및 편향치에 의해 매개 변수화되는 컴퓨터 구현 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    제1 및/또는 제2 3D 심층 신경망은 3D 컨볼루셔널 신경망, 3D 생성적 대립 신경망 또는 3D 순환 심층 신경망을 포함하거나 및/또는 중의 일부인 컴퓨터 구현 방법.
  9. 금속 영향을 받은 x-선 데이터는 x-선 영상기에 의해 영상화되는 조직의 볼륨에 있는 금속 또는 금속 물체로 인해서 x-선 데이터에 허상을 나타내며, 금속 영향을 받은 x-선 데이터의 복셀 표현을 수정하기 위한 심층 신경망 시스템을 훈련하는 컴퓨터 구현 방법에 있어서, 상기 방법은,
    훈련 데이터는 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현 및 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하고, 참조 데이터는 금속 기반 치료와 관련된 금속 영역이 식별되는 금속 기반 치료 전 환자 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는, 훈련 데이터 및 참조 데이터를 컴퓨터가 수신하는 단계;
    복셀 맵은 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현에 있는 금속 영향을 받은 복셀을 식별하는, 금속 기반 치료 후 환자 신체 부위의 임상 x-선 데이터의 복셀 표현과 연관된 하나 이상의 복셀 맵을 컴퓨터가 수신하는 단계; 및
    컴퓨터가 훈련 데이터와 참조 데이터를 사용하여 3D 심층 신경망을 훈련하고 복셀 맵에 의해서 금속 영향을 받은 영역에 속하는 복셀로 분류된 복셀에 대한 복셀 예측을 생성하고 및 복셀 예측을 기반으로 금속 영향을 받은 복셀 표현에 있는 금속 영향을 받은 복셀을 수정하는 단계;를 포함하는 컴퓨터 구현 방법.
  10. 금속 영향을 받은 x-선 데이터의 복셀 표현을 처리하기 위한 신경망 훈련 방법에 있어서, 상기 방법은,
    훈련 데이터를 생성하는 단계로서, 훈련 데이터는 금속 기반 치료 전 환자 신체 부위의 x-선 데이터의 하나 이상의 복셀 표현, 환자 신체 부위의 금속 기반 치료 후 금속 영항을 받은 x-선 데이터의 하나 이상의 복셀 표현 및 하나 이상의 복셀 맵을 포함하고, 하나 이상의 복셀 맵은 금속 영향을 받은 x-선 데이터의 복셀 표현에 있는 복셀이 금속 영역 및/또는 금속 영향을 받은 영역에 속하는지 여부를 식별하며;
    참조 데이터를 생성하는 단계로서, 참조 데이터는 금속 기반 치료 전 환자 신체 부위의 x-선 데이터의 복셀 표현을 포함하며;
    훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따른 제1 가중치 및 편향치에 의해 매개 변수화되는, 생성기 신경망 바람직하게는 생성기 3D 심층 신경망을 훈련하는 단계로서, 생성기 신경망은 그 입력단에서 금속 영향을 받은 x-선 데이터의 초기 복셀 표현을 수신하고 그 출력단에 수정된 복셀 표현을 생성하도록 훈련되고, 수정된 복셀 표현은 복셀 맵에 의해서 금속 영향을 받은 영역의 일부로 식별된 초기 복셀 표현의 복셀에 대한 복셀 추정을 포함하며, 생성기 3D 심층 신경망의 훈련에는 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따르는 관계에 기반하여 수정된 복셀 표현을 최적화하기 위해 하나 이상의 제1 가중치 및 편향치를 수정하는 것이 포함되고, 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따른 제1 가중치 및 편향치에 의해 매개 변수화되며;
    금속 영향을 받은 영역의 일부 복셀에 대한 복셀 추정을 포함하는 수정된 복셀 표현의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따른 제2 가중치 및 편향치에 의해 매개 변수화되는, 식별기 신경망 바람직하게는 식별기 3D 심층 신경망을 훈련하는 단계로서, 식별기 3D 심층 신경망은, 생성기 신경망에 의해 생성된 수정된 복셀 표현 및 금속 영역을 포함하는, 환자의 신체 부분, 바람직하게는 환자의 구강-악안면 구조를 나타내는 x-선 데이터의 복셀 표현을 구별하도록 훈련되며; 및,
    생성기 신경망의 훈련 중에 식별기 신경망으로부터 얻은 정보를 활용하는 단계;를 포함하는 훈련 방법.
  11. 금속 영향을 받은 x-선 데이터, 바람직하게는 3D (CB)CT 데이터의 복셀 표현의 수정 방법에 있어서, 상기 방법은,
    금속 영향을 받은 x-선 데이터는 x-선 영상기에 의해 영상화되는 조직의 볼륨에 있는 금속 또는 금속 물체로 인해서 x-선 데이터에 허상을 나타내며, 금속 영향을 받은 x-선 데이터를 나타내는 초기 복셀 표현을 수신하는 단계;
    생성기 3D 심층 신경망은 훈련 데이터 및 참조 데이터를 기반으로 훈련되어 초기 복셀 표현에 있는 금속 영향을 받은 x-선 데이터와 관련된 허상을 최소화하며, 훈련 데이터 및 참조 데이터는 환자의 미리 결정된 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하며, 생성기 3D 심층 신경망을 사용하여 초기 복셀 표현을 기반으로 수정된 복셀 표현을 생성하는 단계;를 포함하며,
    훈련하는 동안, 생성기 3D 심층 신경망은 훈련 데이터의 하나 이상의 특성 및 참조 데이터의 하나 이상의 특성에 따르는 관계에 기반하고 그리고 생성기 3D 심층 신경망의 훈련 동안 식별기 3D 심층 신경망으로부터 얻어지는 정보에 기반하여 수정된 복셀 표현을 최적화하기 위해 선택된 제1 가중치 및 편향치에 의해 매개 변수화되며, 식별기 3D 심층 신경망은, 생성기 3D 심층 신경망에 의해 생성된 수정된 복셀 표현과 금속 영역을 포함하는, 환자의 신체 부분, 바람직하게는 환자의 구강-악안면 구조를 나타내는 x-선 데이터의 복셀 표현을 구별하도록 훈련되는 수정 방법.
  12. 제10항 및 제11항에 있어서,
    생성기 3D 심층 신경망 및/또는 식별기 3D 심층 신경망은 3D 컨볼루셔널 신경망 및/또는 3D 심층 순환 신경망으로 구성되는 수정 방법.
  13. 금속 영향을 받은 x-선 데이터는 x-선 영상기에 의해 영상화되는 조직의 볼륨에 있는 금속 또는 금속 물체로 인해서 x-선 데이터에 허상을 나타내며, 금속 영향을 받은 x-선 데이터, 바람직하게는 3D (CB)CT 데이터의 복셀 표현을 수정하도록 채택된 컴퓨터 시스템에 있어서, 상기 시스템은,
    프로그램 코드는 전처리 알고리즘 및 적어도 훈련된 제1 3D 심층 신경망을 포함하며, 그 안에 내장되는 컴퓨터 판독 가능한 프로그램 코드를 가지는 컴퓨터 판독 가능한 저장 매체, 컴퓨터 판독 가능한 프로그램 코드; 및 컴퓨터 판독 가능한 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하고,
    제1 컴퓨터 판독 가능한 프로그램 코드의 실행에 응답하여, 프로세서는 다음을 포함하는 실행 가능한 동작을 수행하도록 구성되며:
    금속 영향을 받은 x-선 데이터의 초기 복셀 표현을 제1 3D 심층 신경망의 입력단에 공급하고, 출력단에 복셀 맵을 생성하도록 제1 3D 심층 신경망이 훈련되며, 복셀 맵은 금속에 의해 영향을 받은 복셀 영역에 속하는 초기 복셀 표현의 복셀을 식별하며;
    제2 3D 심층 신경망의 입력단에 초기 복셀 표현 및 제1 3D 심층 신경망에 의해 생성된 복셀 맵을 공급하고, 제2 3D 심층 신경망은 수정된 복셀 표현을 생성하기 위해 훈련되며, 수정된 복셀 표현은 복셀 맵에 의해서 금속 영향을 받은 영역의 일부로 식별된 복셀에 대한 복셀 추정을 포함하며, 제1 3D 심층 신경망은 환자의 미리 결정된 신체 부위의 임상 x-선 데이터의 복셀 표현을 포함하는 참조 데이터 및 훈련 데이터에 기초하여 훈련되는 컴퓨터 시스템.
  14. 컴퓨터의 메모리에서 실행될 때, 제1항 내지 제12항 중 어느 한 항에 따른 방법 단계를 실행하도록 구성된 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 제품.
KR1020207033372A 2018-04-26 2019-04-26 딥 러닝 기술을 이용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동 수정 KR20210005649A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18169651.9 2018-04-26
EP18169651.9A EP3561778A1 (en) 2018-04-26 2018-04-26 Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
PCT/EP2019/060813 WO2019207144A1 (en) 2018-04-26 2019-04-26 Automated correction of metal affected voxel representations of x-ray data using deep learning techniques

Publications (1)

Publication Number Publication Date
KR20210005649A true KR20210005649A (ko) 2021-01-14

Family

ID=62104107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033372A KR20210005649A (ko) 2018-04-26 2019-04-26 딥 러닝 기술을 이용하여 금속 영향을 받은 x-선 데이터의 복셀 표현을 자동 수정

Country Status (9)

Country Link
US (1) US11494957B2 (ko)
EP (2) EP3561778A1 (ko)
JP (1) JP7494125B2 (ko)
KR (1) KR20210005649A (ko)
CN (1) CN112313715A (ko)
BR (1) BR112020021508A2 (ko)
CA (1) CA3097814A1 (ko)
IL (1) IL278168A (ko)
WO (1) WO2019207144A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220117478A (ko) * 2021-02-17 2022-08-24 연세대학교 산학협력단 인공 신경망을 이용한 ct 영상 보정 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019028132A2 (pt) 2017-06-30 2020-07-28 Promaton Holding B.V sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
EP3833258A4 (en) * 2018-08-06 2022-05-11 Vanderbilt University DEEP LEARNING-BASED METHOD FOR METAL REDUCTION IN CT IMAGES AND APPLICATIONS THEREOF
WO2020060196A1 (ko) * 2018-09-18 2020-03-26 서울대학교산학협력단 3차원 영상 재구성 장치 및 그 방법
US20200372301A1 (en) * 2019-05-21 2020-11-26 Retrace Labs Adversarial Defense Platform For Automated Dental Image Classification
WO2020238817A1 (en) * 2019-05-24 2020-12-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for processing x-ray images
CN112767265A (zh) * 2021-01-11 2021-05-07 明峰医疗***股份有限公司 用于ct图像的去金属伪影分割图像校正方法、***及计算机可读存储介质
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
GB202107492D0 (en) * 2021-05-26 2021-07-07 Vitaware Ltd Image processing method
CN113554563B (zh) * 2021-07-23 2024-05-14 上海友脉科技有限责任公司 一种医学图像处理方法、介质及电子设备
CN115063641B (zh) * 2022-08-19 2022-11-29 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6634800A (en) 1999-08-11 2001-03-05 Case Western Reserve University Method and apparatus for producing an implant
US6721387B1 (en) * 2001-06-13 2004-04-13 Analogic Corporation Method of and system for reducing metal artifacts in images generated by x-ray scanning devices
JP2007520300A (ja) * 2004-02-05 2007-07-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボクセル組織クラスを分散するｃｔにおける高減衰オブジェクトにより生じる画像全体のアーティファクトの縮小
US9492245B2 (en) 2004-02-27 2016-11-15 Align Technology, Inc. Method and system for providing dynamic orthodontic assessment and treatment profiles
US7711406B2 (en) * 2005-11-23 2010-05-04 General Electric Company System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging
US7844429B2 (en) 2006-07-19 2010-11-30 Align Technology, Inc. System and method for three-dimensional complete tooth modeling
CN106920246B (zh) * 2007-08-31 2024-03-08 皇家飞利浦电子股份有限公司 在存在金属伪影的情况下用于分割的不确定性图
US8439672B2 (en) 2008-01-29 2013-05-14 Align Technology, Inc. Method and system for optimizing dental aligner geometry
US8108189B2 (en) 2008-03-25 2012-01-31 Align Technologies, Inc. Reconstruction of non-visible part of tooth
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8503750B2 (en) * 2009-10-06 2013-08-06 General Electric Company Method and apparatus for reduction of metal artifacts in CT images
KR101730696B1 (ko) 2010-04-20 2017-04-26 이미징 사이언시즈 인터내셔널 엘엘씨 표면 스캔 정보를 이용한 3차원 치과용 x 레이 데이터 세트로부터의 아티팩트의 감소 및 제거
US8938113B2 (en) 2010-07-26 2015-01-20 Kjaya, Llc Adaptive visualization for direct physician use
US8761493B2 (en) 2011-07-21 2014-06-24 Carestream Health, Inc. Method and system for tooth segmentation in dental images
DE102012206714A1 (de) * 2011-08-10 2013-02-14 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren, Recheneinheit, CT-System und C-Bogen-System zur Reduktion von Metallartefakten in CT-Bilddatensätzen
US9135498B2 (en) 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US20140227655A1 (en) 2013-02-12 2014-08-14 Ormco Corporation Integration of model data, surface data, and volumetric data
US9349198B2 (en) * 2013-07-26 2016-05-24 General Electric Company Robust artifact reduction in image reconstruction
US10456229B2 (en) 2014-05-09 2019-10-29 3Shape A/S Scanning of edentulous patients
DE102014007095A1 (de) * 2014-05-14 2015-11-19 Universität Zu Lübeck Verfahren und Vorrichtung zur Reduktion von Artefakten in computertomographischen Bildern
US20170258420A1 (en) 2014-05-22 2017-09-14 Carestream Health, Inc. Method for 3-D Cephalometric Analysis
US9953425B2 (en) 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US9934597B2 (en) * 2014-09-11 2018-04-03 Carestream Health, Inc. Metal artifacts reduction in cone beam reconstruction
US9655580B2 (en) * 2014-10-24 2017-05-23 General Electric Company Systems and methods for metal artifact reduction
US9498179B1 (en) * 2015-05-07 2016-11-22 General Electric Company Methods and systems for metal artifact reduction in spectral CT imaging
US10013779B2 (en) * 2015-06-22 2018-07-03 Toshiba Medical Systems Corporation Metal artifact reduction for 3D-digtial subtraction angiography
DE102015212953A1 (de) * 2015-07-10 2017-01-12 Siemens Healthcare Gmbh Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
US10235606B2 (en) 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
AU2016308097B2 (en) 2015-08-15 2018-08-02 Salesforce.Com, Inc. Three-dimensional (3D) convolution with 3D batch normalization
JP2017102622A (ja) 2015-11-30 2017-06-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10032271B2 (en) 2015-12-10 2018-07-24 3M Innovative Properties Company Method for automatic tooth type recognition from 3D scans
JP6873600B2 (ja) 2016-03-04 2021-05-19 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
DE102016204226A1 (de) * 2016-03-15 2017-09-21 Siemens Healthcare Gmbh Vorrichtung und Verfahren zum Abgrenzen eines Metallobjekts für eine Artefaktreduktion in Tomographiebildern
JP6780948B2 (ja) * 2016-03-28 2020-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置
US10210613B2 (en) 2016-05-12 2019-02-19 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
US20170365047A1 (en) 2016-06-15 2017-12-21 General Electric Company Artifact management in imaging
WO2017220619A1 (en) 2016-06-21 2017-12-28 Nobel Biocare Services Ag Method for estimating at least one of shape, position and orientation of a dental restoration
WO2018022752A1 (en) 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning
US11278384B2 (en) 2016-08-22 2022-03-22 Kolibree SAS Oral hygiene system for compliance monitoring and tele-dentistry system
US20200022790A1 (en) 2016-10-10 2020-01-23 3Shape A/S Common Placement Support for Artificial Teeth
US10660728B2 (en) 2016-10-20 2020-05-26 Baliram Maraj Systems and methods for dental treatment utilizing mixed reality and deep learning
CN106618760B (zh) 2016-12-07 2019-11-08 上海牙典医疗器械有限公司 一种设计正畸矫治方案的方法
CN108205806B (zh) 2016-12-20 2020-10-09 北京大学 一种锥束ct图像三维颅面结构的自动解析方法
EP3562426B1 (en) 2016-12-30 2022-05-04 Carestream Dental Technology Topco Limited Reconstruction of a virtual computed-tomography volume to track orthodontics treatment evolution
EP3600130B1 (en) 2017-03-20 2023-07-12 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
BR112019028132A2 (pt) 2017-06-30 2020-07-28 Promaton Holding B.V sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador
FR3069359B1 (fr) 2017-07-21 2019-08-23 Dental Monitoring Procede d'analyse d'une image d'une arcade dentaire
FR3069355B1 (fr) 2017-07-21 2023-02-10 Dental Monitoring Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US10997727B2 (en) 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
US11120551B2 (en) * 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
CN108305684A (zh) 2018-02-28 2018-07-20 成都贝施美医疗科技股份有限公司 正畸治疗模拟方法、装置及终端设备
CN110473283B (zh) 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
EP3591616A1 (en) 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
EP3620130A1 (en) 2018-09-04 2020-03-11 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
EP3671531A1 (en) 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
US11461244B2 (en) 2018-12-20 2022-10-04 Intel Corporation Co-existence of trust domain architecture with multi-key total memory encryption technology in servers
EP3767521A1 (en) 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
EP3767531A1 (de) 2019-07-19 2021-01-20 Becton Dickinson Rowa Germany GmbH Verfahren zum vermessen und verifizieren von arzneimittelportionen sowie computerprogrammprodukte
US10932890B1 (en) 2019-11-14 2021-03-02 Pearl Inc. Enhanced techniques for determination of dental margins in intraoral scans

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220117478A (ko) * 2021-02-17 2022-08-24 연세대학교 산학협력단 인공 신경망을 이용한 ct 영상 보정 장치 및 방법

Also Published As

Publication number Publication date
JP7494125B2 (ja) 2024-06-03
CN112313715A (zh) 2021-02-02
CA3097814A1 (en) 2019-10-31
EP3785234A1 (en) 2021-03-03
EP3561778A1 (en) 2019-10-30
BR112020021508A2 (pt) 2021-01-19
IL278168A (en) 2020-11-30
JP2021521962A (ja) 2021-08-30
US20210110584A1 (en) 2021-04-15
WO2019207144A1 (en) 2019-10-31
US11494957B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP7494125B2 (ja) ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正
CN110998602B (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
JP2020116377A (ja) 医用処理装置、医用処理方法及び記憶媒体
CN110570492A (zh) 神经网络训练方法和设备、图像处理方法和设备以及介质
JP2011172926A (ja) コーンビームコンピュータ断層撮像時密度性偽像抑圧方法及びシステム
US9672641B2 (en) Method, apparatus, and computer readable medium for removing unwanted objects from a tomogram
CN111223156A (zh) 一种用于牙科锥束ct***的金属伪影消除方法
JP5635732B2 (ja) 複数繰り返しアルゴリズムの進行的な収束
EP3869401A1 (en) Out-of-distribution detection of input instances to a model
US20220160323A1 (en) Method of calibrating x-ray projection geometry in x-ray cone beam computed tomography
US11580678B2 (en) Systems and methods for interpolation with resolution preservation
US20220092787A1 (en) Systems and methods for processing x-ray images
CN113226184B (zh) 在x射线牙科体积断层扫描中金属伪影减少的方法
KR102477991B1 (ko) 의료 영상 처리 방법 및 장치
Engelkes Accuracy of bone segmentation and surface generation strategies analyzed by using synthetic CT volumes
CN115943420A (zh) 图像处理装置、图像处理方法、训练装置、训练方法、以及程序
CN113592968A (zh) 断层扫描图像中金属伪影的消减方法和装置
JP2023077989A (ja) 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
CN113177907A (zh) 控制医学x射线设备

Legal Events

Date Code Title Description
A201 Request for examination