KR102552147B1 - 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법 - Google Patents

그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법 Download PDF

Info

Publication number
KR102552147B1
KR102552147B1 KR1020220108458A KR20220108458A KR102552147B1 KR 102552147 B1 KR102552147 B1 KR 102552147B1 KR 1020220108458 A KR1020220108458 A KR 1020220108458A KR 20220108458 A KR20220108458 A KR 20220108458A KR 102552147 B1 KR102552147 B1 KR 102552147B1
Authority
KR
South Korea
Prior art keywords
target
tissue image
class
patches
graph
Prior art date
Application number
KR1020220108458A
Other languages
English (en)
Inventor
이문용
무르타자 아슈라프
천종기
고영신
Original Assignee
한국과학기술원
(재)씨젠의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, (재)씨젠의료재단 filed Critical 한국과학기술원
Priority to KR1020220108458A priority Critical patent/KR102552147B1/ko
Application granted granted Critical
Publication of KR102552147B1 publication Critical patent/KR102552147B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는, 조직이 촬영된 조직 이미지를 입력받고, 조직 이미지를 복수의 패치들로 분할하고, 복수의 패치들 중 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하고, 타깃 패치들 중 오분류 패치들의 클래스에 대한 정보를 수정하고, 타깃 그래프를 기초로 조직 이미지의 클래스를 분류하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법을 제공한다.

Description

그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법{Tissue image classifying device correcting class of misclassified patch using graph and operating method for classifying tissue image}
본 발명은 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법에 관한 것이다.
암(cancer)과 같이 인간을 사망에 이르게 할 수 있는 질병을 정확하고 신속하게 진단하기 위하여, 조직(tissue)이 촬영된 조직 이미지를 인공 지능을 이용하여 자동으로 분류하는 방법에 대한 연구가 활발하게 진행되고 있다. 조직 이미지를 자동으로 분류할 경우 의사가 암을 판단하기 위해 사용하는 시간과 노력을 절감할 수 있다.
그러나 조직 이미지를 인공 지능을 이용하여 자동으로 분류할 때, 조직 이미지의 크기가 성능에 큰 영향을 미친다.
조직 이미지의 크기는 현재의 중앙 처리 장치(CPU) 및 그래픽 처리 장치(GPU)를 기반하여 동작하는 인공 지능 모델이 처리 가능한 이미지의 크기보다 매우 커서, 조직 이미지 전체를 인공 지능 모델에 입력할 경우 조직 이미지를 분류하는데 오랜 시간이 소요되기 때문이다.
따라서, 조직 이미지 전체를 인공 지능 모델에 한꺼번에 입력하는 대신 조직 이미지를 복수의 패치들로 분할하고, 분할된 복수의 패치들을 인공 지능 모델에 입력하여 조직 이미지의 타입을 분류하는 방법이 주로 사용되고 있다.
실시예들은, 조직 이미지의 클래스를 분류하는 과정에서 패치들의 클래스의 오분류(misclassification)에 의해 에러가 발생할 확률을 감소시킬 수 있는 조직 이미지 분류 장치 및 조직 이미지 분류 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예는, 조직이 촬영된 조직 이미지를 입력받는 입력부, 조직 이미지를 복수의 패치들로 분할하는 분할부, 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 패치 분류부, 타깃 패치들의 클래스에 대한 분류 결과를 기초로 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하는 타깃 그래프 생성부, 타깃 그래프를 기초로 타깃 패치들 중 하나 이상의 오분류 패치들을 선택하고, 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정하는 패치 클래스 수정부, 및 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 조직 이미지의 클래스를 분류하는 조직 이미지 분류부를 포함하는 조직 이미지 분류 장치를 제공한다.
다른 실시예는, 조직이 촬영된 조직 이미지를 입력받는 입력 단계, 조직 이미지를 복수의 패치들로 분할하는 분할 단계, 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 패치 분류 단계, 타깃 패치들의 클래스에 대한 분류 결과를 기초로 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하는 타깃 그래프 생성 단계, 타깃 그래프를 기초로 타깃 패치들 중 하나 이상의 오분류 패치들을 선택하고, 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정하는 패치 클래스 수정 단계 및 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 조직 이미지의 클래스를 분류하는 조직 이미지 분류 단계를 포함하는 조직 이미지 분류 방법을 제공한다.
또 다른 실시예는, 조직이 촬영된 조직 이미지 및 조직 이미지가 분할된 복수의 패치들을 저장하는 메모리, 및 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 타깃 패치들의 클래스에 대한 분류 결과를 생성하고, 타깃 패치들의 클래스에 대한 분류 결과를 기초로 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하고, 타깃 그래프를 기초로 타깃 패치들 중 하나 이상의 오분류 패치들을 선택하고, 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정하고, 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 조직 이미지의 클래스를 분류하는 프로세서를 포함하는 컴퓨팅 시스템을 제공할 수 있다.
실시예들에 따른 조직 이미지 분류 장치 및 조직 이미지 분류 방법에 의하면, 조직 이미지의 클래스를 분류하는 과정에서 패치들의 클래스의 오분류(misclassification)에 의해 에러가 발생할 확률을 감소시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 동작을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 타깃 패치들 중 일부의 클래스를 오분류하는 경우를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 타깃 그래프를 생성하는 동작의 일 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 중간 그래프를 기초로 타깃 그래프를 생성하는 동작의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 그래프 재구성 모델의 일 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 오분류 패치들을 선택하는 동작의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정하는 동작의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 조직 이미지의 클래스를 판단하는 동작의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치가 조직 이미지의 클래스를 판단하는 동작의 다른 예를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 조직 이미지 분류 방법을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅 시스템의 구성도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별 정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
도 1은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)의 개념도이다.
도 1을 참조하면, 조직 이미지 분류 장치(100)는 입력부(110), 분할부(120), 패치 분류부(130), 타깃 그래프 생성부(140), 패치 클래스 수정부(150) 및 조직 이미지 분류부(160)를 포함할 수 있다.
입력부(110)는 조직 이미지를 조직 이미지 분류 장치(100)의 외부로부터 입력받을 수 있다. 조직 이미지는 조직(tissue)이 촬영된 이미지이다.
조직은 인간 또는 동물의 세포들을 포함할 수 있다. 일 예로 조직은 암(e.g. 위암, 대장암) 세포의 존재 여부를 확인하기 위해 인체의 장기(e.g. 위, 대장, 소장, 간)로부터 추출된 생검 조직일 수 있다.
조직은 다양한 형태의 촬영 장비(e.g. 카메라, 캠코더, 스캐너)를 통해 촬영될 수 있다. 그리고 조직이 촬영된 이미지의 포맷은 JPG, GIF, PNG, BMP 등으로 다양하게 결정될 수 있다.
분할부(120)는 입력부(110)에 입력된 조직 이미지를 복수의 패치들로 분할할 수 있다.
복수의 패치들 각각의 크기는 조직 이미지보다 작을 수 있다. 일 예로, 복수의 패치들 각각의 크기는 n*n 픽셀(e.g. 256*256, 128*128)로 동일할 수 있다.
다른 예로, 복수의 패치들의 크기는 서로 상이할 수도 있다. 복수의 패치들 중 일부는 n*n 픽셀(e.g. 256*256)이고 일부는 m*m 픽셀(e.g. 128*128)일 수 있다.
패치 분류부(130)는 분할부(120)에서 분할한 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력할 수 있다.
타깃 패치들은 복수의 패치들 중에서 클래스가 분류될 대상이 되는 패치를 의미한다. 패치 분류부(130)가 복수의 패치들 중에서 타깃 패치들을 선택하는 방법은 다양할 수 있다.
패치 분류 딥 러닝 모델은 입력받은 패치의 클래스에 대한 분류 결과를 생성할 수 있는 딥 러닝 모델이다.
패치의 클래스(class)는 해당 패치가 어떤 종류의 패치인지를 지시할 수 있다. 한편, 클래스는 타입(type), 카테고리(category), 특징(feature) 등의 용어로 호칭될 수도 있다.
본 발명의 실시예들에서, 패치의 클래스는 패치 분류 딥 러닝 모델에 의해 복수의 후보 패치 클래스들 중 하나로 분류될 수 있다.
이때, 패치의 클래스에 대한 분류 결과는 후보 패치 클래스들 별 확률값을 지시할 수 있다.
일 예로, 패치 분류 딥 러닝 모델이 입력된 패치를 정상(normal) 클래스 또는 비정상(abnormal) 클래스로 분류할 수 있다. 이때, 패치의 클래스에 대한 분류 결과는 해당 패치의 클래스가 정상 클래스인지 또는 비정상 클래스인지를 지시할 수 있고, 또한 해당 패치가 정상 클래스일 확률값 및 비정상 클래스일 확률값을 함께 지시할 수 있다.
이때, 후보 패치 클래스들 별 확률값의 총합은 1일 수 있다. 예를 들어, 패치가 정상 클래스일 확률이 0.9이면 비정상 클래스일 확률이 0.1이고, 패치가 정상 클래스일 확률이 0.2면 비정상 클래스일 확률이 0.8이고, 패치가 정상 클래스일 확률이 1.0이면 비정상 클래스일 확률은 0.0일 수 있다.
한편, 패치 분류 딥 러닝 모델은 복수의 학습용 패치들을 기초로 학습된 딥 러닝 모델일 수 있다.
타깃 그래프 생성부(140)는 패치 분류부(130)에 의해 생성된 타깃 패치들의 클래스에 대한 분류 결과를 기초로 하여 타깃 그래프를 생성할 수 있다. 타깃 그래프는 타깃 패치들의 클래스에 대한 정보를 지시하는 그래프이다.
패치 클래스 수정부(150)는 타깃 그래프 생성부(140)에서 생성된 타깃 그래프를 기초로 하여 타깃 패치들 중 하나 이상의 오분류(misclassfication) 패치들을 선택할 수 있다. 오분류 패치는 패치 분류부(130)가 클래스를 잘못 분류하였다고 판단된 패치를 의미한다.
패치 클래스 수정부(150)는 타깃 그래프에서 선택된 오분류 패치들의 클래스에 대한 정보를 수정할 수 있다. 타깃 그래프는 타깃 패치들의 클래스에 대한 정보를 지시하므로, 타깃 패치들 중 오분류 패치들의 클래스가 수정되면 타깃 그래프 역시 수정될 수 있다.
조직 이미지 분류부(160)는 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 조직 이미지의 클래스를 분류할 수 있다.
조직 이미지 분류 딥 러닝 모델은 조직 이미지의 클래스를 복수의 클래스들 중 하나로 분류할 수 있는 딥 러닝 모델이다.
한편, 조직 이미지의 클래스는 전술한 패치의 클래스와 상이할 수 있다. 일 예로, 패치는 정상(normal) 클래스 또는 비정상(abnormal) 클래스로 분류될 수 있고, 조직 이미지는 정상(normal) 클래스, 이형성(dysplasia) 클래스 또는 악성(malignant) 클래스로 분류될 수 있다.
본 명세서에서 딥 러닝 모델은 인공 신경망을 다층 레이어로 쌓은 모델일 수 있다. 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 특징(feature)를 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 모델로 구현될 수 있다.
일 예로, 딥 러닝 모델은 컨볼루션 뉴럴 네트워크(CNN, Convolutional Neural Network)일 수 있다. CNN은 Visual Geometry Group (VGG) network, Inception (GoogleNet), ResNet, DenseNet 등의 다양한 형태의 스키마(scheme)로 구현될 수 있다.
단, 본 발명의 실시예들에서 설명하는 딥 러닝 모델은 CNN에만 한정되지 않으며, 현재 또는 장래에 사용될 수 있는 다른 형태의 딥 러닝 모델(e.g. DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GCN(Graphic Convolution Neural Network))이 사용될 수도 있다.
딥 러닝 모델은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
딥 러닝 모델에 대한 학습을 수행한다는 것은 딥 러닝 모델의 입력에 대한 예측 값이 실제 값(ground-truth)과 최대한 유사하도록 딥 러닝 모델에 대한 파라미터(e.g. 노드의 가중치)를 조정하는 것을 의미한다. 학습부(140)는 패치 셋에 포함된 패치들을 딥 러닝 모델에 입력하고, 딥 러닝 모델의 예측 값과 실제 값을 비교하여 딥 러닝 모델에 대한 파라미터를 조정하는 과정을 반복적으로 수행하여 딥 러닝 모델의 예측 정확도를 높일 수 있다.
한편, 딥 러닝 모델의 학습 과정은 훈련(training)으로 표현하고, 그 결과를 학습(learning)이라고 표현할 수 있으나, 학습 과정이나 그 결과를 표현하기 위해 훈련 또는 학습 중 하나를 사용할 수 있다.
본 발명의 실시예들에서, 조직 이미지 분류 딥 러닝 모델은 타깃 그래프를 입력받아 처리하는 GCN 기반의 딥 러닝 모델일 수 있다. 조직 이미지를 기초로 타깃 그래프를 생성한 후 GCN 기반의 딥 러닝 모델을 이용하여 분류할 경우에, 표1과 같이 조직 이미지를 전통적인 머신 러닝 방법(e.g. SVM, Naive Bayes)이나 CNN을 이용하여 분류하는 경우보다 조직 이미지를 보다 정확하게 분류할 수 있다.
Figure 112022090538340-pat00001
도 2는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 동작을 나타낸 도면이다.
도 2를 참조하면, 조직 이미지 분류 장치(100)의 입력부(110)에 의해 입력된 조직 이미지는 조직 이미지 분류 장치(100)의 분할부(120)에 의해 복수의 패치들로 분할될 수 있다.
전술한 바와 같이 조직 이미지는 조직이 촬영된 이미지일 수 있다. 한편, 조직 이미지는 조직뿐 아니라 배경(e.g. 조직이 담긴 슬라이드)이 함께 촬영된 이미지일 수 있다. 또한 조직 이미지에 조직에 대한 추가적인 정보가 포함될 수 있다.
이때, 조직은 헤마톡실린 및 에오신(hematoxylin and eosin) 염색이 수행된 조직일 수 있다. 헤마톡실린 및 에오신 염색에 의해서 세포핵(cell nuclei)은 파란색으로 염색되고 세포외기질(extracellular matrix)과 세포질(cytoplasm)은 분홍색으로 염색될 수 있다.
한편, 조직 이미지는 주석(annotation) 정보를 선택적으로 포함할 수 있다. 주석 정보는 조직 이미지의 어떤 영역이 어떤 타입에 해당하는지를 지시하는 정보이다. 일 예로, 주석 정보는 조직 이미지의 특정 영역이 병변(e.g. 암)이 존재하는 비정상(abnormal) 영역이고 나머지 영역이 병변이 존재하지 않는 정상(normal) 영역이라는 것을 지시할 수 있다.
조직 이미지의 주석 정보는 다양한 방법으로 생성될 수 있다. 일 예로, 주석 정보는 촬영된 조직 이미지를 의사가 육안으로 검토한 후, 의사가 비정상으로 판단된 영역을 직접 조직 이미지에 입력할 수 있다.
그리고 조직 이미지 분류 장치(100)의 패치 분류부(130)에 의해 복수의 패치들 중 하나 이상의 타깃 패치들이 선택될 수 있다.
패치 분류부(130)는 복수의 패치들 중 하나 이상의 타깃 패치들을 다양한 방법으로 선택할 수 있다.
일 예로, 패치 분류부(130)는 복수의 패치들 중 하나 이상의 타깃 패치들을 랜덤하게 선택할 수 있다.
다른 예로, 패치 분류부(130)는 복수의 패치들 중에서 백색 영역(white region)에 대응하는 패치를 제외한 나머지 패치들을 타깃 패치들로 선택할 수 있다. 이때, 패치 분류부(130)는 백색의 비율이 임계 비율 이상인 패치들을 백색 영역에 대응하는 패치라고 판단할 수 있다.
또 다른 예로, 패치 분류부(130)는 복수의 패치들을 학습된 딥 러닝 모델에 입력하고, 딥 러닝 모델의 출력을 기초로 하여 타깃 패치들을 선택할 수 있다. 이때, 백색 영역에 대응하는 패치, 변형이 발생한 세포에 대응하는 패치 등은 타깃 패치에서 제외될 수 있다.
조직 이미지 분류 장치(100)의 패치 분류부(130)는 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 타깃 패치들의 클래스에 대한 분류 결과를 생성할 수 있다. 일 예로, 패치 분류부(130)는 타깃 패치들(P1, P2, P3, P4, P5, P6, …)에 대한 분류 결과를 생성할 수 있다.
이때, 조직 이미지 분류 장치(100)의 패치 분류부(130)가 타깃 패치들 중 일부의 클래스를 오분류할 수 있다. 이하, 도 3에서 이에 대해 자세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 타깃 패치들 중 일부의 클래스를 오분류하는 경우를 나타낸 도면이다.
도 3에서, 조직 이미지 분류 장치(100)의 패치 분류부(130)는 패치(P3)와 패치(P6)의 클래스를 오분류할 수 있다. 일 예로, 패치 분류부(130)는 패치(P3)의 클래스가 실제로는 정상(normal) 클래스인데도 불구하고 비정상(abnormal) 클래스로 분류할 수 있다. 다른 예로, 패치 분류부(130)는 패치(P6)의 클래스가 실제로는 비정상(abnormal) 클래스인데도 불구하고 정상(normal) 클래스로 분류할 수 있다.
패치 분류부(130)가 패치의 클래스를 오분류하는 원인은 다양할 수 있다. 일 예로, 조직을 염색하는 과정에서 패치에 대응하는 부분의 염색 강도(staining intensity), 렌즈 흐림(blurred lense), 빛(lightening), 혈전(blood clot), 조직의 분리(segregated)/찢어짐(teared), 패치를 처리하는 컴퓨팅 시스템의 운영 체제(OS) 등의 원인으로 인해 패치 분류부(130)가 패치의 클래스를 오분류할 수 있다.
이와 같이, 타깃 패치들 중 일부의 클래스가 오분류되어 타깃 패치들에 대한 클래스의 분류 정확도가 감소하면 결과적으로 조직 이미지에 대한 클래스의 분류 정확도도 감소한다. 조직 이미지를 구성하는 타깃 패치들 각각의 클래스의 분류 결과가 조직 이미지 전체에 대한 클래스의 분류 결과에 영향을 미치기 때문이다. 타깃 패치들에 대한 클래스의 분류 정확도가 조금만 감소해도 조직 이미지에 대한 클래스의 분류 정확도는 크게 감소한다.
따라서, 본 발명의 실시예들에서, 조직 이미지 분류 장치(100)는 조직 이미지의 클래스를 분류하기 전에 타깃 패치들 중에서 클래스가 잘못 예측된 오분류(misclassfication) 패치들이 있는지 판단하고 오분류 패치들의 클래스를 수정하여 타깃 패치들에 대한 클래스의 분류 정확도를 높일 수 있다.
일 예로, 오분류 패치들의 클래스를 수정하기 전에 타깃 패치들에 대한 클래스 분류 정확도는 표 2와 같고, 오분류 패치들의 클래스를 수정한 후에 타깃 패치들에 대한 클래스 분류 정확도는 표 3과 같다.
Figure 112022090538340-pat00002
Figure 112022090538340-pat00003
이를 통해, 조직 이미지 분류 장치(100)는 조직 이미지의 클래스를 분류하는 과정에서 에러가 발생할 확률을 감소시킬 수 있다.
일 예로, 오분류 패치들의 클래스를 수정하기 전의 조직 이미지의 분류 정확도는 표 4와 같고, 오분류 패치들의 클래스를 수정한 후의 조직 이미지의 분류 정확도는 표 5와 같다.
Figure 112022090538340-pat00004
Figure 112022090538340-pat00005
본 발명의 실시예들에서, 조직 이미지 분류 장치(100)는 오분류 패치들의 클래스를 수정하기 위해 타깃 그래프를 생성한다. 이하, 이에 대해 자세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 타깃 그래프를 생성하는 동작의 일 예를 나타낸 도면이다.
도 4를 참조하면, 조직 이미지 분류 장치(100)의 타깃 그래프 생성부(140)는 k개(k는 자연수)의 타깃 패치들(P1, ~ , Pk)들의 클래스에 대한 분류 결과를 기초로 타깃 그래프를 생성할 수 있다.
타깃 그래프는 하나 이상의 노드(node)들 및 하나 이상의 에지(edge)들을 포함할 수 있다.
타깃 그래프의 노드들 각각은 타깃 패치들(P1, ~ , Pk) 중 하나에 대응할 수 있다. 도 4에서 타깃 그래프는 k개의 노드들을 포함할 수 있고, k개의 노드들 각각은 타깃 패치들(P1, ~ , Pk) 중 하나에 대응할 수 있다.
그리고 타깃 그래프의 에지들 각각은, 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다(adjacent)는 것을 지시할 수 있다. 이때, 2개의 타깃 패치들이 서로 인접하다는 것은, 조직 이미지 상에서 2개의 타깃 패치들이 서로 붙어 있다는 것을 의미한다. 이때, 2개의 타깃 패치들의 영역을 정의하는 사각형들은 하나의 선분을 공유할 수 있다.
일 예로, 타깃 패치(P1)에 대응하는 노드와 타깃 패치(P2)에 대응하는 노드를 연결하는 에지(E1)는, 타깃 패치(P1)와 타깃 패치(P2)가 서로 인접하다는 것을 지시한다.
다른 예로, 타깃 패치(P2)에 대응하는 노드와 타깃 패치(P3)에 대응하는 노드를 연결하는 에지(E2)는, 조직 이미지 상에서 타깃 패치(P2)와 타깃 패치(P3)가 서로 인접하다는 것을 지시한다.
그리고 타깃 그래프의 노드들 각각은, 각 노드에 대응하는 타깃 패치에 대해 판단한 클래스에 대한 확률값 및 재구성 손실 함수 값을 지시할 수 있다.
이때, 타깃 패치의 클래스는 패치 분류 딥 러닝 모델에 의해 결정될 수 있다. 패치 분류 딥 러닝 모델은 타깃 패치의 클래스가 특정한 클래스(e.g. 정상 클래스)라고 판단할 때, 타깃 패치의 클래스가 특정한 클래스일 확률값(e.g. 0.9)을 계산할 수 있다.
타깃 패치의 클래스에 대한 재구성 손실 함수는, 조직 이미지 분류 장치(100)의 타깃 그래프 생성부(140)가 타깃 패치의 클래스에 대한 분류 결과를 기초로 타깃 그래프를 생성하는 과정에서 해당 타깃 패치의 클래스에 대해 계산된 손실 함수 값을 의미한다. 손실 함수는 타깃 패치에 대한 타입의 예측 값이 타깃 패치의 실제 타입과 얼마나 유사한지를 계산하는 함수이다. 손실 함수는 일 예로 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 평균 제곱근 오차(RMSE), 이진 크로스-엔트로피(Binary Cross-Entropy) 또는 범주형 크로스-엔트로피(Categorical Cross-Entropy) 등일 수 있다.
일 예로, 타깃 패치(P4)에 대응하는 노드는, 타깃 패치(P4)의 클래스가 정상 클래스로 분류되었고, 타깃 패치(P4)의 클래스가 정상 클래스일 확률값이 0.9이고 재구성 손실 함수 값이 0.45라는 것을 지시할 수 있다.
이하, 조직 이미지 분류 장치(100)가 전술한 타깃 그래프를 생성하는 구체적인 방법에 대해 설명한다.
도 5는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 중간 그래프를 기초로 타깃 그래프를 생성하는 동작의 일 예를 나타낸 도면이다.
도 5를 참조하면, 조직 이미지 분류 장치(100)의 타깃 그래프 생성부(140)는 타깃 패치들(P1, ~, Pk)의 클래스에 대한 분류 결과를 기초로 중간 그래프를 생성할 수 있다.
그리고 타깃 그래프 생성부(140)는 중간 그래프를 그래프 재구성 모델에 입력하여 출력된 결과를 기초로 타깃 그래프를 생성할 수 있다.
그래프 재구성 모델은 중간 그래프를 입력받고 타깃 그래프에 대한 정보(e.g. 타깃 그래프에 포함되는 노드들 및 에지들의 정보)를 출력하는 학습된 인공 지능 모델일 수 있다. 타깃 그래프 생성부(140)는 그래프 재구성 모델이 출력한 결과를 기초로 타깃 그래프를 생성할 수 있다.
타깃 그래프 생성부(140)가 그래프 재구성 모델을 이용하여 타깃 그래프를 생성하는 과정에서, 타깃 그래프의 노드들 각각에 대응하는 타깃 패치의 클래스에 대해 전술한 재구성 손실 함수가 계산될 수 있다.
전술한 타깃 그래프와 마찬가지로, 중간 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함할 수 있다.
전술한 타깃 그래프와 마찬가지로, 중간 그래프의 노드들 각각은 타깃 패치들(P1, ~ , Pk) 중 하나에 대응할 수 있다.
전술한 타깃 그래프와 마찬가지로, 중간 그래프의 에지들 각각은, 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시할 수 있다.
한편, 중간 그래프의 노드들 각각은, 각 노드에 대응하는 타깃 패치의 M개(M은 2 이상의 자연수)의 후보 패치 클래스들 별 확률값을 지시할 수 있다.
본 발명의 실시예들에서, 타깃 패치의 클래스는 M개의 후보 패치 클래스들 중 하나로 결정될 수 있다. 이때, 전술한 패치 분류 딥 러닝 모델에 의해 타깃 패치의 후보 패치 클래스들 별 확률값이 계산될 수 있다.
일 예로, 타깃 패치의 클래스가 2개의 후보 패치 클래스들(정상 클래스, 비정상 클래스) 중 하나로 결정될 수 있다.
이때, 해당 타깃 패치에 대응하는 중간 그래프의 노드는 해당 타깃 패치가 정상 클래스일 확률값 및 비정상 클래스일 확률값을 지시할 수 있다. 예를 들어, 중간 그래프에서 패치(P4)에 대응하는 노드는 패치(P4)가 정상 클래스일 확률이 0.9이고 비정상 클래스일 확률이 0.1이라는 것을 지시할 수 있다.
이하, 중간 그래프로부터 타깃 그래프를 생성하기 위해 사용되는 그래프 재구성 모델의 일 예를 설명한다.
도 6은 본 발명의 일 실시예에 따른 그래프 재구성 모델의 일 예를 나타낸 도면이다.
도 6을 참조하면, 그래프 재구성 모델은 오토 인코더(auto encoder)일 수 있다. 그래프 재구성 모델은 인코더(encoder)와 디코더(decoder)를 포함할 수 있다.
그래프 재구성 모델의 인코더는 입력된 데이터를 잠재 벡터(latent vector)로 압축시킬 수 있고, 그래프 재구성 모델의 디코더는 잠재 벡터를 입력된 데이터와 동일한 형태로 복원(디코딩)시킬 수 있다.
전술한 바와 같이, 그래프 재구성 모델은 중간 그래프에 포함된 노드들 및 에지들의 정보를 입력받을 수 있다.
일 예로, 그래프 재구성 모델의 인코더는, 복수의 GCN(Graph Convolution Network) 레이어들을 사용하여 중간 그래프에 포함된 노드들 및 에지들의 정보를 압축하여 잠재 벡터(latent vector)를 생성할 수 있다.
일 예로, 그래프 재구성 모델의 디코더는, 인코더에서 생성한 잠재 벡터를 디코딩하기 위해서 복수의 GCN 레이어들을 사용할 수 있다. 이때, 디코더는 압축된 잠재 벡터로부터 그래프의 특징(feature)을 복원하기 위해 복수의 GCN 레이어들을 사용할 수 있으며 또한 그래프의 구조(structure)를 복원하기 위해 복수의 GCN 레이어들을 사용할 수 있다. 이때, 특징을 복원하기 위해 사용되는 복수의 GCN 레이어들과 구조를 복원하기 위해 사용되는 복수의 GCN 레이어들은 서로 상이할 수 있다.
한편, 그래프의 구조를 복원하는 과정에서 GCN 레이어들의 출력 결과와 출력 결과에 대해 전치된(transposed) 결과를 곱하는 과정을 반복하여 그래프의 구조를 복원할 수 있다. 이하, 조직 이미지 분류 장치(100)가 생성된 타깃 그래프를 기초로 오분류 패치들을 선택하고, 오분류 패치들의 클래스를 수정하는 동작에 대해 설명한다.
도 7은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 오분류 패치들을 선택하는 동작의 일 예를 나타낸 도면이다.
도 7을 참조하면, 조직 이미지 분류 장치(100)의 패치 클래스 수정부(150)는 타깃 그래프를 오분류 검출 모델에 입력하고, 오분류 검출 모델의 출력 결과를 기초로 하여 복수의 타깃 패치들 중에서 어떤 타깃 패치가 오분류 패치인지를 판단할 수 있다.
오분류 검출 모델은 타깃 그래프의 노드들 및 에지들의 정보를 입력받고, 이를 기초로 타깃 패치들 중에서 어떤 타깃 패치가 오분류 패치인지에 대한 정보를 출력하는 딥 러닝 모델이다.
이때, 타깃 그래프의 노드들 각각에 대응하는 타깃 패치의 클래스에 대한 확률값 및 재구성 손실 함수 값이 어떤 타깃 패치가 오분류 패치인지를 결정하는데 영향을 미칠 수 있다. 특정한 노드에 대응하는 타깃 패치의 클래스에 대한 확률값이 작고 반면 재구성 손실 함수 값이 크다면, 해당 타깃 패치가 오분류 패치일 가능성이 높다.
일 예로, 오분류 검출 모델은 복수의 GAT(Graph Attention Network) 레이어들을 사용할 수 있다. 이때, 복수의 GAT 레이어들에 대한 컨볼루션 값 및 복수의 GAT 레이어들의 출력값에 대한 드롭아웃(dropout)은 오분류 검출 모델의 학습에 따라 달라질 수 있다.
도 7에서, 오분류 검출 모델은 복수의 타깃 패치들 중에서 패치(P3)과 패치(P6)이 오분류되었다는 것을 출력할 수 있다.
따라서, 조직 이미지 분류 장치(100)는 타깃 그래프에서 패치(P3)과 패치(P6)의 클래스에 대한 정보를 수정할 수 있다. 이하, 도 8에서 이에 대해 상세히 설명한다.
도 8은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정하는 동작의 일 예를 나타낸 도면이다.
도 8에서, 타깃 패치들의 클래스는 제1 클래스(C1) 또는 제2 클래스(C2)이고, 패치(P3)의 클래스가 제1 클래스(C1)로 오분류되고 패치(P6)의 클래스가 제2 클래스(C2)로 오분류되었다고 가정한다. 일 예로, 제1 클래스(C1)는 정상 클래스일 수 있고 제2 클래스(C2)는 비정상 클래스일 수 있다.
도 8을 참조하면, 조직 이미지 분류 장치(100)의 패치 클래스 수정부(150)는 복수의 타깃 패치들 중에서 패치(P3)과 패치(P6)이 오분류 패치라는 정보를 오분류 검출 모델로부터 획득할 수 있다.
이를 기초로, 패치 클래스 수정부(150)는 타깃 그래프에 포함된 노드들 중 패치(P3)에 대응하는 노드 및 패치(P6)에 대응하는 노드를 탐색하고, 패치(P3)에 대응하는 노드에서 패치(P3)의 클래스를 제1 클래스(C1)에서 제2 클래스(C2)로 변경하고, 패치(P6)의 클래스를 제2 클래스(C2)에서 제1 클래스(C1)로 변경할 수 있다.
이하, 조직 이미지 분류 장치(100)가 오분류 패치들의 클래스를 수정한 후, 조직 이미지의 클래스를 판단하는 동작을 설명한다.
도 9는 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 조직 이미지의 클래스를 판단하는 동작의 일 예를 나타낸 도면이다.
도 9를 참조하면, 조직 이미지 분류 장치(100)의 조직 이미지 분류부(160)는 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들 중 제1 조직 이미지 분류 딥 러닝 모델에 입력할 수 있다.
이때, 조직 이미지 분류 장치(100)의 패치 클래스 수정부(150)에 의해서, 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보가 수정되었다.
제1 조직 이미지 분류 딥 러닝 모델은 타깃 그래프를 입력받아, 조직 이미지의 클래스가 N개(N은 2 이상의 자연수)의 후보 조직 이미지 클래스들 중 제1 조직 이미지 클래스인지 여부에 대한 정보를 출력할 수 있는 딥 러닝 모델이다.
제1 조직 이미지 분류 딥 러닝 모델은 입력받은 타깃 그래프를 처리하기 위하여 복수의 GCN(Graph Convolution Neural Network) 레이어들을 포함할 수 있다. 한편, 제1 조직 이미지 분류 딥 러닝 모델은 복수의 GCN 레이어들의 출력값을 처리하기 위한 추가 레이어들(e.g. global mean pool, dropout, linear)을 추가로 포함할 수 있다.
타깃 그래프는 특정한 조직 이미지로부터 분할된 타깃 패치들을 기초로 생성되므로, 제1 조직 이미지 분류 딥 러닝 모델은 타깃 그래프의 정보를 기초로 하여 타깃 그래프에 대응하는 조직 이미지의 클래스를 분류할 수 있다.
한편, N개의 조직 이미지 클래스들은 다양하게 결정될 수 있다.
일 예로, 조직 이미지의 클래스는 3개의 후보 조직 이미지 클래스들(악성(malignant) 클래스, 이형(dysplasia) 클래스, 정상(normal) 클래스) 중 하나일 수 있다.
악성(malignant) 클래스는 선암(adenocarcinoma), 선암으로 의심(suspicious), 선암을 암시(suggestive), 고도 림프종(high-grade lymphoma) 및 기타 암종(carcinoma)를 포함하는 악성 신생물(malignant neoplasm)을 지시하는 클래스일 수 있다.
이형성(dysplasia) 클래스는 모든 등급의 이형성증이 있는 관상 선종(tubular adenoma)을 포함하는 이형성(dysplasia)을 지시하는 클래스일 수 있다.
정상(normal) 클래스는 비종양성(nonneoplastic) 양성 병변(e.g. 위염(gastritis), 폴립(polyps))을 지시하는 클래스일 수 있다. 한편, 정상 클래스는 양성(benign) 클래스로 호칭될 수도 있다.
다른 예로, 조직 이미지의 클래스는 4개의 후보 조직 이미지 클래스들(악성(malignant) 클래스, 이형(dysplasia) 클래스, 미분류(uncategorized) 클래스, 정상(normal) 클래스) 중 하나일 수 있다.
전술한 악성(malignant) 클래스, 이형(dysplasia) 클래스, 정상(normal) 클래스 이외에, 미분류(uncategorized) 클래스는 비정형 선 증식(atypical glandular proliferation), 신경 내분비 종양(neuroendocrine tumors), 점막하 종양(submucosal tumors), 저등급 림프종(low-grade lymphoma) 및 기질 종양(stromal tumors) 등 전술한 3가지 타입에 해당되지 않는 나머지 병변(lesions)을 지시하는 클래스일 수 있다.일 예로, 제1 조직 이미지 분류 딥 러닝 모델은, 조직 이미지의 클래스가 3개의 후보 조직 이미지 클래스들(악성(malignant) 클래스, 이형(dysplasia) 클래스, 정상(normal) 클래스) 중 정상 클래스인지 여부를 출력할 수 있다.
조직 이미지 분류부(160)는, 제1 조직 이미지 분류 딥 러닝 모델이 출력한 정보를 기초로 조직 이미지의 클래스가 제1 조직 이미지 클래스인지 판단할 수 있다. 이하, 도 10에서 이에 대해 보다 자세히 설명한다.
도 10은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(100)가 조직 이미지의 클래스를 판단하는 동작의 다른 예를 나타낸 도면이다.
도 10을 참조하면, 조직 이미지 분류 장치(100)의 조직 이미지 분류부(160)는, 제1 조직 이미지 분류 딥 러닝 모델이 조직 이미지의 클래스가 제1 조직 이미지 클래스(e.g. 정상(normal) 클래스)라는 정보를 출력한 경우에, 조직 이미지의 클래스가 제1 조직 이미지 클래스라고 판단할 수 있다.
반면, 조직 이미지 분류부(160)는 제1 조직 이미지 분류 딥 러닝 모델이 조직 이미지의 클래스가 제1 조직 이미지 클래스가 아닌 다른 조직 이미지 클래스(e.g. 악성(malignant) 클래스)라는 정보를 출력한 경우에, 타깃 그래프를 제2 조직 이미지 분류 딥 러닝 모델에 입력하여 조직 이미지의 클래스를 결정할 수 있다.
제2 조직 이미지 분류 딥 러닝 모델은, 조직 이미지의 클래스가 제1 조직 이미지 클래스가 아닌 다른 조직 이미지 클래스(e.g. 악성(malignant) 클래스 또는 이형(dysplasia) 클래스)인지 여부를 출력할 수 있다.
일 예로, 조직 이미지 분류부(160)는, 제2 조직 이미지 분류 딥 러닝 모델이 조직 이미지가 제2 조직 이미지 클래스(e.g. 악성(malignant) 클래스)라는 정보를 출력한 경우에, 조직 이미지의 클래스가 제2 조직 이미지 클래스라고 판단할 수 있다.
도 11은 본 발명의 일 실시예에 따른 조직 이미지 분류 방법(1100)을 나타낸 도면이다.
도 11을 참조하면, 조직 이미지 분류 방법(1100)은 조직이 촬영된 조직 이미지를 입력받는 입력 단계(S1110)를 포함할 수 있다. 입력 단계(S1110)는 조직 이미지 분류 장치(100)의 입력부(110)에 의해 실행될 수 있다.
그리고 조직 이미지 분류 방법(1100)은 입력 단계(S1110)에서 입력된 조직 이미지를 복수의 패치들로 분할하는 분할 단계(S1120)를 포함할 수 있다. 분할 단계(S1120)는 조직 이미지 분류 장치(100)의 분할부(120)에 의해 실행될 수 있다.
그리고 조직 이미지 분류 방법(1100)은 분할 단계(S1120)에서 분할된 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 패치 분류 단계(S1130)를 포함할 수 있다. 패치 분류 단계(S1130)는 조직 이미지 분류 장치(100)의 패치 분류부(130)에 의해 실행될 수 있다.
그리고 조직 이미지 분류 방법(1100)은 패치 분류 단계(S1130)에서 생성된 타깃 패치들의 클래스에 대한 분류 결과를 기초로 타깃 그래프를 생성하는 타깃 그래프 생성 단계(S1140)를 포함할 수 있다. 이때, 타깃 그래프는 타깃 패치들의 클래스에 대한 정보를 지시하는 그래프일 수 있다. 타깃 그래프 생성 단계(S1140)는 조직 이미지 분류 장치(100)의 타깃 그래프 생성부(140)에 의해 실행될 수 있다.
일 예로, 타깃 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함할 수 있다. 이때, 타깃 그래프의 노드들 각각은 타깃 패치들 중 하나에 대응하고, 타깃 그래프의 에지들 각각은 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시할 수 있다. 그리고 타깃 그래프의 노드들 각각은 타깃 그래프의 각 노드에 대응하는 타깃 패치에 대해 패치 분류 딥 러닝 모델을 기초로 판단한 클래스에 대한 확률값 및 재구성 손실 함수 값을 지시할 수 있다.
한편, 타깃 그래프 생성 단계(S1140)는 타깃 패치들의 클래스에 대한 분류 결과를 기초로 중간 그래프를 생성하는 단계 및 중간 그래프를 그래프 재구성 모델에 입력하여 출력된 결과를 기초로 타깃 그래프를 생성하는 단계를 포함할 수 있다.
일 예로, 중간 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함할 수 있다. 이때, 중간 그래프의 노드들 각각은 타깃 패치들 중 하나에 대응하고, 중간 그래프의 에지들 각각은 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시할 수 있다. 그리고 중간 그래프의 노드들 각각은, 중간 그래프의 각 노드에 대응하는 타깃 패치의 M개(M 이상의 자연수)의 후보 패치 클래스들 별 확률값을 지시할 수 있다.
일 예로, 그래프 재구성 모델은 오토 인코더일 수 있다.
그리고 조직 이미지 분류 방법(1100)은 타깃 그래프 생성 단계(S1140)에서 생성된 타깃 그래프를 기초로 하여 타깃 패치들 중 하나 이상의 오분류(misclassfication) 패치들을 선택하고, 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정하는 패치 클래스 수정 단계(S1150)를 포함할 수 있다. 패치 클래스 수정 단계(S1150)는 조직 이미지 분류 장치(100)의 패치 클래스 수정부(150)에 의해 실행될 수 있다.
일 예로, 패치 클래스 수정 단계(S1150)는 타깃 그래프를 오분류 검출 모델에 입력하여 오분류 패치들을 선택할 수 있다.
그리고 조직 이미지 분류 방법(1100)은 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 조직 이미지의 클래스를 분류하는 조직 이미지 분류 단계(S1160)를 포함할 수 있다. 조직 이미지 분류 단계(S1160)는 조직 이미지 분류 장치(100)의 조직 이미지 분류부(160)에 의해 실행될 수 있다.
일 예로, 조직 이미지 분류 단계(S1160)는 타깃 그래프를 조직 이미지 분류 딥 러닝 모델들 중 제1 조직 이미지 분류 딥 러닝 모델에 입력하는 단계 및 조직 이미지의 클래스가 N개(N은 2 이상의 자연수)의 후보 조직 이미지 클래스들 중 제1 조직 이미지 클래스인지 여부를 결정하는 단계를 포함할 수 있다.
일 예로, 조직 이미지 분류 단계(S1160)는 조직 이미지의 클래스가 제1 조직 이미지 클래스가 아니라고 판단할 때, 타깃 그래프를 조직 이미지 분류 딥 러닝 모델들 중 제2 조직 이미지 분류 딥 러닝 모델에 입력하여 조직 이미지의 클래스를 결정하는 단계를 추가로 포함할 수 있다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅 시스템(1200)의 구성도이다.
도 12를 참조하면, 컴퓨팅 시스템(1200)은 메모리(1210) 및 프로세서(1220)를 포함할 수 있다.
메모리(1210)는 조직이 촬영된 조직 이미지 및 조직 이미지가 분할된 복수의 패치들을 저장할 수 있다. 메모리(1210)는 휘발성 메모리(e.g. SRAM, DRAM) 또는 비휘발성 메모리(e.g. NAND Flash)일 수 있다.
프로세서(1220)는 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 타깃 패치들의 클래스에 대한 분류 결과를 생성할 수 있다.
그리고 프로세서(1220)는 타깃 패치들의 클래스에 대한 분류 결과를 기초로 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성할 수 있다.
그리고 프로세서(1220)는 타깃 그래프를 기초로 타깃 패치들 중 하나 이상의 오분류(misclassfication) 패치들을 선택하고, 타깃 그래프에서 오분류 패치들의 클래스에 대한 정보를 수정할 수 있다.
그리고 프로세서(1220)는 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 조직 이미지의 클래스를 분류할 수 있다.
프로세서(1220)는 도 1에서 설명한 조직 이미지 분류 장치(100)의 입력부(110), 분할부(120), 패치 분류부(130), 타깃 그래프 생성부(140), 패치 클래스 수정부(150) 및 조직 이미지 분류부(160)의 기능을 실행할 수 있다.
전술한 조직 이미지 분류 장치(100)는, 프로세서, 메모리, 사용자 입력 장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 수 있도록 코딩되어 있는 컴퓨터-판독 가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력 장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력 장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력 수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동 장치등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
한편, 컴퓨팅 장치는 고전(classic) 컴퓨팅 장치가 아니라 양자(quantum) 컴퓨팅 장치일 수 있다. 양자 컴퓨팅 장치는 비트가 아닌 큐비트(Qubit) 단위로 연산을 수행한다. 큐비트는 0과 1이 동시에 중첩(superposition)되는 상태를 가질 수 있으며, M개의 큐비트가 있으면 동시에 2^M개의 상태를 표현할 수 있다.
양자 컴퓨팅 장치는 양자 연산을 수행하기 위해 하나 이상의 큐비트를 입력받아 지정된 연산을 수행하는 다양한 종류의 양자 게이트들(e.g. Pauli / Rotation / Hadamard / CNOT / SWAP / Toffoli)를 사용할 수 있고, 양자 게이트들을 조합하여 특수한 기능을 하는 양자 회로를 구성할 수 있다.
양자 컴퓨팅 장치는 기존의 인공 신경망(e.g. CNN, RNN)이 수행하는 기능을 적은 파라미터를 사용하면서도 더 빠른 속도로 수행할 수 있는 양자 인공 신경망(e.g. QCNN, QGRNN)을 사용할 수 있다.
또한 전술한 조직 이미지 분류 방법(1100)은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 조직 이미지 분류 방법(1100)을 수행할 수 있도록 코딩된 컴퓨터 판독 가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 조직 이미지 분류 방법(1100)은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 조직 이미지 분류 방법(1100)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 조직 이미지 분류 방법(1100)을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 조직 이미지 분류 방법(1100)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성 요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 조직 이미지 분류 방법(1100)을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 조직 이미지 분류 방법(1100)을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 11을 통해 설명된 조직 이미지 분류 방법(1100)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 조직 이미지 분류 방법(1100)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 조직 이미지 분류 방법(1100)은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 조직 이미지 분류 장치
110: 입력부
120: 분할부
130: 패치 분류부
140: 타깃 그래프 생성부
150: 패치 클래스 수정부
160: 조직 이미지 분류부

Claims (19)

  1. 조직이 촬영된 조직 이미지를 입력받는 입력부;
    상기 조직 이미지를 복수의 패치들로 분할하는 분할부;
    상기 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 상기 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 패치 분류부;
    상기 타깃 패치들의 클래스에 대한 분류 결과를 기초로 상기 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하는 타깃 그래프 생성부;
    상기 타깃 그래프를 기초로 상기 타깃 패치들 중 하나 이상의 오분류(misclassfication) 패치들을 선택하고, 상기 타깃 그래프에서 상기 오분류 패치들의 클래스에 대한 정보를 수정하는 패치 클래스 수정부; 및
    상기 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 상기 조직 이미지의 클래스를 분류하는 조직 이미지 분류부를 포함하는 조직 이미지 분류 장치.
  2. 제1항에 있어서,
    상기 타깃 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함하고,
    상기 타깃 그래프의 노드들 각각은 상기 타깃 패치들 중 하나에 대응하고,
    상기 타깃 그래프의 에지들 각각은 상기 타깃 그래프의 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시하고,
    상기 타깃 그래프의 노드들 각각은, 상기 타깃 그래프의 각 노드에 대응하는 타깃 패치에 대해 상기 패치 분류 딥 러닝 모델을 기초로 판단한 클래스에 대한 확률값 및 재구성 손실 함수 값을 지시하는 조직 이미지 분류 장치.
  3. 제2항에 있어서,
    상기 타깃 그래프 생성부는,
    상기 타깃 패치들의 클래스에 대한 분류 결과를 기초로 중간 그래프를 생성하고,
    상기 중간 그래프를 그래프 재구성 모델에 입력하여 출력된 결과를 기초로 상기 타깃 그래프를 생성하는 조직 이미지 분류 장치.
  4. 제3항에 있어서,
    상기 중간 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함하고,
    상기 중간 그래프의 노드들 각각은 상기 타깃 패치들 중 하나에 대응하고,
    상기 중간 그래프의 에지들 각각은 상기 중간 그래프의 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시하고,
    상기 중간 그래프의 노드들 각각은, 상기 중간 그래프의 각 노드에 대응하는 타깃 패치의 M개(M은 2 이상의 자연수)의 후보 패치 클래스들 별 확률값을 지시하는 조직 이미지 분류 장치.
  5. 제4항에 있어서,
    상기 M은 2이고,
    상기 후보 패치 클래스들은 정상 클래스 및 비정상 클래스인 조직 이미지 분류 장치.
  6. 제3항에 있어서,
    상기 그래프 재구성 모델은,
    오토 인코더인 조직 이미지 분류 장치.
  7. 제1항에 있어서,
    상기 패치 클래스 수정부는,
    상기 타깃 그래프를 오분류 검출 모델에 입력하여 상기 오분류 패치들을 선택하는 조직 이미지 분류 장치.
  8. 제1항에 있어서,
    상기 조직 이미지 분류부는,
    상기 타깃 그래프를 상기 조직 이미지 분류 딥 러닝 모델들 중 제1 조직 이미지 분류 딥 러닝 모델에 입력하여, 상기 조직 이미지의 클래스가 N개(N은 2 이상의 자연수)의 후보 조직 이미지 클래스들 중 제1 조직 이미지 클래스인지 여부를 결정하는 조직 이미지 분류 장치.
  9. 제8항에 있어서,
    상기 N은 3이고,
    상기 후보 조직 이미지 클래스들은 악성(malignant) 클래스, 이형성(dysplasia) 클래스 및 정상(normal) 클래스인 조직 이미지 분류 장치.
  10. 제8항에 있어서,
    상기 조직 이미지 분류부는,
    상기 조직 이미지의 클래스가 상기 제1 조직 이미지 클래스가 아니라고 판단할 때, 상기 타깃 그래프를 상기 조직 이미지 분류 딥 러닝 모델들 중 제2 조직 이미지 분류 딥 러닝 모델에 입력하여 상기 조직 이미지의 클래스를 결정하는 조직 이미지 분류 장치.
  11. 조직이 촬영된 조직 이미지를 입력받는 입력 단계;
    상기 조직 이미지를 복수의 패치들로 분할하는 분할 단계;
    상기 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 상기 타깃 패치들의 클래스에 대한 분류 결과를 생성하는 패치 분류 단계;
    상기 타깃 패치들의 클래스에 대한 분류 결과를 기초로 상기 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하는 타깃 그래프 생성 단계;
    상기 타깃 그래프를 기초로 상기 타깃 패치들 중 하나 이상의 오분류(misclassfication) 패치들을 선택하고, 상기 타깃 그래프에서 상기 오분류 패치들의 클래스에 대한 정보를 수정하는 패치 클래스 수정 단계; 및
    상기 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 상기 조직 이미지의 클래스를 분류하는 조직 이미지 분류 단계;를 포함하는 조직 이미지 분류 방법.
  12. 제11항에 있어서,
    상기 타깃 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함하고,
    상기 타깃 그래프의 노드들 각각은 상기 타깃 패치들 중 하나에 대응하고,
    상기 타깃 그래프의 에지들 각각은 상기 타깃 그래프의 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시하고,
    상기 타깃 그래프의 노드들 각각은, 상기 타깃 그래프의 각 노드에 대응하는 타깃 패치에 대해 상기 패치 분류 딥 러닝 모델을 기초로 판단한 클래스에 대한 확률값 및 재구성 손실 함수 값을 지시하는 조직 이미지 분류 방법.
  13. 제12항에 있어서,
    상기 타깃 그래프 생성 단계는,
    상기 타깃 패치들의 클래스에 대한 분류 결과를 기초로 중간 그래프를 생성하는 단계; 및
    상기 중간 그래프를 그래프 재구성 모델에 입력하여 출력된 결과를 기초로 상기 타깃 그래프를 생성하는 단계를 포함하는 조직 이미지 분류 방법.
  14. 제13항에 있어서,
    상기 중간 그래프는 하나 이상의 노드들 및 하나 이상의 에지들을 포함하고,
    상기 중간 그래프의 노드들 각각은 상기 타깃 패치들 중 하나에 대응하고,
    상기 중간 그래프의 에지들 각각은 상기 중간 그래프의 각 에지에 연결된 2개의 노드들에 대응하는 2개의 타깃 패치들이 서로 인접하다는 것을 지시하고,
    상기 중간 그래프의 노드들 각각은, 상기 중간 그래프의 각 노드에 대응하는 타깃 패치의 M개(M은 2 이상의 자연수)의 후보 패치 클래스들 별 확률값을 지시하는 조직 이미지 분류 방법.
  15. 제13항에 있어서,
    상기 그래프 재구성 모델은,
    오토 인코더인 조직 이미지 분류 방법.
  16. 제11항에 있어서,
    상기 패치 클래스 수정 단계는,
    상기 타깃 그래프를 오분류 검출 모델에 입력하여 상기 오분류 패치들을 선택하는 조직 이미지 분류 방법.
  17. 제11항에 있어서,
    상기 조직 이미지 분류 단계는,
    상기 타깃 그래프를 상기 조직 이미지 분류 딥 러닝 모델들 중 제1 조직 이미지 분류 딥 러닝 모델에 입력하는 단계; 및
    상기 조직 이미지의 클래스가 N개(N은 2 이상의 자연수)의 후보 조직 이미지 클래스들 중 제1 조직 이미지 클래스인지 여부를 결정하는 단계를 포함하는 조직 이미지 분류 방법.
  18. 제17항에 있어서,
    상기 조직 이미지 분류 단계는,
    상기 조직 이미지의 클래스가 상기 제1 조직 이미지 클래스가 아니라고 판단할 때, 상기 타깃 그래프를 상기 조직 이미지 분류 딥 러닝 모델들 중 제2 조직 이미지 분류 딥 러닝 모델에 입력하여 상기 조직 이미지의 클래스를 결정하는 단계를 추가로 포함하는 조직 이미지 분류 방법.
  19. 조직이 촬영된 조직 이미지 및 상기 조직 이미지가 분할된 복수의 패치들을 저장하는 메모리; 및
    상기 복수의 패치들 중 하나 이상의 타깃 패치들을 패치 분류 딥 러닝 모델에 입력하여 상기 타깃 패치들의 클래스에 대한 분류 결과를 생성하고,
    상기 타깃 패치들의 클래스에 대한 분류 결과를 기초로 상기 타깃 패치들의 클래스에 대한 정보를 지시하는 타깃 그래프를 생성하고,
    상기 타깃 그래프를 기초로 상기 타깃 패치들 중 하나 이상의 오분류(misclassfication) 패치들을 선택하고,
    상기 타깃 그래프에서 상기 오분류 패치들의 클래스에 대한 정보를 수정하고,
    상기 타깃 그래프를 하나 이상의 조직 이미지 분류 딥 러닝 모델들에 입력하여 상기 조직 이미지의 클래스를 분류하는 프로세서를 포함하는 컴퓨팅 시스템.
KR1020220108458A 2022-08-29 2022-08-29 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법 KR102552147B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220108458A KR102552147B1 (ko) 2022-08-29 2022-08-29 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220108458A KR102552147B1 (ko) 2022-08-29 2022-08-29 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Publications (1)

Publication Number Publication Date
KR102552147B1 true KR102552147B1 (ko) 2023-07-11

Family

ID=87159999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220108458A KR102552147B1 (ko) 2022-08-29 2022-08-29 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Country Status (1)

Country Link
KR (1) KR102552147B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
JP7101809B2 (ja) * 2018-11-30 2022-07-15 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7101809B2 (ja) * 2018-11-30 2022-07-15 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
KR102108050B1 (ko) * 2019-10-21 2020-05-07 가천대학교 산학협력단 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
G. Campanella 외, "Clinical-grade computational pathology using weakly supervised deep learning on whole slide images", Nature Medicine, 25:1301-1309. (2019.07.15.) *
J. Levy 외, "Topological Feature Extraction and Visualization of Whole Slide Images using Graph Neural Networks", Biocomputing 2021, pp. 285-296. (2020.) *
K. Faust 외, "Visualizing histopathologic deep learning classification and anomaly detection using nonlinear feature space dimensionality reduction", BMC Bioinformatics, 19:173. (2018.05.16.) *
M. Adnan 외, "Representation Learning of Histopathology Images using Graph Neural Networks", arXiv, 2004.07399v2. (2020.04.17.) *
R. J. Chen 외, "Whole Slide Images are 2D Point Clouds: Context-Aware Survival Prediction using Patch-based Graph Convolutional Networks",arXiv, 2107.13048v1. (2021.07.27.) *
Y. Zheng 외, "A graph-transformer for whole slide image classification", arXiv, 2205.09671v1. (2022.05.19.) *

Similar Documents

Publication Publication Date Title
US11482022B2 (en) Systems and methods for image classification
Wang et al. RMDL: Recalibrated multi-instance deep learning for whole slide gastric image classification
Wu et al. Meta-rcnn: Meta learning for few-shot object detection
Yang et al. Deep learning for practical image recognition: Case study on kaggle competitions
Ba et al. Multiple object recognition with visual attention
US9990567B2 (en) Method and apparatus for spawning specialist belief propagation networks for adjusting exposure settings
Ma et al. Transfer learning model for false positive reduction in lymph node detection via sparse coding and deep learning
US11288567B2 (en) Method for training deep neural network (DNN) using auxiliary regression targets
WO2023051140A1 (zh) 用于图像特征表示生成的方法、设备、装置和介质
US11816185B1 (en) Multi-view image analysis using neural networks
CN112183602B (zh) 一种带有并行卷积块的多层特征融合细粒度图像分类方法
Mostayed et al. Content-adaptive u-net architecture for medical image segmentation
Carrinho et al. Highly accurate and fast YOLOv4-Based polyp detection
KR102552147B1 (ko) 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법
Hong et al. Graph partitioning algorithms with biological connectivity decisions for neuron reconstruction in electron microscope volumes
Lei et al. Meta ordinal weighting net for improving lung nodule classification
KR102642137B1 (ko) 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102642132B1 (ko) 딥 러닝 모델을 이용한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102586484B1 (ko) 분류 과정에서 발생하는 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
El Moudden et al. Building an efficient convolution neural network from scratch: A case study on detecting and localizing slums
Wang et al. MIFNet: Multiple instances focused temporal action proposal generation
Duffner et al. Multiple instance learning for training neural networks under label noise
Chow et al. Explored seeds generation for weakly supervised semantic segmentation
Zheng et al. Complex mixer for medmnist classification decathlon
US20240062064A1 (en) Artificial Intelligence Computing Systems for Efficiently Learning Underlying Features of Data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant