KR102237288B1 - 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 - Google Patents

기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 Download PDF

Info

Publication number
KR102237288B1
KR102237288B1 KR1020190014469A KR20190014469A KR102237288B1 KR 102237288 B1 KR102237288 B1 KR 102237288B1 KR 1020190014469 A KR1020190014469 A KR 1020190014469A KR 20190014469 A KR20190014469 A KR 20190014469A KR 102237288 B1 KR102237288 B1 KR 102237288B1
Authority
KR
South Korea
Prior art keywords
image
machine learning
learning algorithm
bright
images
Prior art date
Application number
KR1020190014469A
Other languages
English (en)
Other versions
KR20190095901A (ko
Inventor
정원기
이규현
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Publication of KR20190095901A publication Critical patent/KR20190095901A/ko
Application granted granted Critical
Publication of KR102237288B1 publication Critical patent/KR102237288B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medicinal Chemistry (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Food Science & Technology (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 이미지 변환 방법은, 명시야 이미지(bright-field image)를 획득하는 단계와, 제1 기계학습 알고리즘을 이용하여 상기 명시야 이미지에 대해 세포의 외곽이 드러나도록 전처리를 수행하고, 상기 전처리된 명시야 이미지를 상기 세포의 핵이 드러나는 형광 이미지(fluorescence image)로 변환하는 단계와, 제2 기계학습 알고리즘을 이용하여 상기 변환된 형광 이미지를 보정하는 단계를 포함하고, 상기 제1 기계학습 알고리즘은 복수의 명시야 이미지를 이용하여 학습이 수행되고, 상기 제2 기계학습 알고리즘은 상기 복수의 명시야 이미지와 상기 제1 기계학습 알고리즘에 의한 상기 복수의 명시야 이미지의 변환된 복수의 형광 이미지를 이용하여 학습이 수행될 수 있다.

Description

기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 {METHOD AND APPARATUS FOR IMAGE CONVERSION USING MACHINE LEARNING ALGORITHM}
본 발명은 기계학습 알고리즘을 이용하여 명시야 이미지를 형광 이미지로 변환하는 방법 및 장치에 관한 것이다.
기존의 세포의 형광 이미지는, 세포의 박제 및 세포 핵 바이오마커 염색을 수행한 후 형광 현미경(fluorescent microscope)을 이용하여 획득된다. 예를 들어, 세포의 형광 이미지는 형광체가 특정 파장의 빛을 흡수하면 형광을 발하는 원리를 이용하여, 세포의 염색을 위해 형광 물질(형광 색소)을 처리한 후, 세포에 형광 물질의 흡수 파장의 광을 조사하여 세포로부터 발산되는 방사광에 의해 획득된다. 또한, 세포가 움직이지 않도록 수일에 걸쳐 박제 과정을 진행하게 된다.
이러한 형광 이미지는 일반적인 광학 현미경에 의해 획득되는 이미지, 즉 명시야 이미지에 비해 선명하기 때문에 세포의 관찰을 위해 널리 이용되지만. 형광 이미지의 획득에 있어 박제 및 염색 과정을 거쳐야 하기 때문에 다소 시간이 소요된다. 또한, 박제 및 염색 과정에 있어서 추가적인 비용이 소요된다.
이에 따라, 보다 경제적이며, 용이하게 형광 이미지를 획득하기 위한 기술이 요구된다.
한국등록특허 제10-1784063호 (2017년 09월 26일 등록)
본 발명이 해결하고자 하는 과제는, 기계학습 알고리즘을 이용하여 명시야 이미지로부터 형광 이미지를 획득하는 이미지 변환 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 변환 방법은, 명시야 이미지(bright-field image)를 획득하는 단계와, 제1 기계학습 알고리즘을 이용하여 상기 명시야 이미지에 대해 세포의 외곽이 드러나도록 전처리를 수행하고, 상기 전처리된 명시야 이미지를 상기 세포의 핵이 드러나는 형광 이미지(fluorescence image)로 변환하는 단계와, 제2 기계학습 알고리즘을 이용하여 상기 변환된 형광 이미지를 보정하는 단계를 포함하고, 상기 제1 기계학습 알고리즘은 복수의 명시야 이미지를 이용하여 학습이 수행되고, 상기 제2 기계학습 알고리즘은 상기 복수의 명시야 이미지와 상기 제1 기계학습 알고리즘에 의한 상기 복수의 명시야 이미지의 변환된 복수의 형광 이미지를 이용하여 학습이 수행될 수 있다.
상기 전처리는, 상기 제1 기계학습 알고리즘의 제1 영역을 이용하여, 상기 명시야 이미지의 대조비(contrast ratio)를 조정하는 것일 수 있다.
또한, 상기 형광 이미지로 변환은, 상기 제1 기계학습 알고리즘의 제2 영역을 이용하여, 상기 명시야 이미지에 포함되는 세포의 모양과 외곽이 드러나며, 소정의 모달리티(modality)를 가지도록 상기 명시야 이미지를 처리하는 것일 수 있다.
또한, 상기 소정의 모달리티(modality)는, 상기 형광 이미지의 모달리티일 수 있다.
또한, 상기 형광 이미지를 보정하는 단계는, 상기 제2 기계학습 알고리즘에 상기 명시야 이미지 및 상기 변환된 형광 이미지를 입력하여 상기 형광 이미지에 상기 세포의 윤곽, 형태 및 상기 세포의 핵이 드러나도록 보정할 수 있다.
또한, 상기 복수의 명시야 이미지는, 명시야 이미지에 대해 세포의 분포 밀도가 소정 값 이상인 영역에 대해 소정 크기로 분할되어 생성된 복수의 이미지를 포함할 수 있다.
또한, 상기 제1 기계학습 알고리즘과 상기 제2 기계학습 알고리즘 각각은 CNN(convolution neural network)일 수 있다.
본 발명의 일 실시예에 따른 이미지 변환 장치는, 명시야 이미지(bright-field image)를 획득하는 이미지 획득부와, 제1 기계학습 알고리즘을 이용하여 상기 명시야 이미지에 포함된 세포의 외곽이 드러나도록 전처리를 수행하고, 상기 전처리된 명시야 이미지를 상기 세포의 핵이 드러나는 형광 이미지(fluorescence image)로 변환하는 이미지 변환부와, 제2 기계학습 알고리즘을 이용하여 상기 변환된 형광 이미지를 보정하는 이미지 보정부를 포함하고, 상기 제1 기계학습 알고리즘은 복수의 명시야 이미지를 이용하여 학습이 수행되고, 상기 제2 기계학습 알고리즘은 상기 복수의 명시야 이미지와 상기 제1 기계학습 알고리즘에 의한 상기 복수의 명시야 이미지의 변환된 복수의 형광 이미지를 이용하여 학습이 수행될 수 있다.
또한, 상기 전처리는, 상기 제1 기계학습 알고리즘의 제1 영역을 이용하여, 명시야 이미지의 대조비(contrast ratio)를 조정하는 것일 수 있다.
또한, 상기 형광 이미지로 변환은, 상기 제1 기계학습 알고리즘의 제2 영역을 이용하여, 상기 명시야 이미지에 포함되는 세포의 모양과 외곽이 드러나며, 소정의 모달리티(modality)를 가지도록 상기 명시야 이미지를 처리하는 것일 수 있다.
또한, 상기 소정의 모달리티(modality)는, 상기 형광 이미지의 모달리티일 수 있다.
또한, 상기 이미지 보정부는, 상기 제2 기계학습 알고리즘에 상기 명시야 이미지 및 상기 변환된 형광 이미지를 입력하여 상기 형광 이미지에 상기 세포의 윤곽, 형태 및 상기 세포의 핵이 드러나도록 보정할 수 있다.
또한, 상기 복수의 명시야 이미지는, 명시야 이미지에 대해 세포의 분포 밀도가 소정 값 이상인 영역에 대해 소정 크기로 분할되어 생성된 복수의 이미지를 포함할 수 있다.
또한, 상기 제1 기계학습 알고리즘과 상기 제2 기계학습 알고리즘 각각은 CNN(convolution neural network)일 수 있다.
본 발명의 실시예에 따른 이미지 변환 장치 및 방법은, 기계학습 알고리즘을 이용하여 명시야 이미지로부터 형광 이미지를 획득함으로써, 보다 신속하고 용이하게 형광 이미지가 획득되도록 할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 변환 방법의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 이미지 변환 방법에서 이용되는 데이터베이스의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 이미지 변환 장치의 기능 블록도의 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 이미지 변환 방법의 각 단계의 흐름도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 이미지 변환 방법의 실험 결과의 예를 도시한다.
도 6은 본 발명의 일 실시예에 따른 이미지 변환 방법의 실험 결과의 다른 예를 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 일 실시예에 따른 이미지 변환 방법의 개념도를 도시한다.
도 1을 참조하면, 명시야 이미지(bright-field image)(11)는 제1 기계학습 알고리즘(20)에 의해 형광 이미지(fluorescence image)(12)로 변환될 수 있다. 여기서, 명시야 이미지(11)는 세포를 밝은 빛으로 직접 조명하여 획득되는 이미지로 밝은 배경에서 어두운 상을 가지는 이미지일 수 있다. 형광 이미지 (12)는 형광 물질로 염색된 세포에서 나온 형광 빛에 기초하여 획득되는 이미지로, 염색된 세포가 형광을 띄도록 나타나는 특징을 가지는 이미지일 수 있다. 명시야 이미지(11) 및 형광 이미지(12)의 특징에 대해서는 통상의 기술자에게 용이한 바 자세한 설명을 생략한다.
제1 기계학습 알고리즘(20)은 제1 영역(21)과 제2 영역(22)으로 구분되어 수행될 수 있다. 제1 기계학습 알고리즘(20)은 제1 영역(21)을 통해 명시야 이미지(11)에 대한 전처리를 수행하고, 제2 영역(22)을 통해 형광 이미지(12)에 상응하는 모달리티(modality)를 갖도록 전처리된 명시야 이미지(11)를 변환할 수 있다.
예를 들어, 제1 기계학습 알고리즘(20)은, 제1 영역(21)을 통해 명시야 이미지(11)의 대조비(contrast)를 소정 값 이상으로 향상시킬 수 있고, 제2 영역(22)을 통해 명시야 이미지(11)에 포함되는 세포의 모양과 외곽이 드러나며, 형광 이미지(12)에 상응하는 모달리티를 가지도록 명시야 이미지(11)를 처리할 수 있다. 이 때, 형광 이미지에 상응하는 모달리티는 제1 기계학습 알고리즘(20)의 학습이 수행되는 과정에서 미리 결정된 값일 수 있다.
제2 기계학습 알고리즘(30)은 형광 이미지(12)를 보정하여 최종 형광 이미지(13)로 변환될 수 있다. 구체적으로, 제2 기계학습 알고리즘(30)은 형광 이미지(12)와 명시야 이미지(11)를 2채널 형태로 각각 입력받아, 형광 이미지(12)에 포함되는 세포의 윤곽, 형태 및 세포의 핵이 드러나도록 형광 이미지(12)를 보정하여 최종 형광 이미지(13)를 생성할 수 있다.
이미지 변환을 위해 이용되는 제1 기계학습 알고리즘(20) 및 제2 기계학습 알고리즘(30) 각각은 CNN(Convolution Neural Network)일 수 있으나, 이에 제한되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 이미지 변환 방법에서 이용되는 데이터베이스의 예를 도시한다.
참조번호 1a는 제1 기계학습 알고리즘(20) 및 제2 기계학습 알고리즘(30)의 학습을 위해 이용되는 데이터의 집합인, 데이터베이스의 생성을 위한 최초 데이터를 나타낸다. 구체적으로, 참조번호 1a에 도시된 최초 데이터는 GBM(glioblastoma, 교모세포종)을 가지는 환자로부터 획득된 세포에 대한 명시야 이미지일 수 있다. 명시야 이미지 내에는 복수의 GBM 세포가 포함될 수 있다. 최초 데이터는 24개의 컬럼(column)과 16개의 로우(row)로 이루어진 384개의 월(well)로 구성된 큰 용량의 이미지일 수 있다.
데이터베이스의 형성을 위해 최초 데이터는 분할될 수 있다. 384개의 월로 구분되고, 각각의 월에 대해 세포가 소정 밀도 이상 밀집된 영역을 소정 크기의 이미지로 잘라내어 데이터가 형성될 수 있다. 참조번호 1b는 구분된 최초 데이터 중 하나(40)를 확대한 것이며, 참조번호 1c는 확대된 데이터 중에서 세포가 소정 밀도 이상 밀집된 영역(41)을 소정 크기로 잘라 생성된 학습용 이미지의 구체적인 예를 나타낸다.
이와 같은 방식으로 최초 데이터의 각각의 구간에 대해 학습용 이미지가 생성될 수 있으며, 생성된 학습용 이미지의 집합이 제1 기계학습 알고리즘(20) 및 제2 기계학습 알고리즘(30)의 학습을 위해 이용되는 데이터베이스에 포함될 수 있다.
또한, 명시야 이미지에 해당하는 최초 데이터에 상응하는 형광 이미지에 대한 데이터가 존재할 수 있는데, 이에 따라 학습용 이미지 각각에 대응하는 학습용 형광 이미지가 획득될 수 있다. 이러한 학습용 형광 이미지도 제1 기계학습 알고리즘(20) 및 제2 기계학습 알고리즘(30)의 학습을 위해 이용되는 데이터베이스에 포함될 수 있다.
이러한 데이터베이스를 이용하여 제1 기계학습 알고리즘(20)은 명시야 이미지(11)를 형광 이미지(12)로 변경하도록 학습이 수행될 수 있다. 예를 들어, 명시야 이미지(11)를 입력으로 하고 형광 이미지(12)를 정답 값으로 하여, 명시야 이미지(11)가 형광 이미지(12)에 상응하는 모달리티를 가지도록 학습이 수행될 수 있다. 다만 이러한 예에 학습 방법이 제한되는 것은 아니다.
구체적으로 도시하지는 않았으나, 제2 기계학습 알고리즘(30)은, 상술한 학습용 명시야 이미지 및 학습용 형광 이미지를 포함하는 데이터베이스 및 제1 기계학습 알고리즘(20)에 의해 출력되는 형광 이미지를 이용하여 학습이 수행될 수 있다.
구체적으로, 제2 기계학습 알고리즘(30)은, 학습용 명시야 이미지 및 학습된 제1 기계학습 알고리즘(20)에 학습용 명시야 이미지가 입력되는 경우에 획득되는 형광 이미지를 입력으로 할 수 있다. 또한, 실제 실험에 의해 도출된 형광 이미지인 학습용 형광 이미지를 정답 값으로 할 수 있다. 이에 기초하여, 제2 기계학습 알고리즘(30)은 제1 기계학습 알고리즘(20)을 통해 획득된 형광 이미지의 학습용 형광 이미지와 같이 세포의 윤곽, 형태 및 상기 세포의 핵이 보다 명확히 드러나도록 보정을 수행하도록 학습될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 변환 장치의 기능 블록도의 예를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 3의 설명에서는 도 1 및 도 2와 중복되는 내용을 생략한다.
도 3을 참조하면, 이미지 변환 장치(100)는 이미지 획득부(110), 이미지 변환부(120), 이미지 보정부(130)를 포함할 수 있다. 이미지 획득부(110)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 이미지 변환부(120), 이미지 보정부(130)에 있어서도 같다.
이미지 획득부(110)는 명시야 이미지(11)를 획득할 수 있다. 획득된 명시야 이미지(11)는 형광 이미지로 변환하기 위한 대상이 되는 이미지일 수 있다. 이미지 획득부(110)는 다양한 방법에 의해 명시야 이미지(11)를 획득할 수 있다. 예를 들면, 유선 또는 무선으로 연결된 다른 장치로부터 이미지를 수신할 수도 있고, 현미경을 통해 직접 촬영하여 명시야 이미지(11)를 획득할 수도 있다.
이미지 변환부(120)는 제1 기계학습 알고리즘(20)을 이용하여 명시야 이미지(11)에 포함된 세포의 외곽이 드러나도록 전처리를 수행하고, 전처리된 명시야 이미지(11)에 대해 세포의 핵이 드러나는 형광 이미지로 변환할 수 있다. 이미지 변환부(120)는 구체적으로, 제1 기계학습 알고리즘(20)의 제1 영역(21)을 이용하여, 명시야 이미지(12)의 대조비를 조정할 수 있다.
여기서, 제1 기계학습 알고리즘(20)은 CNN일 수 있으며, 복수의 명시야 이미지를 이용하여 학습이 수행된 것일 수 있다. 여기서, 복수의 명시야 이미지는 특정 명시야 이미지에 대해 세포의 분포 밀도가 소정 값 이상인 영역에 대해 소정 크기로 분할되어 생성된 복수의 이미지일 수 있다.
이미지 보정부(130)는 제2 기계학습 알고리즘(30)을 이용하여 변환된 형광 이미지를 보정할 수 있다. 이미지 보정부(130)는 2채널의 형태로 이미지를 입력하여 형광 이미지를 보정할 수 있다. 구체적으로, 이미지 보정부(130)는 제2 기계학습 알고리즘(30)에 명시야 이미지(11) 및 제1 기계학습 알고리즘(30)에 의해 명시야 이미지(11)가 변환된 형광 이미지(12)를 입력하여 형광 이미지(12)에 세포의 윤곽, 형태 및 세포의 핵이 드러나도록 보정할 수 있다.
예를 들면, 변환된 형광 이미지(12)의 세포의 핵이 불분명한 경우, 세포의 핵이 분명히 드러나도록 할 수 있다. 다른 예를 들면, 핵의 유무가 실제와 다르게 표현되는 것으로 판별되는 경우, 즉, 핵이 있어야 하는데 없는 것으로 표시되거나, 핵이 없어야 하는데 있는 것으로 표시되는 경우, 핵의 유무를 조정하는 보정을 수행할 수 있다.
여기서, 제2 기계학습 알고리즘(30)은 기획득된 복수의 명시야 이미지와 제1 기계학습 알고리즘(20)에 의한 복수의 명시야 이미지의 변환된 복수의 형광 이미지를 이용하여 학습이 수행될 수 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 변환 방법의 각 단계의 흐름도를 도시한다. 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
도 4를 참조하면, 관찰 대상인 세포에 대한 명시야 이미지(11)가 획득될 수 있다(S110). 획득된 명시야 이미지(11)에 대해 전처리가 수행될 수 있고, 그 후 형광 이미지(12)로 변환될 수 있다(S120). 명시야 이미지(11)에 대한 전처리는 제1 기계학습 알고리즘(20)의 제1 영역(21)에 의해 수행될 수 있고, 형광 이미지(12)로의 변환은 제1 기계학습 알고리즘(20)의 제2 영역(22)에 의해 수행될 수 있다.
구체적으로, 전처리는 명시야 이미지(11)를 보다 선명하고 명확하게 나타내기 위한 과정으로, 전처리가 수행됨에 따라 명시야 이미지(11)의 대조비가 조정될 수 있다. 형광 이미지(12)로의 변환은 전처리된 명시야 이미지(11)의 모달리티가 형광 이미지의 모달리티에 상응하도록 조정하는 과정일 수 있으며, 이러한 과정을 통해 명시야 이미지(11)가 형광 이미지(12)와 같은 형태로 변환될 수 있다.
형광 이미지(12)는 세포에 대한 이미지를 포함할 수 있으며, 세포가 이미지에 보다 명확히 드러나도록 보정될 수 있다(S130). 이러한 보정은 명시야 이미지(11)와 형광 이미지(12)가 2채널로 입력됨에 기초하여 제2 기계학습 알고리즘(30)을 통해 수행될 수 있다. 이를 통해, 형광 이미지(12)의 오류 여부가 판단되어 오류가 조정될 수 있으며 또한 세포의 형태, 윤곽 및 세포의 핵이 보다 명확히 드러날 수 있다.
도 5는 본 발명의 일 실시예에 따른 이미지 변환 방법의 실험 결과의 예를 도시한다.
도 5의 참조번호 2a는 형광 이미지로 변환하고자 하는 서로 다른 명시야 이미지이고, 참조번호 2b는 참조번호 2a의 서로 다른 명시야 이미지 각각에 대해 박제 및 염색 등의 과정이 수행되어 획득되는 실제 형광 이미지를 나타낸다.
참조번호 2c는 제1 기계학습 알고리즘(20)을 이용하여 이미지 변환부(120)에 의해 획득되는 형광 이미지(12)일 수 있고, 참조번호 2d는 제2 기계학습 알고리즘(30)을 이용하여 이미지 보정부(130)에 의해 보정된 형광 이미지(13)일 수 있다.
도 5를 통해, 제1 기계학습 알고리즘(20)을 이용하면 명시야 이미지가 실제 형광 이미지와 유사하게 변환됨을 알 수 있고, 제2 기계학습 알고리즘(30)을 이용하면 변환된 형광 이미지의 세포의 윤곽 및 형태 또는 세포의 핵 중 적어도 하나가 보다 명확히 드러나도록 보정됨을 알 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지 변환 방법의 실험 결과의 다른 예를 도시한다. 구체적으로, 도 6은 실제 형광 이미지를 기준으로 본 발명의 일 실시예에 따라 이미지 변환을 수행하였을 때 획득되는 형광 이미지(3b)와 종래의 생성적 적대적 신경망(GAN; Generative Adversarial Network) 기반 이미지 변환 방법에 의해 획득되는 형광 이미지(3c)의 예를 비교한다.
참조번호 3a는 실제 형광 이미지를 나타내며, 참조번호 3b는 본 발명에 의해 획득되는 형광 이미지, 참조번호 3c는 종래의 방법에 의해 획득되는 형광 이미지를 나타낸다.
도 6을 참조하면, 종래의 방법에 의해 획득되는 형광 이미지에 비해 본 발명에 의해 획득되는 형광 이미지가 실제 형광 이미지와 더욱 유사함을 확인할 수 있다. 본 발명의 일 실시예에 따른 이미지 변환 장치(100) 및 방법에 의하면, 세포의 박제 또는 염색 과정없이, 세포의 명시야 이미지를 이용하여 형광 이미지를 획득할 수 있으므로, 형광 이미지 획득에 소요되는 시간을 단축시킬 수 있으며, 박제 또는 염색 과정에서 소요되는 비용을 절감할 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 변환 장치(100) 및 방법은 형광 이미지를 획득에 있어 명시야 이미지를 이용하기 때문에 박제 또는 염색 과정 등과 같은 세포가 사멸되는 과정이 없어, 소정 시간 간격으로 동일 세포에 대한 명시야 이미지를 획득하여 변화하는 세포의 상태를 보다 명확하고 용이하게 관찰할 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 이미지 변환 장치
110: 이미지 획득부
120: 이미지 변환부
130: 이미지 보정부
11: 명시야 이미지
12: 형광 이미지
20: 제1 기계학습 알고리즘
21: 제1 영역
22: 제2 영역
30: 제2 기계학습 알고리즘

Claims (14)

  1. 이미지 변환 장치의 이미지 변환 방법에 있어서,
    세포가 염색되지 않은 명시야 이미지(bright-field image)를 획득하는 단계와,
    제1 기계학습 알고리즘을 이용하여 상기 명시야 이미지를 세포의 외곽이 드러나도록 전처리를 수행하고, 상기 전처리된 명시야 이미지에 대해 상기 세포의 핵이 드러나는 실제 형광 이미지(fluorescence image)의 모달리티를 갖는 유사 형광 이미지로 변환하는 단계와,
    상기 유사 형광 이미지와 상기 명시야 이미지를 각각의 채널로 입력 받고, 제2 기계학습 알고리즘을 이용하여 상기 변환된 유사 형광 이미지를 보정하여 최종 형광 이미지를 생성하는 단계를 포함하고,
    상기 제1 기계학습 알고리즘은 복수의 학습용 명시야 이미지를 이용하여 학습이 수행되고,
    상기 제2 기계학습 알고리즘은 상기 복수의 학습용 명시야 이미지와 상기 제1 기계학습 알고리즘에 의한 상기 복수의 학습용 명시야 이미지의 변환된 복수의 학습용 형광 이미지를 이용하여 학습이 수행되는
    이미지 변환 방법.
  2. 제1항에 있어서,
    상기 전처리는,
    상기 제1 기계학습 알고리즘의 제1 영역을 이용하여, 상기 명시야 이미지의 대조비(contrast ratio)를 조정하는 것인
    이미지 변환 방법.
  3. 제2항에 있어서,
    상기 유사 형광 이미지로 변환은,
    상기 제1 기계학습 알고리즘의 제2 영역을 이용하여, 상기 명시야 이미지에 포함되는 세포의 모양과 외곽이 드러나며, 상기 실제 형광 이미지의 모달리티(modality)를 가지도록 상기 명시야 이미지를 처리하는 것인
    이미지 변환 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 유사 형광 이미지를 보정하는 단계는,
    상기 제2 기계학습 알고리즘에 상기 명시야 이미지 및 상기 변환된 유사 형광 이미지를 입력하여 상기 유사 형광 이미지에 상기 세포의 윤곽, 형태 및 상기 세포의 핵이 드러나도록 보정하는
    이미지 변환 방법.
  6. 제1항에 있어서,
    상기 복수의 학습용 명시야 이미지는,
    학습용 명시야 이미지에 대해 세포의 분포 밀도가 소정 값 이상인 영역에 대해 소정 크기로 분할되어 생성된 복수의 이미지를 포함하는
    이미지 변환 방법.
  7. 제1항에 있어서,
    상기 제1 기계학습 알고리즘과 상기 제2 기계학습 알고리즘 각각은 CNN(convolution neural network)인
    이미지 변환 방법.
  8. 세포가 염색되지 않은 명시야 이미지(bright-field image)를 획득하는 이미지 획득부와,
    제1 기계학습 알고리즘을 이용하여 상기 명시야 이미지에 포함된 세포의 외곽이 드러나도록 전처리를 수행하고, 상기 전처리된 명시야 이미지를 상기 세포의 핵이 드러나는 실제 형광 이미지(fluorescence image)의 모달리티를 갖는 유사 형광 이미지로 변환하는 이미지 변환부와,
    상기 유사 형광 이미지와 상기 명시야 이미지를 각각의 채널로 입력 받고, 제2 기계학습 알고리즘을 이용하여 상기 변환된 유사 형광 이미지를 보정하는 이미지 보정부를 포함하고,
    상기 제1 기계학습 알고리즘은 복수의 학습용 명시야 이미지를 이용하여 학습이 수행되고,
    상기 제2 기계학습 알고리즘은 상기 복수의 학습용 명시야 이미지와 상기 제1 기계학습 알고리즘에 의한 상기 복수의 학습용 명시야 이미지의 변환된 복수의 학습용 형광 이미지를 이용하여 학습이 수행되는
    이미지 변환 장치.
  9. 제8항에 있어서,
    상기 전처리는,
    상기 제1 기계학습 알고리즘의 제1 영역을 이용하여, 명시야 이미지의 대조비(contrast ratio)를 조정하는 것인
    이미지 변환 장치.
  10. 제9항에 있어서,
    상기 유사 형광 이미지로 변환은,
    상기 제1 기계학습 알고리즘의 제2 영역을 이용하여, 상기 명시야 이미지에 포함되는 세포의 모양과 외곽이 드러나며, 상기 실제 형광 이미지의 모달리티(modality)를 가지도록 상기 명시야 이미지를 처리하는 것인
    이미지 변환 장치.
  11. 삭제
  12. 제8항에 있어서,
    상기 이미지 보정부는,
    상기 제2 기계학습 알고리즘에 상기 명시야 이미지 및 상기 변환된 유사 형광 이미지를 입력하여 상기 유사 형광 이미지에 상기 세포의 윤곽, 형태 및 상기 세포의 핵이 드러나도록 보정하는
    이미지 변환 장치.
  13. 제8항에 있어서,
    상기 복수의 학습용 명시야 이미지는,
    학습용 명시야 이미지에 대해 세포의 분포 밀도가 소정 값 이상인 영역에 대해 소정 크기로 분할되어 생성된 복수의 이미지를 포함하는
    이미지 변환 장치.
  14. 제8항에 있어서,
    상기 제1 기계학습 알고리즘과 상기 제2 기계학습 알고리즘 각각은 CNN(convolution neural network)인
    이미지 변환 장치.
KR1020190014469A 2018-02-07 2019-02-07 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 KR102237288B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180015278 2018-02-07
KR20180015278 2018-02-07

Publications (2)

Publication Number Publication Date
KR20190095901A KR20190095901A (ko) 2019-08-16
KR102237288B1 true KR102237288B1 (ko) 2021-04-07

Family

ID=67806898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190014469A KR102237288B1 (ko) 2018-02-07 2019-02-07 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102237288B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410303B2 (en) 2019-04-11 2022-08-09 Agilent Technologies Inc. Deep learning based instance segmentation via multiple regression layers

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4211657A2 (en) 2020-09-08 2023-07-19 Insitro, Inc. Biological image transformation using machine-learning models
WO2022055903A2 (en) * 2020-09-08 2022-03-17 Insitro, Inc. Biological image transformation using machine-learning models
CN112819821B (zh) * 2021-03-01 2022-06-17 南华大学 一种细胞核图像检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109758A (ja) 2011-10-28 2013-06-06 Panasonic Corp 画像処理方法、および画像処理装置
WO2016132148A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Machine learning for visual processing
WO2017106998A1 (en) 2015-12-21 2017-06-29 Sensetime Group Limited A method and a system for image processing
KR101821285B1 (ko) 2016-08-05 2018-01-23 한국과학기술원 열화상 이미지 개선 장치 및 방법
KR101886575B1 (ko) 2017-06-26 2018-08-07 연세대학교 산학협력단 언더샘플링된 자기 공명 영상의 재구성 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110079311A (ko) * 2009-12-31 2011-07-07 주식회사 동부하이텍 영상 처리 장치 및 영상 처리 방법
KR101431745B1 (ko) * 2012-03-06 2014-08-29 주식회사 아이벡 생체 중의 특정 부위에 대한 분석정보 출력방법 및 장치
KR101525014B1 (ko) * 2013-10-18 2015-06-02 삼성전자주식회사 자기 공명 영상 장치 및 그에 따른 자기 공명 영상의 이미징 방법
WO2015065697A1 (en) * 2013-10-28 2015-05-07 Molecular Devices, Llc Method and system for classifying and identifying individual cells in a microscopy image
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
KR101784063B1 (ko) 2015-08-03 2017-10-11 국립암센터 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템
KR101937018B1 (ko) * 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109758A (ja) 2011-10-28 2013-06-06 Panasonic Corp 画像処理方法、および画像処理装置
WO2016132148A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Machine learning for visual processing
WO2017106998A1 (en) 2015-12-21 2017-06-29 Sensetime Group Limited A method and a system for image processing
KR101821285B1 (ko) 2016-08-05 2018-01-23 한국과학기술원 열화상 이미지 개선 장치 및 방법
KR101886575B1 (ko) 2017-06-26 2018-08-07 연세대학교 산학협력단 언더샘플링된 자기 공명 영상의 재구성 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410303B2 (en) 2019-04-11 2022-08-09 Agilent Technologies Inc. Deep learning based instance segmentation via multiple regression layers
US11748881B2 (en) 2019-04-11 2023-09-05 Agilent Technologies, Inc. Deep learning based instance segmentation via multiple regression layers

Also Published As

Publication number Publication date
KR20190095901A (ko) 2019-08-16

Similar Documents

Publication Publication Date Title
KR102237288B1 (ko) 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
US20200348501A1 (en) Auto-Focus Methods and Systems for Multi-Spectral Imaging
KR102273115B1 (ko) 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템
CN107133934B (zh) 图像补全方法及装置
KR101746712B1 (ko) 안개 제거 방법 및 장치
EP3195250B1 (de) Verfahren zum erzeugen eines ergebnisbilds und optische vorrichtung
EP3477586A1 (en) Image processing device, image processing method, and image processing program
JP2021056678A5 (ko)
US20180109776A1 (en) Method, system and medium for improving the quality of 2d-to-3d automatic image conversion using machine learning techniques
JP2019507384A5 (ko)
CN104750678A (zh) 一种图像文本识别翻译眼镜及方法
KR102166835B1 (ko) 신경망 학습 방법 및 그 장치
US20200364913A1 (en) User guided segmentation network
JP2021179833A5 (ko)
JP2022091270A (ja) 方法、システム、および、コンピュータプログラム
US20220318969A1 (en) Method for providing an image representation by means of a surgical microscope, and surgical microscope
CN104504661A (zh) 一种将图像处理为黑白效果的方法
CN115049530A (zh) 用于调试图像信号处理器的方法、装置和***
CN106997590A (zh) 一种基于检测产品特性的图像处理与检测***
JP2016014974A (ja) 画像処理方法および画像処理装置
DE102021114287A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
CN108122210A (zh) 一种基于Retinex和增强梯度的低照度车牌视频图像增强方法
CN108171669A (zh) 一种基于OpenCV算法的图像矫正方法
CN111709918A (zh) 基于深度学习的联合多个通道产品缺陷分类方法
CN111768406A (zh) 细胞图像处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant