KR102412337B1 - 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법 - Google Patents

Abstract

본 발명은 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미지가 입력되면, 이산 웨이블릿 변환을 수행하는 단계; 이산 웨이블릿 변환 계수를 네트워크에 공급하기 위해 정규화 하는 단계; 4 개의 서로 다른 CNN이 병렬로 사용되어 각 CNN이 서로 다른 정규화 된 웨이블릿 계수를 입력으로 하여 최종 잔차 빌딩 블록을 형성하는 단계; 및 글로벌 평균 풀링 및 분류 계층을 통과시키는 단계를 포함한다.

Description

인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법{DYNAMIC LEARNING APPARATUS AND METHOD FOR THE CLASSIFICATION OF HUMAN EPITHELIAL CELL IMAGE}

본 발명은 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법에 관한 것으로, 보다 상세하게는 인간 상피 세포의 강도 수준 및 모양과 관련하여 특정 균질화를 장려함으로써 클래스 내 불일치를 최소화하도록 하는 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법에 관한 것이다.

CAD(Computer-aided diagnostic) 시스템은 질병 진단 프로세스의 자동화를 통합하기위한 모든 기술을 말한다. 이 시스템은 자동 작업을 훨씬 신뢰할 수 있는 방식으로 수행 할 수 있는 능력으로 인해 지난 수십 년 동안 다양한 머신 러닝 방법이 개발 된 이후로 큰 관심을 끌었다. 이러한 CAD 시스템과 관련하여 가장 어려운 작업 중 하나는 생물학적 유기체를 나타내는 이미지를 완전히 분석하고 이해하는 것이다. 자가 면역 질환의 경우, 인간 상피 형2(HEp-2) 세포 패턴에 대한 간접 면역 형광법 (IIF)이 가장 권장되는 진단 방법이다. 그러나 IIF 이미지의 수동 분석은 상당한 시간이 소요될 수 있는 힘든 작업을 나타낸다. 또한 이미지의 복잡성으로 인해 병리학 자의 주관성에 중요한 부분이 생겨 진단 결과에 약간의 불일치가 발생할 수 있다. 그렇기 때문에 주로 다양한 유형의 HEp-2 세포의 자동 분류를 위해 병리학자가 진단에 도움을주기 위해 CAD 시스템이 중요한 관심을 기울인 이유가 있다.

ICPR(International Conference on Pattern Recognition)에 의해 개최된 HEp-2 세포 분류 경연의 다른 판에서 제시된 방법과 문헌에서 다양한 방법이 논의되었다. 고전적인 패턴 인식 작업으로서, HEp-2 세포 분류 방법은 특징 추출 또는 선별 과정에이어서 분류 방법이 뒤 따른다. 특징 추출은 상이한 세포 유형의 정확한 식별을 도울 수있는 관련 정보를 추출하는 것으로 구성되기 때문에 절차의 가장 중요한 부분으로 남아있다. 일반적으로 우리는 문헌에서 기존의 기계 학습 기반 방법과 딥 러닝 기반 방법의 두 가지 방법 그룹을 구별 할 수 있다.

디스크립터에서 생성 된 코드북을 채택한 사람이다. Nosaka 등은 로컬 이진 패턴 (LBP)을 기능으로 사용하여 분류 단계에서 선형 지원 벡터 머신 (SVM)에 대한 입력으로 제공하였다. 황 등은 조직적, 통계적 특징을 혼성 방식으로 활용하여 분류 프로세스를 위해 자체 구성 맵에 제공했다.

그레이-레벨 크기 대역 매트릭스와 같은 다른 통계적 특징은 가장 가까운 이웃 분류기가 차별 부분에 채택되었다. Wiliem 등에 의해 동일한 통계적 특징이 SVM에 공급되었다. Xu 등에 의해 선형 SVM의 입력으로서 사용 된 특징을 추출하기 위해 선형 국부 거리 코딩 방법이 사용되었다.

이 분야의 연구원들은 하이브리드 피처 학습 방법을 활용하였다. 실제로, Cataldo 등은 형태 학적 특징과 같은 다양한 특징, 회전 불변 가버 특징과 같은 전역 텍스처 디스크립터와 회전 불 변형 균일 LBP와 같은 다른 종류의 LBP 디스크립터의 조합 사용을 제안하였다, 인접 LBP 의 동시 발생, 완성 된 LBP에서도 채택 된 인접 LBP의 회전-불변 동시 발생. 다른 하이브리드 특징 추출 방법은 Theodorakopoulos 등에 의해 저자는 LBP와 SIFT 디스크립터의 조합을 제안하였다. Foggia 등의 방법의 성능은 추출 된 특징에 의해 제공되는 식별 가능성에 전적으로 의존하여 사용자의 주관성에 중요한 부분을 남겨둔다는 것을 알 수 있다.

딥 러닝이 전개 된 이후 자동 기능 학습 방법이 널리 채택되었다. 그들은 물체 인식 문제에서 탁월한 결과를 보여 주었고, 많은 연구자들이 이를 HEp-2 세포 분류를 위한 주요 도구로 채택했다. 기능의 주관적인 선택에 따라 정확도가 결정되는 기존의 방법과 달리, 현재 널리 사용되는 CNN (Convolutional Neural Network)과 같은 딥 러닝 방법은 자동 기능 학습 프로세스를 제공한다는 이점이 있다. 실제로, 많은 연구 결과는 HEp-2 세포 분류 작업을 위해 수작업으로 만든 것보다 딥 러닝 기반 기능의 우수성을 입증했다.

HEp-2 세포 분류 문제에 CNN을 적용하는 첫 번째 작업은 Foggia 등이 2012 년 ICPR HEp-2 세포 분류 컨테스트에 제시하였다. 비록 그 결과는 탁월했지만 당시 사용 가능한 데이터 세트는 이기종이 아니 었으며 많은 개선이 필요하였다. 그 이후로, 사용 가능한 많은 데이터 세트가 상당히 다양해졌으며 제안 된 다른 CNN 모델은 분류 정확도 측면에서 한계를 계속 추진하고 있다. Gao 등은 다른 데이터 셋에 대해 테스트 된 간단한 CNN 아키텍처를 제시했다. 그들은 HEp-2 세포 이미지에 대해 다른 각도에서의 회전과 같은 데이터 증강 기술을 테스트 한 최초의 사람이었다. Li 등은 가장 널리 사용되는 CNN 모델인 ResNet 와 GoogleNet의 "Inception"모듈 중 하나를 결합한 DRI (Deep Residual Inception Model) 를 채택했다. Phan 등은 ImageNet 데이터 셋에 대해 훈련 된 모델을 사용하여 이미 훈련 된 네트워크를 새로운 데이터 세트에 사용하는 것으로 구성된 전송 학습을 수행했다.

Lei 등은 복잡한 전이 학습 방법을 제안했다. 사전 훈련된 ResNet 모델의 서로 다른 제안된 아키텍처를 사용하고 이를 교차 모달 전송 학습 접근법이라고 명명한 것을 만들기 위해 함께 혼합하였다. 이 방법을 통해 얻은 결과는 오늘날 HEp-2 세포 분류에 대한 최신 성능 중 하나를 나타낸다. Shen 등이 제시한 연구에서 또 다른 최신 성능이 얻어졌다. 저자들은 ResNet 접근 방식을 다시 사용했지만, 데이터 확장이 큰 DCR(Deep Cross Residual) 모듈이라는 더 깊은 잔차 모듈을 사용했다.

HEp-2 세포 이미지 데이터 세트는 일반적으로 유의미한 이질성을 나타낸다. 이것은 다른 강도 레벨의 존재로 인한 클래스 내 변형에 의해 설명된다.

도 1a 내지 도 1d는 데이터 집합 중 하나의 셀룰러 이미지의 일 예를 나타내는 도면이다.

도 1a 및 도 1b의 두 이미지는 미세한 얼룩진 세포 유형을 나타낸다. 첫 번째 이미지는 양의 강도 레벨에서 오고 두 번째 이미지는 음의 강도 레벨에서 온다. 같은 클래스에 속하는 것으로 가정 된이 두 이미지에서 클래스 내 변형을 명확하게 볼 수 있다. 이 두 이미지를 같은 클래스에서 출력하려고 시도하는 분류자가 직면한 복잡성을 이미지화 할 수 있다.

여기서 논의된 이질성은 도 1c 및 도 1d에 도시된 이미지를 볼 때 훨씬 더 명확해진다. 이전에 언급한 유형은 두 이미지 모두 동일한 세포 유형인 동종 세포에 속한다. 다시 한 번 클래스 내 변형을 주목할 수 있다. 또한, 도 1b 및 도 1d에 표시된 두 개의 네거티브 강도 이미지를 비교하면 복잡성이 훨씬 눈에 띄게 된다. 두 이미지는 세포 모양이 지각력이 부족하고 조명이 취약하다는 점에서 유사하다. 두 이미지는 구별하기 쉽지 않지만 서로 다른 두 클래스에 속해야 한다.

이러한 현저한 이질성은 차별 효율 측면에서 특정 문제를 야기할 수 있다. 실제 최첨단 방법 중 일부는 특히 데이터 세트가 강한 차이를 보일 때이 문제를 해결하는 데 여전히 몇 가지 문제가 있다. 이 연구에서 제안된 방법은 이 이질성 관련 문제를 구체적으로 해결하려고 한다. 클래스 내 변형이 강한 두 가지 데이터 세트를 선택했다. Nigam 등이 제안한 방법과 같은 일부 방법, 세포 유형 분류 자체에 앞서 예비 강도 기반 분리를 수행하여 이 문제를 해결하려고 한다. 이러한 진행 방식이 최종 결과를 합리적으로 좋게 만들 수 있지만, 향후 추출 프로세스에 부담을 가한 후 분류 부분에서 두 단계를 사용한다는 사실은 글로벌 처리 시간을 분명히 연장시킨다.

따라서, 한 단계에서 그 이질성을 최소화할 수 있도록 하는 기술이 개발될 필요가 있다.

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 인간 상피 세포의 강도 수준 및 모양과 관련하여 특정 균질화를 장려함으로써 클래스 내 불일치를 최소화하도록 하는 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법을 제공함에 있다.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인간 상피 세포 이미지 분류를 위한 동적 학습 방법은, 이미지가 입력되면, 이산 웨이블릿 변환을 수행하는 단계; 이산 웨이블릿 변환 계수를 네트워크에 공급하기 위해 정규화 하는 단계; 4 개의 서로 다른 CNN이 병렬로 사용되어 각 CNN이 서로 다른 정규화 된 웨이블릿 계수를 입력으로 하여 최종 잔차 빌딩 블록을 형성하는 단계; 및 글로벌 평균 풀링 및 분류 계층을 통과시키는 단계를 포함한다.

또한, 상기와 같은 목적을 달성하기 위한 본 발명에 따른 인간 상피 세포 이미지 분류를 위한 동적 학습 장치는, 이미지가 입력되면, 이산 웨이블릿 변환을 수행하는 변환부; 이산 웨이블릿 변환 계수를 네트워크에 공급하기 위해 정규화 하는 정규화부; 4 개의 서로 다른 CNN이 병렬로 사용되어 각 CNN이 서로 다른 정규화 된 웨이블릿 계수를 입력으로 하여 최종 잔차 빌딩 블록을 형성하는 블록 형성부; 및 글로벌 평균 풀링 및 분류 계층을 통과시키는 분류부를 포함한다.

본 발명에 의하면, 인간 상피 세포의 강도 수준 및 모양과 관련하여 특정 균질화를 장려함으로써 클래스 내 불일치를 최소화하도록 한다.

본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 데이터 집합 중 하나의 셀룰러 이미지의 일 예를 나타내는 도면,
도 2는 본 발명의 실시예에 따른 인간 상피 세포 이미지 분류를 위한 동적 학습 단계를 개략적으로 나타내는 도면,
도 3은 본 발명의 실시예에 따라 데이터 세트에서 양의 강도 셀룰러 이미지의 웨이블릿 계수를 나타내는 도면,
도 4는 본 발명의 실시예에 따라 데이터 세트에서 음의 강도 셀룰러 이미지의 웨이블릿 계수를 나타내는 도면,
도 5는 본 발명의 실시예에 따른 네 개의 다른 네트워크의 구조를 나타내는 도면,
도 6은 본 발명의 실시예에 따른 도 5의 2개의 잔여 빌딩 블록의 구조를 구체화한 도면,
도 7은 본 발명의 실시예에 따른 요약 계층 구조를 나타내는 도면,
도 8은 본 발명의 실시예에 따른 동적 학습 방법을 개략적으로 나타내는 도면.
도 9는 본 발명의 실시예에 따른 동적 학습 장치를 나타내는 블록도.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

한편, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.

본 발명은 서로 다른 입력 이미지의 변형을 동시에 취하는 다른 네트워크를 가진 동적 학습 프로세스를 제안한다. 이산 웨이블릿 변환 (DWT)은 다른 변형을 생성하기 위해 사용된다. 이미지들에 대해 2 차원 DWT가 수행된다. DWT 계수는 네트워크에 공급하기 위해 정규화되고 이미지 형태로 표현된다. 4 개의 서로 다른 CNN이 병렬로 사용되며 각 CNN은 서로 다른 정규화 된 웨이블릿 계수를 입력으로 사용한다. 오차의 전파는 병렬적으로 행해지고, 네트워크의 특정 지점에서 4개의 CNN의 피쳐 맵(feature map)에서 나온 높은 수준의 특징들이 4개의 네트워크가 학습한 다른 정보를 혼합하기 위해 결합되어 비선형성 함수를 통과한다. 그런 다음, 연결 과정을 수행하는 층의 출력을 이용하여 최종 잔여 건물 블록을 형성한다. 마지막으로, 이러한 비선형성은 지구 평균 풀링 계층과 최종 분류를 수행할 완전히 연결된 계층을 통과한다.

서로 다른 파동계수는 국부적인 강도의 변화를 노출하고 유의하게 보강할 것으로 예상되며, 특히 광도 조명의 수준에 강한 차이를 보이는 세포형의 경우 강도는 물론 모양도 균질화된다. 주어진 세포의 이미지의 대부분을 그 후 네 개의 다른 CNN은 이러한 공개된 속성을 역동적으로 배운다. 이 방법은 공개적으로 이용 가능한 SNPHEp-2 및 ICPR 데이터 집합에서 테스트되었으며, 그 결과 데이터셋의 강력한 불균형이 실제로 최소화되어 최종적으로 얻은 차별 결과를 증가시켰다.

도 2는 본 발명의 실시예에 따른 인간 상피 세포 이미지 분류를 위한 동적 학습 단계를 개략적으로 나타내는 도면이다.

도 2에서 AC, HDC, VDC, DDC는 각각 근사 계수, 수평 상세 계수, 수직 상세 계수 및 대각선 상세 계수를 나타낸다.

이하에서는 도 3 내지 도 7을 참조하여 도 2에 도시된 각 단계의 동작을 구체적으로 설명한다.

이미지가 입력되면, 201단계에서 Two-dimensional discrete wavelet transform decomposition를 수행하여 입력 이미지 위에 DWT 분해를 적용한다. 첫 번째 레벨의 2 차원 분해는 4 가지 다른 출력을 생성한다. DWT에 의해 제공된 고주파 및 저주파 대역 분해 후에, 근사 계수는 저주파 대역 정보를 포함한다. 고주파 관련 정보는 주로 수평, 수직 및 대각선 세부의 세 가지 나머지 계수로 검색할 수 있다. 이 네 가지 다른 계수 매트릭스는 이미지로 표현된 후 병렬로 사용될 네 가지 다른 CNN의 입력으로 간주된다.

도 3은 본 발명의 실시예에 따라 데이터 세트에서 양의 강도 셀룰러 이미지의 웨이블릿 계수를 나타내는 도면이다.

도 3을 참조하면, 양의 강도 미세 얼룩덜룩 한 셀과 DWT 분해의 네 가지 출력 결과를 보여준다. (a)는 조명이 강한 원본 이미지를 나타내는 것이고, (b)는 근사 계수를 나타낸다. DWT 분해에 포함된 저역 통과 필터링 프로세스의 결과를 나타낸다. 이 저역 통과 필터링은 중대한 그레이 변화를 나타내지 않는 영역이 강화되는 효과가 있다. 한편, (b)에 도시된 결과 이미지에서 픽셀의 강도 값이 약간 강화된 것을 알 수 있다. (a)에 도시된 원본 이미지와 (b)에 도시된 근사 계수를 비교하면 전체 조명의 약간의 강화가 명확해진다.

한편, 도(c), (d), (e)에 도시된 이미지는 세부 계수를 나타낸다. 이 계수는 원본 이미지의 고주파 요소를 나타내는 것으로, 세 가지 다른 세부 계수는 모두 실제로 셀의 모양을 나타낸다.

도 4는 본 발명의 실시예에 따라 데이터 세트에서 음의 강도 셀룰러 이미지의 웨이블릿 계수를 나타내는 도면이다.

도 4를 참조하면, 음의 강도 미세 얼룩덜룩 한 셀과 DWT 분해의 네 가지 출력 결과를 보여준다. (a)는 조명이 매우 약한 원본 이미지를 나타내는 것으로. 음의 강도 이미지가 어떻게 셀 모양에 관한 중요한 신호를 제공하지 않는지 알 수 있다. (b)의 이미지는 근사 계수를 나타내는 것으로, 이미지에서 강도 레벨이 눈에 띄게 강화되었다. 도 3의 (b)와 도 4의 (b)에 도시된 이미지를 비교하면, 강도 측면에서 발생하는 균질화를 명확하게 식별할 수 있다. 두 개의 다른 형광 조명에서 이미지의 균질화이다. 비록 도 3의 (a) 및 도 4의 (a)에 도시된 원본 이미지가 전역 조명 측면에서 큰 차이를 나타내지만, 도 3의 (b) 및 도 4의 (b)에 각각 도시된 이들의 근사 계수는 조명에서 특정 균질화를 나타낸다.

도 4의 (c), (d), (e)에 도시된 이미지는 3 개의 상이한 세부 계수를 나타낸다. 여기서, 각각 수평, 수직 및 대각선 세부 사항을 가지고 있다. 도 4의 (a)에서 원본 이미지가 셀 모양과 관련하여 눈에 띄는 정보를 제공하지는 않지만 세부 계수가 셀의 기하학적 신호를 어떻게 노출시키는 방법을 설명할 수 있다. 그리고, 도 3의 포지티브 일루미네이션 이미지와 도 4의 네거티브 일루미네이션 이미지의 세부 계수를 비교함으로써, 도 3의 (c), (d), (e) 및 도 4의 (c), (d), (e)에 도시된 이미지를 엔 글로브함으로써, 기하학적 신호의 지각 측면에서 발생하는 균질화는 세포의 모양에 대한 포괄적인 이해를 제공한다. 세포의 기하학적 패턴이 식별에 실제로 중요하다는 것을 알면, 강화가 실제로 필요한 것으로 보인다. 또한 세 가지 세부 계수는 서로 다른 방향의 그래디언트처럼 작용한다.

마지막으로, 근사 및 세부 계수는 두 종류의 조명 (강도 레벨) 사이의 차이를 최소화하고 근사 계수를 사용하여 강도와 기하학적 패턴을 세 가지 세부 사항으로 특정 균질화를 촉진한다. 세포 형태를 나타내는 계수. 이 네 가지 다른 계수는 네 가지 다른 네트워크의 입력으로 사용되어 다른 셀룰러 유형의 구별에 도움이 될 모든 필요한 정보를 동적으로 캡슐화 하는 방법을 동시에 학습한다.

이후, 203단계에서 네 개의 다른 계수를 다른 네트워크에 공급한다. CNN은 그러한 목적으로 사용된다. 네트워크는 병렬 패러다임에서 활용될 것이다. 도 2에서 볼 수 있듯이 제안된 방식의 첫 번째 부분에는 서로 다른 계수에서 특징을 추출하는 네 개의 네트워크가 있다. 이 프로세스 후에는 네트워크에서 학습한 기능이 연결되어 포함된 다양한 정보를 혼합하고 최종 고급 기능 벡터를 제공한다. 이 벡터는 전체 평균 풀링 프로세스 후에 획득되며 최종 분류를 수행할 완전히 연결된 레이어를 통과한다. 4 개의 CNN은 도 5에 표시된 것과 동일한 구조를 가지고 있다.

도 5는 본 발명의 실시예에 따른 네 개의 다른 네트워크의 구조를 나타내는 도면이다.

첫 번째 레벨의 DWT 분해 프로세스는 원본 이미지의 절반으로 크기가 줄어 든다. 원래 셀룰러 이미지의 크기는 112x112이므로 네트워크는 도 5와 같이 56x56 크기의 입력을 받는다. 컨볼루션 연산의 전체를 위해 3x3의 수신 파일을 사용했다. 컨볼루션 동작은 출력 볼륨이 입력 볼륨의 공간 범위를 유지하여 다운 샘플링 프로세스가 풀링 계층에 의해서만 수행되도록하는 방식으로 수행된다. 이는 컨벌루션 연산에 의해 수행되는 특징 추출 프로세스 동안 공간 정보의 손실을 피하기 위한 것이다. 도 5에서 "Conv 3x3, m"은 3x3의 필터 크기와 m 개의 다른 필터를 가진 컨볼루션 연산을 나타낸다. m의 값은 32로 설정된다.

도 5에서 입력 계수가 먼저 컨볼루션 레이어에 주어지고, 그 특성은 이전 단락에서 설명된 다음 풀링 레이어가 나타낸다. 이 풀링 레이어는 컨볼루션 레이어에서 입력 볼륨을 절반으로 다운 샘플링하기 위해 보폭과 패딩이 2이다. 따라서 네트워크의이 부분에서 출력 볼륨은 28x28의 공간 범위를 가지며 32 개의 서로 다른 맵을 포함한다. 그 후, 잔여 빌딩 블록은 이전 레이어의 출력을 사용하여 구성된다. 첫 번째 잔차 빌딩 블록(도 5의 잔차 빌딩 블록 1)의 출력은 입력 볼륨과 동일한 특성을 갖는다. 이는 28x28 크기의 32 가지 기능 맵을 여전히 포함하고 있음을 의미한다. 두 번째 풀링 작업은 두 번째 잔여 빌딩 블록 직전에 수행된다. 잔차 빌딩 블록 2의 출력량은 64 개(도 5의 2m) 기능 맵과 14x14의 공간 범위를 갖는다.

잔여 빌딩 블록은 2 개의 컨볼루션 레이어, 2 개의 Rectified Linear Unit (ReLU) 활성화 레이어 및 2 개의 Batch Normalization (BN) 레이어로 구성된다. 주어진 변수 x에 대해 ReLU 활성화 기능은 하기 <수학식 1>과 같이 정의된다.

<수학식 1>

BN은 내부 공변량 편이 문제를 해결하기 위해 CNN의 계층간에 사용되는 정규화 방법 유형이다. 실제로, 다른 계층에서 기능 맵의 분포는 훈련 과정에서 지속적으로 변경된다. BN 층은 훈련 과정 동안 분포 변화를 최소화하는 변수를 찾는 것을 목표로 한다.

도 6은 본 발명의 실시예에 따른 도 5의 2개의 잔여 빌딩 블록의 구조를 구체화한 도면으로, (a)는 4개의 서로 다른 네트워크에서 잔여 빌딩 블록(1 및 2)의 구조를 나타내고, (b)는 합산 층(SumL) 이후의 최종 잔여 빌딩 블록의 구조를 나타낸다.

여기서, identity short-cut은 하기 <수학식 2>와 같이 정의된다.

<수학식 2>

여기서 f (x, W)라는 용어는 최종 컨벌루션 연산의 출력, x는 입력 볼륨, W는 학습 과정에서 학습할 매개 변수를 나타내고, y는 잔차 빌딩 블록의 최종 출력 볼륨을 나타낸다. 한편, 도 6의 (b)는 4 개의 서로 다른 네트워크에서 기능 맵을 요약한 후 수행할 때 identity short-cut를 보여준다. 이 경우에는 하기 <수학식 3>과 같이 정의되며, 여기서 Sum(

)이라는 용어는 4 개의 다른 네트워크에서 4 개의 볼륨을 합한 것을 나타낸다.

<수학식 3>

도 7은 본 발명의 실시예에 따른 요약 계층 구조를 나타내는 도면이다.

도 7에는 요약 계층(summation layer)라고하는 것을 보여준다. 4 개의 네트워크의 두 번째 잔여 빌딩 블록 이후에, 네트워크로부터의 모든 최종 볼륨은 앞서 논의되고 도 5에 도시된 바와 같이, 크기가 14x14 인 64 개의 피쳐 맵을 갖는다. 요약 계층의 첫 번째 동작은 피쳐의 연결을 수행하는 것이다. 다른 네트워크에서지도. 서로 다른 네트워크에서 학습한 유용한 패턴은 하나의 볼륨으로 구성된다. 이 단일 볼륨에는 256 개의 서로 다른 기능 맵이 있다. 모든 정보를 캡슐화하고 다음 계층의 매개 변수 수를 줄이기 위해 연결 프로세스에서 상속된 볼륨에 대해 필터 크기 1x1의 컨볼루션 작업이 수행된다. 이 작업은 다른 네트워크에서 학습한 다양한 기능을 선형으로 조합한 것과 유사하다. 1x1 컨볼루션 작업은 기능을 결합하여 깊이를 줄이지 만 입력 볼륨의 공간 범위를 보존하므로 공간 정보가 손실되지 않는다. 이 합산 프로세스 후의 최종 볼륨에는 도 7에서 볼 수 있듯이 크기가 14x14 인 64 개의 기능 맵이 있다.

이 최종 볼륨은 도 6의 (b)와 <수학식 3>에 표시된 최종 빌딩 블록의 입력으로 사용된다. 이 잔여 블록에는 도 6의 (b)에서 명확하게 볼 수 있듯이 두 개의 컨볼루션 연산이 포함된다. 이러한 컨볼루션 작업은 각각 128 개의 서로 다른 필터를 사용한다. 컨벌루션 동작이 공간 범위를 유지하므로, 잔여 빌딩 블록 (3)의 출력 볼륨은 14x14x128의 형태일 것이다. BN 및 ReLU 활성화 계층 이후에는이 볼륨이 글로벌 평균 풀링에 사용된다. 전체 평균 풀링을 적용한 후 최종 상위 레벨 기능 벡터는 1x1x128 형식이되어 128 개의 요소를 포함하는 1 차원 벡터를 제공한다.

고급 기능 벡터는 분류 프로세스를 수행할 완전히 연결된 레이어에 제공된다. 이 계층은 다음과 같이 정의된 softmax 기능을 사용하며, 하기 <수학식 4>와 같이 정의된다.

<수학식 4>

여기서, N은 클래스 수이며, 이는 softmax 함수의 입력 특징 벡터의 길이임을 의미한다. zj 값은 해당 입력 벡터의 j 번째 요소이다. 즉, 함수의 입력 특성 벡터에서 j 번째 클래스와 연관된 기능을 나타낸다. j가 1에서 총 클래스 수 N까지 변하는

값은 softmax 함수의 출력을 나타내며, 이는 데이터가 주어진 모든 단일 클래스의 정규화 된 확률로 해석될 수 있다. 네트워크는 오류를 역전 파하고 다음에 의해 정의된 교차 엔트로피 오류 함수를 사용하여 학습하며, 하기 <수학식 5>와 같이 정의된다.

<수학식 5>

여기서, 값 yj는 주어진 데이터에 대한 N 클래스의 실제 레이블을 나타낸다. 반면에, 값 zj는 방정식 4를 사용하여 계산된 softmax 함수의 출력 벡터 z의 요소를 나타낸다.

도 8은 본 발명의 실시예에 따른 동적 학습 방법을 개략적으로 나타내는 도면이다. 중복을 피하기 위해 4 개의 네트워크는 합산 계층 이전에 동일하다. 첫 번째 네트워크에 대해서만 다른 볼륨의 크기(계층의 출력)를 언급했고, 나머지 3 개 네트워크에 동일한 크기가 적용된다. 앞에서 언급한 것처럼 모든 입력의 크기도 동일하다.

원본 이미지를 입력으로 사용하는 하나의 단일 네트워크를 사용하여 얻은 결과로 시작한다. 이 네트워크의 구조는 단일 네트워크만 있기 때문에 합산 계층이 없다는 사실을 제외하고 제안된 방법과 동일한 구조를 따른다.

네트워크의 학습 능력을 향상시키기 위해 데이터 집합에 데이터 보강이 적용되었다. 학습 데이터의 모든 분할 세트에서, 세포를 18º 단계로 360º 회전시켰으며, 이는 Bayramoglu 등에 의해 실험된 것과 유사하다. 이는 원래 훈련 세트가 18º의 20 개 부분을 포함하는 360º 사분면 20 배로 확장되었음을 의미한다. 학습 세트를 보강하면 테스트 세트에 대한 정확도가 실제로 향상된다.

따라서, 본 발명은 근사 및 상이한 강도 레벨을 갖는 이미지로부터 추출된 특징을 효율적으로 균질화하기 위해 병렬 학습 패러다임에서 4개의 상이한 딥 네트워크에 공급되고, 그 상이한 네트워크로부터의 특징 맵은 연결되어 분류층으로 전달되어 최종 유형의 셀룰러 이미지를 생성하도록 한다.

세포의 강도 수준 및 모양과 관련하여 특정 균질화를 장려함으로써 클래스 내 불일치를 최소화하기 위해 동적 학습 방법을 수행함으로써, 이러한 문제를 최소화하여 차별적인 결과를 향상시키도록 한다.

본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

1: 동적 학습 장치 10: 변환부
30: 정규화부 50: 블록 형성부
70: 분류부

Claims (2)

1. 인간 상피 세포 이미지 분류를 위한 동적 학습 방법에 있어서,
   이미지가 입력되면, 이산 웨이블릿 변환을 수행하여 4개의 서로 다른 이산 웨이블릿 변환 계수를 생성하는 단계;
   상기 4개의 서로 다른 이산 웨이블릿 변환 계수를 네트워크에 공급하기 위해 정규화 하는 단계;
   4 개의 서로 다른 CNN이 병렬로 사용되어 각 CNN이 서로 다른 정규화 된 웨이블릿 변환 계수를 입력으로 하여 최종 잔차 빌딩 블록을 형성하는 단계; 및
   상기 최종 잔차 빌딩 블록을 글로벌 평균 풀링 및 분류 계층에 통과시켜 최종 유형의 셀룰러 이미지를 생성하는 단계를 포함하고,
   상기 서로 다른 정규화된 웨이블릿 계수는 근사 계수 및 세부 계수를 포함하고,
   상기 세부 계수는 수평 상세 계수, 수직 상세 계수 및 대각선 상세 계수를 포함하며,
   상기 근사 계수에 의해 픽셀의 강도 값이 상기 이미지의 원본보다 강화되어, 강도 측면에서 특정 균질화를 촉진시키고,
   상기 세부 계수에 의해 상기 이미지의 원본에 비해서 셀의 기하학적 패턴을 수평, 수직 및 대각선을 포함하는 세 가지 세부 사항으로 특정 균질화를 촉진시키며,
   상기 최종 잔차 빌딩 블록을 형성하는 단계는, 병렬로 동작하는 각 CNN에 의해 웨이블릿 변환 계수로부터 각각 추출하는 특징들로 구성되는 볼륨을 연결한 후 컨볼루션 작업을 수행하고, 컨볼루션 작업을 통해 생성되는 최종 볼륨을 최종 빌딩 블록의 입력으로 하여 상기 최종 잔차 빌딩 블록을 형성하는 것을 특징으로 하는 인간 상피 세포 이미지 분류를 위한 동적 학습 방법.
   
2. 인간 상피 세포 이미지 분류를 위한 동적 학습 장치에 있어서,
   이미지가 입력되면, 이산 웨이블릿 변환을 수행하여 4개의 서로 다른 이산 웨이블릿 변환 계수를 생성하는 변환부;
   상기 4개의 서로 다른 이산 웨이블릿 변환 계수를 네트워크에 공급하기 위해 정규화 하는 정규화부;
   4 개의 서로 다른 CNN이 병렬로 사용되어 각 CNN이 서로 다른 정규화 된 웨이블릿 변환 계수를 입력으로 하여 최종 잔차 빌딩 블록을 형성하는 블록 형성부; 및
   상기 최종 잔차 빌딩 블록을 글로벌 평균 풀링 및 분류 계층에 통과시켜 최종 유형의 셀룰러 이미지를 생성하는 분류부를 포함하고,
   상기 서로 다른 정규화된 웨이블릿 계수는 근사 계수 및 세부 계수를 포함하고,
   상기 세부 계수는 수평 상세 계수, 수직 상세 계수 및 대각선 상세 계수를 포함하며,
   상기 근사 계수에 의해 픽셀의 강도 값이 상기 이미지의 원본보다 강화되어, 강도 측면에서 특정 균질화를 촉진시키고,
   상기 세부 계수에 의해 상기 이미지의 원본에 비해서 셀의 기하학적 패턴을 수평, 수직 및 대각선을 포함하는 세 가지 세부 사항으로 특정 균질화를 촉진시키며,
   상기 블록 형성부는 상기 각 CNN에 의해 웨이블릿 변환 계수로부터 각각 추출하는 특징들로 구성되는 볼륨을 연결한 후 컨볼루션 작업을 수행하고, 컨볼루션 작업을 통해 생성되는 최종 볼륨을 최종 빌딩 블록의 입력으로 하여 상기 최종 잔차 빌딩 블록을 형성하는 것을 특징으로 하는 인간 상피 세포 이미지 분류를 위한 동적 학습 장치.

Images