KR20210037714A - 생물학적 샘플에서 개선된 확장된 초점 심도 - Google Patents

Abstract

3차원 생물학적 샘플의 디지털 합성 이미지를 구성하는 시스템 및 방법. 시스템은 검체 슬라이드에 제시된 세포 및 조직의 이미지를 캡처하는 광학 시스템을 포함한다. 시스템은 검체 슬라이드에 걸쳐 서로 다른 세그먼트에서 이미지 스택을 체계적으로 수집한다. 각 세그먼트에 대해, 시스템은 최적의 초점면을 동적으로 계산한다. 각 이미지 스택에 대해 최적의 초점면이 판단되면, 시스템은 각 최적의 초점면에서 가장 선명한 객체를 복사하여 합성 이미지를 생성한다.

Description

생물학적 샘플에서 개선된 확장된 초점 심도

본 발명은, 의료 진단 분야에 관한 것이다. 보다 구체적으로, 본 발명은 암성 및 전-암성 조직 및 세포의 검출을 용이하게 하기 위해 디지털 현미경 이미지를 처리하는 개선된 시스템 및 방법에 관한 것이다.

병리학자들은, 예를 들어, 암성(cancerous) 또는 전-암성(pre-cancerous) 세포의 징후를 확인하기 위해 조직 샘플을 검사하기 위해 고해상도 현미경을 전형적으로 사용한다. 정확하고 올바른 진단을 내리기 위해, 병리학자는 고해상도 현미경으로 정초점으로(in focus) 세포 및 조직의 특징(feature)을 확인해야 한다. 그러나, 병리학자가 사용하는 고해상도 현미경은, 서로 다른 평면(plane) 상에 관심 객체들을 갖는 두꺼운 생물학적 검체(specimen)를 분석하기 어려운 한계가 있다.

구체적으로, 현미경의 렌즈는 단일 지점에만 초점을 맞출 수 있으며, 이 초점의 앞뒤에는 선명(sharp)하다고 간주될 수 있는 유한한 거리가 있다. 이 유한한 거리를 피사계 심도(depth of field)라고 한다. 잘 알려진 바와 같이, 병리학자들이 사용하는 것과 같은 고해상도 현미경은 제한적이거나 좁은 피사계 심도를 가지고 있다. 결과적으로, 현미경의 소정의 피사계 심도 또는 초점면(focal plane) 외부에 나타나는 객체는 흐려지고 초점이 맞지 않으므로, 두꺼운 샘플을 볼 때 병리학자는 수동으로 지속적으로 초점을 변경해야 한다. 이것은 병리학자의 생산성을 제한하고 좁은 초점면에서만 나타날 수 있는 미묘한 특징을 놓칠 가능성을 증가시킨다.

두꺼운 조직 검체(예를 들어, 현미경 대물 렌즈의 피사계 심도보다 두꺼운 조직 검체) 또는 고르지 않은 조직 검체의 분석에서, 전체 검체가 단일 초점면에서 이미지화될 수 없기 때문에, 이러한 제한은 특히 심각하다. 이러한 검체의 3차원 특성은 샘플의 다양한 윤곽(contour)에서 세포를 관찰하기 위해 지속적인 초점 조정이 필요하다. 결과적으로, 병리학자는 전체 샘플을 정초점으로 보지 못하고, 여러 초점면으로 확장되는 미묘한 진단 특징을 인식하는 병리학자의 능력이 제한된다.

예를 들어, 조직의 비-열상(non-lacerational) 브러시 생검을 얻을 때, 조직을 관통할 만큼 충분히 뻣뻣한(stiff) 브러시가 사용된다. 전체 두께의 조직 검체를 얻는 과정에서, 단일 세포 및 세포 클러스터 외에도 조직 단편(tissue fragment)을 얻어 현미경 슬라이드 상으로 옮긴다. 이러한 두꺼운 검체의 수집은 예를 들어 미국 특허 제6,258,044호에 설명되어 있다.

이러한 검체는 단일 세포, 세포 클러스터 및 조직 단편을 포함하고 본질적으로 세포학적 도말(smear)과 조직학적 섹션 사이의 하이브리드이다. 이러한 검체는 예를 들어 20 내지 60 미크론 두께일 수 있다. 그러나 0.75 개구수(NA, Numerical Aperture)를 사용하는 일반적인 20x 현미경의 피사계 심도는 4미크론에 불과할 수 있다. 따라서 이러한 검체는 쉽게 이미지화될 수 없으며, 결과적으로, 기존 현미경은 병리학자가 진단을 내릴 때 필요한 모든 정보(예를 들어, 전체가 초점이 맞는 이미지)를 제공하지 않는다.

단일 세포 외에 조직 단편을 볼 수 있는 능력은 병리학자가 진단을 내리는 데 유리할 것이다. 예를 들어, 온전한(intact) 조직은 세포학 도말에서는 사용할 수 없는 조직의 아키텍처에 대한 중요한 정보를 병리학자에게 제공한다. 이러한 이점은 예를 들어 선상 상피, 편평 상피 및 원주 상피를 포함하는 다양한 세포 유형을 포함하는 복잡한 조직인 위장 조직의 평가에서 특히 중요하다.

상기 문제에 대한 하나의 해결책은 미국 특허 제8,199,997호("'997 특허")에서 제공된다. 이 특허는 두꺼운 3차원 검체에서 2차원 이미지를 구성하는 시스템 및 방법을 공개한다. 이를 통해, 병리학자는 기존 현미경과 관련된 단점 없이 3차원 검체에서 사용 가능한 정보를 얻을 수 있다. '997 특허에 개시된 시스템 및 방법은 확장된 초점 심도("EDF, Extended Depth of Focus") 처리 기술을 사용한다. 여기에 설명된 바에 따르면, EDF 처리에 있어서, 자동화된 현미경이 z-축(동일한 위치에서)을 따라 일정한 갭으로 촬영한 이미지 슬라이스들의 집합을 캡처한 다음, 각 슬라이스로부터 정초점의 픽셀을 복구하여, 그 정초점의 픽셀로부터 단일 합성 이미지를 만든다.

'997 특허의 발명은 종래의 현미경 기술에 비해 상당한 개선을 나타내지 만, 두꺼운 반-투명 생물학적 검체를 이미지화하려면 EDF 기반 이미지화 시스템의 추가 개선이 필요하다. 이와 관련하여, 종래의 EDF 시스템 및 방법은 이미지 집합의 위치에 관계없이, 모든 이미지 요소를 선명하게(sharp) 만든다. 이러한 시스템 및 방법은, 이미지 컬렉션을 반복적으로 탐색하고 각 이미지의 가장 선명한 부분을 식별하여 수행할 수 있다. 그런 다음, 합성 이미지는 이미지 집합에서 각 이미지의 가장 선명한(sharpest) 부분에 위치한 픽셀만을 사용하여 형성된다. 이러한 종래의 공정은 표면 아래의 객체를 볼 수 없는 투명하지 않거나 불투명한 객체에 잘 작동한다. 그러나, 조직 검체와 같은 반투명 이미지 객체들에서는 표면 아래의 객체가 현미경으로 보이므로 추가적인 복잡성이 발생한다.

구체적으로, 종래의 EDF 시스템 및 방법은 표면 상의 객체와 표면 아래의 객체에 초점을 맞추고, 상부 및 하부 객체가 모두 동일한 초점면에 있는 것처럼 보이게 하여 객체들이 실제보다 서로 더 가깝게 보이게 한다. 이러한 바람직하지 않은 이미지 아티팩트(artifact)는, 세포가 밀집하여 건강하지 않게 보이게 할 수 있으며, 이는 병리학자 및/또는 컴퓨터 시스템으로 하여금 그 영역의 진단을 양성에서 이형성(dysplastic)(즉, 전암성)으로 현저히 변경하게 할 수 있다. 이와 관련하여, 건강한 조직은 세포 사이에 규칙적인 갭을 갖는 것처럼 보이는 반면, 암성 조직에서는 세포 사이의 갭이 매우 불규칙하거나 세포가 서로 균일하게 정렬되지 않는다. 종래의 EDF 또한 초점을 향상시키기 위해 객체 간의 z-관계를 제거하는 자연스러운 경향이 있지만, 핵 사이의 간격을 보존하여 진정한 진단을 하는 것이 바람직하다.

따라서, 서로 다른 평면 상에 있는 객체 사이의 공간적 관계를 보존하면서, 이미지 컬렉션으로부터 합성 이미지를 생성하는 시스템 및 방법이 필요하다. 또한, 이미지 컬렉션을 위한 최적의 초점면을 식별하는 시스템과 방법이 필요하다.

종래의 EDF 시스템의 또 다른 문제점은 현미경의 대물 렌즈가 초점면 사이에서 위아래로 이동함에 따라 배율이 변한다는 것이다. 특히, 대물 렌즈가 움직이면, 새로운 객체는 정초점이지만, 다른 객체는 초점이 덜 맞는다. 동시에, 초점이 덜 맞는 객체들도 배율 변경으로 인해 작아진다. 결과적으로, 초점이 변경되면 이미지의 에지가 이동하고, 이에 따라 이미지가 축소되어, 알고리즘이 각각의 초점면에서 각각의 움직이는 에지를 별도의 에지로 인식할 가능성이 있다. 이로 인해 시스템이 합성 EDF 이미지에서 단일 에지를 여러 인접 에지의 "계단(star-case)"으로 분할할 수 있다. 이러한 경우, "움직이는" 잘못된 에지는 이미지 자체를 압도하고, 합성 EDF 이미지에 계단 아티팩트를 도입할 수 있다. 예를 들어 이러한 아티팩트는 합성 이미지에서 흰색 조각(white flake)으로 나타날 수 있다.

EDF 시스템에서, 이미지들 사이에 큰 단차(step)를 갖도록 z-축을 따라 이미지 스택을 얻는 것이 종종 유리하다(예를 들어, 이미지화 공정에서 증가된 속도를 위해). 이 단차 크기는 시스템의 피사계 심도에 가까울 수 있다. 따라서, 객체 에지를 보존하면서도 이미지 사이에 큰 단차를 허용하는 시스템과 방법이 필요하다.

또한, 브러시 생검 샘플에 고유하게 포함된 귀중한 진단 정보를 활용하는 시스템 및 방법이 필요하다. 예를 들어, 미국과 전세계의 많은 환자가 내시경 검사를 받으며, 이 경우 의사가 내시경을 사용하여 상부 위장관, 담관 또는 기타 신체 부위를 관찰한다. 이러한 절차에서, 의사는 겸자 생검(forceps biopsies) 및/또는 브러시 생검을 수행하여 실험실 분석을 위해 조직 샘플을 얻을 수 있다.

겸자 생검 절차에서는, 조직의 작은 섹션들이 식도의 집중된 영역에서 소정의 간격으로 절제된다. 실험실에서, 절제된 조직 세그먼트는 병리학자의 분석을 위해 마이크로톰을 사용하여 평평한 시트로 슬라이싱된다. 따라서 이러한 종래의 조직 검체를 검토하는 병리학자는 최소한의 초점 조정이 필요한 실질적으로 평평한 조직 섹션을 분석한다.

한편, 브러시 생검 절차에서는, 뻣뻣한 살(bristle)을 갖는 브러시 생검 기구를 사용하여 넓은 조직 영역을 쓸어내어 넓은 조직 영역의 조직의 전체 두께 샘플을 획득한다. 생검 브러시는 작은 조직 세그먼트를 제거하고 이는 검체 슬라이드로 실질적으로 그대로 전달된다. 이러한 조직 세그먼트는, (겸자 생검에 대해서 전술한 바와 같이) 슬라이싱되지 않기 때문에, 조직의 자연 아키택처가 유지된다. 중요하게도, 이것은 병리학자의 관찰 및/또는 컴퓨터 시스템에 의한 분석을 위해 (조직 슬라이싱으로 인해 정면 뷰(en face view)가 파괴되는 종래의 조직학적 조직 제제와 달리) 조직의 정면 뷰를 보존한다.

조직의 정면 뷰는 귀중한 진단 정보를 제공한다. 예를 들어, 위장관의 세포는 "벌집(honeycomb)"을 형성하는 격자 구조체로 구성된다. 이 육각형 조직 아키택처는, 전형적으로, 담관, 결장, 유방 등과 같은 신체의 선상 세포이거나 식도 또는 자궁 경부 세포와 같이 편평 및 선상 조직이 만나는 과도기 영역이다.

건강한 조직에서는, 벌집 모양을 형성하는 균일한 간격의 핵이 관찰될 수 있다. 그러나 초기 이형성증(dysplasia)에서는 개별 핵이 약간 커지고 정상적인 핵 세포질 비율이 증가할 수 있다. 이런 일이 발생하면 이웃하는 핵이 서로 더 가까워지고 함께 밀집되기 시작한다. 또한, 조직화된 벌집 모양으로 패킹되는 대신, 핵이 비조직화되고 세포 간의 관계가 본질적으로 무질서하게 된다. 따라서, 벌집 구조체의 유무와 밀집 및 비조직화 정도는 초기 단계 질병을 감지하고 이형성과 양성 상태를 식별하는 데 중요한 진단 특징이다.

브러시 생검은 조직의 전면 뷰를 유지하고 임상 관찰을 위해 벌집을 유지하는 조직 단편을 얻을 수 있지만, 벌집 모양을 형성하는 구성 세포들은 종종 서로 다른 초점면에 위치하므로, 병리학자는 정초점의 벌집 모양을 관찰할 수 없다. 오히려, 병리학자는 분리된(in ioslation) 제1 초점 거리에서 하나 이상의 세포를 관찰한 다음, 분리된 제2 초점 거리에 있는 하나 이상의 세포를 관찰해야 하는 식이다. 이러한 수동 공정은 지루할 뿐만 아니라 신뢰할 수 없다. 이와 관련하여, 병리학자는 서로 다른 초점 거리에 있는 세포 간의 관계와 거리를 기억하고, 관찰한 모든 정보를 정신적으로 모아야 한다. 비유적으로, 병리학자는 숲의 사진을 보는 것이 아니라, 개별 나무를 보고 숲의 이미지를 마음 속으로 구성하려고 한다.

공지된 EDF 기술은 두꺼운, 반투명 샘플에서 세포 사이의 공간적 관계를 보존하지 못하기 때문에 벌집 모양이 적절하게 이미지화되지 않았다. 결과적으로, 벌집 모양이 명확하게 이미지화되지 않고 규칙성과 잠재적인 이상(abnormality)을 평가하기가 더 어렵다. 종래의 EDF 시스템에서는, 모든 핵이 동일한 평면에 나타나, 벌집 모양이 더 밀집하게 되어, 병리학자에게, 세포가 이형성이라는 잘못된 인상을 준다.

따라서, 컴퓨터 및/또는 병리학자에 의한 분석을 위해 벌집 구조체의 정초점의 뷰를 생성할 수 있는 개선된 시스템 및 방법이 필요하다.

본 발명의 목적은, 생물학적 샘플의 정초점의 합성 이미지를 생성하는 EDF 시스템에 있어서, 진단적으로 중요한 이미지 객체가 초점이 맞춰져서 표시되고 하부 객체는 강조되지 않는 EDF 시스템을 제공하는 것이다.

본 발명의 다른 목적은, 생물학적 샘플의 서로 다른 세그먼트에 대한 복수의 최적 초점면을 판단하고, 복수의 최적 초점면으로부터 이미지 객체를 획득하여 디지털 합성 이미지를 생성하는 것이다.

본 발명의 또 다른 목적은, 조직 내 세포 사이의 거리가 사전에 정해진 건강한 거리 내에 있는지 여부를 판단하고, 그러한 판단이 이루어질 때 사전에 정해진 건강한 거리 내에 있는 세포가 점유하는 평면 아래에 놓인 이미지 객체를 강조하지 않는 것이다.

본 발명의 또 다른 목적은, 조직을 포함하는 구성 세포가 서로 다른 평면 상에 위치하는, 조직의 정면 이미지를 생성하는 것이다.

본 개시의 특징 및 이점은 첨부된 도면과 관련하여 취해질 때 다음의 상세한 설명을 참조하여 보다 완전히 이해될 것이다:
도 1은 종래의 EDF 시스템을 사용하여 이미지화된 대표적인 조직 샘플의 개략적인 단면도이다.
도 2는 본 발명의 개선된 EDF 시스템의 실시예를 사용하여 이미지화된 대표적인 조직 샘플의 개략적인 단면도이다.
도 3은 본 발명의 일 실시예에 따른 개선된 EDF 시스템의 블록도이다.
도 4는 본 발명의 실시예에 따른 개선된 EDF 처리 방법의 실시예의 순서도다.
도 5는 본 발명의 일 실시예에 따른 개선된 EDF 시스템을 사용하여 캡처된 대표 이미지의 요소를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 개선된 EDF 시스템에 의해 수행되는 방법의 하나의 단계를 나타내는 차트이다.
도 7은 본 발명의 일 실시예에 따른 개선된 EDF 시스템에 의해 수행되는 방법의 다른 단계를 나타내는 차트이다.
도 8a는 원주 상피 조직 섹션의 개략적인 측사시도이다.
도 8b는, 벌집 패턴을 보여주는, 도 8a의 조직 섹션의 개략적인 평면도이다.
도 9는 조직 섹션의 구성 세포들이 서로 다른 평면을 점유하는 원주 상피 조직 섹션의 개략적 측면도를 도시한다.
도 10은, 일련의 세포들이 상부 평면을 차지하고 하부 세포가 하부 평면을 차지하는 원주 상피 조직 섹션의 개략적 측면도를 도시한다.
도 11은 본 발명의 실시예들에 따른 개선된 EDF 시스템 없이 획득된 조직 검체의 합성 이미지를 도시한다.
도 12는 본 발명의 일 실시예에 따른 개선된 EDF 시스템을 사용하여 얻은 조직 검체의 합성 이미지를 나타낸다.
도 13은 본 발명의 일 실시예에 따라 "계단형 아티팩트"를 갖는 검체 영역과 아티팩트가 제거된 동일한 검체 영역의 개략적 비교 표현을 도시한다.

이제, 본 발명의 실시예가 도면의 상기 식별된 도면을 참조하여 설명될 것이다. 그러나, 본 발명의 도면 및 설명은 본 발명의 범위를 제한하기 위한 것이 아니다. 본 발명의 사상을 벗어나지 않고 본 발명의 본 설명의 다양한 변형이 가능함을 이해할 것이다. 또한, 본 명세서에 설명된 특징은 생략될 수 있고, 추가적 특징이 포함될 수 있으며, 및/또는 본 명세서에 설명된 특징은 본 발명의 사상에서 벗어나지 않고 본 명세서에 언급된 특정 조합과 다른 방식으로 결합될 수 있다.

전술한 바와 같이, 종래의 EDF 시스템은, 일반적으로, 합성 이미지를 생성할 때 각 초점면에서 가장 선명한 픽셀을 맹목적으로 추출한다. 따라서 이러한 알고리즘을 두껍고 반투명한 생물학적 검체에 적용할 때, 어떤 특정 픽셀이 어떤 특정 객체에 속하는지 반드시 고려하지 않으므로, 이러한 객체들의 공간적 배열을 보존할 수 없는 경우가 있다. 예를 들어, 여러 객체 또는 세포가 서로 다른 평면에 위치하는 경우 (그러나 서로 오버레이되는 경우), 종래의 EDF 시스템에서 생성된 합성 이미지는 단일 세포를 나타내는 것처럼 보일 수 있으나, 실제로는 여러 세포가 서로의 위에 스택되어 있다. 이것은, 종래의 EDF를 사용할 때 서로 다른 평면에 있는 객체들 간의 공간 관계가 항상 보존되는 것은 아니기 때문이다. 이 문제는 병리학자 및/또는 컴퓨터 시스템이 제공하는 영역의 진단을 양성에서 이형성(즉, 전-암성)으로 크게 변경할 수 있다.

도 1은 종래의 EDF 시스템의 동작을 도시한다. 검체(1)은 깊이(D)를 갖고 관심 대상(예를 들어, 세포)(10, 20, 30)을 포함하는 반투명 조직 샘플이다. 객체들(30)은 제1 초점면(검체 상단에 가장 가까운) 상에 위치하고, 객체들(20)은 더 아래의, 제2 초점면 상에 위치하며, 객체들(10)은 제2 초점면 아래에 있는 제3 초점면 상에 위치한다. 제2 초점면에 위치하는 객체들(20)은 제3 초점면에 위치한 객체들(10)과 중첩한다. 표준 EDF 시스템의 출력이 합성 이미지(5)에 도시된다. 도시된 바와 같이, 종래의 EDF 시스템은 합성 이미지를 생성할 때 각 초점면에서 가장 선명한 객체에 해당하는 픽셀을 맹목적으로 추출한다. 종래의 EDF 평면(6)은 검체(1)의 다양한 객체들의 공간적 관계를 고려하거나 보존하지 않는다. 결과적으로, 객체들(10, 20)은 실제로 서로 다른 평면 상에 위치함에도 불구하고, 합성 이미지(5)에서 함께 밀집되는(crowded) 것처럼 보이다. 이러한 객체들은 합성 이미지(5)에서 단일 세포 또는 덩어리로 잘못 나타날 수 있으며, 이로 인해 병리학자나 컴퓨터 시스템에 의해 잘못된 진단을 받을 수 있다. 이와 관련하여, 복합 이미지(5)가 단지 다른 평면 상에 위치하는 건강한 세포를 포함하고 있어도, 병리학자는 복합 이미지(5)를 이형성으로 해석할 수 있다. 따라서 EDF 시스템이, 객체들(20, 30)은 초점에 맞고, 객체들(10)은 초점이 맞지 않는 합성 EDF 이미지를 제공할 수 있다면 바람직할 것이다.

본 발명의 개선된 EDF 시스템의 작동은 도 1에서와 동일한 개략적인 검체를 보여주는 도 2를 참조하여 설명된다. 구체적으로, 검체(1)는, 깊이(D)를 갖고 관심 객체들(예를 들어, 세포)(10, 20, 30)을 포함하는 반투명 조직 샘플이다. 객체들(30)은 제1 초점면(검체 상단에 가장 가까운) 상에 위치하고, 객체들(20)은 제2 초점면 상에 (객체들(30) 아래에) 위치하며, 객체들(10)은 제3 초점면 상에 (객체들(20) 아래에) 위치한다. 객체들(20)은 객체들(10)을 중첩한다. 그러나, 각 초점면에서 가장 선명한(sharpest) 객체들에 해당하는 픽셀들을 합성 이미지(5)에 맹목적으로 복사하는 대신, 개선된 EDF 시스템은 검체(1)에서 최적의(optimal) 초점면(7)을 식별한다. 결과적으로, 합성 이미지(5)가 생성될 때, 객체들(10)은 강조되지 않고, 객체들(20)에 대한 객체들(10)의 공간적 표현이 보존된다.

샘플 수집 및 준비

본 발명의 시스템 및 방법은 많은 분야에 적용 가능하지만, 브러시 생검 기기를 사용하여 수집된 조직 샘플의 분석, 다른 도말 제제 및 높은 NA 대물렌즈를 갖는 40X에서 이미지화되는 전통적인 조직학적 샘플에 유용하다는 것이 밝혀졌다. 전술한 바와 같이, 조직의 브러시 생검을 얻을 때, 조직(예를 들어, 상피 조직)의 다양한 층을 관통할 수 있을 정도로 충분히 뻣뻣한 브러시가 사용된다. 전체 두께 조직 검체를 얻는 과정에서, 단일 세포 및 세포 클러스터 외에도 조직 단편이 수집된다.

전형적으로, 병리학을 위한 세포 검체의 준비에 있어서, 임상의는 세포 및/또는 조직을 유리 현미경 슬라이드에 옮기고 부착할 것이다. 그런 다음 슬라이드는 추가 처리 및 의료 진단을 위해 실험실로 전송된다. 추가 처리는, 현미경으로 볼 때 샘플의 콘트라스트(또는 샘플의 특정 특징)를 향상시키기 위해 슬라이드를 염색하는 것을 포함할 수 있다. 이러한 얼룩은, 예를 들어, 포일겐(Feulgen), 파파니콜로(Papanicolaou), 헤마톡실린 및 에오진(H&E, hematoxylin and eosin), 알시안 블루(alcian blue) 및 IHC 얼룩을 포함할 수 있다. 실험실 기술자는 슬라이드에 커버 슬립 및 레이블(label)을 적용할 수도 있다. 무엇보다도, 레이블은 샘플에 적용된 얼룩의 유형을 식별할 수 있다. 이 정보는 바코드로 표현되거나 전자 추적 장치(예를 들어, RFID)에 내장될 수 있다. 아래에서 추가로 논의되는 바와 같이, 이후의 처리 단계에서, 컴퓨터 시스템은 특정 샘플에 적용할 최적의 처리 알고리즘을 판단하기 위해 이러한 정보를 읽을 수 있다.

그러나, 본 발명에서, 슬라이드는 병리학자 및/또는 컴퓨터 시스템에 의해 검사되기 전에 추가 처리를 거칠 수 있다. 구체적으로, 세포 검체의 캡처된 디지털 현미경 이미지는 여기에 설명된 개선된 EDF 시스템에 의해 추가로 처리되며, 이는 진단적으로 중요한 객체들 및 이들의 서로에 대한 공간적 관계를 보존하는 향상된 디지털 이미지를 생성한다. 이것은 아티팩트와 허위 이미지를 감소시키고, 진단적으로 중요한 관심 대상을 정초점(in focus)으로 컴퓨터로 제시하여, 컴퓨터 분석 시스템의 정확도를 높인다.

본 발명의 개선된 EDF 시스템(100)의 블록 다이어그램이 도 3에 도시되어 있다. 시스템(100)은 슬라이드로부터 이미지들의 컬렉션을 획득하기 위한 광학 시스템(40)을 포함한다. 광학 시스템(40)은 고출력 현미경, 슬라이드 위치 스테이지 및 카메라를 포함할 수 있다. 컴퓨터 장치(44)는 특정 x-y 위치의 이미지를 구성하기에 충분한 수의 이미지 슬라이스를 얻기 위해 z-방향으로 스테이지의 이동을 제어한다. 시스템(100)은 이미지 컬렉션을 저장하기 위한 저장 장치(42)를 더 포함한다. 저장 장치(42)는 하드 드라이브 또는 SSD(솔리드 스테이트 드라이브) 또는 다른 유형의 고속 메모리 장치를 포함할 수 있다. 컴퓨터 장치(44)(또는 함께 작동하는 다수의 컴퓨터)는 본 명세서에서 논의되는 개선된 합성 이미지를 생성하기 위해 z-스택 이미지들의 컬렉션을 처리한다. 컴퓨터 장치(44)는 처리 속도를 높이기 위해 특수한 이미지 처리 하드웨어(예를 들어, 그래픽 처리 장치 또는 "GPU(graphical processing unit)")를 사용할 수 있다.

당업자는, 광학 시스템(40)이, 스테이지의 매 이동 후에 이미지를 캡처 및 저장하도록 구성될 수 있거나, 대안적으로 스테이지가 일정한 속도로 이동하는 동안 규칙적인 시간 간격으로 연속적이고 계속적으로 이미지를 캡처하도록 구성될 수 있음을 이해할 것이다. 본 발명의 실시예에서, 후자의 방법은 z-스택을 생성하는 데 더 빠를 수 있다. 그러나 이미지 캡처 통합 시간을 최소로 유지할 수 있도록 시스템에 충분한 빛을 추가하려면(예를 들어, 스트로보 스코프를 통해) 주의해야 한다. 본 발명의 다른 실시예에서, 시스템은, 보다 집중적인 EDF 계산을 위해 z-스택 이미지에 대해 손실 또는 비-손실(non-lossy) 압축을 수행하고 z-스택 이미지의 압축된 버전을 오프라인으로(예를 들어 이더넷을 통해) 이동시키도록 구성된다. 이것은, 이미지 z-스택 캡처 공정이 최대 속도(기계적 이동에 의해 제한됨)로 발생할 수 있도록 수행되며, 여기서 EDF 처리는 여러 컴퓨터에서 병렬로 수행될 수 있다. 이러한 디커플링(decoupling)은 최소 비용으로 최대 확장성과 최대 처리량을 허용한다. 모든 기계적 이동은 스캐너/이미지 부분으로 구분되어 있는 한편, 두 번째 부분은 라운드-로빈(round-robin) 방식으로 개별 z-스택에서 작업하는 데 필요한 추가 컴퓨터를 추가하여 확장성이 뛰어나다.

개선된 EDF 시스템에 의해 수행되는 처리 단계의 일 실시예가 도 4의 순서도에 도시되어 있다.

이미지 컬렉션

도 4의 단계(S1)에 도시된 바와 같이, 광학 시스템은 z-축(즉, 현미경 축)을 따라 서로 다른 초점 심도(또는 초점면)에서 각각 취해진 이미지 슬라이스들의 컬렉션을 획득한다. 집중 EDF 작업을 수행하기 위해 CPU가 컴퓨터 메모리에 직접 액세스할 수 있는 컴퓨터 메모리에 이미지 컬렉션이 저장되는 것이 바람직하지만, 다른 실시예에서는 빠른 EDF 작업을 수행할 수 있는 별도의 CPU, RISC, GPU 또는 FPGA 프로세서 등을 갖는 별도의 처리 또는 그래버 보드에 z-스택 이미지가 저장될 수 있다. EDF가 완료되면, 이미지 컬렉션은 컴퓨터 장치에서 검색할 수 있도록 데이터 저장 장치(도 3, 42)에 저장된다. 스택의 이미지 수는 검사중인 샘플의 두께와 현미경 대물 렌즈의 피사계 심도를 비롯한 여러 요인에 따라 달라질 수 있다. 일반적으로, 오버 샘플링 기준을 충족하기 위해 현미경 대물 렌즈의 피사계 심도보다 작은 간격을 사용하는 것이 바람직하다. 이것은 검체의 전체 두께에 걸쳐 일관된 선명도(sharpness)를 보장한다. 예를 들어, 샘플의 두께가 60 μm이고 이미지가 4 μm의 초점 심도 간격으로 촬영되었다고 가정하면 총 15개 이상의 이미지(또는 슬라이스)가 수집될 수 있다.

샘플링 간격은 예를 들어 사전에 설정된 데이터에 기초하여 사전에 결정될 수 있다. 대안적으로, 샘플링 간격은 컴퓨터 시스템에 의해 동적으로 결정될 수 있는데, 예를 들어, 각 초점면에서 선명한 픽셀의 수를 측정하고 상대적으로 적은 개수의 선명한 픽셀이 발견될 때 처리를 조정한다. 알고리즘은, z-스캔을 조기에 종료하거나, 추가적인 선명한 픽셀이 여전히 발견되는 경우 z-스캔을 확장하거나, 최소의 선명한 픽셀이 발견되면 초점면 사이의 z-거리를 늘림으로써 조정될 수 있다. 수행할 수 있는 단계가 적을수록 시스템이 최종 EDF 이미지를 더 빨리 표시할 수 있지만, 단계가 너무 클 경우 발생할 수 있는 이미지 품질 손실과 균형을 맞춰야 한다.

사전-처리

일 실시예에서, 스택의 이미지들은 도 4의 단계(S2)에 도시된 바와 같이 그레이 스케일로 변환된다. 각 이미지를 그레이 스케일로 변환함으로써, 진단 정확도를 희생하지 않고 이미지 데이터의 양 및 관련 처리가 현저하게 감소된다는 것이 밝혀졌다. 이와 관련하여, 그레이 스케일 변환은 특정 면역 염색(immunostain), 예를 들어 H&E 또는 알시안 블루에 대해 최적화될 수 있다. 예를 들어, 색상 디컨볼루션(deconvolution)을 사용하여 면역 염색된 세포를 향상시키고 그 특정 색상에 초점을 보장할 수 있다. 일 실시예에서, 시스템은 특정 샘플에 적용할 최적의 처리 알고리즘을 판단하기 위해 적용된 얼룩과 관련된 정보를 슬라이드로부터 자동으로 읽는다.

다른 실시예에서, 수집된 이미지를 그레이 스케일로 변환하는 대신, 개선된 EDF 시스템은 컬러 이미지에 대해 직접 EDF 처리를 수행한다. 예를 들어, 에지 콘트라스트(edge contrast)는 적색, 녹색, 및 청색 콘트라스트의 최대값으로 3개의 RGB 색상 이미지에서 직접 계산할 수 있다.

단계(S3)에서, 이미지 처리에 필요한 다양한 데이터 구조체가 이니셜라이징될 수 있다. 여기에는 최대 선명도 어레이(Max Sharpness Array) 및 Z-인덱스 어레이(Z-Index Array)를 포함한 여러 2차원 배열이 포함될 수 있으며, 이에 대해서는 아래에서 더 자세히 설명한다. 컬렉션, 테이블 또는 데이터 객체와 같이 당업자에게 공지된 대체 데이터 구조체가 픽셀 어레이 대신 사용될 수 있다.

이미지 컬렉션에서 가장 선명한 객체 찾기

도 4의 단계(S4, S5, S6)를 참조하면, 개선된 EDF 시스템은 이미지 컬렉션에서 가장 선명한 객체의 위치를 식별하기 위해 z-축을 따라 서로 다른 초점 거리에서 촬영한 이미지 컬렉션을 반복적으로 횡단한다(traverse). 구체적으로, 이미지 스택의 상단(또는 하단)에서 시작하여, 시스템은 제1 이미지 평면 상에 있는 객체들의 선명도를 계산하여 이니셜라이징된다. 계산된 선명도 값은 최대 선명도 어레이에 저장되고 Z-인덱스 어레이는 시작 이미지 평면(예를 들어, 최상단 평면을 나타내는 평면(1))의 인덱스로 채워진다(populated). Z-축을 따르는 모든 후속 평면에 대해, 시스템은 해당 평면의 각 픽셀 또는 객체에 대한 선명도를 계산하고, 새 이미지 평면에 있는 객체의 선명도를 최대 선명도 어레이에 저장된 것과 비교한다. 새로운 최대 선명도 값이 있는 경우, 시스템은 다음을 저장한다: (1) (이전 최대값 대신) 최대 선명도 어레이의 새로운 최대 선명도 값, 및 (2) Z-인덱스 어레이의 해당 위치(예를 들어, 이미지 슬라이스가 위치하는 이미지 슬라이스의 인덱스).

최적의 초점면 판단

다음으로, 개선된 EDF 시스템은 검토중인 샘플에 대한 최적 초점면을 계산한다(단계(S7)). 전술한 바와 같이, 이 단계는 샘플 내 관심 객체들 간의 공간 관계가 유지되도록 한다. 최적의 초점면을 얻고 파생된 최적의 초점면을 사용하여 합성 이미지를 생성한 결과, 위에 놓인 객체는 초점이 맞게 표시되고 아래에 놓인 객체는 초점이 맞지 않는다.

본 발명의 일 실시예에서, 최적의 초점면은, 세포 사이의 거리를 계산하고, 세포가 서로 정상 또는 건강한 거리("h-거리"라 함, 도 2) 내에 있는지 여부를 판단함으로써 판단된다. 본 발명의 실시예에서, 건강한 거리 또는 "h-거리"는 세포 에지 사이 또는 두 핵 사이의 사전에 결정된 거리이다. 예를 들어, 본 발명의 일 실시예에서, h-거리는 이웃하는 세포의 핵의 에지 사이의 거리를 측정함으로써 계산되고, 다른 실시예에서 h-거리는 이웃하는 핵의 중심 사이의 거리를 측정함으로써 계산된다.

2개의 세포가 h-거리 내에 있는 것으로 판단되는 경우, 시스템은 그 2개의 세포가 동일한 조직의 것이고, 따라서 그 이웃하는 세포가 점유하는 평면이 초점면이 될 것이라고 결론을 내리고, 하부 세포는 초점이 맞지 않도록 유지될 것이다. 그러나, 두 세포 사이의 거리가 h-거리보다 큰 경우, 시스템은 초점면을 시프팅하여, 관련 없는 두 세포 모두에 초점을 유지할 수 있다.

예를 들어, 도 2를 참조하면, 시스템은 객체들(20) 사이의 거리(예를 들어, 거리(A))가 h-거리 내에 있다고 판단했다. 따라서, 객체들(20)이 차지하는 평면이 그 슬라이드 세그먼트에 대한 최적의 초점면으로 선택되고 객체들(20)이 정초점으로 표시된다. 반면에 하부 객체들(10)은 초점이 맞지 않는다. 반대로 객체(20')와 객체(30') 사이의 거리(B)는 h-거리보다 큰 것으로 판단된다. 그 결과, 초점면은 객체들(30)이 서로 h-거리 내에 위치하는 슬라이드 세그먼트로 (도시된 방향에서 오른쪽으로) 시프팅한다. H-거리는 본 발명의 실시예에 따라 선형 미터 단위 또는 픽셀 수에 의해 측정될 수 있다.

본 발명의 일 실시예에서, 초점면은 Z-인덱스 어레이에서 "클로징(closing)"을 수행함으로써 판단된다. 클로징은 사전에 정의된 수의 그레이 스케일 팽창(dilation) 후에 동일한 수의 그레이 스케일 침식(erosion)이 뒤따르는 일련의 작업이다. 예를 들어, h-거리가 5픽셀이라고 가정하면, 시스템은 5픽셀의 구조적 요소를 사용하거나 h-거리를 커버하도록 여러 번 반복한다. 따라서 팽창은 h-거리 갭을 완전히 덮을 것이다. 갭이 채워지고 갭의 양측에 있는 픽셀이 융합되면(fused) 이후의 침식은 아무런 영향을 미치지 않는다. 그러나 갭이 채워지지 않으면 후속 침식으로 에지가 원래 위치로 복원된다. 따라서 클로징은 갭을 완전히 채울 수 있으며(즉, 동일한 z-인덱스를 생성함), 하부 이미지(예를 들어, 세포 핵)가 갭 사이에 존재하는 경우 이러한 이미지를 표면으로 가져오지 않는다. 그러나 클로징이 갭을 채우지 않고 갭 사이에서 하나 이상의 핵이 아래에 있는 경우, 핵은 표면의 멈춤 지점으로 이동할 것이다. 침식 및 팽창은 당 업계에 공지된 임의의 다양한 기술, 예를 들어 길-키멜 팽창/침식 알고리즘(the Gil-Kimmel dilation/erosion algorithm)(문서[Gil, J. Y., & Kimmel, R, Efficient dilation, erosion, opening, and closing algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(12), 1606-1617 (2002)] 참조)에 의해 수행될 수 있다.

따라서, 도 2에 도시된 예시적인 실시예에서, 세포(20')와 세포(30') 사이의 거리(B)는 h-거리보다 크다. 이와 같이, 팽창은 모든 방향으로 세포(20 ')의 이미지를 확장하고 또한 모든 방향으로 세포(30')의 이미지를 확장하지만, 각각의 세포 사이의 갭은 채워지지 않을 것이다. 결과적으로, 침식이 수행된 후에, 세포들(20', 30')의 원래 에지가 복원되고, 세포들(20)이 차지하는 평면이 세포들(30)이 차지하는 평면과 융합되지 않는다. 대신, 초점면이 세포들(20)이 차지하는 평면에서 세포들(30)이 차지하는 평면으로 효과적으로 시프팅된다. 반대로, 세포들(20) 사이의 거리가 h-거리 내에 있기 때문에, 세포들(20)에 수행된 팽창은 각각의 세포들(20) 사이의 갭을 채우는 효과를 가질 것이며, 이는 후속 침식에 의해 반전되지 않을 것이다. 따라서, 세포들(20)이 차지하는 평면은 초점면으로 판단될 것이며, 결과적으로 세포들(20)이 초점이 맞게 표시될 것이고, 반면에 세포들(20) 사이의 갭 아래에 있는 세포들(10)은 초점이 맞지 않게 표시될 것이다. 이것은 세포들(20)과 아래에 놓인 세포들(10) 사이의 공간적 관계가 보존되는 것을 보장한다.

일 실시예에서, 침식 및 팽창을 위해 평평한 5 x 5 대략 원형의 커널(kernel)이 사용된다. 다른 실시예에서, 위에서 인용된 길-키멜 인용문헌에서 교시된 것과 같은 그레이 스케일 가우시안 커널이 사용된다. 침식과 팽창의 횟수는 상부 객체들을 초점이 맞게 표시하고, 하부 객체들을 초점에서 벗어나게 유지하도록 선택된다. 최적의 초점면은 객체 사이의 거리에 따라 판단되기 때문에, 시스템이 검체의 거리를 가로 질러 이동함에 따라 최적의 초점면이 달라질 수 있으며, 핵이 가장 잘 보이고 가장 선명한 특징(빛은 반투명 매체의 표면 근처에서 덜 회절됨)을 갖는 상부 핵층에 더 집중되지만, 여전히 더 깊은 핵을 표면으로 가져올 수 있다.

전술한 팽창/침식 절차의 결과는 도 5 및 도 6에 더 도시되어 있다. 도 5에서, 이미지 스택(15)이 도시되고, 이미지 스택의 상단에 이미지(I₁₀)가 위치한다. 이미지(I₅ 및 I₁)는 이러한 각 이미지 평면에서 초점이 맞는 다양한 객체를 포함한다. 객체들(20)은 z-축에서 객체들(10)을 중첩한다. 이미지 스택(15)으로부터 생성된 대표적인 Z-인덱스 어레이(11)의 일부가 도 6에 도시되어 있다. 도시된 바와 같이, Z-인덱스 어레이는 이미지 스택(15)(도 5)에서 가장 선명한 객체들에 대응하는 픽셀들의 위치(즉, 이미지 평면 번호)를 포함한다. 구체적으로, 객체들(20)의 위치는 "5"로 표시되고 객체들(10)의 위치는 "1"로 표시된다. 최종 합성 이미지가 도 6의 Z-인덱스 어레이(11)에서 컴파일되는 경우(즉, 기존 EDF에서와 같이), 객체들(10, 20)은 단일 객체(즉, 객체들(10)이 객체들(20)을 밀집시킴)와 같이 나타날 것이다. 전술한 바와 같이, 이것은 오진의 결과가 될 수 있다. 따라서 검체를 정확하게 묘사하고 올바른 진단을 내리기 위해서는 합성 영상의 공간적 관계를 보존해야 한다.

도 7은 다수의 팽창 및 침식이 수행된 후에 도 6의 대표적인 Z-인덱스 어레이를 도시한다. 구체적으로, 이미지(I₁)에 위치한 객체들은 성공적으로 강조되지 않았고, 객체들의 공간적 관계가 유지되었다. 도시된 바와 같이, "5"로 표시된 객체들(20)만이 인덱스(12)에 남아 있다. 따라서 최종 합성 이미지가 컴파일되면, 다른 경우에는 이미지(I₁)에서 검색되었을 픽셀이 이미지 (I₅)에서 검색된다.

일 실시예에서, 팽창 또는 침식의 횟수는 건강한 조직에서 핵 사이의 h-거리와 동일하다. 전술한 바와 같이, 개선된 EDF 시스템은 상부 레이어의 핵 사이의 거리가 h-거리보다 작으면 하부 객체를 강조하지 않거나 초점을 맞추지 않는다. 반면에 거리가 h-거리가 더 큰 경우, 두 핵이 동일한 조직의 것이 아니므로, 전술한 밀집 효과를 도입하지 않고도 임의의 낮은 수준의 객체에 안전하게 초점을 맞출 수 있다고 가정할 수 있다. 예를 들어 h-거리는 5 픽셀 또는 18 미크론이 될 수 있다.

이 공정은 이미지 컬렉션을 위한 최적의 초점면을 효과적으로 찾고 바람직하지 않은 밀집(crowding) 효과를 제거하는 것으로 밝혀졌다. 본원에 기술된 시스템은 세포 핵과 같은 관심 세포 구조체에 대한 최적의 초점면을 찾는 데 사용될 수 있다. 그러나, 시스템은 다른 관심 구조체, 특히 배상 세포(goblet cell)의 세포질 점액 주머니 및/또는 세포 경계에 초점을 맞추도록 조정되어 세포의 벌집 배열의 검출을 향상시킬 수 있다.

크고 밝은 점액 영역을 찾기 위해, 시스템은 10x10 내지 20x20 범위(이미지의 해상도에 따라 다름)와 같은 더 큰 크기의 커널에 팽창 및 침식을 수행할 수 있음이 밝혀졌다. 이 공정은, 배상 세포에서 발견되는 점액 영역과 같이 크고 밝은 고 콘트라스트(high contrast) 객체에 대한 Z-인덱스 어레이를 생성한다. 세포 경계를 찾기 위해, 알고리즘은 형태학적 연산(morphological operation)을 수행하여 얇고 어두운 선(고리 구조체 요소(ring structuring element)에 의한 침식에 뒤이어, 동일한 크기의 고체 구조체 요소(solid structuring element)에 의한 팽창)을 강화한다. 이것은 세포의 선단 표면(apical surface)에서 물고기 비늘과 같은 얇고 어두운 선에 대한 Z-인덱스 어레이를 생성한다. 3개의 Z-인덱스 어레이를 사용하여 3개의 개별 EDF 이미지를 생성할 수 있으므로, 사용자는 서로 다른 초점면에서 서로 다른 관심 세포 구조체를 볼 수 있다. 대안적으로, 3개의 Z-인덱스 어레이는 최대 선명도로 Z-인덱스를 취하여 결합한 다음 5x5 가우시안 커널로 평활화(smooth)할 수 있다.

합성 이미지 생성 및 사후-처리

단계(S8)에 도시된 바와 같이, 다음으로 시스템은 Z-인덱스 어레이(이제는, 합성 이미지에 포함될 최적의 픽셀의 위치를 포함함) 및 이미지의 원본 컬렉션에 기초하여 합성 이미지를 생성한다. 또한, 단일 슬라이드에 대해 여러 이미지 스택을 얻고, 개별적으로 분석하고(아래에서 설명함), 생성된 합성 이미지가 함께 스티칭되어 단일 합성 이미지를 형성할 수 있는 것으로도 이해할 수 있다. 또는, 단일 이미지 스택을 획득하여 여러 알고리즘으로 전송할 수 있으며, 각 알고리즘은 소정의 특징을 찾고 각 알고리즘은 고유한 합성 이미지를 생성한다. 예를 들어, 사용자는 배상 세포에 대한 최적의 합성 이미지, 이형성 세포에 대한 또 다른 합성 이미지, 벌집 패턴에 대한 또 다른 합성 이미지를 선택할 수 있다.

다양한 사후-처리 동작(단계(S9))이 합성 이미지에 대해 선택적으로 수행될 수 있다. 일 실시예에서, 사후-처리는 선명도 보정을 포함하며, 이는 객체의 에지가 더 뚜렷하게 나타나도록 하여 진단을 돕는다. 일 실시예에서, 선명도 보정은 노이즈를 증가시키지 않고 에지를 선명하게 하는 것으로 알려진 언샵(unsharp) 마스킹을 포함한다. 일반적으로, 언샵 마스킹은 흐릿한(blurred) 네거티브 이미지(예를 들어, 가우시안 블러)를 사용하여 원본 이미지의 마스크를 생성하여 고주파 및 저주파 영역을 식별한다. 그런 다음, 마스크가 원본 이미지와 결합되어 원본 이미지보다 더 선명한 이미지를 생성한다. 추가 사후-처리 단계는 아래에서 설명하는 가이드 필터, XYZ-팽창, 헤이즈 제거 및 Z-보간(Z-interpolation)이 포함된다.

벌집 구조체 분석

전술한 바와 같이, 브러시 생검 조직 수집은 조직의 정면 뷰를 온전하게 유지하는 조직 단편의 수집을 허용한다. 즉, 종래의 조직학 샘플은 슬라이싱되어 조직 슬라이스로 병리학자에게 제공되므로, 병리학자는 조직의 정면 뷰를 결코 관찰하지 않는다. 조직의 정면 벌집 모양은 브러시 생검 수집에서 고유하게 사용할 수 있는 중요한 임상 정보를 제공한다. 개선된 EDF 시스템의 실시예는, 벌집을 형성하는 구성 세포가 여러 초점면을 차지할 수 있는 경우에도, 전체적으로 조직의 벌집 구조체를 관찰하고 분석할 수 있도록 한다.

도 8a는 선상 상피 조직(48)의 단편의 개략도를 도시한다. 도시된 바와 같이, 조직은 길이 방향으로 함께 패킹된 원주 세포들(예를 들어, 50)로 형성된다. 세포의 핵(52)은 세포들(50)의 바닥 세그먼트에 위치한다. 세포들(50)은 기저막(basement membrane)(53) 상에 위치한다. 세포의 정점 표면(apical surface)은 조직 표면을 형성한다. 핵 수준에서 초점을 맞춘 현미경으로 보면, 핵이 육각형 패턴으로 나타난다. 초점이 상단에 있을 때, 세포막(cell membrane)은 육각형 "물고기 비늘"패턴을 형성한다. 초점이 상단 표면과 핵 사이에 있을 때, 배상 세포의 선명한 점액 영역이 가장 알아보기 쉽다. 병리학자의 관찰의 대부분은 핵 수준에 초점을 맞추지만, 점액 및 물고기 비늘 수준의 관점 또한 병리학자의 진단을 지원하는 데 활용된다.

도 8b는 세포의 핵에 초점 수준을 맞춘 도 8a의 조직 단편의 평면도를 도시한다. 세포핵의 규칙적인 패턴(즉, "벌집")이 관찰될 수 있다.

그러나, 3차원 브러시 생검 조직 제제에서, 벌집을 형성하는 세포들은 서로 다른 초점면에 위치할 수 있다. 이와 관련하여, 벌집의 합성 이미지를 생성하지 않고 정초점의 벌집을 보는 것은 불가능하다.

예를 들어, 도 9를 참조하면, 핵 세포들(54, 60)은 제1 초점면(P1)에 표시되고, 핵 세포들(56)은 다른 초점면(P2)에 표시되고, 세포들(58)의 핵은 또 다른 초점면(P3)에 표시된다. 현미경 대물 렌즈가 정초점의 핵 세포들(58)를 보도록 설정되면, 세포들(54, 60, 56)의 핵은 초점이 맞지 않을 것이다. 세포들(56)의 핵이 초점이 맞을 때, 세포들(58) 및 세포들(54)의 핵은 초점이 맞지 않을 것이다. 이 점에서, 수동 현미경을 사용하는 병리학자는 정초점의 전체 벌집 패턴을 볼 수 없다. 이전 EDF 시스템은 모든 세포 핵을 무차별적으로 상단 표면으로 가져오기 때문에 이 문제를 적절하게 해결하지 못했다. 따라서, 벌집 아래에 놓일 수 있는 세포 또는 조직과 관련된 하부 핵이 합성 이미지에 포함될 수 있으며, 이는 이미지 아티팩트를 초래할 수 있다.

한편, 본 발명의 시스템은 검체의 각 세그먼트에 대해 최상의 초점면을 포착하기 위해 초점면을 동적으로 이동시키고, 결과적으로 벌집 구조체의 구성 세포가 여러 초점면에 있더라도, 벌집 구조체는 정초점으로 이미지화된다. 또한, 벌집과 관련이 없는 세포는 초점이 맞지 않도록 유지된다.

예를 들어, 여전히 도 9를 참조하면, 본 발명의 EDF 시스템은 검체의 섹션(E)에 대한 최적 초점면으로 P1을 동적으로 선택하고, 검체의 섹션(F)에 대한 최적 초점면으로 P2를 선택하고, 검체의 섹션(G)에 대한 최적의 초점면으로 P3을 선택하고, 검체의 섹션(H)에 대한 최적의 초점면으로 P1을 선택한다. 또한, 전술한 바와 같이, 본 발명의 EDF 시스템은 계산된 최적의 초점면 아래에 위치하는 피처를 강조하지 않는 합성 이미지를 생성한다. 따라서, 일련의 상부 세포의 근접성을 기반으로 최적의 초점면이 판단되는 경우, 상부 세포 바로 아래에 있을 수 있는 세포는 초점이 맞지 않게 유지되도록 함으로써, 상부 세포와 하부 세포 사이의 공간적 관계가 보존된다. 예를 들어, 도 10에서 일련의 세포들(62)은 각각의 핵이 초점면(P4)을 차지하는 것으로 도시되어 있다. 세포(64)는 세포들(62) 아래에 놓이는 것으로 도시되어 있다. 그러나, 도시된 실시예에서, 세포들(62) 사이의 거리는 h-거리 내에 있고, 그러므로 초점면(P4)은 시스템에 의해 최적의 초점면이 되도록 판단된다. 결과적으로, 아래에 놓인 세포(64)는 초점이 맞지 않을 것이다. 중요한 것은, 세포들(64)과 관련된 피처를 표면으로 가져오지 않는다는 것이다.

벌집의 세포들 각각이 정초점으로 표시되고 하부 세포들이 이미지 아티팩트를 유발하지 않기 때문에, 결과적인 합성 이미지를 분석하는 컴퓨터는 더 정확하고 민감할 것이다. 유사하게, 격리된 세포 및 세포 클러스터를 분석하는 대신, 합성 이미지는 병리학자에게 벌집의 게슈탈트(gestalt) 뷰를 제공한다. 이를 통해 병리학자는 다른 세포 및 세포 클러스터의 맥락에서 세포 및 세포 클러스터를 분석할 수 있다.

도 11은 개선된 EDF 시스템 없이 얻은 조직 검체의 합성 이미지이다. 도시된 바와 같이, 이미지의 많은 부분이 흐려지고 초점이 맞지 않는다. 특히 전체적으로 벌집 구조체를 볼 수 없다.

도 12는 본 발명의 개선된 EDF 시스템을 사용하여 얻은 조직 샘플의 합성 이미지이다. 이 이미지에서는 벌집 구조체가 초점이 맞춰져 있다. 따라서 병리학자는 벌집을 보다 쉽게 관찰하고 분석할 수 있다.

중요한 것은, 개선된 EDF 시스템이 전체 벌집을 이미지화하기 때문에 컴퓨터 시스템이 형태학적 분석을 수행하여 검체의 이상을 식별할 수 있다는 것이다. 예를 들어, 세포핵은 세포질과 구별될 수 있음이 밝혀졌다. 핵이 격리되면, 핵 사이의 거리(h-거리)를 측정할 수 있다. 그런 다음, 컴퓨터 시스템은, 예를 들어, 핵의 가장 가까운 이웃에 대한 평균 및 표준 편차 h-거리를 계산한 다음 규칙적인 육각형 비-이형성 조직에서 발견되는 범위를 벗어난 h-거리를 갖는 핵의 비율을 계산하여 벌집이 정상인지 비정상인지 평가할 수 있다. 추가적으로, 육각형 배열은 핵 수준이 아닌 세포 경계 수준에서 초점면으로 시각화되고 평가될 수 있고, 여기서 이미지는 도 11과 같이 뚜렷한 핵 없이 규칙적인 육각형 "물고기 비늘"모양으로 나타난다.

가이드 필터

검체에 존재하는 조직 및 세포 구조체의 에지를 보존하는 것이 유리하다. 그러나, 표준 평균화 또는 기타 비-차별적 평활화 기술은 에지를 구별할 수 없다. 따라서, 본 발명의 실시예에서 새로운 가이드 필터(guided filter)가 Z-인덱스 어레이에서 가파른 윤곽선의 xy 위치를 이동시키지 않고 정확한 에지-보존 평활화를 수행하기 위해 사용되며, 이는 특히 두꺼운 검체에서 예리하다. 확대 렌즈를 사용하는 대물 렌즈의 경우, 초점면에서 멀어짐에 따라 배율이 변경된다. 각 z-이동에서, 이미지화되는 객체가 축소되고, 잘못된 에지가 그에 따라 이동하도록 한다. 가이드 필터를 사용하면, 실제 에지가 있는 곳에 강조가 배치되어 잘못된 에지의 효과가 무효화된다. 가이드 필터는 그레이 스케일 또는 컬러 이미지에 적용될 수 있다. 이 응용예에서 가이드 필터의 새로운 사용은 가장 선명한 픽셀의 z-위치를 포함하는 Z-인덱스 어레이를 평활화한다. 이는 z-인덱스 노이즈를 동적으로 제거하며 다른 평활화 기술보다 선호된다.

XYZ-팽창 알고리즘

다양한 초점 거리로부터 다중 이미지를 얻는 하나의 잠재적인 바람직하지 않은 효과는 각 초점에서 발생할 수 있는 아티팩트 에지의 출현이다. 즉, 각 EDF 이미지 슬라이스를 획득하면, 실제 에지에 인접한 초점이 맞지 않는 픽셀이 "거짓" 에지로 나타날 수 있다. 이러한 아티팩트 에지가 연속적으로 생성되면, 계단 모양(staircase)(즉, 계층화 효과)이 나타날 수 있다. 예를 들어, 도 13("이전" 이미지)은 합성 이미지 상에 계단과 같은 표시를 형성하는 일련의 아티팩트 에지(66)를 도시한다. 이것은 검체를 왜곡하고, 유용하고 진단적으로 중요한 조직 또는 세포 특징을 모호하게 할 수 있다.

본 발명의 실시예에서, 이 계층화 문제는 전술한 바와 같이 EDF 알고리즘 단계를 수행할 때 초점이 맞지 않는 픽셀의 선택에 의해 야기되는 계단 아티팩트 에지를 제거하도록 설계된 z-인덱스 사후-처리 알고리즘에 의해 해결된다. 이는 인접한 여러 에지를 억제하고 가장 강한 에지만 유지함으로써 가능하다. 본 발명의 일 실시예에서, 이것은 z-값을 "캐리(carry-along)"하여 팽창을 수행함으로써 달성된다. 이를 위해 시스템은, 에지를 판단하고, 16-비트 이미지의 상위 8-비트에 에지 강도를 배치하고 하위 8-비트에 가장 좋은 초점의 z-인덱스를 배치하는 루틴 또는 알고리즘을 실행하도록 구성된다. 팽창(예를 들어, 12x12 팽창) 동안, 하위 8-비트의 z-값은 팽창 알고리즘의 부작용으로 상위 8-비트의 해당 에지 콘트라스트와 함께 캐리된다. 결과적으로, 잘못된 z-인덱스를 갖는 인접한 약한 에지는 더 나은 z-인덱스를 갖는 더 강한 에지로 대체된다. 그런 다음, 팽창된 이미지의 하위 8-비트를 사용하여 최상의 초점 z-인덱스 이미지가 업데이트된다.

따라서, 도 13("이전(before)"이미지)은 설명된 "캐리" 특징을 포함하지 않는 EDF 시스템으로 처리된 합성 이미지를 도시한다. 도시된 바와 같이, 일련의 거짓 에지(66)가 조직 에지에 존재한다. 반면에, "이후(after)" 이미지에서는 전술한 바와 같이 "캐리" 알고리즘을 사용하여 사후-처리된 동일한 검체가 표시된다. 도시된 바와 같이, 계단 아티팩트가 제거되었고 날카로운 실제 에지(68)가 존재한다.

헤이즈 제거

현미경 이미지는 초점이 맞지 않는 산란광으로 인한 헤이즈를 일반적으로 포함한다. 헤이즈 제거는, 이미지 헤이즈를 추정하고 원본 이미지에서 헤이즈를 차감함으로써 수행되어 진단 정보를 더 쉽게 볼 수 있는 더 선명한 이미지를 생성할 수 있다. 일 실시예에서, 시스템은, 평평한 5 x 5 대략 원형 커널로 R, G, B 이미지를 침식시키고, 침식의 최소값을 취하고, 가이드 이미지 필터링을 수행하여 헤이즈를 평활화하고 제거된 헤이즈 콘트라스트를 최대값 32 그레이 레벨(256 스케일에서)로 클리핑함으로써 헤이즈를 추정한다.

Z-보간

설명된 EDF 시스템에서, Z-인덱스 값이 하나의 초점 레벨에서 다음 레벨로 크게 점프할 수 있는데, 실제로는, 초점 레벨은 평활하게(smoothly) 변경된다. 이러한 불일치로 인해 이미지 아티팩트가 발생할 수 있다. 이 문제를 해결하기 위해, EDF 시스템은, 이러한 아티팩트를 제거하기 위해 사후-처리 Z-보간(interpolation) 루틴을 수행하도록 구성될 수 있다. 이 실시예에서, 시스템은 현미경 초점 단계(microscope focus step)의 크기를 판단하는데, 이는 현미경의 피사계 심도만큼 클 수 있으며, 예를 들어 20x 대물 렌즈의 경우 최대 4미크론이다. Z-보간 알고리즘은 Z-인덱스 어레이의 가이드 필터링이 수행되기 전에 콘트라스트를 증가시키기 위해 Z-인덱스 어레이를 확장한다. 이것은 평활화된 z-인덱스를 생성한다. 그런 다음, 알고리즘은 가장 근접한 두 초점 수준을 사용하여 이미지 강도를 보간하여 평활한(smooth) 이미지를 얻는다.

전술한 바와 같이, 텔리센트릭 및 비-텔리센트릭 EDF 시스템 모두에서, 단일 에지가 합성 EDF 이미지에서 다중 에지로 나타날 수 있다. 이 문제는 전술한 바와 같은 처리 단계 중 하나 이상에 의해 해결될 수 있음이 밝혀졌다. 대안적인 실시예에서, 단계의 순서는 예를 들어 가이드 필터링 전에 XYZ-팽창을 적용함으로써 변경될 수 있다.

본 발명이 위에서 개략된 실시예와 관련하여 설명되었지만, 많은 대안예, 수정예 및 변경예가 당업자에게 명백할 것임이 분명하다. 따라서, 전술한 바와 같이 본 발명의 예시적인 실시예는 제한이 아니라 예시적인 것으로 의도된다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변경이 이루어질 수 있다.

Claims (14)

1. 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템에 있어서,
   상기 생물학적 샘플의 복수의 이미지들로부터 상기 생물학적 샘플의 합성 이미지를 생성하도록 구성된 컴퓨터 장치 - 상기 복수의 이미지들의 각각은 단일 축을 따라 촬영됨 -, 상기 컴퓨터 장치는,
   (a) 상기 생물학적 샘플의 제1 x-y 위치에서 이미지 객체들의 제1 컬렉션에 대한 제1 초점면(focal plane)을 식별하고,
   (b) 상기 생물학적 샘플의 제2 x-y 위치에서 이미지 객체들의 제2 컬렉션에 대한 제2 초점면을 식별하고,
   (c) 상기 제1 초점면으로부터의 이미지 객체들과 상기 제2 초점면으로부터의 이미지 객체들을 결합하여 상기 합성 디지털 이미지를 생성하며,
   상기 제1 초점면 상에 위치한 이미지 객체들은 초점이 맞도록(in-focus) 표시되고, 상기 제1 초점면 아래의 이미지 객체들은 강조 표시되지 않고,
   상기 제2 초점면 상에 위치한 이미지 객체들은 초점이 맞도록 표시되고, 상기 제2 초점면 아래의 이미지 객체들은 강조 표시되지 않는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
2. 제1항에 있어서, 상기 제1 초점면은 제1 z-거리를 포함하고, 상기 제2 초점면은 제2 z-거리를 포함하는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
3. 제2항에 있어서, 상기 컴퓨터 장치는 상기 제1 초점면 및 상기 제2 초점면의 이미지 객체들에 대한 선명도(sharpness) 값을 계산하고, 가장 높은 선명도 값들을 갖는 객체들의 위치에 대한 2차원 맵을 생성하는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
4. 제3항에 있어서, 상기 컴퓨터 장치는, 상기 제1 및 제2 복수의 이미지들 중에서 가장 높은 선명도 값들을 갖는 객체들의 위치의 상기 2차원 맵 상에서 하나 이상의 팽창(dilation) 및 침식(erosion)을 수행함으로써, 상기 제1 및 제2 복수의 이미지들에 대한 상기 제1 및 제2 초점면들을 식별하는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
5. 제4항에 있어서, 상기 침식 및 팽창의 횟수는 건강한 조직(tissue)에서 세포 경계들 사이의 거리에 비례하는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
6. 제1항에 있어서, 상기 이미지들의 컬렉션 중 하나 이상의 이미지는 컬러 이미지들이고, 상기 컴퓨터 장치는 상기 이미지들의 컬렉션에 대한 상기 초점면을 식별하기 전에 상기 이미지들의 컬렉션 중 하나 이상의 컬러 이미지를 그레이 스케일로 변환하는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
7. 제1항에 있어서, 상기 합성 이미지는 상기 생물학적 샘플의 벌집 구조체(honeycomb structure)를 포함하는 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
8. 제7항에 있어서, 상기 벌집 구조체는 실질적으로 초점이 맞는(in focus) 것인, 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
9. 제1항에 있어서, 현미경 및 카메라를 더 포함하는 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
10. 제9항에 있어서, 현미경 스테이지를 더 포함하는 생물학적 샘플의 합성 디지털 이미지를 생성하기 위한 시스템.
11. 벌집 구조체를 갖는 조직 섹션의 합성 이미지를 생성하기 위한 시스템에 있어서,
    서로 다른 초점 거리들에서 상기 조직 섹션의 복수의 이미지들을 캡처하기 위한 광학 시스템; 및
    컴퓨터 장치로서,
    상기 조직 섹션의 복수의 세그먼트들에 대응하는 복수의 초점면들을 선택하고 - 상기 복수의 초점면들의 각각은 이미지 객체들을 포함함 -;
    상기 복수의 초점면들로부터의 이미지 객체들을 결합하여, 상기 벌집 구조체는 초점이 맞고 상기 벌집 구조체 아래에 위치한 이미지 객체들은 강조되지 않는 상기 조직 섹션의 합성 이미지를 생성하도록 구성된 컴퓨터 장치
    를 포함하는 벌집 구조체를 갖는 조직 섹션의 합성 이미지를 생성하기 위한 시스템.
12. 제11항에 있어서, 상기 조직 섹션은 서로 다른 평면들 상에 위치한 핵(nuclei)을 포함하는 것인, 벌집 구조체를 갖는 조직 섹션의 합성 이미지를 생성하기 위한 시스템.
13. 제12항에 있어서, 상기 합성 이미지에서 서로 다른 초점면들 상에 위치한 핵은 초점이 맞게 표시되는 것인, 벌집 구조체를 갖는 조직 섹션의 합성 이미지를 생성하기 위한 시스템.
14. 제11항에 있어서, 상기 복수의 초점면들의 각각은, 상기 복수의 이미지들에서 상기 이미지 객체들에 대한 가장 선명한 값들을 계산하고, 세포 경계들 사이의 거리를 계산하여 상기 세포 경계들 사이의 거리가 사전에 정의된 거리 범위 내에 있는지 여부를 판단함으로써 선택되는 것인, 벌집 구조체를 갖는 조직 섹션의 합성 이미지를 생성하기 위한 시스템.

Images