KR101255865B1 - 개선된 이미지 분할 방법 - Google Patents

Abstract

이미지의 각 대상물을 확인하는 개선된 이미지 분할 알고리즘이 제공된다. 이미지의 화소들은 이미지의 속성값의 범위에 기초하여 분류된다. 다음, 이 화소들은 상기 이미지의 속성값의 범위의 극단의 점에서 시작되는 라벨링 이미지에 하나씩 추가된다. 배치된 각 대상물에 대한 특징들이 계산되며 이 특징들은 소정 수용 기준과 매칭된다. 매칭되는 경우, 그 대상물은 출력 이미지로 출력된다. 이미지에 화소를 추가하고, 그 결과의 대상물들의 특징들을 평가하여 대상물들을 출력하는 단계들은 정지 점에 도달될 때까지 반복된다.

Description

개선된 이미지 분할 방법{METHOD FOR IMPROVED IMAGE SEGMENTATION}

본 출원은, 그의 내용이 본 출원에 참조되어 포함된, 2005년 1월 10일자로 출원된 미국 가출원 제60/642,110호의 우선권을 주장하며 그 가출원의 정식 출원이다.

본 발명은 일반적으로 이미지 분석의 분야에 관한 것이다. 더 구체적으로, 새로운 이미지 분할 방법에 관한 것이다.

병리학 또는 세포학에서, 종종 세포들 또는 핵들을 자동 또는 반자동 기구를 이용하여 배치 및 측정하는 것이 바람직하다. 이러한 기구들은 연구, 또는 집단 검진을 위해 사용될 수 있다. 후자의 일례는 자궁암 조기 검사법(또는 팹 테스트)을 이용한 자궁 경부 암의 검진이다. 이 기구들은 정상 또는 의심되는 슬라이드들을 분류하거나 또는 관심 세포들을 배치하도록 디지털 이미지들을 얻어서 분석하게 된다.

디지털 이미지들의 대상물들의 분석에 있어서, 이미지의 배경에서 대상물들을 구별하는 것은 필수적이다. 세포들 또는 대상물들을 특징짓도록, 먼저 대상물들이 배치되어야 한다. 디지털 이미지 내에 대상물들을 배치하는 과정은 "분할(segmentation)"로 알려져 있다. 관심 대상물들을 배치하기 위한 분할 처리 시에 다양한 기술들이 사용되어 계속되는 컴퓨터 분석에서 대상물들을 특징짓게 할 수 있다. 예컨대, 세포들을 포함하는 이미지의 분할은 세포의 핵 및/또는 세포질이 배치되도록 할 수 있다.

이미지 내에 대상물들을 배치하여 분류하는 작업에 대한 통상의 접근 방법은 : 먼저 대상물들의 바이너리 마스크를 생성하도록 이미지를 분할한 다음; 상기 마스크에서 대상물들을 라벨링하여, 각각 연결된 화소(또는 픽셀)들의 세트가 다른 라벨로 할당되게 하고; 최종으로 라벨된 대상물들의 여러 가지 특징들을 측정하는 여러 가지의 단계들을 포함하게 된다.

이미지들을 분할하는데 사용되는 기술들 중 하나는 "스레솔딩(thresholding)"이다. 이 기술에서, 이미지 휘도의 문턱치가 선택되고 이미지의 각 화소는 이 문턱치와 비교된다. 상기 문턱치보다 큰 휘도를 가진 화소들은 배경 화소들로 간주되고; 상기 문턱치보다 낮은 휘도를 가진 화소들은 대상물 화소들로 간주된다. 대상물들을 배치하기 위한 문턱치는, 이미지 내에서 발견되는 암부(darkness) 값의 주파수 분포인, 이미지 막대 도표에 기초하여 선택될 수 있다. 스레솔딩 알고리즘은 이 막대 도표를 이용하여 단일 문턱치를 찾아낼 수 있다. 예컨대, 상기 문턱치는 가장 어둡고 가장 밝은 화소들 사이의 중간으로 될 수 있다. 이와 다르게, 상기 문턱치는 매우 많은 "배경" 화소들 및 더 적은 "대상물" 화소들 사이의 변곡점으로서 선택될 수 있다. 이미지의 각 대상물에 대해 이상적인 문턱치를 찾는 것은 어려운 작업이다. 종종 전체 이미지 내에서 변화하는 암부 값들을 갖는 다수의 대상물들에 대해 단일의 문턱치는 최적이 아닌 것으로 된다.

일단 문턱치가 선택되어 스레솔딩 과정이 완료되면, "대상물" 화소들은 이미지의 대상물들의 바이너리 마스크를 형성할 수 있다. 상기 마스크 주변의 경계는 각 대상물을 나타내도록 이용될 수 있다. 이 경계는 대상물을 정확하게 반영하거나 또는 반영할 수 없게 될 수 있다. 일단 배치되면 경계를 세밀하게 구별하기 위한 여러 가지 방법들이 개발되어 있다. 이러한 방법들은 경계 근방의 암부 정보, 또는 계조도(gradient), 곡률, "원에 대한 근접도" 등의 경계를 구별하기 위한 제한을 이용할 수 있다.

이미지 분할을 위해 현재 알려져 있는 기술들은 종종 복잡하고 시간 소모적이다. 이 기술들은, 특히 배치될 대상물 및 그를 둘러싸는 배경 사이에 콘트라스트거 없을 경우, 분할 과정에서 항상 높은 정확도를 산출하지는 못하게 된다. 따라서, 현재의 분할 알고리즘은 종종 대상물의 적절한 배치에 실패한다. 예컨대, 세포 이미지 분석에서, 배치된 경계가 너무 크거나 또는 너무 작기 때문에 세포 핵이 바르게 분할될 수 없게 된다. 이로써 결과적으로 잘못된 포지티브 사건들(상기 기구가 정상의 대상물을 의심스럽게 잘못 판정한 경우) 또는 잘못된 네거티브 사건들(상기 기구가 진짜 의심스러운 대상물을 찾지 못한 경우)로 될 수 있다.

특히 대상물 경계들의 정확한 확인을 위해, 자동 촬상 및 자동 촬상 장치를 위한 개선된 분할의 필요성이 있다.

현재 알려진 분할 기술의 장점들, 특징들, 및 정확한 이점들 모두에 있어서, 그중 어느 것도 본 발명의 목적들을 성취하거나 또는 수행할 수 없다.

본 발명은 : (a) 이미지의 속성값의 범위에 기초하여 화소들을 분류하는 단계; (b) 상기 속성값의 범위의 극단의 점에서 시작하는, 라벨링 이미지에 대상물들을 배치하도록 상기 분류된 화소들을 라벨링 이미지에 하나씩 추가하는 단계; (c) 대상물들의 특징들이 소정 수용 기준에 매칭하는 경우 출력 이미지 상에 대상물들을 출력하는 단계; 및 (d) 상기 속성값의 범위에서 다른 극단의 점을 나타내는, 정지 점에 도달될 때까지 단계 (b) 및 (c)를 반복적으로 실행하는 단계들을 포함하는, 이미지의 각 대상물을 구별하는 방법을 제공한다.

본 발명은 : (a) 이미지의 속성값의 범위에 기초하여 화소들을 분류하는 컴퓨터 독출 가능한 프로그램 코드; (b) 상기 속성값의 범위의 극단의 점에서 시작하는, 라벨링 이미지에 대상물들을 배치하도록 상기 분류된 화소들을 라벨링 이미지에 하나씩 추가하는 컴퓨터 독출 가능한 프로그램 코드; (c) 대상물들의 특징들이 소정 수용 기준에 매칭하는 경우 출력 이미지 상에 대상물들을 출력하는 컴퓨터 독출 가능한 프로그램 코드; 및 (d) 상기 속성값의 범위에서 다른 극단의 점을 나타내는, 정지 점에 도달될 때까지 단계 (b) 및 (c)를 반복적으로 실행하는 컴퓨터 독출 가능한 프로그램 코드를 포함하는, 이미지의 각 대상물을 확인하도록 내부에서 실시되는 컴퓨터 독출 가능한 프로그램 코드를 갖는 컴퓨터 독출 가능한 매체를 포함하는 제조 물품을 제공한다.

본 발명은 : (a) 다수의 문턱치들에 대응하는, 화소들의 속성값들의 범위에 기초하여 이미지의 화소들을 분류하는 단계; (b) 상기 속성값의 범위의 극단의 점에서 시작하는, 새로운 대상물들 또는 업데이트된 오래된 대상물들을 생성하도록 라벨링 이미지에 화소들을 하나씩 추가하는 단계; (c) 상기 생성된 새로운 대상물들 및 업데이트된 오래된 대상물들의 특징들을 계산하는 단계; (d) 상기 생성된 새로운 대상물들 및 업데이트된 오래된 대상물들의 계산된 특징들을 소정 기준에 매칭하는 단계; (e) 상기 특징들에 대해 수용 기준이 만족되는 경우 상기 생성된 새로운 대상물들 및 업데이트된 오래된 대상물들을 출력 이미지 상에 출력하는 단계; 및 (f) 상기 속성값들의 다른 극단의 점, 상기 속성값의 범위의 배경 화소값들을 나타내는 점 또는 상기 새로운 대상물들 또는 업데이트된 오래된 대상물들에 관련되지 않은 화소값들을 나타내는 점 중 어느 하나로 선택된 정지 점에 도달될 때까지 단계들 b-e를 반복적으로 실행하는, 다수의 문턱치들 하에서의 이미지의 각각의 대상물을 확인하는 방법을 제공한다.

도1은 세포 그룹의 세포들에 얹혀진 휘도 "등고선 지도"를 나타낸 도면,

도2는 본 발명의 일 실시예에서, 이미지 분할 알고리즘의 단계들을 나타낸 도면,

도3a-3n은 본 발명의 일 실시예에서, 화소들을 라벨링 이미지에 추가하는 중의 과정을 집합적으로 설명하는 도면,

도4는 본 발명의 바람직한 실시예에서, 이미지 분할 알고리즘의 단계들을 나타낸 도면,

도5는 본 발명의 일 실시예에서, 5개의 다른 문턱치들에서의 이미지의 대상물들의 성장을 나타낸 도면, 및

도6은 본 발명의 일 실시예에서, 대상물의 베스트 상태만이 보유되는 다른 문턱치들에 배치된 대상물들을 도시하고 있는 출력 이미지를 나타낸 도면이다.

본 발명은 바람직한 실시예로 나타내어 설명되지만, 본 발명은 많은 다른 형태들로 응용되어 제조될 수 있다. 본 발명의 바람직한 실시예는, 도면들에 도시되어, 상세하게 설명될 것이며, 그 개시 내용은 본 발명의 원리들 및 그의 구성을 위해 관련된 기능의 구체적인 예시로서 간주되어야 하며 도시된 실시예로 본 발명이 제한되지 않음을 이해하기 바란다. 당업자들은 본 발명의 범위 내에서 많은 다른 가능한 변화를 계획할 수 있을 것이다.

디지털 2차원 이미지에서의 대상물 경계를 확인하기 위해 본 명세서에서 개선된 자동 이미지 분할 기술이 설명된다. 본 명세서에서 설명되는 이미지 분할 기술은 핵을 확인하는 것이지만, 이 기술 자체는 생물학적 응용에서의 세포질 또는 조직 구조 등의, 디지털 이미지에서의 임의의 대상물, 또는 회로 기판 상의 다른 부품들, 또는 위성 이미지의 인공 및 천연 지형 등의 비생물학적 응용들에 대한 대상물들의 확인을 위해 적용될 수 있다. 이 기술은 X-레이, CAT(컴퓨터 액시얼 단층촬영) 스캔 또는 MRI(자기(磁氣) 공명 단층 촬영) 장치에 의해 생성된 것들의, 3차원 이미지로 확장될 수 있다. 이러한 3차원 이미지들의 3차원 화소 소자들이 "3D 화소(畵素)"로 알려져 있다. 3D 화소의 집단이 장기 또는 종양을 3차원으로 나타낼 수 있다.

디지털 2차원 이미지는, 높이 치수가 각 화소의 그레이 값(grey value)(즉, 휘도)을 나타내는, 3차원 표면으로서 생각될 수 있다. 그 표면의 등고선 지도에서, 핵의 확인은 일정 크기 범위 내에 있고 핵으로 되도록 충분히 둥그런 등고선을 발견함에 의해 행해진다. 하나의 등고선이 다른 것 내에 포함되는 경우, 둘 중의 "더 좋은 것"이 선택되어야 한다. 도1은 세포 그룹의 세포들 상에 얹혀있는 상기한 등고선 지도를 나타내고 있다. 상기 이미지 상의 관심 대상물들이 연결된 화소들의 세트로 된다.

가능한 모든 문턱치들 하에 모든 대상물을 생성하는 것과 동등한, 이 등고선들의 생성은 수학적으로 복잡하고 시간 소모적인 작업이다. 각 문턱치 하의 이미지를 분할하고, 대상물에 라벨을 붙여서 분류하고, 그들의 특징들을 평가하여, 가장 좋은 특징들을 가진 대상물들을 유지하며, "더 좋은" 대상물들의 서브세트 또는 수퍼세트들인 대상물들을 소거하는, 무경험적인 접근은 단순한 것이다. 이러한 접근은 너무 많은 컴퓨터의 사용으로 인해 고비용으로 될 것이다.

도2는 이하의 단계들을 실행함에 의해 이미지에서 발견되는 각 대상물을 확인하는 본 발명의 일 실시예에서의 이미지 분할 알고리즘을 나타내고 있다. 먼저, 상기 알고리즘은 이미지의 속성값의 범위에 기초하여 화소들을 분류한다(단계 202). 다음, 속성값의 범위의 극단의 점에서 시작하는, 라벨링 이미지에 대상물들을 배치하기 위한 목적으로 상기 분류된 화소들을 하나씩 "라벨링 이미지"에 추가한다(204). 라벨링 이미지는 각각의 구별된 대상물의 화소들이 독특한 값, 또는 "라벨"로 할당된 이미지이다. 또한, 시작 값으로 사용되는 상기 극단의 점은 속성값의 범위의 가장 낮거나 또는 높은 끝 부분으로 될 수 있다. 이 화소들은, 비제한적이지만, 휘도, 색조, 계조도 등의 속성에 기초하고 있다. 그 후, 배치된 대상물들의 특징들이 소정 기준에 비교된다. 대상물이 기준에 합치되면, 알고리즘은, 단계 206에 도시된 바와 같이, 그 대상물을 출력 이미지로 출력한다. 또한, 이미지에 대한 정지 점이 정의된다. 이 정지 점은 알고리즘이 단계들(204,206)의 반복적인 실행을 정지해야 하는 속성값의 범위의 점을 나타낸다. 이 정지 점은 속성값의 범위의 다른 극단의 점으로 될 수 있다. 일 실시예에서, 이 정지 점은 속성값의 범위의 배경 화소값을 나타내는 점이다. 다른 실시예에서, 상기 정지 점은 배치된 대상물들에 관련되지 않은 화소값들을 나타내는 점이다.

도4는 본 발명의 바람직한 실시예의 알고리즘을 나타낸 도면이다. 단계 402에서, 이미지의 화소들은 이미지의 속성값들의 범위에 기초하여 분류된다. 속성값들의 범위는 이미지의 다수의 문턱치들에 대응한다. 상기 문턱치들은 사용되는 속성값들의 막대 도표에서 결정된다. 화소들은, 비제한적이지만, 휘도, 색조, 계조도 등의 속성에 기초하여 분류될 수 있다. 또한, 막대 도표 상의 인덱싱은 휘도, 색조, 계조도 등에 의해 행해질 수 있다. 각각의 문턱치에서 이미지를 분할하는 대신에, 단계 404에 도시된 바와 같이 속성값의 범위의 극단의 점에서 시작하는, 블랭크 라벨링 이미지에 분류된 화소들이 하나씩 추가되며, 새로운 대상물이 형성되거나 또는 오래된 대상물이 상기 과정에서 업데이트된다. 추가된 화소가 라벨링 이미지 상에 이미 배치된 대상물(오래된 대상물) 또는 다른 화소에 인접하지 않은 경우, 새로운 대상물이 형성된다(도3a, 3b 및 3e 참조). 추가된 화소가 오래된 대상물에 인접한 경우, 오래된 대상물을 업데이트하도록 상기 화소는 오래된 대상물과 결합한다(도3c, 3d, 3f, 3g, 3h, 3i, 3j, 3k, 3m 및 3n). 또한, 추가된 화소가 오래된 두 개의 대상물들과 결합하는 경우, 두 개의 오래된 대상물들이 업데이트되어 하나의 대상물로 통합된다(도3l 참조). 단계 406에서, 이들 새로운 또는 업데이트된 대상물들의 특징들이 계산된다. 그 후, 상기 특징들은, 단계 408에서, 소정 수용 기준에 매치된다. 매칭되는 경우(즉, 수용 기준이 만족되는 경우), 새로운 또는 업데이트된 대상물(배치된 핵을 나타냄)이 단계 410에서 출력 이미지 상으로 출력된다. 정지 점에 도달될 때까지(단계 412) 알고리즘은 단계들 404-410을 되풀이하여 실행한다. 문턱치(즉, 속성값) 처리 중의 임의의 시간에서 출력 이미지에 대상물들이 출력된다. 또한, 상기 정지 점은 속성값의 범위에서 다른 극단의 점으로 될 수 있다. 일 실시예에서, 상기 정지 점은 속성값의 범위의 배경 화소 값들을 나타내는 점이다. 다른 실시예에서, 상기 정지 점은 배치된 대상물들에 관련되지 않은 화소 값들을 나타내는 점이다.

상기 알고리즘은 설명된 종전의 단계들에서 생성된 또는 업데이트된 대상물들을, 그들의 특징들과 함께 트랙한다. 또한, 상기 대상물들은 할당된 라벨들이다(예컨대, 도3a 및 3b 참조). 화소가 현재의 대상물에 접촉하여 추가될 때마다, 대상물의 라벨은 화소에 할당되고 그 대상물의 특징들이 새로운 화소의 추가를 반영하도록 업데이트된다(예컨대, 도3d 및 3g 참조). 화소가 두 개의 대상물들과 결합하여 추가될 때, 그 둘의 라벨들과 특징들은 하나로 병합된다(예컨대, 도3l참조). 도3a-3n은 화소들이 원래 블랭크인 마스크/라벨링 이미지에 한번에 하나씩 추가되고 라벨들이 각 화소에 필요할 때 할당되는 방법을 나타내고 있다.

알고리즘이 상기와 같이 설계된 방식의 결과로서, 특정 문턱치 하의 주어진 시간에서의 이미지의 처리 중의 이미지의 마스크, 및 상기 특정 문턱치에서 발견되는 모든 대상물들의 라벨들 및 특징들의 기록이 존재한다. 그러나, 각각의 문턱치에 대해 새로이 이들 데이터를 생성하는 대신에, 알고리즘이 종전 문턱치에서의 데이터를 토대로 하게 된다. 이로써 알고리즘의 효율을 크게 증가시킨다.

본 발명의 일 실시예에서, 현재의 문턱치에서 계산된 그의 현재의 특징들이 종전의 모든 문턱치들에서 계산된 그의 특징들 보다 수용 기준에 더 잘 매칭된다면, 대상물은 출력 이미지로만 출력된다. 더 양호한 매칭을 결정하도록, 종전의 베스트 매칭에서의 데이터를 이용한다. 모든 문턱치들에서의 모든 대상물들 중 수용 기준에 가장 잘 매칭되는 최적의 대상물들의 세트를 계산하도록, 다이나믹 프로그래밍이라는 방법이 사용된다. 상기 프로그램은 차례로 문턱치들을 통과하면서, 지금까지 배치된 대상물들 만을 이용하여 형성될 수 있는 대상물들의 베스트 세트의 트랙을 유지한다. 각 대상물은 지금까지 얻은 베스트 상태를 "기억"한다. 도5는 5개의 다른 문턱치들에서의 이미지의 대상물들의 성장을 나타내고 있다. 하나의 문턱치에서 분리되었던 개별 대상물들이 다른 문턱치에서 결합될 수 있다. 상기 도면의 각 대상물은 그의 종전의 베스트 상태로 "향하게" 된다. 화살표가 없는 대상물들은 그들 자신으로 향한다(도시 안됨). 이는 이 대상물들의 현재의 상태가 그들의 종전의 상태들보다 양호함을 나타낸다. 따라서, 이 상태는 지금까지 얻어진 베스트 상태를 나타내기 때문에, 대상물의 새로운 상태를 그의 화살표가 향하는 상태에 대해 비교할 필요만이 있을 뿐이다. 두 개의 대상물들이 주어진 문턱치에서 병합된다 면, 새롭게 병합된 대상물의 화살표는 병합된 대상물을 형성하는 두 개의 대상물들 중 더 좋은 것으로 향하게 된다.

모든 문턱치를 통과하는 중에, 상기 프로그램은 지금까지 형성된 대상물들의 세트에서 베스트 대상물들을 포함하는 출력 이미지를 유지한다. 어떤 대상물이 종전에 기록된 베스트 상태보다 좋은 새로운 상태로 성장하게 되면, 그 업데이트된 대상물이 출력 이미지로 끌려진다. 도6은 성장하고 있는 출력 이미지를 도시하고 있다. 먼저, 그 이미지는 제1 문턱치에서의 대상물들을 포함한다. 다음, 제1 및 제2 문턱치에서의 베스트 대상물들을 포함한 후, 제1 내지 제3 문턱치들에서의 베스트 대상물들을 포함하는, 등으로 계속된다. 최종 출력 이미지는 베스트 대상물들로서 마크되어 더 좋은 것(도5에 비해) 때문에 후에 거절되지 않는 대상물들 모두를 포함한다.

따라서, 알고리즘의 일 실시예로서, 하나의 대상물이 수용 기준에 매칭될 때, 출력 이미지로 직접 출력되는 대신에, 그 대상물의 현재 상태 및 그의 종전의 상태 또는 상태들 사이의 비교에 기초하여 조건적으로 출력될 수 있다.

본 발명의 알고리즘이 본 명세서에서 설명되었고, 면적 및 외주 등의 특징들에 기초하여 세포 핵을 확인하고 원형의 수용 기준(면적으로 나누어지는 외주의 제곱)에 맞는 대상물들을 수용하고 있지만, 대상물들을 확인하도록 다른 특징 및 기준이 사용될 수 있다. 수용 기준은 특정 이미지 응용(생물학적 또는 비생물학적)에 대해 조율될 수 있다. 대상물들이 원형 이외의 기준에 따라 확인된 경우, 다른 특징들이 대신 사용될 수 있다. 관성 모멘트, 이심률(離心率), 더 길고 짧은 타원형 축들, 타원에 대한 최적합도(또는 타원 최량적합, best fit to an ellipse), 주변 화소들과의 콘트라스트, 그레이값 또는 광학 밀도 평균 또는 표준 편차, 및 텍스처 특징이 가장 양호한 분할을 위한 수용 기준을 특정하도록 용이하게 측정되어 사용될 수 있는 다른 특징들의 일부 예들이다. 크기, 형상, 텍스처, 색상, 밀도, 콘트라스트 등의 다른 수용 기준도 이용될 수 있다. 다수의 기준 세트들은 핵, 다른 형상들의 핵, 세포질, 핵 또는 세포질 "세포 함유물" 및 집단 세포 등의 다른 종류의 대상물들을 동시에 단일 이미지에 배치되도록 허용할 수 있다. 그러나, 본 발명은 이들 특징 또는 수용 기준의 이용으로 제한되지 않음을 이해하기 바란다.

화소가 대상물에 추가될 때 대상물의 외주 측정의 업데이트는 외주의 타당한 근사치가 요구되는 모든 것이라면 그 화소에 가장 인접한 4개의 화소들 만을 이용하여 행해질 수 있다. 따라서, 화소가 "위치"될 때마다, 대상물 특징들이 어떻게 업데이트 되었는지를 결정하기 위해 화소 및 그의 가장 가까운 4개의 주변 화소들만을 검사할 필요가 있을 뿐이다. 상기 4개의 주변 화소들이 영향받게 되는 상황은 두 개의 대상물들이 병합되고 그 둘 중 하나가 다른 하나의 라벨로 할당되어야 하는 경우뿐이다. 그러나, 병합 과정의 최적화에 의해 화소들의 수에 선형적으로 비례하는 주행 시간에 근접하도록 알고리즘의 주행 시간을 허용할 수 있다. 따라서, 이러한 외주의 측정에 의해 대상물 특징들이 종전의 대상물들에서 계산되는 방법, 즉 알고리즘이 종전 문턱치에서의 데이터를 토대로 하여 알고리즘의 효율을 증가시키는 방법을 보여준다.

다른 예에서, 핵을 확인하기 위한 특징으로서 타원형(관성 모멘트 매트릭스 에 의해 정의된 타원형에 대해 측정된 대상물의 비교)이 사용될 수 있다. 타원형에 따른 분할은, 불규칙한 형상의 인위적 구조로부터 기다란 핵을 구별하게 되므로, 더 양호한 분할 결과로 될 수 있다.

따라서, 본 발명의 알고리즘은 : 이미지의 분할을 위한 처리 시간의 단축, 잠재적인 관심 대상물들을 배치하기 위한 사전 처리 및 그 후의 2차 과정에서 대상물을 더 정확하게 정의하도록 관심 영역을 설정하기 위한 시간 소모의 제거, 잘못된 부정적인 경우들을 최소화하기 위해 변화하는 암부 및 콘트라스트를 갖는 이미지의 처리, 잘못된 부정적인 경우들을 최소화하기 위해 비정상 집단들을 갖는 이미지의 처리, 다수의 수용 기준을 이용하여 단일의 이미지의 다수의 대상물들을 동시에 확인하는 등의 여러 가지의 개선점들을 제공하고 있음을 알 수 있다.

본 발명의 알고리즘은 영역 성장 알고리즘 및 액티브 콘투어(active contour)(또한 "스네이크"라고도 함) 등의 반복적인 이미지 분석 기술과 다른 것임을 이해하기 바란다. 영역 성장 알고리즘은 먼저 이미지를 많은 분리된 영역들(개별 화소들, 소그룹의 화소들, 동일 그레이 레벨을 갖는 인접한 화소들, 등)로 분할하게 된다. 다음, 영역들을 서로 접촉하여 유사한 특징들을 갖는 다른 영역들과 병합함에 의해 "성장"시킨다. 이는 더 이상의 유사한 영역들의 병합이 이루어질 수 없어 정지하게 되는 반복되는 과정이다. 상기 기술의 목표는 분할되는 대상물들에 대응하는 영역들의 최종 세트를 위한 것이다.

본 발명의 분할 알고리즘에 있어서, 대상물들이 "성장"하는 방법은 미리 결정되며 : 그 성장이 이루어지는 하나의 경로만이 제공되고 그 경로를 따라 대상물 들이 이동할 때 알고리즘은 변화하는 대상물들의 특징을 단지 "주시"하게 된다. 평가되는 특징들은 어느 화소가 다음에 추가되는지 또는 어느 영역이 병합되는지에 영향을 미치지 않는다. 이미지를 한번 통과한 후에, 상기 경로에서 관찰된 "베스트 대상물들"이 보고된다.

영역 성장 기술에서, 영역들의 특징들에 의해 성장 또는 병합되는 영역들이 결정된다. 선형적인 경로 대신에, 상기 영역 성장 기술은 많은 가지들을 가진 트리를 통한 검색과 유사하다. 대상물들의 특징들은 취해질 가지를 결정하도록 이용된다. 통상 다수의 경로들이 이미지를 통해 만들어지며, 영역들의 최종 상태가 보고된다. 영역 성장 알고리즘은 대상물들에 의해 얻어진 가장 좋은 상태들을 기억하지 않고; 상기 알고리즘은 더 좋은 상태로 복귀하도록 "백업"을 가지게 될 수 있다.

"스네이크"라고도 하는 "액티브 콘투어"는, 이미지상에 오버레이된, 다각형 또는 매개변수 방정식에 의해 나타내지는 대상물 아웃 라인들이다. 액티브 콘투어 이미지 분석 기술에서, 이 라인들은 그들 자신의 형상 및 하부의 이미지와의 그들의 대응성을 개선하도록 서서히 "발전"된다. 또한, 이는 상기 아웃 라인들이 더 발전함에 의해 개선될 수 없을 때 종료하는 반복 과정이다.

본 발명은 개별 화소들 상에서 동작하며 각 화소의 바로 인접한 화소들만을 이용하는 동작을 실행한다. 액티브 콘투어 기술에서, 콘투어들은 화소들에 의해서가 아니라, 수학적 함수에 의해 나타내진다. 본 알고리즘 및 액티브 콘투어 기술 사이의 차이는 영역 성장 기술에서 제시한 차이들과 동일하다.

본 발명의 알고리즘을 다른 분할 알고리즘과 구별하는 가장 큰 차이는 다른 알고리즘은, 다음 이동 방향을 선택하도록 대상물 특징을 이용하는, 트리 또는 그래프를 통한 베스트 경로를 추구하는 반복 과정을 발전시킨다는 점이다. 때때로 이는 알고리즘이 가능한 가장 좋은 결과로 종료하도록 작업할 때 백트랙킹을 필요로 한다. 본 알고리즘은 그의 경로 상의 모든 "베스트" 대상물들을 통과하며 기억하는, 선형적인, 소정의 경로를 따르게 된다.

또한, 본 발명은 이미지들을 분할하고 대상물들을 확인하도록 하나 이상의 실행 모듈들 내에 포함된 컴퓨터 독출 가능한 프로그램 코드를 포함하는 제조 물품을 제공한다. 또한, 본 발명은 본 발명과 연관된 방법들 중 하나를 실행하기 위해 컴퓨터에 지령하도록 사용될 수 있는 프로그램 코드가 내장된 저장 매체인, 컴퓨터 프로그램 코드-기반의 제품을 포함한다. 컴퓨터 저장 매체는, 비제한적이지만, CD-ROM, DVD, 자기 테이프, 광학 디스크, 하드 드라이브, 플로피 디스크, 강유전성 메모리, 플래시 메모리, 강자성 메모리, 광학 기억부, 전하 결합 장치, 자기 또는 광학 카드, 스마트 카드, EEPROM, EPROM, RAM, ROM, DRAM, SRAM, SDRAM, 또는 임의의 다른 적절한 정적 또는 동적 메모리 또는 데이터 저장 장치 중 어느 하나를 포함한다.

컴퓨터 프로그램 코드 기반 제품들에서 실행되는 소프트웨어 모듈들은 :

a) 이미지의 속성값의 범위에 기초하여 화소들을 분류하고;

b) 속성값의 범위의 극단의 점에서 시작하는, 라벨링 이미지에 대상물들을 배치하도록 라벨링 이미지에 분류된 화소들을 하나씩 추가하고;

c) 대상물들의 특징들이 소정 수용 기준에 매칭하는 경우 출력 이미지들 상 에 대상물들을 출력하며;

d) 상기 속성값의 범위에서 다른 극단의 점을 나타내는, 정지 점에 도달될 때까지 단계 (b) 및 (c)를 반복적으로 실행하게 된다.

결론

상기 실시예들에는 개선된 이미지 분할을 위한 방법을 효과적으로 실행하기 위한 시스템 및 방법이 도시되어 있다. 여러 가지 바람직한 실시예들이 도시되어 설명되었지만, 이러한 내용으로 본 발명을 제한하려는 것은 아니고, 첨부된 특허청구의 범위에 정의된 바와 같은, 본 발명의 정신 및 범위 내에 속하는 모든 변경들을 커버하려는 것임을 이해하기 바란다. 예컨대, 본 발명은 소프트웨어/프로그램, 계산 환경, 또는 특정 계산 하드웨어에 의해 제한되지 않는다. 또한, 본 발명의 알고리즘은 이미지의 타입(생물학적, 비생물학적, 2차원 또는 3차원, 등), 이미지의 문턱치들의 수, 이미지에서 확인될 대상물들의 타입, 또는 대상물들을 확인하도록 사용되는 특징 및 수용 기준에 의해 제한받지 않는다.

Claims (33)

1. 이미지 내의 복수의 대상물을 확인하는 방법에 있어서,

   a) 이미지의 속성의 픽셀값의 범위에 기초하여 픽셀들을 분류하는 단계;

   b) 분류된 픽셀을 상기 이미지 내의 픽셀의 위치에 대응하는 라벨링 이미지 내의 위치에 차례대로 하나씩 배치하여 라벨링 이미지를 생성하는 단계 - 여기서 각각의 픽셀에는 새로운(new) 대상물, 현존(existing) 대상물, 또는 병합(merged) 대상물에 대응하는 값이 할당되는데, 현존 대상물에 관련되지 않은 픽셀은 새로운 대상물에 대응하고, 현존 대상물에 관련된 픽셀에 해당 대상물에 대응하는 값이 할당되며, 두개의 현존 대상물이 결합된 픽셀에 병합 대상물에 대응하는 값이 할당됨 - ;

   c) 각각의 분류된 픽셀이 라벨링 이미지에 배치됨에 따라 라벨링 이미지에 생성된 대상물의 외주(perimeter), 면적, 대상물 관성 모멘트, 이심률(eccentricity), 타원형 축, 타원 최량적합(best fit to an ellipse), 콘트라스트, 그레이값, 광학 밀도 평균(optical density mean), 표준 편차, 크기, 형상, 텍스처, 색상 중 하나 이상을 포함하는 특성(features)을 업데이트하는 단계;

   d) 상기 라벨링 이미지 내의 대상물의 특성이 상기 특성에 대응하는 미리결정된 수용 기준과 일치하면 상기 라벨링 이미지 내의 대상물의 경계 정보를 포함하는 출력 이미지를 생성하는 단계; 및

   e) 픽셀값의 범위 내에서 최저점 또는 최고점 중 어느 하나를 시작점으로 시작하여 상기 b) 단계, c) 단계, d) 단계를 정지점에 도달할 때까지 반복하여 수행하는 단계 - 여기서 픽셀값의 범위 내에서 최저점이 시작점으로 선택되었다면 정지점은 최고점에 해당하고, 또는 픽셀값의 범위 내에서 최고점이 시작점으로 선택되었다면 정지점은 최저점에 해당됨 - ;

   를 포함하는 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
2. 제1항에 있어서,

   상기 속성은 휘도(brightness), 색조(hue), 또는 계조도(gradient) 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
3. 제1항에 있어서,

   상기 라벨링 이미지 내의 대상물의 특성은 배치된 픽셀 및 그 픽셀에 인접한 네개의 이웃 픽셀에 기초하여 계산되는 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
4. 제1항에 있어서,

   상기 출력 이미지는 상기 분류된 픽셀이 배치될 때 계산되는 상기 라벨링 이미지 내의 대상물의 특성이, 이전 배치된 모든 픽셀에 대해 계산된 대상물의 특성보다 상기 수용 기준에 더 일치되는 경우에만 생성되는 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
5. 제1항에 있어서,

   상기 방법은 생물학적 또는 비생물학적 응용들에서 2차원 또는 3차원 이미지 상에 실행되는 것을 특징으로 하는

   이미지 내의 복수의 대상물을 확인하는 방법.
6. 제5항에 있어서,

   상기 생물학적 응용들에서의 상기 대상물은 세포들, 핵, 세포질, 핵 또는 세포질 세포 함유물, 집단적 세포들, 또는 X-레이, CAT 스캔 또는 자기 공명 영상 등의 촬상 장치에 의해 생성된 이미지들 내의 대상물 중 어느 하나인 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
7. 제5항에 있어서,

   상기 비생물학적 응용들에서의 대상물은 회로 기판상의 부품들, 또는 위성 영상의 인공 또는 천연 대상물 중 어느 하나인 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
8. 제1항에 있어서,

   상기 방법은 이미지 내의 상이한 종류의 대상물을 동시에 확인하기 위해 다수의 수용 기준을 이용하는 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
9. 제1항에 있어서,

   상기 정지점은 상기 픽셀값의 범위 내에서 배경 픽셀 값을 나타내는 점 또는 라벨링 이미지 내의 대상물과 관련되지 않은 픽셀값을 나타내는 점인 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하는 방법.
10. 이미지 내의 복수의 대상물을 확인하도록 컴퓨터 독출가능한 프로그램 코드를 포함하는 컴퓨터 독출가능한 기록매체에 있어서,

    상기 컴퓨터 독출가능한 프로그램 코드는,

    a) 이미지의 휘도, 색조, 계조도 중 하나 이상을 포함하는 이미지의 속성의 픽셀값의 범위에 기초하여 픽셀들을 분류하는 단계;

    b) 분류된 픽셀을 상기 이미지 내의 픽셀의 위치에 대응하는 라벨링 이미지 내의 위치에 차례대로 하나씩 배치하여 라벨링 이미지를 생성하는 단계 - 여기서 각각의 픽셀에는 새로운(new) 대상물, 현존(existing) 대상물, 또는 병합(merged) 대상물에 대응하는 값이 할당되는데, 현존 대상물에 관련되지 않은 픽셀은 새로운 대상물에 대응하고, 현존 대상물에 관련된 픽셀에 해당 대상물에 대응하는 값이 할당되며, 두개의 현존 대상물이 결합된 픽셀에 병합 대상물에 대응하는 값이 할당됨 - ;

    c) 각각의 분류된 픽셀이 라벨링 이미지에 배치됨에 따라 라벨링 이미지에 생성된 대상물의 외주(perimeter), 면적, 대상물 관성 모멘트, 이심률(eccentricity), 타원형 축, 타원 최량적합(best fit to an ellipse), 콘트라스트, 그레이값, 광학 밀도 평균(optical density mean), 표준 편차, 크기, 형상, 텍스처, 색상 중 하나 이상을 포함하는 특성(features)을 업데이트하는 단계;

    d) 상기 라벨링 이미지 내의 대상물의 특성이 상기 특성에 대응하는 미리결정된 수용 기준과 일치하면 상기 라벨링 이미지 내의 대상물의 경계 정보를 포함하는 출력 이미지를 생성하는 단계;

    e) 픽셀값의 범위 내에서 최저점 또는 최고점 중 어느 하나를 시작점으로 시작하여 상기 b) 단계, c) 단계, d) 단계를 정지점에 도달할 때까지 반복하여 수행하는 단계 - 여기서 픽셀값의 범위 내에서 최저점이 시작점으로 선택되었다면 정지점은 최고점에 해당하고, 또는 픽셀값의 범위 내에서 최고점이 시작점으로 선택되었다면 정지점은 최저점에 해당됨 - ;

    를 포함하는 단계를 컴퓨터로 하여금 수행하도록 하는 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하도록 컴퓨터 독출가능한 프로그램 코드를 포함하는 컴퓨터 독출가능한 기록매체.
11. 제10항에 있어서,

    상기 정지점은 상기 픽셀값의 범위 내에서 배경 픽셀값을 나타내는 점 또는 라벨링 이미지 내의 대상물과 관련되지 않은 픽셀값을 나타내는 점인 것을 특징으로 하는 이미지 내의 복수의 대상물을 확인하도록 컴퓨터 독출가능한 프로그램 코드를 포함하는 컴퓨터 독출가능한 기록 매체.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제

Images