KR100836740B1 - 영상 데이터 처리 방법 및 그에 따른 시스템 - Google Patents

Abstract

본 발명은 의료 영상 데이터에서 중요한 의미를 가지는 관심영역을 추출하고, 상기 관심영역에 대해 특징 벡터를 생성하는 영상 데이터 처리 방법 및 그에 따른 시스템을 제공하는 것을 그 목적으로 한다. 상기한 본 발명에 따르는 영상 데이터 처리 시스템은, 영상 데이터를 입력받아 회색도 영상 데이터로 변환하여 특징 지도를 생성하여 정규화한 명암지도를 생성함과 아울러, 상기 영상 데이터를 웨이블릿 변환하여 주파수상의 소정치 이상의 변화량을 가진 포인트들과 상기 명암지도를 토대로 상기 영상 데이터내의 관심영역을 추출하는 관심영역 생성부; 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 관심영역 세그먼테이션부; 상기 명암지도의 분산을 통하여 상기 세그먼테이션된 관심영역들 각각에 대해 영역별 가중치를 부여하는 가중치 부여부; 상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 특징벡터 생성부를 포함하는 것을 특징으로 한다.

영상 데이터, 특징 벡터, 관심 영역

Description

영상 데이터 처리 방법 및 그에 따른 시스템{VIDEO DATA PROCESSING METHOD AND SYSTEM THEREOF}

도 1은 본 발명의 바람직한 실시예에 따른 영상 데이터 처리 시스템의 구성도.

도 2는 도 1의 관심영역 생성부에 포함된 명암지도 생성 알고리즘의 처리 흐름도.

도 3는 도 1의 관심영역 생성부의 처리 흐름도.

도 4는 본 발명의 바람직한 실시예에 따른 관심영역 생성예를 도시한 도면.

도 5는 도 1의 관심영역 세그먼테이션부의 처리 흐름도.

도 6은 본 발명의 바람직한 실시예에 따른 관심영역 세그먼테이션예를 도시한 도면.

도 7은 도 1의 가중치 설정부의 처리 흐름도.

도 8은 특징벡터 생성부의 처리 흐름도.

도 9 내지 도 10은 본 발명의 바람직한 실시예에 따른 특징벡터 생성예를 도시한 도면.

도 11은 도 1의 유사도 비교 수행부의 처리 흐름도.

도 12는 본 발명의 바람직한 실시예에 따른 유사도 비교예를 도시한 도면.

도 13은 본 발명의 바람직한 실시예에 따른 사용자 인터페이스 화면을 도시한 도면.

도 14 내지 도 16은 본 발명의 성능을 비교한 예를 도시한 도면.

본 발명은 영상 데이터 처리 기술에 관한 것으로, 더욱 상세하게는 영상 데이터 중 관심 영역을 추출하고 상기 관심 영역에 대해 특징 벡터를 생성하여 유사 영상을 검색하는 영상 데이터 처리 방법 및 그에 따른 시스템에 관한 것이다.

근래 정보통신, 컴퓨터 네트워킹, 데이터베이스, 정보관리, 사용자 인터페이스 및 정보저장관리 기술을 바탕으로 이루어진 PACS(Picture Archiving Communication System) 시스템의 도입으로 최근 의학 분야에서는 방대한 의료 영상이 디지털화되어 하나의 데이터베이스를 구축하고 있다. 따라서 대용량의 의료 영상을 효과적으로 검색하기 위한 필요성이 대두되었고, 이를 위한 멀티미디어 데이터 기술(description)의 표준인 MPEG-7의 응용 연구가 활발히 진행되어 오고 있다.

일반적으로 의료 영상은 관찰자의 눈에 따라 다른 의미를 부여할 수 있으며, 영상내에서 중요한 의미를 내포하는 관심영역과 단색의 배경으로 구성된 특징을 가지므로 일반 자연영상과는 다른 특징기술 및 검색 방법이 요구된다.

한편 MPEG-7의 시각 기술자는 색상, 질감, 모양 등의 특징들을 일정한 형식의 벡터로 표현한 것으로 그동안 자연 영상의 검색에 유용하게 응용되어 왔으며, 그 성능의 우수성이 입증되었다. 그리고 비주얼 기술자는 영상의 고유한 특징 정보를 기술하며 영상의 특성에 따라 각 기술자를 이용한 검색 성능이 달라질 수 있다.

그러나 의료 영상은 자연 영상과는 달리 신체의 특정 부위나 특정 세포를 위주로 영상을 획득한다. 이에따라 데이터의 특징 표현 성능이 좋은 비주얼 기술자를 이용하더라도 중요하지 않은 배경이나 비 중요 영역을 포함하는 전체 영상으로부터 특징을 추출한다면 신뢰할 수 없는 검색 결과를 가져올 수 있다.

또한 의료 영상은 흑백 영상의 비율이 높기 때문에 이에 따른 적절한 색상, 질감, 모양 정보 등의 선택이 요구된다.

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 의료 영상 데이터에서 중요한 의미를 가지는 관심영역을 추출하고, 상기 관심영역에 대해 특징 벡터를 생성하는 영상 데이터 처리 방법 및 그에 따른 시스템을 제공하는 것을 그 목적으로 한다.

또한 본 발명의 다른 목적은 상기 관심 영역에 대한 특징 벡터를 통해 유사 영상을 검색하는 영상 데이터 검색 방법 및 그에 따른 시스템을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명에 따르는 영상 데이터 처리 시스템은, 영상 데이터를 입력받아 회색도 영상 데이터로 변환하여 특징 지도를 생성하여 정규화한 명암지도를 생성함과 아울러, 상기 영상 데이터를 웨이블릿 변환하여 주파수상의 소정치 이상의 변화량을 가진 포인트들과 상기 명암지도를 토대로 상기 영 상 데이터내의 관심영역을 추출하는 관심영역 생성부; 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 관심영역 세그먼테이션부; 상기 명암지도의 분산을 통하여 상기 세그먼테이션된 관심영역들 각각에 대해 영역별 가중치를 부여하는 가중치 부여부; 상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 특징벡터 생성부를 포함하는 것을 특징으로 한다.

본 발명은 의료 영상 데이터(이하 편이상 영상 데이터라 칭함)의 특성에 따라 영상 데이터 중 관심 영역을 추출하고, 상기 관심 영역에 인간 시각과 MPEG-7 비주얼 기술자를 이용하여 특징벡터를 생성하고, 상기 생성된 특징벡터를 이용하여 유사 영상을 검색한다.

이러한 본 발명의 바람직한 실시예에 따른 영상 데이터 처리 시스템의 구성을 도 1을 참조하여 설명한다.

상기 영상 데이터 처리 시스템은 데이터 처리부(100)와 데이터베이스(112), 외부기기 인터페이스부(114), 디스플레이 장치(116), 사용자 인터페이스부(118)로 구성된다.

상기한 데이터 처리부(100)는 관심영역 생성부(102), 관심영역 세그먼테이션부(104), 가중치 설정부(106), 특징벡터 생성부(108), 유사도 비교 수행부(110)로 구성된다.

상기한 관심영역 생성부(102)는 영상 데이터를 입력받아 회색도 영상 데이터로 변환한 후에 특징 지도를 생성하여 정규화한 명암지도를 생성함과 아울러, 상기 영상 데이터를 웨이블릿 변환하여 주파수상의 소정치 이상의 변화량을 가진 포인트들과 상기 명암지도를 토대로 상기 영상 데이터내의 관심영역을 추출하여 관심영역 세그먼테이션부(104)에 제공한다.

상기 관심영역 세그먼테이션부(104)는 상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하여 가중치 설정부(106)로 제공한다.

상기 가중치 설정부(106)는 명암지도의 분산을 통하여 상기 세그먼테이션된 관심영역들 각각에 대해 영역별 가중치를 부여한다.

또한, 상기 특징벡터 생성부(108)는 상기 세그먼테이션된 관심영역에 대해 MPEG-7의 색상, 질감, 형태 디스크립터를 이용하여 특징 벡터를 생성하여 데이터베이스(112)에 저장한다.

유사도 비교 수행부(110)는 영상 데이터와 데이터베이스(114)에 저장된 참조 영상 데이터들과의 유사도 비교를 수행하여 최상위 K개의 유사한 의료 영상을 검색하여 그 결과를 디스플레이 장치(116)를 통해 안내한다.

상기한 외부기기 인터페이스부(114)는 영상 데이터의 입력 등을 위해 외부기기와의 인터페이스를 제공한다.

디스플레이 장치(116)는 상기 데이터 처리부(110)의 제어에 따른 각종 정보를 표시하여 사용자에게 안내한다.

사용자 인터페이스부(118)는 키패드 또는 마우스 등으로 사용자로부터 각종 명령을 입력받아 데이터 처리부(110)에 제공한다.

이제, 상기한 바와 같은 영상 데이터 처리 시스템의 동작을 좀더 상세히 설명한다.

먼저, 본 발명의 바람직한 실시예에 따른 명암 지도(Cm) 생성 알고리즘을 도 2를 참조하여 설명한다. 여기서, 상기 명암 지도(Cm) 생성 알고리즘은 상기 관심영역 생성부(102)에 포함된다.

상기 명암 지도(Cm) 생성 알고리즘은 외부로부터 영상 데이터가 입력되는지를 체크한다(200단계).

상기 영상 데이터가 입력되면, 명암 지도(Cm) 생성 알고리즘은 입력된 영상 데이터를 1/2로 크기의 회색도(gray level) 영상 데이터(L)로 변환하고(202단계), 다른 크기의 다수의 필터(12*12,13*13)를 적용하여 필터안의 중심점과 주변점들 사이의 차이 값을 계산하여(204단계), 원 영상에 대한 다수의 특징지도(FEATURE MAP)을 생성하여(206단계), 이를 정규화한다(208단계).

그리고 상기 명암 지도(Cm) 생성 알고리즘은 상기 다수의 특징지도에 대해 잡음과 주변 포인트들의 영향을 제거하기 위하여 가우시안 필터링을 이행한다(210단계).

이러한 과정을 통하여 영상 크기가 L이고, 사용된 필터 크기가 s일 때, 해당 중심점과 이웃점들간의 명암차이를 나타내는 명암지도(

) 은 수학식 1과 같이 산출된다.

상기 수학식 1에 따라 명암지도(

)가 산출되면, 명암지도(

) 생성 알고리즘은 상기 명암지도(

)를 원래 영상 데이터의 크기로 샘플링하여 최종 명암지도(Cm)를 생성한다(212단계).

이제 상기한 바와 같이 생성한 명암지도(Cm)를 이용하여 관심영역(AW;ATTENTION WINDOW)을 생성하는 과정을 도 3을 참조하여 설명한다.

관심영역 생성부(102)는 명암지도(Cm) 생성 알고리즘으로부터 입력된 영상 데이터에 대한 명암지도(Cm)를 제공받는다(300단계).

상기 관심영역 생성부(102)는 입력된 영상 데이터에 대해 웨이블릿 변환을 이행한 후에(302단계), 상기 웨이블릿 변환 결과에 따라 상기 영상 데이터 내에서 모서리나 에지 등과 같이 주파수 변화량이 큰 지점, 즉 소정값이상의 주파수 변화량을 가지는 지점을 중요 포인트(SP)로서 추출한다(304단계). 상기 중요 포인트의 추출이 완료되면, 관심영역 생성부(102)는 초기 관심영역을 설정한다(306단계). 여기서, 상기 초기 관심영역은 영상 분석을 통해 계산된 값으로 영상 데이터에 존재하는 최대 관심 영역의 크기를 포함하도록 설정된다.

상기 초기 관심영역의 설정후에, 관심영역설정부(102)는 중심좌표(CAW)를 중심으로 후보 관심영역을 결정한다(308단계). 상기 후보 관심영역은 전체 영상 데이 터에서 가장 큰 개수의 중요 포인트(SP)를 가지는 하나의 영역을 설정하는 것이다.

상기 후보 관심영역의 설정후에, 관심영역 설정부(102)는 명암지도(Cm)의 평균값을 산출하여 관심영역 설정을 위한 임계값(Tcm)으로서 설정한다(310단계).

상기 관심영역 설정을 위한 임계값(Tcm)의 설정이 완료되면, 관심영역 설정부(102)는 후보 관심영역에 대한 픽셀들에 대한 명암지도(Cm_of_xy)가 임계값(Tcm)보다 작고, 상기 후보 관심영역의 가장자리의 픽셀들이 중요포인트(SP)가 아닌지를 체크한다(312단계).

상기 후보 관심영역에 대한 픽셀들에 대한 명암지도(Cm_of_xy)가 임계값(Tcm)보다 작고, 상기 후보 관심영역의 가장자리의 픽셀들이 중요포인트(SP)가 아니면, 관심영역 설정부(102)는 상기 중심좌표(CAW)를 중심으로 상기 후보 관심영역의 경계면을 한픽셀씩 축소하고, 변형된 관심영역의 새 중심좌표를 검출한 후에 상기 (308)단계로 복귀한다(314~316단계).

상기한 바와 다르게 상기 후보 관심영역의 경계면에 대한 픽셀들에 대한 명암지도(Cm_of_xy)가 임계값(Tcm)보다 크거나, 해당 픽셀들이 중요포인트(SP)이면, 관심영역 설정부(102)는 해당 후보 관심영역을 관심영역으로 설정한다(318단계).

이와 같이 관심영역 설정부(102)는 관심영역이 실제 관심영역의 크기와 가장 유사한 근사크기를 가질 때까지 관심 윈도우의 크기를 한 픽셀씩 줄여나가면서 최종적으로 분리된 관심영역을 얻어낸다.

도 4는 본 발명에 따른 영상의 관심 윈도우가 생성된 결과를 예시한 것이다. 상기 도 4를 참조하면, 입력된 의료 영상 데이터의 관심영역은 명암지도 및 중요 포인트들을 통해 설정된다.

이제 관심영역 세그먼테이션부(104)의 동작을 도 5의 흐름도를 참조하여 설명한다.

상기 관심영역 세그먼테이션부(104)는 관심영역 생성부(102)에 의해 1차 설정된 관심영역을 입력받아 해당 관심영역에 대한 명암지도의 평균값을 산출하여 임계값으로서 설정한다(400,402단계).

이후 관심영역 세그먼테이션부(104)는 상기 관심영역을 소정 수, 예를들어 4*4로 분할하고, 분할된 각 영역에 대한 명암지도 평균값을 산출한다(404,406단계).

상기 분할된 각 영역에 대한 명암지도 평균값이 산출되면, 각 영역에 대한 명암지도 평균값이 상기 임계값보다 작은지를 체크하여, 상기 임계값보다 보다 해당 영역의 명암지도 평균값이 작으면 해당 영역은 중요 정보가 포함되지 않은 영역으로 판단하여 제거한다(408,410단계).

상기한 바와 달리 해당 영역에 대한 명암지도 평균값이 상기 임계값보다 크면 404단계로 복귀하여 해당 영역을 다시 분할하고, 분할된 각 영역에 대한 명암지도 평균값을 산출한 후에 그 명암지도 평균값이 다시 상기 임계값보다 작은지를 체크한다(408단계). 이러한 과정을 최대 3회 반복 수행한다.

상기 3회 반복 분할된 영역에 대한 명암지도 평균값이 상기 임계값보다 크면, 관심영역 세그먼테이션부(104)는 해당 영역은 중요 정보가 포함된 영역으로 판단하여 해당 영역에 대한 정보를 유효한 관심영역에 대한 정보로서 저장한다(410단 계).

상기한 (404~410)의 단계가 모든 관심영역에 대해 이행되었으면, 관심영역 세그먼테이션부(104)는 저장된 유효한 관심영역들 중 이웃하는 관심영역들을 병합함과 아울러 상기 유효한 관심영역들중 소정 거리이상 이격된 관심영역들은 제거함으로써 최종 관심영역을 획득한다.

도 6은 본 발명에 따른 영상의 세그먼테이션이 수행된 결과를 예시한 것으로, 입력된 관심영역은 명암지도의 평균값과 쿼드-트리 과정을 이용한 세그먼테이션을 통해 최종 관심영역이 추출된다.

이제 가중치 설정부(106)의 동작을 도 7의 흐름도를 참조하여 설명한다.

상기 가중치 설정부(106)는 추출된 관심영역들에 대해 특징 벡터의 거리 차를 구하기 위하여 입력 영상 데이터에서 중요도에 따른 초기 중요도 가중치(

)를 설정한다.

상기 가중치 설정부(106)는 관심영역을 입력받아 인간시각특성에 부합되는 명암대비지도(i)를 이용하여 각 관심영역에 대한 분산(vi)을 산출한다(500,502단계).

이후 가중치 설정부(106)는 상기 산출된 분산(vi) 값에 따라 상기 관심영역들을 정렬하고, 높은 분산값을 가지는 관심영역을 더 중요한 관심영역으로 판단하여 수학식 2에 따른 상대적인 중요도 값을 각 영역에 부여한다.

상기 수학식 2에서 N은 관심영역의 개수를 의미한다. 수식에서 분모가

일 경우 선형 조합보다 특징값의 작은 변화에 민감하게 작용하기 때문에 보다 정확한 가중치 계산이 가능하며 검색 성능 향상에 도움을 준다.

이제, 특징벡터 생성부(108)의 동작을 도 8의 흐름도를 참조하여 설명한다.

상기 특징벡터 생성부(108)는 MPEG-7 비주얼 기술자를 이용하여 관심영역별 색상, 질감, 모양 특징을 조합하여 기술한다.

즉 특징벡터 생성부(108)는 관심영역에 대한 영상 데이터를 입력받아(600단계), Color Structure Descriptor(CSD)를 이용하여 색상 특징을 추출하고(602단계), Edge Histogram Descriptor(EHD)를 이용하여 질감 특징을 추출하고(604단계), Region Shape Descriptor(RSD)를 이용하여 형태 특징을 추출한다(606단계).

상기 CSD는 영상의 유사한 색상 간의 히스토그램과 지역 공간 구조의 분포를 나타내며, 구조적 특징을 가진 색상 분포를 효과적으로 기술한다. 추출된 특징은 수학식 3과 같이, 8비트로 양자화된 1차원 배열의 특징 벡터이다.

상기 수학식 3에서 M은 {256, 128, 64, 32} 중 하나의 값을 지정하고 s 는 structuring element의 크기를 나타낸다.

상기 CSD를 이용한 질의 영상 데이터의 어느 한 영역과 데이터베이스의 참조 영상의 한 영역간의 유사도 식은 수학식 4와 같다.

상기 수학식 4에서 qc와 rc는 각각 질의 영상과 참조 영상에서 얻어진 영역을 의미하고

와

는 각각 질의와 참조 영상의 qc와 rc영역에서의 i번째 특징 벡터 값을 의미한다.

그리고 본 발명에 따른 색상 특징을 추출하기 위해 색상 히스토그램의 빈을 축적하는 과정을 예시한 도 9를 참조하면, 4 * 4 구조의 엘리먼트(structuring element)에 4개의 색상(color)이 존재하고, 8개의 CS 히스토그램을 생성할 경우에는 대응하는 빈의 크기가 1증가된다.

그리고 본 발명에 따른 질감 특성을 추출하기 위한 영상 분할의 정의를 예시한 도 10을 참조하면, 분할된 서브 영상을 토대로 EHD는 수직, 수평, 대각선 두 방향의 4 종류 에지와 비 방향성 에지를 검출하여 영상이 갖는 에지의 국부 분포를 나타낸다. 각 서브 영역마다 5가지의 에지 타입이 존재하기 때문에 4 * 4 = 16의 서브 영상에 전체 16 * 5 = 80개의 빈(bin)을 가지는 히스토그램이 추출되고, 이는 수학식 5와 같다.

상기 EHD를 이용한 질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역 간의 유사도 측정은 수학식 6과 같다.

상기 수학식 6에서 qc와 rc는 각각 질의 영상과 참조 영상에서 얻어진 영역을 의미하고 QEHD (i) _{( qc )} 와 REHD (i) _{( rc )} 는 질의와 참조 영상의 qc와 rc영역에서의 i번째 특징 벡터값을 의미한다.

그리고 영상의 모양 기술자(RSD)를 위해서는 Angular Radial Transform(ART) 기법을 사용하고 생성된 ART 계수는 정규화된 크기를 가지며, 총 35개의 계수로 표현된다.

질의 영상의 한 영역과 데이터베이스의 참조 영상의 한 영역 간의 유사도(Diff_RSD)의 측정은 수학식 7과 같다.

상기한 수학식 7에서

과

은 각각 질의와 참조 영상의 계수 크기를 나타낸다.

하나의 기술자로 생성된 특징 벡터의 크기는 다양한 값의 범위를 가지기 때문에 벡터간 거리를 이용한 유사도의 측정에 있어, 생성된 세 특징값은 정규화 과정이 필요하다. 이를 위해 특징벡터 생성부(108)는 가우시안 정규화(Gaussian normalization method)를 이용하여 상기한 특징값들을 정규화하고, 정규화된 특징벡터를 데이터베이스(114)에 저장한다(608,610단계).

이제, 본 발명의 바람직한 유사도 비교 수행부(110)의 동작을 도 11을 참조하여 설명한다.

먼저 식물 세포, 동물 세포, 전자 현미경 및 각종 조직(histology) 영상 데이터 등을 포함하는 참조 영상 데이터로 데이터베이스(112)를 구축한다. 또한 질의 영상 데이터에 대한 검색 성능 평가를 위하여 14개의 관련 영상을 선정하여 이를 유사 영상(Ground-Truth)로 분류하였다.

데이터베이스(112)의 참조 영상 데이터는 관심영역 선별 과정을 통하여 하나 이상의 관심영역들을 구하고(700단계), 구해진 각 영역에 대해 세가지 특징을 추출하고 이를 조합하여 특징벡터를 생성한 뒤 데이터베이스에 저장한다(702단계).

그리고 검색을 위해 질의 영상 데이터가 입력되면 동일한 과정으로 관심영역을 추출하여 각 영역들에 대한 중요도 가중치를 평가하고, 추출된 특징값을 조합하여 특징벡터를 생성한다(704~708단계).

그리고 참조 영상과 질의 영상의 영역들에 대한 특징 벡터의 거리 값을 측정하여 최종 후보 참조 집합을 생성한다(710단계).

그러나 데이터베이스 영상의 수가 1000개 이상일 경우, 각 영상마다 하나 이상의 관심영역이 추출되어 기술자로 저장되어 있다면 질의 영역과 데이터베이스 영역들 간의 특징벡터의 거리 값 측정은 많은 검색 시간을 필요로 하게 된다.

따라서 본 발명에서는 실험에 사용된 의료 영상의 세 특징 벡터 중에서 색상 특징이 큰 선별력을 가짐을 실험을 통해 발견하고, 색상 특징 벡터를 1차적으로 비교하여 전체 영상에서 유사 영상들을 선별한다.

그리고 1차적으로 선별된 영상들에 대해서 나머지 두 특징 벡터에 대한 유사도 비교를 수행하여 최종적인 유사 영상들을 선별한다.

유사도 비교 수행을 통하여 영역 간의 특징벡터 거리 차가 구해지면 가장 적은 차이를 가지는 상위 k개의 영상이 유사도 차에 따라 오름차순으로 정렬되어 사용자에게 제공된다(712,714단계).

이때 유사도 비교 수행을 위한 후보 참조 집합을 생성하는 과정은 도 12에 나타난다.

도 12는 본 발명에 따른 유사도 비교에서 후보 참조 집합을 찾기 위한 과정을 나타낸 실시 예이다.

도 12를 살펴보면 질의 영상은 하나 이상의 관심 영역이 추출되며 이에 대해 세 가지 특징 벡터들이 생성된다. 질의 영상 내의 관심영역 Q1은 목표 영상 안에 포함된 영역들과의 유사도 수행을 위해 1: N 의 관계를 가지며, 각각의 참조 영역 Ref1, Ref2 , Ref3과 특징 값의 거리를 측정한다. 그 중 정의된 임계값을 넘지 않는 최소 거리의 영역을 찾고 이를 참조 집합인 R _c 에 포함시킨다. 도 12의 실시예에서는 연산 결과, 질의 영상내의 영역 Q1 , Q2와 가장 유사한 영역인 Ref1 , Ref3이 최종 후보 참조 집합 R _c = R _ef 1, R _ef 3에 포함되고 유사도 비교 수행을 위해 사용된다.

하나 또는 다수의 관심 영역에 대해 구해진 세 특징 벡터간 거리 차는 일반적으로 수학식 8과 같이 합산하지만, 본 발명에서 제안하는 설정된 초기 가중치를 이용한 유사도(S)의 비교 수행은 수학식 9와 같이 변형되어 적용된다.

도 13은 본 발명에 따른 관심영역 기반의 의료 영상 검색 시스템 인터페이스를 예시한 것이다. 상기한 도 13을 참조하면, 의료 영상 검색 시스템은 데이터베이스에 저장된 영상 중에서 사용자가 질의한 영상과 가장 유사한 상위 k개의 영상을 검색한다. 질의 영상으로부터 관심영역이 추출되고 배경이 제거되면, 각 관심영역간의 유사도를 측정하고 최종적으로 상기의 수학식 9를 이용하여 영상 간의 거리 차를 구한다. 그리고 거리 차가 가장 적은 상위 k개의 영상이 유사도 차에 따라 오름차순으로 정렬되어 검색 결과로 보여진다. 또한 사용자는 이를 이용하여 질의가 가능하고, 추출된 관심영역이 다수일 경우 그중에서 원하는 하나의 영역만을 설정 하여 질의할 수도 있다. 또한 색상, 질감, 모양 특징을 부분적으로 선택하여 질의가 가능하다.

수행된 검색 방법의 유효성과 성능 평가를 위한 도구로는 Precision/Recall에 비해 검색 결과의 충실 지수를 반영할 수 있는 NMRR(Normalized Modified Retrieval Rank)와 ANMRR(Average Normalized Modified Retrieval Rank)를 사용하였다. 정규화된 NMRR과 ANMRR은 0에서 1의 값을 가지며 0에 가까운 값을 가질수록 좋은 성능을 나타낸다.

도 14는 본 발명에 따른 관심영역 기반의 방식과 전체 영상을 이용한 방식의 NMRR의 성능을 비교한 그래프이다.

상기한 도 14에 나타나는 결과는 동일한 초기 가중치를 부여한 본 발명에 따른 관심영역 기반의 검색과 전체 영상을 대상으로 비교하는 일반적인 검색의 결과를 비교한 것이다. 결과는 영상의 의미 없는 배경을 제거하고 중요한 영역만을 찾아내어 이를 토대로 검색을 수행하는 관심영역의 기반의 검색이 더 높은 성능을 나타냄을 보여준다. 또한 영역에서 관심영역이 두드러지게 하나의 영역으로 대표될 경우, 배경의 영향을 크게 감소시켜 높은 검색 성능을 나타낸다. 그러나 영상에서 관심 영역이 다수로 추출될 경우에는 영상 전체를 대상으로 한 검색과 거의 비슷한 검색 성능을 가지는 것을 알 수 있다.

도 15는 본 발명에 따른 중요도에 따른 초기 가중치의 부여 방식과 무가중치 방식의 NMRR의 성능을 비교한 그래프이다.

상기한 도 15는 영상에서 하나 이상의 관심영역이 추출된 경우 관심영역에 대한 상대적 중요도를 평가하여 초기 가중치를 설정한 뒤, 영상 간 특징 벡터 값을 비교하는 본 발명에 따른 검색 성능을 분석한 결과로서, 인간 시각에 부합하는 의미론적인 가중치의 부여는 보다 더 적절한 영역을 유사 영역으로 판단하기 때문에 보다 더 높은 검색을 나타낸다. 또한 가중치를 부여하는 본 발명에 따른 검색 방식은 기존의 방식과 검색 결과인 ANMRR을 비교하여 27.44 ~ 37.13%의 향상된 높은 검색 성능을 가진다.

도 16은 본 발명에 따른 관심영역과 세 가지 기술자를 동시에 사용한 방법과 각각의 기술자를 분리시킨 방법과의 성능을 비교한 표이다.

상기한 도 16의 세 가지 기술자 중에서 EHD는 대체적으로 높은 성능을 나타내고 RSD가 상대적으로 낮은 성능을 나타낸다. 그러나 EHD는 추출된 관심영역의 개수 변화에 민감하게 반응하여 불규칙한 검색 성능 분포를 가지는데 반해, CSD는 관심영역의 개수에 상관없이 고른 검색 성능을 나타낸다. 실험의 결과는 특징을 조합하여 사용하는 본 발명에 따른 검색이 보다 더 효과적이며, 각각의 기술자들의 사용에서 발생하는 오류를 줄일 수 있음을 보여준다.

이상에서 설명한 바와 같은 본 발명에 따른 의료영상에서 관심영역을 분리하고 MPEG-7 비주얼 기술자를 조합하여 특징벡터를 생성하기 위한 기법은 다음과 같은 효과가 있다.

첫째, 의료 영상에서 단색의 배경과 중요한 의미를 내포하고 있는 관심영역을 분리하여 관심영역에 기반 한 검색을 가능하게 하며, 의미 없는 배경이나 비 관 심 영영의 유사도 비교 수행으로 인한 오차 값을 줄임으로써 검색의 성능을 향상시킨다.

둘째, 관심영역의 정확한 추출을 위해서는 상당한 처리시간이 요구되지만, 명암지도와 중요 포인트를 이용하여 관심 윈도우를 생성하고 쿼드-트리 과정을 이용하여 관심영역을 세그먼테이션 함으로써 세그먼테이션을 위한 처리시간을 단축시키고, 관심영역을 인간 시각적인 특징에 부합하도록 추출할 수 있다.

셋째, 추출된 관심 영역들에 대하여 명암 대비 지도를 이용하여 상대적인 초기 중요도 가중치를 평가하여 이를 유사도 수행에 이용함으로써 인간 시각 특성에 부합하는 검색을 가능하게 할 수 있다.

넷째, 하나의 기술자로 영상의 전체 특징을 기술할 경우에는 영상의 특성에 따라 검색 성능이 저하될 수 있으나, 적절한 특징 기술자들을 조합하여 영상의 복합적인 특징을 추출하여 특징 벡터를 생성함으로써 각각의 기술자들의 사용에서 발생하는 오류를 줄이고 검색의 정확도를 향상시킨다.

이상 설명한 내용을 통하여 당업자라면 본 발명의 기술 사상을 이탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (18)

1. 영상 데이터 처리 시스템에 있어서,

   영상 데이터를 입력받아 회색도 영상 데이터로 변환하고, 정방형(正方形)으로 위치하는 다수의 픽셀에 대해, 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값 간의 차이값을 산출하여 출력하는 필터를 통해 상기 회색도 영상 데이터를 필터링하여, 그 필터링 결과인 특징지도를 생성하고, 상기 특징지도의 각 픽셀 값을 정규화하여 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값간의 명암차이를 나타내는 명암지도를 생성하고, 상기 명암지도에 포함된 픽셀 값들의 평균값을 산출하고, 상기 영상 데이터를 웨이블릿 변환하여 획득된 주파수 변화량이 미리 정해둔 값 이상인 픽셀들의 위치들을 중요 포인트들로서 검출하고, 상기 중요 포인트들이 포함되게 관심영역을 설정하는 관심영역 생성부;

   상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 관심영역 세그먼테이션부;

   상기 세그먼테이션된 관심영역들 각각에 대한 분산을 이행하고, 상기 분산결과에 따라 상기 관심영역들에 대한 가중치를 부여하는 가중치 부여부;

   상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 특징벡터 생성부

   를 포함하는 것을 특징으로 하는 영상 데이터 처리 시스템.
2. 제1항에 있어서,

   참조 영상 데이터들에 대한 특징벡터들이 저장된 데이터베이스;

   질의 영상 데이터에 대해 상기한 특징벡터를 생성하고, 상기 특징벡터와 상기 참조 영상 데이터들에 대한 특징벡터들을 비교하여 상기 질의 영상 데이터와 유 사한 참조 영상 데이터들을 추출하는 유사도 비교 수행부

   를 더 포함하는 것을 특징으로 하는 영상 데이터 처리 시스템.
3. 제2항에 있어서,

   상기 유사도 비교 수행부는,

   상기 질의 영상 데이터의 색상 특징벡터와 유사한 참조 영상 데이터를 제1차 추출하고,

   상기 제1차 추출된 참조 영상 데이터에 대해 상기 질의 영상 데이터의 질감 특징벡터와 형태 특징벡터와 유사한 참조 영상 데이터를 제2차 추출함을 특징으로 하는 영상 데이터 처리 시스템.
4. 제1항에 있어서,

   영상 데이터의 입력을 위해 외부기기와의 인터페이스를 제공하는 외부기기 인터페이스부;

   각종 정보를 표시하는 디스플레이 장치;

   사용자와의 인터페이스를 제공하는 사용자 인터페이스부 중 하나 또는 그 이상을 더 포함하는 것을 특징으로 하는 영상 데이터 처리 시스템.
5. 영상 데이터 처리 방법에 있어서,

   영상 데이터를 입력받아 회색도 영상 데이터로 변환하고, 정방형(正方形)으로 위치하는 다수의 픽셀에 대해, 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값 간의 차이값을 산출하여 출력하는 필터를 통해 상기 회색도 영상 데이터를 필터링하여, 그 필터링 결과인 특징지도를 생성하고, 상기 특징지도의 각 픽셀 값을 정규화하여 중심에 위치하는 픽셀값과 주변에 위치하는 픽셀값간의 명암차이를 나타내는 명암지도를 생성하고, 상기 명암지도에 포함된 픽셀 값들의 평균값을 산출하고, 상기 영상 데이터를 웨이블릿 변환하여 획득된 주파수 변화량이 미리 정해둔 값 이상인 픽셀들의 위치들을 중요 포인트들로서 검출하고, 상기 중요 포인트들이 포함되게 관심영역을 설정하는 제1단계;

   상기 명암지도의 평균값과 쿼드-트리 과정을 이용한 분할을 거쳐 상기 관심영역을 세그먼테이션하는 제2단계;

   상기 세그먼테이션된 관심영역들 각각에 대한 분산을 이행하고, 상기 분산결과에 따라 상기 관심영역들에 대한 가중치를 부여하는 제3단계;

   상기 세그먼테이션된 관심영역에 대해 특징 벡터를 생성하는 제4단계

   를 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
6. 제5항에 있어서,

   질의 영상 데이터에 대해 상기한 특징벡터를 생성하고, 상기 특징벡터와 미리 저장되어 있는 참조 영상 데이터들에 대한 특징벡터들을 비교하여 상기 질의 영상 데이터와 유사한 참조 영상 데이터들을 추출하는 제5단계

   를 더 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
7. 제5항에 있어서,

   상기 제1단계가,

   상기 관심영역의 가장자리에 위치하는 픽셀들 각각에 대해, 각 픽셀들에 대응되는 명암지도의 픽셀의 값이 미리 정해둔 임계값 이하이면 해당 픽셀을 상기 관심영역에서 제거하여 상기 관심영역을 축소하는 것을 더 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
8. 제7항에 있어서,

   상기 미리 정해둔 임계값은 상기 명암지도의 픽셀들의 값에 대한 평균값임을 특징으로 하는 영상 데이터 처리 방법.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 제5항에 있어서,

    상기 제3단계가,

    관심영역들의 영상 데이터를 입력받아 인간 시각 특성에 부합되게 미리 설정된 명암대비지도를 이용하여 각 관심영역에 대한 분산을 산출하고,

    상기 산출된 분산값에 따른 상기 관심영역들 각각에 대한 가중치를 수학식 10에 따라 산출하는 것임을 특징으로 하는 영상 데이터 처리 방법.

    

    ; 여기서, Wi는 가중치, vi는 관심영역에 대한 분산값, N은 관심영역의 수임.
15. 삭제
16. 삭제
17. 제1항에 있어서,

    상기 영상 데이터로부터 명암지도를 산출하는 수학식은 수학식 11에 따름을 특징으로 하는 영상 데이터 처리 시스템.

    

    상기

    

    은 명암지도, 상기 L은 영상 데이터, 12×12,13×13은 필터 크기임.
18. 제1항에 있어서,

    관심영역들의 영상 데이터를 입력받아 인간 시각 특성에 부합되게 미리 설정된 명암대비지도를 이용하여 각 관심영역에 대한 분산을 산출하는 단계;

    상기 산출된 분산값에 따른 상기 관심영역들 각각에 대한 가중치를 수학식 12에 따라 산출함을 특징으로 하는 영상 데이터 처리 시스템.

    

    ; 여기서, Wi는 가중치, vi는 관심영역에 대한 분

    산값, N은 관심영역의 수임.

Images