KR101200378B1 - 국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 - Google Patents
국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 Download PDFInfo
- Publication number
- KR101200378B1 KR101200378B1 KR1020110087064A KR20110087064A KR101200378B1 KR 101200378 B1 KR101200378 B1 KR 101200378B1 KR 1020110087064 A KR1020110087064 A KR 1020110087064A KR 20110087064 A KR20110087064 A KR 20110087064A KR 101200378 B1 KR101200378 B1 KR 101200378B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- texture
- lap
- images
- phase
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이미지에서 텍스처 특징을 추출하는 방법에 대한 것으로, 중심이 s(0,0)인 직교 좌표계에 존재하는 특정 영역 내(이하 ‘윈도우’라고 한다.)에 존재하는 픽셀 s(x, y)의 좌표를 하기 수식에 의하여 상기 중심 s(0,0)으로부터의 거리 r 및 상기 중심 s(0,0)에 대한 방향인 θ로 나타내는 원형 영역 좌표 p(r, θ)로 변환하는 제1단계,
상기 원형 좌표로 변환된 상기 윈도우 내에 존재하는 모든 픽셀의 좌표 p(n)을 하기 수식에 의하여 퓨리에 변환하는 제2단계이되, 하기 수식에서 N은 윈도우 내에 존재하는 모든 픽셀들의 개수이고, n은 윈도우 내에 존재하는 픽셀들의 번호(n=0,1,…,N-1)이고, i = 이며, 이며, P(k)는 p(n)의 퓨리에 변환된 함수이며,
하기 수식에 따라 상기 제2단계에서 도출된 P(1), P(2), …, P((N-1)/2)에 대하여 하기 수식에 따라 C1행렬을 도출하고, P((N-1)/2+1), …, P(N-1)에 대하여 하기 수식에 따라 C2 행렬을 도출하는 제3단계,
상기 제3단계에서 하기 수식에 의하여 8비트 이진코드로 양자화하는 제4단계,
여기서, b(k)는 각각의 계수 C1 내지 C8의 부호이며, k는 1,2...8까지의 고정값을 나타냄
상기 제4단계에서 도출된 각각의 b(k)에 대하여 하기 수식에 따라 2k-1을 곱하여 국소화된 각 위상(localized angular phase, LAP) 코드를 생성하는 제5단계
를 포함하여 구성되는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따르면, 텍스처 특징을 추출하는 데 있어서 국소 각 위상을 이용하여 추출함으로서, 이미지의 크기가 커져도 샘플의 개수가 크게 변하지 않아 신속한 텍스처 추출이 가능하며, 스케일, 블러링 및 조도 변화에 대하여 강건성을 갖는 텍스처를 추출할 수 있는 효과가 있다.
상기 원형 좌표로 변환된 상기 윈도우 내에 존재하는 모든 픽셀의 좌표 p(n)을 하기 수식에 의하여 퓨리에 변환하는 제2단계이되, 하기 수식에서 N은 윈도우 내에 존재하는 모든 픽셀들의 개수이고, n은 윈도우 내에 존재하는 픽셀들의 번호(n=0,1,…,N-1)이고, i = 이며, 이며, P(k)는 p(n)의 퓨리에 변환된 함수이며,
하기 수식에 따라 상기 제2단계에서 도출된 P(1), P(2), …, P((N-1)/2)에 대하여 하기 수식에 따라 C1행렬을 도출하고, P((N-1)/2+1), …, P(N-1)에 대하여 하기 수식에 따라 C2 행렬을 도출하는 제3단계,
상기 제3단계에서 하기 수식에 의하여 8비트 이진코드로 양자화하는 제4단계,
여기서, b(k)는 각각의 계수 C1 내지 C8의 부호이며, k는 1,2...8까지의 고정값을 나타냄
상기 제4단계에서 도출된 각각의 b(k)에 대하여 하기 수식에 따라 2k-1을 곱하여 국소화된 각 위상(localized angular phase, LAP) 코드를 생성하는 제5단계
를 포함하여 구성되는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따르면, 텍스처 특징을 추출하는 데 있어서 국소 각 위상을 이용하여 추출함으로서, 이미지의 크기가 커져도 샘플의 개수가 크게 변하지 않아 신속한 텍스처 추출이 가능하며, 스케일, 블러링 및 조도 변화에 대하여 강건성을 갖는 텍스처를 추출할 수 있는 효과가 있다.
Description
본 발명은 이미지에서 텍스처 특징을 추출하는 방법에 대한 것으로, 특히 국소 각 위상을 이용하여 강건한 텍스처 특징을 추출하는 방법에 대한 것이다.
텍스처는 주변 픽셀들 사이에서 거칠기 및 밝기의 국소적인 변화의 통계적 특징을 나타내고, 이미지 분석 및 패턴 인식에 있어서 중요한 역할을 한다. 텍스처 분석은 의학 이미지 분석, 문서 분석, 목표물 탐지, 산업 시설의 표면 탐지 및 원격 센싱 같은 중요 응용분야에 있어서 필수적이다.
텍스처 모델은 텍스처 요소(소위 텍스톤(textons) 혹은 텍셀(texels)이라고 명명되는)를 형성하는 기본적인 텍스처 근원과 관계 있다. 텍스처 분석에는 4개의 주요 관심분야(즉, 텍스처 특성, 텍스처 차별, 텍스처 분류 및 텍스처로부터의 모양)가 있다. 본 발명은 텍스처 특성 및 텍스처 차별성에 대한 것이다.
다양한 텍스처 특성 접근을 이용한 넓은 범위의 이미지 인식 방법이 있다. 이들은 기본적으로 4가지 접근으로 나뉘는데, 통계적인 접근(히스토그램, 동시발생 및 자기상관), 구조적인 접근(Voronoi tessellation), 모델에 기초한 접근(Markov 임의 영역) 및 스펙트럼적 접근(Gabor 필터, 파형요소)가 이들이다. 이러한 접근은 필요한 응용분야 및 다양한 도메인에 따라 공간 도메인(국소 이진 패턴(local binary patterns, LBP), Markov 임의 영역) 또는 주파수 도메인(국소 퓨리에 히스토그램(local Fourier histogram, LFH), Gabor 필터, 위상)에서 수행될 수 있다.
2개의 주요한 기술용어 즉, 희소 및 조밀 디스크립터(sparse and dense descriptors)가 있다. 희소 디스크립터는 주어진 이미지에서 관심점을 탐지하고, 국소 패치를 샘플링하며, 불변의 특성을 설명한다. 반면 조밀 디스크립터는 입력 이미지로부터 픽셀마다 국소 특성을 추출한다. 한가지 공지의 희소 디스크립터는 SIFT(scale-invariant feature transform)이며, 가장 유명한 조밀 디스크립터는 Gabor filter 및 LBP이다. 텍스처 분석에서 텍스처의 텍스톤을 설명하므로 조밀 디스크립터는 희소 디스크립터보다 더 나은 성능을 보인다.
텍스처는 때때로 조도 변화, 스케일링 변화, 블러링(blurring) 효과 또는 다른 시각적 외형 변화 때문에 변한다. 픽셀들 마다 상이한 값이 적용되기 때문에 조도 변화에 대하여 강인성을 가지는 텍스처 디스크립터의 하나는 LBP이다. 조도 불변성을 성취하는 또 다른 단순한 접근은 픽셀 값 이동에도 변하지 않는 이미지의 상을 이용하는 것이다. 다른 방법은 원형 공간을 이용하여 스케일링 및 회전 변화에 대한 불변성을 얻는 것인데, 여기서 이미지 스케일링 및 회전은 이미지 변환으로 전환된다. Zernike 모멘트 및 Fourier 크기를 이용한 접근 또한 이미지의 변환 및 회전에 불변성을 보여준다. 블러링에 대한 불변성을 얻기 위하여, 가장 유명한 접근은 이미지 모멘트 방법이며, 다른 접근 방법은 이미지의 상을 이용하는 것인데, 이는 Gaussian blurring에 둔감한 것으로 입증되었다.
그러나, 이러한 텍스처 시각적 외형 문제점을 극복하기 위하여 제안된 대부분의 방법들은 높은 연산의 복잡성을 가진다. 게다가, 조도, 스케일 및 블러링에 대하여 전반적으로 우수한 통합적인 불변성을 가지는 텍스처 디스크립터 방법은 아직 나타나지 않았다. 따라서, 적은 연산 복잡성을 가지며 조도 및 스케일링 변화에 둔감한 다목적의 텍스처 디스크립터가 절실히 요구되는 상황이다.
본 발명은 LAP(localized angular phase)라고 명명되는 다목적의 조밀 텍스처 디스크립터를 제공하는 것을 목적으로 한다.
본 발명에 따른 국소 각 위상을 이용한 텍스처 특징 추출 방법에 의하면, 중심이 s(0,0)인 상기 직교 좌표계에 존재하는 특정 영역 내(이하 ‘윈도우’라고 한다.)에 존재하는 픽셀 s(x, y)의 좌표를 하기 수식에 의하여 상기 중심 s(0,0)으로부터의 거리 r 및 상기 중심 s(0,0)에 대한 방향인 θ로 나타내는 원형 영역 좌표 p(r, θ)로 변환하는 제1단계,
상기 원형 좌표로 변환된 상기 윈도우 내에 존재하는 모든 픽셀의 좌표 p(n)을 하기 수식에 의하여 퓨리에 변환하는 제2단계이되, 하기 수식에서 N은 윈도우 내에 존재하는 모든 픽셀들의 개수이고, n은 윈도우 내에 존재하는 픽셀들의 번호(n=0,1,…,N-1)이고, i = 이며, 이며, P(k)는 p(n)의 퓨리에 변환된 함수이며,
하기 수식에 따라 상기 제2단계에서 도출된 P(1), P(2), …, P((N-1)/2)에 대하여 하기 수식에 따라 C1행렬을 도출하고, P((N-1)/2+1), …, P(N-1)에 대하여 하기 수식에 따라 C2 행렬을 도출하는 제3단계,
상기 제3단계에서 하기 수식에 의하여 8비트 이진코드로 양자화하는 제4단계,
상기 제4단계에서 도출된 각각의 b(k)에 대하여 하기 수식에 따라 2k-1을 곱하여 국소화된 각 위상(localized angular phase, LAP) 코드를 생성하는 제5단계, 및
상기 LAP 코드를 이용하여 텍스처의 확률적 분포인 텍스처 디스크립터를 산출하는 제6단계를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 제6단계는, LAP 코드 값 및 상기 LAP 코드의 빈도를 이용하여 히스토그램 분포를 구하는 제6-1단계; 및 상기 히스토그램 분포를 이용하여 텍스처 디스크립터를 산출하는 제6-2단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 반경 r은 1이며, N은 홀수인 것을 특징으로 한다.
또한, 상기 텍스처 디스크립터는 스케일, 블러링 및 조도가 변경되어도 상기 텍스처 디스크립터의 확률적 분포가 일정한 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따르면, 텍스처 특징을 추출하는 데 있어서 국소 각 위상을 이용하여 추출함으로서, 이미지의 크기가 커져도 샘플의 개수가 크게 변하지 않아 신속한 텍스처 추출이 가능하며, 스케일, 블러링 및 조도 변화에 대하여 강건성을 갖는 텍스처를 추출할 수 있는 효과가 있다.
도 1은 기본적인 LBP 텍스처 방법을 도시한 도면이다.
도 2는 3 × 3 윈도우의 일 실시예를 도시한 도면이다.
도 3은 5 × 5의 주변을 이용한 그레이 픽셀에 대한 LPQ 코드의 계산을 도시한 도면이다.
도 4는 LAP알고리즘을 도시한 도면이다.
도 5는 각각 크기를 발생하기 위한 이미지, 위상을 발생시키기 위한 이미지 및 상기 크기를 발생하기 위한 이미지 및 상기 위상을 발생시키기 위한 이미지를 결합한 이미지를 도시한 도면이다.
도 6은 신호와 그들의 위상을 도시한 도면이다.
도 7은 직교 좌표계 및 극 좌표계에서의 중심 원 및 원주선을 도시한 도면이다.
도 8은 Brodatz, KTH-TIPS 및 Outex_TC_00000의 샘플 이미지를 도시한 도면이다.
도 9는 일관성 시험에 사용된 이미지의 샘플을 도시한 도면이다.
도 10은 조도, 스케일링 및 블러링의 3가지 범주에서 각각의 방법에 대한 원본 및 변형된 그룹들로부터의 표준 편차(SD) 값의 BOX PLOT을 도시한 도면이다.
도 11은 Outex_TC_00000의 조도 변화, 리스케일링 및 블러링된 이미지의 샘플을 도시한 도면이다.
도 12는 다양한 이미지 크기 및 3 × 3, 5 × 5 및 7 × 7의 3가지 다른 윈도우 크기를 가지는 LAP, LPQ, LBP, 및 LFH의 계산 시간을 나타내는 그래프를 도시한 도면이다.
도 13은 실제-세계의 블러링 효과를 가지는 이미지의 일실시예를 도시한 도면이다.
도 14는 각각 백열등, 태양광 및 tl84의 조명들을 가지는 이미지를 도시한 도면이다.
도 15는 다양한 CT 이미지 유형 및 크기에 관한 폐기종 서브 영역의 샘플 이미지를 도시한 도면이다.
도 16은 다양한 폐기종 서브 영역에 관한 LAP, LPQ, LBP, 및 LFH에 대한 히스토그램의 표준편차(SD)를 나타내는 그래프를 도시한 도면이다.
도 17은 폐기종 영역 특성 추출을 위한 LAP를 수행하기 위한 알고리즘을 도시한 도면이다.
도 18은 각각 첫 번째 열은 폐기종 서브 영역을 도시하였고 두 번째 열은 정상 서브 영역을 도시한 도면이다.
도 2는 3 × 3 윈도우의 일 실시예를 도시한 도면이다.
도 3은 5 × 5의 주변을 이용한 그레이 픽셀에 대한 LPQ 코드의 계산을 도시한 도면이다.
도 4는 LAP알고리즘을 도시한 도면이다.
도 5는 각각 크기를 발생하기 위한 이미지, 위상을 발생시키기 위한 이미지 및 상기 크기를 발생하기 위한 이미지 및 상기 위상을 발생시키기 위한 이미지를 결합한 이미지를 도시한 도면이다.
도 6은 신호와 그들의 위상을 도시한 도면이다.
도 7은 직교 좌표계 및 극 좌표계에서의 중심 원 및 원주선을 도시한 도면이다.
도 8은 Brodatz, KTH-TIPS 및 Outex_TC_00000의 샘플 이미지를 도시한 도면이다.
도 9는 일관성 시험에 사용된 이미지의 샘플을 도시한 도면이다.
도 10은 조도, 스케일링 및 블러링의 3가지 범주에서 각각의 방법에 대한 원본 및 변형된 그룹들로부터의 표준 편차(SD) 값의 BOX PLOT을 도시한 도면이다.
도 11은 Outex_TC_00000의 조도 변화, 리스케일링 및 블러링된 이미지의 샘플을 도시한 도면이다.
도 12는 다양한 이미지 크기 및 3 × 3, 5 × 5 및 7 × 7의 3가지 다른 윈도우 크기를 가지는 LAP, LPQ, LBP, 및 LFH의 계산 시간을 나타내는 그래프를 도시한 도면이다.
도 13은 실제-세계의 블러링 효과를 가지는 이미지의 일실시예를 도시한 도면이다.
도 14는 각각 백열등, 태양광 및 tl84의 조명들을 가지는 이미지를 도시한 도면이다.
도 15는 다양한 CT 이미지 유형 및 크기에 관한 폐기종 서브 영역의 샘플 이미지를 도시한 도면이다.
도 16은 다양한 폐기종 서브 영역에 관한 LAP, LPQ, LBP, 및 LFH에 대한 히스토그램의 표준편차(SD)를 나타내는 그래프를 도시한 도면이다.
도 17은 폐기종 영역 특성 추출을 위한 LAP를 수행하기 위한 알고리즘을 도시한 도면이다.
도 18은 각각 첫 번째 열은 폐기종 서브 영역을 도시하였고 두 번째 열은 정상 서브 영역을 도시한 도면이다.
본 발명은 LAP(localized angular phase)라고 명명되는 다목적의 조밀 텍스처 디스크립터를 제공하는 것을 목적으로 한다. 이는 텍스처 분류에서 조밀 디스크립터의 우수성 때문에 입력 이미지 전반에서 국소 분석에 이용된다. 스펙트럼 기반의 텍스처 특성은 조도 및 스케일링 변화와 블러링에 대한 불변성을 얻기 위한 이미지 상을 이용하여 적용된다. LAP는 시간(위치) 및 주파수 도메인 모두에서 정보를 제공하는 국소화된 퓨리에 변환에 기초한다. 2D(Dimension) STFT(short term Fourier transform)과는 달리, LAP는 고정 반경을 가지는 원형 공간으로 변환되는 이미지 픽셀의 1D 신호를 통하여 국소적으로 변환된다. 10진 값 분포가 텍스처 특성을 설명하는데 이용하는 곳에서 위상 신호는 8비트 코드워드(codeword)를 형성하기 위하여 분석된다.
LPQ와는 달리, LAP는 매우 작은 이미지(예컨데, 3 × 3 이미지)에서 디스크립터의 성능을 향상시키는 고정 반경을 가지는 원형 공간으로 변환되는 이미지 픽셀의 1D 신호를 통하여 국소적으로 변환되는 1D 퓨리에 변환에 적용된다. LAP는 리던던트 정보가 버려지는 곳에서 전술한 디스크립터의 일반적인 유형이며, 상기 디스크립터의 다중 반경 유형을 포함한다. 텍스처 디스디스크립 비교하였을 때, LAP는 디스크립터의 식별 전력 및 강인성을 증가시키는 크기 정보 대신에 위상 정보를 이용한다.
<관련된 기술 설명>
1. 국소 이진 패턴
Ojala T, Pietikainen M, Harwood D (1996) A comparative study of texture measures with classification based on feature distributions. Pattern Recogn 29(1): 51-59에서 이미지에서 텍스처의 순수 국소 이진 패턴(LBP)을 위한 확실한 방법을 제시하였다. 원본 유형에서, 단지 28 = 256의 가능한 텍스처 유닛이 존재한다. 도 1의 (a)에 도시한 바와 같이, 원본 3 × 3 주변은 중앙 픽셀 값에 의하여 문턱치화 된다. 주변 픽셀 값이 중앙 픽셀 값보다 더 크거나 동일하면, 값은 1로 설정되고, 그렇지 않으면 0으로 설정된다. 도 1의 (b)에 도시한 바와 같이, 문턱치화된 주변 값들에서 픽셀 값은 도 1의 (c)에 도시한 바와 같이 상응하는 픽셀에 주어진 가중치에 의하여 곱하여 진다. 그 결과는 도 1의 (d)에 도시하였다. 마지막으로, 8개의 픽셀 값은 3 × 3 주변을 위한 텍스처 유닛 값을 얻기 위하여 합하여 진다.
LBP 방법은 원형 주변 및 균일한 패턴을 수행하는 그레이 스케일 및 LBP의 향상된 유형에 둔감하다. 이미지는 픽셀들의 텍스처 유닛에 상응하는 값을 가지는 픽셀들의 그레이 레벨 값을 대체함으로써 텍스처 스펙트럼 이미지로 변환될 수 있다. 텍스처 스펙트럼 이미지는 원본 이미지의 시각적 특성을 결정하며, 이미지 텍스처는 텍스처 유닛 값의 주파수를 위한 256-bin LBP 히스토그램을 나타낸다.
LBP를 구성하기 위하여 가장 단순한 계산을 함으로써 텍스처 분류를 매우 빠르게 할 수 있다. 그러나, 이미지 스케일링에 적용된 어떠한 보간법이라도 이미지 품질 저하를 유발하는 픽셀 값을 변화시키기 때문에 이러한 방법의 근원적인 문제점은 LBP 방법은 블러링되는 상황에서 이미지 저하에 민감하며 이미지 리스케일링에 민감하다.
2. 국소 Fourier 히스토그램
도 2에 도시한 바와 같이, Zhou F, Feng J-j, Shi Q-Y (2001) Texture feature based on local fourier transform. In: Proc. ICIP 2010. Thessaloniki, Greece, pp 610-613에서 3 × 3 국소 윈도우를 가지는 1D 국소 퓨리에 변환의 크기를 이용하여 텍스처 디스크립터를 제안하였으며, Ashan et al.은 상기 방법의 확장 유형을 제안하였을 뿐만 아니라 다른 것과 상기 방법을 비교하였다. 각각의 국소 윈도우에서, 퓨리에 변환은 도 2에 도시한 x(0) 내지 x(7)의 주변을 통하여 얻어진다. 이는 하기 수 1과 같이 산출된다.
상기에서 x(n) 및 X(k)는 각각 공간 및 주파수 도메인에서의 계수이다.
퓨리에 변환에서 첫 번째 5개의 계수의 크기 |X(0)| 내지 |X(4)|는 텍스처 설명에 이용되며 계산된 계수들은 0 내지 255의 값으로 정규화된다. 다음으로, |X(0)|는 8개의 빈(bin)으로 선형적으로 양자화되며, |X(1)| 내지 |X(4)|는 16개의 빈으로 선형적으로 양자화된다. 텍스처를 설명하기 위하여, |X(0)|의 모든 8개의 빈 및 나머지 계수의 첫 번째 8개의 빈은 특성 디스크립터로서 사용된다. Oppenheim AV, Lim JS (1981) The importance of phase in signals. Proc IEEE 69(5):529-541에 언급된 바와 같이, 크기는 상에 비하여 이미지에 대한 더 적은 정보를 가진다. 따라서, LFH는 단지 이미지의 상을 이용한 방법보다 더 적은 식별 전력을 가진다.
3. 국소 위상 양자화
Ojansivu V, Heikkila J (2008) Blur insensitive texture classification using local phase quantiza-tion. In: Proc. ICISP 2008. France, pp 236-243에서는 중앙 대칭의 2D 신호를 가지는 퓨리에 변환의 각각의 계수들은 항상 실수이며, 그 위상은 항상 2개의 값을 가지는 함수라고 언급되었다. 이러한 사상에 기초하여, 블러링에 둔감한 디스크립터 즉, LPQ는 도 3에 도시한 바와 같이 5 × 5 영역을 가지는 단순한 단계를 이용하여 구성될 수 있다. 상기 계수들은 각각 가장 낮은 수평, 수직 및 대각선 주파수 (a, 0);(0, a); (a, a); 및 (a,-a)에 대한 픽셀의 5 × 5 주변에서 계산된다. 이러한 경우, 매개변수 a의 값은 1로 설정된다. 이러한 4개의 주파수 계수의 허수 및 실수 부분은 그들의 부호에 따라 2진 양자화되어 0 내지 255 사이의 10진 수인 8비트 2진 수를 도출한다.
양자화는 양자화전 화이트닝(Whitening) 변환을 이용하여 주파수 계수를 비상관(decorrelating)시킴으로써 더 효과적으로 이루어 질 수 있다. 상기 계수들이 통계적으로 독립적이라면 정보는 양자화된 상태로 최대한 보전되기 때문이다. 비 상관을 가지는 것은 화이트닝된 LPQ라 하고, 반면 비 상관을 가지지 않는 것을 비 화이트닝 된 LPQ라 한다. 상기 LPQ의 확장된 유형은 또한 회전 불변성을 보인다.
LPQ는 블러링된 텍스처 이미지를 분류하는데 좋은 방법이나, 기하학적인 변화에 대한 민감성 및 각각의 윈도우에서 수직 및 수평 정보에의 의존성 같은 문제점을 가진다. 이는 STFT(short term Fourier transform)에 기초하기 때문에, 입력 샘플의 관련 정보를 생산하기 위하여 큰 샘플이 필요하다. 작은 3 × 3 윈도우로, 블러링된 이미지의 불변성은 둔감도를 약화시키며, 디스크립션 수용력 또한 감소시킨다. 또한, 각각의 행렬에 대하여 퓨리에 변환을 수행할 필요가 있기 때문에 LPQ가 텍스처 특성을 추출하는 데는 많은 시간이 걸리며, 따라서 국소 윈도우 사이즈가 증가할수록 필요한 계산 시간이 급속하게 증가한다.
<국소화된 각 위상을 이용한 강건한 텍스처 이미지 추출 방법>
1. 국소화된 각 위상
본 절에서는 국소화된 각 위상 알고리즘에 대하여 설명한다. 도 4에 도시한 바와 같이, s(0, 0) 픽셀이 서브 이미지의 중심에 있는 데카르트(직교) 좌표에서 서브 이미지 s(x, y)가 윈도우에 있다고 가정한다. 3 × 3의 서브 이미지는 하기 수 2를 이용하여 고정 반경의 극 좌표계 p(r,θ)로 변환될 수 있다.
상기에서 p(r,θ)= 이다. 일부 s(x, y) 점은 이러한 값은 Gonzalez RC, Woods RE (2002) Digital image processing. Prentice Hall에 나타나 있는 이중선형 보간법(bilinear interpolation)을 이용하여 하기 수 3과 같이 보간화될 필요가 있다.
상기에서 a, b, c 및 d는 점 s(x’, y’)의 4개의 가장 가까운 주변이다. R이 1로 고정되므로 p(r, θ)는 9개의 샘플을 가지는 1D의 이산 신호로서 보여질 수 있다. 상기 이산 신호는 p(n), n = 0, 1,..., 8로 다시 나타낼 수 있다. p(n)의 퓨리에 변환은 하기 수 4 및 수 5와 같이 도출된다.
상기에서 i = 이며, 이며, N은 p(n)에서 샘플들의 번호이고, 3 × 3 서브 이미지에서 N은 9이다. 상기 수 4를 이용하면, 이산 신호 p(n)은 퓨리에 계수 P(k)로 변환된다.
이미지를 극 좌표계로 변환하는 이유는 이미지 스케일링 및 블러링에 대한 불변성을 얻고, 퓨리에 도메인으로 변환되는 요소들의 숫자를 획기적으로 감소시키기 위함이다. 요소의 숫자를 감소시킴으로서, LAP의 계산속도는 획기적으로 빨라진다. 게다가, 고정 반경의 극 좌표계에 퓨리에 변환을 적용함으로써, 블러링에 대한 불변성이 얻어질 수 있다.
퓨리에 변환 후에, 9개의 복소수 계수 P(0), P(1),..., P(8)의 값이 얻어진다. 다음 단계는 위상 정보를 추출하기 위하여 복소수 계수를 선택하는 것이다. P(0)는 퓨리에 변환의 직류 성분(DC) 값이며, 위상 정보가 포함되어 있지 않다. 따라서, 그것은 선택된 계수로부터 배제된다. 이미지가 실수 값을 포함하기 때문에, 그 퓨리에 변환은 계수들의 절반이 필요 없는 원점 대칭적이 된다.
40°의 각의 간격을 이용하는 이유는 샘플들의 적절한 홀수 값을 얻기 위함이다. Muzzammil Saipullah K, Peng S-H, Kim H-S, Kim D-H (2010) Texture classification by imple-menting blur, scale and grey shift insensitive texture descriptor based on local fourier transform. In: Proc. IWAIT 2010. Kuala Lumpur, p 74에서 8개의 주변 값들이 퓨리에 변환에 대한 입력으로서 사용되었다. 샘플들의 수가 짝수라면(예컨데, 8개 샘플), 결과적인 복소수 계수는 다른 DC 값을 가질 것이다. 이러한 여분의 DC 값은 유용한 비 잉여의 복소수 계수들의 수를 줄여서 정보 손실을 피하기 위하여 LAP 방법은 9개의 샘플을 사용할 것이다. 이는 유일한 DC 값을 도출한다. 그러면, 4개의 비 잉여 복소수 계수들이 선택되며, 복소수 계수들의 절반은 도 4에 도시한 바와 같이 P(1), P(2), P(3), P(4) 또는 P(5), P(6), P(7), P(8)중 하나가 선택될 것이다. 본 실시예에서는 P(1), P(2), P(3), P(4)를 선택하여 설명한다. 위상 정보는 도 4에 도시한 바와 같이 4개의 복소수 계수의 각각의 실수 및 허수 부분의 부호를 관찰함으로써 이러한 4개의 복소수 계수들로부터 추출할 수 있다. 행렬 C가 하기 수 6에서 주어지는 이러한 4개의 복소수 계수의 정보를 포함한다고 가정한다.
여기서 행렬 C는 하기 수 7을 이용하여 8비트 이진 코드로 양자화된다.
여기서 b(k)는 각각의 계수 C1 내지 C8의 부호이다. b(1), b(2),..., b(8)을 정리함으로써, 8비트 이진 코드가 생성되며, 각각의 b(k)에 대하여 이항 인자는 2로 할당되므로 상기 수 7은 하기 수 8에 의하여 유일한 LAP 수로 변환될 수 있다.
상기 수 8에 따라, 이러한 LAP는 8비트 2진 코드에서 도출되는 0 내지 255사이의 10진 값이다. 다음으로, 상기 도출된 LAP 코드를 이용하여 256 크기를 가지는 히스토그램이 생성되며, 상기 히스토그램은 상기 도출된 LAP 코드 값 및 상기 LAP 코드의 빈도를 이용하여 히스토그램 분포로 다시 표현할 수 있다. 마지막으로, 텍스처 디스크립터는 히스토그램의 확률적 분포로부터 도출될 수 있다. 특성 값의 분포를 이용한 확률적 접근은 마이크로-텍스처에 대하여 잘 적용되는 것으로 알려져 있다.
LAP는 또한 작은 크기의 이동하는 윈도우에서 텍스처 특성을 국소적으로 추출함으로써 텍스처의 텍스톤을 분석하는 조밀 디스크립터이다. 고정 반경을 가지는 극 좌표계를 이용하는 다른 장점은 다른 반경들이 사용될 때에도 샘플 수가 크게 변하지 않는다. 예컨데, 18 샘플(각의 간격이 20°)이 반경 3(윈도우 크기 7 × 7)를 가지는 LAP에 이용되는 반면, 12 샘플(각의 간격이 30°)이 반경 2(윈도우 크기 5 × 5)를 가지는 LAP에 이용된다. 반경 1을 가지는 LAP와 마찬가지로, 12개 또는 18개 샘플들의 두번째 내지 다섯번째의 복소수 계수는 2진 코드를 생성하는 데 이용된다. 이러한 특성으로, LAP 방법은 윈도우가 커져도 많은 계산을 요구하지 않는다. 유용한 비 잉여의 복소수 계수의 수가 부족하기 때문에 더 큰 윈도우를 가지는 LAP는 3 × 3 및 5 × 5와 같은 홀수개의 샘플 수가 필요하다.
LPQ 및 LAP가 모두 위상을 이용하나, LAP 및 LPQ 사이에는 구조 및 이론적 배경에 있어서 구별되는 차이점이 있다. LAP는 극 좌표계의 위상의 강건성에 기초하나, LPQ는 이미지 영역에서의 위상에 기초한다. LPQ는 국소 윈도우 상의 이산 2D 퓨리에 변환을 이용하나, LAP는 국소 윈도우 상의 고정 반경을 가지는 원형 퓨리에 변환을 이용한다. 이러한 고정 반경을 가지는 원형 퓨리에 변환은 고정 반경을 가지는 극 좌표계의 보간화된 요소로 1D 퓨리에 변환을 수행함으로써 단순화 될 수 있다. LPQ의 퓨리에 변환은 픽셀 수에 의존적이나, LAP의 퓨리에 변환 요소는 그렇지 않다. 이는 LAP는 국소 윈도우에서의 어떤 임의의 픽셀에서의 무제한의 요소를 보간화 시킬 수 있는 원형 변환을 이용하기 때문이다. 이는 작은 국소 윈도우(예컨데 3 × 3 윈도우)를 가지는 강건한 텍스처 분류에서 LAP가 효과적인 주요한 이유이기도 하다. 마지막으로, LAP의 구성은 이미지 블러링, 스케일링 및 조도에 대한 불변성에 기초하나, LPQ는 단지 이미지 블러링에 대한 불변성에 기초한다. 이론적 배경에 대한 차이점 때문에, LAP가 LPQ의 변형이라고 단정할 수 없다.
2. LAP의 특성
1.국소 이진 패턴에서 전술한 바와 같이, LAP 방법은 조도 다양성, 스케일링 변화 및 이미지 블러링에 대하여 강건성을 가진다. 다음은 이러한 특성들에 대하여 설명한다. 기본적으로, 상기 특성들은 위상 및 원형 공간이라는 2개의 주요한 요소들을 이용함으로써 얻어질 수 있다.
2.1. LAP 정보의 중요성
이미지는 공간 도메인 또는 주파수 도메인에 표시될 수 있다. 공간 도메인은 정상 이미지 공간을 표현하나, 주파수 도메인은 이미지 전반에 대한 밝기 변화를 표현한다. 주파수 도메인 분석은 이미지에 대한 퓨리에 변환을 적용함으로써 수행될 수 있다. 이미지 f(x,y)의 2D 퓨리에 변환 및 역 퓨리에 변환은 하기 수 9 및 수 10을 이용하여 도출될 수 있다.
상기에서 f(x,y)는 M × N 크기를 가지는 이미지이다. 하기 수 11 및 수 12를 이용하여 크기 및 위상을 계산할 수 있다.
크기 및 위상을 다시 공간 도메인으로 변환하기 위하여, 이들을 하기 수 13과 같이 복소수 형태로 변환하여야 한다.
상기에서 C(m,n)은 원본 이미지 f(x,y)와 동일한 크기를 가지는 복소수를 포함하는 2D 값이다. 상기 수 10을 C(m,n)에 대입하면 원본 이미지 f(x,y)가 유지된다.
위상 단독의 이미지 분석에 대한 많은 연구가 있어왔고, 이러한 연구들은 크기에 저장된 정보보다 위상에 저장된 정보가 더 중요하다는 것을 보여준다. 다음 예는 위상에 포함된 정보의 중요성을 보여준다. 퓨리에 변환은 도 5a에 도시한 바와 같이 이미지에 적용되고 그 크기 값은 상기 수 11을 이용하여 도출할 수 있다. 다음으로, 퓨리에 변환은 도 5b에 도시한 바와 같이 이미지에 적용되며 그 위상 값은 상기 수 12를 이용하여 도출할 수 있다. 상기 수 13을 이용하여, 도 5a의 이미지의 크기 값은 도 5b의 이미지의 위상 값과 결합될 수 있으며. 복소수 C(m,n)으로 전환된다. 수 10을 이용하여, 이러한 복소수 C(m,n)은 다시 공간 영역으로 변환되며, 도출된 이미지 c(x,y)는 도 5c에 도시하였다.
도 5c에서 보는 바와 같이, 재구성된 이미지는 도 5b의 이미지와 매우 유사하나 재구성된 이미지의 크기가 도 5a의 이미지로부터 도출된 것임에도 불구하고 도 5a의 이미지와 시각적인 유사성이 없다. 이는 크기로부터의 정보에 비하여 위상 정보가 얼마나 중요한지를 보여준다.
2.2 조도 변화에 대한 강건성
1개의 이미지는 2D 이산 신호로서 보여질 수 있으며, 그레이 값은 신호의 샘플에 상응한다. 전술한 바와 같이, 신호의 샘플들이 일정하게 변하여도 위상은 변하지 않기 때문에 위상은 또한 조도 변화에 불변성을 가진다. 예컨데, 도 6a에 도시한 신호가 9개의 샘플을 가지며, 도 6b는 그 위상 값을 보여준다고 가정한다. 도 6c의 신호는 도 6a의 원본 신호로부터 균일하게 변형되었으며, 도 6d는 도 6c의 신호의 위상 값을 보여준다. 도 6d에 도시한 바와 같이, 균일하게 변형된 신호의 위상 값은 도 6b의 변형되지 않은 신호의 위상 값과 동일한 값이 도출된다.
샘플 신호가 0 내지 255의 범위를 가지는 신호 그레이 이미지에서, 조도 변화는 이미지에서 그레이 값을 이동시킨다. 위상이 그레이 값에서의 이동에 불변성을 가지므로, 조도 변화에서 불변성은 쉽게 획득될 수 있다. LAP 위상은 퓨리에 도메인에서 생성되므로 LAP 위상은 이미지의 전반적인 정보를 포함한다. 그레이 값이 자연의 조도 변화에서 비선형 또는 무작위 일지라도, 위상은 여전히 이미지로부터 충분한 정보를 추출할 수 있다.
2.3 블러링에 대한 강건성
이미지 블러링은 이미지 f(x,y) 및 그 관찰 이미지 g(x,y) 사이의 하기 수 14에서 도출되는 관계에서 선형 이동 불변 시스템으로서 모델링 될 수 있다.
상기 h(x,y)는 시스템의 블러링을 유발하는 점 확산 함수(point spread function, PSF)이며, n(x,y)는 추가적인 노이즈이며, *는 2D 컨벌루션 연산을 나타낸다. 노이즈가 배제된다면, 상기 수 14는 주파수 도메인에서 하기 수 15와 같이 표현될 수 있다.
여기서 G(u,v), F(u,v), 및 H(u,v)는 각각 g(x, y), f (x, y), 및 h(x, y)의 퓨리에 변환 형식이다. 상기 값들은 복소수이며, 원형 유형으로 하기 수 16과 같이 표현된다.
상기에서 | | 는 복소수 계수의 크기를 의미하며, φ는 복소수 계수의 위상 각을 의미한다. 가우스 블러링(Gaussian blur)같은 임의의 0 위상 신호와 컨벌루션(convolution)된 신호는 원본 신호의 위상과 동일한 위상을 가지는 다른 신호를 발생시킨다. 이러한 특성으로, 단지 신호의 위상을 이용하여 블러링 불변의 특성을 얻기 쉽다. 또 다른 연구는 1개의 점 확산 함수(PSF) h(x,y)가 원점 대칭이라면(즉, h(x, y) = h(-x,-y)), 퓨리에 변환 H(m, n)은 항상 실수 값을 가지므로 그 위상은 단지 하기 수 17에서와 같이 2치 함수이다.
상기 수 17은 탄젠트 함수의 주기성을 적용하면 하기 수 18과 같이 도출된다.
상기에서 φf 및 φg는 각각 원본 이미지 및 블러링된 이미지의 위상이다. 따라서, tan[φg(m, n)]은 임의의 원점 대칭인 PSF를 가지는 원본 이미지의 컨벌루션에 대하여 불변성을 가진다. 상기 위상은 허수 및 실수 계수들 사이에서 역탄젠트 함수의 분수식으로 도출된다. 따라서, 위상의 탄젠트는 하기 수 19와 같다.
상기에서 G(m, n)은 블러링된 이미지의 퓨리에 변환 형식이다. 허수 및 실수 계수를 이용함으로써, LAP에 적용된 블러링 불감 특성을 얻을 수 있다. LAP의 경우, 퓨리에 변환은 직교 좌표계가 아닌 극 좌표계에서 이루어진다. 그러나, 블러링에 대한 강인성은 여전히 취득할 수 있다. 블러링된 이미지 g(x,y)는 원본 이미지 f (x, y) 및 수 14에 도시한 직교 좌표계에서의 PSF h(x, y) 사이에서 컨벌루션 연산의 결과이다. 이러한 컨벌루션은 하기 수 20 공식을 이용하여 극 좌표계에서 모델링 될 수 있다.
고정 반경의 원형 변환에서, 극 좌표계의 컨벌루션은 컨벌루션이 단지 고정 값 r을 가지는 각 변수 전반에서 수행되는 곳에서 각 컨벌루션이 된다. 이러한 각 컨벌루션은 하기 수 21에 의하여 정의된다.
상기에서 *θ 표시는 각 컨벌루션을 나타낸다. 상기 수식은 하기 수 22와 같이 원본 이미지 및 원형 이미지의 PSF 사이에서의 곱으로 증명된다.
이는 1D 주기 함수의 퓨리에 시리즈로부터 도출된 결과와 동일한데, 이는 원형 주파수 벡터 (ρ, )의 값은 1D 이산 신호로서 보여질 수 있다는 것을 의미한다. G(ρ, )는 하기 수 23과 같이 원형 형태로 나타낼 수 있다.
공간 영역 h(x, y)에서 PSF가 원점 대칭이라면, 고정 반경 h(r,θ)를 가지는 PSF의 원형 변환은 균일하거나 대칭적인 1D 이산 신호를 발생시킨다. xh(n)이 h(r,θ)의 균일 또는 대칭 값을 포함하는 1D 이산 신호라고 가정하자. Xh(n)의 퓨리에 변환은 항상 실수 값을 가지며, 그 결과 그 위상 ∠Xh는 0과 같다. 하기 부명제 1 및 2에서 이러한 특성이 증명된다.
부명제 1: 대칭 신호의 퓨리에 변환은 0 위상 값을 도출한다.
증명: xh(n)가 대칭적인 순서(예컨데, xh(-n) = xh(n), n = 0,..., N - 1,
and k = 0,... N - 1)를 가진다고 가정하면, 하기 수 24와 같이 도출된다.
부명제 2: 균일한 신호의 퓨리에 변환은 0 위상 값이 도출된다.
증명: xh(n)이 하기 수 25와 같이 동일한 강도의 임펄스라고 가정하면,
부명제 1에서 수식에 허수 부분이 없기 때문에 그 결과는 실수이다. 1D 신호의 위상은 하기 수 26과 같이 도출된다.
따라서, Im{Xh(n)}가 0이라면, ∠Xh 또한 0이다. 따라서, 대칭적으로 연속된 신호의 위상은 0이다. 부명제 2에서, 균일한 신호의 퓨리에 변환은 단일의 실수 값을 도출하므로, 위상 ∠Xh 또한 0이다. 보이는 바와 같이, ∠Xh는 극 좌표계의 PSF의 위상이므로 와 같다. 가 중앙 대칭인 PSF h(x, y)를 가지는 0가 되므로, 상기 수 23은 하기 수 27과 같이 도출된다.
극 좌표계에서 블러링된 이미지의 위상은 극 좌표계에서 원본 이미지의 위상과 동일하다는 것이 명백히 설명된다. 다시 말하면, 극 좌표계에서의 이미지의 위상은 원점 대칭적인 PSF를 가지는 블러링에 불변성을 가진다.
예컨데, 하기 수 28과 같이 정의되는 가우스 블러링의 PSF같은 원점 대칭적인 PSF의 경우를 생각하여 보면,
여기서 σ는 가우스 분포의 표준분산이다. x, y를 r sin θ 및 r cos θ로 교체함으로써 상기 수 28은 극 좌표계에서 하기 수 29와 같이 변환된다.
상기에서 나타나는 바와 같이, θ는 상기 수 29의 왼쪽 편에서 배제된다. 이는 θ가 각각의 반경 r에 대하여 균일함을 의미한다. 고정 반경의 원형 변환으로, hG(r,θ)는 균일한 값을 가지며 그 퓨리에 변환은 가 0과 같은 값을 가지도록 단일의 실수 값이 도출될 것이다. 상기 수 27을 참조함으로써, 극 좌표계 에서 상기 이미지의 위상은 가우스 블러링 PSF, 평균 PSF, 또는 디스크(disk) PSF 같은 원점 대칭적인 PSF를 가지는 블러링에 불변성을 가진다.
2.4 스케일 변화에 대한 강건성
원형 변환은 극 좌표계의 원점이 변화지 않을 때 회전성 및 스케일 불변성을 가지고 도 7a에 도시한 원이 도 7b에 도시한 수직선으로 사상(mapping)되며, 도 7c에 도시한 이미지의 중심을 통한 임의의 각에서의 선은 도 7d에서 도시한 수평선으로 사상된다. 다시 말하면, 이미지 회전은 수직 이동을 유발하고(2π에 대한 나머지로), 이미지 크기 변화는 수평 이동을 유발한다. LAP코드 분포는 이미지 전환에 대하여 강건성을 가지고, 이는 스케일 변화에 대한 강건성을 얻는데 있어서 LAP에 영향을 줄 것이다.
스케일-공간 이론은 물리학적 및 생물학적 시각으로부터의 상호보완적인 동기를 가지고 다중-스케일 신호 표시에 대한 틀이다. 이는 이미지를 1개의 매개변수 군의 블러링 또는 스무딩된(smoothed) 이미지로서 표현함에 있어서 상이한 스케일에서 이미지 구조를 다루는 공식적인 이론이다. 전술한 바와 같이 LAP는 이론적으로 스무딩된 이미지에 대하여 강건성을 가지며, 또한 스케일 변화에도 강건성을 가질 수 있다.
이번 장에서 설명한 바와 같이, 위상은 중요하며, 조도, 스케일링 및 블러링에 대하여 강건성을 가진다. 위상은 LAP 알고리즘에서 구현된 고정 반경을 가진 원형 변환에 적용함으로써 원점 대칭의 PSF를 가진 이미지 블러링에 대하여 불변성을 가진다. 위상의 이러한 장점 때문에, 강건하고 높은 식별성을 가지는 텍스처 디스크립터를 생성하기 위하여 LAP 방법에서 주요한 특성으로 적용되었다. 잘 알려진 바와 같이, LAP의 구조는 이미지의 국소 분석에 기초한다. 전반적인 이미지 분석에 기초하지 않으므로, 이번 장에서 설명된 특성(특히, 스케일링에 대한 불변성, 블러링 특성)의 100%를 성취할수 없다. 그러나, LAP는 강건한 텍스처 특성을 이용하는 분야에서 어느 정도까지 여전히 조도, 스케일링 및 블러링에 대한 강건성을 가진다.
<실험 연구 및 평가>
1. 실험 환경 및 데이터집합
다음에서 LAP의 일관성 및 분류 정확성이 다양한 조건(정상, 블러링, 스케일링, 그레이 이동된 경우)에서 측정된다. 3가지 다른 국소-기반의 텍스처 디스크립터(LPQ, LBP 및 LFH)가 본 발명의 LAP와 비교대상이 될 것이다. 개선된 LBP 및 LFH 방법이 반경 1을 가지는 주변을 이용하는 반면, 비화이트닝된 LPQ가 윈도우 크기 3 × 3 및 주파수 매개변수에 적용된다. 본 발명에 의한 방법은 비상관성 없이도 성능이 잘 나오기 때문에 비화이트닝된 LPQ는 비상관성을 가지지 않는 순서 성능을 측정하는데 이용된다. 실험은 Intel Core2Duo2.33GHz quad core processor 및 2GB 메모리를 가지는 컴퓨터에서 수행되었다. 모든 코드들은 윈도우 XP 환경의 MATLAB에서 작성되었다. fft MATLAB 함수는 LAP 및 LFH 방법을 생성하는데 사용되는 반면, fft2 MATLAB 함수는 LPQ 방법을 생성하는데 사용되었다.
3개의 텍스처 데이터 집합은 상기 환경에서 구현되었다. 제1집합은 Brodatz 텍스처((http://www.ux.uis.no/~tranden/brodatz.html)로부터의 40개의 상이한 텍스처 분류 및 인하대학교 병원으로부터의 Emphysema 서브영역 이미지 집합을 제공한다. 각각의 텍스처에서, 50 × 50 크기를 가지는 16개의 샘플 이미지가 추출되었다. 자연 텍스처의 다양한 조건을 구현하기 위하여, 각가의 텍스처 이미지는 0.5의 표준편차를 가지는 주변 변화 및 1 및 2 픽셀의 블러링 반경을 구현하는 가우스 블러링 연산을 이용하여 블러링 되었다. 텍서처 각각의 클래스는 48 이미지를 포함한다. 따라서, 본 실험에서 사용된 총 텍스처 이미지는 2개 레벨의 블러링된 이미지 및 정상 이미지를 포함하여 1,968이미지이다. 2번째 텍스처 데이터 집합은 KTH-TIPS 텍스처 집합인데, KTH-TIPS는 조도, 자세 및 스케일 경우를 변화시키면서 각각 10개의 재료의 평판 샘플을 포함한다. KTH-TIPS 텍스처 데이터 집합은 810개의 이미지를 가지는 텍스처 클래스를 포함하며, 이미지들은 크기가 200 ×200 픽셀 사이즈이다. 상기 데이터베이스는 3개의 다른 조도 방향 및 3개의 다른 자세를 가지며 2개의 옥타브 간격을 가지는 9개의 스케일에서의 이미지를 포함한다.마지막 텍스처 데이터 집합은 128 × 128 크기를 가지는 480개의 이미지를 가지는 클래스를 포함한다. 3개 데이터 집합의 이미지의 샘플들은 도 8에 도시되어 있다.
2. 실험 집합 및 결과
이번 장은 정상, 블러링, 스케일 및 그레이 이동된 경우 같은 다양한 환경에서 성능 측정, 결과의 일치 및 분류 정확도에 대하여 설명한다. 텍스처 분류에서, 가장 가까운 주변 (k-NN)에서 가장 가까운 k가 사용되었는데, 이는 또한 텍스처 분류에서 성공적으로 이용되어 왔다. 이번 실험에서, k 값은 1, 3, 7 및 15가 사용되었다. 분류자는 각각의 쿼리 이미지를 분류하기 위하여 이미지의 적절한 집합을 이용한 훈련되고 테스트되었다. 히스토그램이 동일한 LAP, LBP, LPQ, 및 LFH 사이의 거리를 측정하기 위하여 Manhattan 거리가 사용되었다. 여기서, 분류의 정확도는 하기 수 30을 이용하여 도출할 수 있다.
Brodatz 텍스처 이미지 데이터베이스에서, 각각의 텍스처 분류는 무작위로 4개 그룹으로 나누었다. 각각의 그룹은 각각의 텍스처 클래스 마다 12개의 이미지를 포함한다. 동일한 과정이 KTH-TIPS 데이터베이스에서 수행되었다.
3개의 그룹은 각각의 텍스처 클래스에서 20개의 이미지를 포함하며, 1개의 그룹은 각각의 텍스처 클래스당 21 이미지를 포함한다. Outex_TC_00000 테스트 모음에 대하여, 각각의 그룹은 텍스처 클래스당 5개의 이미지를 포함한다. 상기 분류는 4-fold cross-validation scheme를 이용하여 수행된다. 분류들은 4번 수행되며, 각각의 시간에서 데이터 집합의 한 그룹은 테스트에 이용되고 나머지 그룹들은 트레이닝에 이용된다. 분류의 평균 정확도는 최종 정확도로서 기록된다. 불변의 텍스처 분류 실험에 대하여, 블러링, 스케일링 및 그레이 이동된 이미지들은 Outex_TC_00000 테스트 모음의 테스트 그룹의 이미지로부터 생성되었다.
2.1 불변성의 평가
이번 실험은 다양한 조도, 스케일링 및 블러링에 관하여 각각의 방법(LAP,LPQ, LBP, 및 LFH)의 히스토그램 일관성를 평가하는 것이다. 이번 실험에서, USC-SIPI 이미지 데이터베이스()의 44 이미지가 사용되었다. 상기 이미지들은 128 × 128로 리스케일링 되었고, 도 9에 도시한 바와 같이 특성 추출 효율성을 기하기 위하여 8비트 그레이 이미지로 변환되었다. 상기 이미지 데이터 베이스 및 원래 그룹에서 10개의 이미지들이 무작위로 선택되었다. 이러한 이미지들은 변화된 조도, 블러링 및 변화된 스케일로 변형하였으며, 변형된 그룹이라고 명명하였다. 조도가 변화된 이미지에 대하여, 이미지의 그레이 값은 10, 20, 30 및 50의 그레이 값을 가감함으로써 이동된다. 스케일 변화된 이미지에 대하여 상기 이미지들은 0.5, 0.6, 0.7, 0.8, 0.9, 1.2, 1.4, 1.6, 1.8, 및 2.0의 스케일로 이중 선형 보간법을 이용하여 리스케일링된다. 그리고 블러링된 이미지에 대하여 상기 이미지는 3 × 3 커널을 가지는 가우스 블러링을 이용하여 블러링된다. 가우스 블러링에 사용된 표준편차는 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 1.1, 1.2, 1.3, 및 1.4이다.
히스토그램의 표준편차(Standard Deviation, SD)는 단일 특성 값을 가지는 각각의 방법의 정규화된 히스트그램을 나타내는 데 이용된다. 이러한 표준편차 값들은 원본 및 변형된 그룹들에서 각각의 이미지로부터 추출된다. 원본 및 변형된 그룹 사이의 표준편차 값의 일치는 t-test의 p 값을 분석함으로써 측정된다. t-test에서 사용된 유의수준은 0.05이다. 0.05 미만의 p 값은 원본 및 변형된 그룹 사이에서 중요한 차이점을 보여주므로, 원본 및 변형된 그룹 사이의 표준편차 값의 비일관성 정도를 제공한다. 디스크립터가 변형된 이미지에 대하여 강건성을 갖는다면, 원본 및 변형된 이미지 모두의 표준편차 값이 동일할 것이며, 높은 p값이 도출될 것이다. 다양한 조도, 스케일링 및 블러링에 대한 t-test 결과는 표 1에 도시하였다. 각각의 방법의 표준편차 값의 분포는 각각의 방법의 최대 표준편차 값으로 나눔으로써 0과 1사이로 정규화 되며, 정규화된 분포의 그래프는 도 10에 도시하였다.
각각의 시험의 p값에서 보는 바와 같이, LAP 방법에 따르면, 0.05 유의수준보다 더 큰 높은 p값이 도출되었다. 이는 LAP를 이용하여 추출된 텍스처 특성의 정합성을 증명한다. 이는 또한 이전 장에서 제시한 LAP의 특성에 대한 증명 및 관련 연구도 뒷받침한다. 스케일 불변성 시험에서 LPQ 및 LBP는 p값이 0.05 미만이므로 일치하지 않는다. 블러링 불변성 시험에서, 단지 LBP만이 원본 및 블러링된 이미지 사이에서 비일관성을 가지는 표준편차 값을 보인다. 조도 불변성 시험에서, 모든 디스크립터들은 모두 높은 p값을 도출하므로 일관성있는 표준편차 값을 보인다. 각각의 방법은 동일한 입력 이미지를 사용한다. 각각의 방법들에 대하여 표준편차 값의 분산을 비교함으로써, 정합도 성능을 측정할 수 있다. LAP는 모든 시험에서 가장 낮은 분산을 보여준다. LAP의 분산은 대략 다른 시험에 대한 LPQ의 분산보다 4배정도 더 작다. 이는 LAP의 표준편차 값들은 LPQ의 표준편차 값에 비하여 일관되는 것을 보여준다. 도 10에 도시한 그래프에 나타난 바와 같이, LAP에서 생성된 표준 편차의 분포가 각각의 시험에서 매우 좁으므로 LAP는 일관성을 가지나, LBP에서 생성된 표준편차 값의 분포는 넓은 영역을 가지므로 LBP는 일관성을 가지지 못한다.
2.2 원본 데이터 집합을 이용한 텍스처 분류
앞의 실험은 단지 LAP, LPQ, LBP, 및 LFH 방법에서 생성된 특성의 일치도를 측정하였다. 디스크립터의 식별 전력을 평가하기 위하여, 텍스처 분류 실험이 수행되어야 한다. 이번 장에서는, 상기 1. 장에서 전술한 방법들을 이용하여 LAP, LPQ, LBP, 및 LFH 방법들의 분류 정확성에 대하여 계산하고, 이들을 비교한다. Brodatz, KTH-TIPS, 및 Outex_TC_00000를 이용한 텍스처 분류의 결과는 표 2에 도시하였다. Brodatz 텍스처에서, LAP는 7-NN을 이용하여 97.21%의 평균 정확도를 가지는 가장 좋은 결과를 나타내었으나, LFH는 15-NN을 이용하여 80.54%의 가장 낮은 결과를 나타내었다. KTH-TIPS 텍스처에서, LAP는 여전히 1-NN을 이용하여 88.79%의 가장 높은 정확도를 가지며, LBP는 조도 변화에 불변성을 가짐에도 15-NN을 이용하여 55.75%의 가장 낮은 정확도를 나타내었다. 이는 LBP는 자세 및 스케일 변화에 매우 민감하기 때문이다. KTH-TIPS 데이터 집합은 다른 조도, 자세 및 스케일을 포함하는데, 이러한 이미지들의 분류는 Brodatz 및 Outex_TC_00000 텍스처들에서의 분류보다 훨씬 더 어렵다.
Outex_TC_00000 텍스처에서, LAP 및 LPQ의 분류 정확도는 1-NN을 이용하여 99.79%이다. 반면, LFH는 단지 크기를 적용하므로 가장 좋지 않은 결과를 보여준다. 이로부터 구조 및 통계적으로 결합된 접근법이 수행되어도 크기는 위상보다 더 적은 정보를 포함하는 것을 알 수 있다. 일반적으로, 분류 정확성은 k-NN의 가장 가까운 이웃의 수가 증가할수록 감소한다. 그러나, k-NNdml 가장 가까운 이웃의 수는 Brodatz 및 KTH-TIPS 데이터베이스(p > 0.05)에서 분류 정확성에 영향을 미칠 뿐만 아니라 Outex 테이터베이스 (p < 0.05)에서 분류 정확성에도 큰 영향을 미친다. 이는 이미지가 3개의 CCD 센서를 사용하여 획득되는 Outex 데이터베이스에서 양질 및 상세한 구조의 텍스처로부터 유래하기 때문이다.
전반적인 성능에 관하여, LAP 및 LPQ는 이미지의 위상 정보로부터 추출된 유의 정보 때문에 높은 분류 정확성을 얻을 수 있다. 이러한 분류에서, LAP는 단지 일관된 특성을 추출할 뿐만 아니라 단순한 분류자를 이용하여 분류될 수 있는 높은 식별 특성 또한 추출할 수 있다. 이는 LFH가 낮은 분류 정확성을 나타내는 다른 이미지들로부터 동일한 특성을 추출하는 것을 의미한다.
2.3 변형된 데이터 집합을 이용한 텍스처 분류
식별 전력 및 일관성을 다양한 조도, 스케일링 및 블러링으로 평가하기 위하여, 저하된 텍스처를 이용한 텍스처 분류가 1. 장에서 전술한 측정방법이 이용된다. 이러한 실험은 앞의 실험들에서 보여준 높은 분류 정확도 때문에 Outex_TC_00000를 이용한다. 이러한 실험에서, 테스트 되는 그룹에서의 이미지 만이 변형될 것이며, 트레이닝 그룹의 이미지들은 원본 이미지와 동일하다. 4-fold cross-validation scheme는 분류 실험에서 수행되며, 4-fold cross-validation scheme의 평균 정확도는 기록될 것이다.
이미지 조도는 50 및 80의 그레이 값을 가감함으로써 변화된다. 그레이 값이 가감됨에 따라 콘트라스트가 변화된다. 픽셀 값이 그레이 값 범위를 초과함에 따라, 상기 픽셀 값은 그레이 값 범위에서 컷오프(cut-off)되며, 이미지의 콘트라스트를 변화시킨다. 다시 말하면, 이 실험은 또한 콘트라스트가 변화할 때 각각의 디스크립터의 강건성을 평가한다. 이미지는 0.5, 0.75, 1.5, 및 2의 인자를 가지는 이중 선형 보간법을 이용하여 리스케일링된다. 마침내, 이미지는 표준편차 1을 가진 가우스 블러링을 이용하여 블러링 되었다. 이 실험에 사용된 블러링된 커널 크기는 3 × 3, 5 × 5, 및 7 × 7 크기의 커널이다. 변형된 이미지의 몇몇 샘플 이미지들은 도 11에 도시하였다.
평균 분류 정확도는 상기 표 3에 도시하였다. 전반적으로, 3-NN을 이용한 분류 정확도는 가장 높으며 15-NN을 이용한 분류 정확도는 가장 낮다. LAP, LPQ, 및 LBP는 상이한 조도 및 콘트라스트를 가지는 텍스처를 분류하는데 있어서 지속적으로 정확성을 가진다. LFH가 그레이 이동 및 선형 변환에 불변성을 가지는 것으로 증명되었지만 LFH는 그레이 값을 크게 가감하면 성능이 감소한다. 이는 콘트라스트 변화 및 변환이 더 이상 선형적이지 않기 때문이다. 이미지를 다운-스케일링함으로써, 위신호 효과(aliasing effect) 때문에 몇몇 정보는 왜곡되고 혼합된다. 업-스케일된 이미지에서는, 이미지가 블러링된다. 이는 업-스케일링에서 이미지 신호는 그들의 원본 신호와는 달리 신장되며, 이중 선형 보간법이 이러한 신장된 신호 값들을 완벽하게 추정할 수 없기 때문이다. 리스케일링된 이미지 분류에서 LAP의 평균 분류 정확도는 원본 이미지를 이용한 분류 정확도로부터 단지 15% 감소되는 반면 다른 방법에 의한 평균 분류 정확도는 50%이상 감소된다. LBP는 윈도우 크기 의존성 때문에 리스케일링된 분류 실험에서 가장 낮은 성능을 보인다. 스케일링 인자가 더 커지거나 더 작아질수록, 분류의 정확도는 낮아진다.
첨두 신호대 잡음비(peak signal-to-noise ratios, PSNR)는 블러링된 이미지의 저하된 정도를 측정함으로써 계산될 수 있다. 3 × 3, 5 × 5, 및 7 × 7 블러링된 이미지의 PSNR은 각각 23.6, 22.5, 및 22.3 dB이다. 손실된 이미지 압축에서 PSNR에 대한 전형적인 값은 30 내지 50 dB이므로 블러링된 이미지는 PSNR 값을 면밀히 분석함으로써 손실된 압축 이미지보다 40%이상 품질이 저하되는 것처럼 보인다. 상기 결과는 LAP의 분류 정확도는 3개의 다른 텍스처 디스크립터에 비하여 서서히 감소하는 것을 보여준다. 3 × 3 크기의 블러링된 커널로, LAP 방법은 92.3%의 분류 정확도를 얻었는데, 이는 원본 텍스처 이미지를 이용한 분류 정확도보다 6% 낮은 것이다. 반면 LPQ, LBP, 및 LFH 방법의 분류 정확도는 원본 이미지에 비하여 30%이상 감소한다. LAP는 7 × 7 커널 크기(블러링 반경 3)를 가지는 가우스 블러링으로 약 84%의 정확도를 얻는 것을 알 수 있다. 이는 LAP에서 원형 변환은 블러링에 대한 불변성을 얻기 위하여 충분한 수의 요소를 보간화 시킬 수 있기 때문이다. 결과에서, LAP는 다양한 반경을 가지는 블러링된 이미지를 분류하는데 적용될 수 있다. LPQ는 블러링에 불변하는 디스크립터이나, LPQ의 분류의 정확도는 LAP보다 낮다. 이는 그 성능을 증가시키기 위하여 더 큰 윈도우를 필요로 하는 2D STFT를 사용하기 때문이다. 사실상, 블러링 불변의 효과를 나타내기 위한 LPQ 방법의 적합한 윈도우 크기는 7 × 7이다. LAP, LPQ, LBP, 및 LFH에 대한 Outex_TC_00000 데이터베이스에서의 품질 저하된 텍스처들을 이용한 가장 좋은 전체 분류는 각각 91.26, 61.23, 35.79, and 33.47%이다. 이는 LAP가 강건하고 높은 식별성을 가지는 특성을 가질 수 있다는 것을 보여준다.
2.4 효율적인 평가
이번 장에서는, LAP, LPQ, LBP, 및 LFH의 효율성을 Outex_TC_0000 (128 × 128 이미지 크기), Outex_TC_0001 (64 × 64 이미지 크기), 및Outex_TC_0002 (32 × 32 이미지 크기) 데이터베이스로부터 무작위로 선정된 텍스처 이미지를 이용하여 추출된 텍스처 특성들로 평가한다. 3 × 3, 5 ×5, 및 7 × 7의 윈도우 크기가 각각 이번 실험에 적용될 것이다. 특성 추출은 100회 반복되며, 각각의 방법에 대하여 상이한 이미지 사이즈 및 상이한 윈도우 사이즈로 시간차의 유의미성을 보기 위하여 2개의 ANOVA 시험이 수행된다.
LAP, LPQ, LBP, 및 LFH의 다양한 크기에 대하여 평균 계산 시간은 도 12에 도시하였으며, 디스크립터의 통계는 표 4에 도시하였다. 도 12에 도시한 바와 같이 윈도우 크기가 증가할수록 계산 시간도 증가한다. 그러나, 도 12에 나타난 바와 같이 LAP, LBP, 및 LFH에 대하여 계산시간의 증가는 매우 작으며, 거의 시각적으로 나타나지 않는다. 반면, LPQ에 대한 계산 시간의 증가(특히 128 × 128 크기의 이미지의 텍스처 추출에서)는 크다는 것은 명백하다. LBP는 텍스처 특성 추출에 가장 짧은 시간을 소모한다. 이는 LBP가 복잡한 이미지 변환을 이용하지 않을 뿐 아니라 그 구성에 있어서 단지 덧셈 연산과 곱셈 연산만을 이용하기 때문이다. 이러한 단순한 구성으로 인하여 빠른 연산이 가능하나, 스케일링 및 블러링에 대하여는 매우 민감하다.
퓨리에 변환을 이용한 방법들 중에서, LAP는 평균 4.43초의 가장 빠른 특성 추출 시간을 보인다. LFH는 특성 벡터를 생성하기 전에 5개의 히스토그램을 생성할 필요가 있으나 LAP는 단지 1개의 히스토그램만을 생성할 필요가 있기 때문에 2번째로 짧은 시간을 소모한다. LPQ는 2D 퓨리에 변환을 계산하기 위하여 가장 긴 계산 시간이 필요하기 때문에 가장 긴 시간을 소모한다.
이미지 크기가 증가할수록 계산 시간이 증가한다는 것을 알 수 있다. LPQ의 계산 시간은 가파른 증가 경향으로 인하여 다른 방법들에 비하여 4배로 증가한다. ANOVA 시험들 모두에서, 이미지 크기는 모든 3 × 3, 5 × 5, 및 7 × 7 윈도우(p < 0.01)에 대한 각각의 방법의 효율성에 큰 영향을 미치며, 윈도우 크기는 모든 이미지 크기(p < 0.01)에 대하여 각각의 방법들의 효율성에 큰 영향을 미친다고 결론지을 수 있다. 이러한 효율성 시험에서, LAP는 강건하며 식별력이 큰 디스크립터일 뿐만 아니라, 텍스처 특성 추출에 있어서도 신속하다는 것을 알 수 있었다.
<응용예>
카메라 및 피사체의 이동 때문에 실제-세계의 이미지 및 초점이 맞지 않는 광경을 포착할 때 이미지 블러링은 때때로 발생된다. 실제-세계의 이미지에서 조도는 때때로 변하고, 이는 날씨에 따라 변한다. 마지막으로, 실제-세계에서의 물체는 다양한 크기를 가진다. 물체와 카메라 사이의 범위 또한 촬영되는 이미지 크기에 영향을 미친다. 상이한 이미지를 분석하기 위하여, 다중 스케일의 이미지 분석 접근이 필요하다. 의학분야에서 숫자 검출 및 인식, 실제-세계 이미지의 컨텐츠 기반의 이미지 추출(content-based image retrieval, CBIR), 컴퓨터-보조 진단(computer-aided diagnosis, CAD)같은 응용분야는 블러링, 조도 및 스케일링 같은 품질저하에 대하여 불변성을 가질 필요가 있다.
다음은 실제-세계 이미지를 이용한 패턴 인식 및 분류 분야에서 LAP의 응용분야를 설명한다. 이미지 추출, 검출 및 분류에서 LAP의 성능은 실제-세계의 블러링된 이미지, 3가지 다른 조도에서의 이미지 및 상이한 조도 및 타입을 가지는 의학이미지를 이용하여 평가할 수 있다.
1. 실제-세계의 품질저하된 이미지를 이용한 평가
1.1. 실제-세계의 품질저하된 이미지를 이용한 평가
다양한 실제-세계의 블러링된 효과를 가지는 LAP의 성능을 평가하기 위하여, Van De Weijer J, Schmid C (1976) Blur robust and color constant image descriptio. In: Proc.ICIP, pp 993-996에서 CBIR이 제안되었다. 이번 실험에서, 20쌍의 이미지들()이 이미지 데이터베이스로서 사용되었다. 각각의 쌍은 다른 이미지 블러링을 갖는 동일한 장면을 가진다. 이러한 블러링은 카메라와 물체간 셔터 시간, 조리개 및 상대 이동 같은 매개변수를 변화시킴으로서 유발된다. 도 13에 샘플 이미지들을 도시하였다. 즉, (a), (b)는 모션 블러링, (c)는 전면에서 후면으로까지의 초점 변화에 따른 블러링, (d)는 초점이 맞지 않는 경우에 발생되는 블러링을 도시하였다. 이미지들로부터 특성을 추출하기 위하여, 각각의 이미지들은 16 × 16의 서브 이미지들로 균등하게 분리된다. 그리고 나서 텍스처 특성은 각각의 서브 이미지로부터 추출된다. 마지막으로, 각각의 서브 이미지들의 텍스처 특성은 지속적으로 1개의 긴 히스토그램으로 결합된다. 상기 추출은 쿼리 이미지의 히스토그램 및 데이터 베이스에서의 이미지 사이의 Manhattan 거리에 기초한다.
상기 추출 성능은 정합결과의 순위 결과 및 정규화된 평균 순위(normalized average rank, NAR)를 이용함으로써 평가할 수 있는데, 이는 하기 수 31을 이용하여 도출할 수 있다.
상기에서 N은 데이터베이스에서 이미지의 개수이며, NR은 쿼리로의 관련 이미지의 개수이며, Ri는 i번째 관련 이미지가 추출되는 곳에서의 순위이다. 0의 NAR은 완벽한 결과를 의미하며, 0.5의 NAR은 임의 추출과 동일하다. 모든 쿼리에 대한 평균 NAR은 평균 성능으로 기록되며, ANAR로 표시되며 이는 표 5에 나타내었다. 표 5에서 보는 바와 같이, LAP는 높은 추출 성능을 나타내는 가장 낮은 ANAR을 나타낸다. 대부분의 이미지들은 1 순위로 추출되며, 나머지들은 2 순위보다 높은 순위로 추출된다. LAP의 낮은 ANAR 값은 추출 순위가 다른 방법에 비하여 높지 않음을 의미한다. 실험결과 LAP는 다양한 블러링 효과에 강건성을 가지는 것을 알 수 있었다.
1.2 실제-세계의 조도 변화된 이미지에 대한 평가
텍스처 분류 시험은 실제-세계의 조도에 의하여 변화되는 이미지들을 분석함으로써 LAP의 성능을 평가하도록 수행된다. LAP의 계산된 특성들에서 조도 변화의 영향을 다른 방법과 비교할 수 있다. 이러한 목적을 위하여, Outex_TC_00014 시험 군이 데이터 집합으로 이용되었다. 상기 데이터베이스는 3개의 모의의 조명 소스(백열등, 태양빛 및 형광빛의 tl84)를 이용하여 추출된 상이한 조도들을 가지는 이미지를 포함한다. 각각의 조명 그룹들은 128 × 128 크기의 1,360개의 이미지를 가지는 68개의 텍스처 클래스를 포함한다. 이러한 샘플들은 도 14에 도시하였다.
3-fold cross-validation scheme는 분류에서 상이한 조도를 가지는 3 그룹을 이용하여 적용되었으며, 평균 분류 정확도는 전반적인 성능으로 기록되었다. 분류 결과는 표 6에 도시하였다. 표 6에서 보는 바와 같이, LAP의 정확도는 다른 방법들보다 평균 82.52% 더 나은 성능을 보였다. LBP 및 LFH가 선형 조도 불변성을 가진다고 하여도, 비선형이거나 무작위적인 조도 변화에는 강건성을 가지지 못한다. LBP 및 LFH에 비하여, 위상 기반의 디스크립터(LAP 및 LPQ)는 높은 분류 정확도를 보인다. 이는 위상 기반의 디스크립터는 일정한 조도 변화에 강건성을 가질 뿐만 아니라 비선형 또는 무작위적인 조도 변화에 강건성을 가지기 때문이다.
1.3 실제-세계의 스케일 변화된 이미지에 대한 평가
이번 장에서는, 텍스처 특성 추출의 면에서 LAP의 일관성을 상이한 이미지 유형 및 해상도를 가지는 Emphysema 영역을 이용하여 평가한다. 흉부 CT(Computed tomography) 이미지는 그 유형 및 조사량에 따른 상이한 조건에서 나타날 수 있다. 높은 해상도의 CT(High Resolution Computed tomography, HRCT) 이미지는 더 자세하고, 폐의 더 많은 텍스처 정보를 포함한다. 표준 폐의 CT 이미지는 텍스처된 영역보다 더 유사한 영역을 포함하며, HRCT 이미지보다 더 블러링되었다. 일반적으로, 높은 방사능의 조사로 높은 해상도의 이미지를 얻을 수 있는 반면, 조사량이 낮을수록 이미지 노이즈가 증가하고 이미지 선명도가 저하된다. CT 이미지는 또한 기계 및 환자의 신체 특성에 따라 상이한 해상도 또는 스케일을 가진다. CT 이미지의 다양한 조건 때문에, 폐기종 서브 영역의 텍스처 정보는 다양할 수 있다. 따라서, 상기와 같은 다양성에 강건성을 가지는 텍스처 디스크립터는 다양한 유형의 CT 이미지들로부터 일관성있는 텍스처 특성을 추출할 필요가 있다.
이번 실험에서, 인하 대학 병원으로부터 수집한 표준 CT 및 HRCT 이미지를 사용할 것이다. 이러한 표준 CT 및 HRCT 이미지들은 원본 크기의 100%, 200%, 및 400%의 상이한 3가지 크기로 각각 CT 장치 소프트웨어에서 저장된다. 각각의 크기에 대하여, 30 × 30 픽셀 크기를 가지는 30개의 폐기종 서브영역이 표준 CT 및 HRCT 이미지로부터 임의 선택된다. 180개의 폐기종 서브 이미지가 있으며 이러한 이미지의 샘플은 도 15에 도시하였다.
도 16에는 LAP, LPQ, LBP, 및 LFH에 대한 히스토그램의 표준편차 값이 계산되었으며, 상기 방법들에 대한 표준편차 값의 통계 현황은 표 7에 도시하였다. 도 16 및 표 7에 도시한 바와 같이, LAP 히스토그램의 표준편차 값은 LPQ, LBP 및 LFH보다 더 균일하다. 이는 각각의 폐기종 영역에 대한 LAP 히스토그램은 일관성을 유지한다는 것을 의미한다. LAP 및 LPQ의 표준편차 값의 분포가 동일하지만, 그것들은 크게 다르다(t =-6.21, p <0.01). 표 7에서 LAP는 모든 방법 중에서 가장 낮은 분산 값을 보인다. LAP는 품질 저하된 텍스처 특성을 추출하는데 있어서 강건성을 가지므로 LAP가 CT 이미지의 상이한 유형 및 상이한 크기로부터 일관성있는 텍스처 특성을 추출하도록 한다.
2. 의학 이미지 분석의 응용예
LAP는 블러링, 조도 및 스케일링에 대한 강건성 때문에 많은 응용분야에서 이용된다. 본 발명에서는, 패턴 인식의 분야의 응용예를 설명한다. 최근, 질병 진단을 위하여 많은 컴퓨터 보조 분석(Computer-aided diagnosis, CAD) 시스템이 개발되고 있다. 폐기종, 폐암 등의 폐 질환을 검출하기 위하여 CAD 시스템을 이용하는 것은 최근 의학 이미지 처리의 중요한 분야중의 하나이다. 특성 추출은 의학 이미지에서 비정상 영역을 인식하는데 있어서 가장 중요한 단계이다. 최근 수십년간, 의학 이미지 분석에서 GLDM(Gray level difference method), SGLDM(Spatial gray level dependent method) 및 LBP 같은 텍스처 특성이 널리 사용되었다. LBP 및 그레이 레벨의 조합은 3가지 유형의 폐기종 및 폐 영역을 분류하는데 강력한 텍스처 디스크립터를 생성한다.
CT 이미지에서의 근육의 병리학적 변화는 보통 일부 텍스처 및 밝은 특징적인 부분으로 나타난다. 폐기종 부분은 정상부분보다 어둡고, 그 표면은 부드럽다. 따라서, 텍스처 및 밝기 정보의 조합은 비정상 영역의 분류를 개선시킨다. 도 17에 도시한 바와 같이, 새로운 폐기종 서브 영역은 LAP에 따라 제시된다. 첫째로, LAP의 히스토그램 및 그레이 값이 구성되며 1개의 긴 히스토그램으로 결합된다. 이러한 특징차원은 매우 높고, 높은 차원의 특징 벡터를 구현하는 것은 CT 이미지에서 이상 영역을 탐지하고 분류하는데 있어서 매우 비효율적이다. 특성 차원을 감소시키기 위하여, PCA(Principle component analysis)가 수행된다. 10개의 중요 원칙 요소들이 폐기종 영역 또는 정상 영역의 최종 특성으로서 선택된다.
인하대학교의 108개의 정상 이미지 및 180개의 폐기종 이미지들을 포함한 288개의 CT 이미지들이 수집되었다. 상기 이미지 크기는 1,024 × 1,024이고, 그레이 값 깊이는 8비트이다. 혈관 없는 폐 영역은 처음에 위치하고 서브 영역은 다음으로 획득된다. 다음으로 텍스처 특성들은 폐의 70% 이상을 차지하는 서브 영역으로부터 추출된다. 후술할 실험에서 1000개의 정상 영역들 및 500개의 폐기종 영역들의 2개의 클래스로 나누어진 1,500개의 서브 영역들이 무작위로 선택된다. 도 18은 몇몇 정상 및 폐기종 영역들을 보여준다.
LAP의 성능을 평가하기 위하여, 폐기종 영역 및 정상 영역 사이에서 분류가 수행되어야 한다. LBP 및 SGLDM을 LAP의 분류 성능을 비교할 것이다. LBP 및 SGLDM에 대한 서브 영역 특징을 추출하는데 사용된 알고리즘은 Peng S-H, Saipullah K-M, Kim D-H (2009) Quantitative image analysis of chest ct using gray level local binary pattern. International conference on convergence content, p 129에서 사용된 것과 동일하다. 폐기종 영역 및 정상 영역을 분류하는데 SVM(support Vector Machine)이 사용되었다. LAP 및 LBP는 주변 반경 1이 적용된 반면 SGLDM은 0, 45, 및 90°의 3개의 방향이 적용되었다. SVM을 학습하기 위하여 100개의 정상 영역 및 100개의 폐기종 서브 영역들이 사용되었다. 나머지 서브 영역들(900개의 정상 영역 및 400개의 폐기종 영역들)은 시험에 사용되었다.
표 8은 LAP, LBP, 및 SGLDM 각각의 TP(true positive), TN(true negative), FP(false positive), FN(false negative), 민감도 및 특이도를 나타낸다. 표 8에 나타난 바와 같이 SGLDM의 폐기종 영역을 정확하게 분류하는 성능은 특성 추출 방향에 따라 다르다. LBP에 의하여 추출된 텍스처 특성은 다중 방향을 포함한다. 따라서, LBP의 성능은 어느 방향에서나 SGLDM보다 좋다. LAP가 더 많은 정보를 추출하고 LBP보다 더 강건성을 가지므로, LBP 및 SGLDM에 비하여 더 좋은 민감도와 특이성을 가진다. 이는 LAP는 텍스처 분석 응용분야(특히, CAD)에서 기술적인 실현 가능성을 보여준다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이 같은 특정 실시예에만 한정되지 않으며 해당 분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위 내에 기재된 범주 내에서 적절하게 변경이 가능할 것이다.
Claims (4)
- 중심이 s(0,0)인 직교 좌표계에 존재하는 특정 영역 내(이하 ‘윈도우’라고 한다.)에 존재하는 픽셀 s(x, y)의 좌표를 하기 수식에 의하여 상기 중심 s(0,0)으로부터의 거리 r 및 상기 중심 s(0,0)에 대한 방향인 θ로 나타내는 원형 영역 좌표 p(r, θ)로 변환하는 제1단계;
상기 원형 좌표로 변환된 상기 윈도우 내에 존재하는 모든 픽셀의 좌표 p(n)을 하기 수식에 의하여 퓨리에 변환하는 제2단계이되, 하기 수식에서 N은 윈도우 내에 존재하는 모든 픽셀들의 개수이고, n은 윈도우 내에 존재하는 픽셀들의 번호(n=0,1,…,N-1)이고, i = 이며, 이며, P(k)는 p(n)의 퓨리에 변환된 함수이며,
하기 수식에 따라 상기 제2단계에서 도출된 P(1), P(2), …, P((N-1)/2)에 대하여 하기 수식에 따라 C행렬을 도출하는 제3단계;
상기 제3단계에서 하기 수식에 의하여 8비트 이진코드로 양자화하는 제4단계;
여기서, b(k)는 각각의 계수 C1 내지 C8의 부호이며, k는 1,2...8까지의 고정값을 나타냄
상기 제4단계에서 도출된 각각의 b(k)에 대하여 하기 수식에 따라 2k-1을 곱하여 국소화된 각 위상(localized angular phase, LAP) 코드를 생성하는 제5단계; 및
상기 LAP 코드를 이용하여 텍스처의 확률적 분포인 텍스처 디스크립터를 산출하는 제6단계;
를 포함하여 구성되는 것을 특징으로 하는 국소 각 위상을 이용한 텍스처 특징 추출 방법. - 제1항에 있어서,
상기 제6단계는,
LAP 코드 값 및 상기 LAP 코드의 빈도를 이용하여 히스토그램 분포를 구하는 제6-1단계; 및
상기 히스토그램 분포를 이용하여 텍스처 디스크립터를 산출하는 제6-2단계를 더 포함하는 것을 특징으로 하는 국소 각 위상을 이용한 텍스처 특징 추출 방법. - 제1항 또는 제2항에 있어서,
상기 반경 r은 1이며, N은 홀수인 것을 특징으로 하는 국소 각 위상을 이용한 텍스처 특징 추출 방법. - 제1항 또는 제2항에 있어서,
상기 텍스처 디스크립터는 스케일, 블러링 및 조도가 변경되어도 상기 텍스처 디스크립터의 확률적 분포가 일정한 것을 특징으로 하는 국소 각 위상을 이용한 텍스처 특징 추출 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110087064A KR101200378B1 (ko) | 2011-08-30 | 2011-08-30 | 국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110087064A KR101200378B1 (ko) | 2011-08-30 | 2011-08-30 | 국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101200378B1 true KR101200378B1 (ko) | 2012-11-12 |
Family
ID=47564500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110087064A KR101200378B1 (ko) | 2011-08-30 | 2011-08-30 | 국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101200378B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402124A (zh) * | 2020-03-24 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 一种纹理图像和合成图像的生成方法和装置 |
CN113160030A (zh) * | 2021-03-31 | 2021-07-23 | 海南大学 | 一种基于lbp-dct的医学图像鲁棒水印方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005509223A (ja) | 2001-11-03 | 2005-04-07 | カラージップメディア, インコーポレイテッド | コード認識のための装置及びその方法 |
JP2007088814A (ja) | 2005-09-22 | 2007-04-05 | Casio Comput Co Ltd | 撮像装置、画像記録装置および撮像制御プログラム |
WO2010024402A1 (ja) | 2008-08-29 | 2010-03-04 | 株式会社東芝 | 画像処理装置および方法、ならびに、画像表示装置 |
-
2011
- 2011-08-30 KR KR1020110087064A patent/KR101200378B1/ko not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005509223A (ja) | 2001-11-03 | 2005-04-07 | カラージップメディア, インコーポレイテッド | コード認識のための装置及びその方法 |
JP2007088814A (ja) | 2005-09-22 | 2007-04-05 | Casio Comput Co Ltd | 撮像装置、画像記録装置および撮像制御プログラム |
WO2010024402A1 (ja) | 2008-08-29 | 2010-03-04 | 株式会社東芝 | 画像処理装置および方法、ならびに、画像表示装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402124A (zh) * | 2020-03-24 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 一种纹理图像和合成图像的生成方法和装置 |
CN111402124B (zh) * | 2020-03-24 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 一种纹理图像和合成图像的生成方法和装置 |
CN113160030A (zh) * | 2021-03-31 | 2021-07-23 | 海南大学 | 一种基于lbp-dct的医学图像鲁棒水印方法 |
CN113160030B (zh) * | 2021-03-31 | 2024-05-14 | 海南大学 | 一种基于lbp-dct的医学图像鲁棒水印方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiao et al. | Image splicing forgery detection combining coarse to refined convolutional neural network and adaptive clustering | |
Pietikäinen et al. | Rotation-invariant texture classification using feature distributions | |
Xu et al. | Scale-space texture description on sift-like textons | |
Žunić et al. | A Hu moment invariant as a shape circularity measure | |
Cheng et al. | Microcalcification detection using fuzzy logic and scale space approaches | |
AU2017201281B2 (en) | Identifying matching images | |
Saipullah et al. | A robust texture feature extraction using the localized angular phase | |
Wee et al. | Image quality assessment by discrete orthogonal moments | |
Zong et al. | On the combination of local texture and global structure for food classification | |
Coleman et al. | Edge detecting for range data using laplacian operators | |
CN110532413B (zh) | 基于图片匹配的信息检索方法、装置、计算机设备 | |
Paulhac et al. | Comparison between 2D and 3D local binary pattern methods for characterisation of three-dimensional textures | |
Wang et al. | A statistical feature based approach to distinguish PRCG from photographs | |
Nigam et al. | Multiresolution approach for multiple human detection using moments and local binary patterns | |
Zhang et al. | Shape feature extraction using Fourier descriptors with brightness in content-based medical image retrieval | |
WO2018113206A1 (zh) | 一种图像处理方法及终端 | |
Kulkarni et al. | Recurrence textures for human activity recognition from compressive cameras | |
KR101200378B1 (ko) | 국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 | |
Tao et al. | Illumination-insensitive image representation via synergistic weighted center-surround receptive field model and weber law | |
Hosny et al. | Novel quaternion discrete shifted Gegenbauer moments of fractional-orders for color image analysis | |
Rachdi et al. | Directional neighborhood topologies based multi-scale quinary pattern for texture classification | |
Angelini et al. | Testing the performances of different image representations for mass classification in digital mammograms | |
WO2006044988A1 (en) | System and method for characterizing 2-dimensional shapes by compactness measurements | |
Du et al. | LAP: a bio-inspired local image structure descriptor and its applications | |
Choobari et al. | A robust content based image retrieval using local full-directional pattern (LFDP) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151001 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170829 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |