KR101024282B1

KR101024282B1 - 압축 영역에서의 영상 복원 장치 및 방법

Info

Publication number: KR101024282B1
Application number: KR1020090104149A
Authority: KR
Inventors: 이상근
Original assignee: 중앙대학교 산학협력단
Priority date: 2009-10-30
Filing date: 2009-10-30
Publication date: 2011-03-29

Abstract

압축 영역에서의 영상 복원 장치 및 방법이 개시된다. 압축 영상 입력부는 원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 입력받는다. 블록 분해부는 DCT 블록을 사전에 설정된 변환 매트릭스에 의해 분해하여 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성한다. 밝기 정보 개선부는 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변환함수에 의해 변형하여 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개선한다. 디테일 정보 개선부는 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 원본 영상에 포함된 디테일 정보를 개선한다. 블록 재구성부는 DCT 블록으로부터 생성된 모든 서브 블록에 대하여 변환 계수들의 값이 변형되면 변형된 변환 계수들로 이루어진 서브 블록들에 대해 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성한다. 본 발명에 따르면, DCT 블록을 분해하여 원본 영상의 밝기 정보 및 디테일 정보를 개선함으로써 링잉 현상 및 블록 현상 등을 제거할 수 있다.

Description

압축 영역에서의 영상 복원 장치 및 방법{Apparatus and method for image reproduction in compressed domain}

본 발명은 압축 영역에서의 영상 복원 장치 및 방법에 관한 것으로, 이산 코사인 변환에 의해 압축된 영상의 변환 계수를 처리하여 압축 영상을 복원하는 장치 및 방법에 관한 것이다.

인터넷과 멀티미디어의 출현으로 인해 정보가 압축되고 네트워크의 한정된 대역에서 전달될 수 있게 되었다. 데이터 압축을 위한 변환 기법들 중에서 이산 코사인 변환(Discrete Cosine Transform)은 우수한 에너지 집중성 및 최소 상관성 특징을 보이기 때문에 가장 널리 사용되는 방법이다. DCT는 JPEG 및 MPEG과 같은 정지 영상 및 비디오 시퀀스(sequence)의 압축을 위한 표준에서 사용되고 있다.

압축 영역에서의 영상 개선, 즉 동적 영역 압축(dynamic range compression) 및 대비 개선(contrast enhancement)은 DCT에 의해 압축된 영상의 변환 계수에 대해 직접 수행된다. 이러한 압축 영역에서의 영상 품질 개선 방법으로는 α-루팅(rooting) 기법, 수정된 언샤프 마스킹(modified unsharp masking) 기법 및 멀티 스케일 대비 측정(multi-scale contrast measure) 기법 등이 있다.

이와 같은 압축 영역 처리 비법들은 계산의 복잡도가 낮고, 영상의 주파수 합성의 관찰 및 조절이 용이하다는 장점을 가진다. 그러나 이러한 기법들은 블록 경계에서의 불필요한 에지와 같은 블록 현상(block artifacts)을 가져올 수 있으며, 영상의 모든 부분을 동시에 개선할 수 없다는 단점이 보고되고 있다.

따라서 DCT 압축 영역에서 블록 현상과 같은 인공적인 현상을 억제하고 압축 영상의 화질을 개선하여 효과적으로 영상을 복원할 수 있는 방법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는, 원본 영상에 대한 이산 코사인 변환에 의해 생성된 복수의 DCT 블록을 구성하는 변환 계수의 값을 변형하여 원본 영상의 밝기 정보 및 디테일 정보를 개선하는 영상 복원 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 원본 영상에 대한 이산 코사인 변환에 의해 생성된 복수의 DCT 블록을 구성하는 변환 계수의 값을 변형하여 원본 영상의 밝기 정보 및 디테일 정보를 개선하는 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 압축 영역에서의 영상 복원 장치는, 원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 입력받는 압축 영상 입력부; 상기 DCT 블록을 사전에 설정된 변환 매트릭스에 의해 분해하여 상기 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성하는 블록 분해부; 상기 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변환함수에 의해 변형하여 상기 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개 선하는 밝기 정보 개선부; 상기 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 상기 원본 영상에 포함된 디테일 정보를 개선하는 디테일 정보 개선부; 및 상기 DCT 블록으로부터 생성된 모든 서브 블록에 대하여 상기 변환 계수들의 값이 변형되면 변형된 변환 계수들로 이루어진 서브 블록들에 대해 상기 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성하는 블록 재구성부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 압축 영역에서의 영상 복원 방법은, (a) 원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 입력받는 단계; (b) 상기 DCT 블록을 사전에 설정된 변환 매트릭스에 의해 분해하여 상기 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성하는 단계; (c) 상기 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변환함수에 의해 변형하여 상기 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개선하는 단계; (d) 상기 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 상기 원본 영상에 포함된 디테일 정보를 개선하는 단계; 및 (e) 상기 DCT 블록으로부터 생성된 모든 서브 블록에 대하여 상기 변환 계수들의 값이 변형되면 변형된 변환 계수들로 이루어진 서브 블록들에 대해 상기 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성하는 단계;를 갖는다.

본 발명에 따른 압축 영역에서의 영상 복원 장치 및 방법에 의하면, DCT 블록을 분해하여 생성된 서브 블록을 구성하는 변환 계수의 값을 변형시킴으로써, 압축 영역에서 원본 영상을 처리하였을 때 발생할 수 있는 링잉 현상 및 블록 현상 등을 제거할 수 있다. 또한 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수 및 AC 성분에 해당하는 변환 계수의 값을 별개의 방법으로 변형함으로써 원본 영상의 밝기 정보 및 디테일 정보를 효과적으로 개선할 수 있다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 압축 영역에서의 영상 복원 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 압축 영역에서의 영상 복원 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 영상 복원 장치는 압축 영상 입력부(110), 블록 분해부(120), 밝기정보 개선부(130), 세부정보 개선부(140) 및 블록 재구성부(150)를 구비한다.

압축 영상 입력부(110)는 원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 입력받는다.

DCT 기반의 영상 압축에서 원본 영상은 먼저 8×8화소의 크기를 가지는 일련의 단위 블록들로 분할된다. 다음으로 각 단위 블록은 순방향(forward) DCT에 의해 공간 주파수 영역에서의 DCT 블록으로 변환된다. 공간 주파수 영역으로 변환된 DCT 블록은 단위 블록을 구성하는 화소들에 대응하는 8×8개의 DCT 변환 계수들로 구성된다.

하나의 DCT 블록을 구성하는 DCT 변환 계수들의 값은 다음의 수학식 1로 표현되는 변환 수식에 의해 단위 블록의 각 화소로부터 얻어진다.

여기서, X(u,v)는 DCT 블록에서 (u,v) 위치에 해당하는 변환 계수의 값, x(i,j)는 단위 블록에서 DCT 블록의 (u,v) 위치에 대응하는 (i,j) 위치에서의 화소값이고, c(·) 값은 다음과 같이 결정된다.

8×8 크기의 하나의 DCT 블록에서 X(0,0)은 DC 성분에 해당하는 변환 계수이고, 63개의 나머지는 AC 성분에 해당하는 변환 계수이다. 도 2는 64개의 DCT 기본 함수(basis function)를 도시한 도면이다. 이러한 기본 함수들은 좌측 상단으로부터 우측 하단으로 갈수록 공간 주파수가 증가하는 순서에 따라 정렬되며, 도 2에 표시된 동일한 숫자끼리 서로 연결한 직선이 통과하는 위치의 변환 계수들은 동일한 주파수 밴드에 속하는 것으로 본다. 따라서 하나의 DCT 블록을 구성하는 64개의 변환 계수들은 14개의 주파수 밴드로 분류될 수 있다. 위 수학식 1에서 X(u,v)는 도 2의 기본 함수들 중에서 u번째 행 v번째 열에 위치하는 기본 함수로부터의 기여도를 나타낸다.

DCT가 수행된 후 각 DCT 블록의 64개의 변환 계수들은 양자화되고, 지그재그 스캔 방향으로 정렬된 후 엔트로피 코딩된다. 모든 DCT 블록에 대해 이러한 과정이 수행되어 압축 영상이 얻어지게 된다. 엔트로피 코딩은 0으로 이루어진 긴 문자열이 효과적으로 압축되는 런렝스(run-length) 코딩 방법이다. 양자화된 각각의 DCT 블록에 대한 엔트로피 코딩에 의해 각 블록에는 아주 적은 개수의 0이 아닌 변환 계수들만 남아있게 된다.

디코딩 과정에 의해 원본 영상을 복원하기 위해서는 앞에서 설명한 영상 압축 과정이 역으로 수행된다. 즉, 압축 영상은 먼저 엔트로피 디코딩되고, 양자화 매개변수에 의해 역 양자화되어 복수의 DCT 블록이 얻어진다. 각각의 DCT 블록에 대해서는 역 DCT(inverse DCT)가 수행되어 단위 블록이 얻어진다. 역 DCT는 다음의 수학식 2와 같이 나타낼 수 있다.

여기서, X(u,v)는 DCT 블록에서 (u,v) 위치에 해당하는 변환 계수의 값, x(i,j)는 복원된 단위 블록에서 DCT 블록의 (u,v) 위치에 대응하는 (i,j) 위치에서의 화소값이다.

본 발명에 따른 영상 복원 장치의 압축 영상 입력부(110)는 역 양자화 및 역 DCT가 수행되기 이전의 DCT 블록을 입력받음으로써 원본 영상의 압축 영역에 대하여 이하의 복원 과정을 수행한다.

블록 분해부(120)는 DCT 블록을 사전에 설정된 변환 매트릭스에 의해 분해하여 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성한다.

DCT 블록 간의 공간적인 관계를 1차원으로 설명하기 위해 {x(i)}(i=0,1,…,MN-1)를 길이가 MN인 시퀀스(sequence)라 한다. 이러한 시퀀스는 각각 N개의 데이터를 포함하는 M개의 블록(또는 서브시퀀스)으로 나누어질 수 있다. 블록 DCT 공간에서는 N-포인트 DCT가 각각의 블록에 적용될 수 있다. 따라서 p번째 DCT 블록에 대한 N-포인트 DCT는 다음의 수학식 3과 같이 표현된다.

여기서, C_p(u)는 M개의 블록 중에서 p번째 블록의 u번째 데이터에 대한 N-포인트 DCT에 의해 얻어진 변환계수, N은 p번째 블록에 포함된 데이터의 개수이고, c(u)는 수학식 1에서와 동일하게 결정되는 값이다.

한편, 시퀀스 x(i)에 대한 MN-포인트 DCT는 다음의 수학식 4와 같이 표현된다.

여기서, C(u)는 MN개의 데이터 중에서 u번째 데이터에 대한 MN-포인트 DCT에 의해 얻어진 변환계수이다.

수학식 3과 같이 표현된 블록 DCT 변환은 MN개의 기저 벡터의 집합에 의한 시퀀스 {x(i)}의 직교정규(orthonormal) 확장이며, MN개의 기저 벡터는 각각 N-포인트 DCT의 기저 벡터로부터 얻어진다. 따라서 N-포인트 DCT 변환계수로 이루어진 M개의 블록들은 역변환 가능한(invertible) 선형 변환에 의해 MN-포인트 DCT 변환계수로 변환할 수 있다. 다시 말하면, N-포인트 DCT 블록들의 시퀀스인 {C_k ^(N)}(k=0,1,…M-1)과 그에 대응하는 MN-포인트 DCT의 합성 DCT C⁽ ^MN ⁾에 대해 MN×MN 크기의 변환 매트릭스 A _(M,N)이 존재한다. 이는 다음 수학식 5와 같이 표현된다.

이와 같은 1차원에서의 분석은 2차원으로 확장될 수 있다. 즉, DCT 블록 C ⁽ ^LN ^×MN)를 각각 N×N의 크기를 가지는 L×M 개의 DCT 블록들로 분해할 경우 다음의 수학식 6이 사용된다.

DCT 블록의 분해를 위해 사용되는 변환 매트릭스는 다음과 같이 주어질 수 있다.

변환 매트릭스와 그의 역 매트릭스는 희소(sparse) 매트릭스이다. 따라서 일반적인 매트릭스 곱셈에 요구되는 것보다 적은 수의 곱셈과 덧셈만을 수행하면 된다.

이상에서 설명한 것과 같은 방법에 의해 블록 분해부(120)는 DCT 블록들을 각각 복수의 서브 블록으로 분해할 수 있다. 압축 영상 입력부(110)가 입력받은 DCT 블록들 중에서 ω번째 DCT 블록을

라 하면, DCT 블록이 8×8 크기이므로

는 4×4 크기의 네 개의 서브 블록들로 분해된다. ω번째 DCT 블록으로부터 생성된 네 개의 서브 블록은 각각

,

이며, 간단하게

(p,q=0,1)와 같이 표현할 수 있다.

하나의 DCT 블록으로부터 생성되는 네 개의 서브 블록은 DCT 블록 분해를 정의하는 수학식 6을 이용하여 다음 수학식 7과 같이 얻어진다.

여기서, 매트릭스 A_(2,4)는 앞에서 정의한 것과 동일하다.

이때 서브 블록의 크기를 더 작게 하여 하나의 DCT 블록으로부터 더 많은 개수의 서브 블록이 생성되도록 할 수도 있으나, 큰 에지 주변의 블록 현상을 적절히 제거하면서도 원본 영상의 화질을 개선하기 위해서는 4×4 크기로 하는 것이 가장 바람직하다.

다음으로 밝기 정보 개선부(130)는 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변형함수에 의해 변형하여 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개선한다. 이러한 과정은 하나의 DCT 블록으로부터 생성된 복수의 서브 블록에 대해 순차적으로 수행된다.

원본 영상이 생성될 때 사용된 광원의 방향 또는 세기 등에 의해 원본 영상에는 아주 밝은 영역 또는 아주 어두운 영역이 나타날 수 있으며, 이러한 영역들에 포함된 객체는 그 형태를 알아보기 힘들 정도로 디테일 정보가 손실되어 있다. 밝기 정보 개선부(130)는 이와 같이 원본 영상에서 아주 어두운 영역 및 아주 밝은 영역에 포함된 디테일 정보를 복원하여 밝기 정보를 개선하고자 하는 것이다. 이러 한 과정은 레티넥스(Retinex) 이론을 바탕으로 한다.

레티넥스 이론은 영상의 조도(illumination) 성분과 반사율(reflectance) 성분을 분리하고, 이들 성분을 변경하여 질감 디테일(texture detail)의 가시성(visibility)을 증가시킨다. 그와 유사하게 본 발명에서는 영상의 휘도(luminance) 데이터를 밝기와 디테일 성분의 조합으로 구성한다. 조도 성분은 밝기에 밀접하게 연관되고 반사율 성분은 영상의 디테일에 기여하기 때문이다. 이를 수학적으로 표현하면 영상의 각 화소 x(i,j)는 밝기 b(i,j)와 디테일 d(i,j)의 점 대 점의 합산으로 다음의 수학식 8과 같이 나타낼 수 있다.

다음으로 밝기 성분과 디테일 성분의 값은 영상의 동적 영역과 디테일을 위해 조절된다. 구체적으로, 밝기 성분은 DCT 변환 계수의 DC 성분을 이용하여

와 같이 추정된다. 밝기는 영상 전체에 걸쳐 부드럽게 변화한다고 가정하기 때문이다. 반면 DCT 변환 계수의 AC 성분은 영상의 디테일 정보로 표현될 수 있다. 다음으로 디테일 성분의 추정인

는 입력된 휘도 성분인 x(i,j)와 추정된 밝기 성분인

사이의 차에 의해 결정된다.

추정된 밝기 성분인

는 다음으로 동적 영역 압축, 즉 밝기 정보 개선을 위해 비선형 함수인 G(·)에 의해 변형된다. 그러나 동적 영역 압축만을 기초로 한 영상 복원은 대비가 낮은 장면과 같이 원하지 않는 결과를 초래할 수 있다. 이 러한 문제를 해결하기 위한 것이 영상의 디테일 정보 개선이다. 영상의 대비 개선을 위한 디테일 정보 개선은 추정된 디테일 성분인

에 대해 또 다른 비선형 함수인 F(·)를 적용함으로써 수행된다. 최종적으로 결과 영상 O(i,j)는 변형된 밝기 성분과 개선된 디테일 성분의 합으로 다음의 수학식 9와 같이 얻어진다.

얻어진 결과 영상은 입력 영상에 동적 영역 압축 및 디테일 정보 개선이 수행되어 개선된 결과를 나타낸다.

이상에서 검토한 바와 같이 주파수 영역에서의 영상 품질 개선은 영상의 DC 성분 및 AC 성분에 대해 서로 별개로 수행된다. 이러한 과정은 본 발명에도 동일하게 적용된다. 즉, 본 발명에서는 DCT 블록을 분해하여 얻어진 서브 블록들 각각을 구성하는 변환 계수들을 DC 성분 및 AC 성분으로 나누고, 각각의 성분에 대해 서로 다른 과정을 수행함으로써 원본 영상의 품질을 개선하게 된다.

먼저 밝기 정보 개선부(130)는 각각의 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수에 G(·)와 같은 비선형 함수를 적용하여 원본 영상의 밝기 정보를 개선한다.

블록 분해부(120)에 의해 DCT 블록이 분해되어 생성된 4×4 크기의 서브 블록은 각각 16개의 변환 계수를 포함하고 있다. 앞에서 도 2를 참조하여 설명한 바와 같이 하나의 DCT 블록을 구성하는 64개의 변환 계수들은 모두 14개의 주파수 밴 드로 분류될 수 있었다. 이를 서브 블록에 대해 적용하면, 서브 블록을 구성하는 16개의 변환 계수들은 공간 주파수 특성에 따라 7개의 주파수 밴드로 분류된다.

도 3은 7개의 주파수 밴드로 분류되는 서브 블록의 형태를 도시한 도면이다. 변환 계수들은 도 2에서와 마찬가지로 좌측 상단에서 우측 하단으로 갈수록 공간 주파수가 증가하는 순서로 배열되며, 도 3에 표시된 대각 방향의 직선이 통과하는 위치의 변환 계수들은 동일한 주파수 밴드에 포함된다. 숫자는 주파수 밴드의 번호를 나타낸 것이다. 7개의 주파수 밴드의 집합은 다음의 수학식 10과 같이 나타낼 수 있다.

여기서, φ_n은 n개의 주파수 밴드로 이루어진 집합이고, ψ_n은 n번째 주파수 밴드이다.

또한, 각각의 주파수 밴드 ψ_n은 서브 블록을 구성하는 변환 계수인

(n=u+v)의 집합으로, 다음 수학식 11과 같이 표현된다. 또한 동일한 주파수 밴드에 포함된 DCT 변환 계수들은 유사한 공간 주파수 특성을 가진다.

밝기 정보 개선부(130)에 의해 값이 변형되는 DC 성분의 변환 계수는 이 중 에서 n=0에 해당하는 주파수 밴드에 포함된 한 개의 변환 계수, 즉

이다.

밝기 정보 개선부(130)에 의한 원본 영상의 밝기 정보 개선은 원본 영상에서 어두운 영역 및 밝은 영역에 포함된 객체의 디테일 정보를 명확하게 나타내기 위한것이다. 즉, 밝기 정보 개선을 통해 원본 영상의 동적 영역(dynamic range)을 압축할 수 있다.

동적 영역 압축의 목적은 신호의 자연스러운 동적 영역을 더 작은 영역으로 매핑하는 것이다. 이는 영상의 지역 밝기를 변형함으로써 이루어질 수 있다. 앞에서 설명한 바와 같이 영상의 밝기는 영상 전체에 걸쳐 부드럽게 변화하며, 따라서 압축 영상에서 각각의 블록의 평균값인 DC 성분은 지역 밝기

를 나타내는 것으로 볼 수 있다. 동적 영역을 압축하기 위해 본 발명에서는 영상의 DC 성분의 값을 조절하고 압축된 입력 영상에서 가장 어두운 부분 및 가장 밝은 부분의 세부정보를 개선한다.

본 발명에서 원본 영상의 밝기 개선을 위해 사용되는 단위인 4×4 크기의 서브 블록의 평균값 m은

과 같이 산출된다. 여기서

은 하나의 DCT 블록으로부터 생성된 서브 블록들 중 pq번째 서브 블록의 DC 성분의 값이다. 다음으로 지역 밝기

는 영상의 어두운 영역에서 비선형 함수를 적용하여

로 변형되는데, 이는 다음의 수학식 14와 같이 표현된다.

여기서, I_max는 원본 영상의 최대 밝기값(예를 들면, 8비트 입력 영상에 대해서는 255)이고, γ는 영상의 개선 정도를 조절하기 위해 사용자에 의해 결정되어 입력되는 조절값이다. 실험적으로, 영상의 가장 어두운 영역 및 가장 밝은 영역의 세부정보를 개선하기 위해서는 γ>1로 설정되는 것이 바람직하다.

도 4는 γ의 값이 서로 다르게 설정되었을 때 입력값과 출력값의 관계를 도시한 그래프이다. 도 4를 참조하면, γ가 1일 때에는 입력값과 출력값이 동일하게 나타나며, γ의 값이 커질수록 낮은 입력값은 높은 출력값으로, 높은 입력값은 낮은 출력값으로 변환된다. 즉, γ의 값이 커지면 밝기 성분의 개선 정도가 더 커진다는 것을 의미한다. 이와 같이 밝기 성분의 개선 정도를 참고하여 γ의 값을 적절한 값으로 설정할 수 있다.

원본 영상의 어두운 영역에 대해 밝기 정보가 개선된 영상은 다음의 수학식 13과 같이 표현할 수 있다.

여기서, O^d(i,j)는 어두운 영역에서 밝기 정보가 개선된 영상이고, Q^pq(0,0) 은 pq번째 서브 블록의 DC 성분

에 적용되는 양자화 매개변수이다.

어두운 영역에서의 밝기 정보를 개선함으로써 영상의 조도 성분이 정규화된다. 밝은 영역에 대한 밝기 정보 개선은 어두운 영역에서와 유사하게 다음의 수학식 14에 의해 이루어진다.

여기서, O^b(i,j)는 밝은 영역에서의 밝기 정보가 개선된 영상이다. 수학식 14는 입력 영상의 역 영상(inverse image)에 대해 수학식 13과 유사한 과정을 적용하여 밝은 영역의 세부정보를 개선하는 것을 나타낸다. 구체적으로, 주어진 매핑 곡선

을 사용하여 밝은 영역을 개선하기 위해, 밝기값을 반전시키고 강조한다. 다음으로, 변형된 값은 최대 밝기값인 I_max로부터 차감되어 밝은 영역으로 다시 변환된 후 압축된다.

어두운 영역과 밝은 영역 모두에서 밝기 정보가 개선되는 경우에는 수학식 13과 수학식 14가 합쳐져 다음의 수학식 15와 같이 각각의 서브 블록에서 DC 성분에 해당하는 변환 계수의 값이 변형된 영상이 얻어진다.

여기서, Q^-1[·]은 역 양자화 과정을 나타낸 것이고,

은 각 서브 블록의 DC 성분에 대해 이상에서 설명한 것과 같은 밝기 정보 개선 과정을 적용하여 얻어진 변형된 DC 성분을 나타낸 것이다.

한편, 밝기 정보의 개선 정도를 조절하기 위해 입력되는 값인 γ의 값은 서브 블록에 포함된 컨텐츠, 즉 고주파 성분의 양에 따라 적응적으로 조절할 수 있다. γ의 값을 조절함으로써 영상의 복원 과정 후에 큰 에지에 걸쳐서 나타나는 블록 현상과 오버슈팅(overshooting) 현상을 줄일 수 있다. 압축 영상 입력부(110)로 입력된 DCT 블록들 중 ω번째 DCT 블록의 pq번째 서브 블록에 대한 개선값(enhancement value)은 다음 수학식 16에 의해 산출된다.

여기서, γ는 사용자로부터 입력받은 값이고,

는 pq번째 서브 블록에 포함된 고주파 성분의 양을 나타내는 표준편차 값이다.

의 값은 서브 블록을 분석하고 큰 에지 주변의 블록 현상을 감소시키기 위해 사용된다.

수학식 16에서

의 값은 ω번째 DCT 블록 내의 pq번째 서브 블록에 대한 분산

으로부터 얻어지며,

은 다음의 수학식 17에 의해 산출된다.

이와 같이 서브 블록의 분산은 서브 블록을 구성하는 변환 계수들 중 AC 성분에 해당하는 변환 계수들을 이용하여 직접 산출할 수 있다.

또한 수학식 16에 포함된 함수 f(·)는 어떤 상태에서 다른 상태로 부드럽게 전환하도록 하는 가중 함수에 해당하며, 사다리꼴 형태의 응답을 가진다. 가중 함수 f(·)는 다음의 수학식 18과 같이 정의된다.

여기서, 다른 상태로의 전환을 나타내는 기준값들인 τ_x는 실험적으로 결정되며, 적은 디테일 정보를 포함하는 서브 블록들 및 서브 블록에 포함된 노이즈 성분을 처리할 수 있는 값으로 설정된다.

밝기 정보 개선부(130)는 사용자로부터 입력된 γ의 값을 기초로 수학식 16에 의해 각각의 서브 블록에 대해 개별적으로 결정된 개선값

을 사용하여 낮은 주파수 밴드에 포함된 강한 에지에 영향을 주지 않고 높은 주파수 밴드 내의 디테일 정보를 적응적으로 개선할 수 있다.

그런데

는 각각의 서브 블록의 컨텐츠 구성에 의해 개별적으로 결정되는 것으로, 이웃하는 서브 블록들을 고려하지 않으므로 블록 현상을 오히려 심화시킬 우려가 있다. 이를 해결하기 위해

의 값은 입력 영상에서 네 개의 이웃하는 서브 블록들을 기초로 스무딩될 수 있다. 도 5에는 개선값의 스무딩을 위해 사용되는 이웃 서브 블록들의 예가 도시되어 있다.

현재 서브 블록 및 그와 이웃하는 네 개의 서브 블록들의 현재 개선값들의 집합을

라 한다. 그리고 이웃하는 네 개의 서브 블록들을 참조하여 현재 서브 블록의 개선값을 스무딩시켜 얻어진 평균 개선값은 다음의 수학식 19에 의해 얻어진다.

여기서,

는 ω번째 DCT 블록의 pq번째 서브 블록에 대한 평균 개선값, 1_1×5는 1×5 크기의 모든 원소가 1인 매트릭스, 그리고

는 집합

에 포함된 원소들, 즉 서브 블록들의 개수이다.

밝기 정보 개선부(130)는 이상에서 설명한 바와 같이 복수의 서브 블록 각각에 대하여 DC 성분에 해당하는 변환 계수를 변형시킴으로써 원본 영상의 밝기 정보를 개선하여 원본 영상의 밝은 영역 및 어두운 영역에서 객체의 디테일 정보를 명확하게 할 수 있다.

디테일 정보 개선부(140)는 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 원본 영상에 포함된 디테일 정보를 개선한다. 디테일 정보 개선은 DCT 블록이 분해되어 생성된 복수의 서브 블록에 대해 순차적으로 수행되며, 밝기 정보 개선부(130)에 의한 DC 성분의 변형 과정이 수행된 후에 이루어질 수 있다.

디테일 정보 개선부(140)에 의한 변형의 대상이 되는 변환 계수들은 앞에서 설명한 서브 블록의 7개의 주파수 밴드들 중에서 n=0인 주파수 밴드를 제외한 나머지 주파수 밴드들을 구성하는 변환 계수이며, 각각의 변환 계수에는 F(·)와 같은 비선형 함수가 적용된다.

먼저 각각의 주파수 밴드에 포함된 변환 계수들의 개수는 다음의 수학식 20과 같이 표현할 수 있다.

여기서, N(ψ_n)은 n번째 주파수 밴드에 포함된 변환 계수의 개수이다.

원본 영상으로부터 생성된 ω번째 DCT 블록의 pq번째 서브 블록 내에서 n번째 주파수 밴드에 대한 스펙트럴 컨텐츠(spectral content)는 n번째 주파수 밴드에 이전 주파수 밴드들에 비해 얼마나 많은 고주파 성분이 포함되어 있는지를 나타낸다. n번째 주파수 밴드에 대한 스펙트럴 컨텐츠 값은 변환 계수들로 이루어진 주파수 밴드들의 낮은 스펙트럴 컨텐츠 에너지에 대한 높은 스펙트럴 컨텐츠 에너지의 비에 의해 정의되며, 다음의 수학식 21에 의해 산출된다.

여기서,

는 ω번째 DCT 블록의 pq번째 서브 블록 내에서 n번째 주파수 밴드에 대한 스펙트럴 컨텐츠 값이고, ||·||_F ²는 프로베니우스 놈(Frobenius norm)의 제곱이다. 수학식 21의 우변에서 분자는 n번째 주파수 밴드의 평균 에너지를 나타내며, 분모는 n번째 밴드보다 주파수가 낮은 주파수 밴드들의 평균 에너지를 나타낸다.

이러한 스펙트럴 컨텐츠 값은 원본 영상의 디테일 정보 개선을 위해 변형된다. 스펙트럴 컨텐츠 값의 변형을 위해서는 각각의 서브 블록에 따라 서로 다른 값으로 적용되는 개선 인자(enhancement factor)가 사용된다.

pq번째 서브 블록에 대한 개선 인자(enhancement factor) λ^pq는 pq번째 서브 블록에서 변형 전의 DC 성분의 변환 계수 값에 대한 변형된 DC 성분의 변환 계수 값의 비를 사용하여 다음의 수학식 22와 같이 나타낼 수 있다.

여기서, δ=0.01은

의 값이 0인 경우를 대비하여 사용되는 값이다.

원본 영상의 디테일 정보 개선, 즉 대비 개선은 먼저 앞에서 설명한 스펙트 럴 컨텐츠 값의 개선 인자에 의한 변형으로 설명할 수 있다. ω번째 DCT 블록의 pq번째 서브 블록에서 n번째 주파수 밴드에 대한 변형된 스펙트럴 컨텐츠 값은 다음의 수학식 23과 같이 정의된다.

여기서, n=0인 주파수 밴드는 DC 성분을 나타내는 것이므로 n의 범위는 1 이상이 된다.

스펙트럴 컨텐츠

의 값은 수학식 21에 의해 산출되므로 수학식 21을 수학식 23에 대입하고 정리하면 다음의 수학식 24와 같이 표현된다.

여기서, 개선된 AC 성분의 에너지 비인

는 다음의 수학식 25와 같이 정의된다.

에너지 비

의 값은 변형 전의 서브 블록과 AC 성분에 해당하는 변환 계수의 값이 변형된 서브 블록에서 n번째 주파수 밴드보다 낮은 주파수의 주파수 밴드들 전체에 대해 산출된 에너지의 합의 비이다.

최종적으로, 디테일 정보가 개선된 DCT 변환 계수의 값은 다음의 수학식 26에 의해 산출된다.

여기서,

는 pq번째 서브 블록에서 (u,v)의 위치에 해당하는 변형된 변환 계수의 값,

는 ω번째 DCT 블록의 pq번째 서브 블록에서 n(=u+v)번째 주파수 밴드에 적용되는 개선 인자의 값,

는 ω번째 DCT 블록의 pq번째 서브 블록에서 n(=u+v)번째 주파수 밴드에 대한 에너지 비, 그리고

는 ω번째 DCT 블록으로부터 얻어진 pq번째 서브 블록에서 (u,v)의 위치에 해당하는 변형 전 변환 계수의 값이다.

수학식 26에서 에너지 비

는 4×4 크기의 서브 블록에 대한 것으로, 8×8 크기의 DCT 블록에 적용되는 경우에 비해 중요도가 크지 않다. 서브 블록의 크기가 작으므로 각 주파수 밴드에 포함된 고주파 성분의 변화가 거의 없다고 볼 수 있기 때문이다. 따라서

의 값을 1로 근사화시키면 수학식 26은 다음 수학식 27과 같이 간소화된다.

즉, 에너지 비의 근사화에 의해 디테일 정보의 개선 과정을 간소화시키면, 각 서브 블록에서 AC 성분에 해당하는 변환 계수에 해당 서브 블록의 밝기 정보의 개선 정도를 나타내는 개선 인자를 곱하여 변환 계수의 값을 변형할 수 있다.

한편, 에너지 비

의 값은 서브 블록 내에서 AC 성분에 해당하는 변환 계수의 변형 과정을 종료시키는 기준으로 사용될 수도 있다. 즉, 디테일 정보 개선부(140)는 현재 서브 블록에서 AC 성분에 해당하는 변환 계수의 변형 과정을 수행할 주파수 밴드가 n=4 이상이고

(n=u+v)이면 현재 서브 블록에 대한 디테일 정보 개선 과정을 종료할 수 있다. 고주파 성분에 해당하는 주파수 밴드일수록 디테일 정보의 개선 효과가 크지 않으며, 에너지 비가 이전 주파수 밴드에서 산출된 값과 동일하다면 변환 계수의 값을 변형하여도 개선 전의 영상과 차이가 없기 때문에 계산량을 감소시키기 위해서이다.

이상에서 설명한 밝기 정보 개선 과정 및 디테일 정보 개선 과정에 의해 변형된 DCT 변환 계수들로 이루어진 복수의 서브 블록은 수학식 7에서 설명한 DCT 블록 분해 과정을 역으로 적용하여 하나의 DCT 블록으로 재구성됨으로써 영상 개선 과정이 종료된다.

그러나 변형된 변환 계수의 값이 변형 전 변환 계수의 값에 비해 지나치게 크게 달라지는 경우에는 원본 영상의 과도한 개선으로 인해 링잉(ringing) 현상이나 블록 현상과 같은 부작용이 에지 주변에서 발생할 수 있다. 따라서 변형된 변환 계수의 값에 제약조건을 적용하여 일정 범위를 벗어나지 않도록 하는 것이 바람직하다. 변환 계수에 대한 제약조건의 적용은 다음의 수학식 28에 의해 수행된다.

여기서,

는 제약조건이 적용된 변환 계수,

는 변형된 변환 계수이고, 제약조건에 해당하는

및

의 값은

와 같이 정의된다.

α 및 β의 값은 실험적으로 결정되며, α=β=5로 설정되었을 때 가장 바람직한 결과를 얻을 수 있다.

블록 재구성부(150)는 DCT 블록들로부터 생성된 모든 서브 블록에 대하여 변환 계수들의 값이 변형되면, 변형된 값의 변환 계수들로 이루어진 서브 블록들에 대해 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성한다.

수학식 28과 같이 제약조건이 적용된 변환 계수들을 포함하는 서브 블록들은 8×8 크기의 변형 DCT 블록으로 재구성되며, 이는 수학식 7을 역으로 적용함으로써 수행될 수 있다. 즉, 네 개의 서브 블록으로부터 하나의 변형 DCT 블록을 생성하는 과정은 다음의 수학식 29로 표현된다.

여기서 A_(2,4)는 앞에서 정의된 것과 동일한 매트릭스이다.

이와 같이 얻어진 변형 DCT 블록에 대해 큰 에지 주변의 링잉 현상과 모스키토 잡음(mosquito noise)과 같은 디테일 정보 개선의 부작용 현상을 제거하기 위해 추가적인 과정이 더 이루어질 수 있다. 이는 입력된 DCT 블록에서 변환 계수 값이 0인 위치에 대응하는 위치의 변형된 변환 계수 값을 0으로 바꾸는 과정이다. 즉, 변형 DCT 블록을 구성하는 변환 계수들 중에서 입력된 DCT 블록에서 0에 해당하는 변환 계수와 동일한 위치의 변환 계수의 값은 0으로 변형된다.

압축 영상 입력부(110)로 입력된 DCT 블록들은 순차적으로 정렬되며, 블록 분해부(120)는 가장 앞서는 DCT 블록으로부터 하나씩 분해하여 해당 DCT 블록에 대응하는 서브 블록들을 생성한다. 이때 블록 분해부(120)는 이전 DCT 블록이 분해되어 밝기 정보 개선부(130) 및 디테일 정보 개선부(140)에 의해 원본 영상의 품질 개선 과정이 수행되고 마지막으로 블록 재구성부(150)에 의해 이전 DCT 블록에 대응하는 변형 DCT 블록이 생성되면 이전 DCT 블록에 뒤따르는 DCT 블록을 분해하게 된다. 즉, 하나의 DCT 블록이 분해되고 그로부터 생성된 서브 블록들에 대해 순차적으로 원본 영상의 밝기 정보 및 디테일 정보를 개선하는 과정이 수행된 후, 변형된 변환 계수들로 이루어진 서브 블록들이 변형 DCT 블록으로 재구성되면 다음 DCT 블록이 분해되어 동일한 과정이 반복되는 것이다.

최종적으로 모든 DCT 블록에 대응하는 변형 DCT 블록이 생성되면 변형 DCT 블록에 대해 역 양자화 및 역 DCT가 수행되어 다음의 수학식 30으로 표현되는 결과 영상이 얻어진다. 즉, 결과 영상은 원본 영상에서 밝기 성분 및 디테일 성분이 개선된 영상이다.

도 6은 본 발명에 따른 압축 영역에서의 영상 복원 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 6을 참조하면, 압축 영상 입력부(110)는 원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환(DCT) 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 입력받는다(S610). 블록 분해부(120)는 순차적으로 정렬된 DCT 블록들을 사전에 설정된 변환 매트릭스에 의해 하나씩 분해하여 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성한다(S620).

밝기 정보 개선부(130)는 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변환함수에 의해 변형하여 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개선한다(S630). 또한 디테일 정보 개선부(140)는 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 원본 영상에 포함된 디테일 정보를 개선한다(S640). DC 성분 및 AC 성분의 변형 과정은 하나의 DCT 블록으로부터 생성된 복수의 서브 블록에 대해 순차적으로 반복하여 이루어진다.

블록 재구성부(150)는 DCT 블록으로부터 생성된 모든 서브 블록에 대하여 변 환 계수들의 값이 변형되면(S650) 변형된 변환 계수들로 이루어진 서브 블록들에 대해 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성한다(S660). 입력받은 복수의 DCT 블록 모두에 대응하는 변형 DCT 블록이 생성되지 않은 경우에는(S670) 블록 분해부(120)가 다음의 DCT 블록을 분해하여 서브 블록들을 생성하며, 앞에서 설명한 과정이 반복된다. 복수의 DCT 블록 모두에 대응하는 변형 DCT 블록이 생성되면(S670) 원본 영상의 품질 개선 과정이 종료되며, 변형 DCT 블록들에 대해 역 양자화 변환 및 역 DCT가 수행되어 원본 영상의 밝기 정보 및 디테일 정보가 개선된 결과 영상이 얻어진다.

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험을 위한 원본 영상으로는 웹상에서 얻을 수 있는 높은 동적 영역의 이미지가 사용되었다. 또한 복수의 실험 영상에 걸친 일관성을 위해 사용자로부터 입력받는 γ의 값, 그리고 기준값들인 τ₁, τ₂, τ₃ 및 τ₄의 초기값은 각각 1.95, 0.625, 10, 40 및 80으로 설정되었다. 여기서, 앞에서 설명한 바와 같이 γ는 사용자에 의해 입력되는 값이고, 나머지 값들은 영상의 작은 디테일 정보를 개선하기 위해 경험적으로 얻어지는 값이다.

다시 말하면, 원본 영상에서 컨텐츠를 포함하는 어둡거나 밝은 영역은

의 값이 τ₂와 τ₃ 사이의 범위에 포함됨에 따라 충분히 개선되지만, 평탄한 영역 또는 큰 에지가 존재하는 영역은 상대적으로 덜 개선된다. 나아가 τ₂의 값을 10으로 설정한 것은 주어진 DCT 변환 계수들의 값을 적절하게 조절하기 위한 것이다. 나머지 값들은 비트 연산에 의해 τ₁=(τ₂>>4), τ₃=(τ₂<<2), 그리고 τ₄=(τ₂<<3)과 같이 결정된 것이다. 본 실험에서는 실험 영상이 컬러 영상인 경우에도 휘도 성분만 사용되었다.

본 발명의 성능을 평가하기 위해 기존의 영상 품질 개선 방법인 히스토그램 평활화(histogram equalization), α-루팅 알고리즘(α-rooting algorithm) 및 다중 스케일 대비 개선 알고리즘(multi-scale contrast enhancement algorithm)이 본 발명과의 비교를 위해 사용되었다. 이 세 가지 기법들 중에서 히스토그램 평활화는 영상의 대비 개선을 위해 널리 사용되는 방법이고, 나머지 두 개의 알고리즘은 본 발명에서와 유사하게 AC 성분을 사용하여 압축 영역에서 영상의 디테일 정보를 개선하는 방법이다. 본 발명과 α-루팅 알고리즘, 그리고 다중 스케일 대비 개선 알고리즘의 주된 차이점은 본 발명을 제외한 나머지 두 개의 알고리즘에서는 DC 성분의 값은 변형시키지 않으며, 수학식 21에 의해 정의되는 영상의 스펙트럴 컨텐츠 값을 사용하지 않는다는 점이다.

본 발명과 위 세 가지 기법들 간의 성능 비교를 위해서는 PSNR과 왕(Wang)의 품질 척도가 사용되었다. PSNR은 원본 영상과 개선된 결과 영상 간의 차이를 수치적으로 나타내며, 왕의 품질 척도는 블록 현상이나 블러링(blurring) 현상과 같은 사람의 시지각 인자를 기초로 하는 영상의 특징을 나타낸다.

도 7은 기존의 방법과 본 발명에 의한 영상 품질 개선의 결과를 나타낸 도면이다. 기존의 방법은 본 발명에서의 영상 개선 과정을 서브 블록이 아닌 DCT 블록 에 적용한 방법이다. 즉, DCT 블록의 분해 과정이 사용되지 않는다. 도 7의 (a) 및 (b)에서 확대된 부분을 살펴보면, 기존의 방법을 사용한 경우에는 본 발명을 적용한 경우에 비해 영상의 큰 에지를 따라 블록 현상이 현저하게 나타난 것을 확인할 수 있다. 이는 기존의 방법에서는 본 발명에서 사용하는 4×4 크기의 서브 블록에 비해 네 배의 크기를 가지는 8×8 크기의 DCT 블록을 사용하기 때문이다. 또한 본 발명을 사용한 경우에는 기존의 방법을 사용한 경우에 비해 디테일 정보들이 보다 명확하게 표현되었다.

도 8은 본 발명을 다양한 영상에 적용한 실험 결과를 나타낸 도면이다. 도 8의 좌측에 위치하는 영상들은 원본 영상이며, 각각의 원본 영상의 우측에는 본 발명을 적용하여 얻어진 결과 영상이 나타나 있다. 먼저 도 8의 (a) 및 (b)를 참조하면, 본 발명을 적용함으로써 영상의 전체에 걸쳐, 특히 좌측 상단 및 우측 하단 부분의 밝기를 향상시킬 수 있다. 또한 도 8의 (c)는 햇빛에 의해 영상의 우측이 좌측에 비해 밝게 나타난 영상이다. 이 영상에 본 발명을 적용하여 얻어진 도 8의 (d)는 어두운 영역의 디테일 정보가 명확히 나타난 결과를 보여준다. 특히 영상 좌측에 위치하는 나무의 줄기가 선명하게 보이도록 개선되었다. 도 8의 (e)는 강한 빛에 의해 어두운 부분의 디테일 정보가 상당 부분 손실된 영상을 보여준다. 본 발명을 적용함으로써, 도 8의 (f)와 같이 탑의 구조물을 분간할 수 있을 정도로 개선되었음을 확인할 수 있다. 마지막으로 도 8의 (g) 및 (h)를 참조하면, 강한 햇빛으로 인해 나타난 영상의 지나치게 밝거나 어두운 영역의 디테일 정보가 뚜렷하게 복원된 결과를 나타낸다.

서로 다른 영상 품질 개선 알고리즘의 양적인 성능을 측정하기 위해 PSNR 및 왕의 품질 척도를 사용한 실험이 높은 동적 영역의 이미지에 대해 수행되었다. 동일한 원본 영상에 대해 다양한 알고리즘을 적용한 결과가 도 9에 도시되어 있다. 도 9의 (a)에 나타난 원본 영상은 아주 밝은 영역 및 어두운 영역에서 디테일 정보가 손실되어 있다. 도 9의 (b)는 개선된 히스토그램 평활화 알고리즘의 한 형태인 최소 평균 밝기 에러 바이-히스토그램 평활화(minimum mean brightness error bi-histogram equalization : MMEBHE)에 의해 얻어진 결과 영상으로, 영상의 개선이 과도하게 이루어져 지나치게 어두워지거나 밝아진 영역이 나타난다. α-루팅 알고리즘에 의해 얻어진 도 9의 (c)의 영상은 원본 영상과 거의 동일하게 나타난다. 대비 측정 알고리즘(contrast measure algorithm)에 의해 얻어진 도 9의 (d)의 영상에는 블록 현상이 심하게 나타난다. 8×8 DCT 블록을 사용한 기존의 방법을 적용하여 얻어진 도 9의 (e)의 영상은 좀 더 나은 결과를 보이지만 큰 에지 주변에서 의사(spurious) 에지가 발생한다. 마지막으로 도 9의 (f)를 참조하면, 본 발명을 원본 영상에 적용함으로써 어두운 영역 및 밝은 영역의 디테일 정보가 이전의 방법들에 비해 더 많이 복원되었음을 확인할 수 있다.

다음으로 영상 개선의 품질을 수치적으로 측정하기 위해 MMEBHE(알고리즘1), α-루팅 알고리즘(알고리즘2), 대비 측정 알고리즘(알고리즘3), 8×8 DCT 블록을 사용하는 기존 방법(알고리즘4) 및 본 발명을 비교하였다. 다섯 가지 기법의 성능은 PSNR 및 왕의 척도에 의해 측정되었다. 각각의 수치는 서로 다른 양자화 레벨을 사용하여 측정된 것이다(Q₃₀, Q₅₀, Q₇₅ 및 Q₉₅). 작은 값이 더 많이 압축될 수 있도록 다음의 수학식 31과 같이 품질 인자를 사용하여 양자화 매개변수를 조절할 수 있다.

다음의 표 1 및 표 2는 각각 PSNR 및 품질 척도에 의해 측정된 각 알고리즘들의 성능을 나타낸 것이다. 각 원본 영상에서 얻어진 최대값은 굵은 글씨로 강조되어 표시되었다.

	PSNR(Q₃₀/Q₅₀/Q₇₅/Q₉₅)
	알고리즘1	알고리즘2	알고리즘3	알고리즘4	본 발명
#1	62.6/68.4/ 63.0/71.8	82.3/83.3/ 85.0/86.6	68.8/68.8/ 68.8/68.7	71.3/71.3/ 71.4/71.4	74.1/74.2/ 74.4/74.7
#2	71.0/71.2/ 72.2/73.9	77.1/78.0/ 80.1/82.9	64.0/63.8/ 63.6/63.5	67.7/67.6/ 67.5/67.4	71.8/72.1/ 72.6/73.5
#3	68.0/68.7/ 68.1/68.1	79.4/80.4/ 82.4/85.4	66.0/65.8/ 65.6/65.3	67.6/67.5/ 67.3/67.1	71.2/71.3/ 71.6/72.4
#4	69.3/69.8/ 68.1/69.4	74.5/74.9/ 75.4/77.7	64.0/63.6/ 62.9/64.1	70.4/70.4/ 70.2/71.5	72.0/72.3/ 73.1/73.8
#5	72.4/73.1/ 70.0/73.7	79.8/80.7/ 82.6/85.2	67.3/67.1/ 66.9/66.7	68.0/67.9/ 67.8/67.6	70.2/70.3/ 70.6/71.3
평균	68.7/70.2/ 68.3/71.4	78.6/79.5/ 81.1/83.6	66.0/65.8/ 65.5/65.6	69.0/68.9/ 68.8/69.0	71.8/72.0/ 72.5/73.1

	WANG(Q₃₀/Q₅₀/Q₇₅/Q₉₅)
	알고리즘1	알고리즘2	알고리즘3	알고리즘4	본 발명
#1	5.8/7.3/7.5/9.1	18.4/19.1/ 20.3/21.2	17.9/18.6/ 19.5/20.4	19.3/20.1/ 21.2/22.3	19.7/20.5/ 21.6/23.0
#2	7.0/7.6/8.6/9.5	18.2/18.8/ 19.7/20.6	17.5/18.1/ 19.1/19.9	18.0/18.6/ 19.6/20.5	19.1/19.7/ 20.8/22.0
#3	5.8/6.8/8.1/9.4	17.9/18.7/ 19.9/21.0	17.4/18.1/ 19.3/20.3	17.5/18.2/ 19.3/20.4	18.5/19.3/ 20.7/22.3
#4	7.0/7.8/9.1/9.1	18.5/19.2/ 20.4/20.4	17.9/18.6/ 19.9/19.7	19.4/20.0/ 21.3/21.4	19.9/20.6/ 22.0/21.9
#5	5.9/6.7/7.8/9.1	17.7/18.5/ 19.7/20.7	17.2/18.0/ 19.1/20.0	17.4/18.1/ 19.3/20.3	17.9/18.7/ 20.1/21.8
평균	6.3/7.2/8.2/9.2	18.1/18.9/ 20.0/20.8	17.6/18.3/ 19.4/20.1	18.3/19.0/ 20.1/21.0	19.0/19.7/ 21.0/22.2

PSNR과 품질 척도의 값은 영상의 품질이 높을수록 더 큰 값을 나타낸다. 표 1 및 표 2를 참조하면, PSNR에 있어서는 α-루팅 알고리즘(알고리즘2)이 가장 높은 값을 보이지만 품질 척도에 있어서는 본 발명이 가장 높은 값을 보이는 것을 알 수 있다.

위 실험 결과를 요약하여 각각의 알고리즘에 대한 측정값의 평균을 다음의 표 3에 나타내었다.

	PSNR					왕(WANG)의 품질 척도
	1	2	3	4	본발명	1	2	3	4	본발명
#1	66.392	84.269	68.696	71.301	74.278	7.384	19.703	19.057	20.693	21.144
#2	72.047	79.489	63.667	67.465	72.441	8.087	19.266	18.598	19.129	20.319
#3	68.181	81.858	65.603	67.355	71.576	7.484	19.345	18.710	18.832	20.136
#4	69.110	75.585	63.593	70.581	72.733	8.190	19.575	18.989	20.471	21.022
#5	72.258	82.043	66.961	67.748	70.554	7.316	19.127	18.514	18.739	19.585
평균	69.598	80.649	65.704	68.890	72.316	7.692	19.403	18.774	19.573	20.441

먼저 PSNR의 경우에는 α-루팅 알고리즘에 대한 수치가 가장 높고 그 다음이 본 발명에 대한 수치이다. 그러나 PSNR은 원본 영상과 복원된 결과 영상 사이의 차이만을 기반으로 측정되며, 복원된 영상이 시각적 정보를 더 많이 포함하고 있는지 여부에 대하여는 측정하지 않는다. 한편, 왕의 품질 척도의 경우에는 본 발명에서 가장 높은 수치를 보인다. 왕의 품질 척도는 영상의 개선 품질을 측정할 때 블록 현상 및 블러링 효과와 같은 사람의 시지각 인자를 고려하기 때문에 본 발명이 주어진 영상에 상대적으로 작은 변화를 초래하면서도 만족할 만한 개선 결과를 가져올 수 있음을 의미한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 본 발명에 따른 압축 영역에서의 영상 복원 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,

도 2는 64개의 DCT 기본 함수를 도시한 도면,

도 3은 7개의 주파수 밴드로 분류되는 서브 블록의 형태를 도시한 도면,

도 4는 영상의 개선 정도를 조절하는 γ의 값이 서로 다르게 설정되었을 때 입력값과 출력값의 관계를 도시한 그래프,

도 5는 개선값의 스무딩을 위해 사용되는 이웃 서브 블록들의 예를 도시한 도면,

도 6은 본 발명에 따른 압축 영역에서의 영상 복원 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,

도 7은 기존의 방법과 본 발명에 의한 영상 품질 개선의 결과를 나타낸 도면,

도 8은 본 발명을 다양한 영상에 적용한 실험 결과를 나타낸 도면, 그리고,

도 9는 동일한 원본 영상에 대해 다양한 알고리즘을 적용한 결과를 나타낸 도면이다.

Claims

원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 순차적으로 입력받는 압축 영상 입력부;

상기 순차적으로 입력된 DCT 블록 각각을 사전에 설정된 변환 매트릭스에 의해 분해하여 상기 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성하는 블록 분해부;

상기 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변환함수에 의해 변형하여 상기 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개선하는 밝기 정보 개선부;

상기 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 상기 원본 영상에 포함된 디테일 정보를 개선하는 디테일 정보 개선부; 및

상기 DCT 블록으로부터 생성된 모든 서브 블록에 대하여 상기 변환 계수들의 값이 변형되면 변형된 변환 계수들로 이루어진 서브 블록들에 대해 상기 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성하는 블록 재구성부;를 포함하는 것을 특징으로 하는 영상 복원 장치.
제 1항에 있어서,

상기 블록 분해부는 하기 수학식 A에 의해 상기 DCT 블록으로부터 네 개의 서브 블록을 생성하는 것을 특징으로 하는 영상 복원 장치:

[수학식 A]

여기서,
는 복수의 DCT 블록 중에서 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록,
는 ω번째 DCT 블록, 그리고 A_(2,4)는 상기 변환 매트릭스이다.
제 1항 또는 제 2항에 있어서,

상기 밝기 정보 개선부는 하기 수학식 B로 정의되는 상기 제1변환함수에 의해 상기 서브 블록에서 DC 성분에 해당하는 변환 계수의 변형된 값인
을 산출하는 것을 특징으로 하는 영상 복원 장치:

[수학식 B]

여기서, Q[·]는 양자화 변환 함수, I_max는 상기 원본 영상을 구성하는 화소들의 밝기값 중에서 최대값,
은 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록의 DC 성분에 해당하는 변환 계수,
은 양자화된 DCT 변환 계수에 대해 적용되는 양자화 매개변수, 그리고 γ는 밝기 정보의 개선 정도를 조절하기 위해 사전에 설정된 조절값이다.
제 3항에 있어서,

상기 조절값은 상기 서브 블록마다 고유하게 적용되도록 상기 서브 블록에 포함된 고주파 성분의 양에 따라 상기 조절값이 변형되어 결정되는 개선값으로 수정되는 것을 특징으로 하는 영상 복원 장치.
제 3항에 있어서,

상기 밝기 정보 개선부는 동일한 DCT 블록으로부터 생성된 서브 블록들 각각에 대하여 상기 각각의 서브 블록에 포함된 고주파 성분의 양을 기초로 하는 개선값을 산출하고, 상기 각각의 서브 블록 및 상기 서브 블록에 이웃하는 복수의 이웃 서브 블록에 대해 결정된 개선값들의 평균인 평균 개선값을 상기 조절값으로 결정하는 것을 특징으로 하는 영상 복원 장치.
제 1항 또는 제 2항에 있어서,

상기 디테일 정보 개선부는 하기 수학식 C로 정의되는 상기 제2변환함수에 의해 상기 서브 블록에서 AC 성분에 해당하는 변환 계수의 변형된 값인
를 산출하는 것을 특징으로 하는 영상 복원 장치:

[수학식 C]

는 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 (u,v)의 위치에 해당하는 변환 계수의 값,
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 DC 성분에 해당하는 변환 계수의 변형 정도를 기초로 결정되는 개선 인자의 값, 그리고
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 u+v의 값이 모두 동일한 변환 계수들로 이루어진 n(=u+v)번째 주파수 밴드에 대한 에너지 비이다.
제 6항에 있어서,

상기 개선 인자의 값은 하기 수학식 D에 의해 결정되고, 상기 에너지 비는 하기 수학식 E에 의해 결정되는 것을 특징으로 하는 영상 복원 장치:

[수학식 D]

여기서,
은 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 DC 성분에 해당하는 변환 계수의 변형된 값,
은 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록의 DC 성분에 해당하는 변환 계수의 값, 그리고 δ는 0.01 이하의 값이며,

[수학식 E]

여기서,
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 두 번째부터 n-1번째까지의 주파수 밴드를 구성하는 변환 계수들의 변형된 값으로 이루어진 집합,
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 두 번째부δ터 n-1번째까지의 주파수 밴드를 구성하는 변환 계수들의 값으로 이루어진 집합, 그리고 ||·||_F ²는 프로베니우스 놈의 제곱이다.
제 1항 또는 제 2항에 있어서,

상기 서브 블록을 구성하는 변환 계수들의 변형된 값이 사전에 설정된 최소값보다 작으면 상기 변형된 값을 상기 최소값으로 교체하고, 상기 변형된 값이 사전에 설정된 최대값보다 크면 상기 변형된 값을 상기 최대값으로 교체하는 것을 특징으로 하는 영상 복원 장치.
제 1항 또는 제 2항에 있어서,

상기 변형 DCT 블록을 구성하는 변형된 변환 계수들 중에서 상기 DCT 블록에서 0의 값을 가지는 변환 계수의 위치에 대응하는 변환 계수의 값을 0으로 교체하는 것을 특징으로 하는 영상 복원 장치.
(a) 원본 영상이 복수의 단위 블록으로 분할되고 각각의 단위 블록에 이산 코사인 변환 및 양자화 변환이 수행되어 생성된 복수의 DCT 블록을 순차적으로 입력받는 단계;

(b) 상기 순차적으로 입력된 DCT 블록 각각을 사전에 설정된 변환 매트릭스에 의해 분해하여 상기 DCT 블록을 구성하는 변환 계수들의 주파수 분포와 동일한 주파수 분포를 가지는 복수의 서브 블록을 생성하는 단계;

(c) 상기 서브 블록을 구성하는 변환 계수들 중에서 DC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제1변환함수에 의해 변형하여 상기 원본 영상의 어두운 영역 및 밝은 영역에서의 밝기 정보를 개선하는 단계;

(d) 상기 서브 블록을 구성하는 변환 계수들 중에서 AC 성분에 해당하는 변환 계수의 값을 비선형 함수인 제2변환함수에 의해 변형하여 상기 원본 영상에 포함된 디테일 정보를 개선하는 단계; 및

(e) 상기 DCT 블록으로부터 생성된 모든 서브 블록에 대하여 상기 변환 계수들의 값이 변형되면 변형된 변환 계수들로 이루어진 서브 블록들에 대해 상기 변환 매트릭스의 역 매트릭스를 적용하여 변형 DCT 블록으로 재구성하는 단계;를 포함하는 것을 특징으로 하는 영상 복원 방법.
제 10항에 있어서,

상기 (b) 단계에서, 하기 수학식 A에 의해 상기 DCT 블록으로부터 네 개의 서브 블록을 생성하는 것을 특징으로 하는 영상 복원 방법:

[수학식 A]

여기서,
는 복수의 DCT 블록 중에서 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록,
는 ω번째 DCT 블록, 그리고 A_(2,4)는 상기 변환 매트릭스이다.
제 10항 또는 제 11항에 있어서,

상기 (c) 단계에서, 하기 수학식 B로 정의되는 상기 제1변환함수에 의해 상기 서브 블록에서 DC 성분에 해당하는 변환 계수의 변형된 값인
을 산출하는 것을 특징으로 하는 영상 복원 방법:

[수학식 B]

여기서, Q[·]는 양자화 변환 함수, I_max는 상기 원본 영상을 구성하는 화소들의 밝기값 중에서 최대값,
은 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록의 DC 성분에 해당하는 변환 계수,
은 양자화된 DCT 변환 계수에 대해 적용되는 양자화 매개변수, 그리고 γ는 밝기 정보의 개선 정도를 조절하기 위해 사전에 설정된 조절값이다.
제 12항에 있어서,

상기 조절값은 상기 서브 블록마다 고유하게 적용되도록 상기 서브 블록에 포함된 고주파 성분의 양에 따라 상기 조절값이 변형되어 결정되는 개선값으로 수정되는 것을 특징으로 하는 영상 복원 방법.
제 12항에 있어서,

상기 (c) 단계에서, 동일한 DCT 블록으로부터 생성된 서브 블록들 각각에 대하여 상기 각각의 서브 블록에 포함된 고주파 성분의 양을 기초로 하는 개선값을 산출하고, 상기 각각의 서브 블록 및 상기 서브 블록에 이웃하는 복수의 이웃 서브 블록에 대해 결정된 개선값들의 평균인 평균 개선값을 상기 조절값으로 결정하는 것을 특징으로 하는 영상 복원 방법.
제 10항 또는 제 11항에 있어서,

상기 (d) 단계에서, 하기 수학식 C로 정의되는 상기 제2변환함수에 의해 상기 서브 블록에서 AC 성분에 해당하는 변환 계수의 변형된 값인
를 산출하는 것을 특징으로 하는 영상 복원 방법:

[수학식 C]

는 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 (u,v)의 위치에 해당하는 변환 계수의 값,
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 DC 성분에 해당하는 변환 계수의 변형 정도를 기초로 결정되는 개선 인자의 값, 그리고
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 u+v의 값이 모두 동일한 변환 계수들로 이루어진 n(=u+v)번째 주파수 밴드에 대한 에너지 비이다.
제 15항에 있어서,

상기 개선 인자의 값은 하기 수학식 D에 의해 결정되고, 상기 에너지 비는 하기 수학식 E에 의해 결정되는 것을 특징으로 하는 영상 복원 방법:

[수학식 D]

여기서,
은 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 DC 성분에 해당하는 변환 계수의 변형된 값,
은 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록의 DC 성분에 해당하는 변환 계수의 값, 그리고 δ는 0.01 이하의 값이며,

[수학식 E]

여기서,
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 두 번째부터 n-1번째까지의 주파수 밴드를 구성하는 변환 계수들의 변형된 값으로 이루어진 집합,
는 상기 ω번째 DCT 블록으로부터 생성된 pq번째 서브 블록에서 두 번째부δ터 n-1번째까지의 주파수 밴드를 구성하는 변환 계수들의 값으로 이루어진 집합, 그리고 ||·||_F ²는 프로베니우스 놈의 제곱이다.
제 10항 또는 제 11항에 있어서,

상기 서브 블록을 구성하는 변환 계수들의 변형된 값이 사전에 설정된 최소값보다 작으면 상기 변형된 값을 상기 최소값으로 교체하고, 상기 변형된 값이 사전에 설정된 최대값보다 크면 상기 변형된 값을 상기 최대값으로 교체하는 것을 특징으로 하는 영상 복원 방법.
제 10항 또는 제 11항에 있어서,

상기 변형 DCT 블록을 구성하는 변형된 변환 계수들 중에서 상기 DCT 블록에서 0의 값을 가지는 변환 계수의 위치에 대응하는 변환 계수의 값을 0으로 교체하는 것을 특징으로 하는 영상 복원 방법.
제 10항 또는 제 11항에 기재된 영상 복원 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.