KR20130131073A - 영상 복원 장치 및 방법 - Google Patents

Abstract

본 발명은 저해상도 영상을 복원하는 방법 및 장치에 있어서, 저해상도 영상을 확대하고, 확대 전 저해상도 영상에서 고주파 성분과 텍스처 성분을 추출하고, 상기 추출한 고주파 성분 및 텍스처 성분을 상기 확대된 저해상도 영상과 합성하여 영상을 복원한다. 본 발명에 따르면 별도의 외부 DB 없이 자신의 영상 성분만을 합성함으로써 영상의 윤곽선의 선명도를 향상시킬 수 있고 세밀한 텍스처 성분을 효과적으로 복원할 수 있다.

Description

영상 복원 장치 및 방법{APPARATUS AND METHOD FOR RECONSTRUCTING IMAGE}

본 발명은 영상 표시 장치 및 방법에 관한 것으로, 특히 영상을 복원하는 장치 및 방법에 관한 것이다.

영상은 압축 및 스케일링 과정에서 주파수 성분의 손실이　일어난다.　그 과정에서 영상은　세밀한 질감이　손실되어 성글거나 밋밋한 느낌의 영상으로 특성이 변하여 시각적으로 좋지 않은 느낌을 주게 된다. 이러한 열화 현상을 보상하기 위해 다양한 방법들이 개발되고 있다. 영상 복원 기반 방법들은 영상이 열화되는 과정을 모델링하고 최적의 해를 찾는 방법으로 열화된 주파수 성분을 복원한다. 샤프닝(Sharpening) 기반 방법은 경험적(heuristic) 방법으로서 주파수 성분의 크기를 증폭 시킨다. 영상 복원 기반 방법과 샤프닝 기반 방법 모두 주파수 성분의 증폭으로 인해 전체적인 영상의 선명도는 향상되지만, 이미 손실되어 버린　고주파 성분을 복원하는 데는 한계가 있기 때문에　원 영상의 세밀한 질감까지 복원하는 데에는 어려움이 있다.　

도 1은 Freeman이 제안한 영상 복원 기반 방법을 도시한 것이다.

도 1에서 Y_LR은 저해상도 영상을, Y_ILR은 확대된 저해상도 영상을, Y_{ILR , HF}는 확대된 저해상도 영상의 고주파 성분을, Y_{DB , HF}는 DB에 저장된 고주파 성분을 각각 나타낸다.

도 1을 참조하면, 미리 학습된 중주파와 고주파 쌍의 영상 패치에 대한 정보를 외부 데이터베이스(DB)에 저장하고, 상기 DB를 통해 초기 확대된 영상의 중주파 성분을 고주파 성분으로 대체하는 방법이다. 즉, 외부의 DB 로부터 고주파 성분(Y_{DB , HF})을 가져와서 확대된 영상의 흐릿해진 주파수 성분(Y_{ILR , HF})을 상기 고주파 성분(Y_{DB , HF})으로 대체한다. 이 방법은 미리 학습 시켜야 하는 DB의 양이 20만개 이상으로 방대하며, 상기 학습된 데이터를 저장해야 하는 메모리가 필요하다. 또한 영상을 복원하는 과정에서도 복원 단위마다 최적의 패치를 찾기 위해 확대된 영상의 Y_ILR,HF를 모든 DB의 고주파 성분(Y_{DB , HF})과 대조해야 하는 연산이 필요하므로 복잡도가 상당하다. 또한 복원 성능 면에서도 현재 위치의 밝기 값을 미리 복원된 주변 밝기 값을 바탕으로 유추하여 예측하는 방식(Markov random field)을 사용하기 때문에 텍스처와 같이 주변과의 상관성이 낮은 통계적 성분의 복원에는 한계가 있다. 또한 샤프닝 기반 방법도 주파수 성분을 증폭 시키는 방법이므로 고주파 성분의 복원에는 한계가 있다.　

본 발명이 해결하고자 하는 과제는 영상 복원 과정에서 영상 확대시 발생하는 영상의 흐릿함과 텍스처의 손실을 효과적으로 복원하는 방법 및 장치를 제공하는 것이다.

또한 본 발명이 해결하고자 하는 과제는 외부 데이터베이스를 이용하지 않고 비교적 간단한 과정을 통해 효과적으로 영상을 복원하는 방법 및 장치를 제공하는 것이다.

본 발명의 실시예에 따르면, 저해상도 영상을 복원하는 방법에 있어서, 저해상도 영상을 확대하는 과정과, 확대 전 저해상도 영상에서 고주파 성분과 텍스처 성분을 추출하는 과정과, 상기 추출한 고주파 성분 및 텍스처 성분을 상기 확대된 저해상도 영상과 합성하여 영상을 복원하는 과정을 포함한다.

또한 본 발명의 실시예에 따르면, 저해상도 영상을 복원하는 장치에 있어서, 저해상도 영상을 확대하는 스케일러와, 확대 전 저해상도 영상에서 고주파 성분과 텍스처 성분을 추출하는 추출부와, 상기 추출한 고주파 성분 및 텍스처 성분을 상기 확대된 저해상도 영상과 합성하여 영상을 복원하는 합성부를 포함한다.

본 발명은 별도의 외부 DB 없이 자신의 영상 성분만을 합성함으로써 영상의 윤곽선의 선명도를 향상시킬 수 있고 세밀한 텍스처 성분을 효과적으로 복원할 수 있다.

도 1은 종래의 영상 복원 기반 방법을 도시한 도면
도 2는 본 발명의 실시예에 따른 영상 복원 과정을 개략적으로 도시한 도면
도 3은 본 발명의 실시예에 따른 영상 복원 과정을 도시한 순서도
도 4는 본 발명의 실시예에 따른 영상 복원 장치를 도시한 블록도

하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하기로 한다.

본 발명은 영상을 복원함에 있어서, 축소된 영상 또는 확대 전 영상으로부터 고주파 성분과 텍스처 성분을 별도로 추출하고 확대 후 영상과 이질감이 적은 부분을 판별하여 상기 추출한 성분을 합성한다. 이하 본 명세서에서는 설명의 편의를 위하여 휘도를 나타내는 Y　채널을 기준으로 본 발명을 설명하나 본 발명은 크로마를 나타내는 C　채널에도 적용 가능하다.　

도 2는 본 발명의 실시예에 따른 영상 복원 과정을 개략적으로 도시한 도면이다.

도 2에서 Y_LR은 저해상도 영상을, Y_ILR은 확대된 저해상도 영상을, Y_{ILR , HF}는 확대된 저해상도 영상의 고주파 성분을, Y_{LR , HF}는 저해상도 영상의 고주파 성분을, Y_{LR ,T}는 저해상도 영상의 텍스처 성분을 각각 나타낸다.

도 2를 참조하면, 확대전 저해상도 영상 Y_LR로부터 저해상도 영상의 고주파 성분 Y_LR,HF와 저해상도 영상의 텍스처 성분 Y_{LR ,T}을 각각 추출하고 확대된 영상의 흐릿해진 주파수 성분 Y_{ILR , HF}과 저해상도 영상의 고주파 성분 Y_{LR , HF}와 저해상도 영상의 텍스처 성분 Y_{LR ,T}을 모두 합성한다.

이하 본 발명의 실시예에 따른 영상 복원 과정을 상세하게 설명한다.

본 발명은 확대 전 영상 Y_LR로부터 고주파 성분 Y_{LR , HF} 과 텍스처 성분 Y_{LR ,T}을 추출한다. 만약 확대 전 영상이 없고 확대 후 영상 Y_ILR만 있다면 확대 후 영상을 다운 샘플링하여 확대 전 영상으로 사용한다. 고주파 성분은, 다음 수학식 1과 같이 먼저 저해상도 영상 Y_LR을 저역 통과 필터(low-pass filter:LPF)를 사용하여 저해상도 영상의 저주파 성분 Y_{LR , LF}를 추출하고, 저해상도 영상 Y_LR에서 상기 저주파 성분 성분 Y_LR,LF를 빼는 과정을 통해 분리할 수 있다.

텍스처 성분의 고주파 성분도 상기와 비슷한 방법을 사용하여 수학식 2와 같은 과정을 통해 추출한다. 이때, 텍스처 성분은 에지 성분을 제외해야 하기 때문에 저대역 통과 필터 대신에 에지를 보존하는 바이레터럴 필터 (bilateral filter)를 사용하여 추출한다.

한편, 본 발명은 영상 복원을 위해 저해상도 영상으로부터 고주파 성분과 텍스처 성분을 추출하는 방법을 상기 수학식 1, 2와 같은 방법에 한정하지 않으며, 본 발명에서 제시한 방법 이외의 다양한 방법들을 사용할 수 있음은 당연한 것이다.

다음, 확대된 영상과 확대 후 영상간에 가장 유사한 패치(블록)를 찾는 방법에 대해서 설명한다.

영상은 자기 유사성이 있기 때문에 확대 전 영상과 확대 후 영상은 국부적으로 관찰하였을 때 유사한 특성을 가진다. 이러한 특성을 이용하여 확대 전 영상

이

배율로 확대된 영상

의 특정 위치 (i,j)를 복원할 때 확대 전 영상

에 해당하는 위치 (i/m, j/n)의 주변에서 확대 후 영상과 가장 일치하는 영상 패치를 찾는다.　가장 일치하는 패치는 해당하는 밝기의 차이의 합(Sum of Absolute Different: SAD)이 가장 작은 곳을 찾음으로써 구할 수 있다.

다음 수학식 3은 패치의 크기를 가로 2a+1, 세로 2b+1로 지정하였을 경우 중심으로부터 각각

　떨어진 곳에서의 SAD를 구하는 식을 나타낸다.

여기서

는 비교 위치를 나타낸다.

　범위가 (-5 ~ 5)라면 총 121지점에서 SAD를 구하게 되며, 이 중 가장 작은 SAD를 가진 위치가 가장 일치하는 패치에 해당하는 중심 위치이다.　

다음은 고주파 성분과 텍스처 성분을 합성하는 과정을 설명한다.

상기 수학식 3을 통해 찾은 중심 위치에 해당하는 고주파 성분

은 확대 후 영상에 가중치 w로 합성된다. 이때 가중치를 구하는 방법은 다양한 방법이 있으며 본 발명에서는 하기에서 가중치를 구하는 하나의 예를 설명하겠으나 본 발명은 이에 한정되지 않는다.

일반적으로 가중치의 값은 SAD에 반비례하며 특정 직류(DC) 값을 가진다. 다음 수학식 4는 1차원 선으로 SAD에 반비례하는 가중치를 구하는 방법이다.

여기서 a는 기울기, b는 절편을 나타낸다.

상기에서 구한 가중치 값을 이용하여 수학식 5와 같이 저해상도 영상과 고해상도 영상을 합성한다.

여기서,

은 확대된 영상의 (i,j) 위치에서 확대 전 영상의 고주파 성분이 합성된 결과를 나타낸다.　

텍스처 성분은 픽셀 단위가 아닌 특정 크기의 블록 단위로 합성된다는 점을 제외하면 고주파 성분과 동일한 방법으로 합성된다. 이렇게 블록 단위로 합성함으로써 확대 전 영상

의 텍스처 특성을 유지시킬 수 있다.　

수학식 6은 확대된 영상의 (i,j) 위치에서 확대 전 영상이 고주파 성분 및 텍스처 성분이 합성된 최종 결과

를 나타낸 것이다.

도 2에서는 고주파 성분은 오버랩(overlap) 되고 픽셀 단위로 합성되는 텍스처의 패치는 블록 단위로 합성되는 예를 도시한 것이다.

또한 영상 복원의 성능을 높이기 위해 고주파 성분과 텍스처 성분으로 합성된 영상은 HR 버퍼에 초기 저장하고 미리 설정된 횟수에 따라 위의 과정을 반복할 수 있다. 즉,

　로 설정한 후 위의 과정을 반복한다.

또한 동영상일 경우에는 이전 프레임에서 복원된 영상

을 HR 버퍼에 담아 두고 다음 프레임으로부터 얻은 저해상도 영상으로부터 얻은 확대된 영상과 고주파 성분과 텍스처 성분을 사용하여 영상을 복원할 수 있다. 수학식 7은 동영상을 복원하는 식을 나타낸 것이다.

여기서

은 n번째 프레임에서 복원된 영상을 나타내고, a 는 이전 프레임에서 복원된 영상을 사용하는 비율을 나타낸다.

도 3은 본 발명의 실시예에 따른 영상 복원 과정을 도시한 순서도이다.

도 3을 참조하면, 301 과정에서 저해상도 영상 Y_LR을 확대한 영상 Y_ILR을 얻고, 302 과정에서 Y_LR과 Y_ILR간에 픽셀의 밝기 차의 절대값의 합(Sum of Absolute Different: SAD)이 가장 작은 Y_LR의 위치를 찾는다. 303 과정에서 검색된 위치의 저해상도 영상 Y_LR로부터 저해상도 영상의 고주파 성분 Y_{LR , HF}과 텍스처 성분 Y_{LR ,T}를 추출하고, 304 과정에서 확대된 저해상도 영상 Y_ILR에 상기 추출된 저해상도 영상의 고주파 성분 Y_LR,HF과 텍스처 성분 Y_{LR ,T}를 합성한다. 305 과정에서는 현재 픽셀이 마지막 픽셀인지를 확인하고 마지막 픽셀이면 복원 과정을 종료하며 마지막 픽셀이 아니면 306 과정에서 다음 픽셀로 이동 후 302 과정 내지 305 과정을 반복 수행한다.

도 4는 본 발명의 실시예에 따른 영상 복원 장치를 도시한 블록도이다.

도 4를 참조하면, 저해상도 영상 Y_LR은 영상 확대기(401)에서 확대되어 Y_ILR이 출력되고 Y_ILR은 고주파 합성부(405)로 입력된다. 또한 저해상도 영상 Y_LR은 텍스처 추출부(402), 고주파 추출부(403) 및 최적성분 검출부(404)로 각각 입력된다. 텍스처 추출부(402)는 바이레터럴 필터를 이용하여 Y_LR로부터 텍스처 성분 Y_{LR ,T}을 추출하여 텍스처 합성부(406)로 출력하고, 고주파 추출부(403)는 저역 통과 필터를 이용하여 Y_LR로부터 고주파 성분 Y_{LR , HF}을 추출하여 고주파 합성부(405)로 출력한다. 최적성분 검출부(404)는 확대된 영상 Y_ILR의 특정 위치 (i,j)와, 이에 대응하는 확대 전 영상 Y_LR의 위치의 주변에서 확대 후 영상을 비교하여 SAD가 가장 작은 영상 패치를 찾은 후 고주파 합성부(405)로 출력한다.

고주파 합성부(405)는 최적성분 검출부(404)에서 출력된 위치의 Y_ILR 영상을 고주파 추출부(403)에서 추출된 고주파 성분 Y_{LR , HF}과 합성하여 텍스처 합성부(406)로 출력한다. 텍스처 합성부(406)는 고주파 합성부(405)에서 합성된 신호에 텍스처 추출부(402)에서 추출된 텍스처 성분 Y_{LR ,T}를 합성하여 최종 합성된 신호를 출력한다.

또한 동영상의 경우에는 이전(n-1번째) 프레임에서 최종 합성된 신호

를 HR 버퍼(407)에 저장하였다가 다음(n번째) 프레임에서 고주파 합성부(405)부에서 고주파 성분을 합성할 때 이용하여 최종 합성된 신호

를 얻는다.

한편, 전술한 실시예들은 본 발명의 예시로서 이해될 것이다. 위의 실시예들 중 어느 하나와 연관되어 기술된 모든 특징은 단독으로 이용되거나 기술된 다른 특징들과 조합하여 이용될 수 있으며, 실시예들 중 다른 실시예의 하나 또는 그 이상의 특징들과 조합하여 이용되거나 실시예들 중 다른 실시예들의 조합으로 이용될 수 있음을 이해할 것이다. 본 발명이 특정한 실시예들을 참조하여 도시되고 설명되었지만, 당업자는 첨부된 청구항들 및 그와 동등한 것들에 의해 정의되는 바와 같은 본 발명의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항들에 있어 다양한 변경이 이루어질 수 있음을 이해할 것이다.

Claims (10)

1. 저해상도 영상을 복원하는 방법에 있어서,
   저해상도 영상을 확대하는 과정과,
   확대 전 저해상도 영상에서 고주파 성분과 텍스처 성분을 추출하는 과정과,
   상기 추출한 고주파 성분 및 텍스처 성분을 상기 확대된 저해상도 영상과 합성하여 영상을 복원하는 과정을 포함하는 영상 복원 방법.
2. 제1항에 있어서,
   상기 고주파 성분 및 텍스처 성분을 추출하는 과정은,
   저역통과 필터를 이용하여 상기 확대 전 저해상도 영상으로부터 상기 고주파 성분을 추출하고, 바이레터럴 필터를 이용하여 상기 확대 전 저해상도 영상으로부터 상기 텍스처 성분을 추출함을 특징으로 하는 영상 복원 방법.
3. 제1항에 있어서,
   상기 합성하여 영상을 복원하는 과정은,
   상기 확대 전 저해상도 영상과 상기 확대된 저해상도 영상간에 밝기의 차이의 합(Sum of Absolute Different: SAD)이 가장 작은 위치를 찾고, 상기 찾은 위치에 해당하는 확대된 저해상도 영상과 상기 찾은 위치에 해당하는 상기 고주파 성분 및 텍스처 성분을 합성하여 영상을 복원함을 특징으로 하는 영상 복원 방법.
4. 제1항에 있어서,
   상기 고주파 성분 및 텍스처 성분과 상기 확대된 저해상도 영상이 합성된 영상을 상기 추출한 고주파 성분 및 텍스처 성분과 합성하는 과정을 소정 회수만큼 반복함을 특징으로 하는 영상 복원 방법.
5. 제1항에 있어서,
   상기 합성하여 영상을 복원하는 과정은,
   상기 영상이 동영상일 경우, 이전 프레임에서 최종 합성된 영상과 다음 프레임의 확대 전 저해상도 영상을 이용하여 상기 다음 프레임의 영상을 복원함을 특징으로 하는 영상 복원 방법.
6. 저해상도 영상을 복원하는 장치에 있어서,
   저해상도 영상을 확대하는 스케일러와,
   확대 전 저해상도 영상에서 고주파 성분과 텍스처 성분을 추출하는 추출부와,
   상기 추출한 고주파 성분 및 텍스처 성분을 상기 확대된 저해상도 영상과 합성하여 영상을 복원하는 합성부를 포함하는 영상 복원 장치.
7. 제6항에 있어서,
   상기 추출부는,
   저역통과 필터를 이용하여 상기 확대 전 저해상도 영상으로부터 상기 고주파 성분을 추출하는 고주파 추출부와,
   바이레터럴 필터를 이용하여 상기 확대 전 저해상도 영상으로부터 상기 텍스처 성분을 추출하는 텍스처 추출부를 포함함을 특징으로 하는 영상 복원 장치.
8. 제6항에 있어서,
   상기 합성부는,
   상기 확대 전 저해상도 영상과 상기 확대된 저해상도 영상간에 밝기의 차이의 합(Sum of Absolute Different: SAD)이 가장 작은 위치를 찾는 최적 성분 검출부와,
   상기 최적 성분 검출부에서 찾은 위치에 해당하는 확대된 저해상도 영상과 상기 찾은 위치에 해당하는 상기 고주파 성분을 합성하는 고주파 합성부와,
   상기 고주파 성분이 합성된 영상에 상기 텍스처 성분을 합성하여 복원된 영상을 출력하는 텍스처 합성부를 포함함을 특징으로 하는 영상 복원 장치.
9. 제6항에 있어서,
   상기 합성부는,
   상기 고주파 성분 및 텍스처 성분과 상기 확대된 저해상도 영상이 합성된 영상을 상기 추출한 고주파 성분 및 텍스처 성분과 합성하는 과정을 소정 회수만큼 반복함을 특징으로 하는 영상 복원 장치.
10. 제6항에 있어서,
    상기 영상이 동영상일 경우, 이전 프레임에서 최종 합성된 영상을 저장하는 버퍼를 더 포함하며,
    상기 합성부는,
    상기 버퍼에 저장된 이전 프레임에서 최종 합성된 영상과 다음 프레임의 확대 전 저해상도 영상을 이용하여 상기 다음 프레임의 영상을 복원함을 특징으로 하는 영상 복원 장치.

Images