KR100965551B1 - 가상화소값 추정 방법 및 이를 이용한 영상 압축 및 복원 방법과 장치 - Google Patents

Abstract

본 발명은 격자배열영상의 효과적인 압축 및 복원방법과 이를 구현한 압축 및 복원장치에 관한 것이다. 일반적으로, 렌즈, 반사경 따위 수광장치의 한계를 극복하고 초해상도 영상을 획득하는 일 수단으로서, 영상정보의 표본수를 늘리기 위해 격자형태로 배열된 선형 또는 면형의 영상검출장치를 사용하여 격자로 배열된 화소들의 집합, 즉 격자배열영상을 획득하는 방법이 알려져 있는데, 격자배열영상은 데이터의 크기증가가 불가피하기 때문에 효과적인 영상압축 수단이 마련되어야 한다. 이에, 본 발명은 상기 격자배열영상을 기준영상과, 기준영상과는 격자로 배열되어 기준영상의 표본수 향상효과를 가져오는 부가영상으로 설정하고, 부가영상의 연속되는 인접한 화소 값 정보를 이용하여 가상 화소 값을 추정한 후, 이를 기준영상의 화소 값과 함께 영상변환에 사용하는 것을 절차상의 특징으로 한다.

격자배열영상, 압축, 위성영상, 초해상도

Description

가상화소값 추정 방법 및 이를 이용한 영상 압축 및 복원 방법과 장치{Method and apparatus for compression and decompression of lattice arrayed images}

본 발명은 영상 압축 및 복원 방법에 관한 것으로서 특히 기준영상과 격자로 배열되어 상기 기준영상의 표본수 향상효과를 가져오는 부가영상을 포함하여, 상기 부가영상의 연속되는 인접한 화소 값 정보를 이용하여 상기 기준영상의 빈 화소 값을 추정하는 방법 및 이를 이용한 영상 압축 및 복원 방법에 관한 것이다.

초해상도 기술은, 동일한 피사체를 촬영한 것으로서 촬영각이 다른 복수의 영상정보가 확보되면, 영상정보의 표본수가 향상되는 효과가 있어서 정합, 잡음제거, 보간 등 영상처리 기법을 통해서 궁극적으로는 영상기기의 한계를 극복하는 고해상도 실현이 가능하다는 원리를 이용하는 것으로서, 동영상, 입체영상, 위성영상 등 다양한 특징을 갖는 영상들로부터 초해상도를 구현하는 기술이 소개되었다.

특히, 항공 및 위성영상분야에서는 관측영상의 상업화가 진행되면서 고해상 도 영상의 수요가 지속적으로 증가하고 있는데, 렌즈, 반사경 따위 수광장치를 포함한 영상기기의 크기를 증가시키거나, 영상기기의 운영고도를 낮추는 것이 관측영상의 해상도를 향상시키는 한 방법이지만, 전자의 경우에는 영상기기의 크기증가가 불가피한 단점이 있고, 운영고도를 낮추는 방법 또한 위성수명의 단축 및 관측폭 감소 등이 불가피해진다.

이에, 도 1a에서 보는 것처럼, 항공기 및 위성이 이동하는 방향과 (106) 수직방향으로 CCD, CMOS 등 영상검출소자를 (101) 선형으로 길게 배열한 것을 (102) 이용하고, T2, T4, T6처럼 영상의 획득시점을 제어하므로서, 선형으로 배열된 화소들의 (102A, 102B, 103C) 집합을 (105) 획득하는 것을 특징으로 하는 항공기 및 위성분야의 영상기기는, 도 1b처럼 선형 영상검출장치 두 조를 (102 내지 103) 화소간 간격의 (104) 반 정도 서로 엇갈리게 배열하는 특징이 있는 ‘격자배열선형영상검출장치’를 (108) 사용하는 것이 통상적인데, 상기 격자배열선형영상검출장치를 사용하면 선형 영상검출장치의 (102 내지 103) 화소출력 (103-A, 102-A, 103-B, 102-B, 103-C, 102-C) 시간을 특정함으로서 (T1, T2, T3, T4, T5, T6) 두 조의 영상집합, 즉 기준영상과 (107) 기준영상의 표본수 증가효과를 유발하는 부가영상을 (105) 획득하는 것이 가능하다. 즉, 항공기 및 위성에 탑재된 카메라처럼, 카메라의 이동방향과 (106) 직각으로 화소간 간격의(104) 절반을 엇갈려 배열한 선형영상검출장치는(102, 103) T1 시점에서는 103 배열이 작동하여 일 선형화소를 (103-A) 획득하고, T2 시점에서는 102 배열이 작동하여 또 다른 일 선형화소를 획득하고 (102-A), T3 시점에서는 103 배열이 작동하여 또 다른 일 선형화소를 획득하고 (103-B), T4 시점에서는 102 배열이 작동하여 또 다른 일 선형화소를 획득하고 (102-B), T5 시점에서는 103 배열이 작동하여 또 다른 일 선형화소를 획득하고 (103-C), T6 시점에서는 102 배열이 작동하여 또 다른 일 선형화소를 획득하는 (102-C) 일련의 기능 반복을 통해서, 서로 다른 위치를 촬영한 두 조의 영상집합을 (105, 107) 획득하게 되는데, 도 1c에서 보듯이, 선형 영상검출장치 한 조를 사용해서 얻는 영상집합과 비교하여 동일한 면적의 피사체에 대한 획득영상의 표본수가 2 배 증가하는 효과가 있으므로, 상술한 영상처리 기법을 적용하여 영상의 해상도 향상이 가능해 진다. 한편, 상기 기준영상과 부가영상은 서로 상대적인 것인바, 예로써, 기준영상을 영상집합 105 로 정의하는 경우는, 영상집합 107 이 영상집합 105 의 표본수 증가에 기여하는 것으로 볼 수 있으므로 영상집합 107 을 부가영상으로 정의할 수 있음은 물론이다.

한편, 격자배열영상을 획득하는 방법과 관련하여서는, 상기 격자배열선형영상검출장치 (108) 뿐만 아니라, 마사루 오사다 등이 미국 특허 6,847,397 B1 에 따르면, 다수의 영상검출소자를 격자배열로 배치한 특징이 있는 면형 영상검출장치를 사용하는 방법 또한 종래에 잘 알려져 있다. 도 2 는 행 및 열 방향으로 각각 N 개 및 M 개의 영상검출소자들을 (201) 2 차원 면상에 직선적으로 배치한 종래의 ‘면형영상검출장치’와 (200-A), 이와는 격자형으로 부가적인 영상검출소자들을 (202) 함께 배치한 특징이 있는 ‘격자배열면형영상검출장치’의 (200-B) 구조 및 이로부터 획득되는 격자배열영상으로부터 초해상도를 구현하는 개념을 설명하는 것으로써, 격자배열면형영상검출장치에 (200-B) 포함된 영상검출소자간의 간격을 비교해 보면, 격자형으로 영상검출소자들을 배치하는 경우, 단위면적당 소자수의 증가로 인해 대각선 방향 화소간의 간격이 (205-A 내지 205-B) 행 (203) 및 열 방향 (204) 화소간의 간격과 비교하여 작아지게 되는 특징이 있음을 보여주는데, 이는 단위면적당 영상표본수가 증가하는 효과와 동일하게 이해될 수 있는 것으로서, 종래의 비격자형 선형 (102) 내지 종래의 비격자형 면형영상검출장치를 (200-A) 이용하여 얻어지는 비격자형 영상보다, 격자배열선형영상검출장치 (108) 내지 격자배열면형영상검출장치 (200-B) 따위를 이용하여 얻어지는 격자배열영상에서 화소간의 상관성이 개선되는 일 이유이기도 하다. 즉, 도 1 의 (다)처럼, 서로 다른 두 영상집합에 (105 내지 107) 포함된 화소들의 획득 위치를 찾아서 일 영상 프레임에 정렬한 후, 보간 및 잡음여과 등 널리 알려진 영상처리방법을 적용하면, 영상표본의 증가효과로 인해서, 비격자형 일반영상의 경우 보다 정확하게 화소간에 화소값이 없는 ‘빈화소’ 영역의 (206) 화소값을 추정이 가능한데, 이는 종래 비격자형영상집합이 (105, 107 내지 200-A) 갖는 해상도의 한계를 극복하는 일 방법이며, 종래에 초해상도 구현 기법의 일예로 잘 알려져 있다. 그러나 격자배열영상은 비격자형 일반영상보다 저장 및 전송하여야 할 영상의 양이 증가하는 것이 불가피하므로, 저장 및 전송용량에 맞추어 영상신호를 압축하여야 할 필요성이 있다.

도 3 는 종래에 널리 알려져 있는 영상압축의 개념에 대한 일 예시로서, 입력 영상신호의 (301) 화소 값을 계산하여 영상신호의 정보를 종래의 화소값과는 다른 형태의 신호로 표현하는 영상변환 단계와 (302), 영상변환된 신호를 양자화한 (303) 값 또는 화소값의 엔트로피를 계산한 결과에 특정한 부호를 할당하는 (304) 부호화 단계를 (305) 거쳐, 영상신호의 (301) 압축 부호열을 (306) 생성하는 절차들로 구성되는 특징이 있는 것이며, 상기 영상변환은 (302) 인접한 수평 및 수직 화소값 간에는 상관성이 크다는 영상신호의 잘 알려진 특징을 이용하는 것으로서, JPEG 내지 MPEG 등에서 사용하는 이산코사인변환 (DCT) 방법 및 웨이브렛 영상변환방법처럼 ‘수평 8 화소 x 수직 8 화소’의 영역범위 내지는 특정한 2 차원 색공간 화소영역안에 (이하 ‘변환영역’) 존재하는 화소간의 수평 및 수직 방향 상관성을 계산하여, 해당영역의 화소값을 주파수 영역 내지는 주파수 영역과 화소영역에 표현하는 방법이다. 상기 부호화는 (305) 종래에 Run-length, Huffman, Lempel-ziv 등처럼 신호의 엔트로피를 계산하여 각 신호의 발생확률에 따라 서로 다른 길이의 이진부호를 할당하는 절차를 포함하는 것으로써, 무손실 압축의 경우는 상기 영상변환을 수행하지 않고, 직접 화소값의 엔트로피를 계산하여 특정 이진부호를 할당하기도 한다.

격자배열영상의 경우에는, 도 2 의 예시처럼, 상기 영상변환단계에서 수직방향 (204) 및 수평방향 (203) 화소값 간의 상관성 외에도 각기 다른 대각방향의(205-A 내지 205-B) 상관성 계산이 수행되어야 함으로 인해서 상기 영상변환을 위한 연산이 곤란하므로, 종래의 압축방법을 적용하여 압축하는 것이 효과적이지 않게 된다. 따라서, 격자배열영상을 도 1에서 예시한 것처럼 비 격자형영상인 기준영상(107)과, 기준영상과는 격자로 배열되고 영상의 표본수 증가효과를 가져오는 부가영상(105)으로 구분한 후, 도 3 의 예시한 바와 같은 종래의 압축방법 등을 이용하여 기준영상과 부가영상을 독립적으로 압축하는 방법을 고려할 수 있지만, 이 경우 증복되는 기능을 별도로 구현하여야 하는 필요성으로 인해 압축장치의 크기가 증가되는 단점이 있다.

이에, Quincunx 이산코사인(DCT) 변환방법이 소개된바 있는데, Quincunx 이산코사인 변환 방법은 도 4 에서 보듯이, 두 영상집합의 (105 내지 107) 각 화소를, 각각의 영상획득 위치에 상응토록 격자로 배열하며 (1 의 (다) 내지 401), 상기 영상변환 단계에서는 이산코사인 변환할 화소영역을 도 4 에서 보듯이 마름모 형태로 설정하여 (402) 변환될 화소간의 상관성을 개선하는 것을 특징으로 하나, 화소가 영상 열 내지 행의 처음 내지 끝부분에 위치하여 마름모 형태의 ‘변환영역’에 포함시키기 곤란한 일부 화소의 경우는 (403) 영상변환이 곤란해지는 단점이 있다. 한편, 상기 마사루 오사다 등의 미국 특허 6,847,397 B1 에 따르면, 격자배열면형영상검출장치를 통해 획득된 격자배열영상과 (200-B), 이에 보간기법 등을 적용하여 연산한 ‘빈화소’의 (206) 값들을 더함으로서 영상의 해상도를 향상시킨 후에, 해상도가 향상된 영상을 압축하고 있는 데, 이 경우 빈화소 연산절차의 추가에 따른 계산량 증가는 물론, 압축하여야 할 영상의 정보량 증가에 상응하는 고속 압축장치를 구비하여야 하는 단점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서 부가영상의 연속되는 인접한 화소 값 정보를 이용하여 상기 기준영상의 가상 화소 값을 추정하는 방법 및 이를 이용한 영상 압축 및 복원 방법에 의해 간단하고도 저렴한 가격의 압축 방법 및 장치를 제공함에 목적이 있다.

상기 목적을 달성하기 위한 본 발명은 기준영상과 격자로 배열되어 상기 기준영상의 표본수 향상효과를 가져오는 부가영상을 포함하여, 상기 부가영상의 연속되는 인접한 화소 값 정보를 이용하여 상기 기준영상의 빈 화소 값을 추정하는 방법으로서, 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 연산하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 연산하는 가상화소값 추정 방법에 특징이 있다.

또한, 격자배열영상신호의 화소값을 읽어서 기준영상의 영상 표본수 향상에 기여하는 부가영상으로 정의하는 영상 정의 단계와, 상술한 가상화소값 추정 단계와, 상기 각 화소값을 색공간 데이터로 변환하는 한편, 전체 화상을 주파수 공간으로 변환하는 영상 변환 단계와, 상기 주파수 영역의 각 성분을 정수화하는 양자화 단계를 포함하는 가상화소값 추정 방법을 이용한 영상 압축 방법에 다른 특징이 있 다.

또한, 격자배열압축영상신호가 역영상변환되어 생성된 부가영상의 화소값 및 빈화소값을 이용하여 기준 영상의 원화소값을 빈 화소 추정 방법에 의해 복원하는 방법으로서, 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 빈 화소에 해당되어 상기 가상화소값을 추정하는데 사용된 인접한 원화소가 하나인 경우, 해당 원화소값은 상기 가상화소값으로 연산하고, 연속되는 두 개의 빈화소사이에 원화소가 위치한 경우, 해당 원화소값은 연속되는 두 개의 빈화소값을(a, b) 이용하여, 수학식 16 에 의해 연산되는 가상화소값 추정 방법을 이용한 격자배열영상의 복원방법에 또 다른 특징이 있다.

본 발명에 따르면, 격자배열영상을 압축함에 있어서 부가영상으로부터 연산한 가상화소값들 및 기준영상을 이용함으로써, 종래 각 영상집합을 독립적으로 압축하거나, Quincunx 이산코사인 방법 또는 ‘빈화소’ 추정절차를 특징으로 하는 마사루 오사다 등의 압축방법을 적용함에 따른 압축장치의 크기증가, 변환영역의 불완전성, 연산량 증가 따위 단점 극복은 물론, JPEG, MPEG 등처럼 잘 알려진 종래의 압축 및 압축복원 방법과 연동이 가능하다. 또한, 본 발명에 의한 압축 및 압축영상의 복원은, 상기 가상화소 및 원화소 추정절차에서 설명한 것처럼 부가영상의 첫 번째 내지 끝 화소 값처럼 특정한 위치의 화소의 본래 값이 가상화소 내지 원화소의 추정값으로 이용되고, 연속되는 가상화소 내지 원화소값 연산시에 직접 참고 되는 특징이 있는바, 격자배열영상을 효과적으로 압축하는 수단일 뿐만 아니라, 간단한 연산만으로 격자배열압축영상으로 부터 본래의 격자배열영상복원이 가능한 장점이 있다. 특히, 마사루 오사다 등의 제안은 (미국 특허 6,847,397 B1) 격자배열영상의 해상도를 미리 향상시킨 것을 압축함으로서 해상도 향상과정 및 압축시 계산량이 증가되는 단점이 있음은 물론, 해상도가 이미 향상된 영상을 압축하여 화질 개선의 기회를 잃게 되는 반면에, 본 발명에 의해 복원된 격자배열영상의 경우는, 압축복원단계에서 기준영상 및 부가영상을 충실하게 복원할 수 있는바, 복원된 기준영상 및 부가영상을 이용하여 해상도를 향상함에 있어서 다양한 영상처리 기법을 적용하는 것이 가능하고, 이로부터 다양한 품질의 화질제공이 가능해 진다.

이하 첨부된 도면과 실시예를 통해 본 발명을 보다 상세히 설명한다.

본 발명은 상술한 바와 같이 가상화소값 추정 방법 및 이를 이용한 영상 압축,복원방법 및 장치에 관한 것으로서 우선 상기 가상화소값 추정 방법에 대해 실시예1을 참조하여 설명한다.

실시예1

본 발명의 가상화소값 추정 방법은 기준영상과 격자로 배열되어 상기 기준영상의 표본수 향상효과를 가져오는 부가영상을 포함하여, 상기 부가영상의 연속되는 인접한 화소 값 정보를 이용하여 상기 기준영상의 빈 화소 값을 추정하는 방법으로 서, 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 연산하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 연산하는 것이다.

이에 대해, 도 1 과 도 5 에 의해 본 발명의 가상화소 추정방법에 대한 실시예를 상술하면,

상기 격자배열영상 내지 격자배열영상 획득장치의 출력영상으로부터 기준영상 (107) 및 기준영상의 표본수 향상효과를 유발하는 부가영상을 (105) 설정하는 제 1 단계,

상기 제 1 단계의 부가영상에서, 기준영상과 부가영상의 화소들의 획득 위치를 찾아서 일 영상 프레임에 정렬하는 경우 (도 1의 (다)), 화소값 사이에는 실제로는 화소의 값이 없는 빈화소가 (206) 존재하게 되는데, 기준영상내 화소행 내지 화소열상의 하나에 포함된 빈화소를 본 발명의 ‘가상화소’로 정의하고, 그 값을 추정하고자 하는 가상화소와 (501, 502, 503) 인접한 부가영상의 화소가 하나만 (105-C) 있는 경우에는 (501 내지 502) 인접한 본래 부가영상의 화소 값을 (105-B) 가상화소의 값으로 (501) 취하는 제 2 단계,

값을 추정하고자 하는 가상화소와 (503) 인접한 부가영상의 화소가 두 개인 경우는 (105-A, 105-B) 이전 단계에서 추정한 가상화소 값과 (501), 이전단계에서 가상화소 추정시 사용하지 않은 부가영상의 화소값을 (105-A) 읽어서 그 평균을 계산한 것을 가상화소 (503) 값으로 추정하는 제 3 단계,

상기 단계 들을 부가영상에 대해서 반복적으로 수행하는 제 4 단계를 포함하여 필요한 가상화소의 값들을 추정하는 것을 특징으로 하며,

일 예로, A, B, C, D, E 값을 가지며 A, B, C, D, E 순서로 배열되어 있는 부가영상의 화소열(내지 행)로부터 기준영상 ‘화소행’사이에 존재하는 가상화소를 추정하는 절차를 살펴보면, 부가영상의 화소값으로 부터 추정한 가상화소 a, b, c, d, e 는, 상기 부가영상의 화소와 함께 a, A, b, B, c, C, d, D, e, E 의 순서로 일열로 정열가능한바 (504), 상기 본 발명의 가상화소값 추정방법에 따르게 되면, 가상화소와 인접한 부가영상의 화소가 하나뿐인 첫 번째 가상화소의 값 ‘a’ 는 수학식 1 에 의해 계산 가능한데,

[수학식 1]

a = A

의 관계로 추정할 수 있으며, 다음번 가상화소 ‘b’ 는 수학식 2 에 의해 계산 가능한데,

[수학식 2]

b = (a + B) ÷ 2

처럼, 이전 단계에서 추정한 가상화소 값 ‘a’ 와 추정코자 하는 가상화소 ‘b'의 다음번 부가영상의 화소값 ‘B'의 평균값을 계산한 것으로 추정하며, 마찬가지로 다음번 가상화소 ‘c’ 는 수학식 3 에 의해 계산 가능한데,

[수학식 3]

c = (b + C) ÷ 2

처럼, 이전 단계에서 추정한 가상화소 값 ‘b’ 와 추정코자 하는 가상화소 ‘c'의 다음번 부가영상의 화소값 ‘C'의 평균값을 계산한 것으로 추정하며, 다음번 가상화소 'd' 또한 수학식 4 에 의해 이전의 방법과 동일한 방법으로 계산 가능한데,

[수학식 4]

d = (c + D) ÷ 2

처럼, 이전 단계에서 추정한 가상화소 값 ‘c’ 와 추정코자 하는 가상화소 ‘d'의 다음번 부가영상의 화소값 ‘D'의 평균값을 계산한 것으로 추정하며, 다음번 가상화소 'e' 역시 수학식 5 에 의해,

[수학식 5]

e = (d + E) ÷ 2

처럼, 이전 단계에서 추정한 가상화소 값 ‘d’ 와 추정코자 하는 가상화소 ‘e'의 다음번 부가영상의 화소값 ‘E'의 평균값을 계산한 것으로 추정할 수 있는데, 이는 상기 예시한 부가영상의 화소들이(A, B, C, D, E) 순차적으로 처리될 필요가 있는 경우에 효과적인 연산방법의 예시이며, 도 2 에 예시한 면형 영상검출장치처럼 상기 예시한 화소들을 동시에 읽어서 처리하는 것이 유리한 경우, 수식 1 에 의해 연산되어야 하는 가상화소 ‘a’를 제외하고, 나머지 가상화소들은 해당 가상화소와 인접한 두 개 부가영상의 화소값의 단순 평균을 연산한 것으로 추정할 수 있는데, 가상화소 ‘b’를 추정하는 상기 수학식 2를 일 예로 들면, 이 경우 ‘b = (A + B) ÷ 2’ 처럼 연산할 수가 있다. 수학식 3 내지 수학식 5 에 의해 추정 한 가상화소 ‘c’, ‘d’ 내지 ‘e’ 또한 해당 가상화소와 인접한 두 개 부가영상의 화소값의 평균을 연산하여 추정할 수 있다.

실시예2

본 실시예에서 설명하고자 하는 발명은 상술한 가상화소값 추정 방법을 이용한 영상 압축 방법(S100)이다.

즉, 상기 압축 방법(S100)은 격자배열영상신호의 화소값을 읽어서 기준영상의 영상 표본수 향상에 기여하는 부가영상으로 정의하는 영상 정의 단계(S110)와, 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 연산하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 연산하는 가상화소값 추정 단계(S120)와, 상기 각 화소값을 색공간 데이터로 변환하는 한편, 전체 화상을 주파수 공간으로 변환하는 영상 변환 단계(S130)와, 상기 주파수 영역의 각 성분을 정수화하는 양자화 단계(S140)를 포함한다.

상기 영상 정의 단계(S110)는 상술된 바와 같이 격자배열영상신호의 화소값을 읽어서 기준영상과 상기 기준영상의 영상 표본수 향상에 기여하는 부가영상으로 정의하는 단계이다.

상기 가상화소값 추정 단계(S120)는 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 연산하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 연산하는데, 이는 실시예1에서 설명하였으므로 자세한 설명은 생략한다.

상기 영상 변환 단계(S130)는 상기 각 화소값을 색공간 데이터로 변환하는 한편, 전체 화상을 주파수 공간으로 변환하는 단계이다.

이때, 상기 변환 단계(S130)는 상기 각 화소값을 색공간 데이터로 변환하는 제1변환 단계(S131)와, 전체 화상을 8x8 픽셀의 크기를 갖는 섹션으로 나눈후, 각 8x8 섹션의 데이터를 이차원 이산 코사인 변환을 이용하여 주파수 공간으로 변환하는 제2변환 단계(S132)를 포함할 수 있다.

상기, 주파수 영역의 각 성분을 정수화하는 양자화 단계(S140)에 대해 설명하면, 사람의 눈은 명도에 대해 비교적 넓은 영역에서 작은 차이를 구분할 수 있다. 그러나 고주파의 명도 변화에서는 그 구별능력이 떨어진다.

이 사실에 근거하여 고주파 성분의 정보의 많은 부분은 버릴 수 있다. 이런 작업은 주파수 영역의 각 성분에 대해 특정 상수로 나누고 정수 몫만을 취함으로써 수행된다. 이 작업이 전체 압축 과정에서 가장 손실이 큰 부분이다. 이 방법으로 고주파 성분들은 거의 0이나 0이 근접한 양수, 혹은 음수가 된다.

이상 설명한 바와 같은 본 발명(S100)에 의해 간단하고도 용이하게 영상을 압축할 수 있다.

실시예3

본 실시예에서는, 상기 빈화소 추정방법을 포함하여 영상변환하는 전기기계 및 전산프로그램으로 구현한 장치에 관한 것으로서 격자배열영상을 압축하는 장치에 있어서, 격자배열영상신호의 화소값을 읽어서 기준영상 및 기준영상의 표본수 향상에 기여하는 부가영상으로 정의하는 영상정의부와, 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 추정하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 추정하는 추정하는 가상화소 예측부와, 상기 기준영상의 화소값 및 상기 가상화소의 값들을 획득위치에 맞추어 색공간상에 일 영상프레임으로 구성한 것을 주파수 영역 또는 주파수 영역과 공간 영역이 혼합된 영역에서 표현하도록 변환하는 영상변환부와, 상기 영상변환부의 표현영역이 변환된 출력영상신호를 양자화처리하는 부호화부를 포함한다.

도 7에서 보듯이 상기 격자배열영상 압축장치는 입력된 격자배열영상(401)을 기준영상(105) 및 부가영상으로(106) 정의하는 영상정의부와(701), 상기 부가영상을 본 발명의 빈화소 예측방법에 의해 빈화소 값을 예측하는 빈화소 예측부(702)와, 상기 기준영상과(105) 상기 빈화소 예측된 신호의 화소값들을 각각의 획득위치를 추정하여 일 영상프레임으로 재구성한(703) 후, 이를 이용하여 상관성을 계산하는 영상변환부와(302)

최종적으로, 격자배열영상의 압축부호열을(704) 생성하기 위해서, 상기 변환된 신호를 양자화처리 내지 이진부호를 할당하는 부호화부(305)로 구성될 수 있다.

실시예4

본 실시예에서는 상술한 가상화소값 추정 방법을 이용하여 압축 영상을 복원하는 방법(S200)에 대해 설명한다.

즉, 본 방법(S200)은 격자배열압축영상신호가 역영상변환되어 생성된 부가영상의 화소값 및 빈화소값을 이용하여 기준 영상의 원화소값을 가상화소값 추정 방법에 의해 복원하는 방법으로서, 부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 빈 화소에 해당되어 상기 가상화소값을 추정하는데 사용된 인접한 원화소가 하나인 경우, 해당 원화소값은 상기 가상화소값으로 연산하고,

연속되는 두 개의 빈화소사이에 원화소가 위치한 경우, 해당 원화소값은 연속되는 두 개의 빈화소값을(a, b) 이용하여, 수학식 16 에 의해 연산된다.

[수학식 16]

원화소값 = (2 × b) - a

도 8에 나타난 바와 같이 상기 본 발명의 원화소 추정방법을 예시하여 상술하면, 격자배열압축영상으로부터 기준영상(105) 및 본 발명의 빈화소 추정방법에 의해 추정된 빈화소 영상집합을 설정하는 제 1 단계(S210)를 수행한다.

이후, 상기 제 1 단계(S210)의 빈화소 영상집합의 일 화소열 내지 일 화소행에서, 압축시 추정한 첫 번째 빈화소(501) 값으로서는 그 값을 추정하고자 하는 첫 번째 원화소를(104-B) 취하는 제 2 단계(S220)을 수행한다,

그리고, 추정하고자 하는 원화소(104-A) 이전에 압축시 추정한 빈화소 값이 두 개 이상인 경우는(502, 503), 직전 두 개의 빈화소 값을 이용하여 원화소 값을 계산하는 제 3 단계(S230)을 수행한다,

상기 단계 들을 본 발명의 빈화소 추정방법에 의해 추정된 영상집합에 대해서 반복적으로 수행하여 원화소 값들을 추정하는 일련의 단계로 구성되는 특징이 있다.

보다 상세히는, 상기 격자배열압축영상의 복원방법 제 2 단계(S220) 및 제 3 단계(S230)에서, 격자배열영상의 압축부호열을 역영상변환한 일 화소열(내지 행) 내의 화소값이 a, b, c, d, e 값을 갖고 동일한 순서로 배열되어 있으며, 이로부터 추정되는 원화소 값이 각각 A, B, C, D, E 라고 가정하는 경우는(504), 상기 본 발명의 원화소값 추정방법에 따르게 되면, 빈화소와(a) 인접한 부가영상의 원화소가(A) 하나뿐인 첫 번째 원화소의 값 ‘A’ 는 수학식 6 에 의해 계산 가능한데,

[수학식 6]

A = a

의 관계로 추정할 수 있으며, 다음번 원화소 ‘B’ 는 수학식 7 에 의해서,

[수학식 7]

B = (2 × b) - a

처럼, 바로 이전에 위치한 두 개의 빈화소 값 ‘a’ 와 ‘b' 를 이용하여 계산하며, 다음번 원화소 ‘C’ 는 수학식 7 과 동일한 방법으로 수학식 8 에 의해서,

[수학식 8]

C = (2 × c) - b

처럼, 바로 이전에 위치한 두 개의 빈화소 값 ‘b’ 와 ‘c' 를 이용하여 계산하며, 마찬가지로 다음번 원화소 ‘D’ 는 수학식 9 에 의해서,

[수학식 9]

D = (2 × d) - c

처럼, 바로 이전에 위치한 두 개의 빈화소 값 ‘c’ 와 ‘d' 를 이용하여 계산하며, 다음번 원화소 ‘E’ 또한 수학식 10 에 의해서,

[수학식 10]

E = (2 × e) - d

처럼, 바로 이전에 위치한 두 개의 빈화소 값 ‘d’ 와 ‘e' 를 이용하여 쉽게 추정할 수 있는데, 이는 상기 예시한 바처럼, 화소들이(A, B, C, D, E) 순차적으로 읽혀져서 수학식 1 내지 수학식 5 에 의해서 연산된 경우에 효과적인 원화소 추정방법의 예시이며, 상기 예시한 화소들을 동시에 읽어서 처리한 경우에는, 수식 6 에 의해 연산이 불가피한 원화소 ’A‘를 제외하고, 나머지 원화소들은 추정하고자 하는 원화소 바로 앞의 빈화소 값을 두 배 한 것으로부터 바로 앞에서 추정되어 이미 알고있는 원화소값을 뺀 것으로서 쉽게 추정할 수 있는데, 상기 수학식 7 을 일 예로 들면, 이 경우 ’B = (2 × b) - A‘ 처럼 빈화소 ’b‘와 이전에 추정하여 알고있는 원화소값 A를 이용하여 연산할 수가 있다. 수학식 8 내지 수학식 10 의 원화소 또한 해당 원화소 바로 앞의 빈화소 값을 두 배 한 것으로부터 바로 앞 에서 추정하여 알고 있는 원화소값을 빼는 연산으로 추정할 수 있다.

상기 수학식 1 내지 수학식 6에 개시된 변수 즉, A, B, C, D, E 는 본래의 원화소값에 상응하는 값을 갖도록 유지되는 것이 바람직하나, 필요한 경우 상기 원화소값에 특정한 값을 더하거나 곱한 값을 갖도록 변경가능함은 물론이다.

실시예5

한편, 상기 빈화소 추정방법을 적용한 격자배열압축영상의 복원방법 및 장치도 구성 가능하다.

즉, 특정 이진부호들로 구성된 격자배열압축영상신호로부터, 상기 부가영상 및 상기 기준영상을 복원하는 장치에 있어서, 상기 이진부호들을 역양자화 처리하여 압축된 영상신호를 주파수 영역 또는 주파수 영역과 공간 영역이 혼합된 영역에 표현하거나, 상기 이진부호들을 해석하여 영상프레임을 복원하는 역부호화부와, 상기 역부호화부의 출력 신호가 주파수 영역 또는 주파수 영역과 공간 영역이 혼합된 영역에 표현된 영상신호인 경우는 상기 역부호화 처리된 신호로부터 상기 기준영상의 화소값 및 가상화소값들로 구성된 일 영상프레임의 화소값들을 연산하는 역영상변환부와, 상기 영상프레임의 화소값이 상기 부가영상으로부터 추정한 가상화소의 값인 경우는, 앞서 설명된 가상화소값 추정 방법에 의해 원화소값을 추정하는 화소 추정부를 포함하는 격자배열압축영상 복원장치도 가능하다.

본 실시예에서는 도 8에서 보듯이, 격자배열영상의 압축부호열 입력부(704)와, 상기 양자화 내지 이진처리된 압축부호열을(704) 해석 내지 역양자화 처리하는 역부호화부(801)와, 상기 역부호화 처리된 신호로부터 화소값을 계산하는 역영상변환부(802)와, 상기 역영상변환된 신호로부터, 상기 본 발명의 빈화소 추정방법이 적용되어 원화소 추정이 필요한 부가영상인지(807) 그렇지 않은 기준영상인지(806) 여부를 판단하는 절차를(803) 포함하여, 부가영상인 경우는 본 발명의 원화소 추정방법에 의해 원화소값을 추정하는(804) 원화소 추정부로(805) 구성되는 전기기계 및 장치도 가능하다.

한편, 상기 원화소 추정방법을 적용한 격자배열압축영상의 복원방법 및 장치도 구성 가능하며 도 8에서 보듯이, 격자배열영상의 압축부호열 입력부(704)와, 앞서 설명한 바처럼, 압축부호열을 직접 해석하거나 양자화 내지 이진처리된 압축부호열을(704) 역양자화 처리하는 것을 특징으로 하는 역부호화부(801)와, 상기 역양자화 처리된 신호로부터 색공간상의 화소값을 계산하는 역영상변환부(802)와, 상기 역영상변환된 신호 등이, 상기 본 발명의 가상화소 추정방법이 적용된 것으로서 원화소 추정이 필요한 부가영상의 결과물인지(807) 그렇지 않은 기준영상의 결과물인지(806) 여부를 판단하는 절차를(803) 포함하여, 부가영상의 결과물인 경우는 본 발명의 원화소 추정방법에 의해 원화소값을 추정하는(804) 원화소 추정부로(805) 구성되는 특징이 있는 전기기계 및 장치도 가능하다.

도 1a 내지 1c는 종래에 격자로 배열된 선형 영상검출장치를 이용하여 초해상도용 영상집합을 획득하는 개념도

도 2 는 종래에 격자로 배열된 면형 영상검출장치를 이용하여 초해상도를 구현하는 개념도

도 3 은 종래의 영상변환단계를 포함하는 영상압축방법의 설명도

도 4 는 영상변환영역을 개선한 종래 격자배열영상의 압축방법의 설명도 (Quincunx 방법)

도 5 는 격자배열영상의 부가영상으로부터 빈화소를 추정하는 본 발명의 빈화소 추정방법에 대한 일 실시예

도 6 은 본 발명의 빈화소 추정방법에 의해 추정한 빈화소 값들과, 기준영상의 화소값들을 각각의 획득위치를 추정하여 일 영상프레임에 표시한 것으로부터 변환영역을 설정하는 본 발명의 일 실시예

도 7 는 격자배열영상의 압축방법에 대한 본 발명의 일 실시예

도 8 는 초해상도용 격자배열 압축영상의 복원방법에 대한 본 발명의 일 실시예

<도면의 주요 부분에 대한 부호의 설명>

102 (내지 103): 특정시점에서 의미있는 일열의 화소값을 생성하는 선형 영상검출소자 및 그의 개념을 단순화한 기호

206: 화소 201 내지 202 따위의 의미있는 값을 갖는 화소로 구성된 격자배열 영상에 있어서, 실제 화소값이 없으면서 화소 201 내지 202 따위와는 규칙적으로 배열되어지는 영역을 정의한 것인 ‘빈화소’

501 (내지 502): ‘빈화소’의 일부로서, 본 발명의 가상화소값 추정방법에 의해 연산된 ‘가상화소’이며, 기본영상의 화소들과는 수평방향으로 배열된 것에 대한 예시

703: 본 발명에 의한 가상화소 값들을 기준영상의 화소행 내지는 화소열간의 본래 목적한 위치에 더하여 일 영상프레임으로 정렬하는 기능 수행부

Claims (6)

1. 기준영상과 격자로 배열되어 상기 기준영상의 표본수 향상효과를 가져오는 부가영상을 포함하여, 상기 부가영상의 연속되는 인접한 화소 값 정보를 이용하여 상기 기준영상의 빈 화소 값을 추정하는 방법으로서,

   부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 연산하고,

   인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 연산하는 것을 특징으로 하는 가상화소값 추정 방법.
2. 격자배열영상신호의 화소값을 읽어서 기준영상의 영상 표본수 향상에 기여하는 부가영상으로 정의하는 영상 정의 단계와,

   부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 연산하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 연산하는 가상화소값 추정 단계와,

   상기 각 화소값을 색공간 데이터로 변환하는 한편, 전체 화상을 주파수 공간으로 변환하는 영상 변환 단계와,

   상기 주파수 영역의 각 성분을 정수화하는 양자화 단계를 포함하는 것을 특 징으로 하는 가상화소값 추정 방법을 이용한 격자 배열 영상 압축 방법.
3. 제2항에 있어서,

   상기 변환 단계는 상기 각 화소값을 색공간 데이터로 변환하는 제1변환 단계와,

   전체 화상을 8x8 픽셀의 크기를 갖는 섹션으로 나눈후, 각 8x8 섹션의 데이터를 이차원 이산 코사인 변환을 이용하여 주파수 공간으로 변환하는 제2변환 단계를 포함하는 것을 특징으로 하는 가상화소값 추정 방법을 이용한 격자 배열 영상 압축 방법.
4. 격자배열영상을 압축하는 장치에 있어서,

   격자배열영상신호의 화소값을 읽어서 기준영상 및 기준영상의 표본수 향상에 기여하는 부가영상으로 정의하는 영상정의부와,

   부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 화소에 해당되어 상기 열 내지 행 내에서 인접한 화소가 하나인 경우, 상기 인접한 화소값을 가상화소값으로 추정하고, 인접한 화소가 둘인 경우 상기 인접한 화소값의 평균값을 가상화소값으로 추정하는 추정하는 가상화소 예측부와,

   상기 기준영상의 화소값 및 상기 가상화소의 값들을 획득위치에 맞추어 색공간상에 일 영상프레임으로 구성한 것을 주파수 영역 또는 주파수 영역과 공간 영역이 혼합된 영역에서 표현하도록 변환하는 영상변환부와,

   상기 영상변환부의 표현영역이 변환된 출력영상신호를 양자화처리하는 부호화부를 포함하는 격자배열영상 압축 장치
5. 격자배열압축영상신호가 역영상변환되어 생성된 부가영상의 화소값 및 빈화소값을 이용하여 기준 영상의 원화소값을 가상화소값 추정 방법에 의해 복원하는 방법으로서,

   부가영상의 일 화소열 내지 일 화소행의 첫 번째 또는 제일 마지막 빈 화소에 해당되어 상기 가상화소값을 추정하는데 사용된 인접한 원화소가 하나인 경우, 해당 원화소값은 상기 가상화소값으로 연산하고,

   연속되는 두 개의 빈화소사이에 원화소가 위치한 경우, 해당 원화소값은 연속되는 두 개의 빈화소값을(a, b) 이용하여, 수학식 7 에 의해 연산되는 것을 특징으로 하는 가상화소값 추정 방법을 이용한 격자배열영상의 복원방법.

   [수학식 7]

   원화소값 = (2 × b)- a
6. 특정 이진부호들로 구성된 격자배열압축영상신호로부터, 부가영상 및 기준영상을 복원하는 장치에 있어서,

   상기 이진부호들을 역양자화 처리하여 압축된 영상신호를 주파수 영역 또는 주파수 영역과 공간 영역이 혼합된 영역에 표현하거나, 상기 이진부호들을 해석하여 영상프레임을 복원하는 역부호화부,

   상기 역부호화부의 출력 신호가 주파수 영역 또는 주파수 영역과 공간 영역이 혼합된 영역에 표현된 영상신호인 경우는 상기 역부호화 처리된 신호로부터 상기 기준영상의 화소값 및 가상화소값들로 구성된 일 영상프레임의 화소값들을 연산하는 역영상변환부,

   상기 영상프레임의 화소값이 상기 부가영상으로부터 추정한 가상화소의 값인 경우는, 청구항 5항의 가상화소값 추정 방법에 의해 원화소값을 추정하는 화소 추정부를 포함하는 것을 특징으로 하는 격자배열압축영상 복원장치.

Images