KR101512643B1 - 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체 - Google Patents

동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체 Download PDF

Info

Publication number
KR101512643B1
KR101512643B1 KR1020080103425A KR20080103425A KR101512643B1 KR 101512643 B1 KR101512643 B1 KR 101512643B1 KR 1020080103425 A KR1020080103425 A KR 1020080103425A KR 20080103425 A KR20080103425 A KR 20080103425A KR 101512643 B1 KR101512643 B1 KR 101512643B1
Authority
KR
South Korea
Prior art keywords
pixels
order
unit
horizontally
image
Prior art date
Application number
KR1020080103425A
Other languages
English (en)
Other versions
KR20100044333A (ko
Inventor
김하윤
최윤식
김용구
최영호
김성제
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080103425A priority Critical patent/KR101512643B1/ko
Priority to PCT/KR2009/005923 priority patent/WO2010047492A2/ko
Publication of KR20100044333A publication Critical patent/KR20100044333A/ko
Application granted granted Critical
Publication of KR101512643B1 publication Critical patent/KR101512643B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체에 관한 것으로, 본 발명에 따른 영상 신호의 2차원 정렬 변환 장치는, 영상 블록의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬부; 상기 영상 블록의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬부; 및 상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성부를 포함하여 구성되어, 임의의 영상 신호를 크기 순으로 2차원 정렬된 영상 신호로 재배치할 수 있으며, 이 정렬된 영상 신호는 기존 영상이 가지고 있던 불연속 지점을 효율적으로 제거하기 때문에 DCT 등 블록 기반의 변환 기법의 에너지 집중 효과를 높여 부호화 효율을 극대화할 수 있다.
Figure R1020080103425
영상, 압축, 부호화, 복호화, 변환, DCT, 웨이블릿, 2차원 정렬 변환

Description

동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체{Video encoding apparatus, and Apparatus and Method of 2 dimensional ordering transform for image signal, and Recording Medium therefor}
본 발명은 비디오 데이터의 압축 기술 분야에서 저장매체 및 통신매체를 효율적으로 사용하기 위하여 영상 데이터를 효율적으로 압축하기 위한 기술에 관한 것으로서, 특히 종래의 DCT 변환과 같은 블록 단위 변환 기법의 전처리 기술로 활용되어, 2차원 영상 신호에 대한 상관성을 최대한 유지하면서 압축 효율을 증대시키기 위하여 영상 신호에 대해 2차원 정렬 변환을 수행하는, 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체에 관한 것이다.
일반적으로, 영상 데이터의 압축 기술로는 JPEG, JPEG2000 및 MPEG-2, MPEG-4, H.26L 등이 대표적이며, 이 기술의 대부분은 DCT 변환, Wavelet 변환, Burrows-wheeler 변환 및 이러한 기법의 변종 변환 등을 이용한 변환 기법(이하, 종래의 변환 기법이라 칭함) 기반의 영상 압축 기술이다.
종래의 변환 기법의 변환 효율은 제한된 양의 변환 계수로 얼마나 원래의 신호를 잘 표현할 수 있는 가에 있다. 따라서 가능한 적은 양의 변환 계수로 원래의 신호를 잘 표현할수록 변환 기법의 변환 효율이 높아진다.
DCT나 Wavelet을 기반으로 한 종래의 변환 기법은 주어지는 입력 신호가 잡음으로 인해 평탄하지 않거나, 화소 사이에 급격한 값의 변화로 인한 점이나 경계(Edges) 같은 불연속 지점이 존재하는 경우, 원래의 신호를 표현하기 위해 많은 양의 변환 계수가 필요하다.
종래의 변환 기법의 변환 효율을 높이기 위한 전처리 기법은 영상의 잡음을 제거하기 위한 노이즈 제거 필터, 영상의 사이즈를 부호화하기 위한 적절한 사이즈로 변환하는 기법, 정확한 움직임 예측을 위한 방향성 보간 필터 설계, 방향성을 고려한 변환 기법 등 여러 기법이 있으며, 신호의 정렬을 통한 기법은 문헌 1[Zhihai He(“Peak Transform for Efficient Image Representation and coding”, IEEE Trans. Image Processing, vol.16, No.7, Jul. 2007)]의 Peak Transform이 대표적이다.
그러나, 문헌 1의 Peak Transform은 압축하기 어려운 신호(hard-to-compress signal)를 압축하기 쉬운 형태의 신호(easier-to-compress signal) 형태로 변환하여 영상 데이터의 압축 효율을 높인 기법이지만, 1차원 신호에 대한 정렬 수행으로 인해 2차원 영상 신호의 상관성을 효율적으로 활용하지 못 하는 것과 이산 신호에 대해 역 변환 과정이 보장되지 않는 문제를 가지고 있다. 또한 블록 단위로 이뤄지는 DCT와 같은 종래의 변환 기법에 대해서는 적절한 신호의 정렬을 제공할 수 없다 는 문제점을 가지고 있다.
전술한 문제점을 해결하기 위해 본 발명은, 종래의 DCT 변환과 같은 블록 단위 변환 기법의 전처리 기술로 활용될 수 있도록 하여 임의의 영상 신호를 2차원 정렬함으로써, 종래의 블록 단위 변환 기법의 변환 효율을 극대화할 수 있도록 하는, 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체를 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 영상 블록의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬부; 상기 영상 블록의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬부; 및 상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성부를 포함하는 영상 신호의 2차원 정렬 변환 장치가 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따르면, 영상 블록의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬 단계; 상기 영상 블록의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬 단계; 및 상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성 단계를 포함하는 영상 신호의 2차원 정렬 변환 방법이 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 현재 블 록의 각 화소의 원 화소값과 상기 현재 블록의 각 화소의 예측 화소값의 차이값을 계산하여 잔차신호를 생성하는 감산부; 상기 잔차신호의 영상 블록의 화소들에 대해 수평 방향의 크기 순으로 정렬하고, 상기 영상 블록의 화소들에 대해 수직 방향의 크기 순으로 정렬하며, 상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 정렬 변환부; 상기 수평 및 수직 정렬된 화소들을 주파수 계수들로 변환하는 변환부; 상기 변환된 주파수 계수들을 양자화하는 양자화부; 및 상기 양자화된 주파수 계수들을 비트스트림으로 부호화하는 부호화부를 포함하는 것을 특징으로 하는 동영상 부호화 장치가 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 영상 블록의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬 기능; 상기 영상 블록의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬 기능; 및 상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성 기능을 포함하는 영상 신호의 2차원 정렬 변환 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명에 의하면, 화소가 행렬에 대해 내림 차순으로 정렬되기 때문에, 종래의 DCT와 같은 변환 기법을 수행하였을 때 에너지 집중 효과가 커서 적은 수의 계수로 원래의 신호를 표현할 수 있게 되는 효과가 발생한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
동영상 화면은 1초 동안에 30장의 프레임으로 구성되므로 한 프레임과 이웃한 프레임 사이에는 그 차이가 작기 때문에, 인간의 눈으로 구분하지 못한다. 이 때문에, 1초 동안에 30장의 프레임을 뿌리면 인간의 눈은 프레임이 연속적인 것으로 인식한다.
이와 같이, 이전 프레임과 현재 프레임이 비슷하다면, 이전 프레임을 구성하고 있는 이미 알고 있는 화소값으로부터 다음 프레임의 화소값을 예측할 수 있다(이를 화면간 예측(interprediction)이라 함).
이러한 동영상 데이터의 부호화 및 복호화는 움직임 예측(motion prediction) 기술을 기반으로 이루어진다. 움직임 예측은 시간 축을 기준으로 과거 프레임을 참조하거나 과거 프레임과 미래 프레임을 모두 참조하는 방식으로 수행된다. 현재 프레임을 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임이라고 한다. 그리고, 블록 기반 동영상 부호화에서 동영상을 구성하는 하나의 정지영상(프레임)은 매크로블록과 매크로블록을 구성하는 서브블록으로 나누어져, 블록단위로 움직임이 예측되고 부호화가 수행된다.
또한 동일한 프레임 내에서 화소신호의 상관관계를 사용해 다음 화소를 예측하고 그 예측오차를 부호화할 수도 있다(이를 화면 내 예측(intraprediction)이라 함).
도 1은 화면간 예측에 사용되는, 동영상을 구성하는 동영상 프레임들을 도시한 도면이다.
도 1을 참조하면, 동영상 데이터는 일련의 정지영상으로 구성되어 있다. 이 정지영상들은 GOP(Group of Picture) 단위로 구분되어 있다. 정지영상 하나하나를 프레임이라 한다. 하나의 GOP에는 I 프레임(110), P 프레임(120), B(130) 프레임이 포함되어 있다. I 프레임(110)은 참조 프레임을 사용하지 않고 자체적으로 부호화되는 프레임이며, P 프레임(120)과 B 프레임(130)은 참조 프레임을 사용하여 움직임 추정 및 보상을 수행하여 부호화되는 프레임이다. 특히, B 프레임(130)은 과거의 프레임과 미래의 프레임을 각각 순방향 및 역방향(양방향) 예측하여 부호화되는 프레임이다.
도 2는 본 발명의 일 실시예에 따른 동영상 부호화 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 동영상 부호화 장치(200)는 움직임 추정/보상부(210), 감산부(220), 정렬 변환부(230), 변환부(240), 양자화부(250) 및 부호화부(260)를 포함한다.
이러한 동영상 부호화 장치(200)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
움직임 추정/보상부(210)는 위에서 설명한 바와 같이 움직임 예측을 기반으로 하는 화면간 예측이나 동일한 프레임 내에서 화소신호의 상관관계를 사용해 다음 화소를 예측하는 화면 내 예측 중 어느 하나 또는 둘의 조합을 이용하여 현재 블록(또는 매크로블록)을 예측할 수 있다.
예를 들어, 움직임 추정/보상부(210)는 움직임 추정부(미도시)와 움직임 보상부(미도시)로 나누어 구성될 수 있다. 움직임 추정부는 현재 프레임의 매크로 블록의 움직임 예측치를 참조 프레임에서 찾아 그 움직임의 차이를 움직임 벡터로써 출력한다. 즉, 찾고자 하는 매크로 블록을 참조 프레임의 소정의 탐색영역 내에서 탐색하여, 가장 유사한 매크로 블록을 찾아 그 이동 정도를 움직임 벡터로써 출력한다. 움직임 보상부는 구해진 움직임 벡터에 해당하는 예측 매크로 블록을 참조 프레임으로부터 얻는다.
또 다른 예로, 움직임 추정/보상부(210)는 현재 프레임의 현재 매크로 블록을 영상 내에서 현재 매크로 블록의 주변 매크로 블록을 이용하여 예측하는 인트라예측부로, 하나 이상의 주변 매크로 블록의 하나 이상의 화소값(Pixel Value)을 이용하여 현재 매크로 블록의 각 화소의 예측 화소값(Predicted Pixel Value)을 계산함으로써 예측 매크로 블록을 예측한다. 여기서, 주변 매크로 블록은 현재 매크로 블록 이전에 압축되고 현재 매크로 블록의 주변에 위치한 하나 이상의 주변 매크로 블록일 수 있다.
감산부(220)는 원 영상 프레임의 매크로 블록에서 예측 매크로 블록을 빼서 그 차이값을 계산하여 잔차신호(Residual Signal)를 생성한다.
정렬 변환부(230)는 잔차신호의 영상 블록의 화소들에 대해 수평 방향의 크기 순으로 정렬하고 수직 방향의 크기 순으로 정렬하며, 그 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성한다. 본 발명에 따른 정렬 변환부(230)는 도 3을 참조로 보다 상세히 후술하도록 한다.
변환부(240)는 정렬 변환부(230)에 의해 수평 및 수직 정렬 변환된 화소(잔차신호)를 주파수 영역으로 변환하여 주파수 계수들을 얻는다. 여기서, 변환부(240)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 또는 웨이블릿 변환(Wavelet Transform) 등의 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차신호를 주파수 영역으로 변환한다. 도 1을 참조하여 설명한 I 프레임의 경우, 변환부(240)는 원 영상 프레임의 매크로 블록을 주파수 영역으로 변환한다.
양자화부(250)는 변환부(230)에 의해 주파수 영역으로 변환된 주파수 계수들을 양자화(Quantization)한다.
원 영상 프레임의 매크로 블록에서 예측 매크로 블록을 뺀 것을 잔차신호(residual signal)라고 하는데 부호화시의 데이터량을 줄이기 위해서 이 잔차신호값을 부호화한다. 양자화 과정에서 에러가 발생하므로, 비트스트림으로 만들어지는 동영상 데이터에는 변환 및 양자화 과정에서 발생한 에러가 포함되어 있다.
또한, 참조 프레임을 얻기 위해, 동영상 부호화 장치(200)는 역양자화부(270)와 역변환부(280)를 추가로 포함할 수 있다.
참조 프레임을 얻기 위해, 양자화된 잔차신호는 역양자화부(270)와 역변환부(280)를 거쳐 움직임 추정/보상부(210)에서 예측된 영상과 합쳐져 참조 프레임 저장부(미도시)에 저장된다. I 프레임의 경우, 역양자화부(270)와 역변환부(280)를 거쳐 움직임 추정/보상부(210)의 참조 프레임 저장부에 저장된다. 즉, 원 영상을 A 라고 하고, 예측된 영상을 B 라고 하면 변환부(240)는 원 영상과 예측된 영상과의 차이인 A-B를 입력받아 변환을 수행한다.
부호화부(260)는 양자화부(250)에 의해 양자화된 주파수 계수들을 비트스트림으로 부호화한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 영상 신호의 2차원 정렬 변환 장치의 블 록도로서, 도 2의 정렬 변환부(230)에 대응하므로 동일 부호를 부가하여 설명한다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 신호의 2차원 정렬 변환 장치(230)는 수평 정렬부(231), 수직 정렬부(233), 및 인덱스 맵 생성부(235)를 포함한다. 또한, 변환부(240)를 더 포함할 수 있다.
수평 정렬부(231)는 영상 블록의 화소들을 수평 방향의 크기 순으로 수평 정렬한다. 즉, 수평 정렬부(231)는 영상 블록의 동일 행내의 화소들에 대해 좌에서 우로 갈수록 화소값의 크기가 작아지는 순으로 정렬한다.
수직 정렬부(233)는 영상 블록의 화소들을 수직 방향의 크기 순으로 수직 정렬한다. 즉, 수직 정렬부(233)는 영상 블록의 동일 열내의 화소들에 대해 상단에서 하단으로 갈수록 화소값의 크기가 작아지는 순으로 정렬한다.
인덱스 맵 생성부(235)는 수평 정렬부(231)에 의해 수평 정렬되고 수직 정렬부(233)에 의해 수직 정렬된 영상 블록의 화소들의 원래 위치(정렬되기 전의 원 위치)에 대한 인덱스 맵을 생성한다.
변환부(240)는 일 예로 이산 코사인 변환(Discrete Cosine Transform: DCT)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하거나, 다른 예로 웨이블릿 변환(Wavelet Transform)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것이다. 이와 같은 변환부(240)는 도 2의 설명을 참조한다. 하지만, 본 발명에 따른 변환부(240)는 위의 예에 한정되지 않고 부호화(또는 복호화) 과정에서 필요한 변환(또는 역변환) 과정을 수행하는 기존의 구성을 모두 나타낼 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 신호의 2차원 정렬 변환 방법의 흐 름도로서, 도 3의 장치에 적용되므로 그 장치의 동작과 함께 설명한다.
먼저, 도 5와 같은 영상 블록 신호가 영상 신호의 2차원 정렬 변환 장치(230)에 입력된다(S410). 도 5는 4x4 블록 크기를 갖는 영상 신호의 예로서, 영상의 화소 값은 x, y축에 대한 임의의 함수로 f(x,y)로 나타낸다.
이어, 수평 정렬부(231)는 입력된 도 5의 영상 블록 신호에 대해 도 6에 도시된 바와 같이 해당 영상 블록의 행을 기준으로 수평 방향의 크기 순으로 수평 정렬한다. 즉, 도 6과 같이 수평 정렬부(231)는 해당 영상 블록의 동일 행내의 화소들에 대해 좌에서 우로 갈수록 화소값의 크기가 작아지는 순으로 정렬한다(S420).
이어, 수직 정렬부(233)는 수평 정렬부(231)에 의해 도 6과 같이 수평 정렬된 영상 블록의 화소들에 대해 도 7에 도시된 바와 같이 열을 기준으로 수직 방향의 크기 순으로 수직 정렬한다. 즉, 도 7과 같이 수직 정렬부(233)는 해당 영상 블록의 동일 열내의 화소들에 대해 상단에서 하단으로 갈수록 화소값의 크기가 작아지는 순으로 정렬한다(S430).
도 6의 수평 정렬 단계(S420) 및 도 7의 수직 정렬 단계(S430)를 통해, 도 8와 같이 왼쪽 상단에 가장 높은 화소값을 갖는 화소가 배치되고, 오른쪽 하단에는 가장 낮은 화소값을 갖는 화소가 배치되도록 2차원 정렬 변환을 수행할 수 있다.
이런 정렬 방법은 화소가 행렬에 대해 내림 차순 정렬되기 때문에 종래의 DCT와 같은 변환 기법을 수행하였을 때, 에너지 집중 효과가 커, 적은 수의 계수로 원래의 신호를 표현할 수 있게 된다.
다음, 도 8과 같이 정렬된 화소를 원 위치로 재배치하는 역변환을 위해서는 화소의 원 위치에 관한 정보를 담는 인덱스 맵이 필요하다. 도 9는 화소 정렬 변환에 따른 인덱스 맵의 변화를 나타낸 예이다. 영상 블록 신호의 왼쪽 상단을 1로 정의하고 래스터 스캔으로 오른쪽 하단까지 숫자를 증가하여 16까지 정의한다. 이렇게 정의된 영상 신호에 따른 일련의 숫자를 인덱스 맵이라고 하고, 이 인덱스 맵을 통해 정렬 전에 원래 신호의 위치를 기록할 수 있다(S440).
정렬 변환 이후로 생성되는 인덱스 맵의 비트량은 주어진 화소의 개수가 N개 일 때, 다음 식 (1)을 통해 얻을 수 있다.
식 (1)
Figure 112008073189932-pat00001
마지막으로, 도 8과 같이 정렬된 블록 영상 신호 및 도 9와 같이 생성된 인덱스 맵을 출력한다(S450).
또한, 변환부(240)는 도 8과 같이 정렬된 블록 영상 신호를 주파수 계수들로 변환한다. 변환부(240)는 이산 코사인 변환(Discrete Cosine Transform: DCT)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하거나, 웨이블릿 변환(Wavelet Transform)을 이용하여 시간축의 화상 신호를 주파수축으로 변환할 수 있다.
본 발명의 방법을 통해 임의의 영상 신호를 2차원 정렬된 영상 신호로 재배치할 수 있으며, 이 정렬된 영상 신호는 기존 영상이 가지고 있던 불연속 지점을 효율적으로 제거하기 때문에 DCT 등 블록 기반의 변환 기법의 에너지 집중 효과를 극대화하게 되어, 결과적으로 높은 부호화 효율의 향상을 기대할 수 있다.
본 발명의 일 실시예에 따른 영상 신호의 2차원 정렬 변환 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로써 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것이다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와 같이, 본 발명은 동영상 부호화 및 복호화 기술 분야에 적용되어 임의의 영상 신호를 2차원 정렬된 영상 신호로 재배치할 수 있으며, 이 정렬된 영상 신호는 기존 영상이 가지고 있던 불연속 지점을 효율적으로 제거하기 때문에 DCT 등 블록 기반의 변환 기법의 에너지 집중 효과를 극대화하게 되어, 결과적으로 부호화을 극대화할 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 화면간 예측에 사용되는, 동영상을 구성하는 동영상 프레임들을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 동영상 부호화 장치의 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 신호의 2차원 정렬 변환 장치의 블록도,
도 4는 본 발명의 일 실시예에 따른 영상 신호의 2차원 정렬 변환 방법의 흐름도,
도 5는 4x4 블록 크기를 갖는 영상 신호의 일 예를 나타낸 도면,
도 6은 본 발명에 따른 수평 정렬 과정을 설명하는 도면,
도 7은 본 발명에 따른 수직 정렬 과정을 설명하는 도면,
도 8은 본 발명에 따른 수평 및 수직 정렬 과정 후의 영상 블록 신호의 일 예를 나타낸 도면,
도 9는 본 발명에 따른 인덱스 맵의 생성 과정을 설명하는 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
200: 부호화 장치(또는 부호기라 칭함)
210: 움직임 추정/보상부, 적응 중첩 블록 움직임 보상 장치
220: 감산부 230: 정렬 변환부
231: 수평 정렬부 233: 수직 정렬부
235: 인덱스 맵 생성부 240: 변환부
250: 양자화부 260: 부호화부
270: 역양자화부 280: 역변환부

Claims (20)

  1. 영상 블록의 동일 행 내의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬부;
    상기 영상 블록의 동일 열 내의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬부;
    상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성부; 및
    상기 수평 및 수직 정렬된 화소들을 포함하는 영상 블록을 주파수 계수들로 변환하는 변환부
    를 포함하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 장치.
  2. 제 1 항에 있어서,
    상기 수평 정렬부는 동일 행내의 화소들에 대해 좌에서 우로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 장치.
  3. 제 1 항에 있어서,
    상기 수직 정렬부는 동일 열내의 화소들에 대해 상에서 하로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 변환부는 이산 코사인 변환(Discrete Cosine Transform: DCT)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 장치.
  6. 제 1 항에 있어서,
    상기 변환부는 웨이블릿 변환(Wavelet Transform)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 장치.
  7. 영상 블록의 동일 행 내의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬 단계;
    상기 영상 블록의 동일 열 내의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬 단계;
    상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성 단계; 및
    상기 수평 및 수직 정렬된 화소들을 포함하는 영상 블록을 주파수 계수들로 변환하는 변환 단계
    를 포함하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 방법.
  8. 제 7 항에 있어서,
    상기 수평 정렬 단계는 동일 행내의 화소들에 대해 좌에서 우로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 방법.
  9. 제 7 항에 있어서,
    상기 수직 정렬 단계는 동일 열내의 화소들에 대해 상에서 하로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 방법.
  10. 삭제
  11. 제 7 항에 있어서,
    상기 변환 단계는 이산 코사인 변환(Discrete Cosine Transform: DCT)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 방법.
  12. 제 7 항에 있어서,
    상기 변환 단계는 웨이블릿 변환(Wavelet Transform)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 방법.
  13. 현재 블록의 각 화소의 원 화소값과 상기 현재 블록의 각 화소의 예측 화소값의 차이값을 계산하여 잔차신호를 생성하는 감산부;
    상기 잔차신호의 영상 블록의 동일 행 내의 화소들에 대해 수평 방향의 크기 순으로 정렬하고, 상기 영상 블록의 동일 열 내의 화소들에 대해 수직 방향의 크기 순으로 정렬하며, 상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 정렬 변환부;
    상기 수평 및 수직 정렬된 화소들을 포함하는 영상 블록을 주파수 계수들로 변환하는 변환부;
    상기 변환된 주파수 계수들을 양자화하는 양자화부; 및
    상기 양자화된 주파수 계수들을 비트스트림으로 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 동영상 부호화 장치.
  14. 제 13 항에 있어서,
    상기 정렬 변환부는 동일 행내의 화소들에 대해 좌에서 우로 갈수록 화소값의 크기가 작아지는 순으로 정렬하고, 동일 열내의 화소들에 대해 상에서 하로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 동영상 부호 화 장치.
  15. 제 13 항에 있어서,
    상기 변환부는 이산 코사인 변환(Discrete Cosine Transform: DCT)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것을 특징으로 하는 동영상 부호화 장치.
  16. 제 13 항에 있어서,
    상기 변환부는 웨이블릿 변환(Wavelet Transform)을 이용하여 시간축의 화상 신호를 주파수축으로 변환하는 것을 특징으로 하는 동영상 부호화 장치.
  17. 영상 블록의 동일 행 내의 화소들에 대해 수평 방향의 크기 순으로 수평 정렬하는 수평 정렬 기능;
    상기 영상 블록의 동일 열 내의 화소들에 대해 수직 방향의 크기 순으로 수직 정렬하는 수직 정렬 기능;
    상기 수평 및 수직 정렬된 화소들의 원 위치에 대한 인덱스 맵을 생성하는 인덱스 맵 생성 기능; 및
    상기 수평 및 수직 정렬된 화소들을 포함하는 영상 블록을 주파수 계수들로 변환하는 변환 기능
    을 포함하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  18. 제 17 항에 있어서,
    상기 수평 정렬 기능은 동일 행내의 화소들에 대해 좌에서 우로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  19. 제 17 항에 있어서,
    상기 수직 정렬 기능은 동일 열내의 화소들에 대해 상에서 하로 갈수록 화소값의 크기가 작아지는 순으로 정렬하는 것을 특징으로 하는 영상 신호의 2차원 정렬 변환 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  20. 삭제
KR1020080103425A 2008-10-22 2008-10-22 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체 KR101512643B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080103425A KR101512643B1 (ko) 2008-10-22 2008-10-22 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
PCT/KR2009/005923 WO2010047492A2 (ko) 2008-10-22 2009-10-15 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080103425A KR101512643B1 (ko) 2008-10-22 2008-10-22 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체

Publications (2)

Publication Number Publication Date
KR20100044333A KR20100044333A (ko) 2010-04-30
KR101512643B1 true KR101512643B1 (ko) 2015-04-16

Family

ID=42119807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080103425A KR101512643B1 (ko) 2008-10-22 2008-10-22 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체

Country Status (2)

Country Link
KR (1) KR101512643B1 (ko)
WO (1) WO2010047492A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370706B1 (ko) * 2012-06-29 2014-03-12 인텔렉추얼디스커버리 주식회사 영상 부호화기의 전처리 장치 및 방법
WO2014003507A1 (ko) * 2012-06-29 2014-01-03 인텔렉추얼디스커버리 주식회사 영상 부호화기의 전처리 장치와 3차원 얼굴 생성 장치 및 방법
WO2014104520A1 (ko) * 2012-12-27 2014-07-03 전자부품연구원 변환 방법, 연산 방법 및 이를 적용한 ｈｅｖｃ 시스템
CN107637078B (zh) 2015-03-31 2020-05-26 瑞尔数码有限公司 整数变换系数的视频译码***和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0132894B1 (ko) * 1992-03-13 1998-10-01 강진구 영상압축부호화 및 복호화 방법과 그 장치
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
JPH1141503A (ja) * 1997-07-17 1999-02-12 Canon Inc 画像撮影装置及び画像撮影方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
엄민영 외 3명, 정렬 변환을 이용한 새로운 영상 부호화 방법. 제20회 신호처리합동학술대회 논문집. 2007. 10. pp.1-4*

Also Published As

Publication number Publication date
WO2010047492A3 (ko) 2010-07-29
KR20100044333A (ko) 2010-04-30
WO2010047492A2 (ko) 2010-04-29

Similar Documents

Publication Publication Date Title
RU2694012C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
US9584810B2 (en) Encoding/decoding method and device for high-resolution moving images
KR101444667B1 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101947657B1 (ko) 인트라 예측 정보 부호화 방법 및 장치
KR101947658B1 (ko) 영상 복호화 방법 및 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
JP3369573B2 (ja) 画像予測復号化方法及び装置
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20110126485A (ko) 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
US20120201296A1 (en) Method and apparatus for encoding/decoding images considering low frequency components
KR101615643B1 (ko) 픽처들의 압축
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
JP2007110568A (ja) 画像符号化装置
KR101512643B1 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
CN104702959A (zh) 一种视频编码的帧内预测方法及***
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
US11218705B2 (en) Information processing device and video encoding method
US20120027080A1 (en) Encoder and encoding method using coded block pattern estimation
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 5