KR20060043118A - 영상 신호의 인코딩 및 디코딩 방법 - Google Patents

영상 신호의 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20060043118A
KR20060043118A KR1020050014852A KR20050014852A KR20060043118A KR 20060043118 A KR20060043118 A KR 20060043118A KR 1020050014852 A KR1020050014852 A KR 1020050014852A KR 20050014852 A KR20050014852 A KR 20050014852A KR 20060043118 A KR20060043118 A KR 20060043118A
Authority
KR
South Korea
Prior art keywords
block
frame
image
slice
blocks
Prior art date
Application number
KR1020050014852A
Other languages
English (en)
Inventor
윤도현
전병문
박지호
박승욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US11/243,991 priority Critical patent/US20060078053A1/en
Publication of KR20060043118A publication Critical patent/KR20060043118A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 신호를 MCTF에 의해 스케일러블 하게 인코딩 하고 디코딩 하는 방법에 관한 것이다. 본 발명은, 프레임 시퀀스로 구성된 영상 신호를 MCTF에 의해 인코딩 할 때, 상기 시퀀스 내의 임의의 프레임에 포함된 영상 블록에 대한 기준 블록을 시간상 인접한 프레임에서 찾아 상기 영상 블록과 상기 기준 블록과의 이미지 차를 구하고, 상기 이미지 차를 상기 기준 블록에 더하는 것으로 이루어지고, 여기서 한 프레임 또는 슬라이스에서 복수 개의 기준 블록이 검색되는 경우가 포함된다. 따라서, 모션 예측 동작에서 연결되지 않는 영역의 발생을 줄이고 코딩 이득을 향상시킬 수 있다.
MCTF, 예측 단계, 갱신 단계, 기준 블록, 모션 벡터, 모드

Description

영상 신호의 인코딩 및 디코딩 방법 { Method for encoding and decoding video signal }
도 1은 본 발명에 따른 영상 신호 압축 방법이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이고,
도 2는 도 1의 MCTF 인코더 내의 영상 예측과 갱신 동작을 수행하는 필터의 일반적인 구성을 도시한 것이고,
도 3는 본 발명에 따른 매크로 블록에 대한 다양한 모드를 도시한 것이고,
도 4는 도 1의 장치에 의해 인코딩 된 데이터 스트림을 디코딩 하는 장치의 구성을 도시한 것이고,
도 5는 도 4의 MCTF 디코더 내의 역역예측 그리고 역갱신 동작을 수행하는 역필터의 구성을 도시한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : MCTF 인코더 101 : 분리기
102 : 추정/예측기 103 : 갱신기
110 : 텍스처 인코더 120 : 모션 코딩부
130 : 먹서 200 : 디먹서
210 : 텍스처 디코더 220 : 모션 디코딩부
230 : MCTF 디코더 231 : 전단 프로세서
232 : 역갱신기 233 : 역예측기
234 : 배열기 235 : 모션 벡터 추출부
본 발명은, 영상 신호의 인코딩 및 디코딩 방법에 관한 것으로, 좀더 상세하게는 MCTF(Motion Compensated Temporal Filter)에 의해 영상 신호를 인코딩/디코딩 할 때 시간상(temporal) 상관 관계(correlation)를 효율적으로 이용하여 인코딩 하고 그에 따라 인코딩 된 데이터를 디코딩 하는 방법에 관한 것이다.
영상 신호를 디지털화하는 여러가지 표준이 제안되어 있는 데, MPEG 이 그 중 대표적이다. 이 MPEG 표준은 현재 DVD와 같은 기록매체에 영화 컨텐츠 등을 수록하는 표준으로 채택되어 널리 사용되고 있다. 또한, 대표적인 표준으로서 H.264가 있는 데, 이는 앞으로 고품질의 TV 방송 신호에 표준으로 사용될 것으로 예상되고 있다.
그런데, TV 방송 신호는 광대역을 필요로 하는 데, 현재 널리 사용되고 있는 휴대폰과 노트북, 그리고 앞으로 널리 사용하게 될 이동(mobile) TV와 핸드 PC 등이 무선으로 송수신하는 영상에 대해서는 TV신호를 위한 대역폭과 같은 넓은 대역을 할당하기가 여의치 않다. 따라서, 이와 같은 이동성 휴대장치를 위한 영상 압축 방식에 사용될 표준은 좀 더 영상 신호의 압축 효율이 높아야만 한다.
더욱이, 상기와 같은 이동성 휴대장치는 자신이 처리 또는 표현(presentation)할 수 있는 능력이 다양할 수 밖에 없다. 따라서, 압축된 영상이 그만큼 다양하게 사전준비되어야만 하는 데, 이는 동일한 하나의 영상원(source)을, 초당 전송 프레임수, 해상도, 픽셀당 비트수 등 다양한 변수들의 조합된 값에 대해 구비하고 있어야 함을 의미하므로 컨텐츠 제공자에게 많은 부담이 될 수 밖에 없다.
이러한 이유로, 컨텐츠 제공자는 하나의 영상원에 대해 고속 비트레이트의 압축 영상 데이터를 구비해 두고, 상기와 같은 이동성 장치가 요청하면 압축 영상을 디코딩 한 다음, 요청한 장치의 영상 처리 능력(capability)에 맞는 영상 데이터로 다시 인코딩 하는 과정을 수행하여 제공한다. 하지만 이와 같은 방식에는 트랜스코딩(transcoding)(디코딩+인코딩) 과정이 필히 수반되므로 이동성 장치가 요청한 영상을 제공함에 있어서 다소 시간 지연이 발생한다. 또한 트랜스코딩도 목표 인코딩이 다양함에 따라 복잡한 하드웨어의 디바이스와 알고리즘을 필요로 한다.
이와 같은 불리한 점들을 해소하기 위해 제안된 것이 스케일러블 영상 코덱(SVC : Scalable Video Codec)이다. 이 방식은 영상 신호를 인코딩함에 있어, 최고 화질로 인코딩 하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 제공해도 영상의 화질을 어느 정도 보장하도록 하는 방식이다.
MCTF (Motion Compensated Temporal Filter)가 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안된 인코딩 방식이다. 그런데, 이 MCTF 방식은 앞서 언급한 바와 같이 대역폭이 제한된 이동 통신에 적용될 가능성이 현저히 높으므로 초 당 전송되는 비트 수를 낮추기 위해 높은 압축 효율, 즉 높은 코딩 율(coding rate)을 필요로 한다.
MCTF는 움직임을 보상하는(MC : Motion Compensation) 인코딩 방법으로, 영상 시퀀스에서 중복되는 부분, 즉 시간상 상관 관계를 찾는 것이 중요하다. 하지만, 앞뒤 프레임에서 서로 중복되지 않는 부분, 즉 연결되지 않는 영역(Unconnected Area)이 발생할 수 있고, 이러한 연결되지 않은 영역은 L 프레임(이후 설명됨)에 Ghost Artifact를 생성한다. 또한, 일반적으로 상기 연결되지 않은 영역은 앞뒤 프레임에 대한 모션 예측(Motion Prediction) 동작에 의해 선택되지 않고 다음 인코딩 레벨의 프레임에 전해진다. 따라서, MCTF에 의해 생성된 압축 프레임은 큰 잔여 에너지를 갖게되고, 결국 코딩 이득이 저하된다.
본 발명은 상기 필요성과 문제점을 해결하기 위해 창작된 것으로서, 본 발명의 목적은 비디오 신호를 MCTF에 의해 스케일러블하게 인코딩 할 때 모션 예측 동작에 의해 선택되지 않는 영역을 줄여 코딩 이득을 향상시키는 방법을 제공하는데 있다.
상기한 목적을 달성하기 위해 본 발명의 실시예에 따른 프레임 시퀀스로 구성된 영상 신호를 인코딩 하는 방법은, 상기 시퀀스 중 임의의 프레임 또는 그 프 레임이 분할된 슬라이스에 포함된 영상 블록에 대한 기준 블록을 시간상 인접한 프레임 또는 슬라이스에서 검색하여 상기 영상 블록과 상기 기준 블록과의 이미지 차를 구하는 단계; 및 상기 이미지 차를 상기 기준 블록에 더하는 단계를 포함하여 이루어지고, 여기서, 한 프레임 또는 슬라이스에서 복수 개의 기준 블록이 검색되는 경우가 포함되는 것을 특징으로 한다.
상기 실시예에서, 상기 영상 블록과의 이미지 차의 크기가 소정의 문턱값 이하가 되는 블록이 둘 이상인 경우 상기 이미지 차의 크기가 가장 작은 두개의 블록이 기준 블록이 되고, 그렇지 않은 경우에는 상기 이미지 차의 크기가 가장 작은 하나의 블록이 기준 블록이 되고, 상기 영상 블록이 있는 프레임 또는 슬라이스의 이전 또는 이후 프레임 또는 슬라이스에서 상기 기준 블록을 검색하는 것을 특징으로 한다. 일 실시예로 상기 기준 블록을 상기 영상 블록이 있는 프레임 또는 슬라이스의 직전 또는 직후 프레임 또는 슬라이스에서 검색할 수도 있다.
또한, 상기 영상 블록에서 상기 기준 블록으로의 모션 벡터를 구하는 단계를 더 포함하여 이루어진다.
또한, 상기 영상 블록에 대한 상기 기준 블록을 가리키는 정보를 상기 영상 블록의 헤더에 기록하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다. 상기 영상 블록에 대한 기준 블록을 가리키는 정보는, 기준 블록의 방향과 개수를 동시에 가리키거나, 또는 기준 블록의 방향 정보와 기준 블록의 개수 정보로 구성될 수 있다.
이때, 상기 기준 블록의 방향과 개수를 동시에 가리키는 정보는, 상기 직전 프레임 또는 슬라이스에 기준 블록이 존재하는 경우, 상기 직후 프레임 또는 슬라이스에 기준 블록이 존재하는 경우, 상기 직전과 직후 프레임 또는 슬라이스에 각각 하나의 기준 블록이 존재하는 경우, 상기 직전 프레임 또는 슬라이스에 두개의 기준 블록이 존재하는 경우, 및 상기 직후 프레임 또는 슬라이스에 두개의 기준 블록이 존재하는 경우를 구분하도록 설정되고, 또한 상기 기준 블록의 방향과 개수를 동시에 가리키는 정보는, 상기 모션 벡터를 주변의 영상 블록의 모션 벡터로부터 유도 가능한 경우와, 상기 직전과 직후 프레임 또는 슬라이스에 각각 하나의 기준 블록이 존재할 때 상기 두개의 기준 블록으로의 두개의 모션 벡터가 크기가 동일하고 방향이 반대인 경우를 추가로 구분하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 차값의 화소를 가진 제 1 프레임 시퀀스와 제 2 프레임 시퀀스를 수신하여 영상 신호로 디코딩 하는 방법은, 상기 제 1 프레임 시퀀스 내의 한 프레임 내의 영상 블록의 헤더 영역에 포함된 정보를 근거로, 상기 제 2 프레임 시퀀스 내의 프레임에 있는, 상기 영상 블록에 대응되는 대상 블록에서 상기 영상 블록의 각 화소의 차값을 감하는 1 단계; 및 차값이 감해진 상기 대상 블록 내의 각 화소 값과 상기 영상 블록 내의 각 화소의 차값을 사용하여 상기 영상 블록의 원래의 이미지를 복원하는 2 단계를 포함하여 이루어지고, 여기서, 상기 정보는 상기 영상 블록에 대응되는 대상 블록을 가리키는 정보이고, 하나의 제 2 프레임에 복수 개의 대상 블록이 존재하는 경우가 포함되는 것을 특징으로 한다.
이 실시예에서, 상기 대상 블록이 포함된 제 2 프레임은 상기 제 1 프레임의 이전 또는 이후 프레임인 것을 특징으로 한다. 일 실시예로, 상기 대상 블록이 포 함된 제 2 프레임은 상기 제 1 프레임의 직전 또는 직후 프레임일 수 있다. 또한, 상기 대상 블록은 최대 2개인 것을 특징으로 한다.
상기 영상 블록에 대응되는 대상 블록을 가리키는 정보는, 대상 블록의 방향과 대상 블록의 개수를 동시에 가리키거나, 또는 대상 블록의 방향 정보와 대상 블록의 개수 정보로 구성될 수 있다.
이하, 본 발명의 바람직한 실시예에 대해 첨부 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 영상 신호의 스케일러블 압축 방법이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이다.
도 1의 영상 신호 인코딩 장치는, 입력되는 영상 신호를 MCTF 방식에 의해 매크로 블록(macro block) 단위로 인코딩 하고 적절한 관리 정보를 생성하는 MCTF 인코더(100), 상기 인코딩 된 각 매크로 블록의 데이터를 압축된 비트 열로 변환하는 텍스처(Texture) 코딩부(110), 상기 MCTF 인코더(100)에 의해 얻어지는 영상 블록들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트 열로 코딩 하는 모션 코딩부(120), 상기 텍스처 코딩부(110)의 출력 데이터와 상기 모션 코딩부(120)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송 포맷으로 상호 먹싱하여 데이터 스트림으로 출력하는 먹서(130)를 포함하여 구성된다.
상기 MCTF 인코더(100)는, 임의 영상 프레임의 매크로 블록에 대하여 움직임 을 추정하고(ME : motion estimation) 움직임을 보상하는(MC : motion compensation) 예측(prediction) 동작을 수행하며, 또한 상기 매크로 블록과 인접 프레임 내의 매크로 블록과의 이미지 차를 상기 매크로 블록에 더하는 갱신(update) 동작을 수행하는 데, 도 2는 이를 수행하기 위한 필터의 구성을 도시한 것이다.
도 2의 필터는, 입력되는 영상 프레임 시퀀스를 전후 프레임, 예를 들어 홀수(odd) 짝수(even) 프레임으로 분리하는 분리기(101), 임의 프레임 내의 각 매크로 블록에 대하여, 전 및/또는 후로 인접한 프레임에서 기준 블록을 찾아서 기준 블록과의 이미지 차(대응 화소의 차값)와 모션 벡터를 산출하는 예측 동작(prediction)을 수행하는 추정/예측기(102), 기준 블록이 찾아진 매크로 블록에 대해서 상기 산출된 이미지 차를 정규화(normalize)하여 해당 기준 블록에 더하는 갱신(update) 동작을 수행하는 갱신기(103)를 포함하고 있다. 상기 갱신기(103)가 수행하는 동작을 'U' 동작(operation)이라 하며, 'U' 동작에 의해 생성된 프레임을 'L' 프레임이라 한다.
도 2의 필터는 프레임 단위가 아니고 하나의 프레임이 분할된 복수 개의 슬라이스(slice)에 대해 병렬적으로 동시에 수행할 수도 있다. 이하의 실시예에서 사용되는 '프레임'의 용어는 '슬라이스'의 의미를 포함하는 것으로 사용된다.
상기 추정/예측기(102)는 입력되는 각 영상 프레임에 대해서, 기 정해진 크기의 매크로 블록(macro-block)으로 분할하고, 각 분할된 매크로 블록과 이미지가 가장 유사한 블록을 MC/ME 동작을 통해 인접한 전 및/또는 후 프레임에서 찾는다. 즉 시간상(temporal) 높은 상관 관계(correlation)를 갖는 매크로 블록을 찾는다. 이미지가 가장 유사한 블록은 대상 블록과 이미지 차가 가장 적은 블록이다. 이미지 차의 크기는, 예를 들어 pixel-to-pixel의 차이값 총합 또는 그 평균값 등으로 정해지며, 그 크기가 소정 문턱값 이하가 되는 블록들 중에서 크기가 가장 작은 매크로 블록을 기준(reference) 블록이라 한다.
대상 블록과의 이미지 차의 크기가 소정 문턱값 이하가 되는 블록이 하나 이하인 경우에는 기준 블록으로 상기 대상 블록과의 이미지 차의 크기가 가장 작은 블록을 하나만 선택한다.
반면, 대상 블록과의 이미지 차의 크기가 상기 소정 문턱값 이하가 되는 블록이 둘 이상인 경우, 두개 또는 그 이상 소정 개수의 기준 블록을 선택한다. 예를 들어 두개의 기준 블록을 선택하는 경우, 기준 블록, 즉 대상 블록과 이미지 차가 가장 작은 블록과 두번째로 작은 블록은 시간적으로 앞선 프레임과 뒤진 프레임에 각각 하나씩 존재할 수도 있고, 앞선 프레임에 두개 또는 뒤진 프레임에 두개 존재할 수도 있다.
이와 같이 앞선 프레임에서 두개의 기준 블록을 선택한 매크로 블록에 대해서는 기준 블록의 종류를 가리키는 모드 정보 필드(mode)의 값으로 '전방2 모드(Fwd2 mode)', 뒤진 프레임에서 두개의 기준 블록을 선택한 매크로 블록에 대해서는 '후방2 모드(Bwd2 mode)'를 지정하여, 종래의 모드와 구별한다.
도 3는 본 발명에 따른 매크로 블록에 대한 다양한 모드를 도시하고 있는데, 이에 대해 설명한다. 상기 추정/예측기(102)는, 현재 매크로 블록의 기준 블록에 대한 모션 벡터가 이웃 또는 주변의 매크로 블록의 모션 벡터로부터 유도(derivation)가 가능한 경우, 예를 들어 좌측 매크로 블록의 모션 벡터와 상단 매크로 블록의 모션 벡터의 평균이 현재 매크로 블록의 모션 벡터가 되는 경우 등에는 현재 매크로 블록의 모드 값을 스킵(Skip) 모드로 정하게 된다. 스킵 모드의 경우에는 모션 벡터가 상기 모션 코딩부(120)에 제공되지 않는데, 이는 디코더에서 해당 매크로 블록의 모션 벡터를 충분히 유도해내기 때문이다.
현재 매크로 블록의 기준 블록이 이전과 다음 프레임에 모두 존재하면 양방향(Bid) 모드로 정하며, 만약 두 모션 벡터가 크기가 동일하고 방향이 반대이면 특히 반대방향(dirInv) 모드로 정한다. 그리고, 현재 매크로 블록의 기준 블록이 이전 프레임에만 있으면 도 3의 전방(Fwd) 모드로, 다음 프레임에만 있으면 후방(Bwd) 모드로 정하게 된다.
특히, 현재 매크로 블록의 기준 블록이 이전 프레임에 두개 존재하면 전방2(Fwd2) 모드로 정하고, 다음 프레임에 두개 존재하면 후방2(Bwd2) 모드로 정한다.
상기 추정/예측기(102)는, 기준 블록이 찾아진 경우에는, 현재 블록으로부터 상기 기준 블록으로의 모션 벡터 값을 구하고, 상기 기준 블록(전 또는 후의 한 프레임에만 있는)의 각 화소값과, 또는 기준 블록들(인접한 양 프레임 모두에 있거나 이전 또는 다음의 프레임 중 어느 한 프레임에 두개가 있는)의 각 평균 화소값과 현재 블록 내의 각 화소의 차이값을 산출하여 출력한다.
상기 추정/예측기(102)에 의해 수행되는 상기와 같은 동작을 'P' 동작(operation)이라 하며, 이 'P' 동작에 의해 만들어진 이미지 차를 갖는 프레임을 'H' 프레임이라 한다. 이는 'H' 프레임이 영상 신호의 고주파(High-frequency) 성분을 포함하고 있기 때문이다.
상기의 과정에 의해 하나의 매크로 블록에 대해 도 3에 제시된 다양한 모드 중 하나가 정해지고 그에 따른 모션 벡터 값은 상기 모션 코딩부(120)에 전송된다. 상기 블록에 대한 모드 정보는 상기 MCTF 인코더(100)에 의해 해당 매크로 블록에 대한 헤더 영역의 소정 위치에 기록된 후, 상기 먹서(130)에 의해 매크로 블록 데이터와 헤더 영역이 결합되어 전송 포맷으로 변환된다. 본 발명에 따라 기준 블록을 최대 두개 선택하는 경우 매크로 블록에 대한 모드는 7개가 존재하므로, 상기 모드 정보를 3 비트의 정보 필드로 기록할 수 있다.
상기와 같이 매크로 블록에 대해 인접한 한 프레임에 둘 이상의 기준 블록이 존재하는 모드, 예를 들어 전방2 모드와 후방2 모드를 추가로 지정함으로써, 앞서 지적한 연결되지 않은 영역의 발생을 줄일 수 있고 코딩 이득을 향상시킬 수 있다.
매크로 블록에 대한 모드 정보를 다른 방법으로 표현할 수도 있다. 모드 정보 필드(mode)는 기준 블록의 개수를 가리키고 각 기준 블록의 방향을 가리키는 방향 정보 필드(dir)를 지정할 수 있다. 예를 들어, 'dir'의 값이 '0'이면 기준 블록이 다음 프레임에 존재하는 것을 가리키고 '1'이면 기준 블록이 이전 프레임에 존재하는 것을 가리킨다.
또 다른 방법으로, 기준 블록의 방향을 가리키는 모드 정보 필드(mode)와 기준 블록의 개수를 가리키는 개수 정보 필드(num)를 이용하여 매크로 블록에 대한 모드를 표현할 수 있다. 예를 들어 기준 블록을 최대 두개 선택하는 경우, 'mode' 필드에는 2 비트를 할당하고 'num' 필드에는 1 비트를 할당한다. 이 경우, 'mode' 값이 '01'인 경우 후방 모드 '10'인 경우 전방 모드로 정하고 각각에 대해 'num' 값이 '0'인 경우 기준 블록이 한 개 '1'인 경우 기준 블록이 두 개인 것으로 정할 수 있다. 또한, 'mode' 값이 '11'인 경우 양방향 모드로 정하고, 'mode' 값이 '00'이고 'num' 값이 '0'인 경우 스킵 모드, 'mode' 값이 '00'이고 'num' 값이 '1'인 경우 반대방향 모드로 정할 수 있다.
지금까지 설명한 방법에 의해 인코딩 된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록 매체를 매개로 하여 전달되며, 디코딩 장치는 이후 설명하는 방법에 따라 원래의 영상 신호를 복원하게 된다.
도 4는 도 1의 장치에 의해 인코딩 된 데이터 스트림을 디코딩 하는 장치의 블록도이다. 도 4의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 데이터 스트림을 분리하는 디먹서(200), 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(210), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(220), 압축 해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을 MCTF 방식에 따라 원래의 영상 신호로 역변환하는 MCTF 디코더(230)를 포함하여 구성된다.
상기 MCTF 디코더(230)는, 입력되는 스트림으로부터 원래의 프레임 시퀀스로 복원하기 위해 도 5의 역(inverse) 필터를 내부 구성으로 포함한다.
도 5의 역필터는, 입력되는 매크로 블록 데이터 스트림을 H 프레임과 L 프레임으로 구분하고 매크로 블록의 헤더 정보를 해석하는 전단 프로세서(231), 입력되 는 L 프레임에서 입력되는 H 프레임의 각 화소의 차를 감하는 역갱신기(232), H 프레임의 이미지 차가 감해진 L 프레임과 그 H 프레임을 사용하여 원래의 이미지를 갖는 프레임을 복원하는 역예측기(233), 상기 역예측기(233)에 의해 완성된 프레임을 상기 역갱신기(232)의 출력 L 프레임 사이에 삽입하여 정상적인 영상 프레임 시퀀스로 만드는 배열기(234), 입력되는 모션 벡터 스트림을 디코딩 하여 각 블록의 모션 벡터 정보를 상기 역갱신기(232)와 상기 역예측기(233)에 제공하는 모션 벡터 추출부(235)를 포함하고 있다.
상기 전단 프로세서(231)는 입력되는 매크로 블록 데이터 스트림을 해석하여 L 프레임 시퀀스와 H 프레임 시퀀스로 구별하여 출력한다. 또한, 상기 전단 프로세서(231)는, 매크로 블록의 헤더 정보를 이용하여 H 프레임 내의 매크로 블록이 만들어질 때 사용된 기준 블록에 대한 정보, 즉 모드 정보를 상기 역갱신기(232)와 상기 역예측기(233)에 알려준다.
상기 역갱신기(232)는, 입력되는 L 프레임에서 H 프레임의 이미지 차를 감하는 동작을 수행할 때, 상기 전단 프로세서(231)로부터 제공되는 모드 정보와 상기 모션 벡터 추출부(235)로부터 제공되는 모션 벡터를 이용하여, L 프레임 내의 모드가 지정된 임의의 기준 블록에서 상기 기준 블록에 대응되는 H 프레임 내의 매크로 블록을 찾아 감하는 동작을 수행하고, 이로부터 원래의 이미지를 복원한다.
또한, 상기 역예측기(233)는, 상기 전단 프로세서(23)로부터 제공되는 모드 정보와 상기 모션 벡터 추출부(235)로부터 제공되는 모션 벡터를 이용하여, H 프레임 내의 매크로 블록 내의 각 화소의 차값에 상기 역갱신기(232)에서 해당 매크로 블록의 이미지 차가 감해진 기준 블록의 화소값을 더함으로써, 원래 이미지를 복원한다.
상기 갱신기(232)에 의해 원래 화소값으로 복원된 매크로 블록들이 조합됨으로써 하나의 완전한 영상 프레임이 구성된다. 마찬가지로, 상기 역예측기(233)에 의해 원래 화소값으로 복원된 매크로 블록들도 조합됨으로써 하나의 완전한 영상 프레임이 구성된다.
전술한 방법에 따라, MCTF방식으로 인코딩 된 데이터 스트림이 완전한 영상 프레임 시퀀스로 복구된다. 특히, 전술한 MCTF 인코딩 과정에서 한 GOP(Group Of Picture)에 대해 추정/예측과 갱신 동작을 N회 수행한 경우, 상기 MCTF 디코딩 과정에서 역역예측 그리고 역갱신 동작을 N회 수행하면 원래 화질의 영상 프레임 시퀀스를 얻을 수 있고, 그 보다 작은 횟수로 수행하면 화질이 다소 저하되지만 비트 레이트는 보다 낮은 영상 프레임 시퀀스를 얻을 수 있다. 따라서, 디코딩 장치는 자신의 성능에 맞는 정도로 상기 역역예측 그리고 역갱신 동작을 수행하도록 설계된다.
전술한 디코딩 장치는 이동 통신 단말기 등에 실장되거나 또는 기록 매체를 재생하는 장치에 실장될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
따라서, 영상 신호를 MCTF에 의해 스케일러블하게 인코딩/디코딩 할 때 영상 블록에 대해서 한 프레임에서 두개의 기준 블록을 지정함으로써, 연결되지 않는 영역의 발생을 줄이고 코딩 이득을 향상시킬 수 있다.

Claims (16)

  1. 프레임 시퀀스로 구성된 영상 신호를 인코딩 하는 방법에 있어서,
    상기 시퀀스 중 임의의 프레임 또는 그 프레임이 분할된 슬라이스에 포함된 영상 블록에 대한 기준 블록을 시간상 인접한 프레임 또는 슬라이스에서 검색하여 상기 영상 블록과 상기 기준 블록과의 이미지 차를 구하는 단계; 및
    상기 이미지 차를 상기 기준 블록에 더하는 단계를 포함하여 이루어지고,
    여기서, 한 프레임 또는 슬라이스에서 복수 개의 기준 블록이 검색되는 경우가 포함되는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 영상 블록과의 이미지 차의 크기가 소정의 문턱값 이하가 되는 블록이 둘 이상인 경우 상기 이미지 차의 크기가 가장 작은 두개의 블록이 기준 블록이 되고, 그렇지 않은 경우에는 상기 이미지 차의 크기가 가장 작은 하나의 블록이 기준 블록이 되는 것을 특징으로 하는 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 영상 블록이 있는 프레임 또는 슬라이스의 이전 또는 이후 프레임 또는 슬라이스에서 기준 블록을 검색하는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서,
    상기 영상 블록이 있는 프레임 또는 슬라이스의 직전 또는 직후 프레임 또는 슬라이스에서 기준 블록을 검색하는 것을 특징으로 하는 방법.
  5. 제 3항에 있어서,
    상기 영상 블록에서 상기 기준 블록으로의 모션 벡터를 구하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 영상 블록에 대한 기준 블록을 가리키는 정보를 상기 영상 블록의 헤더에 기록하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 영상 블록에 대한 기준 블록을 가리키는 정보는 기준 블록의 방향 정보와 기준 블록의 개수 정보로 구성되는 것을 특징으로 하는 방법.
  8. 제 6항에 있어서,
    상기 영상 블록에 대한 기준 블록을 가리키는 정보는 기준 블록의 방향과 개수를 동시에 가리키는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 기준 블록의 방향과 개수를 동시에 가리키는 정보는, 상기 이전 프레임 또는 슬라이스에 기준 블록이 존재하는 경우, 상기 이후 프레임 또는 슬라이스에 기준 블록이 존재하는 경우, 상기 이전과 이후 프레임 또는 슬라이스에 각각 하나의 기준 블록이 존재하는 경우, 상기 이전 프레임 또는 슬라이스에 두개의 기준 블록이 존재하는 경우, 및 상기 이후 프레임 또는 슬라이스에 두개의 기준 블록이 존재하는 경우를 구분하도록 설정되는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 기준 블록의 방향과 개수를 동시에 가리키는 정보는, 상기 모션 벡터를 주변의 영상 블록의 모션 벡터로부터 유도 가능한 경우와, 상기 직전과 직후 프레임 또는 슬라이스에 각각 하나의 기준 블록이 존재할 때 상기 두개의 기준 블록으로의 두개의 모션 벡터가 크기가 동일하고 방향이 반대인 경우를 더 포함하는 것을 특징으로 하는 방법.
  11. 화소의 차값을 가진 제 1 프레임 시퀀스와 제 2 프레임 시퀀스를 수신하여 영상 신호로 디코딩 하는 방법에 있어서,
    상기 제 1 프레임 시퀀스 내의 한 프레임 내의 영상 블록의 헤더 영역에 포함된 정보를 근거로, 상기 제 2 프레임 시퀀스 내의 프레임에 있는, 상기 영상 블 록에 대응되는 대상 블록에서 상기 영상 블록의 각 화소의 차값을 감하는 1 단계; 및
    차값이 감해진 상기 대상 블록 내의 각 화소 값과 상기 영상 블록 내의 각 화소의 차값을 사용하여 상기 영상 블록의 원래의 이미지를 복원하는 2 단계를 포함하여 이루어지고,
    여기서, 상기 정보는 상기 영상 블록에 대응되는 대상 블록을 가리키는 정보이고, 하나의 제 2 프레임에 복수 개의 대상 블록이 존재하는 경우가 포함되는 것을 특징으로 하는 방법.
  12. 제 11항에 있어서,
    상기 대상 블록이 포함된 제 2 프레임은 상기 제 1 프레임의 이전 또는 이후 프레임인 것을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 대상 블록이 포함된 제 2 프레임은 상기 제 1 프레임의 직전 또는 직후 프레임인 것을 특징으로 하는 방법.
  14. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 대상 블록은 최대 2개인 것을 특징으로 하는 방법.
  15. 제 11항에 있어서,
    상기 영상 블록에 대응되는 대상 블록을 가리키는 정보는 대상 블록의 방향 정보와 대상 블록의 개수 정보로 구성되는 것을 특징으로 하는 방법.
  16. 제 11항에 있어서,
    상기 영상 블록에 대응되는 대상 블록을 가리키는 정보는 대상 블록의 방향과 대상 블록의 개수를 동시에 가리키는 것을 특징으로 하는 방법.
KR1020050014852A 2004-10-07 2005-02-23 영상 신호의 인코딩 및 디코딩 방법 KR20060043118A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/243,991 US20060078053A1 (en) 2004-10-07 2005-10-06 Method for encoding and decoding video signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61623004P 2004-10-07 2004-10-07
US60/616,230 2004-10-07

Publications (1)

Publication Number Publication Date
KR20060043118A true KR20060043118A (ko) 2006-05-15

Family

ID=37148689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050014852A KR20060043118A (ko) 2004-10-07 2005-02-23 영상 신호의 인코딩 및 디코딩 방법

Country Status (2)

Country Link
US (1) US20060078053A1 (ko)
KR (1) KR20060043118A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008004816A1 (en) * 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Scalable video encoding/decoding method and apparatus thereof
KR101352979B1 (ko) 2006-07-04 2014-01-23 경희대학교 산학협력단 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치
KR20080004340A (ko) * 2006-07-04 2008-01-09 한국전자통신연구원 영상 데이터의 스케일러블 코딩 방법 및 그 장치
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US8532408B2 (en) 2010-02-17 2013-09-10 University-Industry Cooperation Group Of Kyung Hee University Coding structure
KR20120030813A (ko) * 2010-09-20 2012-03-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 수행하는 표시 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666461A (en) * 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6925126B2 (en) * 2001-04-18 2005-08-02 Koninklijke Philips Electronics N.V. Dynamic complexity prediction and regulation of MPEG2 decoding in a media processor
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
CN1917641A (zh) * 2002-01-18 2007-02-21 株式会社东芝 视频编码方法和装置以及视频解码方法和装置
PT3525467T (pt) * 2002-04-19 2021-04-08 Panasonic Ip Corp America Método e aparelho de descodificação de fluxo de bits
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치

Also Published As

Publication number Publication date
US20060078053A1 (en) 2006-04-13

Similar Documents

Publication Publication Date Title
US10499057B2 (en) Image processing device and image processing method
US9338453B2 (en) Method and device for encoding/decoding video signals using base layer
KR101055738B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
US9998750B2 (en) Systems and methods for guided conversion of video from a first to a second compression format
US7899115B2 (en) Method for scalably encoding and decoding video signal
US7379501B2 (en) Differential coding of interpolation filters
US8532187B2 (en) Method and apparatus for scalably encoding/decoding video signal
US20060062299A1 (en) Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks
KR20060043051A (ko) 영상 신호의 인코딩 및 디코딩 방법
US20160127728A1 (en) Video compression apparatus, video playback apparatus and video delivery system
KR20060043118A (ko) 영상 신호의 인코딩 및 디코딩 방법
US20060159181A1 (en) Method for encoding and decoding video signal
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR20060059774A (ko) 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR20060043120A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR101102393B1 (ko) 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
US20060133499A1 (en) Method and apparatus for encoding video signal using previous picture already converted into H picture as reference picture of current picture and method and apparatus for decoding such encoded video signal
KR100734141B1 (ko) 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
KR20060043867A (ko) 영상 신호의 인코딩 및 디코딩 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid