KR20090089960A - 초고해상도 영상 인코딩 및 디코딩 방법 및 장치 - Google Patents

초고해상도 영상 인코딩 및 디코딩 방법 및 장치 Download PDF

Info

Publication number
KR20090089960A
KR20090089960A KR1020080015144A KR20080015144A KR20090089960A KR 20090089960 A KR20090089960 A KR 20090089960A KR 1020080015144 A KR1020080015144 A KR 1020080015144A KR 20080015144 A KR20080015144 A KR 20080015144A KR 20090089960 A KR20090089960 A KR 20090089960A
Authority
KR
South Korea
Prior art keywords
image
macroslice
macro
information
unit
Prior art date
Application number
KR1020080015144A
Other languages
English (en)
Inventor
오승균
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080015144A priority Critical patent/KR20090089960A/ko
Priority to PCT/KR2008/005461 priority patent/WO2009104850A1/en
Publication of KR20090089960A publication Critical patent/KR20090089960A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 초고해상도 영상을 효율적으로 압축 및 복원하는 방법 및 이를 이용한 장치에 관한 것이다.
보다 구체적으로, 초고해상도 영상을 압축 및 복원하기 위해서는 하나의 픽쳐를 복수 개의 서브픽쳐들로 분할하여 각 서브픽쳐들에 대해 독립적으로 압축 및 복원을 수행하는데, 이때 분할된 각 서브픽쳐들을 각각 매크로슬라이스로 매핑함으로써, 단일의 픽쳐 내에서 인접하는 매크로슬라이스 간의 정보를 공유할 수 있게 되어 매크로슬라이스 경계의 디블로킹 필터링이 가능하고 움직임 보상을 좀더 효율적으로 수행할 수 있도록 하는 초고해상도 영상 인코딩 및 디코딩 방법 및 그 장치에 관한 것이다.
Figure P1020080015144
초고해상도, 서브픽쳐, 매크로슬라이스, 인코딩, 디코딩

Description

초고해상도 영상 인코딩 및 디코딩 방법 및 장치{A method for encoding and decoding of ultra-high definition image and apparatus thereof}
본 발명은 초고해상도 영상을 효율적으로 압축 및 복원하는 방법 및 이를 이용한 장치에 관한 것이다.
최근 다양한 기능 및 양질의 화질을 갖는 영상 매체들이 급격하게 발전하고 있어, 이러한 영상 매체들을 시청하는 소비자의 요구도 함께 증대됨에 따라 초고화질의 영상에 대한 필요성이 대두되고 있다.
이러한 상황에서, 현재 방송되고 있는 2K급(1,920×1,080)의 HD(High Definition) 방송을 뛰어 넘어, 디지털 영상 기술인 디지털 시네마(Digital Cinema) 및 초고해상도 TV(UHDTV; Ultra-High Definition Television)에 대한 기술 개발이 활발히 진행되고 있다.
상기 디지털 시네마는 4K급(4,096×2,096)의 해상도를 가지며, 상기 초고해상도 TV는 8K급(7,680×4,320)의 해상도를 갖는다. 이러한 초고해상도의 영상을 시청하는 시청자는 더욱 현실적이고 사실적으로 영상을 감상할 수 있어, 영상 제작자와 소비자 모두가 긍정적인 영향을 얻을 수 있는 효과가 있다.
그러나, 이러한 초고해상도 영상을 취급할 때는 아래의 몇 가지 문제점이 발생하게 된다.
현재의 기술로서는 초고해상도 영상을 하나의 시스템을 이용하여 단일 단위로 인코딩 또는 디코딩할 수 없기 때문에, 시퀀스에 포함된 각 픽쳐를 복수 개의 서브픽쳐로 분할하여 각각 독립적으로 인코딩 및 디코딩 과정을 수행해야 한다.
즉, 초고해상도 카메라 등에서 입력받은 초고해상도 영상을 복수 개의 서브픽쳐들로 분할하고, 각 서브픽쳐에 대해서 독립적으로 압축 시스템을 이용하여 인코딩을 수행한 후, 각 영상 비트스트림을 다중화한 뒤 전송로를 통해 전송한다.
이때, 각각의 영상 압축부는 다른 영상 압축부와 독립적으로 자기가 담당하는 서브픽쳐만을 압축하고 그에 해당하는 서브픽쳐 비트스트림을 출력하며 각각의 서브픽쳐를 완전하게 독립적으로 관리하며 작업을 수행한다.
또한, 각각 분할된 서브픽쳐를 시퀀스(sequence)로 매핑(mapping)함으로써 하나의 픽쳐를 구성하는 각각의 서브픽쳐가 별개의 독립적인 시퀀스로 간주된다.
따라서, 각각의 서브픽쳐가 별개의 시퀀스로 간주됨으로써, 분할된 서브픽쳐의 개수만큼 단일의 픽쳐가 복수 개의 시퀀스들로 분할되어 인코딩 및 디코딩 과정이 수행된다.
이러한 종래의 구성은 서브픽쳐 간에 서로 독립적인 압축 시스템을 사용하기 때문에 비트량이 낭비된다. 예컨대, 현재 주로 사용하고 있는 HD의 2K 압축 시스템을 이용하여 UHD의 8K 영상 시스템을 구성하려면, 2K 압축 시스템 16개를 필요로 하기 때문에 영상 처리 속도가 현격하게 떨어진다. 또한, 각 픽쳐당 16개의 픽쳐 헤더를 필요로 하기 때문에 부가적인 비트량이 증가하게 된다.
또한, H/264/AVC나 VC-1과 압축 표준을 사용하는 경우에 있어서, 초고해상도 영상은 각 서브픽쳐들에 대해서 독립적으로 인코딩 및 디코딩 작업을 수행하므로, 분할된 서브픽쳐의 경계 부근에서는 디블로킹 필터링을 수행할 수 없다는 문제점이 있다.
따라서, 2K 압축 시스템을 이용하여 4K 또는 8K의 영상을 구현하는 경우에, 영상 경계에 대해 디블로킹 필터링을 수행하지 못함으로 인해 경계 부근이 격자 무늬로 비추어질 수 있고, 이는 화질의 열화를 일으키는 주요한 원인인 된다.
후처리 작업을 통해서 영상 경계 간의 왜곡을 어느 정도 감소시킬 수는 있지만, 상기 후처리 작업은 영상 복원 루프 안에서 수행되는 것이 아니므로 디블로킹 필터링의 효율이 낮을 수밖에 없다.
또한, 각각 분할된 서브픽쳐의 외곽부에서 영상의 외부를 가리키는 움직임 벡터(motion vector)가 설정되면, 종래의 독립된 인코딩 및 디코딩 방식을 이용하는 구성에서는 이웃한 서브픽쳐의 정보를 이용할 수 없기 때문에 효율적으로 움직임 보상을 수행할 수 없는 문제점이 있다.
도 1 내지 도 3은 종래 기술에 있어 초고해상도 영상을 처리할 때의 문제점을 설명한다.
도 1은 종래 기술에 있어서, 고해상도 영상의 인코딩 및 디코딩 과정에서 분할된 픽쳐의 모습을 나타낸 개략도이다.
상기한 바와 같이, 초고해상도 영상을 구성하는 하나의 픽쳐(10)는 복수 개의 서브픽쳐들(11~16)을 포함하고, 각각의 서브픽쳐는 독립적으로 인코딩 및 디코딩되어 별개의 시퀀스로 취급된다. 따라서, 각 서브픽쳐의 경계에 존재하는 매크로블록은 디블로킹 필터링이 수행되지 않아서 화질의 열화를 발생시킨다.
도 2는 종래 기술에 있어서, 움직임 벡터가 서브픽쳐 외부를 향하는 경우를 설명하기 위한 도면이다.
초고해상도 영상을 이루는 각 픽쳐(10)는 복수 개의 서브픽쳐들(11~14)을 포함하고, 각각은 독립적으로 인코딩 및 디코딩이 수행된다. 따라서, 다른 서브픽쳐 영역에 있는 정보들을 이용할 수 없다.
예컨대, 도 2에 도시된 바와 같이, N-1 픽쳐에서 서브픽쳐0(11)에 존재하였던 물체(15)가 N 픽쳐에서는 N-1 픽쳐에서 존재하였던 서브픽쳐0(11)과 다른 서브픽쳐인 서브픽쳐3(14)에 물체(15’)가 존재한다.
그러면, N 픽쳐에 도시된 바와 같이 움직임 벡터(motion vector)는 서브픽쳐3(14)의 외부를 가리키게 되고, 서브픽쳐3(14)는 독립적으로 수행되어 별개의 시퀀스로 여겨지는 서브픽쳐0(11)의 영역을 이용할 수 없기 때문에 추정 에러가 커질 수밖에 없다.
이 문제를 해결하기 위해서 도 3에서 후술할 바와 같이 화소 패딩(padding)의 방법을 사용한다.
도 3은 종래 기술에 있어서, 움직임 벡터가 서브픽쳐 외부를 향하는 경우에 이를 보상하기 위한 화소 패딩(padding)을 설명하기 위한 도면이다.
H.264/AVC에서 움직임 벡터가 픽쳐의 외부를 가르키는 경우, 또는 다른 서브픽쳐를 가리키는 경우에 그 영역의 값을 이용할 수 없기 때문에 픽쳐 또는 서브픽쳐의 최외각이 있는 화소값을 이용하여 추정값으로 사용한다. 도 3에서는 예시적으로 최외곽과 동일한 행 및 열에 최외곽의 화소 값을 패딩하는 것으로 도시하였다.
그러나, 이러한 화소 패딩 방법을 이용하는 것은 움직임 벡터가 실제 가리키는 영역의 값을 이용하는 것이 아니라 최외각 화소 값을 이용한 추정치를 이용하는 것이어서 오차가 크게 발생하고 따라서 비트율(bit rate)가 커지는 단점이 있다.
본 발명은 상기 문제점을 해결하고자 안출된 것으로서, 본 발명의 목적은 초고해상도 영상을 효율적으로 인코딩 및 디코딩하여 영상 간의 왜곡을 효과적으로 보상하고 움직임 보상에 대한 오차를 최소화하여 양질의 화질을 제공하는 영상을 생성하는 초고해상도용 인코딩 및 디코딩 방법 및 그 장치를 제안하는 것이다.
또한, 본 발명의 또 다른 목적은 효과적으로 분할된 영상을 압축 및 복원할 수 있도록 비디오 압축 표준에 필요한 신택스를 제공하는 것이다.
상기의 과제를 해결하기 위해서 다음을 제안한다.
본 발명의 일 실시예에 따른 초고해상도 영상 인코딩 방법은, 하나의 픽쳐를 복수 개의 서브픽쳐들로 분할하는 단계; 상기 분할된 서브픽쳐를 각각 매크로슬라이스로 매핑하는 단계; 상기 각 매크로슬라이스를 인코딩하는 단계; 및 상기 인코딩에 의해 발생된 비트스트림을 다중화하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 초고해상도 영상 디코딩 방법은, 입력된 비트스트림을 매크로슬라이스 단위로 파싱하는 단계; 상기 파싱된 각각의 매크로슬라이를 디코딩하는 단계; 및 상기 디코딩된 영상을 합성하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 초고해상도 영상 인코딩 장치는, 초고해상도 영상의 픽쳐를 복수 개의 서브픽쳐들로 분할하는 영상 분할부; 상기 영상 분할부에 의해 분할된 복수 개의 서브픽쳐들을 각각 매크로슬라이스로 매핑하는 매핑 부; 상기 매핑부에 의해 매핑된 각각의 매크로슬라이스를 인코딩하여 각각의 비트스트림을 생성하는 영상 압축부; 상기 영상 압축부에 의해 생성된 비트스트림을 수신하여 다중화하는 비트스트림 다중화부; 및 상기 영상 압축부에 의해 생성된 비트스트림 및 각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보가 저장되는 메모리부를 포함한다.
본 발명에 따르면, 초고해상도 영상 시스템을 구성하는데 있어서 멀티 프로세서를 사용하여 하나의 초고해상도 영상을 여러 개의 분할 영상으로 구분하여 압축하는 경우, 매크로슬라이스의 개념을 이용하여 효율적인 압축을 수행할 수 있다.
또한, 본 발명에 따르면 매크로슬라이스를 사용하여 종래의 픽쳐 레이러를 여러 개 두지 않음으로써 단일의 영상 비트스트림을 생성할 수 있다.
또한, 본 발명에 따르면 각 서브픽쳐 경계에 디블로킹 필터링을 가능하게 함으로써 양질의 화질을 얻을 수 있다.
또한, 본 발명에 따르면 움직임 벡터가 각각의 서브픽쳐 영역을 벗어나는 경우에도 효과적인 움직임 보상을 수행하여 압축 효율을 증대시킬 수 있다.
또한, 본 발명에 따르면 초고해상도 영상 시스템을 구현하는데 있어서 멀티프로세서를 사용함으로써 단일 프로세서가 가지는 처리 속도 및 처리량의 부담을 경감시킬 수 있다.
본 발명은 초고해상도 영상을 효율적으로 압축 및 복원하는 방법 및 이를 이 용한 장치에 관한 것이다.
본 발명의 일 실시예에 따른 초고해상도 영상 인코딩 방법은, 하나의 픽쳐를 복수 개의 서브픽쳐들로 분할하는 단계; 상기 분할된 서브픽쳐를 각각 매크로슬라이스로 매핑하는 단계; 상기 각 매크로슬라이스를 인코딩하는 단계; 및 상기 인코딩에 의해 발생된 비트스트림을 다중화하는 단계를 포함한다.
바람직하게, 상기 분할된 서브픽쳐들은 동일한 크기를 갖고, 상기 매크로슬라이스는 하나 이상의 슬라이스를 포함한다.
바람직하게, 상기 각 매크로슬라이스의 최우측 매크로블록 및 최하단 매크로블록은 인트라모드로 인코딩되며, 각 매크로슬라이스의 경계에 존재하는 매크로블록은 상기 각 매크로슬라이스보다 먼저 인코딩된다.
본 발명의 다른 실시예에 따른 초고해상도 영상 디코딩 방법은, 입력된 비트스트림을 매크로슬라이스 단위로 파싱하는 단계; 상기 파싱된 각각의 매크로슬라이를 디코딩하는 단계; 및 상기 디코딩된 영상을 합성하는 단계를 포함한다.
바람직하게, 상기 각각의 매크로슬라이스에 대해 디블로킹 필터링을 수행하는 단계를 더 포함하고, 상기 각 매크로슬라이의 경계에 존재하는 매크로블록은 상기 각 매크로슬라이스보다 먼저 디코딩된다.
바람직하게, 상기 각각의 매크로슬라이스를 디코딩하는 단계는 상기 각각의 매크로슬라이스의 움직임 보상을 수행하는 단계를 더 포함하고, 상기 움직임 보상을 위한 움직임 벡터가 매크로슬라이스의 외부를 가리키면 해당 매크로슬라이스의 값을 이용하여 상기 움직임 보상을 수행한다.
바람직하게, 상기 움직임 보상을 위한 움직임 벡터가 픽쳐의 외부를 가리키면 최외곽 화소를 패딩한 값을 이용하여 상기 움직임 보상을 수행한다.
본 발명의 또 다른 실시예에 따른 초고해상도 영상 인코딩 장치는, 초고해상도 영상을 구성하는 픽쳐를 복수 개의 서브픽쳐들로 분할하는 영상 분할부; 상기 영상 분할부에 의해 분할된 복수 개의 서브픽쳐들을 각각 매크로슬라이스로 매핑하는 매핑부; 상기 매핑부에 의해 매핑된 각각의 매크로슬라이스를 인코딩하여 각각의 비트스트림을 생성하는 영상 압축부; 상기 영상 압축부에 의해 생성된 비트스트림을 수신하여 다중화하는 비트스트림 다중화부; 및 상기 영상 압축부에 의해 생성된 비트스트림 및 각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보가 저장되는 메모리부를 포함한다.
바람직하게, 상기 메모리부는, 각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보, 화소 정보, 포인터 정보가 저장되는 임시 메모리부; 상기 임시 메모리에 저장된 정보를 참조하고, 상기 각 매크로슬라이스의 영상이 저장되는 서브 메모리부; 및 상기 각 매크로슬라이스를 포함하는 전체 픽쳐 정보 및 상기 매크로슬라이스 레이어 상위의 신택스 정보를 저장되는 메인 메모리부를 포함한다.
바람직하게, 상기 영상 분할부에서 분할된 상기 복수 개의 서브픽쳐들은 동일한 크기를 가지며, 상기 각 매크로슬라이스의 최우측 매크로블록 및 최하단 매크로블록은 인트라 모드로 인코딩된다.
바람직하게, 상기 매크로슬라이스 레이어 상위 신택스에 대한 인코딩을 수행하는 메인 압축부를 더 포함하고, 상기 영상 압축부는 상기 상위 신택스를 공유한 다.
이하 첨부된 도면을 참조하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 이해하고 실시할 수 있도록 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 초고해상도 영상 인코딩 장치의 구성을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 초고해상도 영상 인코딩 장치는, 초고해상도 영상을 구성하는 각 픽쳐를 복수 개의 서브픽쳐들로 분할하는 영상 분할부(100); 상기 영상 분할부(100)에 의해 분할된 복수 개의 서브픽쳐들을 각각 매크로슬라이스로 매핑하는 매핑부(200); 상기 매핑부(200)에 의해 매핑된 각각의 매크로슬라이스를 인코딩하여 각각의 비트스트림을 생성하는 영상 압축부(300); 상기 영상 압축부(300)에 의해 생성된 비트스트림을 수신하여 다중화하는 비트스트림 다중화부(400); 및 상기 영상 압축부(300)에 의해 생성된 비트스트림 및 각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보가 저장되는 메모리부(500)를 포함한다.
상기 메모리부(500)는, 각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보, 화소 정보, 포인터 정보 등이 저장되는 임시 메모리부(530), 상기 임시 메모리(530)에 저장된 정보를 참조하고 상기 각 매크로슬라이스의 영상이 저장되는 서브 메모리부(520), 상기 각 매크로슬라이스를 포함하는 전체 픽쳐 정보 및 상기 매크로슬라이스 레이어 상위의 신택스 정보를 저장되는 메인 메모리부(510)를 포함한 다.
초고해상도의 영상, 예컨대 4K급 또는 8K급의 영상이 수신되면, 상기 영상 분할부(100)에 의해 하나의 픽쳐가 복수 개의 서브픽쳐들로 분할한다. 이때, 상기 영상 분할부(100)는 수신되는 영상 픽쳐를 동일한 크기로 분할할 수 있다. 또는 실시예에 따라 서로 다른 크기 또는 서로 다른 해상도의 서브픽쳐들로 영상 분할을 할 수도 있다.
동일한 크기로 수신되는 영상 픽쳐를 분할하는 경우에는, 다양한 크기로서 분할할 수 있지만, 종래의 영상 압축 시스템을 최대한 활용할 수 있도록 규격화된 해상도, 예컨대 HD급 영상에서 사용하는 2K급 영상의 해상도 크기로 상기 픽쳐를 분할할 수 있다.
따라서, 2K급의 영상 시스템을 이용하면 4K급의 영상은 4분할하여 프로세스를 수행하고, 8K급의 영상은 16분할하여 프로세스를 수행한다. 도 4b에서는 2K급의 영상 시스템을 이용하여 8K급의 영상 픽쳐를 16분할한 모습을 예시적으로 도시하였다.
상기 도면은 본 발명을 용이하게 설명하기 위해서 예시적으로 도시한 것이며, 본 발명은 이에 한정되지 않고 영상의 분할 크기 및 개수는 실시예에 따라 얼마든지 변경될 수 있음은 당업자의 입장에서 자명하다.
상기 영상 분할부(100)에서 분할된 각 서브픽쳐들은 상기 매핑부(200)에 의해 각각 매크로슬라이스(macroslice)로 매핑한다. 상기 매크로슬라이스는 하나 이상의 슬라이스를 포함하며, 상기 매크로슬라이스의 레이어는 픽쳐 레이어와 슬라이 스 레이어의 중간 레이어에 위차한다.
상기 복수 개의 매크로슬라이스들의 조합을 통해서 본 발명의 실시예에 따른 초고해상도 영상을 구현할 수 있다.
따라서, 본 발명은 매크로슬라이스의 개념을 이용함으로써 단일 픽쳐에 대한 복수 개의 픽쳐 레이어를 생성하지 않고, 단일의 영상 비트스트림을 생성함으로써 분할된 각 서브픽쳐 간의 정보를 공유함으로써, 서브픽쳐 경계의 디블로킹 필터링(deblocking filtering)을 수행할 수 있고, 움직임 벡터가 각 서브픽쳐의 영역을 벗어나는 경우에 효과적은 움직임 보상(MC; Motion Compensation)을 수행할 수 있다.
상기 매팅부(200)에서 각각 매크로슬라이스로 매팅된 각각의 서브픽쳐들은 복수 개의 영상 압축부(300)에 의해서 각각 독립적으로 압축 과정이 수행된다. 각각의 매크로슬라이스는 단일의 멀티프로세서(multi-processor)에 의해서 압축이 수행된다.
각 영상 압축부(300)는 매크로슬라이스 레이어(layer) 이하의 신택스 및 데이터에 대한 압축을 수행한다. 이때, 상기 영상 압축부(300) 중 하나가 마스터(master) 압축부로 지정하여 매크로슬라이스 레이어 상위의 신택스에 대한 인코딩을 수행할 수 있다.
상기한 바와 같이, 마스터 압축부는 상기 복수 개의 영상 압축부(300) 중 어느 하나를 지정할 수 있고, 또는 상기 매크로슬라이스 레이어 상위 신택스에 대한 인코딩을 수행하는 별도의 메인 압축부(미도시)를 더 구비할 수 있다.
이러한 상위 신택스에 대한 내용은 각 영상 압축부(300)들이 공유하여 사용할 수 있도록 상기 메모리부(500)에 저장된다. 상기 영상 압축부(300)를 거친 비트스트림들은 각 매크로슬라이스 넘버링에 따라 정렬되어 다중화된다.
상기한 바와 같이, 단일의 멀티프로세서에 의해 압축 과정이 수행되고 각 서브픽쳐가 매크로슬라이스로 매핑됨으로써 각 서브픽쳐간 정보를 공유할 수 있으며, 이러한 공유 정보는 메모리부(500)에 저장된다.
메모리부에 저장된 다양한 정보들은 각각의 영상 압축부(300)가 액서스할 수 있도록 구성되어, 현재의 매크로슬라이스의 압축 및 복원 과정에서 다른 서브픽쳐의 영역을 이용해야 하는 경우 해당 영역의 정보를 임의적으로 액서스할 수 있다.
따라서, 매크로슬라이스의 외부를 가리키는 움직임 벡터가 존재하고 상기 움직임 벡터가 픽쳐의 내부에 있다면, 상기 움직임 벡터가 가리키는 영역이 포함된 매크로슬라이스의 해당 영역을 이용하여 움직임 보상을 수행할 수 있다.
또한, 매크로슬라이스의 외부를 가리키는 움직임 벡터가 존재하고 상기 움직임 벡터가 픽쳐의 외부를 가리키면, 상기 픽쳐의 최외곽 화소값을 주변에 패딩(padding)하여 상기 패딩 값을 이용한다.
도 4b에서, 각 매크로슬라이스의 최우측 매크로블록과 최하단 매크로블록들은 인접된 정보를 이용하지 않는 인트라 모드(intra mode)로 압축 및 복원되는 것이 바람직하다.
또한, 매크로블록 중에서 픽쳐의 최우측 매크로블록이면서 매크로슬라이스의 최하단 매크로 블록에 속하지 않는 영역과 픽쳐의 최하단 매크로블록이면서 매크로 슬라이스의 최우측 매크로블록에 속하지 않는 영역은 인트라 모드 또는 인터 모드(inter mode)로 압축 및 복원되는 것이 바람직하다.
상기 매크로슬라이스의 경계에 존재하는 매크로블록들은 실시예에 따라(후술할 바와 같이, 독립형인지 콤포지트형인지) 디블로킹 필터링 수행 여부를 결정할 수 있다.
예컨대, 매크로슬라이스의 경계에 존재하는 매크로블록의 디블로킹 필터링이 필요한 실시예에서는, 인접한 매크로슬라이스에서 디블로킹 필터링을 위해 사용될 수 있으므로 미리 추정, 압축 및 복원이 수행되는 것이 바람직하다.
각 영상 압축부(300)에서 압축된 비트스트림(bit stream)은 상기 비트스트림 다중화부(400)를 통해서 각 매크로슬라이스의 영상을 다중화한다. 도 7에 도시된 디코딩 장치를 이용하여 각 매크로슬라이스의 영상을 복원하고 영상 합성부(800)를 통해서 본래의 해상도를 갖는 영상으로 복원한다.
본 발명의 일 실시예에 따른 초고해상도 영상 처리 방법에서는, 분할된 복수 개의 서브픽쳐들을 매크로슬라이스에 매핑함으로써 종래와는 다른 계층 구조를 갖는다.
즉, 비디오비트스트림(video stream)-시퀀스 레이어(sequence layer)-픽쳐 레이어(picture layer)-매크로슬라이스 레이어(macroslice layer)-슬라이스 레이어(slice layer)-매크로블록 레이어(macroblock layer)-블록 레이어(block layer)의 계층 구조를 형성함으로써, 슬라이스 상단 레이어에 매크로슬라이스의 개념을 적용하여 독립적으로 각 서브픽쳐들을 인코딩/디코딩함에도 다른 서브픽쳐 영역의 정보를 이용할 수 있게 된다.
본 발명의 일 실시예에 따른 매크로슬라이스는 그 형식에 따라 독립 형식의 매크로슬라이스와 콤포지트 형식의 매크로슬라이스로 나누어 볼 수 있다.
도 5는 본 발명의 일 실시예에 따른 매크로슬라이스가 독립 형식으로 구성된 경우를 예시적으로 나타낸 예시도이고, 도 6은 본 발명의 일 실시예에 따른 매크로슬라이스가 콤포지트 형식으로 구성된 경우를 예시적으로 나타낸 예시도이다.
도 5 및 도 6에서는 에서는 단일 픽쳐(50, 60)가 4개의 매크로슬라이스(51-54, 61-64)로 구성된 것을 예시적으로 도시한다.
상기 독립 형식은 각각의 매크로슬라이스의 영상이 독립된 별개의 영상으로 구성되는 형식을 의미하고, 각 매크로슬라이스들이 각각 다른 내용을 담고 있어서 다른 매크로슬라이스 영역의 영상을 참조 영상으로 사용하는 것은 부적절하며, 따라서 독립적으로 압축 및 복원하도록 하는 것이 바람직하다.
실시예에 따라서, 상기 독립 형식의 매크로슬라이스를 포함하는 픽쳐에 대해서는 매크로슬라이스 경계의 디블로킹 필터링 처리를 수행하지 않을 수도 있다.
이러한 경우에는 픽쳐 레이어 헤더에 하위 구성 요소들의 정보를 모두 취급하는 것이 어려우므로, 해당 정보를 매크로스라이스 헤더에 포함시켜서 매크로슬라이스가 하나의 픽쳐 레이어를 이루도록 할 수 있다. 상기 매크로슬라이스 헤더에는 시퀀스 파라미터, 픽쳐 파라미터, 참조 영상 정보 등이 기록될 수 있다.
상기 콤포지트 형식은 단일한 정보를 담고 있는 영상이 복수 개의 매크로슬 라이스로 분할된 것이고, 따라서 상기 정보들이 매크로슬라이스 헤더에 각각 포함될 필요가 없다.
실시예에 따라, 픽쳐 레이어에서는 매크로슬라이스들이 컴포지트 또는 독립 형식을 갖는 것끼리 그룹화하여 픽쳐 헤더에 포함되는 정보를 공유할 수 있다.
도 6에서와 같이, 매크로슬라이스들(61-64)이 콤포지트 형식을 갖는 경우에 음영 영역(65)은 인트라 모드로 압축되어야 하는 영역을 나타낸다. 고속으로 인코딩 및 디코딩 작업을 수행하고 메모리 공간과 지연 시간을 감소시키기 위해서는 매크로블록 단위의 처리가 필요하다.
이를 위해서는 디블로킹 필터링이 완료된 상태이어야 하는데, 예컨대 도 6의 매클로슬라이스1(62)의 최상좌측의 매크로블록은 매크로슬라이스0(61)의 최상우측의 매크로블록이 복원되어야 디블로킹 필터링을 수행할 수 있다. 이로 인해 지연이 발생하게 되고 이러한 지연은 매크로슬라이스의 개수가 많을수록 더 증가하게 된다.
따라서, 본 발명에 따른 실시예에서, 음영 영역(65)은 미리 인트라 모드로 결정되어 복원 화소를 미리 구비한다. 복원된 화소는 도 4에 도시된 메모리부에 저장되어 인접한 매크로슬라이스의 인코딩 및 디코딩 과정에서 사용된다.
상기한 바와 같이, 매크로슬라이스에서 움직임 벡터가 다른 매크로슬라이스 영역을 가리키면 해당 영역의 정보를 이용하여 움직임 보상을 수행할 수 있다. 따라서, 주변의 화소 정보를 이용할 수 있으므로 움직임 추정에 의한 에러의 비트량을 최소화할 수 있다.
만약, 독립 형식의 매크로슬라이스로 구성된 경우라면 콤포지트 형식과 동일하게 해당 영역의 화소 정보를 이용하거나 또는 매크로슬라이스의 최외곽 화소를 이용한 패딩값을 움직임 보상에 사용할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 고해상도 영상 디코딩 장치의 구성을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 고해상도 영상 디코딩 장치는, 수신되는 비트스트림을 매크로슬라이스 단위로 파싱하는 매크로슬라이스 파싱부(600), 상기 매크로슬라이스 파싱부(600)에 의해 파싱된 각각의 매크로슬라이스를 복원하는 영상 복원부(700), 상기 영상 복원부(700)에서 복원된 매크로슬라이스를 합성하여 초고해상도 영상을 생성하는 영상 합성부(800), 및 상기 영상 복원부(700)에서 복원된 영상 정보, 매크로블록 정보, 화소 정보를 저장하는 메모리부(900)를 포함한다.
상기 메모리부(900)는, 상기 영상 복원부(700)에서 복원된 영상 정보를 저장하는 메인 메모리부(910) 및 매크로슬라이스 경계에 존재하는 매크로블록의 디블로킹 정보를 저장하는 메인 메모리 제어부(920)를 포함한다.
상기 매크로슬라이스 파싱부(600)에서 매크로슬라이스 레이어까지 파싱하고 매크로슬라이스 정보를 분리해낸다. 매크로슬라이스 단위로 분할된 비트스트림은 각각 영상 복원부(700)로 입력되어 각각 디코딩이 수행된다.
디코딩시에는 인코딩시와는 달리, 영상의 경계에 존재할 수 있는 인트라 모드의 매크로블록들을 미리 복원할 필요는 없으며, 해당 매크로블록의 디블로킹 정 보를 상기 메인 메모리 제어부(920)에 저장하였다가 디블로킹 필터링이 가능한 시점에 필터링을 수행한다.
이제까지 본 발명에 대해서 그 바람직한 실시예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다.
여기서 본 발명의 본질적 기술 범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 종래 기술에 있어서, 고해상도 영상의 인코딩 및 디코딩 과정에서 분할된 픽쳐의 모습을 나타낸 개략도.
도 2는 종래 기술에 있어서, 움직임 벡터가 서브픽쳐 외부를 향하는 경우를 설명하기 위한 도면.
도 3은 종래 기술에 잇어서, 움직임 벡터가 서브픽쳐 외부를 향하는 경우에 이를 보상하기 위한 화소 패딩(padding)을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 고해상도 영상 인코딩 장치의 구성을 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른 매크로슬라이스가 독립 형식으로 구성된 경우를 예시적으로 나타낸 예시도.
도 6은 본 발명의 일 실시예에 따른 매크로슬라이스가 콤포지트 형식으로 구성된 경우를 예시적으로 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 고해상도 영상 디코딩 장치의 구성을 나타낸 블록도.
※ 도면의 주요 부분에 대한 설명 ※
100 : 영상 분할부 200 : 매핑부
300 : 영상 압축부 400 : 비트스트림 다중화부
500 : 메모리부 600 : 매크로슬라이스 파싱부
700 : 영상 복원부 800 : 영상 합성부
900 : 메모리부

Claims (17)

  1. 하나의 픽쳐를 복수 개의 서브픽쳐들로 분할하는 단계;
    상기 분할된 서브픽쳐를 각각 매크로슬라이스로 매핑하는 단계;
    상기 각 매크로슬라이스를 인코딩하는 단계; 및
    상기 인코딩에 의해 발생된 비트스트림을 다중화하는 단계를 포함하는 것을 특징으로 하는 초고해상도 영상 인코딩 방법.
  2. 제1항에 있어서,
    상기 분할된 서브픽쳐들은 동일한 크기를 갖는 것을 특징으로 하는 초고해상도 영상 인코딩 방법.
  3. 제1항에 있어서,
    상기 매크로슬라이스는 하나 이상의 슬라이스를 포함하는 것을 특징으로 하는 초고해상도 영상 인코딩 방법.
  4. 제1항에 있어서,
    상기 각 매크로슬라이스의 최우측 매크로블록 및 최하단 매크로블록은 인트라 모드로 인코딩되는 것을 특징으로 하는 초고해상도 영상 인코딩 방법.
  5. 제1항에 있어서,
    상기 각 매크로슬라이스의 경계에 존재하는 매크로블록은 상기 각 매크로슬라이스보다 먼저 인코딩되는 것을 특징으로 하는 초고해상도 영상 인코딩 방법.
  6. 입력된 비트스트림을 매크로슬라이스 단위로 파싱하는 단계;
    상기 파싱된 각각의 매크로슬라이스를 디코딩하는 단계; 및
    상기 디코딩된 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 초고해상도 영상 디코딩 방법.
  7. 제6항에 있어서,
    상기 각각의 매크로슬라이스에 대해 디블로킹 필터링을 수행하는 단계를 더포함하는 것을 특징으로 하는 초고해상도 영상 디코딩 방법.
  8. 제6항에 있어서,
    상기 각 매크로슬라이스의 경계에 존재하는 매크로블록은 상기 각 매크로슬라이스보다 먼저 디코딩되는 것을 특징으로 하는 초고해상도 영상 디코딩 방법.
  9. 제6항에 있어서,
    상기 각각의 매크로슬라이스를 디코딩하는 단계는 상기 각각의 매크로슬라이스의 움직임 보상을 수행하는 단계를 더 포함하고,
    상기 움직임 보상을 위한 움직임 벡터가 매크로슬라이스의 외부를 가리키면 해당 매크로슬라이스의 값을 이용하여 상기 움직임 보상을 수행하는 것을 특징으로 하는 초고해상도 영상 디코딩 방법.
  10. 제9항에 있어서,
    상기 움직임 보상을 위한 움직임 벡터가 픽쳐의 외부를 가리키면, 최외곽 화소를 패딩한 값을 이용하여 상기 움직임 보상을 수행하는 것을 특징으로 하는 초고해상도 영상 디코딩 방법.
  11. 초고해상도 영상을 구성하는 각 픽쳐를 복수 개의 서브픽쳐들로 분할하는 영상 분할부;
    상기 영상 분할부에 의해 분할된 복수 개의 서브픽쳐들을 각각 매크로슬라이스로 매핑하는 매핑부;
    상기 매핑부에 의해 매핑된 각각의 매크로슬라이스를 인코딩하여 각각의 비트스트림을 생성하는 영상 압축부;
    상기 영상 압축부에 의해 생성된 비트스트림을 수신하여 다중화하는 비트스트림 다중화부; 및
    상기 영상 압축부에 의해 생성된 비트스트림 및 각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보가 저장되는 메모리부를 포함하는 것을 특징으로 하는 초고해상도 영상 인코딩 장치.
  12. 제11항에 있어서,
    상기 메모리부는,
    각 매크로슬라이스의 경계에 존재하는 매크로블록의 정보, 화소 정보, 및 포인터 정보가 저장되는 임시 메모리부;
    상기 임시 메모리에 저장된 정보를 참조하고, 상기 각 매크로슬라이스의 영상이 저장되는 서브 메모리부; 및
    상기 각 매크로슬라이스를 포함하는 전체 픽쳐 정보 및 상기 매크로슬라이스 레이어 상위의 신택스 정보를 저장되는 메인 메모리부를 포함하는 것을 특징으로 하는 초고해상도 영상 인코딩 장치.
  13. 제11항에 있어서,
    상기 영상 분할부에 의해 분할된 상기 복수 개의 서브픽쳐들은 동일한 크기를 갖는 것을 특징으로 하는 초고해상도 영상 인코딩 장치.
  14. 제11항에 있어서,
    상기 각 매크로슬라이스의 최우측 매크로블록 및 최하단 매크로블록은 인트라 모드로 인코딩되는 것을 특징으로 하는 초고해상도 영상 인코딩 장치.
  15. 제11항에 있어서,
    상기 매크로슬라이스 레이어 상위 신택스에 대한 인코딩을 수행하는 메인 압축부를 더 포함하고, 상기 영상 압축부는 상기 상위 신택스를 공유하는 것을 특징으로 하는 초고해상도 영상 인코딩 장치.
  16. 수신되는 비트스트림을 매크로슬라이스 단위로 파싱하는 매크로슬라이스 파싱부;
    상기 매크로슬라이스 파싱부에 의해 파싱된 각각의 매크로슬라이스를 복원하는 영상 복원부;
    상기 영상 복원부에서 복원된 매크로슬라이스를 합성하여 초고해상도 영상을 생성하는 영상 합성부; 및
    상기 영상 복원부(700)에서 복원된 영상 정보, 매크로블록 정보, 및 화소 정보를 저장하는 메모리부(900)를 포함하는 것을 특징으로 하는 초고해상도 영상 디코딩 장치.
  17. 제16항에 있어서,
    상기 메모리부는,
    상기 영상 복원부에서 복원된 영상 정보를 저장하는 메인 메모리부; 및
    매크로슬라이스 경계에 존재하는 매크로블록의 디블로킹 정보를 저장하는 메인 메모리 제어부를 포함하는 것을 특징으로 하는 초고해상도 영상 디코딩 장치.
KR1020080015144A 2008-02-20 2008-02-20 초고해상도 영상 인코딩 및 디코딩 방법 및 장치 KR20090089960A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080015144A KR20090089960A (ko) 2008-02-20 2008-02-20 초고해상도 영상 인코딩 및 디코딩 방법 및 장치
PCT/KR2008/005461 WO2009104850A1 (en) 2008-02-20 2008-09-16 Method for encoding and decoding image, and apparatus for encoding and decoding image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080015144A KR20090089960A (ko) 2008-02-20 2008-02-20 초고해상도 영상 인코딩 및 디코딩 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090089960A true KR20090089960A (ko) 2009-08-25

Family

ID=41207929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080015144A KR20090089960A (ko) 2008-02-20 2008-02-20 초고해상도 영상 인코딩 및 디코딩 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20090089960A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012157999A3 (ko) * 2011-05-19 2013-01-17 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2013015596A3 (ko) * 2011-07-26 2013-03-21 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
KR20140130152A (ko) * 2012-02-01 2014-11-07 노키아 코포레이션 비디오 코딩을 위한 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012157999A3 (ko) * 2011-05-19 2013-01-17 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2013015596A3 (ko) * 2011-07-26 2013-03-21 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
US9113020B2 (en) 2011-07-26 2015-08-18 Lg Electronics Inc. Apparatus for transmitting video stream, apparatus for receiving video stream, method for transmitting video stream, and method for receiving video stream
US9432705B2 (en) 2011-07-26 2016-08-30 Lg Electronics Inc. Apparatus for transmitting video stream, apparatus for receiving video stream, method for transmitting video stream, and method for receiving video stream
KR20140130152A (ko) * 2012-02-01 2014-11-07 노키아 코포레이션 비디오 코딩을 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
CN112106374B (zh) 解码或编码的方法、装置和介质
CN108781291B (zh) 空间可缩放视频编码
US11917178B2 (en) Video-encoding method, video-decoding method, and apparatus implementing same
US20100260268A1 (en) Encoding, decoding, and distributing enhanced resolution stereoscopic video
WO2009104850A1 (en) Method for encoding and decoding image, and apparatus for encoding and decoding image
US8571101B2 (en) Method and system for encoding a video signal, encoded video signal, method and system for decoding a video signal
TWI540879B (zh) 用於產生、傳輸及接收立體影像之方法及其相關裝置
KR100951465B1 (ko) 영상 부호화 방법, 복호화 방법, 및 그 기록 매체
KR20090089960A (ko) 초고해상도 영상 인코딩 및 디코딩 방법 및 장치
US20170105019A1 (en) High frame rate tiling compression technique
JP2014517606A (ja) 立体画像を生成、送信、受信する方法、および関連する装置
EP2352296A1 (en) Moving image encoding apparatus and moving image decoding apparatus
WO2009136681A1 (en) Method for encoding and decoding image, and apparatus for displaying image
US9854268B2 (en) Method and apparatus of motion data buffer reduction for three-dimensional video coding
AU2337099A (en) Method and apparatus for advanced television signal encoding and decoding
KR20090103414A (ko) 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치
KR20180059345A (ko) 영상 병렬 처리 방법 및 장치
US20220417498A1 (en) Method for coding image on basis of tmvp and apparatus therefor
Nunes et al. Report on candidate coding formats for 3D holoscopic content
Lu et al. Practical operating points of multi-resolution frame compatible (MFC) stereo coding

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination