KR100942700B1 - 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치 - Google Patents

미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치 Download PDF

Info

Publication number
KR100942700B1
KR100942700B1 KR1020070132291A KR20070132291A KR100942700B1 KR 100942700 B1 KR100942700 B1 KR 100942700B1 KR 1020070132291 A KR1020070132291 A KR 1020070132291A KR 20070132291 A KR20070132291 A KR 20070132291A KR 100942700 B1 KR100942700 B1 KR 100942700B1
Authority
KR
South Korea
Prior art keywords
frame
macroblock
macroblocks
encoding
important
Prior art date
Application number
KR1020070132291A
Other languages
English (en)
Other versions
KR20090064914A (ko
Inventor
김선태
김범호
전형국
조창식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070132291A priority Critical patent/KR100942700B1/ko
Publication of KR20090064914A publication Critical patent/KR20090064914A/ko
Application granted granted Critical
Publication of KR100942700B1 publication Critical patent/KR100942700B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 매크로 블록의 부호화/복호화 순서를 동적으로 변경하여 각 프레임내에서 화질에 영향을 미치는 매크로 블록을 먼저 부호화/복호화함으로써, 컨텐츠 소비자가 보다 깨끗한 영상 화질을 즐길 수 있도록 한 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및 장치에 관한 것으로서, 기본 계층 부호기/복호기에서 입력 영상의 각 프레임별로 양자화 계수를 설정하여 화면 내 압축 및 화면 간 압축을 포함하는 기본 계층 부호화를 수행하면, 향상 계층 부호기/복호기에서, 상기 기본 계층 부호화/복호화 과정으로부터 상기 프레임의 매크로 블록별로 기설정된 중요 인자 정보를 수집하고, 상기 중요 인자 정보 및 기설정된 우선 순위에 기초하여 상기 프레임의 매크로 블록별로 중요도를 표시한 중요 매크로 블록 맵을 생성한 후, 상기 중요 매크로 블록 맵을 참조하여 중요도 순으로 상기 프레임의 매크로 블록을 부호화/복호화하도록 구현된다.
미세화소 스케일러빌리티(FGS), 비디오 코딩, 비디오 디코딩, 매크로 블록, 중요 인자

Description

미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및 장치{Fine-granular scalability coding/decoding method and apparatus}
본 발명은 비디오 데이터 압축 기술 중 다양한 비트 레이트를 제공하는 미세 입자화소 스케일러빌리티(Fine-granular scalability, 이하 FGS라 함) 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신진흥원의 IT성장동력기술개발 사업의 일환으로 수행한 연구 결과로부터 도출된 것이다.[과제번호:2005-S-022-03, 과제명:임베디드 S/W 기반 SmarTown 솔루션 기술}
예전의 비디오 코딩 기술에서는, 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에 동작하도록 일정한 네트워크 대역폭을 제공한다고 가정하고, 비디오 데이터의 압축을 수행한다.
따라서 수시로 대역폭이 변화하는 네크워크 환경에 적합한 새로운 압축 기술이 필요하였으며, 이에 FGS 코딩 기술이 개발되었다.
FGS 코딩 기술은 한 프레임에 대해 결정된 양자화 계수 (QP: Quantization Parameter)를 가지고 압축한 기본 계층 비트 스트림과, 상기 프레임을 매크로 블록으로 나누어, 매크로블록별로 양자화 계수를 올려가며 비트 평면 형식으로 압축한 향상 계층 비트 스트림을 함께 전송하여, 수신측이 상기 기본 계층의 비트 스트림을 복호화하여 프레임을 복원한 후, 네트워크 대역 변동 상황에 맞추어 현재 수신된 향상 계층 비트 스트림을 이용하여 상기 프레임의 화질을 개선하도록 한 것이다. 따라서, 상기 FGS 코딩 기술은, 네트워크 대역폭 변동 상황에 따라서 일부 비트 스트림이 잘려 전송이 되지 않더라도, 전송된 비트 스트림 만을 이용해서 프레임의 화질을 개선할 수 있다.
도 1은 FGS 코딩 장치의 일반적인 구조를 나타낸 블록도로서, 상기 코딩 장치는, MPEG-2나 MPEG-4 국제 표준처럼, 입력 영상에 대한 기본계층 압축을 수행하여 기본 계층 비트 스트림을 출력하는 기본 계층 부호기(100)와, 상기 기본 계층 압축 정보를 바탕으로 향상 계층의 압축을 수행하여 향상 계층 비트 스트림을 출력하는 향상 계층 부호기(200)를 포함한다.
상기 기본 계층 부호기(100)에 의한 기본 계층 압축은, 일반 비디오 압축 기술처럼 화면 내 압축과 화면간 압축으로 나뉜다.
화면 내 압축은, 입력 영상의 한 프레임 내에서, 이산 여현 변환(DCT: Discrete Consine Transform: 110), 양자화(115), 역양자화(120), IDCT(125)에 의한 화면내 예측(130)을 통한 공간적인 압축으로 이루어진다.
화면 간 압축은, 상술한 공간적 압축 및, 움직임 벡터 검출(135), 디블록킹 필터(140), 움직임 보상(145), 및 가중치 예측(150)을 통한 시간적 압축으로 이루어진다.
상술한 화면 내 압축 및 화면 간 압축시의 비트율 제어를 위해 기본 계층 부호기(100)의 부호화제어부(105)에서 양자화 계수를 결정하게 되며, 상기 양자화(115) 된 값이나 움직임 벡터 검출(135)에 의해 검출된 움직임 벡터는 함께 산술코딩이나 가변부호화 방식을 이용하는 엔트로피 부호화(155)되어, 기본 계층 비트 스트림이 출력된다.
이와 같이, 기본 계층의 압축이 수행되면, 상기 향상 계층 부호화기(200)에서 상기 디블록킹 필터(140)에서 나오는 영상과 입력 영상의 차이(205)를 양자화 계수를 조절하여 DCT(210) 변환한 후, On/Off 형식의 매크로블록과 프레임 단위의 평면을 생성하는 FGS 비트 평면(215)을 생성하고, 상기 매크로 블록들을 차례로 엔트로피 부호화(220)하여 향상 계층의 비트 스트림을 형성하게 된다.
FGS 디코딩은 상기 FGS 코딩과 마찬가지로, 기본 계층 및 향상 계층의 디코딩으로 구분되며, 기본 계층 디코딩 및 향상 계층 디코딩은 각각 상술한 기본 계층 압축 및 향상 계층 압축의 과정과 역순으로 이루어진다.
그런데, 기존의 FGS 코딩 기술에 있어서, 상기 향상 계층 부호기(200)에서의 향상 계층 비트 스트림 생성시에, 매크로 블록별 부호화는 각 매크로 블록의 중요도에 관계없이 고정된 순서대로 진행된다.
예를 들면, 도 2의 (a)에 도시된 바와 같이, 한 프레임의 맨 좌측 최상위 매크로 블록(A0)에서 맨 우측 최하위 매크로 블록(An)까지 매크로 블록의 중요도에 관계없이 순차적으로 부호화가 진행된다.
또 다른 예에서는, 도 2의 (b)에 도시된 바와 같이, 한 프레임의 중심에 위치한 매크로 블록(A0)에서 시계 방향 순으로 마지막의 매크로 블록(An)까지 부호화가 진행된다.
그런데, 기존에서와 같이, 각 매크로 블록의 중요도에 관계없이, 미리 설정된 고정 순서에 따라서 부호화를 수행하는 경우, 네트워크 환경에 따라서 인간에게 민감한 부분인 에지 부분이나 화면내 압축이 이루어지는 부분의 매크로 블록에 대한 향상 계층 비트 스트림이 전송되지 못할 수 있으며, 이 경우, 화질에 많은 영향을 미치지 않은 부분만 전송이 되고, 화질에 중요한 부분은 전송되지 않아, FGS 기술에 의한 효과를 전혀 얻을 수 없게 된다.
따라서 본 발명은 기존의 FGS 코딩에 있어서, 각 프레임 내에서 매크로 블록의 중요도에 관계없이 고정된 순서로 비디오 데이터 압축이 수행되는 비효율성을 극복하기 위한 것으로서, 매크로 블록의 부호화 순서를 동적으로 변경하여 각 프레 임내에서 화질에 영향을 미치는 매크로 블록을 먼저 부호화/복호화하도록 함으로써, 컨텐츠 소비자가 보다 깨끗한 영상 화질을 즐길 수 있도록 하기 위한 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 미세 입자 화소 스케일러빌리티 부호화 방법은, 인간의 시각에 영향을 미치는 중요 인자 및 상기 중요 인자의 우선 순위를 설정하는 설정 단계; 입력 영상의 한 프레임에 대한 기본 계층의 부호화 과정에서 상기 프레임의 매크로 블록들에 대한 중요 인자의 정보를 추출하는 추출 단계; 상기 추출된 중요 인자 정보 및 상기 설정된 우선 순위에 따라서 상기 프레임의 각 매크로 블록에 대한 중요도 순서를 정하여 중요 매크로 블록 맵을 생성하는 생성 단계; 및 상기 중요 매크로 블록 맵을 이용하여, 상기 프레임의 매크로 블록들을 중요도 순으로 FGS 기반의 부호화를 수행하는 부호화 단계를 포함하여 이루어진다.
또한, 본 발명의 일 실시 형태에 따른 미세 입자 화소 스케일러빌리티 복호화 방법은, 인간의 시각에 영향을 미치는 중요 인자 및 상기 중요 인자의 우선 순위를 설정하는 설정 단계; 프레임별 기본 계층 복호화 과정에서 매크로 블록들에 대한 중요 인자의 정보를 추출하는 추출 단계; 상기 추출된 중요 인자 정보 및 상기 설정된 우선 순위에 따라서 상기 프레임의 매크로 블록들에 대한 중요도 순서를 정하여 중요 매크로 블록 맵을 생성하는 생성 단계; 및 상기 중요 매크로 블록 맵을 이용하여, 상기 프레임의 각 매크로 블록에 대해 중요도 순으로 FGS 기반의 복 호화를 수행하는 복호화 단계를 포함한다.
또한, 본 발명의 일 실시 형태에 따른 미세 입자 화소 스케일러빌리티 부호화 및 복호화 장치는, 영상의 각 프레임별로 양자화 계수를 설정하여 화면 내 압축 및 화면 간 압축을 포함하는 기본 계층 부호화 및 복호화를 수행하는 기본 계층 부호기 및 복호기: 및 상기 기본 계층 부호기 및 복호기의 부호화 및 복호화 과정에서 상기 프레임의 매크로 블록별로 기설정된 중요 인자 정보를 수집하고, 상기 중요 인자 정보 및 기설정된 우선 순위에 기초하여 상기 프레임의 매크로 블록의 중요도를 표시한 중요 매크로 블록 맵을 생성한 후, 상기 중요 매크로 블록 맵을 참조하여 중요도 순으로 상기 프레임의 매크로 블록을 FGS 기반 부호화 및 복호화하는 향상 계층 부호기 및 복호기를 포함한다.
상기와 같이 구성된 본 발명의 FGS 코딩 방법은, 한 프레임 내의 매크로 블록들에 대하여, 매크로블록의 중요도에 따라 압축 순서를 유동적으로 결정하고, 중요도가 높은 매크로 블록에 대한 압축이 먼저 이루어지도록 함으로써, FGS 압축 효율을 현저히 향상시킬 수 있으며, 그 결과 MPEG-4 비디오 압축 표준 알고리즘에서 제공하는 기본 계층의 압축 비트 스트림과 네크워크에 친화적이면서, 컨텐츠 소비자 보다 좋은 비디오 화질을 감상할 수 있게 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 3은 본 발명의 일 실시 형태에 따른 FGS 부호화/복호화 방법을 보인 흐름도이다.
도 3을 참조하면, 본 발명에 의한 FGS 코딩 방법은, 향상 계층 부호화를 수행하기에 앞서, 단계 S301에서, 매크로 블록별 중요도를 판단하기 위한 기준값으로서, 중요 인자 및 중요 인자간의 우선순위를 설정한다. 더 바람직하게는, 비디오의 특성상 인간의 시각에 민감한 영향을 미치는 부분이 우선 순위를 갖도록 중요 인자 및 우선 순위를 설정한다.
영상 압축에 있어서, 인간 시각에 민감한 영향을 미치는 인자를 예를 들면, 다음의 세 가지를 들 수 있다. 첫 번째는, 화면의 움직임이 빨라 이전 화면으로부터 움직임 예측을 할 수 없어 화면 내 압축만 수행되는 경우이고, 두 번째는, 화면 간 압축이 수행되더라도 매크로 블록 간에 경계가 있는 경우이고, 세 번째는 비트 레이트를 조절하기 위해서 양자화 계수를 조절하는데, 이때 양자화 계수가 작아서 많은 시각 정보를 잃게 되는 경우이다. 따라서, 한 프레임에 있어서, 상기 화면 내 압축만 있는 부분과, 경계가 포함된 부분과, 양자화 계수가 기준치보다 작은 부분을 향상 계층 부호화/복호화에 의해 보정할 수 있다면, 사용자가 느끼는 화질 개선 효과가 더 클 수 있다.
따라서, 본 발명의 일 실시 형태에서는, 상기 화면 내 압축, 경계 강도, 양자화 계수 등을 중요 인자로 설정한다. 따라서, 상기 실시 형태에 따르면, 한 프레임의 매크로 블록들은, 기본 계층에서 화면 내 압축만이 수행된 매크로 블록(이하, 인트라 매크로 블록이라 함), 블록간 경계 강도가 있는 매크로 블록, 양자화 계수가 작은 매크로 블록, 그외에 중요 인자가 없는 기타 블록으로 나눌 수 있다.
그리고, 상기 중요 인자들 간의 우선 순위를 더 설정한다. 예를 들면, 양자화 계수가 작은 매크로 블록, 인트라 매크로 블록, 경계 강도가 있는 매크로 블록, 기타 블록 순으로 우선순위를 부여한다. 이러한 중요 인자 및 우선 순위는 필요에 따라 변경될 수 있다.
이어서, 단계 S302에서, 한 프레임에 대한 기본 계층 부호화/복호화가 수행 되면, 기본 계층 부호기/복호기로부터 매크로 블록별로 상기 설정된 중요 인자의 정보를 추출한다. 더 구체적으로 설명하면, 도 1에 보인 FGS 코딩 장치에 있어서, 기본 계층 부호화/복호화의 경우, 부호화/복호화 효율에 따라 각 매크로블록의 타입이 결정되고, 비트율 제어에 의해 양자화 계수가 결정되고, 디블록킹 필터(140)에서 매크로블록의 타입과 인접한 화소의 차이에 따라 경계 강도가 결정된다. 따라서, 상기 기본 계층 부호화/복호화가 수행되면, 경계 강도 정보는 디블록킹 필터(160)에서 수집할 수 있고, 양자화 계수와 인트라 매크로 블록에 대한 정보는 각 매크로 블록의 헤더에서 수집할 수 있다.
다음으로, 단계 S303에서, 상기 수집된 중요 인자 정보를 이용하여, 상기 프레임에 대한 중요 매크로 블록 맵을 생성한다. 상기 중요 매크로 블록 맵은 상기 수집된 중요 인자 정보 및 상기 설정된 우선 순위에 기초하여, 상기 프레임의 모든 매크로 블록에 중요도 순서에 따른 우선 순위를 표시한 것을 말한다.
더 구체적으로는, 상기 프레임의 모든 매크로 블록을, 양자화 계수가 큰 매크로 블록, 인트라 매크로 블록, 경계강도를 갖는 매크로 블록 및 기타 블록으로 나누어, 중요도 순서를 표시한 것이다. 이때, 동일 종류의 매크로 블록은, 각각의 인자 값, 예를 들어, 양자화 계수, 경계 강도 등에 따라서 순서를 정할 수 있다. 이러한 중요 매크로 블록 맵은, 우선 순위를 어떻게 정하느냐에 따라서 유동적일 수 있다.
도 4는 본 발명의 바람직한 실시 형태에 따라 생성된 중요도 매크로 블록 맵 의 일 예를 도시한 것이다.
상기 예에서는, 양자화 계수가 큰 매크로 블록을 제일 높은 우선 순위에 두고, 그 다음 우선 순위를 인트라 매크로 블록에 두고, 경계 강도를 갖는 매크로 블록을 그 다음의 우선 순위로 정하고, 그 우선 순위에 따라서 A, B, C를 부여한다. 상기에 따라서, 도 4에 도시된 각 매크로 블록 맵에서, 양자화 계수가 큰 매크로 블록은 Ax로, 인트라 매크로 블록은 Bx로, 경계강도를 갖는 매크로 블록은 Cx로, 그외의 중요 인자가 없는 매크로 블록은 Dx로 표시된다.
여기서, x는 동일 종류의 매크로 블록들 간의 우선 순위를 표시하는 변수로서, 0 이상의 실수로 나타내며, 우선 순위가 제일 높은 매크로 블록에 0를 부여하고, 그 다음 순서대로 1, 2, 3,...을 부여한다. 이때, 우선 순위는, 해당 중요 인자 값의 크기에 따라서 부여된다.
예를 들어, 양자화 계수가 작은 매크로 블록들과, 인트라 매크로 블록들과 기타 블록들은, 양자화 계수가 작은 순서대로 0, 1, 2, 3, ... 이 부여되고, 경계 강도를 갖는 매크로 블록들은, 경계 강도가 큰 순서대로 0, 1, 2, 3...,이 부여된다.
상기와 같은 중요 매크로 블록 맵 생성 과정에 의하여, 본 발명에 따른 FGS 부호화 방법에서는, 압축된 비트 스트림의 복호화를 위해서 매크로 블록의 부호화 순서 정보를 생성하여 제공할 필요가 없다. 즉, FGS 부호기와 복호기 사이에 중요 인자 및 우선 순위가 동일하게 설정되면, 상기 FGS 부호기와 복호기가 기본 계층을 거나 부호화하거나 복호화하면서, 동일한 중요 매크로 블록 맵을 만들 수 있기 때 문이다.
여기서 한 프레임 전체를 화면 내 압축만 하는 경우, 상기 프레임의 모든 매크로블록이 인트라 매크로 블록이 되므로, 상기 프레임의 매크로 블록중에 인트라 매크로 블록을 확인하는 것은 무의미해진다. 따라서, 상기 단계 S303에서 중요 매크로 블록 맵을 생성하는데 있어서, 한 프레임에서 화면내 압축만 수행하는 경우와, 화면 간 압축이 추가된 경우를 분리해서 정보를 수집하는 것이 효과적이다.
도 5는 본 발명의 일 실시 형태에 따른 FGS 부호화/복호화 방법에 있어서, 상기 단계 S303의 바람직한 실시 형태를 나타낸 흐름도이다.
도 5를 참조하면, 본 발명은, 단계 S501에서 상기 프레임이 프레임 전체에서 화면 내 압축만 이루어지는 인트라 프레임인지를 판단한다.
상기 판단 결과, 인트라 프레임이 아니라면, 단계 S502에서, 기본 계층 부호화에서 추출된 중요 인자 정보를 이용하여, 상기 프레임의 매크로 블록을, 양자화 계수가 작은 매크로 블록, 화면내 압축만 이루어진 인트라 매크로 블록, 경계 강도를 갖는 매크로 블록 및 그외의 중요 인자가 없는 매크로 블록으로 구분하여 중요 매크로 블록 맵을 생성한다.
반대로, 상기 판단 결과 인트라 프레임인 경우에는, 단계 S503에서, 상기 프레임의 기본 계층 부호화에 추출된 중요 인자 정보를 이용하여, 양자화 계수가 작은 매크로 블록, 경계 강도를 갖는 매크로 블록 및 그외의 중요 인자가 없는 매크로 블록으로 구분하여 중요 매크로 블록 맵을 생성한다.
상기와 같이 중요 매크로 블록 맵이 생성되면, 본 발명의 FGS 부호화/복호화 방법은, 단계 S304에서, 상기 생성된 중요 매크로 블록 맵에 기초하여, 우선 순위 순서대로 상기 프레임의 매크로 블록들에 대한 향상 계층 부호화/복호화를 수행한다.
도 6은 도 4와 같이 양자화 계수가 작은 매크로 블록, 인트라 매크로블록, 매크로 블록간의 경계강도 순으로 생성된 중요 매크로 블록 맵을 이용하여 이루어지는 상기 중요도 순서에 따른 FGS 부호화/복호화 과정을 상세하게 나타낸 흐름도이다.
도 6을 참조하면, 먼저, 변수 n을 0에서부터 1씩 증가시키면서, 상기 중요 매크로 블록 맵에서, 가장 우선 순위가 높은 양자화 계수가 작은 매크로 블록 An이 존재하는 지를 확인하여, 해당하는 매크로 블록 An을 FGS 부호화/복호화한다(S601~S604).
그리고, 양자화 계수가 작은 매크로 블록이 더 이상 존재하지 않으면, 변수 n을 0에서부터 1씩 증가시키면서, 상기 중요 매크로 블록 맵에 그 다음 우선 순위를 갖는 인트라 매크로 블록 Bn이 존재하는 지를 확인하여, 해당하는 인트로 매크로 블록 Bn을 FGS 부호화/복호화한다(S605~S608). 여기서, 상기 프레임이 인트라 프레임인 경우, 해당 중요 매크로 블록 맵에는, 인트로 매크로 블록이 존재하지 않으므로, 상기 단계(S605~S608)은 수행되지 않고, 바로 다음 단계 S609로 진행하게 된다.
상기와 같이, 해당 중요 매크로 블록 맵에 부호화/복호화할 인트로 매크로 블록이 더 이상 존재하지 않게 되면, 다음으로, 변수 n을 0에서부터 1씩 증가시키면서, 상기 중요 매크로 블록 맵에 존재하는 경계 강도를 갖는 매크로 블록 Cn을 차례로 FGS 부호화/복호화한다(S609~S612).
그리고, 부호화/복호화할 경계 강도를 갖는 매크로 블록이 더 이상 존재하지 않으면, 변수 n을 0에서부터 1씩 증가시키면서, 상기 중요 매크로 블록 맵에 존재하는 나머지 매크로 블록들 Dn을 차례로 FGS 부호화/복호화한다(S613~S616).
상기에 의하면, 도 4와 같은 중요 매크로 블록 맵이 생성된 경우, 상기 프레임의 부호화/복호화는 도 2의 (a) 또는 (b)와 같이 매크로 블록들의 배치 순서가 아닌 중요도 순서에 따라서, A0→A1→A2→A3→B0→B1→B2→B3→B4→C0→C1→C2→C3→D0→D1→D2→D3→D4→D5→D6 순으로 이루어지게 된다.
상기와 같이 부호화된 매크로 블록들은 부호화된 순서대로 비트스트림에 삽입되어 복호기측으로 전송되며, 복호화된 매크로 블록들은 기본 계층 복호화에서 획득한 프레임의 화질 개선에 이용된다.
다음으로, 도 7은 본 발명의 다른 실시 형태에 따른 FGS 부호화/복호화 방법을 나타낸 흐름도이다. 도 7의 실시 형태는, 프레임 내에 관심영역(ROI: Region of Interest)이 존재하는 경우를 나타낸 것이다.
도 7을 참조하면, 본 발명의 다른 실시 형태에 따른 FGS 부호화/복호화 방법에서는, 단계 S701에서 중요 인자, 우선 순위 및 관심 영역을 설정한다. 이때, 중요 인자 및 우선 순위의 설정은 도 3의 실시 형태에서 설명한 바와 동일한 방식으 로 이루어질 수 있다. 상기 관심 영역은, 필요에 따라 임의로 설정한다.
그리고 단계 S702에서, 기본 계층의 부호화/복호화 과정으로부터, 매크로 블록별 중요 인자 정보를 추출하고, S703에서, 상기 중요 인자 정보를 이용하여 중요 매크로 블록 맵을 생성한다. 상기 단계 S702 및 S703은 앞서 도 3 및 도 5를 참조하여 설명에서와 동일한 방법으로 이루어진다.
상기와 같이 중요 매크로 블록 맵이 생성되면, 이를 참조하여, 해당 프레임의 모든 매크로 블록들을 중요도 순으로 FGS 부호화/복호화하는데, 단계 S704에서 우선적으로, 상기 설정된 관심 영역의 매크로 블록만을 대상으로, 중요도 순으로 FGS 부호화/복호화를 수행한다.
그리고 나서, 단계 S705에서 상기 관심 영역을 제외한 나머지 영역의 매크로 블록에 대하여, 중요도 순으로 FGS 부호화/복호화를 수행한다.
상기 단계 S704, S705에서의 FGS 부호화/복호화는 범위가 관심 영역과 비 관심 영역으로 구분된다는 점에서만 차이가 있을 뿐, 도 6에 보인 방법과 마찬가지로 이루어진다.
도 8은 본 발명의 다른 실시 형태에 따라서 생성된 관심영역을 갖는 중요 매크로 블록 맵을 나타낸 것으로서, 관심 영역의 매크로 블록에 상기 중요 인자 정보(A,B,C,D)와 함께, 관심 영역을 나타내는 표시 R을 추가하여 구분한다.
상기 예는, 한 프레임이 9ㅧ6로, 이때 관심영역은 5ㅧ4로 설정한 경우의 예이다. 본 발명에 따르면, 상기 예의 경우 우선 5x4의 관심영역의 매크로 블록에 대해서 먼저 중요도 순서로 부호화/복호화가 이루어지고, 그 다음, 비 관심 영역에서 도 중요도 순서로 부호화/복호화를 진행한다.
본 발명에 따른 FGS 부호화/복호화 방법에 있어서, 비트 스트림은, 도 9a 및도 9b와 같은 형태를 갖게 된다.
도 9a는 기본 계층만 있는 경우의 비트 스트림을 나타낸 것으로서, NAL 헤더(NAL Header)(91)의 뒤의 RBSP(92)에 압축 비트(MB)(93)가 매크로 블록 단위로 차례로 연결된다.
도 9b는 기본 계층의 비트 스트림에 향상 계층의 비트 스트림이 추가되었을 때를 도시한 것으로서, 먼저, 기본 계층 비트 스트림에 대한 NAL 헤더(91)와, 매크로 블록 단위의 기본 계층 압축 스트림(BASE-RBSP)(92)가 배치되고, 그 다음에 향상 계층의 비트 스트림에 대한 NAL 헤더(94)의 뒤에 중요도 순서대로 매크로블록의 압축 비트(95)가 저장된다. 상기 향상 계층의 NAL 헤더(94)에는 기본 계층의 NAL 헤더(91)의 정보가 그대로 포함된다.
이상에서 설명한 FGS 부호화/복호화 방법은, FGS 부호화/복호화 장치의 상향 계층 부호기/복호기에 적용하여 구현할 수 있다. 이에 의하면, 본 발명의 FGS 부호화/복호화 방법을 적용한 FGS 부호화/복호화 장치는, 인간의 시각에 영향을 미치는 중요 인자가 포함된 매크로 블록들을 먼저 상향 계층 부호화/복호화함으로써, 네트워크 대역폭이 변동되더라도 인간의 시각에 영향을 미치는 부분에서의 화질 개선은 이루어지도록 하여, 사용자 입장에서 보다 나은 품질의 영상을 볼 수 있도록 한다.
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.
도 1은 FGS 코딩 장치의 기본 구조를 나타낸 블록도,
도 2는 종래의 FGS 코딩 방법에 있어서, 매크로 블록의 부호화/복호화 순서를 보인 개념도,
도 3은 본 발명의 일 실시 형태에 따른 FGS 코딩 방법을 나타낸 흐름도,
도 4는 본 발명의 일 실시 형태에 따라서 생성된 중요 매크로 블록 맵의 예시도,
도 5는 본 발명의 일 실시 형태에 따른 FGS 코딩 방법에 있어서, 중요 매크로 맵 생성 단계의 상세 과정을 보인 흐름도,
도 6은 본 발명의 일 실시 형태에 따른 FGS 코딩 방법에 있어서, 향상 계층 부호화/복호화 단계의 상세 과정을 보인 흐름도,
도 7은 본 발명의 다른 실시 형태에 따른 FGS 코딩 방법을 나타낸 흐름도,
도 8은 본 발명의 다른 실시 형태에 따른 FGS 코딩 방법에 따라서 생성된 중요 매크로 블록 맵의 예시도, 그리고
도 9는 본 발명의 FGS 코딩 방법에 따라서 생성된 FGS 비트 스트림의 형식을 나타낸 블록도이다.

Claims (13)

  1. 화면 내 압축, 경계 강도 및 양자화 계수를 인간의 시각에 영향을 미치는 중요 인자로 설정하고 상기 중요 인자의 우선 순위를 설정하는 설정 단계;
    입력 영상의 한 프레임에 대한 기본 계층 부호화 과정에서 상기 프레임의 매크로 블록들에 대한 중요 인자의 정보를 추출하는 추출 단계;
    상기 추출된 중요 인자 정보 및 상기 설정된 우선 순위에 따라서 상기 프레임의 각 매크로 블록에 대한 중요도 순서를 정하여 중요 매크로 블록 맵을 생성하는 생성 단계; 및
    상기 중요 매크로 블록 맵을 이용하여, 상기 프레임의 매크로 블록들을 중요도 순으로 FGS 기반의 부호화를 수행하는 부호화 단계를 포함하는 미세 입자 화소 스케일러빌리티 부호화 방법.
  2. 제1항에 있어서, 상기 설정 단계는
    프레임 내에서 우선적으로 부호화되기를 원하는 관심 영역을 더 설정하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 부호화 방법.
  3. 제2항에 있어서, 상기 부호화 단계는
    상기 프레임에서 상기 관심 영역에 속하는 매크로 블록들을 먼저 중요도 순으로 부호화하고, 그 다음에 비 관심 영역에 속하는 나머지 매크로 블록들을 중요 도 순으로 부호화/복호화하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 부호화 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 중요 인자는, 화면 내 압축만 수행되었는 지의 여부, 작은 양자화 계수, 경계 강도를 포함하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 부호화 방법.
  5. 제4항에 있어서, 상기 생성 단계는,
    상기 프레임이 프레임 전체에서 화면 내 압축만 이루어진 인트라 프레임인지 확인하는 단계;
    인트라 프레임이면, 양자화 계수가 작은 매크로 블록, 경계 강도를 갖는 매크로 블록 및 그 외의 중요 인자가 없는 기타 매크로 블록으로 표시되는 중요 매크로 블록 맵을 생성하는 단계; 및
    인트라 프레임이 아니면, 양자화 계수가 작은 매크로 블록, 인트라 매크로 블록, 경계 강도를 갖는 매크로 블록 및 그 외의 중요 인자가 없는 기타 매크로 블록으로 표시되는 중요 매크로 블록 맵을 생성하는 단계로 이루어지는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 부호화 방법.
  6. 제5항에 있어서, 상기 부호화 단계는,
    상기 중요 매크로 블록 맵에서, 양자화 계수가 작은 매크로 블록들을 확인하여 차례로 부호화하는 단계;
    상기 양자화 계수가 작은 매크로 블록들의 부호화가 모두 완료되면, 상기 중요 매크로 블록 맵에서 인트라 매크로 블록들을 확인하여 차례로 부호화하는 단계;
    상기 인트라 매크로 블록들에 대한 부호화가 모두 완료되면, 상기 중요 매크로 블록 맵에서 경계 강도가 있는 매크로블록들을 차례로 부호화하는 단계; 및
    상기 경계 강도가 있는 매크로 블록들의 부호화가 모두 완료되면, 상기 중요 매크로 블록 맵에서 나머지 중요 인자가 없는 매크로 블록들을 차례로 부호화하는 단계를 포함하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 부호화 방법.
  7. 화면 내 압축, 경계 강도 및 양자화 계수를 인간의 시각에 영향을 미치는 중요 인자로 설정하고 상기 중요 인자의 우선 순위를 설정하는 설정 단계;
    프레임별 기본 계층 복호화 과정에서 매크로 블록들에 대한 중요 인자의 정보를 추출하는 추출 단계;
    상기 추출된 중요 인자 정보 및 상기 설정된 우선 순위에 따라서 상기 프레임의 매크로 블록들에 대한 중요도 순서를 정하여 중요 매크로 블록 맵을 생성하는 생성 단계; 및
    상기 중요 매크로 블록 맵을 이용하여, 상기 프레임의 각 매크로 블록에 대해 중요도 순으로 FGS 기반의 복호화를 수행하는 복호화 단계를 포함하는 미세 입자 화소 스케일러빌리티 복호화 방법.
  8. 제7항에 있어서, 상기 설정 단계는
    프레임 내에서 우선적으로 복호화되기를 원하는 관심 영역을 더 설정하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 복호화 방법.
  9. 제8항에 있어서, 상기 복호화 단계는
    상기 프레임에서 상기 관심 영역에 속하는 매크로 블록들을 먼저 중요도 순으로 복호화하고, 그 다음에 비 관심 영역에 속하는 나머지 매크로 블록들을 중요도 순으로 복호화하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 복호화 방법.
  10. 제7항 또는 제9항에 있어서,
    상기 중요 인자는, 화면 내 압축만 수행되었는 지의 여부, 작은 양자화 계수, 경계 강도를 포함하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 복호화 방법.
  11. 제10항에 있어서, 상기 생성 단계는,
    상기 프레임이 프레임 전체에서 화면 내 압축만 이루어진 인트라 프레임인지 확인하는 단계;
    인트라 프레임이면, 양자화 계수가 작은 매크로 블록, 경계 강도를 갖는 매 크로 블록 및 그 외의 중요 인자가 없는 기타 매크로 블록으로 표시되는 중요 매크로 블록 맵을 생성하는 단계; 및
    인트라 프레임이 아니면, 양자화 계수가 작은 매크로 블록, 인트라 매크로 블록, 경계 강도를 갖는 매크로 블록 및 그외의 중요 인자가 없는 기타 매크로 블록으로 표시되는 중요 매크로 블록 맵을 생성하는 단계로 이루어지는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 복호화 방법.
  12. 영상의 각 프레임별로 양자화 계수를 설정하여 화면 내 압축 및 화면 간 압축을 포함하는 기본 계층 부호화 및 기본 계층 복호화를 수행하는 기본 계층 부호기 및 복호기; 및
    상기 기본 계층 부호기 및 복호기의 부호화 및 복호화 과정에서 상기 프레임의 매크로 블록별로 기 설정된 중요 인자 정보를 수집하고, 상기 중요 인자 정보 및 기설정된 우선 순위에 기초하여 상기 프레임의 매크로 블록의 중요도를 표시한 중요 매크로 블록 맵을 생성한 후, 상기 중요 매크로 블록 맵을 참조하여 중요도 순으로 상기 프레임의 매크로 블록을 FGS 기반하여 부호화 및 복호화하는 향상 계층 부호기 및 복호기를 포함하는 미세 입자 화소 스케일러빌리티 부호화 및 복호화 장치.
  13. 제12항에 있어서, 상기 향상 계층 부호기 및 복호기는,
    우선적으로 부호화 및 복호화할 영역인 관심 영역을 기설정하고, 먼저 상기 관심 영역에 속하는 매크로 블록들을 중요도 순으로 부호화 및 복호화한 다음, 비 관심 영역에 속하는 나머지 매크로 블록들을 중요도 순으로 부호화 및 복호화하는 것을 특징으로 하는 미세 입자 화소 스케일러빌리티 부호화 및 복호화 장치.
KR1020070132291A 2007-12-17 2007-12-17 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치 KR100942700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070132291A KR100942700B1 (ko) 2007-12-17 2007-12-17 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070132291A KR100942700B1 (ko) 2007-12-17 2007-12-17 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치

Publications (2)

Publication Number Publication Date
KR20090064914A KR20090064914A (ko) 2009-06-22
KR100942700B1 true KR100942700B1 (ko) 2010-02-17

Family

ID=40993409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070132291A KR100942700B1 (ko) 2007-12-17 2007-12-17 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치

Country Status (1)

Country Link
KR (1) KR100942700B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761529B2 (en) 2010-06-09 2014-06-24 Samsung Electronics Co., Ltd. Apparatus and method for parallel encoding and decoding image data based on correlation of macroblocks
WO2019112376A1 (ko) * 2017-12-08 2019-06-13 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117318729A (zh) * 2023-11-27 2023-12-29 山东济宁运河煤矿有限责任公司 一种煤矿井下防爆电气设备参数管理***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060102700A (ko) * 2005-03-24 2006-09-28 삼성전자주식회사 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체
KR20070118560A (ko) * 2006-06-12 2007-12-17 경희대학교 산학협력단 Ｆｇｓ코딩에서 우선적인 인코딩/디코딩 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060102700A (ko) * 2005-03-24 2006-09-28 삼성전자주식회사 오디오 부호화 및 복호화 장치와 그 방법 및 기록 매체
KR20070118560A (ko) * 2006-06-12 2007-12-17 경희대학교 산학협력단 Ｆｇｓ코딩에서 우선적인 인코딩/디코딩 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761529B2 (en) 2010-06-09 2014-06-24 Samsung Electronics Co., Ltd. Apparatus and method for parallel encoding and decoding image data based on correlation of macroblocks
WO2019112376A1 (ko) * 2017-12-08 2019-06-13 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어방법
US11290750B2 (en) 2017-12-08 2022-03-29 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same

Also Published As

Publication number Publication date
KR20090064914A (ko) 2009-06-22

Similar Documents

Publication Publication Date Title
KR101106856B1 (ko) 비디오 인코딩 방법 및 비디오 인코딩 시스템
KR100896279B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5280003B2 (ja) 映像コーデックにおけるスライス層
KR100746007B1 (ko) 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US6408096B2 (en) Method for computational graceful degradation in an audiovisual compression system
JP5238523B2 (ja) 動画像符号化装置、動画像復号化装置、および、動画像復号化方法
US8798158B2 (en) Method and apparatus for block-based depth map coding and 3D video coding method using the same
CN115623201A (zh) 视频编码方法和装置
JP5709996B2 (ja) 画像復号装置及び画像復号方法
EP1715693A2 (en) Method and apparatus for adaptively selecting context model for entropy coding
WO2010004939A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP2007028579A (ja) ビデオデータストリームの統合及び補償方法
WO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2008084184A2 (en) Generalised hypothetical reference decoder for scalable video coding with bitstream rewriting
CN110650337B (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
US10165272B2 (en) Picture-level QP rate control performance improvements for HEVC encoding
KR100942700B1 (ko) 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치
KR101529903B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
CN102783148A (zh) 用于视频编码的方法和装置
US20180176564A1 (en) Nonlinear local activity for adaptive quantization
JP2008544621A (ja) ビデオエラー隠蔽を向上させる符号化及び復号の方法及び装置
KR101431546B1 (ko) 다시점 동영상의 부호화 및 복호화 방법과 그 장치
KR100801155B1 (ko) Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee