KR101790401B1 - 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치 - Google Patents

주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치 Download PDF

Info

Publication number
KR101790401B1
KR101790401B1 KR1020147004391A KR20147004391A KR101790401B1 KR 101790401 B1 KR101790401 B1 KR 101790401B1 KR 1020147004391 A KR1020147004391 A KR 1020147004391A KR 20147004391 A KR20147004391 A KR 20147004391A KR 101790401 B1 KR101790401 B1 KR 101790401B1
Authority
KR
South Korea
Prior art keywords
buffer
unit
picture
video
identifier
Prior art date
Application number
KR1020147004391A
Other languages
English (en)
Other versions
KR20140071335A (ko
Inventor
빅토르 와하다니아
총순 림
슈 몬 텟 나잉
하이 웨이 선
다카히로 니시
히사오 사사이
요우지 시바하라
도시야스 스기오
교코 다니카와
도루 마츠노부
Original Assignee
선 페이턴트 트러스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선 페이턴트 트러스트 filed Critical 선 페이턴트 트러스트
Publication of KR20140071335A publication Critical patent/KR20140071335A/ko
Application granted granted Critical
Publication of KR101790401B1 publication Critical patent/KR101790401B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01M—LUBRICATING OF MACHINES OR ENGINES IN GENERAL; LUBRICATING INTERNAL COMBUSTION ENGINES; CRANKCASE VENTILATING
    • F01M13/00—Crankcase ventilating or breathing
    • F01M13/04—Crankcase ventilating or breathing having means for purifying air before leaving crankcase, e.g. removing oil
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01D—SEPARATION
    • B01D36/00—Filter circuits or combinations of filters with other separating devices
    • B01D36/001—Filters in combination with devices for the removal of gas, air purge systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01D—SEPARATION
    • B01D45/00—Separating dispersed particles from gases or vapours by gravity, inertia, or centrifugal forces
    • B01D45/04—Separating dispersed particles from gases or vapours by gravity, inertia, or centrifugal forces by utilising inertia
    • B01D45/08—Separating dispersed particles from gases or vapours by gravity, inertia, or centrifugal forces by utilising inertia by impingement against baffle separators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C65/00—Joining or sealing of preformed parts, e.g. welding of plastics materials; Apparatus therefor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01M—LUBRICATING OF MACHINES OR ENGINES IN GENERAL; LUBRICATING INTERNAL COMBUSTION ENGINES; CRANKCASE VENTILATING
    • F01M13/00—Crankcase ventilating or breathing
    • F01M13/04—Crankcase ventilating or breathing having means for purifying air before leaving crankcase, e.g. removing oil
    • F01M2013/0433—Crankcase ventilating or breathing having means for purifying air before leaving crankcase, e.g. removing oil with a deflection device, e.g. screen
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01M—LUBRICATING OF MACHINES OR ENGINES IN GENERAL; LUBRICATING INTERNAL COMBUSTION ENGINES; CRANKCASE VENTILATING
    • F01M13/00—Crankcase ventilating or breathing
    • F01M13/04—Crankcase ventilating or breathing having means for purifying air before leaving crankcase, e.g. removing oil
    • F01M2013/0438—Crankcase ventilating or breathing having means for purifying air before leaving crankcase, e.g. removing oil with a filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따라 비디오를 부호화하는 방법은 복수의 미리 결정된 버퍼 기재(buffer description)를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하는 단계(802); 상기 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 상기 부호화된 비디오 비트스트림의 슬라이스 헤더에 기록하는 단계(804); 및 상기 슬라이스 헤더와 변경된 상기 버퍼 기재를 사용하여 슬라이스를 상기 부호화된 비디오 비트스트림으로 부호화하는 단계(805)를 포함한다.

Description

주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치{METHODS AND APPARATUSES FOR ENCODING AND DECODING VIDEO USING PERIODIC BUFFER DESCRIPTION}
본 발명은 임의의 멀티미디어 데이터 부호화에서 사용될 수 있으며, 더욱 상세하게는 인터-픽처 예측을 활용한 이미지 및 비디오 컨텐츠의 부호화에 사용될 수 있다.
MPEG-4 AVC/H.264 및 최신 HEVC(High-Efficiency Video Coding)와 같은 최첨단 비디오 부호화 방식은, 시간적으로 연속적인 픽처에 걸친 정보 중복을 이용하기 위해 이전에 부호화된/복호된 참조 픽처로부터의 인터-픽처 예측을 사용하여 이미지/비디오 컨텐츠의 부호화를 실행한다. MPEG-4 AVC 비디오 부호화 방식에서, 복호된 픽처 버퍼(DPB: Decoded Picture Buffer)에서 참조 픽처는 DPB로부터의 부호화 순서로 더 이른 픽처를 제거하기 위한 미리 한정된 슬라이딩-윈도우 방식을 사용하거나, 미사용 참조 픽처를 관리 및 제거하기 위해 부호화된 비디오 비트스트림에서 다수의 버퍼 관리 신호를 명백하게 사용하여 관리된다.
HEVC 비디오 부호화 방식에서의 최근의 개발은 버퍼 기재를 사용한 DPB 관리의 도입을 포함한다. 본질적으로, 버퍼 기재는 DPB로부터 제거될 픽처를 한정하는 대신 DPB에 보관된/포함된 픽처를 한정한다. 버퍼 기재는, DPB에 저장된 모든 참조 픽처를 나타내는 고유 픽처 식별자 목록이다. 버퍼 기재는 픽처의 부호화/복호의 시작 시에 활성화된다. 활성 버퍼 기재에 포함되지 않은 픽처는 DPB로부터 제거된다. 종래 방법에 대한 버퍼 기재의 이점은 송신/전달 손실에 대한 개선된 로버스트니스와, 존재하지 않는 픽처의 간략화된 취급을 포함한다.
픽처 참조 구조는 종종 부호화된 비디오 시퀀스에서 복수의 픽처에 걸쳐서 반복된다. 예컨대, 낮은 지연 부호화 구조는 도 1에 도시된 바와 같이 크기 4의 주기적인 클러스터링을 사용할 수 있다.
이 예에서, 픽처 번호(0 내지 12)는 픽처의 코딩 순서와 디스플레이/출력 순서를 모두 나타낸다. 픽처(P0, P4, P8 및 P12)가 픽처의 제1 시간 층을 구성하며, (예컨대, 양자화를 가장 강하지 않게 적용함으로써) 최고 품질로 코딩된다. 픽처(P2, P6 및 P10)가 제2 시간 층을 구성하며, 제1 층보다 더 낮은 품질로 코딩된다. 픽처(P1, P3, P5, P7, P9 및 P11)가 제3 시간 층을 구성하며 최저 품질로 코딩된다. 그러한 주기적인 클러스터링 구조에서, 그 클러스터 내에서 동일한 상대 위치에 위치한 픽처(예컨대, P1, P5 및 P9)는 보통 동일한 상대 픽처 참조 구조를 사용한다. 예컨대, P5는 P4 및 P2를 참조 픽처로서 사용하는 반면, P9는 P8 및 P6을 참조 픽처로서 사용한다.
상기 예시적인 구조와 같은 주기적인 클러스터링 구조를 수용하기 위해, 버퍼 기재의 주기적인 시그널링을 도입하였다. 주기적인 버퍼 기재는, 부호화될/복호될 타겟 픽처에 대한 참조 픽처의 시간적 거리/위치를 명시함으로써, DPB에 저장된 참조 픽처를 나열한다. 종래기술에서, 주기적인 버퍼 기재는 픽처 파라미터 세트(PPS: Picture Parameter Set)에서 한 번 시그널링된 후, 주기적인 클러스터 내에서 동일한 상대 위치를 갖는 픽처의 슬라이스 헤더에 반복해서 참조된다. 예컨대, {-1, -3}의 상대적인 위치를 명시하는 주기적인 버퍼 기재가 참조 픽처로서 {P4, P2}를 명시하는 P5와 참조 픽처로서 {P8, P6}를 명시하는 P9 모두에서 사용될 수 있다.
도 2는 종래기술에서 주기적인 버퍼 기재의 시그널링 구조의 예를 도시한다. 복수의 주기적인 버퍼 기재가 픽처 파라미터 세트에서 명시된다. 각각의 PPS는 고유 "PPS_id" 파라미터에 의해 식별된다. 슬라이스 헤더에서, "PPS 선택" 파라미터는 슬라이스의 부호화/복호 동안 참조되는 PPS를 식별한다. 도 2의 예에서, PPS_id=0을 갖는 PPS가 선택된다. 복수의 "BD 업데이팅" 파라미터가 미리 한정된 버퍼 기재로부터 주기적인 버퍼 기재를 선택한다. 도 2의 예에서, 버퍼 기재(BD1)가 선택된다. 또한, "BD 업데이팅" 파라미터는 또한 버퍼 기재 변경 명령을 포함한다. 버퍼 변경 명령은 픽처 식별자를 선택된 버퍼 기재 내의 선택된 버퍼 요소에 할당한다. 고유/절대 픽처 식별자가 여기서 상대 픽처 식별자 대신에 명시된다. 도 2의 예에서, 고유 픽처(PG)가 버퍼 기재(BD1) 내의 버퍼 요소(BE0)에 할당된다. 이러한 변경은 현재의 타겟 슬라이스에만 적용된다. 후속한 슬라이스에서 동일한 변경을 사용하기 위해, 이들 후속한 슬라이스의 슬라이스 헤더가 적절히 "BD 업데이팅" 파라미터를 명시해야 한다.
주기적인 버퍼 기재의 종래기술이 갖는 한 가지 문제점은 주기적인 버퍼 기재를 변경하기 위한 파라미터가 한 번만 적용된다는 점이다(즉, 부호화/복호될 현재의 슬라이스에 적용된다). 결국, 이러한 기재를 한 번 보다 많이 사용하기 위해서는 동일한 변경이 복수 회 시그널링될 필요가 있다.
종래기술이 갖는 다른 문제점은 주기적인 버퍼 기재를 만들기 위한 파라미터가 픽처 파라미터 세트(PPS)에서 시그널링된다는 점이다. 그러나 주기적인 픽처 클러스터링 구조는 보통 많은 수의 픽처에 걸쳐서 그리고 종종 전체 부호화된 비디오 시퀀스에 걸쳐서 사용된다. 그러므로 동일한 파라미터가 부호화된 비디오 시퀀스에 걸쳐서 복수의 픽처 파라미터에 반복해서 시그널링될 수 있다. 그러한 반복된 시그널링은 부호화된 비디오 비트스트림에서 불필요하게 비트를 차지한다.
상기 문제점들을 해결하기 위해, 본 발명은 부호화된 비디오 비트스트림에서 주기적인 버퍼 기재를 시그널링하기 위한 새로운 방법과 장치를 도입한다.
본 발명에 있어서 새로운 점은, 본 발명이 계층적인 방식으로 주기적인 버퍼 기재를 만들어 변경할 수단을 제공하여, 부호화된 비디오 비트스트림에서 (네트워크 앱스트랙션 층 유닛과 같은) 계층적으로 구조화된 시그널링 유닛과의 개선된 조화를 달성한다는 점이다.
본 발명의 효과는 부호화된 비디오 비트스트림에서 버퍼 기재 데이터의 부호화 효율 개선 형태에 있으며, 부호화된 비디오 비트스트림에서 계층적으로 구조화된 시그널링 유닛과 버퍼 기재 데이터 유닛의 설계 조화 형태에 있다.
도 1은 픽처 참조 구조의 예를 도시한다.
도 2는 종래기술에 따른 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 도면이다.
도 3은 본 발명에서 비디오/이미지 부호화 장치의 구조를 도시하는 블록도이다.
도 4는 본 발명의 제1 실시예에 따른 픽처 부호화 공정을 도시하는 흐름도이다.
도 5a는 본 발명의 제1 실시예의 예시적인 실시예에서 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 5b는 본 발명의 제1 실시예의 예시적인 실시예에서 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 6은 본 발명에서의 비디오/이미지 복호 장치의 구조를 도시하는 블록도이다.
도 7은 본 발명의 제1 실시예에 따른 픽처 복호 공정을 도시하는 흐름도이다.
도 8은 본 발명의 제2 실시예에 따른 픽처 부호화 공정을 도시하는 흐름도이다.
도 9a는 본 발명의 제2 실시예의 예시적인 실시예에서 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 9b는 본 발명의 제2 실시예의 예시적인 실시예에서 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 10은 본 발명의 제2 실시예에 따른 픽처 복호 공정을 도시하는 흐름도이다.
도 11은 본 발명의 제3 실시예에 따른 픽처 부호화 공정을 도시하는 흐름도이다.
도 12a는 SPS에서 버퍼 기재의 예시적인 위치를 도시하는 표이다.
도 12b는 슬라이스 헤더에서 버퍼 기재를 선택하고 변경하기 위한 업데이팅 파라미터의 예시적인 위치를 도시하는 표이다.
도 12c는 슬라이스 헤더에서 버퍼 기재를 선택하고 변경하기 위한 업데이팅 파라미터의 예시적인 위치를 도시하는 표이다.
도 13은 본 발명의 제3 실시예의 예시적인 실시예에서 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 14는 본 발명의 제3 실시예에 다른 픽처 복호 공정을 도시하는 흐름도이다.
도 15는 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성도이다.
도 16은 디지털 방송용 시스템의 전체 구성도이다.
도 17은 텔레비전의 구성예를 나타내는 블록도이다.
도 18은, 광 디스크인 기록 매체에 정보의 판독 및 기록을 행하는 정보 재생/기록 유닛의 구성예를 나타내는 블록도이다.
도 19는 광 디스크인 기록 매체의 구성예를 나타내는 도면이다.
도 20a는 휴대폰의 일예를 나타내는 도면이다.
도 20b는 휴대폰의 구성예를 나타내는 블록도이다.
도 21은 다중화된 데이터의 구조를 나타내는 도면이다.
도 22는 각 스트림이 다중화된 데이터에 있어서 어떻게 다중화되어 있는지를 모식적으로 나타내는 도면이다.
도 23은 PES 패킷 스트림에, 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타낸 도면이다.
도 24는 다중화된 데이터에 있어서의 TS 패킷과 소스 패킷의 구조를 나타내는 도면이다.
도 25는 PMT의 데이터 구조를 나타내는 도면이다.
도 26은 다중화된 데이터 정보의 내부 구조를 나타내는 도면이다.
도 27은 스트림 속성 정보의 내부 구조를 나타내는 도면이다.
도 28은 비디오 데이터를 식별하는 단계를 나타내는 도면이다.
도 29는 각 실시예에 따른 동화상 부호화 방법 및 동화상 복호 방법을 실현하는 집적 회로의 구성예를 나타내는 블록도이다.
도 30은 구동 주파수 사이를 스위칭하는 구성을 나타내는 도면이다.
도 31은 비디오 데이터를 식별하여, 구동 주파수 사이를 스위칭하는 단계를 나타내는 도면이다.
도 32는 비디오 데이터의 표준과 구동 주파수를 대응시킨 룩 업 테이블의 일예를 나타내는 도면이다.
도 33a는 신호 처리 유닛의 모듈을 공유화하는 구성의 일예를 나타내는 도면이다.
도 33b는 신호 처리 유닛의 모듈을 공유화하는 구성의 다른 일예를 나타내는 도면이다.
이후, 본 발명의 양상에 따른 이미지 복호 장치 및 이미지 부호화 장치를 도면을 참조하여 기재한다.
이하에 기재한 실시예는 본 발명의 특정한 예를 보여줌을 유의해야 한다. 다음의 예시적인 실시예에서 보여지는 수치, 형상, 소재, 구조적 요소, 구조 요소의 배치 및 연결, 단계, 단계의 처리 순서 등은 단지 예이다. 그러므로 다음의 예시적인 실시예의 구조 요소 중에서, 본 발명의 개념의 가장 일반적인 부분을 한정하는 독립 청구항 중 어느 하나에서 기재되지 않은 구조 요소는 임의의 구조 요소로서 기재된다.
본 발명의 세 실시예를 다음에서 기재한다. 이들 실시예의 조합이 실행될 수 있어서 주기적인 버퍼 기재의 적응성 및 융통성을 더 높일 수 있음은 당업자에게 명백할 것이다.
(실시예 1)
(부호화 장치)
도 3은 본 발명에서 비디오/이미지 부호화 장치(200)의 구조를 도시하는 블록도이다.
비디오 부호화 장치(200)는 부호화된 출력 비트스트림을 생성하기 위해 블록 단위로 입력 비디오/이미지 비트스트림을 부호화하기 위한 장치이다. 도 3에 도시된 바와 같이, 변환 유닛(201), 양자화 유닛(202), 역양자화 유닛(203), 역변환 유닛(204), 블록 메모리(205), 프레임 메모리(206), 인트라 예측 유닛(207), 인터 예측 유닛(208), 엔트로피 부호화 유닛(209) 및 프레임 메모리 제어 유닛(210)을 포함한다.
입력 비디오가 가산기에 입력되며, 가산된 값이 변환 유닛(201)에 출력된다. 변환 유닛(201)은 가산된 값을 주파수 계수로 변환하여, 결과 주파수 계수를 양자화 유닛(202)에 출력한다. 양자화 유닛(202)은 입력된 주파수 계수를 양자화하여, 결과 양자화된 값을 역양자화 유닛(203)과 엔트로피 부호화 유닛(209)에 출력한다. 엔트로피 부호화 유닛(209)은 양자화 유닛(202)으로부터 출력된 양자화된 값을 부호화하여 비트스트림을 출력한다.
역양자화 유닛(203)은 양자화 유닛(202)으로부터 출력된 샘플 값을 역양자화하여, 주파수 계수를 역변환 유닛(204)에 출력한다. 역변환 유닛(204)은, 주파수 계수를 비트스트림의 샘플 값으로 변환하기 위해 주파수 계수에 관한 역주파수 변환을 실행하여, 결과 샘플 값을 가산기에 출력한다. 가산기는 역변환 유닛(204)으로부터 출력된 비트스트림의 샘플 값을 인터/인트라 예측 유닛(207 및 208)으로부터 출력된 예측 비디오/이미지 값에 가산하여, 결과 가산 값을 (프레임 메모리 제어 유닛(210)을 통해) 블록 메모리(205)나 프레임 메모리(206)에 출력하여 추가 예측한다. 인터/인트라 예측 유닛(207 및 208)은 블록 메모리(205)나 프레임 메모리(206)에 저장된 재구성된 비디오/이미지 내에서 검색하며, 예컨대 입력 비디오/이미지에 가장 유사한 비디오/이미지 영역을 추정하여 예측한다.
프레임 메모리 제어 유닛(210)은 프레임 메모리(206)에 저장된 재구성된 픽처를 관리한다. 이것은 또한 엔트로피 부호화 유닛(209)에 의해 출력 비트스트림에로 기록될 프레임 메모리 제어 파라미터를 전송한다.
(부호화 공정)
도 4는 본 발명의 제1 실시예에 따른 픽처 부호화 공정(400)을 도시하는 흐름도이다.
단계(401)는 부호화된 비디오 시퀀스에서 복수의 픽처에 대해 사용되는 복수의 미리 결정된 주기적인 버퍼 기재를 결정한다. 그 후, 단계(402)는 이러한 복수의 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록한다. 다음으로, 단계(403)가 그러한 복수의 버퍼 기재로부터의 버퍼 기재의 서브세트에 대해 실행될 복수의 변경을 결정한다. 단계(404)가 그 후 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하여 그러한 버퍼 기재의 서브세트에 대한 그러한 변경을 실행한다. 타겟 픽처의 부호화 동안, 단계(405)는 버퍼 기재의 식별자를 그러한 부호화된 비디오 비트스트림에서의 그러한 타겟 픽처의 헤더에 기록하여 그러한 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택한다. 단계(406)는 그 후 그러한 픽처 파라미터 세트와 그러한 선택된 버퍼 기재를 사용하여 그러한 타겟 픽처를 그러한 부호화된 비디오 비트스트림으로 부호화한다.
단계(404)에서 기록된 그러한 업데이팅 파라미터는 버퍼 기재를 선택하기 위한 버퍼 기재 식별자, 그러한 선택된 버퍼 기재 내에서 버퍼 요소를 선택하기 위해 식별되는 버퍼 요소, 및 그러한 선택된 버퍼 기재 내에서 그러한 선택된 버퍼 요소와 관련될 고유 참조 픽처를 재할당하기 위한 픽처 식별자를 포함한다. 버퍼 기재는 복수의 버퍼 요소로 구성되며, 각 버퍼 요소는 프레임 메모리에 저장된 고유 참조 픽처에 대응한다.
단계(404)에서 기록된 그러한 업데이팅 파라미터는 또한, 버퍼 기재 변경이 실행되지 않음과, 시퀀스 파라미터 세트에 한정된 그러한 버퍼 기재가 그대로 남아 있음을 나타내는 플래그/파라미터를 또한 포함할 수 있다. 복수의 픽처 파라미터 세트가 그러한 부호화된 비디오 비트스트림에 존재할 때, 상이한 픽처 파라미터 세트에 명시된 버퍼 기재 변경은 서로 독립적이다. 즉, 제1 픽처 파라미터 세트에 명시된 변경은, 제2 픽처 파라미터 세트가 활성일 때(사용 중일 때) 적용되지 않으며, 그러한 활성화된 제2 픽처 파라미터 세트에 명시된 변경은, 시퀀스 파라미터 세트에 한정된 초기 버퍼 기재 위에 적용된다.
단계(404)에서 기록된 그러한 업데이팅 파라미터는 시퀀스 파라미터 세트에 한정된 복수의 버퍼 기재 외에 새로운 추가 버퍼 기재를 만들고/한정하기 위한 복수의 파라미터를 포함한다.
본 발명의 가능한 구현에서, 단계(402)에서 기록된 그러한 시퀀스 파라미터 세트는, 그러한 복수의 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하는지의 여부를 나타내는 플래그를 포함한다. 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하지 않는다면, 그러한 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터는 하나 이상의 버퍼 기재를 만들기 위한 복수의 파라미터를 포함한다.
(본 발명의 부호화 효과)
본 발명의 효과는 부호화된 비디오 비트스트림에서 버퍼 기재 데이터의 부호화 효율 개선의 형태에 있으며, 부호화된 비디오 비트스트림에서 계층적으로 구조화된 시그널링 단위와 버퍼 기재 데이터 단위의 설계 조화의 형태에 있다. 본 발명을 사용하여, 주기적인 버퍼 기재를 만들고 변경하기 위해 부호화된 비디오 비트스트림에서 동일한 파라미터의 중복된 반복은 제거된다.
(신택스 도)
도 5a 및 도 5b는 각각 본 발명의 예시적인 실시예에서의 부호화된 비디오 비트스트림에 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 5a에서, 복수의 버퍼 기재를 한정하고/만들기 위한 파라미터는 시퀀스 파라미터 세트에 위치한다. 시퀀스 파라미터 세트는 고유 SPS_id 파라미터를 사용하여 픽처 파라미터 세트에 의해 참조된다. 그러한 복수의 버퍼 기재를 업데이트하기 위한 파라미터는 픽처 파라미터 세트에 위치한다. 부호화된 픽처의 픽처 헤더에서, 픽처 파라미터 세트는 고유 PPS_id 파라미터를 사용하여 참조된다. 픽처는 픽처 헤더와 하나 이상의 슬라이스(또는 서브-픽처)로 구성된다. 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택하기 위한 버퍼 기재 선택 파라미터가 그러한 부호화된 픽처의 그러한 픽처 헤더에 위치한다.
도 5b에서, 복수의 버퍼 기재를 한정하고/만들기 위한 파라미터가 시퀀스 파라미터 세트에 위치한다. 시퀀스 파라미터 세트는 고유 SPS_id 파라미터를 사용하여 픽처 파라미터 세트에 의해 참조된다. 그러한 복수의 버퍼 기재를 업데이트하기 위한 파라미터는 픽처 파라미터 세트에 위치한다. 부호화된 슬라이스(또는 서브-픽처 유닛)의 슬라이스 헤더(또는 서브-픽처 단위 헤더)에서, 픽처 파라미터 세트가 고유 PPS_id 파라미터를 사용하여 참조된다. 복수의 변경된 버퍼 기재로부터 하나를 선택하기 위한 버퍼 기재 선택 파라미터가 그러한 슬라이스 헤더(또는 서브-픽처 단위 헤더)에서 위치한다.
본 발명의 가능한 구현에서, 서브-픽처 단위의 예는 타일, 엔트로피 슬라이스, 및 파면 처리 서브-픽처 파티션을 구성하는 블록 그룹을 포함한다.
(복호 장치)
도 6은 본 발명에서 비디오 복호 장치(300)의 구조를 도시하는 블록도이다.
비디오 복호 장치(300)는 블록단위로 입력 부호화된 비트스트림을 복호하고 비디오/이미지를 출력하기 위한 장치이며, 도 6에 도시된 바와 같이, 엔트로피 복호 유닛(301), 역양자화 유닛(302), 역변환 유닛(303), 블록 메모리(304), 프레임 메모리(305), 인트라 예측 유닛(306), 인터 예측 유닛(307) 및 프레임 메모리 제어 유닛(308)을 포함한다.
입력된 부호화된 비트스트림은 엔트로피 복호 유닛(301)에 입력된다. 입력된 부호화된 비트스트림이 엔트로피 복호 유닛(301)에 입력된 후, 엔트로피 복호 유닛(301)은 입력된 부호화된 비트스트림을 복호하여 복호된 값을 역양자화 유닛(302)에 출력한다. 역양자화 유닛(302)은 복호된 값을 역양자화하며, 주파수 계수를 역변환 유닛(303)에 출력한다. 역변환 유닛(303)은 주파수 계수에 관한 역주파수 변환을 실행하여 주파수 계수를 샘플 값으로 변환하여, 결과 픽셀 값을 가산기에 출력한다. 가산기는 결과 픽셀 값을 인트라/인터 예측 유닛(306 및 307)으로부터 출력된 예측된 비디오/이미지 값에 가산하여, 결과 값을 디스플레이에 출력하며, 결과 값을 (프레임 메모리 제어 유닛(308)을 통해) 블록 메모리(304) 또는 프레임 메모리(305))에 출력하여 추가로 예측한다. 게다가, 인트라/인터 예측 유닛(306 및 307)은 블록 메모리(304) 또는 프레임 메모리(305)에 저장된 비디오/이미지 내에서 검색하여, 예컨대 복호된 비디오/이미지와 가장 유사한 비디오/이미지 영역을 추정하여 예측한다.
프레임 메모리 제어 유닛(308)은 프레임 메모리(305)에 저장된 재구성된 픽처를 관리한다. 이것은 엔트로피 복호 유닛(301)으로부터 프레임 메모리 제어 파라미터를 판독하여 적절히 메모리 제어 동작을 실행한다.
(복호 공정)
도 7은 본 발명의 제1 실시예에 따른 픽처 복호 공정(500)을 도시하는 흐름도이다.
단계(501)는 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱한다(parse). 다음으로, 단계(502)는 그러한 복수의 버퍼 기재로부터 버퍼 기재의 서브세트를 변경하기 위해 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트로부터 복수의 업데이팅 파라미터를 파싱한다. 단계(503)는 그 후 그러한 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택하기 위해 그러한 부호화된 비디오 비트스트림에서의 픽처의 헤더로부터 버퍼 기재 식별자를 파싱한다. 최종적으로, 단계(504)는 그러한 픽처 파라미터 세트와 그러한 선택된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 그러한 픽처를 복호한다.
(본 발명의 복호 효과)
본 발명의 효과는 버퍼 기재 데이터의 조화된 설계와 개선된 부호화 효율의 형태로 부호화된 부호화 비디오 비트스트림의 복호를 가능케 한다.
(실시예 2)
(부호화 장치)
도 3은 본 발명에서 비디오/이미지 부호화 장치(200)의 구조를 도시하는 블록도이다.
비디오 부호화 장치(200)는 부호화된 출력 비트스트림을 생성하기 위해 블록 단위로 입력 비디오/이미지 비트스트림을 부호화하기 위한 장치이다. 도 3에서 도시된 바와 같이, 변환 유닛(201), 양자화 유닛(202), 역양자화 유닛(203), 역변환 유닛(204), 블록 메모리(205), 프레임 메모리(206), 인트라 예측 유닛(207), 인터 예측 유닛(208), 엔트로피 부호화 유닛(209) 및 프레임 메모리 제어 유닛(210)을 포함한다.
입력 비디오는 가산기에 입력되고, 가산된 값은 변환 유닛(201)에 출력된다. 변환 유닛(201)은 가산된 값을 주파수 계수로 변환하여, 결과 주파수 계수를 양자화 유닛(202)에 출력한다. 양자화 유닛(202)은 입력된 주파수 계수를 양자화하여, 결과의 양자화된 값을 역양자화 유닛(203) 및 엔트로피 부호화 유닛(209)에 출력한다. 엔트로피 부호화 유닛(209)은 양자화 유닛(202)으로부터 출력된 양자화된 값을 부호화하여 비트스트림을 출력한다.
역양자화 유닛(203)은 양자화 유닛(202)으로부터 출력된 샘플 값을 역양자화하여, 주파수 계수를 역변환 유닛(204)에 출력한다. 역변환 유닛(204)은 주파수 계수를 비트스트림의 샘플 값으로 변환하기 위해 주파수 계수에 관한 역주파수 변환을 실행하여, 결과 샘플 값을 가산기에 출력한다. 가산기는 역변환 유닛(204)으로부터 출력된 비트스트림의 샘플 값을 인터/인트라 예측 유닛(207 및 208)으로부터 출력된 예측된 비디오/이미지 값에 가산하여, 결과 가산 값을 (프레임 메모리 제어 유닛(210)을 통해) 블록 메모리(205) 또는 프레임 메모리(206)에 출력하여 추가로 예측한다. 인터/인트라 예측 유닛(207 및 208)은 블록 메모리(205)나 프레임 메모리(206)에 저장된 재구성된 비디오/이미지 내에서 검색하여, 예컨대 입력 비디오/이미지와 가장 유사한 비디오/이미지 영역을 추정하여 예측한다.
프레임 메모리 제어 유닛(210)은 프레임 메모리(206)에 저장된 재구성된 픽처를 관리한다. 제어 유닛은 또한 엔트로피 부호화 유닛(209)에 의해 출력 비트스트림에 기록될 프레임 메모리 제어 파라미터를 전달한다.
(부호화 공정)
도 8은 본 발명의 제2 실시예에 따른 픽처 부호화 공정(600)을 도시하는 흐름도이다.
단계(601)는 부호화된 비디오 시퀀스에서 복수의 픽처에 대해 사용될 복수의 미리 결정된 주기적인 버퍼 기재를 결정한다. 단계(602)는 이때 그러한 복수의 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록한다. 그 다음으로, 단계(603)는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하며, 그러한 선택된 버퍼 기재에 관해 실행될 복수의 변경을 결정한다. 단계(604)는 이때 그러한 선택된 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록한다. 최종적으로, 단계(605)는 그러한 픽처 파라미터 세트와 그러한 변경된 버퍼 기재를 사용하여 하나 또는 복수의 타겟 픽처를 그러한 부호화된 비디오 비트스트림으로 부호화한다.
단계(604)에서 픽처 파라미터 세트에 기록된 그러한 업데이팅 파라미터는 버퍼 기재를 선택하기 위한 버퍼 기재 식별자, 그러한 선택된 버퍼 기재 내에서 버퍼 요소를 선택하기 위해 식별된 버퍼 요소, 및 그러한 선택된 버퍼 기재 내에서 그러한 선택된 버퍼 요소와 관련될 고유 참조 픽처를 재할당하기 위한 픽처 식별자를 포함한다. 버퍼 기재는 복수의 버퍼 요소로 구성되며, 각 버퍼 요소는 프레임 메모리에 저장된 고유 참조 픽처에 대응한다.
단계(604)에서 픽처 파라미터 세트에 기록된 그러한 업데이팅 파라미터는 선택된 버퍼 기재가 변경되는지의 여부를 나타내는 플래그/파라미터를 또한 포함할 수 있다. 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 선택된 버퍼 기재는 시퀀스 파라미터 세트에서의 그 초기 한정에 따라 사용된다. 본 발명의 제2 실시예에 따라, 그러한 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터(단계(604))는 시퀀스 파라미터 세트에서 한정된 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재만을 선택하여 변경한다.
복수의 픽처 파라미터 세트가 그러한 부호화된 비디오 비트스트림에 존재할 때, 상이한 픽처 파라미터 세트에서 명시된 버퍼 기재 변경은 서로 독립적이다. 즉, 상이한 픽처 파라미터 세트는 상이한 버퍼 기재를 선택할 수 있으며, 더 나아가, 제1 픽처 파라미터 세트에서 명시된 변경은, 제2 픽처 파라미터 세트가 활성화될 때(사용 중일 때) 적용되지 않으며, 그러한 활성 제2 픽처 파라미터 세트에서 명시된 변경은 시퀀스 파라미터 세트에서 한정된 초기 버퍼 기재 위에 적용된다.
본 발명의 가능한 구현에서, 단계(602)에서 기록된 그러한 시퀀스 파라미터 세트는 그러한 복수의 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하는지의 여부를 나타내는 플래그를 포함한다. 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터는 버퍼 기재를 만들기 위한 복수의 파라미터를 포함한다.
(본 발명의 부호화 효과)
본 발명의 효과는 부호화된 비디오 비트스트림에서 버퍼 기재 데이터의 부호화 효율 개선의 행태에 그리고 부호화된 비디오 비트스트림에서 계층적으로 구조화된 시그널링 단위와 버퍼 기재 데이터 단위의 설계 조화 형태에 있다. 본 발명을 사용하여, 주기적인 버퍼 기재를 만들고 변경하기 위해 부호화된 비디오 비트스트림에서 동일한 파라미터의 중복 반복을 제거한다.
(신택스 도)
도 9a 및 도 9b는 각각 본 발명의 예시적인 실시예에서의 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 9a에서, 복수의 버퍼 기재를 한정하고/만들기 위한 파라미터는 시퀀스 파라미터 세트에 위치한다. 시퀀스 파라미터 세트는 고유 SPS_id 파라미터를 사용하여 픽처 파라미터 세트에 의해 참조된다. 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하고 변경하기 위한 파라미터가 픽처 파라미터 세트에 위치한다. 픽처 헤더에서, 픽처 파라미터 세트는 고유 PPS_id 파라미터를 사용하여 참조된다. 복수의 슬라이스(또는 서브-픽처 단위)를 포함하는 복수의 픽처는 고유 PPS_id 값과 관련된 동일한 픽처 파라미터 세트를 지칭할 수 있다. 픽처 파라미터 세트가 픽처 헤더에서 참조될 때, 그러한 참조된 픽처 파라미터 세트에 의해 선택되고 변경되는 버퍼 기재가 활성화된다(사용된다).
도 9b에서, 복수의 버퍼 기재를 한정하고/만들기 위한 파라미터가 시퀀스 파라미터 세트에 위치한다. 시퀀스 파라미터 세트는 고유 SPS_id 파라미터를 사용하여 픽처 파라미터 세트에 의해 참조된다. 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위한 파라미터가 픽처 파라미터 세트에 위치한다. 부호화된 슬라이스(또는 서브-픽처 단위)의 슬라이스 헤더에서, 픽처 파라미터 세트는 고유 PPS_id 파라미터를 사용하여 참조된다. 복수의 슬라이스는 고유 PPS_id 값과 관련된 동일한 픽처 파라미터 세트를 지칭할 수 있다. 픽처 파라미터 세트가 슬라이스 헤더에서 참조될 때, 그러한 참조된 픽처 파라미터 세트에 의해 선택되어 변경되는 버퍼 기재가 활성화된다(사용된다).
본 발명의 가능한 구현에서, 서브-픽처 단위의 예는 타일, 엔트로피 슬라이스, 및 파면 처리 서브-픽처 파티션을 구성하는 블록 그룹을 포함한다.
(복호 장치)
도 6은 본 발명에서 비디오 복호 장치(300)의 구조를 도시하는 블록도이다.
비디오 복호 장치(300)는 블록단위로 입력 부호화된 비트스트림을 복호하고 비디오/이미지를 출력하기 위한 장치이며, 도 6에 도시된 바와 같이, 엔트로피 복호 유닛(301), 역양자화 유닛(302), 역변환 유닛(303), 블록 메모리(304), 프레임 메모리(305), 인트라 예측 유닛(306), 인터 예측 유닛(307) 및 프레임 메모리 제어 유닛(308)을 포함한다.
입력된 부호화된 비트스트림은 엔트로피 복호 유닛(301)에 입력된다. 입력된 부호화된 비트스트림이 엔트로피 복호 유닛(301)에 입력된 후, 엔트로피 복호 유닛(301)은 입력된 부호화된 비트스트림을 복호하여 복호된 값을 역양자화 유닛(302)에 출력한다. 역양자화 유닛(302)은 복호된 값을 역양자화하며, 주파수 계수를 역변환 유닛(303)에 출력한다. 역변환 유닛(303)은 주파수 계수에 관한 역주파수 변환을 실행하여 주파수 계수를 샘플 값으로 변환하여, 결과 픽셀 값을 가산기에 출력한다. 가산기는 결과 픽셀 값을 인트라/인터 예측 유닛(306 및 307)으로부터 출력된 예측된 비디오/이미지 값에 가산하여, 결과 값을 디스플레이에 출력하며, 결과 값을 (프레임 메모리 제어 유닛(308)을 통해) 블록 메모리(304) 또는 프레임 메모리(305)에 출력하여 추가로 예측한다. 게다가, 인트라/인터 예측 유닛(306 및 307)은 블록 메모리(304) 또는 프레임 메모리(305)에 저장된 비디오/이미지 내에서 검색하여, 예컨대 복호된 비디오/이미지와 가장 유사한 비디오/이미지 영역을 추정하여 예측한다.
프레임 메모리 제어 유닛(308)은 프레임 메모리(305)에 저장된 재구성된 픽처를 관리한다. 이것은 엔트로피 복호 유닛(301)으로부터 프레임 메모리 제어 파라미터를 판독하여 적절히 메모리 제어 동작을 실행한다.
(복호 공정)
도 10은 본 발명의 제2 실시예에 따른 픽처 복호 공정(700)을 도시하는 흐름도이다.
단계(701)는 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱한다. 다음으로, 단계(702)는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트로부터 복수의 업데이팅 파라미터를 파싱한다. 단계(703)는 그러한 픽처 파라미터 세트와 그러한 변경된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 하나 또는 복수의 픽처를 복호한다.
(본 발명의 복호 효과)
본 발명의 효과는 버퍼 기재 데이터의 조화된 설계와 개선된 부호화 효율의 형태로 부호화된 부호화 비디오 비트스트림의 복호를 가능케 한다는 것이다.
(실시예 3)
(부호화 장치)
도 3은 본 발명에서 비디오/이미지 부호화 장치(200)의 구조를 도시하는 블록도이다.
비디오 부호화 장치(200)는 부호화된 출력 비트스트림을 생성하기 위해 블록 단위로 입력 비디오/이미지 비트스트림을 부호화하기 위한 장치이다. 도 3에서 도시된 바와 같이, 변환 유닛(201), 양자화 유닛(202), 역양자화 유닛(203), 역변환 유닛(204), 블록 메모리(205), 프레임 메모리(206), 인트라 예측 유닛(207), 인터 예측 유닛(208), 엔트로피 부호화 유닛(209) 및 프레임 메모리 제어 유닛(210)을 포함한다.
입력 비디오는 가산기에 입력되고, 가산된 값은 변환 유닛(201)에 출력된다. 변환 유닛(201)은 가산된 값을 주파수 계수로 변환하여, 결과 주파수 계수를 양자화 유닛(202)에 출력한다. 양자화 유닛(202)은 입력된 주파수 계수를 양자화하여, 결과의 양자화된 값을 역양자화 유닛(203) 및 엔트로피 부호화 유닛(209)에 출력한다. 엔트로피 부호화 유닛(209)은 양자화 유닛(202)으로부터 출력된 양자화된 값을 부호화하여 비트스트림을 출력한다.
역양자화 유닛(203)은 양자화 유닛(202)으로부터 출력된 샘플 값을 역양자화하여, 주파수 계수를 역변환 유닛(204)에 출력한다. 역변환 유닛(204)은 주파수 계수를 비트스트림의 샘플 값으로 변환하기 위해 주파수 계수에 관한 역주파수 변환을 실행하여, 결과 샘플 값을 가산기에 출력한다. 가산기는 역변환 유닛(204)으로부터 출력된 비트스트림의 샘플 값을 인터/인트라 예측 유닛(207 및 208)으로부터 출력된 예측된 비디오/이미지 값에 가산하여, 결과 가산 값을 (프레임 메모리 제어 유닛(210)을 통해) 블록 메모리(205) 또는 프레임 메모리(206)에 출력하여 추가로 예측한다. 인터/인트라 예측 유닛(207 및 208)은 블록 메모리(205)나 프레임 메모리(206)에 저장된 재구성된 비디오/이미지 내에서 검색하여, 예컨대 입력 비디오/이미지와 가장 유사한 비디오/이미지 영역을 추정하여 예측한다.
프레임 메모리 제어 유닛(210)은 프레임 메모리(206)에 저장된 재구성된 픽처를 관리한다. 제어 유닛은 또한 엔트로피 부호화 유닛(209)에 의해 출력 비트스트림에 기록될 프레임 메모리 제어 파라미터를 전달한다.
(부호화 공정)
도 11은 본 발명의 제3 실시예에 따른 픽처 부호화 공정(800)을 도시하는 흐름도이다.
단계(801)는 부호화된 비디오 시퀀스에서 복수의 픽처에 대해 사용될 복수의 미리 결정된 주기적인 버퍼 기재를 결정한다. 단계(802)는 이때 그러한 복수의 버퍼 기재(예컨대, 도 12a의 1300)를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록한다. 버퍼 기재는 현재 및 미래의 부호화된 픽처의 복호 공정에서 사용되는 (버퍼에 저장되는) 참조 픽처의 절대 기재이다. 버퍼 기재에 대한 다른 가능한 명칭은 참조 픽처 세트(RPS: Reference Picture Set)이다. 그 다음으로, 단계(803)는 그러한 복수의 버퍼 기재(RPSs)로부터 하나의 버퍼 기재(RPS)를 선택하여, 그러한 선택된 버퍼 기재에 관해 실행될 복수의 변경을 결정한다. 단계(804)는 이때 그러한 선택된 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터(예컨대, 도 12b 및 도 12c의 1302, 1304 및 1308)를 그러한 부호화된 비디오 비트스트림의 슬라이스 헤더에 기록한다. 최종적으로, 단계(805)는 그러한 슬라이스 헤더와 그러한 변경된 버퍼 기재를 사용하여 슬라이스를 그러한 부호화된 비디오 비트스트림으로 부호화한다.
단계(804)에서 슬라이스 헤더에 기록된 그러한 업데이팅 파라미터는 버퍼 기재를 선택하기 위한 버퍼 기재 식별자(도 12c의 1304), 그러한 선택된 버퍼 기재 내에서 버퍼 요소를 선택하기 위한 버퍼 요소 식별자, 및 그러한 선택된 버퍼 기재 내에서 그러한 선택된 버퍼 요소와 관련될 고유 참조 픽처를 재할당하기 위한 픽처 식별자(도 12c의 1308)를 포함한다. 버퍼 기재는 복수의 버퍼 요소로 구성되며, 각각의 버퍼 요소는 프레임 메모리에 저장된 고유 참조 픽처에 대응한다.
단계(804)에서 슬라이스 헤더에 기록된 그러한 업데이팅 파라미터는 선택된 버퍼 기재가 변경되는지의 여부를 나타내는 플래그/파라미터(도 12b의 1302)를 또한 포함할 수 있다. 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 선택된 버퍼 기재는 시퀀스 파라미터 세트에서의 그 초기 한정에 따라 사용된다. 본 발명의 제3 실시예에 따라, 그러한 슬라이스 헤더에서의 그러한 업데이팅 파라미터(단계(804))는 시퀀스 파라미터 세트에서 한정된 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재만을 선택하여 변경한다.
상이한 슬라이스 헤더에서 명시된 버퍼 기재 변경은 서로 독립적이다. 즉, 슬라이스 헤더에서 명시된 변경은 관련 슬라이스의 부호화/복호에만 적용되며, 임의의 다른 슬라이스에 적용되지 않으며, 더 나아가, 활성인 각각의 슬라이스 헤더에 명시된 변경은 시퀀스 파라미터 세트에서 한정된 초기 버퍼 기재 위에 적용된다.
본 발명의 가능한 구현에서, 단계(802)에서 기록된 그러한 시퀀스 파라미터 세트는 그러한 복수의 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하는지의 여부를 나타내는 플래그(예컨대, 도 12a의 1312)를 포함한다. 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 슬라이스 헤더에서의 그러한 업데이팅 파라미터는 버퍼 기재를 만들기 위한 복수의 파라미터(예컨대, 도 12c의 1310)를 포함한다.
(본 발명의 부호화의 효과)
본 발명의 효과는 부호화된 비디오 비트스트림에서의 버퍼 기재 데이터의 부호화 효율 개선의 형태에 그리고 부호화된 비디오 비트스트림에서의 계층적으로 구조화된 시그널링 단위와 버퍼 기재 데이터 단위의 설계 조화의 형태에 있다. 본 발명을 사용하여, 주기적인 버퍼 기재를 만들고 변경하기 위한 부호화된 비디오 비트스트림에서의 동일한 파라미터의 중복 반복은 제거된다.
(신택스 도)
도 13은 본 발명의 예시적인 실시예에서의 부호화된 비디오 비트스트림에서 버퍼 기재를 만들고 변경하기 위한 파라미터의 위치를 도시하는 신택스 도이다.
도 13에서, 복수의 버퍼 기재를 한정하고/만들기 위한 파라미터는 시퀀스 파라미터 세트에 위치한다. 시퀀스 파라미터 세트는 고유 SPS_id 파라미터를 사용하여 픽처 파라미터 세트에 의해 참조된다. 픽처 파라미터 세트 및 그 관련된 시퀀스 파라미터 세트가 고유 PPS_id 파라미터를 사용하여 부호화된 슬라이스(또는 서브-픽처 단위)의 슬라이스 헤더(또는 서브-픽처 단위 헤더)에 의해 참조된다. (관련된 시퀀스 파라미터 세트에 한정된) 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위한 파라미터가 슬라이스 헤더(또는 서브-픽처 단위 헤더)에 위치한다. 본 발명의 가능한 구현에서, 서브-픽처 단위의 예는 타일, 엔트로피 슬라이스, 및 파면 처리 서브-픽처 파티션을 구성하는 블록 그룹을 포함한다.
(복호 장치)
도 6은 본 발명에서 비디오 복호 장치(300)의 구조를 도시하는 블록도이다.
비디오 복호 장치(300)는 블록단위로 입력 부호화된 비트스트림을 복호하고 비디오/이미지를 출력하기 위한 장치이며, 도 6에 도시된 바와 같이, 엔트로피 복호 유닛(301), 역양자화 유닛(302), 역변환 유닛(303), 블록 메모리(304), 프레임 메모리(305), 인트라 예측 유닛(306), 인터 예측 유닛(307) 및 프레임 메모리 제어 유닛(308)을 포함한다.
입력된 부호화된 비트스트림은 엔트로피 복호 유닛(301)에 입력된다. 입력된 부호화된 비트스트림이 엔트로피 복호 유닛(301)에 입력된 후, 엔트로피 복호 유닛(301)은 입력된 부호화된 비트스트림을 복호하여 복호된 값을 역양자화 유닛(302)에 출력한다. 역양자화 유닛(302)은 복호된 값을 역양자화하며, 주파수 계수를 역변환 유닛(303)에 출력한다. 역변환 유닛(303)은 주파수 계수에 관한 역주파수 변환을 실행하여 주파수 계수를 샘플 값으로 변환하여, 결과 픽셀 값을 가산기에 출력한다. 가산기는 결과 픽셀 값을 인트라/인터 예측 유닛(306 및 307)으로부터 출력된 예측된 비디오/이미지 값에 가산하여, 결과 값을 디스플레이에 출력하고, 결과 값을 (프레임 메모리 제어 유닛(308)을 통해) 블록 메모리(304) 또는 프레임 메모리(305)에 출력하여 추가로 예측한다. 게다가, 인트라/인터 예측 유닛(306 및 307)은 블록 메모리(304) 또는 프레임 메모리(305)에 저장된 비디오/이미지 내에서 검색하여, 예컨대 복호된 비디오/이미지와 가장 유사한 비디오/이미지 영역을 추정하여 예측한다.
프레임 메모리 제어 유닛(308)은 프레임 메모리(305)에 저장된 재구성된 픽처를 관리한다. 이것은 엔트로피 복호 유닛(301)으로부터 프레임 메모리 제어 파라미터를 판독하여 적절히 메모리 제어 동작을 실행한다.
(복호 공정)
도 14는 본 발명의 제3 실시예에 따른 픽처 복호 공정(700)을 도시하는 흐름도이다.
단계(901)는 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재(예컨대, 도 12a의 1300)를 파싱한다. 버퍼 기재는 현재 및 미래의 부호화된 픽처의 복호 공정에서 사용되는 (버퍼에 저장되는) 참조 픽처의 절대 기재이다. 버퍼 기재에 대한 다른 가능한 명칭은 참조 픽처 세트(RPS)이다. 그 다음으로, 단계(902)는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 그러한 부호화된 비디오 비트스트림의 슬라이스 헤더로부터 복수의 업데이팅 파라미터(예컨대, 도 12b 및 도 12c의 1302, 1304 및 1308)를 파싱한다. 단계(903)는 그러한 슬라이스 헤더와 그러한 변경된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 슬라이스를 복호한다.
단계(902)에서 슬라이스 헤더로부터 파싱된 그러한 업데이팅 파라미터는 버퍼 기재를 선택하기 위한 버퍼 기재 식별자(예컨대, 도 12c의 1304), 그러한 선택된 버퍼 기재 내에서 버퍼 요소를 선택하기 위한 버퍼 요소 식별자, 및 그러한 선택된 버퍼 기재 내에서 그러한 선택된 버퍼 요소와 관련될 고유 참조 픽처를 재할당하기 위한 픽처 식별자(예컨대, 도 12c의 1308)를 포함한다. 버퍼 기재는 복수의 버퍼 요소로 구성되며, 각 버퍼 요소는 픽처 메모리에 저장된 고유 참조 픽처에 대응한다.
단계(902)에서 슬라이스 헤더에 기록된 그러한 업데이팅 파라미터는 또한 선택된 버퍼 기재가 변경될지의 여부를 나타내는 플래그/파라미터(예컨대, 도 12b의 1302)를 포함할 수 있다. 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 선택된 버퍼 기재는 시퀀스 파라미터 세트에서의 그 초기 한정에 따라 사용된다. 본 발명의 제3 실시예에 따라, 그러한 슬라이스 헤더에서의 그러한 업데이팅 파라미터(단계(902))는 시퀀스 파라미터 세트에서 한정된 그러한 복수의 버퍼 기재로부터 단 하나의 버퍼 기재를 선택하여 변경한다.
상이한 슬라이스 헤더에 명시된 버퍼 기재 변경은 서로 독립적이다. 즉, 슬라이스 헤더에 명시된 변경은 관련 슬라이스의 부호화/복호에만 적용되며, 어느 다른 슬라이스에는 적용되지 않으며, 더 나아가 활성화된 각 슬라이스 헤더에 명시된 변경은 시퀀스 파라미터 세트에서 한정된 초기 버퍼 기재 위에 적용된다.
본 발명의 가능한 구현에서, 단계(901)에서 파싱된 그러한 시퀀스 파라미터 세트는 그러한 복수의 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하는지의 여부를 나타내는 플래그(예컨대, 도 12a의 1312)를 포함한다. 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 슬라이스 헤더에서의 그러한 업데이팅 파라미터는 버퍼 기재를 만들기 위한 복수의 파라미터(예컨대, 도 12c의 1310)를 포함한다.
(본 발명의 복호 효과)
본 발명의 효과는 버퍼 기재 데이터의 조화된 설계와 개선된 부호화 효율의 형태로 부호화된 부호화 비디오 비트스트림의 복호를 가능케 한다는 것이다.
이상과 같이, 본 발명의 일 양상에 따라 비디오를 부호화하는 방법은 복수의 미리 결정된 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하는 단계; 그러한 복수의 버퍼 기재로부터 버퍼 기재 서브세트를 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하는 단계; 그러한 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택하기 위해 버퍼 기재 식별자를 그러한 부호화된 비디오 비트스트림에서의 픽처 헤더에 기록하는 단계; 그러한 픽처 파라미터 세트와 그러한 선택된 버퍼 기재를 사용하여 그러한 픽처를 그러한 부호화된 비디오 비트스트림으로 부호화하는 단계를 포함한다.
더 나아가, 비디오를 복호하는 방법은 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하는 단계; 그러한 복수의 버퍼 기재로부터 버퍼 기재 서브세트를 변경하기 위해 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트로부터 복수의 업데이팅 파라미터를 파싱하는 단계; 그러한 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택하기 위해 그러한 부호화된 비디오 비트스트림에서의 픽처의 헤더로부터 버퍼 기재 식별자를 파싱하는 단계; 그러한 픽처 파라미터 세트와 그러한 선택된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 그러한 픽처를 복호하는 단계를 포함한다.
더 나아가, 비디오를 부호화하는 방법은 복수의 미리 결정된 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하는 단계; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하는 단계; 그러한 픽처 파라미터 세트와 그러한 변경된 버퍼 기재를 사용하여 하나 또는 복수의 픽처를 그러한 부호화된 비디오 비트스트림으로 부호화하는 단계를 포함한다.
더 나아가, 비디오를 복호하는 방법은 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하는 단계; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하는 단계; 그러한 픽처 파라미터 세트와 그러한 변경된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 하나 또는 복수의 픽처를 복호하는 단계를 포함한다.
더 나아가, 비디오를 부호화하는 방법은 복수의 미리 결정된 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하는 단계; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 슬라이스 헤더에 기록하는 단계; 그러한 슬라이스 헤더와 그러한 변경된 버퍼 기재를 사용하여 슬라이스를 그러한 부호화된 비디오 비트스트림으로 부호화하는 단계를 포함한다.
더 나아가, 비디오를 복호하는 방법은 부호화된 비디오 비트스트림의 시퀀스 파라미터로부터 복수의 버퍼 기재를 파싱하는 단계; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 그러한 부호화된 비디오 비트스트림의 슬라이스 헤더로부터 복수의 업데이팅 파라미터를 파싱하는 단계; 그러한 슬라이스 헤더와 그러한 변경된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 슬라이스를 복호하는 단계를 포함한다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 그러한 업데이팅 파라미터는 버퍼 기재를 선택하기 위한 버퍼 기재 식별자; 그러한 선택된 버퍼 기재 내에서 버퍼 요소를 선택하기 위해 식별되는 버퍼 요소 - 버퍼 요소는 고유 참조 픽처에 대응함 - ; 그러한 선택된 버퍼 기재 내에서 그러한 선택된 버퍼 요소와 관련되는 고유 참조 픽처를 재할당하기 위한 픽처 식별자를 포함한다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 그러한 업데이팅 파라미터는 그러한 시퀀스 파라미터 세트에 기록된 그러한 버퍼 기재 중 어떤 것도 변경되지 않음을 나타낸다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 그러한 업데이팅 파라미터는, 그러한 시퀀스 파라미터 세트에 기록된 그러한 복수의 버퍼 기재 외에, 추가적인 복수의 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 그러한 픽처 파라미터 세트는 선택된 버퍼 기재가 변경되는지의 여부를 나타내는 플래그를 포함하며, 그러한 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 업데이팅 파라미터는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하지만 그러한 선택된 버퍼 기재를 변경하지 않는다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 그러한 슬라이스 헤더는 선택된 버퍼 기재가 변경되는지의 여부를 나타내는 플래그를 포함하며, 그러한 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 업데이팅 파라미터는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하지만 그러한 선택된 버퍼 기재를 변경하지는 않는다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 그러한 시퀀스 파라미터 세트는 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하는지의 여부를 나타내는 플래그를 포함한다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 버퍼 기재가 그러한 플래그에 의해 나타내어진 대로 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 그러한 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터는 하나 이상의 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 버퍼 기재가 그러한 플래그에 의해 나타내어진 대로 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 그러한 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터는 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오를 부호화 또는 복호하는 방법에서, 버퍼 기재가 그러한 플래그에 의해 나타내어진 대로 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 그러한 슬라이스 헤더에서의 그러한 업데이팅 파라미터는 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오 비트스트림 부호화 장치는 복수의 미리 결정된 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하도록 동작할 수 있는 기록 유닛; 그러한 복수의 버퍼 기재로부터 버퍼 기재의 서브세트를 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하도록 동작할 수 있는 기록 유닛; 그러한 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택하기 위해 버퍼 기재 식별자를 그러한 부호화된 비디오 비트스트림에서의 픽처의 헤더에 기록하도록 동작할 수 있는 기록 유닛; 그러한 픽처 파라미터 세트와 그러한 선택된 버퍼 기재를 사용하여 그러한 픽처를 그러한 부호화된 비디오 비트스트림으로 부호화하도록 동작할 수 있는 부호화 유닛을 포함한다.
더 나아가, 비디오 비트스트림 복호 장치는 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하도록 동작할 수 있는 파싱 유닛; 그러한 복수의 버퍼 기재로부터 버퍼 기재의 서브세트를 변경하기 위해 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트로부터 복수의 업데이팅 파라미터를 파싱하도록 동작할 수 있는 파싱 유닛; 그러한 복수의 변경된 버퍼 기재로부터 하나의 버퍼 기재를 선택하기 위해 그러한 부호화된 비디오 비트스트림에서의 픽처의 헤더로부터 버퍼 기재 식별자를 파싱하도록 동작할 수 있는 파싱 유닛; 그러한 픽처 파라미터 세트와 그러한 선택된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 그러한 픽처를 복호하도록 동작할 수 있는 복호 유닛을 포함한다.
더 나아가, 비디오 비트스트림 부호화 장치는 복수의 미리 결정된 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하도록 동작할 수 있는 기록 유닛; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하도록 동작할 수 있는 기록 유닛; 그러한 픽처 파라미터 세트와 그러한 변경된 버퍼 기재를 사용하여 하나 또는 복수의 픽처를 그러한 부호화된 비디오 비트스트림으로 부호화하도록 동작할 수 있는 부호화 유닛을 포함한다.
더 나아가, 비디오 비트스트림 복호 장치는 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하도록 동작할 수 있는 파싱 유닛; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 픽처 파라미터 세트에 기록하도록 동작할 수 있는 기록 유닛; 그러한 픽처 파라미터 세트와 그러한 변경된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 하나 또는 복수의 픽처를 복호하도록 동작할 수 있는 복호 유닛을 포함한다.
더 나아가, 비디오 비트스트림 부호화 장치는 복수의 미리 결정된 버퍼 기재를 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하도록 동작할 수 있는 기록 유닛; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 복수의 업데이팅 파라미터를 그러한 부호화된 비디오 비트스트림의 슬라이스 헤더에 기록하도록 동작할 수 있는 기록 유닛; 그러한 슬라이스 헤더와 그러한 변경된 버퍼 기재를 사용하여 슬라이스를 그러한 부호화된 비디오 비트스트림으로 부호화하도록 동작할 수 있는 부호화 유닛을 포함한다.
더 나아가, 비디오 비트스트림 복호 장치는 부호화된 비디오 비트스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하도록 동작할 수 있는 파싱 유닛; 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위해 그러한 부호화된 비디오 비트스트림의 슬라이스 헤더로부터 복수의 업데이팅 파라미터를 파싱하도록 동작할 수 있는 파싱 유닛; 그러한 슬라이스 헤더와 그러한 변경된 버퍼 기재를 사용하여 그러한 부호화된 비디오 비트스트림으로부터 슬라이스를 복호하도록 동작할 수 있는 복호 유닛을 포함한다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 그러한 업데이팅 파라미터는 버퍼 기재를 선택하기 위한 버퍼 기재 식별자; 그러한 버퍼 기재 내에서 버퍼 요소를 선택하기 위해 식별되는 버퍼 요소 - 버퍼 요소는 고유 참조 픽처에 대응함 - ; 그러한 선택된 버퍼 기재 내에서 그러한 선택된 버퍼 요소와 관련되는 고유 참조 픽처를 재할당하기 위한 픽처 식별자를 포함한다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 그러한 업데이팅 파라미터는 그러한 시퀀스 파라미터 세트에 기록된 그러한 버퍼 기재 중 어떤 것도 변경되지 않음을 나타낸다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 그러한 업데이팅 파라미터는, 그러한 시퀀스 파라미터 세트에 기록된 그러한 복수의 버퍼 기재 외에, 추가적인 복수의 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 그러한 픽처 파라미터 세트는 선택된 버퍼 기재가 변경되는지의 여부를 나타내는 플래그를 포함하며, 그러한 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 업데이팅 파라미터는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하지만 그러한 선택된 버퍼 기재를 변경하지는 않는다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 그러한 슬라이스 헤더는 선택된 버퍼 기재가 변경되는지를 나타내는 플래그를 포함하며, 그러한 플래그가 선택된 버퍼 기재가 변경되지 않음을 나타낼 때, 그러한 업데이팅 파라미터는 그러한 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하지만, 그러한 선택된 버퍼 기재를 변경하지는 않는다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 그러한 시퀀스 파라미터 세트는 버퍼 기재가 그러한 시퀀스 파라미터 세트에 존재하는지의 여부를 나타내는 플래그를 포함한다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 버퍼 기재가 그러한 플래그에 의해 나타내어진 대로 그러한 시퀀스 파라미터 세트에서 존재하지 않을 때, 그러한 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터는 하나 이상의 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 버퍼 기재가 그러한 플래그에 의해 나타내어진 대로 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 그러한 픽처 파라미터 세트에서의 그러한 업데이팅 파라미터는 버퍼 기재를 만들기 위한 파라미터를 포함한다.
더 나아가, 비디오 비트스트림 부호화 또는 복호 장치에서, 버퍼 기재가 그러한 플래그에 의해 식별된 대로 그러한 시퀀스 파라미터 세트에 존재하지 않을 때, 그러한 슬라이스 헤더에서의 그러한 업데이팅 파라미터가 버퍼 기재를 만들기 위한 파라미터를 포함한다.
이들 일반적인 그리고 특정한 양상은 시스템, 방법, 집적회로, 컴퓨터 프로그램, 또는 기록 매체, 또는 시스템, 방법, 집적회로, 컴퓨터 프로그램, 또는 기록 매체의 임의의 조합을 사용하여 구현될 수 있다.
(실시예 4)
각 실시예에서 나타낸 동화상 부호화 방법(이미지 부호화 방법) 및 동화상 복호 방법(이미지 복호 방법)의 구성을 실현하기 위한 프로그램을 기억 매체에 기록함으로써, 각 실시예에서 나타낸 처리를 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다. 기억 매체는, 자기 디스크, 광 디스크, 광자기 디스크, IC 카드, 반도체 메모리 등, 프로그램을 기록할 수 있는 것이면 어느 기록 매체여도 된다.
또한, 여기에서, 각 실시예에서 나타낸 동화상 부호화 방법(이미지 부호화 방법) 및 동화상 복호 방법(이미지 복호 방법)의 응용예와 이를 이용한 시스템을 설명한다. 시스템은, 이미지 부호화 방법을 이용한 이미지 부호화 장치, 및 이미지 복호 방법을 이용한 이미지 복호 장치를 포함하는 이미지 부호화 복호 장치를 가지는 것을 특징으로 한다. 시스템에서의 다른 구성에 대하여, 경우에 따라서 적절히 변경할 수 있다.
도 15는, 컨텐츠 전송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 도면이다. 통신 서비스의 제공 에어리어를 원하는 크기의 셀로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex106, ex107, ex108, ex109, 및 ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 인터넷(ex101), 인터넷 서비스 프로바이더(ISP: Internet Service Provider)(ex102), 전화망(ex104), 그리고 기지국(ex106 내지 ex110) 각각을 통하여, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대폰(ex114), 게임기(ex115) 등의 각 기기가 접속된다.
그러나 컨텐츠 공급 시스템(ex100)은 도 15와 같은 구성에 한정되지 않고, 어느 하나의 요소를 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex106 내지 ex110)을 거치지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다. 또한, 각 기기가 근거리 무선 통신 등을 통하여 직접 서로 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 비디오 촬영이 가능한 기기이며, 카메라(ex116)는 디지털 카메라 등의 정지 이미지 촬영, 비디오 촬영이 가능한 기기이다. 또한, 휴대폰(ex114)은, GSM(등록 상표)(Global System for Mobile Communications), CDMA(Code Division Multiple Access), W-CDMA(Wideband-Code Division Multiple Access), LTE(Long Term Evolution) 및 HSPA(High Speed Packet Access) 등의 표준 중 어느 것을 충족하는 것일 수 있다. 택일적으로, 휴대폰(ex114)는 PHS(Personal Handyphone System)일 수 있다.
컨텐츠 공급 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109) 및 전화망(ex104)을 통하여 스트리밍 서버(ex103)에 접속됨으로써, 라이브 쇼 등의 이미지 전송 등이 가능해진다. 라이브 전송에서는, 사용자가 카메라(ex113)를 이용하여 촬영하는 컨텐츠(예를 들면, 음악 라이브 쇼의 비디오)에 대하여 각 실시예에서 설명한 것과 같이 부호화 처리를 행하고(즉, 카메라가 본 발명의 일 양상에 관련된 이미지 부호화 장치로서 기능한다), 부호화된 컨텐츠를 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대하여 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114) 및 게임기(ex115)가 있다. 전송된 데이터를 수신한 각 기기에서는, 부호화된 데이터를 복호하여 재생한다(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다).
또한, 촬영한 데이터는 카메라(ex113)로 또는 데이터를 송신하는 스트리밍 서버(ex103)로 부호화되거나, 부호화 처리는 카메라(ex113)와 스트리밍 서버(ex103) 사이에서 분담하여 행해도 된다. 마찬가지로 전송된 데이터는 클라이언트나 스트리밍 서버(ex103)로 복호되거나, 복호 처리는 클라이언트와 스트리밍 서버(ex103) 사이에서 서로 분담하여 행해도 된다. 또한, 카메라(ex113)에 한정되지 않고, 카메라(ex116)로 촬영한 정지 이미지 및 비디오 데이터를, 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 하나로 행해도 되고, 서로 분담하여 행해도 된다.
또한, 이들 부호화 및 복호 처리는, 일반적으로 컴퓨터(ex111)와 기기들 각각에 포함된 LSI(ex500)에 의해 실행할 수 있다. LSI(ex500)는, 1 칩이거나 복수 칩으로 이루어지는 구성이어도 된다. 또한, 비디오 부호화 및 복호용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떠한 기록 매체(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 집어넣고, 그 소프트웨어를 이용하여 부호화 및 복호 처리를 행해도 된다. 또한, 휴대폰(ex114)에 카메라가 부착된 경우에는, 그 카메라로 취득한 비디오 데이터를 송신해도 된다. 이때의 비디오 데이터는 휴대폰(ex114)이 가지는 LSI(ex500)에서 부호화된 데이터이다.
또한, 스트리밍 서버(ex103)는 서버와 컴퓨터로 구성될 수 있으며, 데이터를 분산하여 분산된 데이터를 처리하고, 기록하거나 전송하는 것이어도 된다.
이상과 같이 하여, 컨텐츠 공급 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 다시 말해, 컨텐츠 공급 시스템(ex100)에서는, 사용자가 송신한 정보를 클라이언트가 수신하고 복호하여, 복호된 데이터를 실시간으로 재생할 수 있어서, 특별한 권리나 설비를 가지지 않는 사용자라도 개인 방송을 실현할 수 있다.
또한, 컨텐츠 공급 시스템(ex100)의 예에 한정되지 않고, 도 16에 도시하는 바와 같이, 디지털 방송용 시스템(ex200)에서, 각 실시예에 기재된 동화상 부호화 장치(이미지 부호화 장치) 및 동화상 복호 장치(이미지 복호 장치) 중 적어도 하나가 실행될 수 있다. 구체적으로는, 방송국(ex201)에서는 비디오 데이터에 오디오 데이터 등이 다중화되어 얻어진 다중화된 데이터가 전파를 통하여 방송 위성(ex202)에 통신 또는 송신된다. 이 비디오 데이터는 각 실시예에서 설명한 동화상 부호화 방법에 의해 부호화된 데이터이다(즉, 본 발명의 일 양상에 관련된 이미지 부호화 장치에 의해 부호화된 데이터이다). 다중화된 데이터를 받으면, 방송 위성(ex202)은, 방송용의 전파를 송신한다. 그 후, 위성 방송의 수신이 가능한 가정의 안테나(ex204)가 전파를 수신한다. 다음으로, 수신한 다중화된 데이터를, 텔레비전(수신기)(ex300) 및 셋탑 박스(STB)(ex217) 등의 장치가 복호하여 복호된 데이터를 재생한다(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다).
또한, 리더/레코더(ex218)는 (i) DVD, BD 등의 기록 매체(ex215)에 기록한 다중화된 데이터를 판독하여 복호하거나, (i) 기록 매체(ex215)에서의 비디오 신호를 부호화하고, 또한 경우에 따라서는 부호화된 데이터 상에서 오디오 신호를 다중화하여 얻은 데이터를 기록한다. 리더/레코더(ex218)는 각 실시예에서 나타낸 동화상 복호 장치 또는 동화상 부호화 장치를 포함할 수 있다. 이 경우, 재생된 비디오 신호는 모니터(ex219)에 디스플레이되고, 다중화된 데이터가 기록된 기록 매체(ex215)를 이용하여 다른 장치나 시스템에 의해 비디오 신호를 재생할 수 있다. 또한, 케이블 텔레비전용의 케이블(ex203) 또는 위성 및/또는 지상파 방송용 안테나(ex204)에 접속된 셋탑 박스(ex217) 내에 동화상 복호 장치를 실행하고, 비디오 신호를 텔레비전(ex300)의 모니터(ex219)로 디스플레이해도 된다. 이때 셋탑 박스가 아니라, 텔레비전(ex300) 내에 동화상 복호 장치를 실행해도 된다.
도 17은, 각 실시예에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 텔레비전(수신기)(ex300)을 나타내는 도면이다. 텔레비전(ex300)은, 상기 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 비디오 데이터에 오디오 데이터가 다중화되어 얻어진 다중화된 데이터를 취득 또는 제공하는 튜너(ex301); 수신한 다중화된 데이터를 복조하거나, 외부에 공급하는 다중화된 데이터로 변조하는 변조/복조 유닛(ex302); 및 변조한 다중화된 데이터를 비디오 데이터와 오디오 데이터로 역다중화하거나, 또는 신호 처리 유닛(ex306)에서 부호화된 비디오 데이터 및 오디오 데이터를 데이터로 다중화하는 다중화/역다중화 유닛(ex303)을 구비한다.
또한, 텔레비전(ex300)은, 오디오 데이터 및 비디오 데이터를 복호하고, 오디오 데이터 및 비디오 데이터를 각각 부호화하는 오디오 신호 처리 유닛(ex304) 및 비디오 신호 처리 유닛(ex305)(본 발명의 일 양상에 관련된 화상 부호화 장치 및 화상 복호 장치로서 기능한다)를 가지는 신호 처리 유닛(ex306); 및 복호한 오디오 신호를 제공하는 스피커(ex307) 및 복호한 비디오 신호를 디스플레이하는 디스플레이 등의 디스플레이 유닛(ex308)을 가지는 출력 유닛(ex309)를 더 갖는다. 또한, 텔레비전(ex300)은, 사용자 조작의 입력을 수신하는 조작 입력 유닛(ex312)을 가지는 인터페이스 유닛(ex317)을 가진다. 또한, 텔레비전(ex300)은, 텔레비전(ex300)의 각 구성 요소를 통괄적으로 제어하는 제어 유닛(ex310)과, 각 요소에 전력을 공급하는 전원 회로 유닛(ex311)을 가진다. 인터페이스 유닛(ex317)은, 조작 입력 유닛(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313); SD 카드 등의 기록 매체(ex216)를 장착 가능하게 하기 위한 슬롯 유닛(ex314); 하드 디스크 등의 외부 기록 매체와 접속하기 위한 드라이버(ex315); 및 전화망과 접속하는 모뎀(ex316) 등을 가지고 있어도 된다. 또한, 기록 매체(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 구성 요소는 동기 버스를 통하여 서로 접속되어 있다.
먼저, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 다중화된 데이터를 복호하여, 재생하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, CPU 등을 가지는 제어 유닛(ex310)의 제어에 의거하여, 변조/복조 유닛(ex302)에서 복조한 다중화된 데이터를 다중화/역다중화 유닛(ex303)에서 역다중화한다. 또한, 텔레비전(ex300)에서는, 상기 각 실시예에서 설명한 복호 방법을 이용하여 역다중화한 오디오 데이터를 오디오 신호 처리 유닛(ex304)에서 복호하고, 역다중화한 비디오 데이터를 비디오 신호 처리 유닛(ex305)에서 복호한다. 복호한 오디오 신호 및 비디오 신호는, 각각 출력 유닛(ex309)으로부터 외부를 향해서 출력된다. 출력 유닛(ex309)이 비디오 신호 및 오디오 신호를 제공할 때, 이들 신호는 서로와 동기화하여 재생하도록, 버퍼(ex318 및 ex319) 등에 일시적으로 저장될 수 있다. 또한, 텔레비전(ex300)은, 방송 등으로부터가 아니라, 자기 디스크, 광 디스크, 및 SD 카드 등의 기록 매체(ex215 및 ex216)로부터 다중화된 데이터를 판독해도 된다. 다음에, 텔레비전(ex300)이 오디오 신호 및 비디오 신호를 부호화하여 외부에 송신하거나 이러한 데이터를 기록 매체 상에 기록하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, 제어 유닛(ex310)의 제어에 의거하여, 각 실시예에서 설명한 부호화 방법을 이용하여 오디오 신호 처리 유닛(ex304)에서 오디오 신호를 부호화하고, 비디오 신호 처리 유닛(ex305)에서 비디오 신호를 부호화한다. 부호화한 오디오 신호 및 비디오 신호는 다중화/역다중화 유닛(ex303)에서 다중화되어 결과 신호가 외부로 제공된다. 다중화/역다중화 유닛(ex303)이 비디오 신호 및 오디오 신호를 다중화할 때, 신호들은 서로 동기화되어 재생되도록 버퍼(ex320 및 ex321) 등에 일시적으로 저장될 수 있다. 또한, 버퍼(ex318, ex319, ex320 및 ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 1개 이상의 버퍼를 텔레비전(ex300)에서 공유하는 구성이어도 된다. 또한, 예를 들면 변조/복조 유닛(ex302)과 다중화/역다중화 유닛(ex303) 사이에서 시스템 오버플로우 및 언더플로우를 피할 수 있도록 데이터가 버퍼에 저장될 수 있다.
또한, 텔레비전(ex300)은, 방송이나 기록 매체 등으로부터 오디오 데이터 및 비디오 데이터를 취득하는 구성 이외에, 마이크나 카메라로부터 오디오 및 비디오 데이터를 수신하는 구성을 구비하고, 이들로부터 취득한 데이터에 대하여 부호화 처리를 행해도 된다. 또한, 텔레비전(ex300)은 상세한 설명에서 부호화, 다중화 및 데이터를 외부로 제공할 수 있더라도, 오로지 수신, 복호, 및 데이터를 외부로 제공할 수만 있고, 부호화, 다중화, 및 데이터를 외부로 제공하는 것은 할 수 없을 수 있다.
또한, 리더/레코더(ex218)에서 기록 매체로부터 다중화된 데이터를 판독하거나, 또는 이에 기록하는 경우에는, 텔레비전(ex300) 및 리더/레코더(ex218) 중 하나가 다중화된 데이터를 복호 또는 부호화할 수 있으며, 텔레비전(ex300) 및 리더/레코더(ex218)가 복호 또는 부호화를 공유할 수 있다.
일예로서, 광 디스크로부터 데이터를 판독 또는 기록할 경우의 정보 재생/기록 유닛(ex400)의 구성을 도 18에 도시한다. 정보 재생/기록 유닛(ex400)은, 이하에 설명하는 구성요소(ex401, ex402, ex403, ex404, ex405, ex406 및 ex407)를 구비한다. 광 헤드(ex401)는, 광 디스크인 기록 매체(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기록하고, 기록 매체(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 판독한다. 변조 기록 유닛(ex402)은, 광 헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저광의 변조를 행한다. 재생 복조 유닛(ex403)은, 광 헤드(ex401)에 내장된 포토디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출한 재생 신호를 증폭하고, 기록 매체(ex215)에 기록된 신호 성분을 분리하여 이 재생 신호를 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 매체(ex215)에 기록하기 위한 정보 및 기록 매체(ex215)로부터 재생한 정보를 일시적으로 유지한다. 디스크 모터(ex405)는 기록 매체(ex215)를 회전시킨다. 서보 제어 유닛(ex406)은, 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 미리 결정된 정보 트랙으로 이동시켜, 레이저 스폿을 뒤따른다. 시스템 제어 유닛(ex407)은, 정보 재생/기록 유닛(ex400) 전체의 제어를 행한다. 이러한 판독 및 기록 처리는 시스템 제어 유닛(ex407)이, 버퍼(ex404)에 저장된 각종 정보를 이용하거나, 또한 필요에 따라서 새로운 정보를 생성하고 추가함과 더불어, 변조 기록 유닛(ex402), 재생 복조 유닛(ex403), 서보 제어 유닛(ex406)을 협조 동작시키면서, 광 헤드(ex401)를 통하여, 정보의 기록 재생을 행함으로써 실현된다. 시스템 제어 유닛(ex407)은 예를 들면 마이크로 프로세서로 구성되고, 컴퓨터가 판독 및 기록용 프로그램을 실행하게 함으로써 처리를 실행한다.
이상에서는, 광 헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명했는데, 근접장광을 이용하여 보다 고밀도의 기록을 행하는 구성이어도 된다.
도 19에 광 디스크인 기록 매체(ex215)를 예시한다. 기록 매체(ex215)의 기록면에는 안내 홈(groove)이 스파이럴 상으로 형성되고, 정보 트랙(ex230)에는, 미리, 안내 홈의 형상 변화에 의해 디스크 상의 절대 위치를 나타내는 어드레스 정보가 기록되어 있다. 이 어드레스 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 결정하기 위한 정보를 포함한다. 데이터의 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 어드레스 정보를 판독함으로써 기록 블록의 위치를 결정할 수 있다. 또한, 기록 매체(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 및 외주 영역(ex234)을 포함하고 있다. 사용자 데이터를 기록하기 위해서 이용하는 영역이 데이터 기록 영역(ex233)이다. 데이터 기록 영역(ex233)의 내주 및 외주에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234)은, 사용자 데이터의 기록 이외의 특정 용도에 이용된다. 정보 재생/기록 유닛(ex400)은, 이러한 기록 매체(ex215)의 데이터 기록 영역(ex233)에 대하여, 부호화된 오디오 데이터, 부호화된 비디오 데이터 또는 부호화된 오디오 및 비디오 데이터의 다중화에 의해 얻은 다중화된 데이터의 판독 및 기록을 행한다.
DVD, BD 등의 하나의 층의 광 디스크를 예로 들어 설명했는데, 광 디스크는 이들로 한정되는 것은 아니고, 다층 구조이며 표면 이외의 부분에도 기록가능한 광 디스크여도 된다. 또한, 광 디스크의 동일한 장소에 다양한 파장의 색의 광을 이용하여 정보를 기록하고 다양한 각도로부터 상이한 정보의 층을 기록하는 등, 다차원적인 기록/재생을 행하는 구조의 광 디스크여도 된다.
또한, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 가지는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하고, 차(ex210)가 가지는 카 네비게이션 시스템(ex211) 등의 디스플레이 장치에 비디오를 재생하는 것도 가능하다. 또한, 카 네비게이션 시스템(ex211)의 구성은 예를 들면 도 17에 도시하는 구성 중, GPS 수신 유닛을 포함하는 구성일 것이다. 동일한 것을 컴퓨터(ex111)나 휴대폰(ex114) 등에서도 생각할 수 있다.
도 20a는, 실시예에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 휴대폰(ex114)을 도시하는 도면이다. 휴대폰(ex114)은, 기지국(ex110)을 통하여 전파를 송수신하기 위한 안테나(ex350); 및 화상 및 정지 이미지를 촬영하는 것이 가능한 카메라 유닛(ex365); 및 카메라 유닛(ex365)으로 촬상하거나 안테나(ex350)로 수신한 복호된 비디오 등의 데이터를 디스플레이하는 액정 디스플레이 등의 디스플레이 유닛(ex358)을 구비한다. 휴대폰(ex114)은, 또한, 조작 키 유닛(ex366)을 가지는 본체 유닛; 오디오를 출력하기 위한 스피커 등인 오디오 출력 유닛(ex357); 오디오를 입력하기 위한 마이크 등인 오디오 입력 유닛(ex356); 촬영한 비디오 또는 정지 화상, 녹음한 오디오, 또는 수신한 비디오, 정지 화상, 전자 메일 등이 부호화된 데이터 또는 복호된 데이터를 저장하기 위한 메모리 유닛(ex367); 및 메모리 유닛(ex367)과 동일한 방식으로 데이터를 저장하는 기록 매체에 대한 인터페이스 유닛인 슬롯 유닛(ex364)를 구비한다.
또한, 휴대폰(ex114)의 구성예에 대하여, 도 20b를 이용하여 설명한다. 휴대폰(ex114)은, 디스플레이 유닛(ex358) 및 조작 키 유닛(ex366)을 구비한 본체 유닛의 각 부를 통괄적으로 제어하도록 설계된 메인 제어 유닛(ex360)에 대하여, 전원 공급 회로 유닛(ex361), 조작 입력 제어 유닛(ex362), 비디오 신호 처리 유닛(ex355), 카메라 인터페이스 유닛(ex363), LCD(Liquid Crystal Display) 제어 유닛(ex359), 변조/복조 유닛(ex352), 다중화/역다중화 유닛(ex353), 오디오 신호 처리 유닛(ex354), 슬롯 유닛(ex364) 및 메모리 유닛(ex367)이 동기 버스(ex370)를 통하여 서로 접속되어 있다.
전원 공급 회로 유닛(ex361)은, 사용자의 조작에 의해 통화종료 키 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대폰(ex114)를 동작가능한 상태로 기동한다.
휴대폰(ex114)은, CPU, ROM, RAM 등을 가지는 주 제어 유닛(ex360)의 제어에 의거하여, 음성 통화 모드 시에 오디오 입력 유닛(ex356)에서 수음한 오디오 신호를 오디오 신호 처리 유닛(ex354)에서 디지털 오디오 신호로 변환한다. 그 후, 변조/복조 유닛(ex352)에서 디지털 오디오 신호에 관해 스펙트럼 확산 처리하여, 송수신 유닛(ex351)에서 데이터에 관해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 결과 데이터를 안테나(ex350)를 통하여 송신한다. 또한, 휴대폰(ex114)은, 송수신 유닛(ex351)에서 음성 통화 모드 시에 안테나(ex350)를 통하여 수신한 데이터를 증폭하여 데이터에 관한 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시한다. 그 후, 변조/복조 유닛(ex352)에서 데이터에 관해 스펙트럼 역확산 처리하고, 오디오 신호 처리 유닛(ex354)에서 아날로그 오디오 신호로 변환한 후, 이를 오디오 출력 유닛(ex357)을 통해 출력한다.
또한, 데이터 통신 모드 시에 전자 메일을 송신할 경우, 본체 유닛의 조작 키 유닛(ex366) 등의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어 유닛(ex362)를 통하여 메인 제어 유닛(ex360)에 송출된다. 메인 제어 유닛(ex360)은, 텍스트 데이터를 변조/복조 유닛(ex352)에서 스펙트럼 확산 처리를 하고, 송수신 유닛(ex351)에서 결과 데이터에 대해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 데이터를 안테나(ex350)를 통하여 기지국(ex110)에 송신한다. 전자 메일을 수신하는 경우는, 수신한 데이터에 대하여 전자 메일을 송신하기 위한 처리에 대략 반대인 처리가 행해져, 결과 데이터가 디스플레이 유닛(ex358)에 출력된다.
데이터 통신 모드 시에 비디오, 정지 이미지, 또는 비디오와 오디오를 송신할 경우, 비디오 신호 처리 유닛(ex355)은, 카메라 유닛(ex365)으로부터 공급된 비디오 신호를 각 실시예에서 나타낸 동화상 부호화 방법에 의해 압축 부호화하고(즉, 본 발명의 일 양상에 관련된 이미지 부호화 장치로서 기능한다), 부호화된 비디오 데이터를 다중화/역다중화 유닛(ex353)으로 송신한다. 대조적으로, 오디오 신호 처리 유닛(ex354)은, 비디오, 정지 이미지 등을 카메라 유닛(ex365)에서 촬상 중에, 오디오 입력 유닛(ex356)에서 수음한 오디오 신호를 부호화하고, 부호화된 오디오 데이터를 다중화/역다중화 유닛(ex353)에 송신한다.
다중화/역다중화 유닛(ex353)은, 비디오 신호 처리 유닛(ex355)으로부터 공급된 부호화된 비디오 데이터와 오디오 신호 처리 유닛(ex354)으로부터 공급된 부호화된 오디오 데이터를 미리 결정된 방식으로 다중화한다. 그 후, 변조/복조 유닛(변조/복조 회로 유닛)(ex352)에서 다중화된 데이터에 대해 스펙트럼 확산 처리를 하고, 송수신 유닛(ex351)에서 데이터에 대해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 결과 데이터를 송신한다.
데이터 통신 모드 시에 홈페이지 등에 링크된 비디오 파일 데이터를 수신할 경우, 또는 비디오 및/또는 오디오가 첨부된 전자 메일을 수신할 경우, 안테나(ex350)를 통하여 수신된 다중화된 데이터를 복호하기 위해서, 다중화/역다중화 유닛(ex353)은, 다중화된 데이터를 비디오 데이터의 비트스트림과 오디오 데이터의 비트스트림으로 역다중화하고, 동기 버스(ex370)를 통하여 부호화된 비디오 데이터를 비디오 신호 처리 유닛(ex355)에 공급함과 더불어, 부호화된 오디오 데이터를 오디오 신호 처리 유닛(ex354)에 공급한다. 비디오 신호 처리 유닛(ex355)은, 각 실시예에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호 방법에 의해 비디오 신호를 복호하고(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다), LCD 제어 유닛(ex359)을 통하여 디스플레이 유닛(ex358)으로부터, 예를 들면 홈페이지에 링크된 비디오 파일에 포함되는 비디오 및 정지 이미지가 디스플레이된다. 또한, 오디오 신호 처리 유닛(ex354)은, 오디오 신호를 복호하여, 오디오 출력 유닛(ex357)으로부터 오디오가 제공된다.
또한, 상기 휴대폰(ex114) 등의 단말은, (i) 텔레비전(ex300)과 마찬가지로, 부호화기 및 복호기를 모두 가지는 송수신형 단말 외에, (ii) 부호화기만의 송신 단말, (iii) 복호기만의 수신 단말이라고 하는 3가지의 실시 구성을 아마도 가질 것이다. 또한, 디지털 방송용 시스템(ex200)에 있어서, 비디오 데이터에 오디오 데이터가 다중화되어 얻어진 다중화된 데이터를 수신 및 송신하는 것으로서 설명했는데, 오디오 데이터 이외에 비디오에 관련된 문자 데이터 등이 비디오 데이터에 다중화된 데이터여도 되고, 다중화된 데이터가 아니라 비디오 데이터 자체여도 된다.
이와 같이, 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 복호 방법을 상술한 어느 하나의 기기 및 시스템에 이용하는 것은 가능하다. 그와 같이 함으로써, 상기 각 실시예에서 설명한 효과를 얻을 수 있다.
또한, 본 발명은 이러한 상기 실시예에 한정되는 것은 아니고, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.
(실시예 5)
(i) 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치와, (ii) MPEG-2, MPEG-4 AVC, VC-1 등 상이한 표준에 준거한 동화상 부호화 방법 또는 동화상 부호화 장치 사이에서 필요에 따라 적절히 스위칭함으로써, 비디오 데이터를 생성하는 것도 가능하다.
여기에서, 각각 상이한 표준에 준거하는 복수의 비디오 데이터를 생성하여 복호할 때, 각각의 표준에 대응한 복호 방법을 선택할 필요가 있다. 그러나 복호될 복수의 비디오 데이터 각각이 어느 표준에 준거하는 것인지 식별할 수 없으므로, 적절한 복호 방법을 선택할 수 없다는 과제가 발생한다.
이 과제를 해결하기 위해서, 비디오 데이터에 오디오 데이터 등을 다중화하여 얻은 다중화된 데이터는, 비디오 데이터가 어느 표준에 준거하는 것인지를 나타내는 식별 정보를 포함하는 구조로 한다. 각 실시예에서 나타내는 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 포함하는 다중화된 데이터의 구체적인 구조를 이하에 설명한다. 다중화된 데이터는, MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이다.
도 21은, 다중화된 데이터의 구조를 나타내는 도면이다. 도 21에 도시하는 바와 같이, 다중화된 데이터는, 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림(PG) 및 인터랙티브 그래픽스 스트림 중 적어도 하나를 다중화함으로써 얻어진다. 비디오 스트림은 영화의 주 비디오 및 부 비디오를 나타내고, 오디오 스트림(IG)은 주 오디오 부분과 그 주 오디오 부분과 혼합하는 부 오디오 부분을 나타내며, 프리젠테이션 그래픽스 스트림은, 영화의 자막을 각각 나타내고 있다. 여기서 주 비디오란 화면에 디스플레이되는 통상의 비디오를 나타내고, 부 비디오란 주 비디오 중에 작은 화면으로 디스플레이하는 비디오이다. 또한, 인터랙티브 그래픽스 스트림은, 화면 상에 GUI 부분을 배치함으로써 생성되는 대화 화면을 나타낸다. 비디오 스트림은, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 부호화되거나, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거한 동화상 부호화 방법 및 동화상 부호화 장치에 의해 부호화되어 있다. 오디오 스트림은, 돌비-AC-3, 돌비 디지털 버스(Dolby Digital Plus), MLP, DTS, DTS-HD, 또는, 리니어 PCM 등의 표준으로 부호화되어 있다.
다중화된 데이터에 포함되는 각 스트림은 PID에 의해 식별된다. 예를 들면, 영화의 비디오에 이용하는 비디오 스트림에는 0x1011이 할당되고, 오디오 스트림에는 0x1100부터 0x111F까지가 할당되며, 프리젠테이션 그래픽스 스트림에는 0x1200부터 0x121F까지가 할당되고, 인터랙티브 그래픽스 스트림에는 0x1400부터 0x141F까지가 할당되며, 영화의 부 비디오에 이용하는 비디오 스트림에는 0x1B00부터 0x1B1F까지가 할당되며, 주 오디오와 혼합하는 부 오디오에 이용하는 오디오 스트림에는 0x1A00부터 0x1A1F가 할당된다.
도 22는 데이터가 어떻게 다중화되는지를 모식적으로 도시하는 도면이다. 먼저, 비디오 프레임으로 이루어지는 비디오 스트림(ex235), 오디오 프레임으로 이루어지는 오디오 스트림(ex238)을, 각각 PES 패킷 스트림(ex236 및 ex239)으로 변환하고, TS 패킷(ex237 및 ex240)으로 변환한다. 마찬가지로, 프리젠테이션 그래픽스 스트림(ex241)의 데이터 및 인터랙티브 그래픽스 스트림(ex244)의 데이터를 각각 PES 패킷 스트림(ex242 및 ex245)으로 변환하고, 다시 TS 패킷(ex243 및 ex246)으로 변환한다. 다중화된 데이터(ex247)는 이들 TS 패킷을 1개의 스트림으로 다중화함으로써 얻어진다.
도 23은, PES 패킷 스트림에, 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타내고 있다. 도 23에 있어서의 제1 단째는 비디오 스트림의 비디오 프레임 스트림을 나타낸다. 제2 단째는, PES 패킷 스트림을 나타낸다. 도 23의 화살표 yy1, yy2, yy3, yy4로 표시하는 바와 같이, 비디오 스트림은 각각 비디오 프리젠테이션 유닛인 I 픽처, B 픽처, P 픽처로서 픽처로 분할되며, PES 패킷 각각의 페이로드에 픽처들이 저장된다. 각 PES 패킷은 PES 헤더를 가지고, PES 헤더에는, 픽처의 디스플레이 시간인 PTS(Presentation Time-Stamp)와, 픽처의 복호 시간인 DTS(Decoding Time-Stamp)가 저장된다.
도 24는, 다중화된 데이터에 최종적으로 기록되는 TS 패킷의 형식을 나타내고 있다. TS 패킷 각각은, 스트림을 식별하는 PID 등의 정보를 가지는 4-byte TS 헤더와 데이터를 저장하는 184-byte의 TS 페이로드로 구성되는 188-byte 고정 길이의 패킷이다. 상기 PES 패킷은 분할되어 각각 TS 페이로드에 저장된다. BD ROM이 사용된 경우, TS 패킷 각각에는, 4-byte의 TP_Extra_Header가 부여되어, 192-byte의 소스 패킷을 만든다. 소스 패킷은 다중화된 데이터에 기록된다. TP_Extra_Header에는 ATS(Arrival_Time_Stamp) 등의 정보가 저장된다. ATS는 TS 패킷 각각의 PID 필터로의 전송 개시 시간을 나타낸다. 다중화된 데이터에는 도 24 하단에 도시하는 바와 같이 소스 패킷이 배열되고, 다중화된 데이터의 선두부터 증가하는 번호는 SPN(소스 패킷 넘버)으로 불린다.
또한, 다중화된 데이터에 포함되는 TS 패킷 각각에는, 비디오, 오디오 및 자막 등의 스트림 이외에도 PAT(Program Association Table), PMT(Program Map Table), PCR(Program Clock Reference) 등이 있다. PAT는 다중화된 데이터에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID는 0으로 등록된다. PMT는, 다중화된 데이터에 포함되는 비디오, 오디오 및 자막 등의 스트림의 PID와, PID에 대응하는 스트림의 속성 정보를 저장한다. 또한, PMT는 다중화된 데이터에 관한 각종 디스크립터를 가진다. 디스크립터에는 다중화된 데이터의 카피를 허가·불허가를 지시하는 복제 제어 정보 등이 있다. PCR은, ATS의 시간축인 ATC(Arrival Time Clock)와 PTS 및 DTS의 시간축인 STC(System Time Clock) 사이의 동기화를 달성하기 위해, 그 PCR 패킷이 복호기에 전송되는 때를 나타내는 ATS에 대응하는 STC 시간 정보를 저장한다.
도 25는 PMT의 데이터 구조를 상세하게 설명하는 도면이다. PMT의 선두에는, 그 PMT에 포함되는 데이터의 길이 등을 기재한 PMT 헤더가 배치된다. PMT 헤더의 뒤에는, 다중화된 데이터에 관한 디스크립터가 복수 배치된다. 상기 복제 제어 정보 등의 정보가 디스크립터에 기재된다. 디스크립터의 뒤에는, 다중화된 데이터에 포함되는 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보 각각은, 스트림의 압축 코덱 등을 식별하기 위해서 스트림 타입, 스트림의 PID, 스트림의 속성 정보(프레임 속도, 애스펙트 비 등) 등의 정보를 각각 기재하는 스트림 디스크립터로 구성된다. 스트림 디스크립터는 다중화된 데이터에 존재하는 스트림의 수만큼 존재한다.
기록 매체 등에 기록할 경우에는, 상기 다중화된 데이터는, 다중화된 데이터 정보 파일과 함께 기록된다.
다중화된 데이터 정보 파일 각각은, 도 26에 도시하는 바와 같이 다중화된 데이터의 관리 정보이다. 다중화된 데이터 정보 파일은 다중화된 데이터와 1대1로 대응하고, 파일 각각은 다중화된 데이터 정보, 스트림 속성 정보 및 엔트리 맵으로 구성된다.
다중화된 데이터 정보는, 도 26에 도시하는 바와 같이, 시스템 속도, 재생 개시 시간 및 재생 종료 시간으로 구성되어 있다. 시스템 속도는, 후술될 시스템 타겟 디코더가 다중화된 데이터를 PID 필터에 전송할 최대 전송 속도를 나타낸다. 다중화된 데이터 중에 포함되는 ATS의 간격은 시스템 속도 이하가 되도록 설정되어 있다. 재생 개시 시간은 다중화된 데이터의 선두 비디오 프레임의 PTS를 나타낸다. 한 프레임의 간격이 다중화된 데이터의 종단에서의 비디오 프레임에서 PTS에 추가되고, 이 PTS가 재생 종료 시간으로 설정된다.
속성 정보는 도 27에 도시하는 바와 같이, 다중화된 데이터에 포함되는 각 스트림에 대한 스트림 속성 정보가, PID마다 등록된다. 각 속성 정보는 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림 또는 인터랙티브 그래픽스 스트림마다 상이한 정보를 가진다. 비디오 스트림 속성 정보 각각은, 그 비디오 스트림이 어떤 압축 코덱으로 압축되었는지, 비디오 스트림을 구성하는 각각의 픽처 데이터의 해상도가 얼마인지, 애스펙트 비는 얼마인지, 프레임 속도는 얼마인지 등의 정보를 가진다. 오디오 스트림 속성 정보 각각은, 그 오디오 스트림이 어떤 압축 코덱으로 압축되었는지, 그 오디오 스트림에 포함되는 채널 수는 무엇인지, 오디오 스트림이 어떤 언어를 지원하는지, 샘플링 주파수가 얼마인지 등의 정보를 가진다. 비디오 스트림 속성 정보와 오디오 스트림 속성 정보는, 플레이어가 정보를 재생하기 전의 복호기의 초기화에 이용된다.
본 실시예에 있어서는, 사용될 다중화된 데이터로는 PMT에 포함되는 스트림 타입이 있다. 또한, 기록 매체에 다중화된 데이터가 기록되어 있는 경우에는, 다중화된 데이터 정보에 포함되는 비디오 스트림 속성 정보를 이용한다. 구체적으로는, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화장치에 있어서, PMT에 포함되는 스트림 타입 또는 비디오 스트림 속성 정보에 대하여, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터인 것을 나타내는 고유 정보를 할당하는 단계 또는 유닛을 포함한다. 이 구성에 의해, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터가 다른 표준에 준거하는 비디오 데이터와 구별될 수 있다.
또한, 본 실시예에 있어서의 동화상 복호 방법의 단계를 도 28에 도시한다. 단계(exS100)에 있어서, 다중화된 데이터로부터 PMT에 포함되는 스트림 타입 또는 다중화된 데이터 정보에 포함되는 비디오 스트림 속성 정보를 취득한다. 다음에, 단계(exS101)에 있어서, 스트림 타입, 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성되는지를 나타내는지 여부를 판단한다. 그리고 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것임을 나타낸다고 판단된 경우에는, 단계(exS102)에 있어서, 각 실시예에서의 동화상 복호 방법에 의해 복호를 행한다. 또한, 스트림 타입 또는 비디오 스트림 속성 정보가 MPEG-2, MPEG-4 AVC 및 VC-1 등의 종래의 표준에 준거하는 것을 나타내는 경우에는, 단계(exS103)에 있어서, 종래의 규격에 준거한 동화상 복호 방법에 의해 복호를 행한다.
이와 같이, 스트림 타입 또는 비디오 스트림 속성 정보에 새로운 고유치를 할당함으로써, 각 실시예에서 나타낸 동화상 복호 방법 또는 동화상 복호 장치가 복호를 실행할 수 있는지에 관한 판단을 가능케 한다. 따라서, 상이한 표준에 준거하는 다중화된 데이터가 입력된 경우라도, 적절한 복호 방법 또는 적절한 복호 장치를 선택할 수 있다. 따라서, 에러를 발생시키지 않고 정보를 복호하는 것이 가능해진다. 또한, 본 실시예에서 나타낸 동화상 부호화 방법 또는 장치, 또는, 동화상 복호 방법 또는 장치를, 상술한 기기 및 시스템에 이용하는 것도 가능하다.
(실시예 6)
각 실시예에서 나타낸 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 복호 장치는 각각 전형적으로는 집적 회로인 LSI 회로로 실현된다. 일예로서, 도 29에 1 칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는, 이하에 설명하는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, 및 ex509)를 구비하고, 각 요소는 버스(ex510)를 통하여 서로 접속하고 있다. 전원 공급 회로 유닛(ex505)은 전원 공급 회로 유닛(ex505)이 온 상태인 경우에 요소의 각각에 대하여 전력을 공급함으로써 동작 가능한 상태로 기동한다.
예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504) 및 구동 주파수 제어 유닛(ex512)을 포함하는 제어 유닛(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117), 카메라(ex113) 등으로부터 AV 신호를 수신한다. 수신된 AV 신호는, SDRAM 등의 외부 메모리(ex511)에 일시적으로 저장된다. 제어 유닛(ex501)의 제어에 의거하여, 저장된 데이터는 처리량과 속도에 따라서 데이터 부분으로 분할되어 신호 처리 유닛(ex507)에 송신된다. 그 후, 신호 처리 유닛(ex507)에 있어서 오디오 신호의 부호화 및/또는 비디오 신호의 부호화가 행해진다. 여기서 비디오 신호의 부호화 처리는 각 실시예에서 설명한 부호화 처리이다. 신호 처리 유닛(ex507)에서는 또한, 경우에 따라 부호화된 오디오 데이터와 부호화된 비디오 데이터를 다중화하는 등의 처리를 행하여, 스트림 I/O(ex506)가 다중화된 데이터를 외부에 제공한다. 이 제공된 다중화된 데이터는, 기지국(ex107)에 송신되거나, 기록 매체(ex215)에 기록되기도 한다. 또한, 데이터 세트는 다중화할 때는, 데이터 세트가 동기화하도록, 버퍼(ex508)에 일시적으로 데이터를 저장해야 한다.
메모리(ex511)가 LSI(ex500) 외부의 요소일지라도, LSI(ex500)에 포함될 수 도 있다. 버퍼(ex508)도 1개로 한정되는 것이 아니라, 복수의 버퍼를 구비하고 있어도 된다. 또한, LSI(ex500)은 1칩화되어도 되고, 복수 칩화되어도 된다.
또한, 제어 유닛(ex501)이, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어 유닛(ex512) 등을 가지는 것으로 하고 있는데, 제어 유닛(ex501)의 구성은, 이 구성에 한정되지 않는다. 예를 들면, 신호 처리 유닛(ex507)이 CPU를 더 구비하는 구성이어도 된다. 신호 처리 유닛(ex507)의 내부에도 CPU를 설치함으로써, 처리 속도를 보다 향상시키는 것이 가능해진다. 또한, 다른 예로서, CPU(ex502)가 신호 처리 유닛(ex507), 또는 신호 처리 유닛(ex507)의 일부로 역할을 하며, 예를 들면 오디오 신호 처리 유닛을 구비하는 구성이어도 된다. 이러한 경우에는, 제어 유닛(ex501)은, 신호 처리 유닛(ex507) 또는 신호 처리 유닛(ex507)의 일부를 가지는 CPU(ex502)를 구비하는 구성이 된다.
또한, 여기에서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 불리기도 한다.
또한, 집적 회로화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 집적화를 실현해도 된다. LSI 제조 후에 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI의 접속이나 구성의 재구성을 허용하는 재구성 가능한 프로세서를 동일한 목적으로 이용해도 된다.
장래에, 반도체 기술의 진보로, 전혀 새로운 기술이 LSI를 대체할 수 있다. 기능 블록은 그러한 기술을 이용하여 집적할 수 있다. 본 발명은 바이오 기술에 적용될 가능성이 있다.
(실시예 7)
각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터를 복호할 경우, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거하는 비디오 데이터를 복호하는 경우에 비해, 처리량이 증가하는 것을 생각할 수 있다. 이 때문에, LSI(ex500)에 있어서, 종래의 표준에 준거하는 비디오 데이터를 복호할 때 사용될 CPU(ex502)의 구동 주파수보다도 높은 구동 주파수로 설정할 필요가 있다. 그러나 구동 주파수를 높게 하면, 소비 전력이 높아진다는 과제가 발생한다.
이 과제를 해결하기 위해서, 텔레비전(ex300), LSI(ex500) 등의 동화상 복호 장치는, 비디오 데이터가 어느 표준에 준거하는 것인지를 결정하고, 결정된 표준에 따라서 구동 주파수 사이에서 스위칭하는 구성으로 한다. 도 30은, 본 실시예에 있어서의 구성(ex800)을 나타내고 있다. 구동 주파수 스위칭 유닛(ex803)은, 비디오 데이터가, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것인 경우에는, 구동 주파수를 더 높은 구동 주파수로 설정한다. 그리고 구동 주파수 스위칭 유닛(ex803)은, 각 실시예에서 나타낸 동화상 복호 방법을 실행하는 복호 처리 유닛(ex801)에 대하여, 비디오 데이터를 복호하도록 지시한다. 한편, 비디오 데이터가, 종래의 표준에 준거하는 비디오 데이터인 경우에는, 구동 주파수 스위칭 유닛(ex803)은, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것인 경우에 비해, 구동 주파수를 더 낮은 구동 주파수로 설정한다. 그리고 구동 주파수 스위칭 유닛(ex803)은, 종래의 표준에 준거하는 복호 처리 유닛(ex802)에 대하여, 비디오 데이터를 복호하도록 지시한다.
더욱 구체적으로는, 구동 주파수 스위칭 유닛(ex803)은, 도 29의 CPU(ex502)와 구동 주파수 제어 유닛(ex512)으로 구성된다. 또한, 각 실시예에서 나타낸 동화상 복호 방법을 실행하는 복호 처리 유닛(ex801) 및 종래의 표준에 준거하는 복호 처리 유닛(ex802) 각각은 도 29의 신호 처리 유닛(ex507)에 해당한다. CPU(ex502)는, 비디오 데이터가 어느 표준에 준거하는 것인지를 결정한다. 그리고 CPU(ex502)로부터의 신호에 의거하여, 구동 주파수 제어 유닛(ex512)은 구동 주파수를 결정한다. 또한, CPU(ex502)로부터의 신호에 의거하여, 신호 처리 유닛(ex507)은, 비디오 데이터의 복호를 행한다. 비디오 데이터의 식별에는, 예컨대 실시예 5에서 기재한 식별 정보를 이용하는 것을 생각할 수 있다. 식별 정보에 관해서는 실시예 5에서 기재한 것에 한정되지 않고, 비디오 데이터가 어느 표준에 준거하는지 식별할 수 있는 정보이면 된다. 예를 들면, 비디오 데이터가 텔레비전에 이용되는 것인지, 디스크에 이용되는 것인지 등을 결정하기 위한 외부 신호에 의거하여, 비디오 데이터가 어느 표준에 준거하는 것인지 결정 가능한 경우에는, 이러한 외부 신호에 의거하여 결정해도 된다. 또한, CPU(ex502)에 있어서의 구동 주파수의 선택은, 예를 들면, 도 32와 같이 비디오 데이터의 표준과 구동 주파수를 대응시킨 룩 업 테이블에 의거하여 행하는 것을 생각할 수 있다. 룩 업 테이블을 버퍼(ex508)나, LSI의 내부 메모리에 저장해 두고, CPU(ex502)가 이 룩 업 테이블을 참조함으로써, 구동 주파수를 선택하는 것이 가능하다.
도 31은, 본 실시예의 방법을 실시하는 단계를 나타내고 있다. 먼저, 단계(exS200)에서는, 신호 처리 유닛(ex507)에 있어서, 다중화된 데이터로부터 식별 정보를 취득한다. 다음에, 단계(exS201)에서는, CPU(ex502)에 있어서, 식별 정보에 의거하여 비디오 데이터가 각 실시예에서 나타낸 부호화 방법 및 부호화 장치에 의해 생성된 것인지 여부를 결정한다. 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것인 경우에는, 단계(exS202)에 있어서, 구동 주파수를 더 높은 구동 주파수로 설정하는 신호를, CPU(ex502)가 구동 주파수 제어 유닛(ex512)에 보낸다. 그리고 구동 주파수 제어 유닛(ex512)이 구동 주파수를 더 높은 구동 주파수로 설정한다. 한편, 식별 정보가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거하는 비디오 데이터인 것을 나타내는 경우에는, 단계(exS203)에 있어서, 구동 주파수를 더 낮은 구동 주파수로 낮게 설정하는 신호를, CPU(ex502)가 구동 주파수 제어 유닛(ex512)에 보낸다. 그리고 구동 주파수 제어 유닛(ex512)은, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것인 경우에 비해, 더 낮은 구동 주파수로 구동 주파수를 설정한다.
또한, 구동 주파수의 스위칭에 연동하여, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 변경함으로써, 전력 절감 효과를 더욱 높이는 것이 가능하다. 예를 들면, 구동 주파수를 낮게 설정할 경우에는, 구동 주파수를 높게 설정하고 있는 경우에 비해, LSI(ex500) 또는 LSI(ex500)을 포함하는 장치에 부여하는 전압이 더 낮은 전압으로 아마도 설정하게 된다.
또한, 복호하기 위한 처리량이 더 클 경우에, 구동 주파수를 높게 설정하고, 복호하기 위한 처리량이 적은 경우에, 구동 주파수를 설정하는 방법으로서 구동 주파수는 더 낮게 설정될 수 있다. 따라서, 설정 방법은 상술된 것들로 한정되지 않는다. 예를 들면, MPEG-4 AVC에 준거하는 비디오 데이터를 복호하기 위한 처리량이 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 복호하기 위한 처리량보다도 클 경우에는, 구동 주파수는 상술한 설정과 역순으로 아마도 설정된다.
또한, 구동 주파수의 설정 방법은, 구동 주파수를 더 낮게 설정하는 방법에 한정되지 않는다. 예를 들면, 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성됨을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 아마도 더 높게 설정하게 된다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거하는 것을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 아마도 더 낮게 설정하게 된다. 다른 예로는, 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것을 나타내는 경우에는, CPU(ex502)의 구동을 아마도 정지시킬 필요는 없다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거함을 나타내는 경우에는, CPU(ex502)가 추가 처리 용량을 갖기 때문에, CPU(ex502)의 구동을 아마도 일시 정지시키게 된다. 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성됨을 나타내는 경우에도, CPU(ex502)가 추가 처리 용량을 갖는 경우에, CPU(ex502)의 구동을 아마도 일시 정지시키게 된다. 이 경우는, 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거하는 경우에서보다, 정지 시간을 아마도 더 짧게 설정시키게 된다.
이와 같이, 비디오 데이터가 준거하는 표준에 따라, 구동 주파수 사이에서 스위칭함으로써, 전력 절감화를 도모하는 것이 가능해진다. 또한, 배터리를 이용하여 LSI(ex500) 또는 LSI(ex500)을 포함하는 장치를 구동하고 있는 경우에는, 전력 절감화에 따라, 배터리의 수명을 길게 하는 것이 가능하다.
(실시예 8)
텔레비전 및 휴대폰 등의 상술한 기기 및 시스템에는, 상이한 표준에 준거하는 복수의 비디오 데이터가 제공되는 경우가 있다. 상이한 표준에 준거하는 복수의 비디오 데이터를 복호할 수 있기 위해서, LSI(ex500)의 신호 처리 유닛(ex507)이 상이한 표준에 준거할 필요가 있다. 그러나 각각의 표준에 준거하는 신호 처리 유닛(ex507)을 개별로 이용하면, LSI(ex500)의 회로 규모가 커지고, 또한, 비용이 증가한다는 과제가 발생한다.
이 과제를 해결하기 위해서, 각 실시예에서 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리 유닛과, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 준거하는 복호 처리 유닛을 일부 공유화하는 구성을 생각하게 된다. 이 구성의 예를 도 33a의 ex900에 도시한다. 예를 들면, 각 실시예에서 나타낸 동화상 복호 방법과, MPEG-4 AVC에 준거하는 동화상 복호 방법은, 엔트로피 부호화, 역양자화, 디블로킹 필터링 및 움직임 보상 예측 등의 처리에 있어서 처리 내용이 일부 공통된다. 공통되는 처리 내용에 대해서는, MPEG-4 AVC 표준에 준거하는 복호 처리 유닛(ex902)의 사용을 포함한다. 이와 대조적인 경우, 전용 복호 처리 유닛(ex901)이 본 발명의 양상에 고유한 다른 처리에 아마도 사용된다. 특히, 본 발명의 일 양상은 역양자화에 특징이 있으므로, 예를 들면, 역양자화에 대해서는 전용 복호 처리 유닛(ex901)을 이용한다. 그 외의 경우에, 복호 처리 유닛은 엔트로피 복호, 디블로킹 필터링 및 움직임 보상 중 하나 또는 모든 처리에 대해서 공유하게 된다. 각 실시예에 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리 유닛은 공유될 처리에 대해 공유될 수 있으며, 전용 복호 처리 유닛은 MPEG-4 AVC의 처리 유닛에 고유한 처리에 사용될 수 있다.
또한, 처리를 일부 공유화하는 다른 예를 도 33b의 ex1000에 나타낸다. 이 예에서는, 본 발명의 일 양상에 특유한 처리를 지원하는 전용의 복호 처리 유닛(ex1001)과, 다른 종래 표준에 특유한 처리를 지원하는 전용 복호 처리 유닛(ex1002)과, 본 발명의 일 양상에 관련된 동화상 복호 방법과 종래의 동화상 복호 방법 사이에서 공통되는 처리를 지원하는 복호 처리 유닛(ex1003)을 포함하는 구성을 이용한다. 여기에서, 전용 복호 처리 유닛(ex1001, ex1002)은, 반드시 본 발명의 일 양상에 따른 처리 및 종래 표준의 처리로 특화될 필요는 없으며, 범용 처리를 실행할 수 있는 것이어도 된다. 또한, 본 실시예의 구성을, LSI(ex500)로 실행하는 것도 가능하다.
이와 같이, 본 발명의 양상에 따른 동화상 복호 방법과 종래 표준에 준거하는 동화상 복호 방법 사이에서 공유되는 처리에 대해 복호 처리 유닛을 공유함으로써 LSI의 회로 규모를 감소시키는 것과 비용을 절약하는 것이 가능하다.
비록 본 발명의 개념의 하나 이상의 양상에 따른 이미지 부호화 장치와 이미지 복호 장치가 상술되었을지라도, 본 명세서에서 개시된 요지는 설명 및 예시용으로 간주된다. 당업자는, 수반하는 청구범위가 개시한 특정 실시예를 커버하며 포함할 뿐만 아니라 본 발명의 개념의 원리와 사상을 실질적으로 벗어나지 않고도 실시예에서의 여러 변경을 통해서 그리고 상이한 실시예에서의 구조적 요소를 임의로 조합함으로써 얻게 되는 등가의 구조, 방법 및/또는 이용을 커버하며 포함하고자 하는 범위이다.
본 명세서에서 개시한 하나 이상의 예시적인 실시예는 이미지 부호화 방법, 이미지 복호 방법, 이미지 부호화 장치 및 이미지 복호 장치에 적용될 수 있다. 본 개시의 하나 이상의 예시적인 실시예와 일치하는 이미지 부호화 방법, 이미지 복호 방법, 이미지 부호화 장치 및 이미지 복호 장치는, 텔레비전, 디지털 비디오 레코더, 카 네비게이션 시스템, 휴대폰, 디지털 카메라, 및 디지털 비디오 카메라를 포함하는 고해상도 정보 디스플레이 장치 및 이미징 장치에 이용될 수 있다.
200: 비디오 부호화 장치 201: 변환 유닛
202: 양자화 유닛 203: 역양자화 유닛
204: 역변환 유닛 205: 블록 메모리
206: 프레임 메모리 207: 인트라 예측 유닛
208: 인터 예측 유닛 209: 엔트로피 부호화 유닛
210: 프레임 메모리 제어 유닛 300: 비디오 복호 장치
301: 엔트로피 복호 유닛 302: 역양자화 유닛
303: 역변환 유닛 304: 블록 메모리
305: 프레임 메모리 306: 인트라 예측 유닛
307: 인터 예측 유닛 308: 프레임 메모리 제어 유닛

Claims (18)

  1. 부호화 스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하는 제1 파싱 유닛;
    상기 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위한 복수의 업데이팅 파라미터를 상기 부호화 스트림의 슬라이스 헤더로부터 파싱하는 제2 파싱 유닛; 및
    상기 슬라이스 헤더와 변경된 상기 버퍼 기재를 사용하여, 상기 부호화 스트림으로부터 슬라이스를 복호하는 복호 유닛을 포함하며,
    상기 업데이팅 파라미터는,
    버퍼 기재를 선택하기 위한 버퍼 기재 식별자;
    참조 픽처에 고유하게 대응하는 버퍼 요소로서, 선택된 상기 버퍼 기재 내의 버퍼 요소를 선택하기 위한 버퍼 요소 식별자; 및
    상기 선택된 버퍼 기재 내의 선택된 상기 버퍼 요소와 관련되는 고유한 참조 픽처를 재할당하기 위한 픽처 식별자를 포함하며,
    상기 복호 유닛은,
    상기 버퍼 기재 식별자에 의해 선택된 상기 버퍼 기재 내에서, 상기 픽처 식별자를 사용하여, 상기 버퍼 요소 식별자에 의해 선택된 상기 버퍼 요소와 관련되는 고유한 참조 픽처를 재할당하는, 복호 장치.
  2. 청구항 1에 있어서, 상기 슬라이스 헤더는, 선택된 버퍼 기재를 변경할지의 여부를 나타내는 플래그를 포함하며,
    선택된 버퍼 기재를 변경하지 않는다고 상기 플래그가 나타내는 경우, 상기 업데이팅 파라미터에 의해, 상기 복수의 버퍼 기재로부터 하나의 버퍼 기재가 선택되지만, 선택된 상기 버퍼 기재는 변경되지 않는, 복호 장치.
  3. 삭제
  4. 삭제
  5. 부호화 스트림의 시퀀스 파라미터 세트로부터 복수의 버퍼 기재를 파싱하는 제1 파싱 단계;
    상기 복수의 버퍼 기재로부터 하나의 버퍼 기재를 선택하여 변경하기 위한 복수의 업데이팅 파라미터를 상기 부호화 스트림의 슬라이스 헤더로부터 파싱하는 제2 파싱 단계; 및
    상기 슬라이스 헤더와 변경된 상기 버퍼 기재를 사용하여 상기 부호화 스트림으로부터 슬라이스를 복호하는 복호 단계를 포함하며,
    상기 업데이팅 파라미터는,
    버퍼 기재를 선택하기 위한 버퍼 기재 식별자;
    참조 픽처에 고유하게 대응하는 버퍼 요소로서, 선택된 상기 버퍼 기재 내의 버퍼 요소를 선택하기 위한 버퍼 요소 식별자; 및
    상기 선택된 버퍼 기재 내의 선택된 상기 버퍼 요소와 관련되는 고유한 참조 픽처를 재할당하기 위한 픽처 식별자를 포함하며,
    상기 복호 단계는,
    상기 버퍼 기재 식별자에 의해 선택된 상기 버퍼 기재 내에서, 상기 픽처 식별자를 사용하여, 상기 버퍼 요소 식별자에 의해 선택된 상기 버퍼 요소와 관련되는 고유한 참조 픽처를 재할당하는, 복호 방법.
  6. 미리 정해진 복수의 버퍼 기재를 부호화 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하는 제1 기록 단계와,
    상기 복수의 버퍼 기재 중에서 하나의 버퍼 기재를 선택하여 변경하기 위한 복수의 업데이팅 파라미터를 상기 부호화 비디오 비트스트림의 슬라이스 헤더에 기록하는 제2 기록 단계와,
    상기 슬라이스 헤더와 변경된 상기 버퍼 기재를 사용하여, 슬라이스를 부호화하여 상기 부호화 비디오 비트스트림을 생성하는 생성 단계를 포함하고,
    상기 업데이팅 파라미터는,
    버퍼 기재를 선택하기 위한 버퍼 기재 식별자와,
    참조 픽처에 고유하게 대응하는 버퍼 요소로서, 선택된 상기 버퍼 기재 내의 버퍼 요소를 선택하기 위한 버퍼 요소 식별자와,
    상기 선택된 버퍼 기재 내의 선택된 상기 버퍼 요소에 관련되는 고유한 참조 픽처를 재할당하기 위한 픽처 식별자를 포함하고,
    상기 생성 단계는,
    상기 버퍼 기재 식별자에 의해 선택된 상기 버퍼 기재 내에 있어서,
    상기 픽처 식별자를 사용하여, 상기 버퍼 요소 식별자에 의해 선택된 상기 버퍼 요소와 관련되는 고유한 참조 픽처를 재할당함으로써 상기 버퍼 기재를 변경하는,
    동화상 부호화 방법.
  7. 미리 정해진 복수의 버퍼 기재를 부호화 비디오 비트스트림의 시퀀스 파라미터 세트에 기록하는 제1 기록부와,
    상기 복수의 버퍼 기재 중에서 하나의 버퍼 기재를 선택하여 변경하기 위한 복수의 업데이팅 파라미터를 상기 부호화 비디오 비트스트림의 슬라이스 헤더에 기록하는 제2 기록부와,
    상기 슬라이스 헤더와 변경된 상기 버퍼 기재를 사용하여, 슬라이스를 부호화하여 상기 부호화 비디오 비트스트림을 생성하는 생성부를 구비하고,
    상기 업데이팅 파라미터는,
    버퍼 기재를 선택하기 위한 버퍼 기재 식별자와,
    참조 픽처에 고유하게 대응하는 버퍼 요소로서, 선택된 상기 버퍼 기재 내의 버퍼 요소를 선택하기 위한 버퍼 요소 식별자와,
    상기 선택된 버퍼 기재 내의 선택된 상기 버퍼 요소에 관련되는 고유한 참조 픽처를 재할당하기 위한 픽처 식별자를 포함하고,
    상기 생성부는,
    상기 버퍼 기재 식별자에 의해 선택된 상기 버퍼 기재 내에 있어서,
    상기 픽처 식별자를 사용하여, 상기 버퍼 요소 식별자에 의해 선택된 상기 버퍼 요소와 관련되는 고유한 참조 픽처를 재할당함으로써 상기 버퍼 기재를 변경하는,
    동화상 부호화 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020147004391A 2011-08-25 2012-08-24 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치 KR101790401B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161527267P 2011-08-25 2011-08-25
US61/527,267 2011-08-25
PCT/JP2012/005329 WO2013027417A1 (en) 2011-08-25 2012-08-24 Methods and apparatuses for encoding and decoding video using periodic buffer description

Publications (2)

Publication Number Publication Date
KR20140071335A KR20140071335A (ko) 2014-06-11
KR101790401B1 true KR101790401B1 (ko) 2017-10-25

Family

ID=47746176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004391A KR101790401B1 (ko) 2011-08-25 2012-08-24 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치

Country Status (10)

Country Link
US (9) US9900592B2 (ko)
EP (1) EP2749027B1 (ko)
JP (2) JP6008334B2 (ko)
KR (1) KR101790401B1 (ko)
CN (2) CN103843349B (ko)
CA (1) CA2845548C (ko)
ES (1) ES2800049T3 (ko)
MX (1) MX342314B (ko)
PL (1) PL2749027T3 (ko)
WO (1) WO2013027417A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416056A (zh) * 2011-03-10 2013-11-27 维德约股份有限公司 视频编码中的参数集维持
KR101790401B1 (ko) 2011-08-25 2017-10-25 선 페이턴트 트러스트 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
BR112013020486B1 (pt) * 2011-09-07 2022-07-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
IN2014CN02604A (ko) 2011-10-19 2015-08-07 Panasonic Corp
WO2015004924A1 (en) * 2013-07-10 2015-01-15 Sharp Kabushiki Kaisha Scaling list signaling and parameter sets activation
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
US10506244B2 (en) 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
CN105916011A (zh) * 2015-12-03 2016-08-31 乐视致新电子科技（天津）有限公司 视频实时播放方法及装置
EP3796659A4 (en) * 2018-05-15 2022-05-11 Sharp Kabushiki Kaisha IMAGE CODING DEVICE, CODED STREAM EXTRACTION DEVICE AND IMAGE DECODING DEVICE
US10812562B1 (en) * 2018-06-21 2020-10-20 Architecture Technology Corporation Bandwidth dependent media stream compression
US10862938B1 (en) 2018-06-21 2020-12-08 Architecture Technology Corporation Bandwidth-dependent media stream compression
AR121126A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización de elementos de sintaxis para indicación de imagen de referencia

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020885A1 (en) 2008-07-22 2010-01-28 International Business Machines Corporation Picture processing via a shared decoded picture pool
US20130215975A1 (en) 2011-06-30 2013-08-22 Jonatan Samuelsson Reference picture signaling

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095787B2 (en) 2001-11-29 2006-08-22 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
EP1479245A1 (en) 2002-01-23 2004-11-24 Nokia Corporation Grouping of image frames in video coding
JP4215197B2 (ja) 2002-04-12 2009-01-28 パナソニック株式会社 画像符号化方法および画像復号化方法
JP4724351B2 (ja) 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
CN100499788C (zh) 2003-01-09 2009-06-10 加利福尼亚大学董事会 视频编码设备
JP4593556B2 (ja) 2003-01-09 2010-12-08 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 映像符号化方法及びデバイス
US7380028B2 (en) 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
KR101136629B1 (ko) 2004-01-30 2012-04-23 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
ES2495391T3 (es) 2004-06-02 2014-09-17 Panasonic Corporation Aparato de codificación de imágenes y aparato de decodificación de imágenes
US20050276500A1 (en) 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
US20080019445A1 (en) 2004-09-13 2008-01-24 Tomoko Aono Image Coding Device, Image Decoding Device, Image Coding Program, And Image Decoding Program
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
US8615038B2 (en) 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
BRPI0710048A2 (pt) 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
CN101449585A (zh) 2006-03-30 2009-06-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN102761744B (zh) 2006-10-13 2015-10-28 汤姆逊许可公司 用于多视点视频编码的参考图像列表管理语法
JP2010507975A (ja) 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理
ZA200902051B (en) * 2006-10-24 2010-07-28 Thomson Licensing Picture management for multi-view video coding
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
JP4884290B2 (ja) 2007-05-07 2012-02-29 パナソニック株式会社 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
JP5197630B2 (ja) 2008-01-09 2013-05-15 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US8219778B2 (en) 2008-02-27 2012-07-10 Microchip Technology Incorporated Virtual memory interface
WO2009150808A1 (ja) 2008-06-10 2009-12-17 パナソニック株式会社 画像復号装置および画像符号化装置
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
EP2393296A1 (en) 2009-01-29 2011-12-07 Panasonic Corporation Image coding method and image decoding method
JP5332773B2 (ja) 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
JP2011082683A (ja) 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN102025992B (zh) 2010-11-23 2012-11-21 浙江大学 用于h.264视频解码***中帧间预测过程的参考图像管理方法
ES2718654T3 (es) 2011-02-22 2019-07-03 Sun Patent Trust Procedimiento de codificación de imagen, procedimiento de descodificación de imagen, dispositivo de codificación de imagen, dispositivo de descodificación de imagen y dispositivo de codificación / descodificación de imagen
US9247262B2 (en) * 2011-06-30 2016-01-26 Telefonaktiebolaget L M Ericsson (Publ) Absolute or explicit reference picture signaling
US9232233B2 (en) 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
KR101790401B1 (ko) 2011-08-25 2017-10-25 선 페이턴트 트러스트 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
BR112013020486B1 (pt) 2011-09-07 2022-07-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
JP5955391B2 (ja) 2011-09-29 2016-07-20 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 参照ピクチャリストの取り扱い
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
IN2014CN02604A (ko) 2011-10-19 2015-08-07 Panasonic Corp
CN107257481B (zh) 2011-10-27 2019-12-10 太阳专利托管公司 编码方法、解码方法、编码装置、解码装置
CN107071471B (zh) 2011-10-28 2020-04-07 太阳专利托管公司 图像编码方法及图像编码装置
RU2609083C2 (ru) 2011-10-28 2017-01-30 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US20130114687A1 (en) 2011-11-07 2013-05-09 Sharp Laboratories Of America, Inc. Fixed intra run-level mode for cavlc in hevc
US9432665B2 (en) 2011-12-02 2016-08-30 Qualcomm Incorporated Coding least significant bits of picture order count values identifying long-term reference pictures
WO2013105207A1 (en) 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
US9319679B2 (en) 2012-06-07 2016-04-19 Qualcomm Incorporated Signaling data for long term reference pictures for video coding
US9584825B2 (en) 2012-09-27 2017-02-28 Qualcomm Incorporated Long-term reference picture signaling in video coding
US9788007B2 (en) 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020885A1 (en) 2008-07-22 2010-01-28 International Business Machines Corporation Picture processing via a shared decoded picture pool
US20130215975A1 (en) 2011-06-30 2013-08-22 Jonatan Samuelsson Reference picture signaling

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al., ‘WD4: Working Draft 4 of High-Efficiency Video Coding’, (JCTVC-F803), JCT-VC of ITU-T SG16 WP3와 ISO/IEC JTC1/SC29/WG11, 6th Meeting: Torino, 2011.08.09.
Rickard Sjoberg, Jonatan Samuelsson, ‘Absolute signaling of reference pictures’, (JCTVC-F493), JCT-VC of ITU-T SG16 WP3와 ISO/IEC JTC1/SC29/WG11, 6th Meeting: Torino, 2011.07.18.

Also Published As

Publication number Publication date
US20200200057A1 (en) 2020-06-25
JP6210248B2 (ja) 2017-10-11
ES2800049T3 (es) 2020-12-23
WO2013027417A1 (en) 2013-02-28
US10428706B2 (en) 2019-10-01
US20140169450A1 (en) 2014-06-19
US10619537B2 (en) 2020-04-14
US10015488B2 (en) 2018-07-03
US10883398B2 (en) 2021-01-05
CN103843349A (zh) 2014-06-04
US20190153919A1 (en) 2019-05-23
US11891932B2 (en) 2024-02-06
CN107105302B (zh) 2019-12-10
MX2014001664A (es) 2014-03-21
US10247069B2 (en) 2019-04-02
JP2017022740A (ja) 2017-01-26
US20180124391A1 (en) 2018-05-03
CA2845548A1 (en) 2013-02-28
EP2749027A4 (en) 2015-01-21
MX342314B (es) 2016-09-26
EP2749027A1 (en) 2014-07-02
US20240102405A1 (en) 2024-03-28
US20220349325A1 (en) 2022-11-03
US20180306076A1 (en) 2018-10-25
KR20140071335A (ko) 2014-06-11
EP2749027B1 (en) 2020-04-29
PL2749027T3 (pl) 2020-10-19
US9900592B2 (en) 2018-02-20
CA2845548C (en) 2018-04-24
US11428129B2 (en) 2022-08-30
CN107105302A (zh) 2017-08-29
JP6008334B2 (ja) 2016-10-19
CN103843349B (zh) 2017-03-01
US20210071554A1 (en) 2021-03-11
JP2014527318A (ja) 2014-10-09
US20190368395A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6172485B2 (ja) 画像符号化方法及び画像符号化装置
JP6183630B2 (ja) 画像復号方法及び画像復号装置
KR101790401B1 (ko) 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
JP5855570B2 (ja) 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
KR102030205B1 (ko) 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
JP2017123681A (ja) 画像復号方法及び画像復号装置
JP2018164297A (ja) 復号方法、復号装置およびプログラム
JP6414712B2 (ja) 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
WO2012023281A1 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置
JP6489337B2 (ja) 算術復号方法および算術符号化方法
JP6483028B2 (ja) 画像符号化方法及び画像符号化装置
KR20130140133A (ko) 영상 부호화 방법 및 영상 복호 방법
WO2013073154A1 (ja) 符号化方法および復号方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant