KR20090037888A - 가상 참조 픽처를 사용하는 방법 및 장치 - Google Patents

가상 참조 픽처를 사용하는 방법 및 장치 Download PDF

Info

Publication number
KR20090037888A
KR20090037888A KR1020097000526A KR20097000526A KR20090037888A KR 20090037888 A KR20090037888 A KR 20090037888A KR 1020097000526 A KR1020097000526 A KR 1020097000526A KR 20097000526 A KR20097000526 A KR 20097000526A KR 20090037888 A KR20090037888 A KR 20090037888A
Authority
KR
South Korea
Prior art keywords
reference picture
picture
virtual reference
virtual
bitstream
Prior art date
Application number
KR1020097000526A
Other languages
English (en)
Other versions
KR101378185B1 (ko
Inventor
예핑 수
펭 인
퍼빈 빕하스 판디트
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38923830&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20090037888(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090037888A publication Critical patent/KR20090037888A/ko
Application granted granted Critical
Publication of KR101378185B1 publication Critical patent/KR101378185B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

가상 참조 픽처를 사용하는 방법 및 장치가 제공된다. 이 장치는 적어도 하나의 가상 참조 픽처를 사용하여 적어도 하나의 픽처를 인코딩하여 최종 비트스트림을 형성하는 인코더(100)를 포함한다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
비트스트림, 인코더, 디코더, 가상 참조 픽처, 인코딩, 디코딩

Description

가상 참조 픽처를 사용하는 방법 및 장치{METHODS AND APPARATUS USING VIRTUAL REFERENCE PICTURES}
관련 출원에 대한 상호 참조
본 출원은 본 명세서에 참조로서 전체적으로 결합되고, 2006년 7월 11일에 출원된 미국 가출원 제60/830,195호의 우선권을 주장한다.
본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 특히 가상 참조 픽처(virtual reference pictures)를 이용하는 방법 및 장치에 관한 것이다.
ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고(이후로부터 "MPEG-4 AVC 표준")와 같은 기존 비디오 압축 시스템 및 표준에서, 이전에 재구성/디코딩된 픽처가 장래 픽처에 대한 참조로서 사용되는 반면에, 모션(motion) 추정 및 보상이 이들 픽처들간의 임의 모션 활동을 보상하기 위하여 사용된다. MVC(Multi-view Video Coding)에서, 이웃한 부로부터 재구성/디코딩된 픽처가 또한 예측 소스로서 사용될 수 있고, 변 이 추정(disparity estimation) 및 보상이 관련된다.
예를 들면 MPEG-4 AVC 표준에서 가중치 예측 및 종래기술인 적응형 참조 생성 기법과 같은 소정 처리가 디코딩 픽처에 적용되는 경우에, 예측이 향상될 수 있는 경우가 있다. 디코딩된 픽처를 처리함으로써, 예측 신호 품질은 향상될 수 있고, 따라서 코딩 효율성이 개선될 수 있다. 가중치 예측의 경우에, 현 픽처와 디코딩된 픽처 간의 글로벌 조명 미스매칭을 다룬다. 적응형 참조 생성의 경우, 적응형 참조 생성은 보다 관련된 참조 신호를 공급하기 위하여 상이한 유형의 노이즈를 억제할 수 있다.
종래기술의 상기 및 다른 단점 및 불리한 점은 가상 참조 픽처를 사용한 방법 및 장치에 관한 본 발명 원리에 의해 다루어진다.
본 발명 원리의 양상에 따른 장치가 제공된다. 이 장치는 적어도 하나의 가상 참조 픽처를 사용하여 적어도 하나의 픽처를 인코딩하여 최종 비트스트림을 형성하는 인코더를 포함한다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
본 발명 원리의 다른 양상에 따른 방법이 제공된다. 이 방법은 적어도 하나의 가상 참조 픽처를 사용하여 적어도 하나의 픽처를 인코딩하여 최종 비트스트림을 형성하는 단계를 포함한다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
본 발명 원리의 또 다른 양상에 따른 장치가 제공된다. 이 장치는 비트스트림으로부터, 적어도 하나의 가상 참조 픽처를 사용하여, 적어도 하나의 픽처를 디코딩하기 위한 디코더(decoder)를 포함한다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
본 발명 원리의 또 다른 양상에 따른 방법이 제공된다. 이 방법은 비트스트림으로부터, 적어도 하나의 가상 참조 픽처를 사용하여, 적어도 하나의 픽처를 디코딩하는 단계를 포함한다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
본 발명 원리의 상기 및 다른 양상, 특징 및 장점들은 첨부 도면과 함께 판독되는 대표적 실시예의 후속된 상세 설명으로부터 명백해질 것이다.
본 발명 원리는 다음의 대표적 도면과 함께 보다 잘 이해될 수 있다.
도 1은 본 발명 원리의 실시에에 따라, 본 발명 원리를 적용할 수 있는 가상 참조 픽처를 지원하는 대표적 비디오 인코더의 블록도.
도 2는 본 발명 원리의 실시예에 따라, 본 발명 원리를 적용할 수 있는 가상 참조 픽처를 지원하는 대표적 비디오 디코더의 블록도.
도 3은 본 발명 원리의 실시예에 따라, DPB(Decoded Picture Buffer)에서 VRP(Virtual Reference Picture) 관리를 사용하여 비디오 콘텐츠를 인코딩하기 위한 대표적인 방법의 흐름도.
도 4는 본 발명 원리의 실시예에 따라, DPB에서 VRP 관리를 사용하여 비디오 콘텐츠를 디코딩하기 위한 대표적인 방법의 흐름도.
도 5는 본 발명 원리의 실시예에 따라, 로컬 메모리에서 VRP 관리를 사용하여 비디오 콘텐츠를 인코딩하기 위한 대표적인 방법의 흐름도.
도 6은 본 발명의 원리의 실시예에 따라, 로컬 메모리에서 VRP 관리를 사용하여 비디오 콘텐츠를 디코딩하기 위한 대표적인 방법의 흐름도.
본 발명 원리는 가상 참조 픽처를 사용하는 방법 및 장치에 관한 것이다.
본 설명은 본 발명 원리를 기술한다. 따라서 당업자는 여기에 명확히 기술 또는 도시되지 않을 지라도 본 발명 원리를 구현하고 그의 사상 및 범주내에 포함되는 다양한 배치를 고안할 수 있을 것이라는 것을 알 것이다.
본 명세서에서 열거되는 모든 예 및 조건적 언어는 본 발명 원리 및 발명자가 기여한 개념의 이해를 돕기 위한 교육상 목적을 위한 것이며, 이러한 특별히 열거된 예 및 조건으로 제한되지 않고서도 구성될 것이다.
또한 본 명세서에서 본 발명 원리의 실시예, 양상 및 원리를 열거하는 모든 진술뿐만 아니라 이의 특정 예는 구조 및 기능상 등가물의 모두를 포함하려 한다. 또한 이것은 이러한 등가물이 현재 알려진 등가물뿐만 아니라 장래에 개발되는 등가물, 즉 구조에 관계없이 동일 기능을 수행하도록 개발된 임의 요소를 포함한다는 것을 의미한다.
따라서 예를 들면, 당업자는 여기에 제시된 블록도가 본 발명 원리를 구현하는 설명적 회로의 개념 뷰를 나타낸다는 것을 알 것이다. 유사하게, 이러한 컴퓨터 또는 프로세서가 명백히 도시되든 아니든지, 임의 흐름도, 상태 천이도, 의사코 드(pseudocode)등은 컴퓨터 판독가능 매체에 사실상 제공될 수 있으며 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 처리를 나타낸다.
도면에 도시된 다양한 요소의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어를 사용하여 제공될 수 있다. 기능이 프로세서에 의해 제공될 때, 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 일부가 공유될 수 있는 다수의 개별 프로세서에 의해 제공될 수 있다. 또한 용어 "프로세서" 또는 "제어기"의 명시적 사용이 오로지 소프트웨어를 실행할 수 있는 하드웨어만을 언급하도록 구성되어서는 않되며, 제한없이 DSP(digital signal processor) 하드웨어, 소프트웨어를 저장하기 위한 ROM(read only memory), RAM(random access memory) 및 비휘발성 저장소를 잠재적으로 포함할 수 있다.
통상적 및/또는 주문형인 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면에 도시된 임의 스위치는 단지 개념적이다. 그들 기능은 프로그램 논리부의 동작을 통해, 전용 논리부를 통해, 프로그램 제어와 전용 논리부의 상호작용을 통해, 심지어 수동으로, 문맥으로부터 보다 명확히 이해되도록 구현자에 의해 선택가능한 특정 기법을 통해 수행될 수 있다.
청구범위에서, 특정 기능을 수행하기 위한 수단으로 표현된 임의 요소는 예를 들면, 가) 기능을 수행하는 회로 요소의 결합, 또는 나) 기능을 수행하기 위해 소프트웨어를 실행하는 적절한 회로와 결합한, 펌웨어, 마이크로코드(microcode) 등을 포함한, 임의 형태의 소프트웨어를 포함한 기능을 수행하는 임의 방식을 포함 하려는 것이다. 이러한 청구범위에 의해 정의되는 본 발명 원리는 열거된 다양한 수단에 의해 제공되는 기능성이 결합되고 청구되는 방식으로 함께 수행된다는 점에 있다. 따라서 이들 기능성을 제공할 수 있는 임의 수단은 여기에 도시된 바에 상당한다.
명세서에서 본 발명 원리의 "일 실시예' 또는 "한 실시예"에 대한 참조는 실시예와 함께 기술되는 특정 특징, 구조, 특성등이 본 발명 원리의 적어도 한 실시예에 포함된다. 따라서 명세서를 통한 다양한 위치에 나타나는 구 "일 실시예에서" 또는 "한 실시예에서"의 양상 모두가 동일 실시예를 참조할 필요는 없다.
본 명세서에서 사용되는 바와 같이, "고레벨 신택스(high level syntax)"는 계층적으로 매크로블록층 위에 존재하는 비트스트림에 제공되는 신택스를 언급한다. 예를 들면 여기에 사용되는 고레벨 신택스는 슬라이스 헤더 레벨(slice header level), SEI(Supplemental Enhancement Information) 레벨, 픽처 파라미터 세트 레벨, 시퀀스 파라미터 세트 레벨, 그리고 NAl 유닛 헤더 레벨에서의 신택스를 언급하지만, 이로 제한되지는 않다.
도 1을 참조하면, 본 발명 원리가 적용될 수 있는 가상 참조 픽처를 지원하는 대표적인 비디오 인코더가 참조번호(100)에 의해 일반적으로 표시된다.
비디오 인코더(100)로의 입력은 결합기(110)의 비반전 입력 및 ME(motion estimator)(180)의 제1 입력과 신호통신으로 연결된다. 결합기(110)의 출력은 DCT(discrete cosine transformer)(120)의 입력과 신호통신으로 연결된다. DCT(120)의 출력은 양자화기(quantizer)(130)의 입력과 신호통신으로 연결된다. 양자화기(130)의 출력은 VLC(variable length coder)(140)의 입력과 역양자화기(150)의 입력과 신호통신으로 연결된다. VLC(140)의 출력은 인코더(100)의 출력으로서 사용가능하다.
역양자화기(150)의 출력은 IDCT(inverse-DCT)(155)의 입력과 신호통신으로 연결된다. IDCT(155)의 출력은 결합기(165)의 제1 비반전 입력과 신호통신으로 연결된다. 결합기(165)의 출력은 루프 필터(160)의 입력과 신호통신으로 연결된다. 루프 필터(160)의 출력은 DPB(Decoded Picture Buffer)(175)의 입력과 신호통신으로 연결된다. DPB(175)의 제1 출력은 가상 참조 픽처 버퍼(170)의 입력과 신호통신으로 연결된다.
스위치(195)의 출력은 ME(Motion Estimator)(180)의 입력과 MC(Motion Compensator)(190)의 제2 입력과 신호통신으로 연결된다. 스위치(195)의 입력은 가상 참조 픽처 버퍼(170)의 출력 또는 DPB(175)의 제2 출력과 신호통신으로 연결된다. ME(180)의 출력은 MC(190)의 제1 입력과 신호통신으로 연결된다. MC(190)의 출력은 결합기(165)의 제2 비반전 입력과 결합기(110)의 반전 입력과 신호통신으로 연결된다.
도 2를 참조하면, 본 발명 원리가 적용될 수 있는 가상 참조 픽처를 지원하는 대표적인 비디오 디코더가 참조번호(200)에 의해 일반적으로 표시된다.
비디오 디코더(200)는 비트스트림을 수신하기 위한 가변 길이 디코더(210)를 포함한다. 가변 길이 디코더(210)의 제1 출력은 MC(260)의 제1 입력과 신호통신으로 연결된다. 가변 길이 디코더(210)의 제2 출력은 역양자화기(220)의 입력과 신 호통신으로 연결된다. 역양자화기(220)의 출력은 IDCT(230)의 입력과 신호통신으로 연결된다. IDCT의 출력은 결합기(240)의 제1 비반전 입력과 신호통신으로 연결된다. 결합기(240)의 출력은 루프 필터(290)의 입력과 신호통신으로 연결된다. 루프 필터(290)의 출력은 디코딩된 픽처 버퍼(250)의 입력과 신호통신으로 연결된다. 디코딩된 픽처 버퍼(250)의 제1 출력은 가상 참조 픽처 버퍼(255)의 입력과 신호통신으로 연결된다. 디코딩된 픽처 버퍼(250)의 제2 출력은 디코더(200)의 출력으로서 사용가능하다.
스위치(265)의 출력은 MC(260)의 제2 입력과 신호통신으로 연결된다. MC(260)의 출력은 결합기(240)의 제2 비반전 입력과 신호통신으로 연결된다.
스위치(265)의 입력은 가상 참조 픽처 버퍼(255)의 출력 또는 디코딩된 픽처 버퍼(250)의 제2 출력과 전기 통신하도록 연결된다.
디코딩된 픽처 버퍼(250)는 장기(long-term) 메모리 부분(250A) 및 단기(short-term) 메모리 부분(250B)을 포함한다.
본 발명 원리에 따라서, 비디오 인코더 및/또는 비디오 디코더에서 VRP의 관리를 위한 방법 및 장치가 제공된다. 실시예에서, 가상 참조 픽처는 이미 디코딩된 픽처로부터 생성되고, 디스플레이를 위해 요구되지는 않는다. 실시예에서, 가상 참조 픽처는 예측을 위해 이용될 수 있지만, 디스플레이를 위해 요구되지는 않는다. 실시예에서, 비디오 인코더 및/또는 디코더에서 VRP를 사용시에 구현을 위해 다음의 하나 이상의 요소를 사용한다: 신택스 지원, VRP를 위한 저장/메모리 모델, 및 예측 루프에서 VRP를 포함한 표준 절차.
제한이 아닌 설명을 위하여, 제안된 관리 방법 및 장치의 소정 잠재적 애플리케이션은 필터링된 참조 예측, 참조 와핑(reference warping), MVC(Multi-view Video Coding)에서 뷰 보간 예측(view interpolated prediction), 그리고 생성된 가상 참조를 포함한 다른 방법을 포함한다. 디코딩된 픽처상에 적용된 처리 유형에 따라, 로컬 원리로 처리된 참조 신호를 얻는 것이 불가능하거나 또는 불편할 수 있다. IIR(Infinite Impulse Response) 필터링 및 픽처 와핑이 이러한 두 예이며, 여기서 블록 원리 대신에 프레임 원리로 처리를 적용하는 것이 낫다. 또 다른 예는 뷰 합성 예측이다(view synthesis prediction). MVC에서, 인접한 카메라 뷰들간의 리던던시(redundancy)는 뷰 합성을 통해 활용될 수 있다. 뷰 합성 픽처는 카메라 파라미터 및/또는 깊이 정보를 사용하여 이웃한 뷰 픽처를 와핑 및 혼합(blending)함으로써 생성될 수 있다. 합성 픽처는 변이 보상 예측과 비교하여 보다 양호한 예측 소스를 제공할 수 있는, 현 뷰 픽처 예측을 위한 참조 픽처로서 사용될 수 있다. VRP의 개념이 또한 시나리오에 적용될 수 있다는 것을 주목해야 하며, 여기서 처리는 예를 들면 샘플 가중치 또는 FIR(Finite Impulse Response) 필터링의 경우에서와 같이 로컬로 행해질 수 있다는 것을 알아야 한다.
적응형 참조 생성의 개념이 이전에 제안되었고, 필터링된 참조 픽처의 특별 경우로서 가중치 예측이 MPEG-4 AVC 표준에 채택되었지만, 생성된 가상 참조 픽처를 관리하기 위한 종래 기술은 알려진 것이 없다는 점을 알 것이다. 이전에 제안된 방법에서, 생성된 참조 관리는 보상 처리시에 인코딩/디코딩된 픽처를 단순히 처리/필터링함으로써 처리될 수 있다. 환언하면, 이전 접근방안에서는 완전한 생 성된 참조 픽처가 필요없었다. 종래기술에서는 완전히 생성된 참조 픽처를 관리하는 방법이 없다.
본 발명 원리를 사용하는 실시예는 다음의 양상, 여기에 상세히 더 후술되는 하나 이상의 다음 양상을 포함할 수 있다: 가상 참조 픽처의 시그널링, 가상 참조 픽처를 위한 메모리 관리, 예측시에 가상으로 생성된 프레임 사용.
가상 참조 픽처의 시그널링
저장 및 참조라는 점에서 볼 때, 이들 픽처 관리시에 이어서 사용될 수 있는 생성된 참조 픽처를 시그널링하는 융통성있는 방식을 지원하는 것이 바람직하다. 이를 위하여, 일 실시예에서는 다음 신택스를 제안한다.
실시예에서, VRP가 이네이블(enable)이든지 아니든지 시퀀스 레벨에서 시그널링한다. 이것은 예를 들면 고레벨 신택스 vrp_present_flag를 도입함으로써 구현될 수 있다.
실시예에서, 제공되는 가상 참조의 수 및 이를 생성하기 위한 방법을 픽처 레벨에서 시그널링한다. 예를 들면, 실시예의 일 구현에서, 가상 참조 픽처의 생성시에 요구되는 파라미터 사용은 각 인코딩된 픽처를 위한 신택스에 제공될 것이다. 가능한 MPEG-4 AVC 표준기반 구현의 경우, 슬라이스 헤더 신택스 num_vrps가 도입될 수 있다. 그러면 각 가상 참조 픽처에는 가상 참조 픽처 파라미터 신택스가 슬라이드 헤더에 나타나는 순서에 대응한 vrp_id가 배정될 것이다. 각 가상 참조 픽처의 생성을 위한 파라미터는 정확한 생성 방법에 의존할 것이다. MVC시에 뷰 합성 예측 예에서, 카메라 파라미터 및 깊이 정보가 포함될 수 있다. 정규 비 디오 코딩에서 와핑 참조 예에서, (예를 들면 동형이의어 행렬 요소와 같은) 와핑 파라미터가 시그널링될 수 있다. 적응형 참조 필터링 경우에 보다 상세한 예는 FIR 필터 계수를 시그널링하는 것으로, 여기서 분리할 수 없는 2차원 필터가 적용될 경우에 n2을 양자화 및 전송할 필요가 있을 것이다.
가상 참조 픽처를 위한 메모리 관리
가상 참조 픽처를 생성하고 인코디 및 디코더의 모두에 저장할 필요가 있으므로, 관련된 저장 메모리를 고려해야 한다. 가상 참조 픽처를 위한 메모리 관리 모델을 제공하는 몇가지 접근방안이 있다: (1) 생성된 가상 참조 픽처를 디코딩된 픽처 버퍼에 저장하는 제1 접근방안, (2) 현 프레임의 인코딩/디코딩 동안에만 단지 유효한 임시 생성된 픽처 버퍼에 가상 생성된 프레임을 저장하는 제2 접근방안.
전술한 제1 접근방안에 따른 메모리 관리 모델의 제공에 관련하여, 가상 참조 픽처는 현 픽처의 인코딩/디코딩을 위해서만 필요하므로, 디코딩된 픽처 버퍼 삽입 및 삭제 처리를 적절히 정의해야 한다. 일 가능한 구현에서, 생성된 참조 픽처는 참조 리스트가 구성되기 전에 디코딩된 픽처에 삽입될 것이고, 현 프레임의 인코딩/디코딩이 종료된 후에 즉시 제거될 것이다.
가상 참조 픽처가 디코딩 픽처 버퍼에 저장될 때 비가상(non-virtual) 디코딩 픽처와 식별할 필요가 있을 것이며, MPEG-4 AVC-기반 구현에서 행할 수 있는 몇가지 선택사양이 있다. 비가상 참조 픽처로부터 디코딩 픽처 버퍼에 저장된 가상 참조 픽처를 식별하기 위한 몇몇 대표적인 옵션은 다음을 포함한다: (1)가상 참조 픽처를 단기 참조 픽처로서 저장하고, 미사용 frame_num/picture_order_count를 사용, (2) 가상 참조 픽처를 장기 참조 픽처로서 저장하고, 장기 메모리에서 미사용 longterm_id를 사용, (3) 가상 참조 픽처는 특성상 이전 디코딩 픽처와 상이하므로, 가상 참조 픽처의 저장을 위해 디코딩 픽처 버퍼에 전용 메모리 슬롯을 할당할 수 있다. 이 VRP 메모리에서, 가상 참조 픽처는 각 가상 참조 픽처에 고유한 그들의 vrp_id에 의해 식별될 것이다.
현 프레임의 인코딩/디코딩 동안에만 유효한 임시 생성된 픽처 버퍼에 가상 생성된 프레임을 저장함으로써 전술한 제2 접근방안에 따른 메모리 관리 모델을 제공하는 것에 관련하여, 이 임시 생성된 픽처 버퍼는 모든 가상 생성된 픽처를 저장할 수 있을 것이다. 가상 참조 픽처는 각 가상 참조 픽처에 고유한 그들의 vrp_id에 의해 식별될 것이다.
예측시에 가상 생성된 프레임 사용
현 픽처의 예측을 위해 가상 생성 픽처를 참조할 수 있도록 허용하기 위하여, 예측 처리시에 가상 참조 픽처를 포함하는 융통성있는 방식을 허용할 필요가 있다. 본 발명 원리에 따라서, 본 명세서에서 제공되는 본 발명 원리의 개시 내용이 주어질 때, 당업자는 본 발명의 범주를 유지하면서 예측 처리시에 가상 참조 픽처를 포함하는 상기 및 다른 방식을 고려할 지라도, 이를 성취하기 위한 대표적인 두 실시예를 제안한다.
예측 처리시에 가상 참조 픽처를 포함하는 일 실시예에서, 가상 참조 픽처를 직접 참조한다. 이 방법에서, reference_vrp_id 신택스가 예측 처리시에 사용된 다. 이를 행함으로써, 통상적 참조 리스트를 건드리지 않을 것이며, VRP가 예측에 간여할 때에만 신택스 reference_vrp_id만을 제공한다.
예측 처리시에 가상 참조 픽처를 포함하기 위한 또 다른 실시예에서, 참조 리스트를 통해 가상 참조 픽처를 참조한다. 따라서 디폴트 참조 리스트 마킹 처리는 가상 참조 픽처가 제공될 경우에 이를 포함하도록 변형될 수 있고, 참조 리스트의 구성을 지원하기 위한 일반적 RPLR(Reference Picture List Reordering) 커맨드를 사용할 수 있거나, 혹은 VRP 특정적 RPLR 커맨드가 참조 리스트의 구성을 지원하기 위해 정의될 수 있다. 특히, VRP 전용 슬롯이 디코딩된 픽처 버퍼에 할당되거나 또는 임시 VRP 버퍼가 사용된다면, VRP 특정적 RPLR 커맨드가 도입되어, 구성중에 reference_vrp_id에 의해 표시되는 가상 참조 픽처를 참조 리스트에 배치시킬 것이다. 또한 각 참조 인덱스에 대해 가상 참조 픽처를 참조여부를 시그널링할 슬라이스 헤더에 부가적인 신택스 요소를 도입할 수 있다. 그러한 경우, 관련 reference_vrp_id를 사용하여 동일하게 시그널링할 수 있다. 이 방법에서, 일반적 RPLR 커맨드는 상이한 참조 인덱스로 하여금 디코딩된 픽처 버퍼에서 동일 디코딩된 픽처를 참조할 수 있도록 허용하는 데 사용될 수 있으므로, 새로운 VRP 특정적 RPLR 커맨드를 도입할 필요가 없다. 그 후, reference_vrp_id를 통해, 참조 픽처가 원 디코딩된 참조 픽처인지, 또는 디코딩된 참조 픽처로부터 생성된 가상 참조 픽처인지를 시그널링할 수 있다.
도 3을 참조하면, 디코딩된 픽처 버퍼(DPB)(Decoded Picture Buffer)에서 VRP 관리를 사용하여 비디오 콘텐츠를 인코딩하기 위한 대표적인 방법이 참조번 호(300)에 의해 일반적으로 표시된다. 방법(300)은 기능블록(310)으로 제어를 넘기는 시작블록(305)를 포함한다. 기능블록(310)은 vrp_present_flag를 0으로 설정하고, 제어를 결정블록(315)으로 넘긴다. 결정블록(315)은 VRP가 이네이블되는지의 여부를 결정한다. 만약 이네이블된다면, 제어는 기능블록(320)으로 넘어간다. 만약 이네이블되지 않는다면, 제어는 기능블록(370)으로 넘어간다.
기능블록(320)은 vrp_present_flag를 1과 동일하게 설정하고, 제어를 기능블록(325)로 넘긴다. 기능블록(325)은 num_vrps 및 VRP 파라미터 신택스를 설정하고, 제어를 기능블록(330)으로 넘긴다. 기능블록(330)은 VRP 생성을 수행하여 하나 이상의 VRP를 생성하고(이후로부터 "VRP"), 그리고 기능블록(335)으로 제어를 넘긴다. 기능블록(335)은 DPB에 VRP를 삽입하고, frame_num/Picture Order Count 또는 long_term_frame_idx 또는 vrp_id를 설정하고, 그리고 제어를 기능블록(340)으로 넘긴다. 기능블록(340)은 참조 리스트 구성에 VRP를 포함하고, 제어를 기능블록(345)으로 넘긴다. 기능블록(345)은 참조 리스트 재배열에 VRP를 포함하고, 제어를 기능블록(350)으로 넘긴다. 기능블록(350)은 고레벨 신택스를 비트스트림으로 기록하고, 제어를 기능블록(355)으로 넘긴다. 기능블록(355)은 현 픽처를 인코딩하고, VRP가 제공되는 경우에 ref_idx에 의해 VRP를 참조하고, 제어를 기능블록(360)으로 넘긴다. 기능블록(360)은 DPB로부터 VRP를 제거하고, 제어를 기능블록(365)으로 넘긴다. 기능블록(365)은 저레벨 신택스를 비트스트림으로 기록하고, 제어를 종료블록(399)으로 넘긴다.
기능블록(370)은 VRP 없이 참조 리스트 구성을 수행하고, 제어를 기능블 록(350)으로 제어를 넘긴다.
도 4를 참조하면, DPB에 VRP 관리를 사용하여 비디오 콘텐츠를 디코딩하기 위한 대표적인 방법이 참조번호(400)에 의해 일반적으로 표시된다. 방법(400)은 기능블록(410)으로 제어를 넘기는 시작블록(405)을 포함한다. 기능블록(410)은 예를 들면 vrp_present_flag, num_vrps 및 다른 VRP 파라미터 신택스를 포함한 비티스트림으로부터 고레벨 신택스를 판독하고, 제어를 결정블록(415)으로 넘긴다. 결정블록(415)은 vrp_present_flag가 1과 동일한지 아닌지를 결정한다. 동일하다면, 제어는 기능블록(420)으로 넘어간다. 동일하지 않으면, 제어는 기능블록(460)으로 넘어간다.
기능블록(420)은 VRP 파라미터를 디코딩하고, 제어를 기능블록(425)으로 넘긴다. 기능블록(425)은 하나 이상의 VRP(이후로부터 "VRP")를 생성하기 위해 VRP생성을 수행하고, 제어를 기능블록(430)으로 넘긴다. 기능블록(430)은 VRP를 DPB에 삽입하고, frame_num/Picture Order Count 또는 long_term_frame_idx 또는 vrp_id를 설정하고, 제어를 기능블록(435)으로 넘긴다. 기능블록(435)은 디폴트 참조 리스트 구성에 VRP를 포함하고, 제어를 기능블록(440)으로 넘긴다. 기능블록(440)은 참조 리스트 재배열에 VRP를 포함하고, 제어를 기능블록(445)으로 넘긴다. 기능블록(445)은 비트스트림으로부터 저레벨 신택스를 판독하고, 제어를 기능블록(450)으로 넘긴다. 기능블록(450)은 현 픽처를 디코딩하고, VRP가 제공되면 ref_idx에 의해 VRP를 참조하고, 제어를 기능블록(455)으로 넘긴다. 기능블록(455)은 DPB로부터 VRP를 제거하고, 제어를 종료블록(499)으로 넘긴다.
기능블록(460)은 VRP 없이 참조 리스트 구성을 수행하고, 제어를 기능블록(445)으로 넘긴다.
도 5를 참조하면, 로컬 메모리에서 VRP를 사용하여 비디오 콘텐츠를 인코딩하기 위한 대표적인 방법이 참조번호(500)에 의해 일반적으로 표시된다. 방법(500)은 제어를 기능블록(510)으로 넘기는 시작블록(505)을 포함한다. 기능블록(510)은 vrp_present_flag를 0으로 설정하고, 제어를 판정블록(515)으로 넘긴다. 판정블록(515)은 VRP가 이네이블되는지의 여부를 결정한다. 이네이블된다면, 제어는 기능블록(520)으로 넘어간다. 이네이블되지 않는다면, 제어는 기능블록(540)으로 넘어간다.
기능블록(520)은 vrp_present_flag가 1이 되도록 설정하고, 제어를 기능블록(525)로 넘어간다. 기능블록(525)은 num_vrps 및 VRP 파라미터 신택스를 설정하고, 제어를 기능블록(530)으로 넘긴다. 기능블록(530)은 하나 이상의 VRP(이후로부터 "VRP")를 생성하기 위해 VRP 생성을 수행하고, 제어를 기능블록(535)으로 넘긴다. 기능블록(535)은 로컬 메모리에 VRP를 저장하고, vrp_id를 설정하고, 제어를 기능블록(540)으로 넘긴다. 기능블록(540)은 VRP 없이 참조 리스트 구성을 수행하고, 제어를 기능블록(545)을 넘긴다. 기능블록(545)은 고레벨 신택스를 비트스트림으로 기록하고, 제어를 기능블록(550)으로 넘긴다. 기능블록(550)은 현 픽처를 인코딩하고, VRP가 제공되는 경우에 vrp_id에 의해 VRP를 참조하고, 제어를 기능블록(555)으로 넘긴다. 기능블록(555)은 VRP를 위해 할당된 메모리를 해제하고, 제어를 기능블록(560)으로 넘긴다. 기능블록(560)은 저레벨 신택스를 비트스 트림으로 기록하고, 제어를 종료블록(599)으로 넘긴다.
도 6을 참조하면, 로컬 메모리에서 VRP를 사용하여 비디오 콘텐츠를 디코딩하기 위한 대표적인 방법이 참조번호(600)에 의해 일반적으로 표시된다. 방법(600)은 기능블록(610)으로 제어를 넘기는 시작블록(605)을 포함한다. 기능블록(610)은 예를 들면 vrp_present_flag, num_vrps 및 다른 VRP 파라미터 신택스를 포함한, 비트스트림으로부터 고레벨 신택스를 판독하고, 제어를 판정블록(620)으로 넘긴다. 판정블록(620)은 vrp_present_flag가 1과 동일한지의 여부를 결정한다. 만약 동일하다면, 제어는 기능블록(625)으로 넘어간다. 만약 동일하지 않다면, 제어는 기능블록(645)로 넘어간다.
기능블록(625)은 VRP 파라미터를 디코딩하고, 제어를 기능블록(630)으로 넘긴다. 기능블록(630)은 하나 이상의 VRP(이후로부터 "VRP")를 생성하기 위해 VRP 생성을 수행하고, 제어를 기능블록(640)으로 넘긴다. 기능블록(640)은 로컬 메모리에 VRP를 저장하고, vrp_id를 설정하고, 제어를 기능블록(645)으로 넘긴다. 기능블록(645)은 VRP 없이 참조 리스트 구성을 수행하고, 제어를 기능블록(650)으로 넘긴다. 기능블록(650)은 비트스트림으로부터 저레벨 신택스를 판독하고, 제어를 기능블록(660)으로 넘긴다. 기능블록(660)은 현 픽처를 디코딩하고, VRP가 제공되는 경우에 vrp_id에 의해 VRP를 참조하고, 제어를 기능블록(665)으로 넘긴다. 기능블록(665)은 VRP를 위해 할당된 메모리를 해제하고, 제어를 기능블록(670)으로 넘긴다. 기능블록(670)은 DPB로부터 VRP를 제거하고, 제어를 종료블록(699)으로 넘긴다.
이제, 일부는 전술한 본 발명의 다수의 부수적인 장점/특징의 일부에 대하여 설명할 것이다. 예를 들면, 한가지 장점/특징은 적어도 하나의 가상 참조 픽처를 사용하여 적어도 하나의 픽처를 인코딩하여 최종 비트스트림을 형성하는 인코더를 포함한 장치이다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치로서, 여기서 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠의 적어도 두 뷰중의 적어도 한 뷰에 대응한다.
또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치로서, 여기서 적어도 하나의 가상 참조 픽처는 신호 처리 변환을 겪었던 적어도 하나의 참조 픽처로부터 형성된다.
또한 또 다른 장점/특징은 인코더를 가진 장치로서, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 신호 처리 변환을 겪은 적어도 하나의 참조 픽처로부터 형성되고, 인코더 신호는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스에서 신호 처리 변환의 와핑 파라미터를 시그널링한다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽터는 적어도 하나의 필터링된 참조 픽처로부터 형성된다.
또한 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 적어도 하나의 필터링된 참조 픽처로부터 형성 되고, 인코더는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스에서 적어도 하나의 필터링된 참조 픽처를 필터링하는 데 사용되는 필터 계수를 시그널링한다.
부가적으로, 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠에 대응하고, 적어도 하나의 가상 참조 픽처는 적어도 하나의 뷰 보간된 픽처를 사용하여 형성된다.
또한 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 적어도 하나의 픽처는 전술한 바와 같이 멀티뷰 비디오 콘텐츠에 대응하고, 인코더는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소에서 적어도 하나의 뷰 보간된 픽처를 위한 파라미터를 시그널링한다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 상기 인코더는 최종 비트스트림에서 적어도 하나의 가상 참조 픽처의 존재를 시그널링한다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 인코더는 최종 비트스트림의 고레벨 신택스에서 적어도 하나의 가상 참조 픽처의 존재를 시그널링한다.
부가적으로, 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처를 생성하기 위한 파라미터 및 방법중의 적어도 하나는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소에서 시그널링된다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼에 저장된다.
또한 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 디코딩된 픽처 버퍼에 저장되고, 인코더는 디코딩된 픽처 버퍼에 관하여 적어도 하나의 가상 참조 픽처를 위한 사전지정된 삽입 및 삭제 동작을 이용한다.
또한 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 디코딩된 픽처 버퍼에 저장되고, 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼의 단기 메모리부분에 저장된다.
부가적으로, 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 디코딩된 픽처 버퍼에 저장되고, 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼의 장기 메모리부분에 저장된다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 가상 참조 픽처를 위한 전용 메모리에 저장된다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼로부터 분리된 임시 픽처 버퍼에 저장된다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 인코더는 적어도 하나의 가상 참조 픽처의 인덱스를 사용하여 적어도 하나의 픽 처를 위한 예측 처리시에 적어도 하나의 가상 참조 픽처를 직접 참조한다.
부가적으로, 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 인코더는 전술한 바와 같이 적어도 하나의 픽처를 위한 예측 처리시에 적어도 하나의 가상 참조 픽처를 직접 참조하고, 디폴트 참조 리스트 구성 처리는 적어도 하나의 가상 참조 픽처를 포함하도록 수행된다.
또한 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 디폴트 참조 리스트 구성 처리는 전술한 바와 같이 적어도 하나의 가상 참조 픽처를 포함하도록 수행되고, 적어도 하나의 참조 픽처 리스트 재배열 커맨드는 디폴트 참조 리스트 구성시에 적어도 하나의 가상 참조 픽처를 포함하도록 정의된다.
또한 또 다른 장점/특징은 인코더를 가진 장치이고, 여기서 디폴트 참조 리스트 구성 처리는 전술한 바와 같이 적어도 하나의 가상 참조 픽처를 포함하도록 수행되고, 사전지정된 참조 리스트 재배열 커맨드는 디폴트 참조 리스트 구성시에 적어도 하나의 가상 참조 픽처를 포함하도록 고레벨 신택스와 결합된다.
또한 또 다른 장점/특징은 전술한 바와 같이 인코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처의 각각은 참조 픽처 리스트에 대응한 참조 픽처 인덱스에 의해 제각기 참조된다.
또 다른 장점/특징은 비트스트림으로부터, 적어도 하나의 가상 참조 스트림을 사용하여, 적어도 하나의 픽처를 디코딩하기 위한 디코더를 가진 장치이다. 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이하다.
또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 적 어도 하나의 픽처는 멀티뷰 비디오 콘텐츠의 적어도 두 뷰중의 적어도 하나의 뷰에 대응한다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 신호 처리 변환을 겪은 적어도 하나의 참조 픽처로부터 형성된다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 신호 처리 변환을 겪은 적어도 하나의 참조 픽처로부터 형성되고, 디코더는 비트스트림에 포함된 적어도 한 고레벨 신택스로부터 신호 처리 변환의 와핑 파라미터를 결정한다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 신호 처리 변환을 겪은 적어도 하나의 참조 픽처로부터 형성되고, 적어도 하나의 가상 참조 픽처는 적어도 하나의 필터링된 참조 픽처로부터 형성된다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 적어도 하나의 필터링된 참조 픽처로부터 형성되고, 디코더는 비트스트림에 포함된 적어도 한 고레벨 구분으로부터 적어도 하나의 필터링된 참조 픽처를 필터링하는 데 사용되는 필터 계수를 결정한다.
부가적으로, 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠에 대응하고, 적어도 하나의 가상 참조 픽처는 적어도 하나의 뷰 보간된 픽처를 사용하여 형성된다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 픽처는 전술한 바와 같은 멀티뷰 비디오 콘텐츠에 대응하고, 디코더는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소로부터 적어도 하나의 뷰 보간된 픽처를 위한 파라미터를 결정한다.
또한 또 다른 장점/특징은 전술한 바와 같은 디코더를 가진 장치이고, 여기서 디코더는 비트스트림에서 적어도 하나의 가상 참조 픽처의 존재를 결정한다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 디코더는 비트스트림에서 고레벨 신택스로부터 적어도 하나의 가상 참조 픽처의 존재를 결정한다.
부가적으로 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 적어도 하나의 가상 참조 픽처를 생성하기 위한 파라미터 및 방법중의 적어도 하나는 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소로부터 결정된다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 적어도 하나의한 가상 참조 픽처는 디코딩된 픽처 버퍼에 저장된다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같이 디코딩 픽처 버퍼에 저장되고, 디코더는 디코딩된 픽처 버퍼에 관하여 적어도 하나의 가상 참조 픽처를 위한 사전지정된 삽입 및 삭제 동작을 이용한다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술한 바와 같은 디코딩된 픽처 버퍼에 저장되고, 적어도 하나 의 가상 참조 픽처는 디코딩된 픽처 버퍼의 단기 메모리부분에 저장된다.
부가적으로, 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 전술된 바와 같이 디코딩된 픽처 버퍼에 저장되고, 적어도 하나의 가상 참조 픽퍼는 디코딩된 픽처 버퍼의 장기 메모리부분에 저장된다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 가상 참조 픽처를 위한 전용 메모리에 저장된다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼로부터 분리된 임시 픽처 버퍼에 저장된다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 디코더는 적어도 하나의 가상 참조 픽처의 인덱스를 사용하여 적어도 하나의 픽처를 위한 예측 처리시에 적어도 하나의 가상 참조 픽처를 직접 참조한다.
부가적으로, 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 디코더는 전술한 바와 같이 적어도 하나의 픽처를 위한 예측 처리시에 적어도 하나의 가상 참조 픽처를 직접 참조하고, 디폴트 참조 리스트 구성 처리는 적어도 하나의 가상 참조 픽처를 포함하도록 수행된다.
또한 또 다른 장점/특징은 디코더를 가진 장치이고, 여기서 디폴트 참조 리스트 구성 처리는 전술한 바와 같이 적어도 하나의 가상 참조 픽처를 포함하도록 수행되고, 적어도 하나의 참조 픽처 리스트 재배열 커맨드는 디폴트 참조 리스트 구성시에 적어도 하나의 가상 참조 픽처를 포함하도록 정의된다.
또한 또 다른 장점/특징은 전술한 바와 같이 디코더를 가진 장치이고, 여기서 적어도 하나의 가상 참조 픽처의 각각은 참조 픽처 리스트에 대응한 참조 픽처 인덱스에 의해 제각기 참조된다.
본 발명의 원리의 상기 및 다른 특징과 장점은 본 개시 내용을 토대로 당업자들에 의해 쉽게 확인될 수 있다. 본 발명 원리의 개시 내용은 하드웨어, 펌웨어, 특용 프로세서 또는 이들의 결합의 다양한 형태로 구현될 수 있다.
가장 바람직하게는, 본 발명 원리의 개시 내용은 하드웨어 및 소프트웨어의 결합으로서 구현된다. 또한 소프트웨어는 프로그램 저장유닛상에 실체적으로 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 적당한 임의 구조를 포함한 머신으로 업로드되어 이에 의해 실행될 수 있다. 바람직하게, 머신은 하나 이상의 CPU(central processing units), RAM(random access memory), I/O(input/output) 인터페이스와 같은 하드웨어를 가진 컴퓨터 플랫폼상에 구현된다. 또한 컴퓨터 플랫폼은 운영체제 및 마이크로구조 코드를 포함할 수 있다. 여기에 기술된 다양한 처리 및 기능은 CPU에 의해 실행될 수 있는, 마이크로구조 코드 부분 또는 애플리케이션 프로그램 부분 또는 이들의 임의 결합일 수 있다. 또한 다양한 다른 주변유닛은 추가 데이터 저장유닛 및 인쇄유닛과 같은 컴퓨터 플랫폼으로 연결될 수 있다.
첨부 도면에 도시된 소정 구성 시스템 구성소자의 일부 및 방법이 바람직하게 소프트웨어로 구현되므로, 시스템 구성소자들 간의 실제 연결 또는 처리 기능블 록은 본 발명 원리를 프로그램하는 방식에 따라 상이할 수 있다는 것을 알 것이다. 당업자들이라면, 본 개시 내용에 따라 본 발명 원리의 구성 또는 상기 및 유사한 구현을 고려할 수 있을 것이다.
설명적인 실시예가 첨부도면을 참조하여 본 명세서에 기술되었지만, 본 발명의 원리는 이들 특정 실시예로 제한되지 않고, 당업자들이라면 본 발명의 원리의 사상 또는 범주로부터 벗어나지 않고서도 다양한 수정 및 변형을 행할 수 있을 것이다. 따라서, 이러한 모든 수정 및 변형은 첨부된 청구범위에 개시된 바와 같은 본 발명의 원리의 범주내에 포함되는 것으로 이해되어야 한다.

Claims (88)

  1. 적어도 하나의 가상 참조 픽처(virtual reference picture)를 사용하여 적어도 하나의 픽처를 인코딩하여 최종 비트스트림을 형성하는 인코더(100)를 포함하고,
    상기 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이한 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠(multi-view video content)의 적어도 2개의 뷰 중 적어도 하나의 뷰에 대응하는 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 신호 처리 변환된 상기 적어도 하나의 참조 픽처로부터 형성되는 장치.
  4. 제3항에 있어서,
    상기 인코더(100)는 상기 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스(high level syntax)에서 신호 처리 변환의 와핑 파라미터(warping parameters)를 시그널링하는 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 필터링된 참조 픽처로부터 형성되는 장치.
  6. 제5항에 있어서,
    상기 인코더(100)는 상기 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스에서 상기 적어도 하나의 필터링된 참조 픽처를 필터링하는데 사용되는 필터 계수를 시그널링하는 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠에 대응하고, 상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 뷰 보간 픽처(view interpolated picture)를 사용하여 형성되는 장치.
  8. 제7항에 있어서,
    상기 인코더(100)는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스에서 상기 적어도 하나의 뷰 보간 픽처에 대한 파라미터를 시그널링하는 장치.
  9. 제1항에 있어서,
    상기 인코더(100)는 상기 최종 비트스트림에서 상기 적어도 하나의 가상 참 조 픽처의 존재를 시그널링하는 장치.
  10. 제1항에 있어서,
    상기 인코더(100)는 상기 최종 비트스트림에서의 고레벨 신택스에서 상기 적어도 하나의 가상 참조 픽처의 존재를 시그널링하는 장치.
  11. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처를 생성하기 위한 파라미터 및 방법 중 적어도 하나는 상기 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소에서 시그널링되는 장치.
  12. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼에 저장되는 장치.
  13. 제12항에 있어서,
    상기 인코더(100)는 상기 디코딩된 픽처 버퍼에 대해 상기 적어도 하나의 가상 참조 픽처를 위해 사전지정된 삽입 및 삭제 동작을 이용하는 장치.
  14. 제12항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 상기 디코딩된 픽처 버퍼의 단기 메모 리 부분(short-term memory portion)에 저장되는 장치.
  15. 제12항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 상기 디코딩된 픽처 버퍼의 장기(long-term) 메모리 부분에 저장되는 장치.
  16. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 가상 참조 픽처용 전용 메모리에 저장되는 장치.
  17. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼로부터 분리된 임시 픽처 버퍼에 저장되는 장치.
  18. 제1항에 있어서,
    상기 인코더(100)는 상기 적어도 하나의 가상 참조 픽처의 인덱스를 사용하여 상기 적어도 하나의 픽처에 대한 예측 처리시에 상기 적어도 하나의 가상 참조 픽처를 직접 참조하는 장치.
  19. 제18항에 있어서,
    디폴트 참조 리스트 구성 처리가 상기 적어도 하나의 가상 참조 픽처를 포함하도록 수행되는 장치.
  20. 제19항에 있어서,
    적어도 하나의 참조 픽처 리스트 재배열 커맨드(reference picture list reordering command)가 상기 디폴트 참조 리스트 구성시에 상기 적어도 하나의 가상 참조 픽처를 포함하도록 정의되는 장치.
  21. 제19항에 있어서,
    사전지정된 참조 리스트 재배열 커맨드가 상기 디폴트 참조 리스트 구성시에 상기 적어도 하나의 가상 참조 픽처를 포함하도록 고레벨 신택스와 함께 결합되는 장치.
  22. 제1항에 있어서,
    상기 적어도 하나의 가상 참조 픽처 각각은 참조 픽처 리스트에 대응한 참조 픽처 인덱스에 의해 제각기 참조되는 장치.
  23. 적어도 하나의 가상 참조 픽처를 사용하여 적어도 하나의 픽처를 인코딩하여 최종 비트스트림을 형성하는 단계를 포함하고,
    상기 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이한(300, 500) 방법.
  24. 제23항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠의 적어도 2개의 뷰 중 적어도 하나의 뷰에 대응하는(330, 530) 방법.
  25. 제23항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 신호 처리 변환된 적어도 하나의 참조 픽처로부터 형성되는(330, 530) 방법.
  26. 제25항에 있어서,
    상기 인코딩 단계는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스에서 신호 처리 변환의 와핑 파라미터를 시그널링하는 단계(325, 525)를 포함하는 방법.
  27. 제23항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 필터링된 참조 픽처로부터 형성되는(330, 530) 방법.
  28. 제27항에 있어서,
    상기 인코딩 단계는 상기 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스에서 적어도 하나의 필터링된 참조 픽처를 필터링하는데 사용되는 필터 계수를 시그널링하는 단계(325, 525)를 포함하는 방법.
  29. 제23항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠에 대응하고, 상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 뷰 보간 픽처를 사용하여 형성되는(330, 530) 방법.
  30. 제29항에 있어서,
    상기 인코딩 단계는 상기 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소에서 상기 적어도 하나의 뷰 보간 픽처에 대한 파라미터를 시그널링하는 단계(325, 525)를 포함하는 방법.
  31. 제23항에 있어서,
    상기 인코딩 단계는 상기 최종 비트스트림에서 상기 적어도 하나의 가상 참조 픽처의 존재를 시그널링하는 단계(320, 520)를 포함하는 방법.
  32. 제23항에 있어서,
    상기 인코딩 단계는 상기 최종 비트스트림에서의 고레벨 신택스에서 상기 적 어도 하나의 가상 참조 픽처의 존재를 시그널링하는 단계(320, 520)를 포함하는 방법.
  33. 제23항에 있어서,
    상기 인코딩 단계는 상기 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소에서 상기 적어도 하나의 가상 참조 픽처를 생성하기 위한 파라미터 및 방법 중 적어도 하나를 시그널링하는 단계(325, 525)를 포함하는 방법.
  34. 제23항에 있어서,
    디코딩된 픽처 버퍼에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계(335)를 더 포함하는 방법.
  35. 제34항에 있어서,
    상기 디코딩된 픽처 버퍼에 대해 상기 적어도 하나의 가상 참조 픽처에 대한 사전지정된 삽입 및 삭제 동작을 이용하는 단계를 더 포함하는 방법.
  36. 제34항에 있어서,
    상기 디코딩된 픽처 버퍼의 단기 메모리 부분에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계를 더 포함하는 방법.
  37. 제34항에 있어서,
    상기 디코딩된 픽처 버퍼의 장기 메모리 부분에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계를 더 포함하는 방법.
  38. 제23항에 있어서,
    상기 가상 참조 픽처용 전용 메모리에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계(535)를 더 포함하는 방법.
  39. 제23항에 있어서,
    디코딩된 픽처 버퍼로부터 분리된 임시 픽처 버퍼에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계(535)를 더 포함하는 방법.
  40. 제23항에 있어서,
    상기 인코딩 단계는 상기 적어도 하나의 가상 참조 픽처의 인덱스를 사용하여 상기 적어도 하나의 픽처에 대한 예측 처리시에 상기 적어도 하나의 가상 참조 픽처를 직접 참조하는(355, 550) 방법.
  41. 제40항에 있어서,
    상기 적어도 한 가상 참조 픽처를 포함한 디폴트 참조 리스트 구성 처리를 수행하는 단계(340)를 더 포함하는 방법.
  42. 제41항에 있어서,
    상기 디폴트 참조 리스트 구성 처리시에 상기 적어도 하나의 가상 참조 픽처를 포함하도록 적어도 하나의 참조 픽처 리스트 재배열 커맨드를 정의하는 단계(345)를 더 포함하는 방법.
  43. 제41항에 있어서,
    상기 디폴트 참조 리스트 구성 처리를 수행하는 단계는, 상기 디폴트 참조 리스트 구성시에 상기 적어도 하나의 가상 참조 픽처를 포함하도록 고레벨 신택스와 사전지정된 참조 리스트 재배열 커맨드를 결합시키는 단계를 포함하는 방법.
  44. 제23항에 있어서,
    상기 적어도 하나의 가상 참조 픽처 각각은 참조 픽처 리스트에 대응한 참조 픽처 인덱스에 의해 제각기 참조되는(355) 방법.
  45. 비트스트림으로부터, 적어도 하나의 가상 참조 픽처를 사용하여, 적어도 하나의 픽처를 디코딩하기 위한 디코더(200)를 포함하고,
    상기 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이한 장치.
  46. 제45항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠의 적어도 2개의 뷰 중 적어도 하나의 뷰에 대응하는 장치.
  47. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 신호 처리 변환된 적어도 하나의 참조 픽처로부터 형성되는 장치.
  48. 제47항에 있어서,
    상기 디코더(200)는 상기 비트스트림에 포함된 적어도 하나의 고레벨 신택스로부터 상기 신호 처리 변환의 와핑 파라미터를 결정하는 장치.
  49. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 필터링된 참조 픽처로부터 형성되는 장치.
  50. 제49항에 있어서,
    상기 디코더(200)는 상기 비트스트림에 포함된 적어도 하나의 고레벨 신택스로부터 상기 적어도 하나의 필터링된 참조 픽처를 필터링하는데 사용되는 필터 계수를 결정하는 장치.
  51. 제45항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠에 대응하고, 상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 뷰 보간 픽처를 사용하여 형성되는 장치.
  52. 제51항에 있어서,
    상기 디코더(200)는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소로부터 상기 적어도 하나의 뷰 보간 픽처에 대한 파라미터를 결정하는 장치.
  53. 제45항에 있어서,
    상기 디코더(200)는 상기 비트스트림에서 상기 적어도 하나의 가상 참조 픽처의 존재를 결정하는 장치.
  54. 제45항에 있어서,
    상기 디코더(200)는 상기 비트스트림에서 고레벨 신택스로부터 상기 적어도 하나의 가상 참조 픽처의 존재를 결정하는 장치.
  55. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처를 생성하기 위한 파라미터 및 방법 중 적어도 하나는 상기 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소로부터 결정되는 장치.
  56. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼에 저장되는 장치.
  57. 제56항에 있어서,
    상기 디코더(200)는 상기 디코딩된 픽처 버퍼에 대해 상기 적어도 하나의 가상 참조 픽처에 대한 사전지정된 삽입 및 삭제 동작을 이용하는 장치.
  58. 제56항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 상기 디코딩된 픽처 버퍼의 단기 메모리 부분에 저장되는 장치.
  59. 제56항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 상기 디코딩된 픽처 버퍼의 장기 메모리 부분에 저장되는 장치.
  60. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 가상 참조 픽처용 전용 메모리에 저장되는 장치.
  61. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 디코딩된 픽처 버퍼로부터 분리된 임시 픽처 버퍼에 저장되는 장치.
  62. 제45항에 있어서,
    상기 디코더(200)는 상기 적어도 하나의 가상 참조 픽처의 인덱스를 사용하여 상기 적어도 하나의 픽처에 대한 예측 처리시에 상기 적어도 하나의 가상 참조 픽처를 직접 참조하는 장치.
  63. 제62항에 있어서,
    디폴트 참조 리스트 구성 처리가 상기 적어도 하나의 가상 참조 픽처를 포함하도록 수행되는 장치.
  64. 제63항에 있어서,
    적어도 하나의 참조 픽처 리스트 재배열 커맨드가 상기 디폴트 참조 리스트 구성시에 상기 적어도 하나의 가상 참조 픽처를 포함하도록 정의되는 장치.
  65. 제45항에 있어서,
    상기 적어도 하나의 가상 참조 픽처 각각은 참조 픽처 리스트에 대응한 참조 픽처 인덱스에 의해 제각기 참조되는 장치.
  66. 비트스트림으로부터, 적어도 하나의 가상 참조 픽처를 사용하여, 적어도 하나의 픽처를 디코딩하는 단계를 포함하고,
    상기 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이한(400, 600) 방법.
  67. 제66항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠의 적어도 2개의 뷰 중 적어도 하나의 뷰에 대응하는(425, 630) 방법.
  68. 제66항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 신호 처리 변환된 적어도 하나의 참조 픽처로부터 형성되는(425, 630) 방법.
  69. 제68항에 있어서,
    상기 디코딩 단계는 상기 비트스트림에 포함된 적어도 하나의 고레벨 신택스로부터 신호 처리 변환의 와핑 파라미터를 결정하는 단계(420, 625)를 포함하는 방법.
  70. 제66항에 있어서,
    상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 필터링된 참조 픽처로부터 형성되는(425, 630) 방법.
  71. 제70항에 있어서,
    상기 디코딩 단계는 상기 비트스트림에 포함된 적어도 하나의 고레벨 신택스로부터 적어도 하나의 필터링된 참조 픽처를 필터링하는데 사용되는 필터 계수를 결정하는 단계(420, 625)를 포함하는 방법.
  72. 제66항에 있어서,
    상기 적어도 하나의 픽처는 멀티뷰 비디오 콘텐츠에 대응하고, 상기 적어도 하나의 가상 참조 픽처는 적어도 하나의 뷰 보간 픽처를 사용하여 형성되는(425, 630) 방법.
  73. 제72항에 있어서,
    상기 디코딩 단계는 최종 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소로부터 상기 적어도 하나의 뷰 보간 픽처에 대한 파라미터를 결정하는 단계(420, 625)를 포함하는 방법.
  74. 제66항에 있어서,
    상기 디코딩 단계는 상기 비트스트림에서 상기 적어도 하나의 가상 참조 픽 처의 존재를 결정하는 단계(410, 610)를 포함하는 방법.
  75. 제66항에 있어서,
    상기 디코딩 단계는 상기 비트스트림에서 고레벨 신택스로부터 상기 적어도 하나의 가상 참조 픽처의 존재를 결정하는 단계를 포함하는 방법.
  76. 제66항에 있어서,
    상기 디코딩 단계는 상기 비트스트림에 포함된 적어도 하나의 고레벨 신택스 요소로부터 상기 적어도 하나의 가상 참조 픽처를 생성하기 위한 파라미터 및 방법 중 적어도 하나를 결정하는 단계(410, 610)를 포함하는 방법.
  77. 제66항에 있어서,
    디코딩된 픽처 버퍼에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계(430)를 더 포함하는 방법.
  78. 제77항에 있어서,
    상기 디코딩된 픽처 버퍼에 대해 상기 적어도 하나의 가상 참조 픽처에 대한 사전지정된 삽입 및 삭제 동작을 이용하는 단계를 더 포함하는 방법.
  79. 제77항에 있어서,
    상기 디코딩된 픽처 버퍼의 단기 메모리 부분에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계를 더 포함하는 방법.
  80. 제77항에 있어서,
    상기 디코딩된 픽처 버퍼의 장기 메모리 부분에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계를 더 포함하는 방법.
  81. 제66항에 있어서,
    가상 참조 픽처용 전용 메모리에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계(640)를 더 포함하는 방법.
  82. 제66항에 있어서,
    디코딩된 픽처 버퍼로부터 분리된 임시 픽처 버퍼에 상기 적어도 하나의 가상 참조 픽처를 저장하는 단계(640)를 더 포함하는 방법.
  83. 제66항에 있어서,
    상기 디코딩 단계는 상기 적어도 하나의 가상 참조 픽처의 인덱스를 사용하여 상기 적어도 하나의 픽처에 대한 예측 처리시에 상기 적어도 하나의 가상 참조 픽처를 직접 참조하는(450, 660) 방법.
  84. 제83항에 있어서,
    상기 적어도 하나의 가상 참조 픽처를 포함한 디폴트 참조 리스트 구성 처리를 수행하는 단계(435)를 더 포함하는 방법.
  85. 제84항에 있어서,
    상기 디폴트 참조 리스트 구성 처리시에 상기 적어도 하나의 가상 참조 픽처를 포함하도록 적어도 하나의 참조 픽처 리스트 재배열 커맨드를 정의하는 단계(440)를 더 포함하는 방법.
  86. 제66항에 있어서,
    상기 적어도 하나의 가상 참조 픽처 각각은 참조 픽처 리스트에 대응한 참조 픽처 인덱스에 의해 제각기 참조되는(450) 방법.
  87. 비디오 인코딩을 위한 비디오 신호 구조로서,
    최종 비트스트림을 형성하기 위하여 적어도 하나의 가상 참조 픽처를 사용하여 인코딩된 적어도 하나의 픽처를 포함하고,
    상기 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이한 비디오 신호 구조.
  88. 인코딩된 비디오 신호 데이터를 갖는 저장 매체로서,
    최종 비트스트림을 형성하기 위하여 적어도 하나의 가상 참조 픽처를 사용하여 인코딩된 적어도 하나의 픽처를 포함하고,
    상기 적어도 하나의 가상 참조 픽처는 이전에 디코딩된 픽처와 상이한 저장 매체.
KR1020097000526A 2006-07-11 2007-07-10 가상 참조 픽처를 사용하는 방법 및 장치 KR101378185B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US83019506P 2006-07-11 2006-07-11
US60/830,195 2006-07-11
PCT/US2007/015719 WO2008008331A2 (en) 2006-07-11 2007-07-10 Methods and apparatus using virtual reference pictures

Publications (2)

Publication Number Publication Date
KR20090037888A true KR20090037888A (ko) 2009-04-16
KR101378185B1 KR101378185B1 (ko) 2014-03-26

Family

ID=38923830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097000526A KR101378185B1 (ko) 2006-07-11 2007-07-10 가상 참조 픽처를 사용하는 방법 및 장치

Country Status (7)

Country Link
US (1) US8363724B2 (ko)
EP (1) EP2041982A2 (ko)
JP (1) JP5351020B2 (ko)
KR (1) KR101378185B1 (ko)
CN (1) CN101491099B (ko)
BR (1) BRPI0714119B1 (ko)
WO (1) WO2008008331A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069933A1 (ko) * 2011-11-07 2013-05-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
WO2015142054A1 (ko) * 2014-03-19 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
EP2250812A1 (en) * 2008-03-04 2010-11-17 Thomson Licensing Virtual reference view
KR101423655B1 (ko) 2008-03-18 2014-07-29 삼성전자주식회사 필드 픽쳐 부호화/복호화 장치 및 그 방법
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
US8179960B2 (en) 2008-11-12 2012-05-15 Alcatel Lucent Method and apparatus for performing video coding and decoding with use of virtual reference data
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
US8824560B2 (en) * 2010-07-07 2014-09-02 Netzyn, Inc. Virtual frame buffer system and method
EP2591609B1 (en) 2010-07-08 2017-09-06 Dolby Laboratories Licensing Corporation Method and apparatus for multi-layered image and video coding using reference processing signals
PL2596637T3 (pl) 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corporation Systemy i sposoby dostarczania wielowarstwowego wideo zgodnego z ramką
JP5606625B2 (ja) * 2010-07-21 2014-10-15 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための高度な動きモデルを使った参照処理
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
JP5255045B2 (ja) * 2010-12-01 2013-08-07 シャープ株式会社 画像処理装置、画像処理方法
US8842723B2 (en) * 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
WO2012124961A2 (ko) * 2011-03-11 2012-09-20 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
KR20130005167A (ko) * 2011-07-05 2013-01-15 삼성전자주식회사 영상 신호 디코딩 장치 및 그것의 디코딩 방법
US8902976B2 (en) 2011-07-08 2014-12-02 Dolby Laboratories Licensing Corporation Hybrid encoding and decoding methods for single and multiple layered video coding systems
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9131217B2 (en) 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US9729870B2 (en) 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
TWI488502B (zh) * 2012-12-06 2015-06-11 Acer Inc 視訊編修方法與視訊編修裝置
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
WO2016184527A1 (en) 2015-05-21 2016-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2016200043A1 (ko) * 2015-06-10 2016-12-15 엘지전자 주식회사 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
US10136194B2 (en) * 2016-07-06 2018-11-20 Cisco Technology, Inc. Streaming piracy detection method and system
EP3422722A1 (en) 2017-06-30 2019-01-02 Thomson Licensing Method for encoding a matrix of image views obtained from data acquired by a plenoptic camera
FR3075540A1 (fr) * 2017-12-15 2019-06-21 Orange Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.
CN111770332B (zh) * 2020-06-04 2022-08-09 Oppo广东移动通信有限公司 插帧处理方法、插帧处理装置、存储介质与电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100421833B1 (ko) * 1996-06-26 2004-06-11 엘지전자 주식회사 엠펙2비디오디코더의화면스킵장치및방법
US6775326B2 (en) * 1997-02-13 2004-08-10 Mitsubishi Denki Kabushiki Kaisha Moving image estimating system
DE19855038A1 (de) 1998-11-28 2000-05-31 Thomson Brandt Gmbh Verfahren zur Bildcodierung und -decodierung sowie Verfahren zum Aufbau einer Teilbilddateneinheit für ein elektronisches Gerät und elektronisches Gerät
JP2000209589A (ja) * 1999-01-11 2000-07-28 Matsushita Electric Ind Co Ltd ビデオデ―タの適応的後処理装置および方法
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US20020176507A1 (en) * 2001-03-26 2002-11-28 Mediatek Inc. Method and an apparatus for reordering a decoded picture sequence using virtual picture
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
CN100493191C (zh) * 2003-07-09 2009-05-27 汤姆森许可贸易公司 具有低复杂度噪声消减的视频编码器及视频编码方法
US7929605B2 (en) 2003-07-24 2011-04-19 Nippon Telegraph And Telephone Corporation Image decoding device, image decoding method, image decoding program, recording medium recording image decoding program
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7889788B2 (en) * 2004-04-28 2011-02-15 Panasonic Corporation Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
JP2006129177A (ja) * 2004-10-29 2006-05-18 Victor Co Of Japan Ltd 記録装置及び記録媒体
US7468745B2 (en) 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
CN101102503A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 视频分层编码层间运动矢量的预测方法
US8179960B2 (en) * 2008-11-12 2012-05-15 Alcatel Lucent Method and apparatus for performing video coding and decoding with use of virtual reference data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069933A1 (ko) * 2011-11-07 2013-05-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
WO2015142054A1 (ko) * 2014-03-19 2015-09-24 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US10257531B2 (en) 2014-03-19 2019-04-09 Kt Corporation Method and apparatus for processing multiview video signals based on illumination compensation and inter-view motion candidate

Also Published As

Publication number Publication date
WO2008008331A2 (en) 2008-01-17
BRPI0714119B1 (pt) 2020-09-15
JP2009543521A (ja) 2009-12-03
CN101491099A (zh) 2009-07-22
JP5351020B2 (ja) 2013-11-27
US8363724B2 (en) 2013-01-29
BRPI0714119A2 (pt) 2013-01-01
EP2041982A2 (en) 2009-04-01
CN101491099B (zh) 2011-09-21
US20110243224A1 (en) 2011-10-06
KR101378185B1 (ko) 2014-03-26
WO2008008331A3 (en) 2008-09-12

Similar Documents

Publication Publication Date Title
KR101378185B1 (ko) 가상 참조 픽처를 사용하는 방법 및 장치
JP5845299B2 (ja) マルチビュービデオ復号方法及びその装置
CN107925769B (zh) 管理已解码图像缓存器的方法及视频编码器或视频解码器
CN107079161B (zh) 用于屏幕内容以及视频编码的帧内图片块复制的方法
JP5583578B2 (ja) 多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置
JP2013042521A (ja) 多視点映像符号化のための画像の管理
TW201225675A (en) Methods for improved signaling using high level syntax for multi-view video coding and decoding
KR20090040287A (ko) 멀티 뷰 비디오 코딩용 방법 및 장치
KR20150086553A (ko) 다시점 비디오 코딩시스템에 있어 비디오 사용성 정보(ｖｕｉ)를 통합하기 위한 방법 및 장치
KR20090040296A (ko) 멀티-뷰 비디오 코딩에서의 뷰 스케일러빌리티를 신호로 알리기 위한 방법 및 장치
WO2008024345A1 (en) Adaptive region-based flipping video coding
CN117041602A (zh) 用于对视频信号进行编码的方法、计算设备和存储介质
CN117221604A (zh) 用于视频编解码中的高级语法的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 5