KR20230019264A - 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축 - Google Patents

더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축 Download PDF

Info

Publication number
KR20230019264A
KR20230019264A KR1020237002706A KR20237002706A KR20230019264A KR 20230019264 A KR20230019264 A KR 20230019264A KR 1020237002706 A KR1020237002706 A KR 1020237002706A KR 20237002706 A KR20237002706 A KR 20237002706A KR 20230019264 A KR20230019264 A KR 20230019264A
Authority
KR
South Korea
Prior art keywords
elements
data
correlation
signal
residual
Prior art date
Application number
KR1020237002706A
Other languages
English (en)
Inventor
데이빗 핸드포드
Original Assignee
브이-노바 인터내셔널 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이-노바 인터내셔널 리미티드 filed Critical 브이-노바 인터내셔널 리미티드
Priority to KR1020237025344A priority Critical patent/KR20230113665A/ko
Publication of KR20230019264A publication Critical patent/KR20230019264A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

신호의 제1 시간 샘플의 렌디션(306)을 재구성하는데 이용 가능한 잔차 요소들의 세트(316)가 획득된다. 제1 시간 샘플과 연관된 시공간 상관 요소들의 세트(326)가 생성된다. 시공간 상관 요소들의 세트는, 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 렌디션에 기초한 제1 기준 데이터와, 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다. 시공간 상관 요소들의 세트는 출력 데이터를 생성하는데 이용된다.

Description

더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축{VIDEO COMPRESSION USING DIFFERENCES BETWEEN A HIGHER AND A LOWER LAYER}
본 발명은 데이터 처리 장치, 방법, 컴퓨터 프로그램 및 컴퓨터-판독가능한 매체에 관한 것이다.
신호의 압축 및 압축해제는 많은 공지된 시스템에서의 고려사항이다. 많은 유형의 신호, 예를 들어, 비디오, 오디오 또는 체적 신호가, 예를 들어 데이터 통신 네트워크를 통한 전송을 위해 압축되고 인코딩될 수 있다. 신호는 또한, 예를 들어 DVD(Digital Versatile Disc) 등의 저장 매체 상에 압축된 형태로 저장될 수 있다. 이러한 신호가 디코딩될 때, 신호의 품질 레벨을 증가시키거나 및/또는 원래의 신호에 포함된 정보를 가능한한 많이 복구하는 것이 바람직할 수 있다.
일부 공지된 시스템은 스케일러블 인코딩 기술을 활용한다. 스케일러블 인코딩은, 예를 들어 디코더의 능력 및 이용 가능한 대역폭에 따라, 하나 이상의 상이한 품질 레벨에서 신호의 재구성을 허용하는 정보와 함께 신호를 인코딩하는 것을 포함한다. 그러나, 특히 고품질, 고선명도의 비디오의 이용이 널리 보급됨에 따라, 비교적 많은 양의 정보가 여전히 저장되거나 및/또는 전송될 수 있다.
본 발명의 제1 양태에 따르면, 장치가 제공되고, 이 장치는:
잔차 요소들의 세트를 획득하고 - 잔차 요소들의 세트는, 복수의 품질 레벨을 갖는 계층 구조(tiered hierarchy)에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션(first rendition)을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초함 -;
신호의 제1 시간 샘플과 연관된 시공간 상관 요소들의 세트를 생성하며 - 시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타냄 -;
시공간 상관 요소들의 세트를 이용하여 제1 출력 데이터를 생성하고;
비교적 낮은 품질 레벨에서의 렌디션을 이용하여 제2 출력 데이터를 생성하도록 구성된다.
본 발명의 제2 양태에 따르면, 장치가 제공되고, 이 장치는:
시공간 상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하고;
시공간 상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하고 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -;
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하도록 구성되고,
시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다.
본 발명의 제3 양태에 따르면, 방법이 제공되고, 이 방법은:
잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 복수의 품질 레벨을 갖는 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초함 -;
신호의 제1 시간 샘플과 연관된 시공간 상관 요소들의 세트를 생성하는 단계 - 시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타냄 -;
시공간 상관 요소들의 세트를 이용하여 제1 출력 데이터를 생성하는 단계; 및
비교적 낮은 품질 레벨에서의 렌디션을 이용하여 제2 출력 데이터를 생성하는 단계를 포함한다.
본 발명의 제4 양태에 따르면, 실행될 때, 장치로 하여금 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 제공되고, 이 방법은:
잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 복수의 품질 레벨을 갖는 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초함 -;
신호의 제1 시간 샘플과 연관된 시공간 상관 요소들의 세트를 생성하는 단계 - 시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타냄 -;
시공간 상관 요소들의 세트를 이용하여 제1 출력 데이터를 생성하는 단계; 및
비교적 낮은 품질 레벨에서의 렌디션을 이용하여 제2 출력 데이터를 생성하는 단계를 포함한다.
본 발명의 제5 양태에 따르면, 실행될 때, 장치로 하여금 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 포함하는 컴퓨터-판독가능한 매체가 제공되고, 이 방법은:
잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 복수의 품질 레벨을 갖는 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초함 -;
신호의 제1 시간 샘플과 연관된 시공간 상관 요소들의 세트를 생성하는 단계 - 시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타냄 -;
시공간 상관 요소들의 세트를 이용하여 제1 출력 데이터를 생성하는 단계; 및
비교적 낮은 품질 레벨에서의 렌디션을 이용하여 제2 출력 데이터를 생성하는 단계를 포함한다.
본 발명의 실시예의 제6 양태에 따르면, 방법이 제공되고, 이 방법은:
시공간 상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하는 단계;
시공간 상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -; 및
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하는 단계를 포함하고,
시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다.
본 발명의 제7 양태에 따르면, 실행될 때, 장치로 하여금 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 제공되고, 이 방법은:
시공간 상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하는 단계;
시공간 상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -; 및
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하는 단계를 포함하고,
시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다.
본 발명의 제8 양태에 따르면, 실행될 때, 장치로 하여금 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 포함하는 컴퓨터-판독가능한 매체가 제공되고, 이 방법은:
시공간 상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하는 단계;
시공간 상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -; 및
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하는 단계를 포함하고,
시공간 상관 요소들의 세트는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다.
본 발명의 제9 양태에 따르면, 장치가 제공되고, 이 장치는:
상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하고;
상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하며 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -;
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하도록 구성되고,
상관 요소들의 세트는, 적어도, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타내며,
입력 데이터는, 상관 요소들의 세트가 공간 상관의 정도를 나타내는지, 또는 상관 요소들의 세트가 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 더 나타내는지를 식별하는 데이터를 포함한다.
본 발명의 제10 양태에 따르면, 방법이 제공되고, 이 방법은:
상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하는 단계;
상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -; 및
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하는 단계를 포함하고,
상관 요소들의 세트는, 적어도, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타내며,
입력 데이터는, 상관 요소들의 세트가 공간 상관의 정도를 나타내는지, 또는 상관 요소들의 세트가 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 더 나타내는지를 식별하는 데이터를 포함한다.
본 발명의 제11 양태에 따르면, 실행될 때, 장치로 하여금 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 제공되고, 이 방법은:
상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하는 단계;
상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 -; 및
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하는 단계를 포함하고,
상관 요소들의 세트는, 적어도, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타내며,
입력 데이터는, 상관 요소들의 세트가 공간 상관의 정도를 나타내는지, 또는 상관 요소들의 세트가 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 더 나타내는지를 식별하는 데이터를 포함한다.
본 발명의 제12 양태에 따르면, 실행될 때, 장치로 하여금 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 포함하는 컴퓨터-판독가능한 매체가 제공되고, 이 방법은:
상관 요소들의 세트에 기초한 제1 입력 데이터 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신하는 단계;
상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하는 단계 - 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 기초함 - ; 및
제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성하는 단계를 포함하고,
상관 요소들의 세트는, 적어도, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타내며,
입력 데이터는, 상관 요소들의 세트가 공간 상관의 정도를 나타내는지, 또는 상관 요소들의 세트가 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 더 나타내는지를 식별하는 데이터를 포함한다.
추가의 피처 및 이점들은 첨부된 도면을 참조하여 이루어지고 단지 예로서 주어지는 이하의 설명으로부터 명백하게 될 것이다.
도 1은 본 발명의 한 실시예에 따른 신호 처리 시스템의 한 예의 개략적인 블록도를 도시한다;
도 2a 및 도 2b는 본 발명의 한 실시예에 따른 신호 처리 시스템의 또 다른 예의 개략적인 블록도를 도시한다;
도 3a 및 도 3b는 본 발명의 한 실시예에 따른 신호 처리 시스템의 또 다른 예의 개략적인 블록도를 도시한다;
도 4a 및 도 4b는 본 발명의 한 실시예에 따른 신호 처리 시스템의 또 다른 예의 개략적인 블록도를 도시한다;
도 5a 및 도 5b는 본 발명의 한 실시예에 따른 신호 처리 시스템의 또 다른 예의 개략적인 블록도를 도시한다;
도 6은 본 발명의 한 실시예에 따른 방법의 한 예를 도시하는 흐름도이다;
도 7은 본 발명의 한 실시예에 따른 방법의 또 다른 예를 도시하는 흐름도이다; 및
도 8은 본 발명의 한 실시예에 따른 장치의 한 예의 개략적인 블록도를 도시한다.
도 1을 참조하면, 신호 처리 시스템(100)의 한 예가 도시되어 있다. 신호 처리 시스템(100)은 신호를 처리하는데 이용된다. 신호의 유형들의 예로는, 비디오 신호, 이미지 신호, 오디오 신호, 의학, 과학 또는 홀로그래픽 이미징에 이용되는 것들 등의 체적 신호, 또는 기타의 다차원 신호가 포함되지만, 이것으로 제한되는 것은 아니다.
신호 처리 시스템(100)은 제1 장치(102) 및 제2 장치(104)를 포함한다. 제1 장치(102) 및 제2 장치(104)는, 제1 장치(102)가 서버 디바이스의 기능을 수행하고 제2 장치(104)가 클라이언트 디바이스의 기능을 수행하는 클라이언트-서버 관계를 가질 수 있다. 신호 처리 시스템(100)은 적어도 하나의 추가 장치(미도시)를 포함할 수 있다. 제1 장치(102) 및/또는 제2 장치(104)는 하나 이상의 컴포넌트를 포함할 수 있다. 컴포넌트들은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 하나 이상의 컴포넌트는 신호 처리 시스템(100)에서 함께 위치되거나 서로로부터 원격 위치될 수 있다. 장치의 유형들의 예로는, 컴퓨터 디바이스, 라우터, 워크스테이션, 핸드헬드 또는 랩탑 컴퓨터, 태블릿, 모바일 디바이스, 게임 콘솔, 스마트 TV, 셋탑 박스, 증강 및/또는 가상 현실 헤드셋 등이 포함되지만, 이것으로 제한되는 것은 아니다.
제1 장치(102)는 데이터 통신 네트워크(106)를 통해 제2 장치(104)에 통신가능하게 결합된다. 데이터 통신 네트워크(106)의 예는, 인터넷, 근거리 통신망(LAN) 및 광역 통신망(WAN)을 포함하지만, 이것으로 제한되는 것은 아니다. 제1 및/또는 제2 장치(102, 104)는 데이터 통신 네트워크(106)로의 유선 및/또는 무선 접속을 가질 수 있다.
제1 장치(102)는 인코더 디바이스(108)를 포함한다. 인코더 디바이스(108)는, 이하에서부터 "신호 데이터"라고 지칭되는, 신호에 포함된 데이터를 인코딩하도록 구성된다. 인코더 디바이스(108)는 신호 데이터를 인코딩하는 것 외에도 하나 이상의 추가 기능을 수행할 수 있다. 인코더 디바이스(108)는 다양한 상이한 방식으로 구현될 수 있다. 예를 들어, 인코더 디바이스(108)는 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
제2 장치(104)는 디코더 디바이스(110)를 포함한다. 디코더 디바이스(110)는 신호 데이터를 디코딩하도록 구성된다. 디코더 디바이스(110)는 신호 데이터를 디코딩하는 것 외에도 하나 이상의 추가 기능을 수행할 수 있다. 디코더 디바이스(110)는 다양한 상이한 방식으로 구현될 수 있다. 예를 들어, 디코더 디바이스(110)는 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
인코더 디바이스(108)는 신호 데이터를 인코딩하고 인코딩된 신호 데이터를 데이터 통신 네트워크(106)를 통해 디코더 디바이스(110)에 전송한다. 디코더 디바이스(110)는 수신된 인코딩된 신호 데이터를 디코딩하고 디코딩된 신호 데이터를 생성한다. 디코더 디바이스(110)는, 디코딩된 신호 데이터, 또는 디코딩된 신호 데이터를 이용하여 도출된 데이터를 출력할 수 있다. 예를 들어, 디코더 디바이스(110)는, 제2 장치(104)와 연관된 하나 이상의 디스플레이 디바이스 상에서의 디스플레이를 위해 이러한 데이터를 출력할 수 있다.
여기서 설명된 일부 예에서, 인코더 디바이스(108)는 주어진 품질 레벨에서의 신호의 렌디션, 및 디코더 디바이스(110)가 하나 이상의 더 높은 품질 레벨에서의 신호의 렌디션을 재구성하는데 이용할 수 있는 정보를 디코더 디바이스(110)에 전송한다. 주어진 품질 레벨에서 신호의 렌디션은 주어진 품질 레벨에서의 신호에 포함된 데이터의 표현, 버전 또는 묘사인 것으로 간주될 수 있다.
일부 공지된 기술과 비교하여, 본 명세서에 설명된 예들은 비교적 적은 양의 정보가 이러한 재구성에 이용되는 것을 허용한다. 이것은 데이터 통신 네트워크(106)를 통해 전송되는 데이터의 양을 감소시킬 수 있다. 신호 데이터가 공지된 시스템에서 전송되는 정보의 양이 특히 많은 고품질 비디오 데이터에 대응하는 경우에 특히 절약이 중요할 수 있다.
도 2a 및 도 2b를 참조하면, 신호 처리 시스템(200)의 한 예가 개략적으로 도시되어 있다. 신호 처리 시스템(200)은, 인코더 디바이스를 포함하는 제1 장치(202), 및 디코더 디바이스를 포함하는 제2 장치(204)를 포함한다. 제1 장치(202) 및 제2 장치(204) 각각에서, 항목들은 2개의 논리 레벨 상에 도시되어 있다. 두 레벨은 점선으로 분리된다. 제1, 최고 레벨의 항목은 비교적 높은 품질 레벨의 데이터와 관련된다. 제2, 최저 레벨의 항목은 비교적 낮은 품질 레벨의 데이터와 관련된다. 비교적 높은 품질 레벨 및 비교적 낮은 품질 레벨은 복수의 품질 레벨을 갖는 계층 구조와 관련된다. 일부 예에서, 계층 구조는 2개보다 많은 품질 레벨을 포함한다. 이러한 예에서, 제1 장치(202) 및 제2 장치(204)는 2개보다 많은 상이한 레벨들을 포함할 수 있다. 도 2a 및 도 2b에 도시된 것들 위에 및/또는 아래에 하나 이상의 다른 레벨이 있을 수 있다.
먼저, 도 2a를 참조하면, 제1 장치(202)는 비교적 높은 품질 레벨에서의 신호(206)의 신호의 제1 시간 샘플 t1의 렌디션을 획득한다. 신호의 주어진 시간 샘플의 렌디션은, 주어진 시점에서 신호에 포함된 데이터의 표현이다. 비교적 높은 품질 레벨(206)에서의 신호의 제1 시간 샘플 t1의 렌디션은 이후부터 "입력 데이터"라고 지칭될 것이고, 이 예에서, 이것은 제1 장치(202) 내의 인코더 디바이스에 대한 입력으로서 제공되는 데이터이다. 제1 장치(202)는 입력 데이터(206)를 수신할 수 있다. 예를 들어, 제1 장치(202)는 적어도 하나의 다른 장치로부터 입력 데이터(206)를 수신할 수 있다.
신호가 비디오 신호일 때, 신호의 제1 시간 샘플은 비디오 신호를, 이미지의 전부 또는 일부, 또는 이미지들의 시퀀스로부터의 프레임, 또는 비디오 신호를 구성하는 프레임들일 수 있다. 입력 데이터(206)는 신호 요소들의 하나 이상의 행 및 열을 포함하는 신호 요소들의 어레이 Iij로서 배열될 수 있고, 여기서, i는 신호 요소와 연관된 행 번호를 나타내고, j는 신호 요소와 연관된 열 번호를 나타낸다. 이 예에서, 입력 데이터(206)는 신호 요소들의 제1 및 제2 행을 포함하는 어레이로서 배열된다. 제1 행은 신호 요소들(I11 및 I12)을 포함하고, 제2 행은 신호 요소들(I21 및 I22)을 포함한다. 이 예에서, 입력 데이터(206)는 이미지의 일부와 관련된다. 이미지의 일부는 타일이라고 지칭될 수 있다. 전체 이미지는 많은 이러한 타일들을 포함할 수 있고, 결과적으로 4개보다 많은 신호 요소들을 포함할 수 있다. 그러나, 편의성 및 간결성을 위해, 이 예에서 입력 데이터는 단지 4개의 신호 요소를 포함한다.
제1 장치(202)는 입력 데이터(206)에 기초하여 데이터(212)를 도출한다. 이 예에서, 입력 데이터(206)에 기초한 데이터(212)는 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 예비 표현(212)이다. 이 예에서, 데이터(212)는 입력 데이터(206)에 관해 다운샘플링 동작을 수행함으로써 도출되므로, 이하에서부터는 "다운샘플링된 데이터"라고 지칭될 것이다. 다른 예들에서, 데이터(212)는 입력 데이터(206)에 관해 다운샘플링 동작 이외의 동작을 수행함으로써 도출된다.
이 예에서, 다운샘플링된 데이터(212)는 비교적 낮은 품질 레벨에서 처리된 데이터(213)를 생성하도록 처리된다. 다른 예들에서, 다운샘플링된 데이터(212)는 비교적 낮은 품질 레벨에서 처리되지 않는다. 따라서, 제1 장치(202)는 비교적 낮은 품질 레벨에서 데이터를 생성할 수 있고, 여기서, 비교적 낮은 품질 레벨의 데이터는 다운샘플링된 데이터(212) 또는 처리된 데이터(213)를 포함한다.
일부 예에서, 처리된 데이터(213)를 생성하는 것은 다운샘플링된 데이터(212)를 인코딩하는 것을 포함한다. 다운샘플링된 데이터(212)를 인코딩하는 것은 비교적 낮은 품질 레벨에서 인코딩된 신호를 생성한다. 제1 장치(202)는 예를 들어 제2 장치(204)에 전송하기 위해 인코딩된 신호를 출력할 수 있다. 제1 장치(202)에서 생성되는 것 대신에, 인코딩된 신호는 제1 장치(202)와는 별개의 인코딩 디바이스에 의해 생성될 수도 있다. 인코딩된 신호는 H.264 인코딩된 신호일 수 있다. H.264 인코딩은 이미지들의 시퀀스를 GOP(Group of Pictures)로 배열하는 것을 포함할 수 있다. GOP 내의 각각의 이미지는 신호의 상이한 시간 샘플을 나타낸다. GOP 내의 주어진 이미지는, '프레임간 예측(inter-frame prediction)'이라고 알려진 프로세스에서, 동일한 GOP로부터의 이전 및/또는 이후 시간 샘플들과 연관된 하나 이상의 참조 이미지를 이용하여 인코딩될 수 있다.
비교적 낮은 품질 레벨에서 처리된 데이터(213)를 생성하는 것은, 비교적 낮은 품질 레벨에서 인코딩된 신호를 디코딩하는 것을 더 포함할 수 있다. 이하에서 명백해지는 바와 같이, 디코딩 동작은 제2 장치(204)에서의 디코딩 동작을 에뮬레이트하도록 수행될 수 있다. 인코딩된 신호를 디코딩하는 것은, 비교적 낮은 품질 레벨에서 디코딩된 신호를 생성한다. 일부 예에서, 제1 장치(202)는 비교적 낮은 품질 레벨에서 인코딩된 신호를 디코딩하여 비교적 낮은 품질 레벨에서 디코딩된 신호를 생성한다. 다른 예들에서, 제1 장치(202)는, 예를 들어, 제1 장치(202)와 별개인 인코딩 및/또는 디코딩 디바이스로부터, 비교적 낮은 품질 레벨의 디코딩된 신호를 수신한다. 인코딩된 신호는 H.264 디코더를 이용하여 디코딩될 수 있다. H.264 디코딩은, 비교적 낮은 품질 레벨의 이미지들의 시퀀스(즉, 신호의 시간 샘플들의 시퀀스)를 생성한다. 개개의 이미지들 중 어느 것도, H.264 디코딩 프로세스의 완료에 후속하는 시퀀스 내의 상이한 이미지들 사이의 시간 상관을 나타내지 않는다. 따라서, 순차 이미지들이 서로 분리되므로, H.264 인코딩에 의해 채용되는 순차 이미지들 사이의 시간 상관의 임의의 활용이 H.264 디코딩 동안에 제거된다. 따라서, 후속 처리는, 제1 장치(202)가 비디오 신호 데이터를 처리하는 이미지별로 수행된다.
한 예에서, 비교적 낮은 품질 레벨에서 처리된 데이터(213)를 생성하는 것은, 예를 들어, 다운샘플링된 데이터(212)와 제1 장치(202)에 의해 획득된 디코딩된 신호 사이의 비교에 기초하여, 예를 들어, 다운샘플링된 데이터(212)와 디코딩된 신호 사이의 차이에 기초하여 정정 데이터를 획득하는 것을 포함한다. 정정 데이터는, 다운샘플링된 데이터(212)를 인코딩 및 디코딩하는데 있어서 도입된 에러를 정정하는데 이용될 수 있다. 일부 예에서, 제1 장치(202)는, 예를 들어 인코딩된 신호뿐만 아니라, 제2 장치(204)로의 전송을 위한 정정 데이터를 출력한다. 이것은, 수신자가 다운샘플링된 데이터(212)를 인코딩 및 디코딩하는데 있어서 도입된 에러를 정정하는 것을 허용한다.
일부 예에서, 비교적 낮은 품질 레벨에서 처리된 데이터(213)를 생성하는 것은, 정정 데이터를 이용하여 디코딩된 신호를 정정하는 것을 더 포함한다. 다른 예들에서, 정정 데이터를 이용하여 디코딩된 신호를 정정하는 것이 아니라, 제1 장치(202)는 다운샘플링된 데이터(212)를 이용한다.
일부 예에서, 처리된 데이터(213)를 생성하는 것은, 전술된 인코딩, 디코딩, 획득 및 정정 동작 이외의 하나 이상의 동작을 수행하는 것을 포함한다.
제1 장치(202)는 비교적 낮은 품질 레벨의 데이터에 기초하여 데이터(214)를 획득한다. 전술된 바와 같이, 비교적 낮은 품질 레벨의 데이터는, 처리된 데이터(213) 또는 다운샘플링된 데이터(212)를 포함할 수 있고, 여기서, 다운샘플링된 데이터(212)는 더 낮은 레벨에서 처리되지 않는다. 이 예에서, 데이터(214)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션이며, 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션은 입력 데이터(206)이다. 비교적 높은 품질 레벨에서의 제2 렌디션은, 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 예비 또는 예측된 렌디션인 것으로 간주될 수 있다. 이 예에서, 제1 장치(202)는 비교적 낮은 품질 레벨에서 데이터에 관해 업샘플링 동작을 수행함으로써 데이터(214)를 도출한다. 데이터(214)는 이하에서부터 "업샘플링된 데이터"라고 지칭될 것이다. 그러나, 다른 예들에서, 예를 들어, 데이터(212)가 입력 데이터(206)를 다운샘플링함으로써 도출되지 않는 경우에, 하나 이상의 다른 동작이 데이터(214)를 도출하는데 이용될 수 있다.
입력 데이터(206)와 유사하게, 업샘플링된 데이터(214)는, 신호 요소들의 하나 이상의 행 및 열을 포함하는 신호 요소들의 어레이 Uij로서 배열될 수 있고, 여기서, i는 신호 요소와 연관된 행 번호를 나타내고, j는 신호 요소와 연관된 열 번호를 나타낸다.
입력 데이터(206) 및 업샘플링된 데이터(214)는 잔차 데이터(216)를 획득하는데 이용된다. 잔차 데이터(216)는 신호의 제1 시간 샘플 t1과 연관된다. 잔차 데이터(216)는 잔차 요소들의 세트의 형태일 수 있다. 이 예에서, 잔차 요소들의 세트(216)는 잔차 요소들의 제1 및 제2 행을 포함하는 잔차 요소들의 어레이로서 배열된다. 제1 행은 잔차 요소들(r11 및 r12)을 포함하고, 제2 행은 잔차 요소들(r21 및 r22)을 포함한다. 잔차 요소들의 세트(216) 내의 잔차 요소는 입력 데이터(206) 내의 각각의 신호 요소와 연관된다. 예를 들어, 잔차 데이터(216)의 잔차 요소(r12)는 입력 데이터(206) 내의 각각의 신호 요소(I12)와 연관된다.
이 예에서, 주어진 잔차 요소는, 입력 데이터(206) 내의 대응하는 신호 요소의 값으로부터 업샘플링된 데이터(214)의 신호 요소의 값을 감산함으로써 획득된다. 따라서,
Figure pat00001
이고, 여기서 i는 요소와 연관된 행 번호를 나타내고, j는 요소와 연관된 열 번호를 나타낸다.
Figure pat00002
이므로, 잔차 요소들의 세트(216)는 입력 데이터(206)를 재구성하기 위해 업샘플링된 데이터(214)와 조합하여 이용될 수 있다. 잔차 데이터(216)는 또한, "재구성 데이터"또는 "강화 데이터"라고 지칭될 수 있다.
한 세트의 공간 상관 요소(218)는 잔차 요소들의 세트(216)를 이용하여 생성된다. 용어 "공간 상관 요소"는, 잔차 요소들의 세트(216) 내의 복수의 잔차 요소들 사이의 공간 상관성의 정도 또는 측정을 나타내는 요소를 나타내기 위해 본 명세서에서 이용된다. 공간 상관 요소들의 세트(218) 내의 상관 요소들은 또한, "계수들", "공간 계수들" 또는 "변환된 요소들"이라고 지칭될 수 있다. 공간 상관 요소들의 세트(218)는 신호의 제1 시간 샘플 t1과 연관된다. 이 예에서, 공간 상관 요소들의 세트(218)는 신호 요소들의 제1 및 제2 행들을 포함하는 데이터 요소들의 어레이로서 배열된다. 이 예에서, 공간 상관 요소들의 세트(218)는, 상관 요소들 A, H, V, D의 2x2 어레이로서 배열된다. 공간 상관 요소들의 세트(218) 내의 요소들은, 2x2 어레이 이외의 형태, 예를 들어 4x1 또는 1x4 어레이로 배열될 수도 있다.
이 예에서, 공간 상관 요소들의 세트(218)는 잔차 요소들의 세트(216)를 변환 행렬(또는 '커널') K로 미리곱함(pre-multiplying)으로써 도출된다. 이 예에서, 변환 행렬은 4x4 행렬이다:
Figure pat00003
이 예에서, 공간 상관 요소들의 세트(218)는 다음과 같은 수학식에 기초하여 도출되며, 여기서, 공간 상관 요소들의 세트(218) 및 잔차 요소들의 세트(216) 양쪽 모두는 4 × 1 어레이로서 도시되어 있다:
Figure pat00004
따라서,
Figure pat00005
Figure pat00006
Figure pat00007
, 및
Figure pat00008
.
A는 잔차 요소들의 세트(216) 내의 잔차 요소들의 평균을 나타낸다. H는 잔차 요소들의 세트(216) 내의 잔차 요소들 사이의 수평 상관 및/또는 '틸트(tilt)'를 나타낸다. V는 잔차 요소들의 세트(216) 내의 잔차 요소들 사이의 수직 상관 및/또는 '틸트'를 나타낸다. D는 잔차 요소들의 세트(216) 내의 잔차 요소들 사이의 대각선 상관 및/또는 '틸트'를 나타낸다. 따라서, 본 명세서에서 설명된 상관 요소들은 이웃하는 잔차 요소들 사이의 방향적 및/또는 공간 상관을 활용하고 그 정도를 나타낸다.
공간 상관 요소들의 세트(218)는 평균값 A 대신 델타 평균 값 ΔA를 포함할 수 있다. 일부 예에서, ΔA는, 입력 데이터(206) 내의 신호 요소들의 평균과, 더 낮은 품질 레벨에서의 데이터, 예를 들어, 다운샘플링된 데이터(212) 또는 처리된 데이터(213) 내의 대응하는 신호 요소들의 평균 사이의 차이로서 정의된다. 일부 예에서, ΔA는, 잔차 요소들의 세트(216)의 값들의 평균, A, 더 낮은 품질 레벨의 데이터 내의 신호 요소들의 평균 및 업샘플링된 데이터(214) 내의 신호 요소들의 평균에 기초하여 도출된다. ΔA는, A보다 작거나 및/또는 A보다 더 0일 가능성이 클 수 있다. 이것은 공간 상관 요소들의 세트(218)의 효율적인 인코딩, 및 평균값 A를 이용하는 것에 비해 제1 장치(202)와 제2 장치(204) 사이의 감소된 데이터 전송량을 용이화할 수 있다. 델타 평균값 ΔA는 제2 장치(202)에 제공되어 제2 장치가 평균값 A를 계산할 수 있게 할 수 있다.
제1 장치(202)가 잔차 요소들의 세트(216)를 제2 장치(204)에 전송하는 것 대신에, 일부 예에서, 제1 장치(202)는 대신에 공간 상관 요소들의 세트(218)를 제1 장치(202)에 전송한다. 공간 상관 요소들의 세트(218)는 복수의 잔차 요소들 사이의 공간 중복성을 이용하기 때문에, 예를 들어, 더 높은 잔차 레벨에서의 잔차 요소들의 세트(216) 내의 잔차 요소들 사이에 비교적 강한 정도의 공간 상관이 있을 때, 공간 상관 요소들의 세트(218)는 잔차 요소들의 세트(216)보다 작을 가능성이 높다. 공간 상관 요소들의 세트(218)는 일부 경우에 0의 값을 갖는 공간 상관 요소들을 포함할 수 있고, 이것은 인코딩하는데 특히 효율적일 수 있다. 따라서, 예를 들어, 잔차 요소들의 세트(216) 내의 잔차 요소들 사이에 비교적 강한 정도의 공간 상관이 존재할 때, 잔차 요소들의 세트(216)보다 더 적은 데이터가 공간 상관 요소들의 세트(218)를 전송하는데 이용될 수 있다. 공간 상관 요소들의 세트(218)를 전송하는데 필요한 데이터의 양은, 예를 들어, 잔차 레벨에서 비교적 약한 양의 공간 상관이 존재할 때, 잔차 요소들의 세트(216)를 전송하는데 필요한 데이터의 양보다 크거나 동일한 크기일 수 있다.
이 예에서, 제1 장치(202)는 다운샘플링된 데이터(212)에 기초하여 출력 데이터를 전송하고 또한 공간 상관 요소들의 세트(218)를 제2 장치(204)에 전송한다.
이제 도 2b를 참조하면, 제2 장치(204)는 다운샘플링된 데이터(212)에 기초하여 데이터(220)를 수신하고 또한 공간 상관 요소들의 세트(218)를 수신한다. 다운샘플링된 데이터(212)에 기초한 데이터(220)는 다운샘플링된 데이터(212) 자체, 처리된 데이터(213), 또는 다운샘플링된 데이터(212) 또는 처리된 데이터(213)로부터 도출된 데이터일 수 있다.
일부 예에서, 수신된 데이터(220)는 처리된 데이터(213)를 포함하며, 이것은 비교적 낮은 품질 레벨의 인코딩된 신호 및/또는 정정 데이터를 포함할 수 있다. 일부 예에서, 예를 들어 제1 장치(202)가 다운샘플링된 데이터(212)를 처리하여 처리된 데이터(213)를 생성하는 경우, 제2 장치(204)는 수신된 데이터(220)를 처리하여 처리된 데이터(222)를 생성한다. 제2 장치(204)에 의한 이러한 처리는, 인코딩된 신호를 디코딩하여 비교적 낮은 품질 레벨에서 디코딩된 신호를 생성하는 것을 포함할 수 있다. 일부 예에서, 제2 장치(204)에 의한 처리는 획득된 정정 데이터를 이용하여 디코딩된 신호를 정정하는 것을 포함한다. 일부 예에서, 비교적 낮은 품질 레벨에서의 인코딩된 신호는 제2 장치(204)와는 별개의 디코딩 디바이스에 의해 디코딩된다. 비교적 낮은 품질 레벨의 인코딩된 신호는 H.264 디코더를 이용하여 디코딩될 수 있다.
다른 예들에서, 수신된 데이터(220)는 다운샘플링된 데이터(212)를 포함하고 처리된 데이터(213)를 포함하지 않는다. 일부 이러한 예에서, 제2 장치(204)는 처리된 데이터(222)를 생성하기 위해 수신된 데이터(220)를 처리하지 않는다.
제2 장치(204)는 비교적 낮은 품질 레벨의 데이터를 이용하여 업샘플링된 데이터(214)를 도출한다. 전술된 바와 같이, 비교적 낮은 품질 레벨의 데이터는 처리된 데이터(222) 또는 수신된 데이터(220)를 포함할 수 있고, 여기서, 제2 장치(204)는 수신된 데이터(220)를 비교적 낮은 품질 레벨에서 처리하지 않는다. 업샘플링된 데이터(214)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 예비 렌디션이다. 업샘플링된 데이터(214)는 비교적 낮은 품질 레벨에서 데이터에 관해 업샘플링 동작을 수행함으로써 도출될 수 있다.
제2 장치(204)는 제1 장치(202)로부터 수신된 공간 상관 요소들의 세트(218)에 적어도 부분적으로 기초하여 잔차 요소들의 세트(216)를 획득한다. 잔차 요소들의 세트(216)는 입력 데이터(206)를 재구성하기 위해 업샘플링된 데이터(214)와 함께 이용될 수 있다. 잔차 요소들의 세트(216)는 입력 데이터(206)와 업샘플링된 데이터(214) 사이의 비교를 나타낸다.
제2 장치(204)는 제1 장치(202)에 의해 이용된 변환 행렬의 역함수를 회수하여 공간 상관 요소들의 세트(218)를 생성하고 공간 상관 요소들의 세트(218)의 사전-곱셈에 기초하여 변환 행렬의 역에 의해 잔차 요소들의 세트(216)를 도출할 수 있다.
공간 상관 요소들의 세트(218)는 잔차 요소들 사이의 공간 상관을 활용한다. 그러나, 잔차 요소들의 세트(216) 및 그에 따라 공간 상관 요소들의 세트(218)는 신호의 단일 시간 샘플만을 나타내기 때문에, 어떠한 시간 상관도 공간 상관 요소들의 세트(218)에 의해 활용되지 않는다. 예를 들어, 신호가 비디오 신호인 경우, 잔차 요소들의 세트(216)는 이미지별로 획득되고 비디오 신호의 컴포넌트 이미지들 사이의 시간 상관을 활용하지 않는다.
도 3a 및 도 3b를 참조하면, 신호 처리 시스템(300)의 한 예가 개략적으로 도시되어 있다. 도 3a 및 도 3b에 도시된 일부 항목은 도 2a 및 도 2b에 도시된 항목들과 유사하다. 따라서 유사한 항목에 대해서는, 100씩 증가된 대응하는 참조 부호들이 사용되었다.
먼저 도 3a를 참조하면, 제1 장치(302)는 비교적 높은 품질 레벨의 입력 데이터(306)를 획득한다. 입력 데이터(306)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 제1 렌디션을 포함한다. 제1 장치(302)는, 입력 데이터(306)를 이용하여, 예를 들어 입력 데이터(306)에 관해 다운샘플링 동작을 수행함으로써, 비교적 낮은 품질 레벨에서 다운샘플링된 데이터(312)를 도출한다. 다운샘플링된 데이터(312)가 비교적 낮은 품질 레벨에서 처리되는 경우, 이러한 처리는 비교적 낮은 품질 레벨에서 처리된 데이터(313)를 생성한다. 그러나, 전술된 바와 같이, 일부 예에서, 다운샘플링된 데이터(312)에 관해 어떠한 처리도 수행되지 않는다. 비교적 낮은 품질 레벨의 데이터는, 예를 들어 비교적 낮은 품질 레벨에서 데이터에 관해 업샘플링 동작을 수행함으로써, 비교적 높은 품질 레벨에서 업샘플링된 데이터(314)를 도출하는데 이용된다. 업샘플링된 데이터(314)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 포함한다. 제1 장치(302)는 업샘플링된 데이터(314)를 이용하여 입력 데이터(306)를 재구성하는데 이용 가능한 잔차 요소들의 세트(316)를 획득한다. 잔차 요소들의 세트(316)는 신호의 제1 시간 샘플 t1과 연관된다. 잔차 요소들의 세트(316)는 입력 데이터(306)를 업샘플링된 데이터(314)와 비교함으로써 획득된다.
이 예에서, 제1 장치(302)는 시공간 상관 요소들의 세트(326)를 생성한다. 용어 "시공간 상관 요소"는, 본 명세서에서, 잔차 요소들 사이의 공간 상관의 정도에 외에도, 시간 상관의 정도를 나타내는 상관 요소를 의미하기 위해 사용된다. 이 예에서, 시공간 상관 요소들의 세트(326)는, 신호의 제1 시간 샘플 t1 및 신호의 제2 시간 샘플 t0 양쪽 모두와 연관된다. 이것은, 신호의 제1 시간 샘플 t1에만 연관되는 전술된 공간 상관 요소들의 세트(218) 내의 공간 상관 요소들과는 대조적이다. 본 명세서에 설명된 예에서, 제2 시간 샘플 t0은 제1 시간 샘플에 비해 더 이른 시간 샘플이다. 그러나, 다른 예제에서 제2 시간 샘플 t0은 제1 시간 샘플 t1에 비하여 더 나중의 시간 샘플이다. 입력 데이터(306)가 시간 샘플들의 시퀀스를 포함하는 일부 예에서, 더 이른 시간 샘플은 입력 데이터에서 제1 시간 샘플 t1에 선행하는 시간 샘플을 의미한다. 제1 시간 샘플 t1 및 더 이른 시간 샘플이 프리젠테이션 순서로 배열되어 있는 경우, 더 이른 시간 샘플은 제1 시간 샘플 t1보다 선행한다.
제2 시간 샘플 t0은 제1 시간 샘플 t1에 관한 직전 시간 샘플일 수 있다. 일부 예에서, 제2 시간 샘플 t0은 제1 시간 샘플 t1에 관한 선행 시간 샘플이지만, 제1 시간 샘플 t1에 관한 직전 시간 샘플은 아니다.
이 예에서, 시공간 상관 요소들의 세트(326)는 잔차 요소들의 세트(316) 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타낸다. 시공간 상관 요소들의 세트(326)는 또한, 예를 들어 입력 데이터(306)에 기초한 제1 기준 데이터와, 예를 들어, 비교적 높은 품질 레벨의 신호의 제2 시간 샘플 t0의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다. 따라서, 제1 기준 데이터는 신호의 제1 시간 샘플 t1과 연관되고, 제2 기준 데이터는 신호의 제2 시간 샘플 t0과 연관된다. 제1 기준 데이터 및 제2 기준 데이터는, 신호의 제1 시간 샘플 t1 및 신호의 제2 시간 샘플 t2와 관련하여 시간 상관의 정도를 결정하기 위한 기준 또는 비교자로서 이용된다. 제1 기준 데이터 및/또는 제2 기준 데이터는 비교적 높은 품질 레벨일 수 있다.
일부 예에서, 제1 기준 데이터 및 제2 기준 데이터는 제1 및 제2 세트의 공간 상관 요소를 각각 포함하고, 제1 세트의 공간 상관 요소는 신호의 제1 시간 샘플 t1과 연관되고, 제2 세트의 공간 상관 요소는 신호의 제2 시간 샘플 t0과 연관된다.
다른 예들에서, 제1 기준 데이터 및 제2 기준 데이터는 신호의 제1 및 제2 렌디션을 각각 포함하고, 제1 렌디션은 신호의 제1 시간 샘플 t1과 연관되며, 제2 렌디션은 신호 제2 시간 샘플 t0과 연관된다.
시공간 상관 요소들의 세트(326)는 이하에서부터 "Δt 상관 요소"라고 지칭될 것인데, 이것은, 잔차 요소들 사이의 공간 상관을 활용하는 것 외에도, Δt 상관 요소(326)를 생성하기 위해 상이한 시간 샘플로부터의 데이터를 이용하여 시간 상관도 역시 이용되기 때문이다.
이 예에서, 제1 장치(302)가 공간 상관 요소들의 세트(218)를 제2 장치(304)에 전송하는 것 대신에, 제1 장치(302)는 Δt 상관 요소들의 세트(326)를 대신 전송한다. Δt 상관 요소들의 세트(326)가 더 높은 잔차 레벨에서 시간 중복성을 이용하기 때문에, Δt 상관 요소들의 세트(326)는 예를 들어 강한 시간 상관이 있는 경우 공간 상관 요소들의 세트(218)보다 작을 가능성이 크며, 일부 경우에는 제로 값을 갖는 더 많은 상관 요소들을 포함할 수 있다. 따라서, 공간 상관 요소들의 세트(218)보다 더 적은 데이터가 Δt 상관 요소들의 세트(326)를 전송하는데 이용될 수 있다.
이제 도 3b를 참조하면, 제2 장치(304)는 다운샘플링된 데이터(312)에 기초하여 데이터(320)를 수신하고 Δt 상관 요소들의 세트(326)를 수신한다.
제1 장치(302)가 처리된 데이터(313)를 생성하기 위해 다운샘플링된 데이터(312)를 처리한 경우, 제2 장치(304)는 수신된 데이터(320)를 처리하여 처리된 데이터(322)를 생성한다. 처리는 인코딩된 신호를 디코딩하여 비교적 낮은 품질 레벨에서 디코딩된 신호를 생성하는 것을 포함할 수 있다. 앞서 나타낸 바와 같이, 일부 예에서, 제2 장치(304)는 수신된 데이터(320)에 관해 이러한 처리를 수행하지 않는다. 비교적 낮은 품질 레벨의 데이터, 예를 들어 수신된 데이터(320) 또는 처리된 데이터(322)는, 업샘플링된 데이터(314)를 도출하는데 이용된다. 업샘플링된 데이터(314)는 비교적 낮은 품질 레벨에서 데이터에 관해 업샘플링 동작을 수행함으로써 도출될 수 있다.
제2 장치(304)는 Δt 상관 요소들의 세트(326)에 적어도 부분적으로 기초하여 잔차 요소들의 세트(316)를 획득한다. 잔차 요소들의 세트(316)는 업샘플링된 데이터(314)를 이용하여 입력 데이터(306)를 재구성하는데 이용 가능하다.
도 4a 및 도 4b를 참조하면, 신호 처리 시스템(400)의 한 예가 개략적으로 도시되어 있다. 도 4a 및 도 4b에 도시된 일부 항목은 도 2a 및 도 2b에 도시된 항목들과 유사하다. 따라서 유사한 항목에 대해서는, 200씩 증가된 대응하는 참조 부호들이 사용되었다.
먼저 도 4a를 참조하면, 제1 장치(402)는 입력 데이터(406)를 획득한다. 입력 데이터(406)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 제1 렌디션을 포함한다. 제1 장치(402)는 다운샘플링된 데이터(412)를 도출하기 위해 입력 데이터(406)를 이용한다. 다운샘플링된 데이터(412)는 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 렌디션을 포함한다. 일부 예에서, 다운샘플링된 데이터(412)는 처리된 데이터(413)를 생성하도록 처리된다. 다른 예들에서, 다운샘플링된 데이터(412)에 관해 어떠한 처리도 수행되지 않는다. 비교적 낮은 품질 레벨의 데이터, 예를 들어, 다운샘플링된 데이터(412) 또는 처리된 데이터(413)는 업샘플링된 데이터(414)를 도출하는데 이용된다. 업샘플링된 데이터(414)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 제2 렌디션을 포함한다. 제1 장치(402)는, 입력 데이터(406)를 업샘플링된 데이터(414)와 비교함으로써 잔차 요소들의 세트(416)를 획득한다.
이 예에서, 제1 장치(402)는 잔차 요소들의 세트(416)를 이용하여 제1 세트의 공간 상관 요소(418)를 생성한다. 제1 세트의 공간 상관 요소(418)는 신호의 제1 시간 샘플 t1과 연관된다. 제1 세트의 공간 상관 요소(418) 내의 적어도 하나의 상관 요소는 잔차 요소들의 세트(416) 내의 복수의 잔차 요소 사이의 공간 상관의 정도를 나타낸다. 예를 들어, 제1 세트의 공간 상관 요소(418) 내의 적어도 하나의 상관 요소는, 잔차 요소들의 세트(416) 내의 이웃하는 잔차 요소들 사이의 수평, 수직 및/또는 대각선 유사성 및/또는 "틸트"를 나타낼 수 있다. 제1 세트의 공간 상관 요소(418)는 공간 상관을 활용하지만 더 높은 잔차 레벨에서 시간 상관을 활용하지 않는다.
이 예에서, 제1 장치(402)는 제2 세트의 공간 상관 요소(424)를 획득한다. 이 예에서, 제2 세트의 공간 상관 요소(424)는 신호의 제2의 더 이른 시간 샘플 t0과 연관된다. 제1 장치(402)는 예를 들어 로컬 버퍼로부터 제2 세트의 공간 상관 요소(424)를 획득할 수 있다. 제2 세트의 공간 상관 요소(424)는 신호의 제2의 더 이른 시간 샘플 t0의 렌디션에 기초하고, Δt 상관 요소들이 시간 상관을 나타낼 수 있는 것에 관련된 제2 기준 데이터의 한 예이다. 제2 세트의 공간 상관 요소(424) 내의 적어도 하나의 상관 요소는, 잔차 요소들의 추가 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타내며, 잔차 요소들의 추가 세트는 신호의 제2의 더 이른 시간 샘플 t0과 연관된다. 잔차 요소들의 추가 세트는, 비교적 낮은 품질 레벨에서의 신호의 제2의 더 이른 시간 샘플 t0의 렌디션에 기초한 데이터를 이용하여, 비교적 높은 품질 레벨에서의 신호의 제2의 더 이른 시간 샘플 t0의 렌디션을 재구성하는데 이용 가능하다.
이 예에서, 제1 장치(402)는 제1 세트의 공간 상관 요소(418) 및 제2 세트의 공간 상관 요소(424)에 기초하여 Δt 상관 요소들의 세트(426)를 생성한다. Δt 상관 요소들의 세트(426)는 제1 세트의 공간 상관 요소(418)와 제2 세트의 공간 상관 요소(424) 사이의 비교, 예를 들어, 차이에 기초하여 생성될 수 있다. 결과적으로, Δt 상관 요소들의 세트(426)는 신호의 제1 시간 샘플 t1 및 신호의 제2의 더 이른 시간 샘플 t0과 연관된다. Δt 상관 요소들의 세트(426)는, 잔차 요소들의 세트(416) 내의 복수의 잔차 요소들 사이의 공간 상관의 정도, 및 제1 세트의 공간 상관 요소(418)의 형태로 된 제1 기준 데이터와 제2 세트의 공간 상관 요소(424)의 형태로 된 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다.
이 예에서, 제1 장치(402)는 Δt 상관 요소들의 세트(426)를 이용하여 제1 출력 데이터를 생성하고, 다운샘플링된 데이터(412)를 이용하여 제2 출력 데이터를 생성한다. 일부 예에서, 제2 출력 데이터는 다운샘플링된 데이터(412)를 포함한다. 제1 장치(402)가 인코딩된 신호를 생성하기 위해 다운샘플링된 데이터(412)를 처리하는 경우, 제2 출력 데이터는 인코딩된 신호를 포함한다. 제1 및 제2 출력 데이터는 예를 들어 제2 장치(404)로의 전송을 위해 출력될 수 있다.
이제 도 4b를 참조하면, 제2 장치(404)는 다운샘플링된 데이터(412)에 기초하여 데이터(420)를 수신하고 Δt 상관 요소들의 세트(426)를 수신한다.
제1 장치(402)가 처리된 데이터(413)를 생성하기 위해 다운샘플링된 데이터(412)를 처리한 경우, 수신된 데이터(420)는 제2 장치(404)에 의해 처리되어 비교적 낮은 품질 레벨에서 처리된 데이터(422)를 생성한다. 일부 예에서, 수신된 데이터(420)에 관해 낮은 품질 레벨에서 어떠한 처리도 수행되지 않는다. 비교적 낮은 품질 레벨의 데이터, 예를 들어 수신된 데이터(420) 또는 처리된 데이터(422)는, 업샘플링된 데이터(414)를 도출하는데 이용된다.
이 예에서, 제2 장치(404)는 제2 세트의 공간 상관 요소(424)를 획득한다. 제2 세트의 공간 상관 요소(424)는 제2 장치(404) 내의 버퍼로부터 회수될 수 있다. 예를 들어, 제2 장치(404)는 제1 장치(402)로부터 제2 세트의 공간 상관 요소(424)를 이전에 수신하였거나, 제1 장치(402)로부터 수신된 데이터로부터 제2 세트의 공간 상관 요소(424)를 이전에 도출했을 수도 있다.
제2 장치(404)는, 수신된 Δt 상관 요소들의 세트(426) 및 획득된 제2 세트의 공간 상관 요소(424)에 기초하여 제1 세트의 공간 상관 요소(418)를 획득한다. 제1 세트의 공간 상관 요소(418)는, 제2 세트의 공간 상관 요소(424)를 Δt 상관 요소들의 세트(426)와 결합함으로써 도출될 수 있다.
제2 장치(404)는 제1 세트의 공간 상관 요소(418)를 이용하여 잔차 요소들의 세트(416)를 도출한다. 제2 장치(404)는 잔차 요소들의 세트(416) 및 업샘플링된 데이터(414)를 이용하여 입력 데이터(406)를 재구성한다.
도 5a 및 도 5b를 참조하면, 신호 처리 시스템(500)의 한 예가 개략적으로 도시되어 있다. 도 5a 및 도 5b에 도시된 일부 항목은 도 2a 및 도 2b에 도시된 항목들과 유사하다. 따라서 유사한 항목에 대해서는, 300씩 증가된 대응하는 참조 부호들이 사용되었다.
먼저 도 5a를 참조하면, 제1 장치(502)는 입력 데이터(506)를 획득한다. 입력 데이터(506)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 제1 렌디션을 포함한다.
이 예에서, 제1 장치(502)는 비교적 높은 품질 레벨에서의 신호에서 제2의 더 이른 시간 샘플 t0의 렌디션(508)을 획득한다. 예를 들어, 제1 장치(502)는 로컬 버퍼로부터 비교적 높은 품질 레벨에서의 신호의 제2의 더 이른 시간 샘플 t0의 렌디션(508)을 회수할 수 있다. 이 예에서, 신호의 제2의 더 이른 시간 샘플 t0의 렌디션(508)은 비교적 높은 품질 레벨에서의 신호의 제2의 더 이른 시간 샘플 t0의 재구성된 렌디션이며, 이하에서부터 "재구성된 데이터"라고 지칭될 것이다. 예를 들어, 재구성된 데이터는 전술된 것과 유사한 방식으로 신호의 제2의 더 이른 시간 샘플 t0의 렌디션을 다운샘플링 및 업샘플링함으로써 획득되었을 수 있다. 재구성된 데이터(508)는 신호의 제2의 더 이른 시간 샘플 t0의 렌디션에 기초한 제2 기준 데이터의 또 다른 예이다.
제1 장치(502)는, 입력 데이터(506) 형태의 제1 기준 데이터 및 재구성된 데이터(508) 형태의 제2 기준 데이터에 기초하여 비교적 높은 품질 레벨의 신호의 차분적 렌디션(510)을 도출한다. 차분적 렌디션(510)은 입력 데이터(506)와 재구성된 데이터(508) 사이의 비교, 예를 들어, 차이에 기초하여 도출될 수 있다. 차분적 렌디션(510)은 이하에서부터 "Δt 입력 데이터"라고 지칭되고, 신호의 제1 시간 샘플 t1 및 신호의 제2의 더 이른 시간 샘플 t0 양쪽 모두와 연관된다. Δt 입력 데이터(510)는 입력 데이터(506)와 재구성된 데이터(508) 사이의 시간 상관의 정도를 나타낸다.
이 예에서, 제1 장치(502)는 Δt 입력 데이터(510)에 기초하여 비교적 낮은 품질 레벨에서 신호의 차분적 렌디션(512)을 도출한다. 비교적 낮은 품질 레벨에서의 차분적 렌디션(512)은 본 명세서에서 "Δt 다운샘플링된 데이터"라고 지칭된다. 일부 예에서, Δt 다운샘플링된 데이터(512)는 Δt 처리된 데이터(513)를 생성하도록 처리된다. 다른 예들에서, Δt 다운샘플링된 데이터(512)에 관해 비교적 낮은 품질 레벨에서 어떠한 처리도 수행되지 않는다. 비교적 낮은 품질 레벨의 데이터, 예를 들어, Δt 다운샘플링된 데이터(512) 또는 Δt 처리된 데이터(513)는, 비교적 높은 품질 레벨에서의 신호의 예비 차분적 렌디션(514)을 도출하는데 이용된다. 예비 차분적 렌디션(514)은 이하에서부터 "Δt 업샘플링된 데이터(514)"라고 지칭된다.
이 예에서, 제1 장치(502)는, Δt 입력 데이터(510)를 Δt 업샘플링된 데이터(514)와 비교함으로써 Δt 잔차 요소들의 세트(516)를 획득한다. Δt 잔차 요소들의 세트(516)는 신호의 제1 시간 샘플 t1 및 신호의 제2의 더 이른 시간 샘플 t0 양쪽 모두와 연관된다.
이 예에서, 제1 장치(502)는 Δt 잔차 요소들의 세트(516)를 이용하여 Δt 상관 요소들의 세트(526)를 생성한다. Δt 상관 요소들의 세트(526)는 신호의 제1 시간 샘플 t1 및 신호의 제2의 더 이른 시간 샘플 t0과 연관된다. Δt 상관 요소들의 세트(526)는, Δt 잔차 요소들의 세트(516) 내의 복수의 Δt 잔차 요소들 사이의 공간 상관의 정도, 및 입력 데이터(506) 형태로 된 제1 기준 데이터와 재구성된 데이터(508)의 형태로된 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다.
이 예에서, 제1 장치(502)는 Δt 상관 요소들의 세트(526)를 이용하여 제1 출력 데이터를 생성하고 Δt 다운샘플링된 데이터(512)를 이용하여 제2 출력 데이터를 생성한다. 제1 출력 데이터 및 제2 출력 데이터는, 예를 들어, 제2 장치(504)로의 전송을 위해 출력될 수 있다.
도 5b를 참조하면, 제2 장치(504)는 Δt 다운샘플링된 데이터(512)에 기초하여 Δt 데이터(520)를 수신하고, 또한 Δt 상관 요소들의 세트(526)를 수신한다.
제1 장치(502)가 Δt 처리된 데이터(513)를 생성하기 위해 비교적 낮은 품질 레벨에서 Δt 다운샘플링된 데이터(512)를 처리한 경우, 제2 장치(504)는 수신된 Δt 데이터(520)를 비교적 낮은 품질 레벨에서 처리하여 Δt 처리된 데이터(522)를 생성한다. 비교적 낮은 품질 레벨의 데이터, 예를 들어 수신된 Δt 데이터(520) 또는 Δt 처리된 데이터(522)는, Δt 업샘플링된 데이터(514)를 도출하는데 이용된다.
제2 장치(504)는 Δt 상관 요소들의 세트(526)에 적어도 부분적으로 기초하여 Δt 잔차 요소들의 세트(516)를 획득한다. Δt 잔차 요소들의 세트(516)는 Δt 상관 요소들의 세트(526)를 역 변환 행렬로 미리곱함으로써 도출될 수 있다.
이 예에서, 제2 장치(502)는, Δt 잔차 요소들의 세트(516) 및 Δt 업샘플링된 데이터(514)에 기초하여 Δt 입력 데이터(510)를 재구성한다. Δt 입력 데이터(510)는 Δt 잔차 요소들의 세트(516)를 Δt 업샘플링된 데이터(514)와 결합함으로써 도출될 수 있다.
이 예에서, 제2 장치(504)는 재구성된 데이터(508)를 획득한다. 재구성된 데이터(508)는, 예를 들어, 제2 장치(504)에서 버퍼로부터 회수될 수 있다. 제2 장치(504)는 재구성된 데이터(508)를 이전에 도출했을 수 있다.
제2 장치(504)는 Δt 입력 데이터(510) 및 재구성된 데이터(508)에 기초하여 입력 데이터(506)를 재구성한다. 입력 데이터(506)는 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플 t1의 렌디션을 포함한다.
도 6을 참조하면, 데이터를 처리하는 방법(600)의 예가 도시되어 있다. 방법(600)은 전술된 제1 장치들(102, 202, 302, 402, 502) 중 임의의 것 등의 인코더 디바이스를 포함하는 장치에 의해 수행될 수 있다.
항목 610에서, 제1 시간 샘플과 연관된 공간 상관 요소들의 세트 및 Δt 상관 요소들의 세트가 도출된다. 공간 상관 요소들의 세트 및 Δt 상관 요소들의 세트는 양쪽 모두가 도출되어, 공간 상관 요소들의 세트 또는 Δt 상관 요소들의 세트의 이용이 바람직할지를 결정하기 위해 분석될 수 있다. 이것은, 공간 상관 요소들의 세트 또는 Δt 상관 요소들의 세트를 전송하는데 이용될 데이터의 양에 기초할 수 있다.
항목 620에서, 도출된 공간 상관 요소들의 세트 및 도출된 Δt 상관 요소들의 세트는, 도출된 공간 상관 요소들의 세트와 도출된 Δt 상관 요소들의 세트 사이의 비교를 수행하는데 이용된다. 예를 들어, 비교는, 공간 상관 요소들의 세트 및 Δt 상관 요소들의 세트와 관련하여 수행되는 레이트-왜곡 분석(rate-distortion analysis)을 포함할 수 있다. 이러한 레이트-왜곡 분석에서, "레이트"는 저장 및/또는 전송될 데이터 심볼 당 계산된 비트 수를 나타낼 수 있고, "왜곡"은, 추정된 에러, 예를 들어 수신기에 의한 데이터의 재구성으로부터 발생하는 평균-제곱 에러를 나타낼 수 있다. 공간 상관 요소들의 세트 및 도출된 Δt 상관 요소들의 세트는, 미리결정된 양의 왜곡을 초과하지 않으면서 전송될 비트들의 수를 감소시키기 위해 비교될 수 있다. 이 예에서, 비교는, Δt 상관 요소들의 세트의 절대 값들의 합이 공간 상관 요소들의 세트의 절대 값들의 합보다 작은지를 결정하는 것을 포함한다.
일부 예에서, 비교는 제1 재구성된 데이터 및 제2 재구성된 데이터를 생성하는 것을 포함한다. 제1 재구성된 데이터는 Δt 상관 요소들의 세트를 이용하여 생성된다. 제2 재구성된 데이터는 공간 상관 요소들의 세트를 이용하여 생성된다. 제1 재구성된 데이터 및 제2 재구성된 데이터 각각은 입력 데이터와 비교될 수 있다. 예를 들어, 절대 차이의 제1 합은 제1 재구성된 데이터와 입력 데이터 사이에서 결정될 수 있고, 절대 차이의 제2 합은 제2 재구성된 데이터와 입력 데이터 사이에서 결정될 수 있다. 절대 차의 제1 합과 절대 차이의 제2 합 중 최소값이 결정될 수 있다. 이러한 예들에서, 비교는, 다른 것보다 더 낮은 절대 차이의 합을 갖는 덕택에, Δt 상관 요소들의 세트 및 공간 상관 요소들의 세트 중 어느 것이 더 양호한 재구성, 즉, 입력 데이터의 더 가까운 표현에 해당되는 재구성을 생성하는지의 결정으로 이어진다.
양자화는 비교 전에 공간 상관 요소들의 세트 및 도출된 Δt 상관 요소들의 세트에 관해 수행될 수 있다. 비교 전에 양자화를 수행하는 것은, 양자화 에러가 알려지거나 및/또는 비교하는 동안 고려되는 것을 허용한다.
항목 630에서, Δt 상관 요소들의 세트의 절대 값들의 합이 공간 상관 요소들의 세트의 절대 값들의 합보다 작은 것으로 항목 620에서 결정되면, 제1 출력 데이터 내의 포함을 위해 Δt 상관 요소들의 세트가 선택된다. 이러한 예에서, 제1 출력 데이터는 Δt 상관 요소들의 세트를 포함한다. 이 경우는, 제1 출력 데이터가 공간 상관("인트라 프레임") 및 시간 상관("인터 프레임") 양쪽 모두를 나타내기 때문에, "인트라 및 인터 프레임" 코딩이라고 지칭될 수 있다.
항목 640에서, Δt 상관 요소들의 세트의 절대 값들의 합이 공간 상관 요소들의 세트의 절대 값들의 합보다 작지 않은 것으로 항목 620에서 결정되면, 출력 데이터 내의 포함을 위해 공간 상관 요소들의 세트가 선택된다. 이러한 예에서, 제1 출력 데이터는 공간 상관 요소들의 세트를 포함한다. 이 경우는, 제1 출력 데이터가 공간 상관("인트라")을 나타내지만 시간("인터") 상관을 나타내지 않으므로, "인트라 프레임 전용" 코딩이라고 지칭될 수 있다.
일부 예들에서, 장치는, Δt 상관 요소들의 절대 값들의 합이 공간 상관 요소들의 절대 값들의 합과 동일하거나 무시할 정도로 상이하다고 항목 620에서 결정된다면, 제1 출력 데이터 내의 포함을 위해 공간 상관 요소들의 세트가 선택되도록 구성될 수 있다. 다른 예들에서, 장치는, Δt 상관 요소들의 절대 값들의 합이 공간 상관 요소들의 절대 값들의 합과 동일하거나 무시할 정도로 상이하다고 항목 620에서 결정된다면, 제1 출력 데이터 내의 포함을 위해 Δt 상관 요소들의 세트가 선택되도록 구성될 수 있다.
따라서, 도출된 Δt 상관 요소들의 세트는 제1 출력 데이터를 생성하는데 이용된다. 일부 예들에서, 제1 출력 데이터를 생성하기 위해 도출된 Δt 상관 요소들의 세트를 이용하는 것은, 제1 출력 데이터 내의 포함을 위해 도출된 Δt 상관 요소들의 세트 또는 도출된 상관 요소들의 세트를 선택하는 것을 포함한다. 따라서, 도출된 Δt 상관 요소들의 세트는, 도출된 Δt 상관 요소들의 세트가 제1 출력 데이터에 포함되지 않더라도 제1 출력 데이터를 생성하는데 이용될 수 있다.
제1 출력 데이터는 적어도 하나의 다른 장치로의 전송을 위해 출력될 수 있다. 제1 출력 데이터는 값들의 시퀀스, 예를 들어 비트 시퀀스를 포함할 수 있다. 일부 예들에서, 제1 출력 데이터는 Δt 상관 요소들의 세트 중 임의의 것의 양자화된 버전을 포함하고 제1 출력 데이터 내의 포함을 위해 공간 상관 요소들의 세트가 선택된다. 일부 예들에서, 제1 출력 데이터는 Δt 상관 요소들의 세트 및 공간 상관 요소들의 세트 중 어느 것이 제1 출력 데이터에 포함되도록 선택되는지에 관해 인코딩 동작을 수행함으로써 생성된다.
일부 예에서, 장치에 의해 출력된 데이터는 선택의 결과를 나타내는 데이터를 포함한다. 일부 예에서, 선택의 결과를 나타내는 데이터는 제1 출력 데이터에 있다. 일부 예에서, 선택 결과를 나타내는 데이터는, 출력 데이터에서 이용하기 위해 공간 상관 요소들의 세트 또는 Δt 상관 요소들의 세트가 선택되었는지를 나타내는 표시자 플래그이다. 일부 예에서, 표시자 플래그는 비트 시퀀스 내의 단일 비트이다. 이러한 플래그의 존재는, 적어도 하나의 다른 장치, 예를 들어 디코더 디바이스가, 자신이 수신한 데이터가 도출된 방법 및/또는 이용될 수 있는 방법을 결정할 수 있게 한다.
일부 예들에서, 표시자 플래그는 출력 데이터 내의 주어진 데이터 요소와 연관된 비트 시퀀스에 포함된다. 주어진 데이터 요소는, 비트 시퀀스의 전체 크기를 증가시키지 않고 표시자 플래그를 수용하기 위해 다른 데이터 요소보다 더 많은 양자화를 거칠 수 있다. 주어진 데이터 요소는, 공간 상관 요소들의 세트로부터의 H 상관 요소 또는 Δt 상관 요소들의 세트로부터의 ΔH 상관 요소와 연관될 수 있다. 즉, 주어진 데이터 요소는 복수의 잔차 요소들 사이의 수평 상관 또는 "틸트"의 정도를 나타낼 수 있다. 주어진 데이터 요소는, 적어도 하나의 비제로 값을 갖는 그 연관된 비트 시퀀스의 가능성(likelihood)에 기초하여 표시자 플래그를 포함하도록 선택될 수 있다. 예를 들어, H 공간 상관 요소는 다른 공간 상관 요소보다 그 연관 비트 시퀀스에서 0이 아닌 값을 가질 가능성이 더 높을 수 있다. 적어도 하나의 비제로 값을 가질 더 높은 가능성을 갖는 비트 시퀀스는, 표시자 플래그의 포함에 의해, 적어도 하나의 비제로 값을 가질 더 낮은 가능성을 갖는 비트 시퀀스보다 덜 영향을 받을 수 있다. 주어진 데이터 요소는, 주어진 데이터 요소의 추가적인 양자화의 결정된 효과에 기초하여 표시자 플래그를 포함하도록 선택될 수 있다. 예를 들어, H 공간 상관 요소의 추가적인 양자화는 다른 공간 상관 요소의 추가적인 양자화보다 시각 품질 측면에서 덜 해로울 수 있다.
방법(600)은, 신호의 전체 시간 샘플 또는 신호의 시간 샘플의 일부에 대해 수행될 수 있다. 방법(600)은 상이한 결과를 갖는 신호의 동일한 시간 샘플의 상이한 부분에 대해 수행될 수 있다. 예를 들어, 신호의 제1 시간 샘플의 제1 부분은, 값들 r1,11(t1) = 4, r1,12(t1) = -2, r1,21(t1) = 12 및 r1,22(t1) = 4를 갖는 잔차 요소들을 가질 수 있다. 상기 수학식 1을 참조하면, 신호, [A1(t1), H1(t1), V1(t1), D1(t1)]의 제1 시간 샘플의 이 제1 부분에 대한 공간 상관 요소들의 세트는 다음과 같이 계산될 수 있다: A1(t1) = (4-2+12+4)/4 = 4.5; H1(t1) = (4-(-2)+12-4)/4 = 3.5; V1(t1) = (4-2-12-4)/4 = -3.5; D1(t1) = (4-(-2)-12+4)/4 = -0.5. 신호의 제1 시간 샘플의 제1 부분에 대한 공간 상관 요소들의 세트의 절대 값들의 합은 4.5 + 3.5 + 3.5 + 0.5 = 12이다.
더 이른 시간 샘플과 연관된 신호의 이 제1 부분에 대한 제2 세트의 공간 상관 요소는, 값들 [A1(t0), H1(t0), V1(t0), D1(t0)] = [3.5, 3.5, -1, 0]일 수 있다. 결과적으로, 신호의 제1 부분에 대한 도출된 Δt 상관 요소들의 세트는, 값들 [ΔA1(t1-t0), ΔH1(t1-t0), ΔV1(t1-t0), ΔD1(t1-t0)] = [4.5-3.5, 3.5-3.5, -3.5 -(-1), -0.5-0] = [1, 0, -2.5, -0.5]을 가질 수 있다. 신호의 제1 부분에 대한 Δt 상관 요소들의 세트의 절대 값들의 합은 1 + 0 + 2.5 + 0.5 = 4이다. 따라서, 신호의 제1 부분에 대해, Δt 상관 요소들의 세트의 절대 값들의 합은 공간 상관 요소들의 세트의 절대 값들의 합보다 작다. 결과적으로, Δt 상관 요소들의 세트는, 이용 중인 공간 상관 요소들의 세트 대신에, 신호의 제1 부분에 대한 제1 출력 데이터 내의 포함을 위해 선택될 수 있다.
신호의 제1 시간 샘플의 제2 부분은, 예를 들어, 값들 r2,11(t1) = 2, r2,12(t1) = 6, r2,21(t1) = -1 및 r2,22(t1) = 0을 갖는 잔차 요소들을 가질 수 있다. 따라서, 신호의 주어진 시간 샘플의 이 제2 부분에 대한 공간 상관 요소들의 세트 [A2(t1), H2(t1), V2(t1), D2(t1)]는 다음과 같이 계산될 수 있다: A2(t1) = (2+6-1+0)/4 = 1.75; H2(t1) = (2-6+(-1)-0)/4 = -1.25; V2(t1) = (2+6-(-1)-0)/4 = 2.25; D2(t1) = (2-6-(-1)+0)/4 = -0.75.
신호의 제1 시간 샘플의 제2 부분에 대한 공간 상관 요소들의 세트의 절대 값들의 합은 1.75 + 1.25 + 2.25 + 0.75 = 6이다.
더 이른 시간 샘플과 연관된 신호의 이 제2 부분에 대한 제2 세트의 공간 상관 요소는 값들 [A2(t0), H2(t0), V2(t0), D2(t0)] = [-2.5, 2, 0, 1.5]을 가질 수 있다. 결과적으로, 신호의 제2 부분에 대한 도출된 Δt 상관 요소들의 세트는, 값들 [ΔA2(t1-t0), ΔH2(t1-t0), ΔV2(t1-t0), ΔD2(t1-t0) 1.75 -(- 2.5), -1.25-2, 2.25-0, -0.75-1.5] = [4.25, -3.25, 2.25, -2.25]을 가질 수 있다. 신호의 제2 부분에 대한 Δt 상관 요소들의 세트의 절대 값들의 합은 4.25 + 3.25 + 2.25 + 2.25 = 12이다. 따라서, 신호의 제2 부분에 대해, Δt 상관 요소들의 세트의 절대 값들의 합은 공간 상관 요소들의 세트의 절대 값들의 합보다 작지 않다. 결과적으로, 공간 상관 요소들의 세트는, 이용 중인 Δt 상관 요소들의 세트 대신에, 신호의 제2 부분에 대한 제1 출력 데이터 내의 포함을 위해 선택될 수 있다.
표시자 플래그는 신호의 시간 샘플의 각각의 부분에 대해 이용되어 Δt 상관 요소들의 세트 또는 공간 상관 요소들의 세트가 신호의 그 부분에 이용되었는지를 나타낼 수 있다.
신호의 주어진 부분 또는 영역에 대한 공간 상관 요소들의 세트 또는 Δt 상관 요소들의 세트를 출력하는 것 중에서 선택하는 것은, 잔차 레벨에서 공간 및 시간 중복성을 이용하기 위한 유연한 메커니즘을 제공한다. 잔차 레벨에서 비교적 강한 정도의 시간 상관을 나타내는 신호의 부분들에 대해, Δt 상관 요소들은 공간 상관 요소보다 작을 가능성이 높고 더 많은 0 값들을 포함할 수 있다. 따라서 더 적은 데이터가 Δt 상관 요소들의 세트를 전송하는데 이용될 수 있다. 한편, 잔차 레벨에서 비교적 약한 정도의 시간 상관을 나타내는 신호의 부분들에 대해, 공간 상관 요소들은 Δt 상관 요소들보다 작을 수 있고 더 많은 0 값을 포함할 수 있다. 따라서, 더 적은 데이터가 공간 상관 요소들의 세트를 전송하는데 이용될 수 있다. 그러나, Δt 상관 요소들은 공간 상관 요소들과 비교하여, 예를 들어 디코더에 의해 처리하기에 계산적으로 더 복잡할 수 있다. 신호의 주어진 부분에 대해 공간 상관 요소 또는 Δt 상관 요소를 이용할지를 지능적으로 결정하기 위하여 복잡성에서의 증가는 데이터 트래픽 양에서의 감소에 대비해 가중될 수 있다. 따라서, 유연하고 적응가능한 데이터 처리 기술이 제공된다. 예를 들어, 데이터 처리 기술은 잔차 레벨에서의 공간 및 시간 상관의 강도에 기초하여 적응될 수 있다.
도 7을 참조하면, 데이터를 처리하는 방법(700)의 예가 도시되어 있다. 방법(700)은 전술된 제1 장치들(102, 202, 302, 402, 502) 중 임의의 것 등의 인코더 디바이스를 포함하는 장치에 의해 수행될 수 있다.
항목 710에서, 제1 버퍼 데이터가 버퍼로부터 회수된다. 제1 버퍼 데이터는 신호의 더 이른 시간 샘플 t0의 렌디션에 기초한 데이터를 포함할 수 있다. 예를 들어, 신호의 더 이른 시간 샘플 t0의 렌디션에 기초한 데이터는, 예를 들어, 신호의 더 이른 시간 샘플 t0와 연관된 재구성된 데이터 또는 공간 상관 요소들의 세트일 수 있다. 일부 예들에서, Δt 상관 요소들의 세트가 시간 상관을 나타내는 것과 관련된 제2 기준 데이터는 제1 버퍼 데이터에 기초하여 획득된다. 제1 버퍼 데이터는, 예를 들어, 신호의 더 이른 시간 샘플 t0과 연관된 공간 상관 요소들의 세트를 포함하거나 및/또는 이를 도출하는데 이용될 수 있다.
항목 720에서, 신호의 현재 시간 샘플 t1과 연관된 공간 상관 요소들의 세트, 및 신호의 더 이른 및 현재의 시간 샘플 양쪽 모두와 연관된 Δt 상관 요소들의 세트가 생성된다.
항목 730에서, 신호의 현재 시간 샘플 t1과 연관된 도출된 공간 상관 요소들의 세트 대신에, 제1 출력 데이터 내의 포함을 위해 Δt 상관 요소들의 세트를 선택할지가 결정된다.
제2 버퍼 데이터는, Δt 상관 요소들의 세트 및/또는 신호의 현재의 시간 샘플과 연관된 특별 상관 요소들의 세트를 이용하여 생성된다. 제2 버퍼 데이터는, 제1 버퍼 데이터를 오버라이팅함으로써 버퍼를 업데이트하는데 이용된다.
Δt 상관 요소들의 세트가 제1 출력 데이터 내의 포함을 위해 선택된다면, 항목 740에서 Δt 상관 요소들의 세트를 이용하여 제2 버퍼 데이터가 생성된다. 그 다음, 버퍼가 업데이트될 수 있다. 버퍼를 업데이트하는 것은, 제1 버퍼 데이터를 제2 버퍼 데이터로 오버라이팅하는 것을 포함한다. 이 예에서, 제2 버퍼 데이터는, Δt 상관 요소들의 세트를 제1 버퍼 데이터와 결합함으로써 생성된다. 즉, Δt 상관 요소들의 세트가 이전 버퍼 내용에 추가되어 새로운 버퍼 내용을 생성한다.
신호의 현재 시간 샘플과 연관된 공간 상관 요소들의 세트가 제1 출력 데이터 내의 포함을 위해 선택된다면, 항목 750에서 제2 버퍼 데이터는 신호의 현재 시간 샘플과 연관된 공간 상관 요소들의 세트를 이용하여 생성된다. 그 다음, 버퍼는 제1 버퍼 데이터를 제2 버퍼 데이터로 오버라이팅함으로써 업데이트될 수 있다. 이 예에서, 제2 버퍼 데이터는 제1 버퍼 데이터에 기초하여 도출되지 않는다. 즉, 공간 상관 요소들의 세트는 이전 버퍼 내용에 추가되는 것 대신에 이를 대체한다.
이전의 버퍼 내용에 Δt 상관 요소들의 세트를 추가함으로써 버퍼를 업데이트하는 것은, 시간이 지남에 따라, 예를 들어 양자화와 연관된 에러로부터 발생하는 에러 전파를 초래할 수 있다. 일부 예에서, 버퍼는 적어도 하나의 0 값을 포함하는 제2 버퍼 데이터로 제1 버퍼 데이터를 오버라이팅함으로써 업데이트된다. 이것은 버퍼 전부 또는 일부의 '리셋'에 대응할 수 있다. 결과적으로, 신호의 더 나중의 시간 샘플 t2 동안, 버퍼로부터 회수된 제1 버퍼 데이터는 0이다. Δt 상관 요소들의 세트는, 신호의 더 나중의 시간 샘플 t2와 연관된 상관 요소들의 세트와 회수된 제1 버퍼 데이터 사이의 차이로부터 발생하기 때문에, Δt 상관 요소들의 세트 및 신호의 더 나중의 시간 샘플 t2와 연관된 공간 상관 요소들의 세트는 동일할 것이다. 이것은, 제1 출력 데이터 내의 포함을 위해 Δt 상관 요소들의 세트 또는 공간 상관 요소들의 세트가 선택되는지에 관계없이, 신호의 더 나중의 시간 샘플 t2와 연관된 상관 요소들의 세트, 즉, 공간 상관 요소들로 버퍼가 오버라이팅되는 것을 허용한다. 결과적으로, 이전 시간 샘플들로부터 누적되었을 수 있는 에러의 전파가 감소될 수 있다. 한 예에서, 버퍼는 간헐적으로, 예를 들어, 주기적으로, 이 방식으로 리셋된다. 또 다른 예에서, 버퍼는, 제1 버퍼 데이터와 연관된 에러가 주어진 임계값에 도달했거나 초과한 것으로 결정될 때 리셋된다.
도 8을 참조하면, 장치(800)의 한 예의 개략적인 블록도가 도시되어 있다.
한 예에서, 장치(800)는 디코더 디바이스를 포함한다. 또 다른 예에서, 장치(800)는 인코더 디바이스를 포함한다.
장치(800)의 다른 예들은, 모바일 컴퓨터, 개인용 컴퓨터 시스템, 무선 디바이스, 기지국, 전화 디바이스, 데스크탑 컴퓨터, 랩탑, 노트북, 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 저장 디바이스, 카메라, 캠코더, 모바일 디바이스, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스 등의 소비자 전자기기 디바이스, 스위치, 모뎀, 라우터 등의 주변기기 디바이스, 또는 일반적으로 임의 유형의 컴퓨팅 또는 전자 디바이스를 포함하지만, 이것으로 제한되는 것은 아니다.
이 예에서, 장치(800)는 정보 및/또는 명령어를 처리하도록 구성된 하나 이상의 프로세서(801)를 포함한다. 하나 이상의 프로세서(801)는 중앙 처리 유닛(CPU)을 포함할 수 있다. 하나 이상의 프로세서(801)는 버스(802)와 결합된다. 하나 이상의 프로세서(801)에 의해 수행되는 동작은 하드웨어 및/또는 소프트웨어에 의해 실행될 수 있다. 하나 이상의 프로세서(801)는 복수의 동일 위치의 프로세서 또는 복수의 서로 다른 위치의 프로세서를 포함할 수 있다.
이 예에서, 장치(800)는 하나 이상의 프로세서(801)에 대한 정보 및/또는 명령어를 저장하도록 구성된 컴퓨터-이용 가능한 휘발성 메모리(803)를 포함한다. 컴퓨터-이용 가능한 휘발성 메모리(803)는 버스(802)와 결합된다. 컴퓨터-이용 가능한 휘발성 메모리(803)는 랜덤 액세스 메모리(RAM)를 포함할 수 있다.
이 예에서, 장치(800)는 하나 이상의 프로세서(801)에 대한 정보 및/또는 명령어를 저장하도록 구성된 컴퓨터-이용 가능한 비휘발성 메모리(804)를 포함한다. 컴퓨터-이용 가능한 비휘발성 메모리(804)는 버스(802)와 결합된다. 컴퓨터-이용 가능한 비휘발성 메모리(804)는 판독 전용 메모리(ROM)를 포함할 수 있다.
이 예에서, 장치(800)는 정보 및/또는 명령어를 저장하도록 구성된 하나 이상의 데이터 저장 유닛(805)을 포함한다. 하나 이상의 데이터 저장 유닛(805)은 버스(802)와 결합된다. 하나 이상의 데이터 저장 유닛(805)은, 예를 들어, 자기 또는 광학 디스크 및 디스크 드라이브 또는 SSD(solid-state drive)를 포함할 수 있다.
이 예에서, 장치(800)는, 하나 이상의 프로세서(801)로 및/또는 하나 이상의 프로세서(801)로부터 정보를 전달하도록 구성된 하나 이상의 입력/출력(I/O) 디바이스(806)를 포함한다. 하나 이상의 I/O 디바이스(806)는 버스(802)와 결합된다. 하나 이상의 I/O 디바이스(806)는 적어도 하나의 네트워크 인터페이스를 포함할 수 있다. 적어도 하나의 네트워크 인터페이스는 장치(800)가 하나 이상의 데이터 통신 네트워크를 통해 통신할 수 있게 할 수 있다. 데이터 통신 네트워크의 예는, 인터넷 및 LAN(Local Area Network)을 포함하지만, 이것으로 제한되는 것은 아니다. 하나 이상의 I/O 디바이스(806)는, 사용자가, 하나 이상의 입력 디바이스(미도시)를 통해 장치(800)에 입력을 제공할 수 있게 할 수 있다. 하나 이상의 입력 디바이스는, 예를 들어, 원격 제어, 하나 이상의 물리적 버튼 등을 포함할 수 있다. 하나 이상의 I/O 디바이스(806)는 정보가 하나 이상의 출력 디바이스(미도시)를 통해 사용자에게 제공될 수 있게 할 수 있다. 하나 이상의 출력 디바이스는 예를 들어 디스플레이 스크린을 포함할 수 있다.
다양한 다른 엔티티가 장치(800)에 대해 도시되어 있다. 예를 들어, 존재할 때, 운영 체제(807), 신호 처리 모듈(808), 하나 이상의 모듈(809), 및 데이터(810)가, 컴퓨터-이용 가능한 휘발성 메모리(803), 컴퓨터-이용 가능 비휘발성 메모리(804) 및 하나 이상의 데이터 저장 유닛(805) 중 하나 또는 조합에 상주하는 것으로 도시되어 있다. 신호 처리 모듈(808)은 컴퓨터-이용 가능한 비휘발성 메모리(804), 하나 이상의 데이터 저장 유닛(805) 내의 컴퓨터-판독가능한 저장 매체 및/또는 기타의 유형의(tangible) 컴퓨터-판독가능한 저장 매체 내의 메모리 위치들에 저장된 컴퓨터 프로그램 코드에 의해 구현될 수 있다. 유형의 컴퓨터-판독가능한 저장 매체의 예는, 광학 매체(예를 들어, CD-ROM, DVD-ROM 또는 Blu-ray), 플래시 메모리 카드, 플로피 또는 하드 디스크, 또는 펌웨어 또는 마이크로코드 등의 컴퓨터-판독가능한 명령어들을 적어도 하나의 ROM 또는 RAM 또는 PROM(Programmable ROM) 칩에 또는 ASIC(Application Specific Integrated Circuit)으로서 저장할 수 있는 기타 임의의 매체를 포함하지만, 이것으로 제한되는 것은 아니다.
따라서, 장치(800)는, 하나 이상의 프로세서(801)에 의해 실행될 수 있는 신호 처리 모듈(808)을 포함할 수 있다. 신호 처리 모듈(808)은 여기서 설명된 동작들 중 적어도 일부를 구현하는 명령어들을 포함하도록 구성될 수 있다. 동작 동안, 하나 이상의 프로세서(801)는 신호 처리 모듈(808) 내의 명령어들을 론칭, 수행, 실행, 해석 또는 기타의 방식으로 수행한다.
도면을 참조하여 본 명세서에서 설명된 예들의 적어도 일부 양태는, 처리 시스템 또는 프로세서에서 수행되는 컴퓨터 프로세스를 포함하지만, 여기서 설명된 예들은 또한, 컴퓨터 프로그램, 예를 들어, 예들을 실시하기에 적합화된 캐리어 상의 또는 캐리어 내의 컴퓨터 프로그램으로 확장된다. 캐리어는 프로그램을 운반할 수 있는 임의의 엔티티 또는 디바이스일 수 있다.
장치(800)는 도 8에 도시된 것들보다 더 많거나, 더 적거나 및/또는 상이한 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.
장치(800)는 단일 위치에 위치하거나 복수의 위치들에 분산될 수 있다. 이러한 위치들은 로컬 또는 원격일 수 있다.
여기서 설명된 기술들은 소프트웨어 또는 하드웨어로 구현되거나, 소프트웨어와 하드웨어의 조합을 이용하여 구현될 수 있다. 이들은, 여기서 설명된 기술들 중 임의의 것 또는 전부를 실행 및/또는 지원하도록 장치를 구성하는 것을 포함할 수 있다.
상기 실시예들은 예시적인 예들로서 이해되어야 한다. 추가 실시예들도 생각해 볼 수 있다.
전술된 예들에서, 제1 시간 샘플 t1과 제2 시간 샘플 t0은 양쪽 모두는 동일한 신호의 시간 샘플이다. 다른 예들에서, 제1 시간 샘플 t1 및 제2 시간 샘플 t0은 상이한 신호들의 시간 샘플들이다. 예를 들어, 신호가 비디오 신호라면, 제2 시간 샘플 t0은 제1 비디오의 마지막 프레임에 대응할 수 있고, 제1 시간 샘플 t1은 후속 비디오의 제1 프레임에 대응할 수 있다. 따라서, 시공간 상관 요소들의 세트는, 신호의 제1 시간 샘플의 제1 렌디션에 기초한 제1 기준 데이터와 신호 또는 다른 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낼 수 있다.
위에서 설명된 예에서, 제2 시간 샘플 t0은 제1 시간 샘플 t1보다 더 이른 시간 샘플이다. 다른 예에서, 제2 시간 샘플 t0은 제1 시간 샘플 t1보다 더 나중의 시간 샘플이다.
일부 실시예에서, 디코더 디바이스(110)는, 상관 요소들의 세트에 기초한 제1 입력 데이터, 및 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한 제2 입력 데이터를 포함하는 입력 데이터를 수신한다. 디코더 디바이스(110)는, 상관 요소들의 세트를 이용하여 잔차 요소들의 세트를 획득하고, 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을, 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하다. 제2 렌디션은 비교적 낮은 품질 레벨의 렌디션에 기초한다. 디코더 디바이스(110)는 제2 렌디션 및 잔차 요소들의 세트를 이용하여 비교적 높은 품질 레벨에서 제1 렌디션을 재구성한다. 상관 요소들의 세트는, 적어도, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타낸다. 입력 데이터는, 상관 요소들의 세트가 공간 상관의 정도를 나타내는지, 또는 상관 요소들의 세트가 제1 렌디션에 기초한 제1 데이터와 신호의 더 이른 제2 시간 샘플의 렌디션에 기초한 제2 데이터 사이의 시간 상관의 정도를 더 나타내는지를 식별하는 데이터를 포함한다. 즉, 상관 요소들의 세트가 잔차 레벨에서의 공간 및 시간 상관 양쪽 모두를 나타내는지, 또는 잔차 레벨에서 공간 상관(및 시간 상관은 아님)을 나타내는지를 디코더 디바이스(110)가 식별하는데 이용되는 식별자가 입력 데이터에 포함된다.
전술된 예들에서, 양자화는 공간 상관 요소들의 세트 및 Δt 상관 요소들의 세트에 관해, 이들 2개 세트를 비교하기 전에, 수행된다. 다른 예에서, 양자화는 비교 후에 수행된다. 환언하면, 출력 데이터는, 도출된 공간 상관 요소들의 세트 또는 도출된 Δt 상관 요소들의 세트에 관해 양자화 동작을 수행함으로써 생성될 수 있다. 공간 상관 요소들의 세트 및 도출된 Δt 상관 요소들의 세트가 비교된 후에 양자화를 수행하는 것은, 양자화가 비교 전에 수행되는 경우와 비교하여 에러 및/또는 손실 정보의 감소를 용이화할 수 있다.
전술된 예들에서, 잔차 요소들의 세트가 획득되고, 잔차 요소들의 세트는, 복수의 품질 레벨을 갖는 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용 가능하며, 제2 렌디션은 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한다. 다른 예들에서, 잔차 요소들의 세트가 획득되고, 잔차 요소들의 세트는 신호의 제2, 예를 들어, 더 이른 시간 샘플의 렌디션을 이용하여 신호의 제1 시간 샘플의 렌디션을 재구성하는데 이용 가능하다. 이러한 예들에서, 잔차 요소들의 세트는 신호의 제1 시간 샘플의 렌디션을 다운샘플링 또는 업샘플링함으로써 획득되지 않는다.
전술된 예들에서, 데이터 처리 장치(402)는, 신호의 제1 시간 샘플과 연관된 제1 세트의 잔차 요소들 사이의 공간 상관의 정도를 나타내는 제1 세트의 공간 상관 요소를 획득하고, 신호의 제2 시간 샘플과 연관된 제2 세트의 잔차 요소들 사이의 공간 상관의 정도를 나타내는 제2 세트의 공간 상관 요소를 획득하며, 제1 세트의 공간 상관 요소와 제2 세트의 공간 상관 요소 사이의 시간 상관의 정도를 나타내는 시공간 상관 요소들의 세트를 생성한다. 따라서, 공간 상관의 결정은 시간 상관의 결정에 선행한다. 다른 예에서, 데이터 처리 장치(402)는, 신호의 제1 시간 샘플과 연관된 제1 세트의 잔차 요소 및 신호의 제2 시간 샘플과 연관된 제2 세트의 잔차 요소를 획득하고, 제1 세트의 잔차 요소와 제2 세트의 잔차 요소 사이의 시간 상관의 정도를 나타내는 시간 상관 요소들의 세트를 생성하며, 시간 상관 요소들의 세트 내의 상관 요소들 사이의 공간 상관의 정도를 나타내는 시공간 상관 요소들의 세트를 생성한다. 이러한 예들에서, 시간 상관의 결정은 공간 상관의 결정에 선행한다.
잔차 요소들의 세트가 획득되는 다양한 수단(예를 들어, 장치, 방법 및 컴퓨터 프로그램)이 제공된다. 잔차 요소들의 세트는 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 신호의 제1 시간 샘플의 제1 렌디션을 재구성하는데 이용 가능하다. 제1 렌디션은 복수의 품질 레벨을 갖는 계층 구조에서 비교적 높은 품질 레벨에 있다. 제2 렌디션은 비교적 높은 품질 레벨에 있다. 제2 렌디션은 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한다. 시공간 상관 요소들의 세트가 생성된다. 시공간 상관 요소들의 세트는 신호의 제1 시간 샘플과 연관된다. 시공간 상관 요소들의 세트는 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타낸다. 시공간 상관 요소들의 세트는, 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 나타낸다. 시공간 상관 요소들의 세트는 제1 출력 데이터를 생성하는데 이용된다. 비교적 낮은 품질 레벨에서의 렌디션은 제2 출력 데이터를 생성하는데 이용된다.
전술된 예들에서, 제1 기준 데이터는 비교적 높은 품질 레벨에 있다.
전술된 예들에서, 제2 기준 데이터는 비교적 높은 품질 레벨에 있다.
전술된 예들에서, 신호의 제2 시간 샘플은 신호의 제1 시간 샘플에 관해 신호의 더 이른 시간 샘플이다.
전술된 예들에서, 제1 세트의 공간 상관 요소가 생성된다. 제1 세트의 공간 상관 요소는 신호의 제1 시간 샘플과 연관된다. 제1 세트의 공간 상관 요소는 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타낸다.
전술된 예들에서, 시공간 상관 요소들의 세트는, 제1 출력 데이터 내의 포함을 위한 시공간 상관 요소들의 세트 또는 제1 세트의 공간 상관 요소 중 어느 하나를 선택하는데 이용된다.
전술된 예에서, 제1 기준 데이터는 제1 세트의 공간 상관 요소를 포함한다.
전술된 예들에서, 제2 기준 데이터는 신호의 제2 시간 샘플과 연관된 제2 세트의 공간 상관 요소를 포함한다. 제2 세트의 공간 상관 요소는 제2 시간 샘플과 연관된 잔차 요소들의 추가 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타낼 수 있다. 잔차 요소들의 추가 세트는, 비교적 낮은 품질 레벨에서의 신호의 제2 시간 샘플의 렌디션에 기초한 데이터를 이용하여, 비교적 높은 품질 레벨에서의 신호의 제2 시간 샘플의 렌디션을 재구성하는데 이용 가능하다.
전술된 예들에서, 제1 기준 데이터는 신호의 제1 시간 샘플의 제1 렌디션을 포함한다.
전술된 예들에서, 제2 기준 데이터는 비교적 높은 품질 레벨에서의 신호의 제2 시간 샘플의 재구성된 렌디션을 포함한다.
전술된 예들에서, 시공간 상관 요소들의 세트를 제1 세트의 공간 상관 요소와 비교함으로써 선택이 수행된다.
전술된 예들에서, 시공간 상관 요소들의 세트 및 제1 세트의 공간 상관 요소와 관련하여 수행되는 레이트-왜곡 분석에 기초하여 선택이 수행된다.
전술된 예들에서, 제1 출력 데이터는 선택의 결과를 나타내는 데이터를 포함한다.
전술된 예들에서, 선택의 결과를 나타내는 데이터는, 제1 출력 데이터 내의 주어진 데이터 요소와 연관된 비트 시퀀스에 포함된다. 주어진 데이터 요소는, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 수평 상관의 정도를 나타낼 수 있다.
전술된 예들에서, 시공간 상관 요소들의 세트 및 제1 세트의 공간 상관 요소는 양자화된다.
전술된 예에서, 제1 버퍼 데이터는 버퍼로부터 회수된다. 제2 기준 데이터는 제1 버퍼 데이터에 기초하여 획득된다.
전술된 예들에서, 제2 버퍼 데이터는 시공간 상관 요소들의 세트를 이용하여 생성된다. 버퍼는 제1 버퍼 데이터를 제2 버퍼 데이터로 오버라이팅함으로써 업데이트된다.
전술된 예들에서, 제2 버퍼 데이터는, 시공간 상관 요소들의 세트를 제1 버퍼 데이터와 결합함으로써 생성된다.
전술된 예들에서, 버퍼는 적어도 하나의 0 값을 포함하는 제2 버퍼 데이터로 제1 버퍼 데이터를 오버라이팅함으로써 업데이트된다.
전술된 예들에서, 제2 렌디션은 비교적 낮은 품질 레벨에서의 렌디션에 관해 업샘플링 동작을 수행함으로써 도출된다.
전술된 예들에서, 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션은, 제1 렌디션에 관해 다운샘플링 동작을 수행함으로써 도출된다.
전술된 예들에서, 신호는 비디오 신호이다.
전술된 예들에서, 제1 출력 데이터 및 제2 출력 데이터는 하나 이상의 데이터 통신 네트워크를 통해 적어도 하나의 다른 장치로의 전송을 위해 출력된다.
제1 입력 데이터 및 제2 입력 데이터를 포함하는 입력 데이터가 수신되는 다양한 수단(예를 들어, 장치, 방법 및 컴퓨터 프로그램)이 제공된다. 제1 입력 데이터는 상관 요소들의 세트에 기초한다. 제2 입력 데이터는, 복수의 품질 레벨을 갖는 계층 구조에서 비교적 낮은 품질 레벨에서의 신호의 제1 시간 샘플의 렌디션에 기초한다. 잔차 요소들의 세트는 상관 요소들의 세트를 이용하여 획득된다. 잔차 요소들의 세트는, 계층 구조에서 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제1 렌디션을, 비교적 높은 품질 레벨에서의 신호의 제1 시간 샘플의 제2 렌디션을 이용하여 재구성하는데 이용될 수 있다. 제2 렌디션은 비교적 낮은 품질 레벨의 렌디션에 기초한다. 비교적 높은 품질 레벨에서의 제1 렌디션은, 제2 렌디션과 잔차 요소들의 세트를 이용하여 재구성된다. 상관 요소들의 세트는, 적어도, 잔차 요소들의 세트 내의 복수의 잔차 요소들 사이의 공간 상관의 정도를 나타낸다. 입력 데이터는, 상관 요소들의 세트가 공간 상관의 정도를 나타내는지, 또는 상관 요소들의 세트가 제1 렌디션에 기초한 제1 기준 데이터와 신호의 제2 시간 샘플의 렌디션에 기초한 제2 기준 데이터 사이의 시간 상관의 정도를 더 나타내는지를 식별하는 데이터를 포함한다.
임의의 한 실시예와 관련하여 설명된 임의의 피처는 단독으로 또는 설명된 다른 피처들과 조합하여 이용될 수 있고, 임의의 다른 실시예의 하나 이상의 피처 또는 기타 임의의 실시예들의 임의의 조합과 결합하여 이용될 수도 있다는 것을 이해해야 한다. 또한, 전술되지 않은 균등물들 및 수정들도 역시, 첨부된 청구항들에서 정의되는 본 발명의 범위로부터 벗어나지 않고 채용될 수 있다.

Claims (20)

  1. 비디오 디코더 장치로서,
    비교적 높은 레벨의 품질에서 비디오 신호의 프레임에 대한 시공간 상관 요소들의 세트를 수신하고;
    상기 디코더 장치 내의 버퍼로부터 상기 비교적 높은 레벨의 품질에서 공간 상관 요소들의 제1 세트를 검색하고 - 상기 공간 상관 요소들의 제1 세트는 이전에 수신된 인코딩된 데이터로부터 도출됨 -;
    상기 수신된 시공간 상관 요소들의 세트를 상기 검색된 공간 상관 요소들의 제1 세트와 결합하여 상기 비교적 높은 레벨의 품질에서 공간 상관 요소들의 제2 세트를 생성하고;
    상기 비교적 높은 레벨의 품질에서 상기 공간 상관 요소들의 제2 세트로부터 잔차 요소들의 세트를 도출하고;
    비교적 낮은 레벨의 품질에서 상기 비디오 신호의 프레임에 대한 처리된 데이터를 획득하고;
    상기 비교적 높은 레벨의 품질에서 상기 처리된 데이터로부터 상기 비디오 신호의 프레임에 대한 업샘플링된 데이터를 도출하고;
    상기 업샘플링된 데이터를 상기 잔차 요소들의 세트와 결합하여 상기 비교적 높은 레벨의 품질에서 상기 비디오 신호의 프레임을 재구성하도록 구성되는 비디오 디코더 장치.
  2. 제1항에 있어서,
    상기 처리된 데이터는 제1 비디오 인코더로부터 획득되고, 상기 시공간 상관 요소들의 세트는 제2 비디오 인코더로부터 획득되고, 상기 제1 비디오 인코더는 상기 제2 비디오 인코더와 상이한, 비디오 디코더 장치.
  3. 제2항에 있어서,
    상기 제1 비디오 인코더는 H.264 인코더인, 비디오 디코더 장치.
  4. 제1항에 있어서,
    상기 비디오 디코더 장치는 별개의 디코딩 장치에 의해 출력되는 상기 비교적 낮은 레벨의 품질에서 상기 비디오 신호의 프레임으로서 상기 처리된 데이터를 획득하도록 구성되는, 비디오 디코더 장치.
  5. 제1항에 있어서,
    상기 비디오 디코더 장치는
    상기 비교적 낮은 레벨의 품질에서 정정 데이터를 수신하고;
    상기 비교적 높은 레벨의 품질에서 업샘플링된 데이터의 도출 이전에, 상기 정정 데이터를 사용하여 상기 비교적 낮은 레벨의 품질에서 상기 처리된 데이터로부터 도출된 디코딩된 신호를 정정하도록 구성되는, 비디오 디코더 장치.
  6. 제1항에 있어서,
    상기 공간 상관 요소들의 제1 및 제2 세트는 변환 행렬을 사용하여 잔차 요소들의 n×n 블록들을 변환하는 것에 의해 대응하는 비디오 인코더에서 생성되고, 상기 변환 행렬은 주어진 잔차 요소들의 n×n 블록에 대해,
    평균 또는 델타 평균 컴포넌트;
    수평 상관 컴포넌트;
    수직 상관 컴포넌트; 및
    대각선 상관 컴포넌트
    를 도출하는 요소들의 각각의 세트들을 포함하는, 비디오 디코더 장치.
  7. 제1항에 있어서,
    상기 잔차 요소들의 세트는 역 변환 행렬로 상기 공간 상관 요소들의 제2 세트의 n×n 블록들을 곱하는 것에 의해 도출되고, 상기 역 변환 행렬은 주어진 잔차 요소들의 n×n 블록에 대해,
    평균 또는 델타 평균 컴포넌트;
    수평 공간 상관 컴포넌트;
    수직 공간 상관 컴포넌트; 및
    대각선 공간 상관 컴포넌트
    를 도출하는 요소들의 각각의 세트들을 포함하는 변환 행렬의 역인, 비디오 디코더 장치.
  8. 제1항에 있어서,
    상기 잔차 요소들의 세트는 상기 비디오 신호의 프레임들에 대한 이미지별로 획득되고, 상기 비디오 신호의 컴포넌트 이미지들 사이에서 시간 상관을 채용하지 않는, 비디오 디코더 장치.
  9. 제1항에 있어서,
    상기 시공간 상관 요소들의 세트는 공간 상관의 정도에 더하여 시간 상관의 정도를 나타내는 상관 요소들을 포함하는, 비디오 디코더 장치.
  10. 제1항에 있어서,
    상기 공간 상관 요소들의 제1 세트는 비디오 데이터의 이전 프레임으로부터 도출되고, 상기 비디오 데이터의 이전 프레임은 디코딩될 상기 비디오 데이터의 프레임에 대한 비디오 데이터에 바로 선행하는 프레임이 아닌, 비디오 디코더 장치.
  11. 제1항에 있어서,
    상기 비디오 디코더 장치는 인코딩된 데이터로서 상기 공간 상관 요소들의 제2 세트를 수신하는 것 대신 상기 비교적 높은 레벨의 품질에서 상기 공간 상관 요소들의 제2 세트를 생성하도록 상기 시공간 상관 요소들의 세트를 사용하도록 나타내는 표시자 플래그를 수신하도록 구성되는, 비디오 디코더 장치.
  12. 제11항에 있어서,
    상기 표시자 플래그는 상기 공간 상관 요소들의 제2 세트 내의 수평 상관 요소에 대응하는 요소에 내장되는(embedded), 비디오 디코더 장치.
  13. 비디오 신호를 디코딩하는 방법으로서,
    비교적 높은 레벨의 품질에서 비디오 신호의 프레임에 대한 시공간 상관 요소들의 세트를 수신하는 단계;
    디코더 장치 내의 버퍼로부터 상기 비교적 높은 레벨의 품질에서 공간 상관 요소들의 제1 세트를 검색하는 단계 - 상기 공간 상관 요소들의 제1 세트는 이전에 수신된 인코딩된 데이터로부터 도출됨 -;
    상기 수신된 시공간 상관 요소들의 세트를 상기 검색된 공간 상관 요소들의 제1 세트와 결합하여 상기 비교적 높은 레벨의 품질에서 공간 상관 요소들의 제2 세트를 생성하는 단계;
    상기 비교적 높은 레벨의 품질에서 상기 공간 상관 요소들의 제2 세트로부터 잔차 요소들의 세트를 도출하는 단계;
    비교적 낮은 레벨의 품질에서 상기 비디오 신호의 프레임에 대한 처리된 데이터를 획득하는 단계;
    상기 비교적 높은 레벨의 품질에서 상기 처리된 데이터로부터 상기 비디오 신호의 프레임에 대한 업샘플링된 데이터를 도출하는 단계; 및
    상기 업샘플링된 데이터를 상기 잔차 요소들의 세트와 결합하여 상기 비교적 높은 레벨의 품질에서 상기 비디오 신호의 프레임을 재구성하는 단계
    를 포함하는 방법.
  14. 제13항에 있어서,
    별개의 디코딩 장치에 의해 출력되는 상기 비교적 낮은 레벨의 품질에서 상기 비디오 신호의 프레임으로서 상기 처리된 데이터를 수신하는 단계;
    상기 비교적 낮은 레벨의 품질에서 정정 데이터를 수신하는 단계; 및
    상기 비교적 높은 레벨의 품질에서 업샘플링된 데이터의 도출 이전에, 상기 정정 데이터를 사용하여 상기 비교적 낮은 레벨의 품질에서 상기 비디오 신호의 프레임을 정정하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서,
    상기 잔차 요소들의 세트를 도출하는 단계는:
    역 변환 행렬로 상기 공간 상관 요소들의 제2 세트의 n×n 블록들을 곱하는 단계를 포함하고,
    상기 역 변환 행렬은 주어진 잔차 요소들의 n×n 블록에 대해,
    평균 또는 델타 평균 컴포넌트;
    수평 공간 상관 컴포넌트;
    수직 공간 상관 컴포넌트; 및
    대각선 공간 상관 컴포넌트
    를 도출하는 요소들의 각각의 세트들을 포함하는 변환 행렬의 역인, 방법.
  16. 제15항에 있어서,
    상기 잔차 요소들의 세트는 상기 비디오 신호의 프레임들에 대한 이미지별로 획득되고, 상기 비디오 신호의 컴포넌트 이미지들 사이에서 시간 상관을 채용하지 않고, 상기 시공간 상관 요소들의 세트는 공간 상관의 정도에 더하여 시간 상관의 정도를 나타내는 상관 요소들을 포함하는, 방법.
  17. 제13항에 있어서, 상기 시공간 상관 요소들의 세트를 수신하는 단계 이전에:
    상기 공간 상관 요소들의 제2 세트를 인코딩하는 것 대신 상기 시공간 상관 요소들의 세트가 사용될 것이라고 나타내는 표시자 플래그를 수신하고 파싱하는(parsing) 단계
    를 포함하는 방법.
  18. 비디오 신호의 인코딩을 표현하는 비트 시퀀스로서,
    상기 비디오 신호는 프레임들의 시퀀스를 포함하고, 상기 비트 시퀀스는:
    상기 프레임들의 시퀀스 중 각각의 프레임에 대해 복수의 공간 일부(a plurality of spatial parts)에 대한 인코딩된 데이터 - 각각의 공간 일부에 대한 상기 인코딩된 데이터는 공간 상관 요소들의 세트 및 시공간 상관 요소들의 세트 중 선택된 세트로부터 도출됨 -; 및
    각각의 프레임에 대해 상기 복수의 공간 일부 중 각각에 대한 선택의 결과를 나타내는 데이터 - 상기 선택은 상기 공간 상관 요소들의 세트 및 상기 시공간 상관 요소들의 세트 중 어느 것이 각각의 공간 일부에 대해 사용되었는지 나타냄 -
    를 포함하고,
    상기 공간 상관 요소들의 세트는 주어진 공간 일부에 대한 복수의 잔차 요소 사이에서 공간 상관의 정도를 나타내고, 상기 복수의 잔차 요소는 상기 비디오 신호에 대한 원래의 입력 데이터와 업샘플링된 데이터 사이의 차이로서 계산되고, 상기 업샘플링된 데이터는 상기 비디오 신호에 대한 상기 원래의 입력 데이터의 다운샘플링의 인코딩의 디코딩의 업샘플링으로부터 도출되고, 상기 인코딩 및 디코딩은 상기 복수의 공간 일부에 대해 상기 인코딩된 데이터를 생성하도록 사용되는 인코딩과는 별개의 것이고, 상기 공간 상관 요소들의 세트는 상기 복수의 잔차 요소에 변환 행렬을 곱하는 것에 의해 도출되고, 상기 시공간 상관 요소들의 세트는 상기 프레임들의 시퀀스에서 주어진 프레임보다 이른 프레임과 연관된 공간 상관 요소들의 세트와 상기 주어진 프레임과 연관된 공간 상관 요소들의 세트 사이의 시간 상관의 정도를 나타내는, 비트 시퀀스.
  19. 제18항에 있어서,
    상기 공간 상관 요소들의 세트는
    상기 복수의 잔차 요소 중 잔차 요소들의 평균 또는 수정된 평균;
    상기 복수의 잔차 요소 내의 수평 상관;
    상기 복수의 잔차 요소 내의 수직 상관; 및
    상기 복수의 잔차 요소 내의 대각선 상관
    을 표현하는, 비트 시퀀스.
  20. 제19항에 있어서,
    공간 상관 요소들의 각각의 세트는 2×2, 4×1 또는 1×4의 상관 요소들의 어레이로서 배열되고, 상기 선택의 결과를 나타내는 데이터는 상기 시공간 상관 요소들의 세트 및 상기 공간 상관 요소들의 세트의 수평 기반(horizontal-based) 요소들 내에 포함된 1 비트 표시자 플래그들의 세트를 포함하고, 상기 수평 기반 요소들은 상기 표시자 플래그들을 수용하기 위해 증가된 양자화를 거치는, 비트 시퀀스.
KR1020237002706A 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축 KR20230019264A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237025344A KR20230113665A (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 계층 사이의 차이를 이용한비디오 압축

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB1615265.4 2016-09-08
GB1615265.4A GB2553556B (en) 2016-09-08 2016-09-08 Data processing apparatuses, methods, computer programs and computer-readable media
PCT/GB2017/052631 WO2018046940A1 (en) 2016-09-08 2017-09-08 Video compression using differences between a higher and a lower layer
KR1020197009856A KR102492838B1 (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009856A Division KR102492838B1 (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237025344A Division KR20230113665A (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 계층 사이의 차이를 이용한비디오 압축

Publications (1)

Publication Number Publication Date
KR20230019264A true KR20230019264A (ko) 2023-02-07

Family

ID=57234705

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237002706A KR20230019264A (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축
KR1020197009856A KR102492838B1 (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축
KR1020237025344A KR20230113665A (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 계층 사이의 차이를 이용한비디오 압축

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020197009856A KR102492838B1 (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축
KR1020237025344A KR20230113665A (ko) 2016-09-08 2017-09-08 더 높은 계층과 더 낮은 계층 사이의 차이를 이용한비디오 압축

Country Status (6)

Country Link
US (2) US10992943B2 (ko)
EP (1) EP3510778A1 (ko)
KR (3) KR20230019264A (ko)
CN (2) CN109952763B (ko)
GB (1) GB2553556B (ko)
WO (1) WO2018046940A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3821601A1 (en) 2018-07-15 2021-05-19 V-Nova International Limited Low complexity enhancement video coding
BR112021001958A2 (pt) * 2018-08-03 2021-04-27 V-Nova International Limited transformações para codificação de intensificação de sinal
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817784D0 (en) 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB2619435B (en) * 2019-03-20 2024-02-21 V Nova Int Ltd Low complexity enhancement video coding
CN113785580B (zh) 2019-03-20 2024-06-14 V-诺瓦国际有限公司 用于视频编码器的速率控制
CN113994689A (zh) * 2019-03-20 2022-01-28 威诺瓦国际有限公司 信号增强编码中的残差滤波
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
WO2021005349A1 (en) 2019-07-05 2021-01-14 V-Nova International Ltd Quantization of residuals in video coding
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
GB2599341A (en) 2020-07-28 2022-04-06 V Nova Int Ltd Management system for multilayer encoders and decoders and method thereof
GB202103498D0 (en) 2021-03-12 2021-04-28 V Nova Int Ltd Processing of residuals in video coding
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
WO2023135410A1 (en) 2022-01-11 2023-07-20 V-Nova International Ltd Integrating a decoder for hierarchical video coding
WO2023135420A1 (en) 2022-01-12 2023-07-20 V-Nova International Ltd Secure enhancement decoding implementation
GB2611836B (en) 2022-03-31 2024-05-29 V Nova Int Ltd Frame buffer usage during a decoding process
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB202205618D0 (en) 2022-04-14 2022-06-01 V Nova Int Ltd Extended reality encoding
GB202205928D0 (en) 2022-04-22 2022-06-08 V Nova Int Ltd Methods, bitstreams, apparatuses, computer programs and computer-readable media
WO2024003577A1 (en) 2022-07-01 2024-01-04 V-Nova International Ltd Applications of layered encoding in split computing
US20240098285A1 (en) 2022-09-20 2024-03-21 V-Nova International Limited Method for decoding a video stream
GB2625756A (en) 2022-12-22 2024-07-03 V Nova Int Ltd Methods and modules for video pipelines

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050075578A (ko) 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
JP5039142B2 (ja) * 2006-10-25 2012-10-03 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 品質スケーラブルな符号化方法
KR101425602B1 (ko) * 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법
WO2009130540A1 (en) 2008-04-23 2009-10-29 Maxtu S.A. Method for high definition video encoding/decoding suitable for real-time video streaming
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
US10873772B2 (en) * 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
US9129411B2 (en) * 2011-07-21 2015-09-08 Luca Rossato Upsampling in a tiered signal quality hierarchy
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding
MX341203B (es) * 2012-05-14 2016-08-11 Rossato Luca Descomposicion de datos residuales durante la codificacion, decodificacion y reconstruccion de señal en jerarquia escalonada.
WO2014052740A1 (en) 2012-09-28 2014-04-03 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
US10063886B2 (en) * 2013-10-07 2018-08-28 Vid Scale, Inc. Combined scalability processing for multi-layer video coding
US9794595B2 (en) * 2014-03-18 2017-10-17 Qualcomm Incorporated Derivation of end of sequence NAL unit information for multi-layer bitstreams

Also Published As

Publication number Publication date
US12034943B2 (en) 2024-07-09
GB2553556B (en) 2022-06-29
GB2553556A (en) 2018-03-14
US10992943B2 (en) 2021-04-27
KR102492838B1 (ko) 2023-01-30
CN109952763A (zh) 2019-06-28
US20210314580A1 (en) 2021-10-07
US20190313109A1 (en) 2019-10-10
KR20190086433A (ko) 2019-07-22
KR20230113665A (ko) 2023-07-31
CN117880528A (zh) 2024-04-12
WO2018046940A1 (en) 2018-03-15
GB201615265D0 (en) 2016-10-26
CN109952763B (zh) 2023-12-01
EP3510778A1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
KR102492838B1 (ko) 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축
CN109451308B (zh) 视频压缩处理方法及装置、电子设备及存储介质
US20220345753A1 (en) Use of embedded signalling to correct signal impairments
US10504246B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
KR102463623B1 (ko) 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체
KR20150140842A (ko) 하이브리드 백워드-호환가능 신호 인코딩 및 디코딩
KR20150014496A (ko) 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
US11856210B2 (en) Apparatuses, methods, computer programs and computer-readable media
US20170214924A1 (en) Self-adaptive prediction method for multi-layer codec
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
US20220239939A1 (en) Temporal Prediction Shifting for Scalable Video Coding
GB2553557A (en) Data processing apparatuses, methods, computer programs and computer-readable media
CN113994685A (zh) 在分级视频编码中交换信息
CN113228664A (zh) 用于可伸缩图像编码的方法、设备、计算机程序和计算机可读介质
CN111108747B (zh) 获得信号的时间样本的目标表示
GB2605512A (en) Data processing apparatuses, methods, computer programs and computer-readable media

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E601 Decision to refuse application
A107 Divisional application of patent