KR102126886B1 - 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제 - Google Patents

단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제 Download PDF

Info

Publication number
KR102126886B1
KR102126886B1 KR1020147035175A KR20147035175A KR102126886B1 KR 102126886 B1 KR102126886 B1 KR 102126886B1 KR 1020147035175 A KR1020147035175 A KR 1020147035175A KR 20147035175 A KR20147035175 A KR 20147035175A KR 102126886 B1 KR102126886 B1 KR 102126886B1
Authority
KR
South Korea
Prior art keywords
signal
rendition
quality level
residuals
adjustment values
Prior art date
Application number
KR1020147035175A
Other languages
English (en)
Other versions
KR20150014494A (ko
Inventor
루카 로사토
귀도 메아르디
Original Assignee
루카 로사토
귀도 메아르디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루카 로사토, 귀도 메아르디 filed Critical 루카 로사토
Publication of KR20150014494A publication Critical patent/KR20150014494A/ko
Application granted granted Critical
Publication of KR102126886B1 publication Critical patent/KR102126886B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Detergent Compositions (AREA)
  • Display Devices Of Pinball Game Machines (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Retry When Errors Occur (AREA)
  • Peptides Or Proteins (AREA)
  • User Interface Of Digital Computer (AREA)
  • Pyridine Compounds (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Polyurethanes Or Polyureas (AREA)
  • Dc Digital Transmission (AREA)

Abstract

컴퓨터 프로세서 하드웨어는 조절 값들의 제1 세트를 수신한다. 조절 값들의 제1 세트는 제1 품질 레벨에서의 신호의 렌디션을 재구성하기 위하여 제1 품질 레벨에서 발생된 신호의 예측된 렌디션에 대해 행해져야 할 조절들을 특정한다. 컴퓨터 프로세서 하드웨어는 조절 값들의 제1 세트를 프로세싱하고, 조절 값들의 제1 세트 및 제2 품질 레벨에서의 신호의 렌디션에 기초하여 조절 값들의 제2 세트를 유도한다. 제2 품질 레벨은 제1 품질 레벨보다 더 낮다.

Description

단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제{DECOMPOSITION OF RESIDUAL DATA DURING SIGNAL ENCODING, DECODING AND RECONSTRUCTION IN A TIERED HIERARCHY}
다차원 신호들 또는 시간에 따라 진전되는 신호들의 압축 및 압축해제를 처리하기 위하여 다수의 기술들이 당해 분야에서 알려져 있다. 이것은 오디오 신호들, 비디오 신호들, 및 과학 및 의료 분야들에서 이용된 용적계측 신호(volumetric signal)들과 같은 다른 다차원 신호들의 경우이다.
높은 압축률을 달성하기 위하여, 그 기술들은 신호 내부의 공간 및 시간 상관을 사용한다. 예를 들어, 기존의 방법들은 참조(reference)를 식별하고, 현재의 로케이션과 주어진 참조와의 사이의 신호의 차이를 결정하는 것을 시도한다. 이것은, 참조가 이미 수신되고 디코딩된 공간적 평면의 일부분(예를 들어, 블록 또는 "매크로-블록")인 공간 도메인과, 신호의 시간에 있어서의 단일 인스턴스(예를 들어, 프레임들의 시퀀스 내의 비디오 프레임)가 어떤 지속기간 동안의 참조로서 취해지는 시간 도메인의 둘 모두에서 행해진다. 이것은 예를 들어, MPEG(Moving Pictures Expert Group; 동화상 전문가 그룹)-계열 압축 알고리즘들의 경우에도 그러하고, 여기서, 이전-디코딩된 매크로 블록들은 공간 도메인에서 참조로서 취해지고, I-프레임들 및 P-프레임들은 시간 도메인에서의 추후의 P-프레임들에 대한 참조로서 이용된다.
알려진 기술들은 공간 상관 및 시간 상관을 다수의 방법들로 사용하고, 차이들을 식별, 단순화, 인코딩 및 송신하기 위하여 몇몇 상이한 기술들을 채택한다. 기존의 방법들에 따르면, 픽처 엘리먼트(picture element)들의 각각의 블록 내에서 잔차(residual)들의 공간 상관을 활용하기 위하여, (예를 들어, 주파수 도메인으로의) 도메인 변환이 수행되고, 다음으로, 변환된 정보의 손실 있는 삭제 및 양자화가 수행되어, 전형적으로 어느 정도의 블록 아티팩트(block artifact)들을 도입한다. 실제로, 시간 도메인에서는, 기존의 방법들이 현재의 샘플과 모션-보상된 참조 샘플 사이의 양자화된 차이를 송신한다. 샘플들 사이의 유사성을 최대화하기 위하여, 인코더들은 발생된 시간에 따른 수정들 대(vs) 참조 신호를 추정하는 것을 시도한다. 기존의 인코딩 방법들(예를 들어, MPEG 계열 기술들, VP8, 등)에서는, 이것은 모션(motion) 추정 및 보상이라고 불린다.
오늘 날의 CPU(Central Processing Unit; 중앙 프로세싱 유닛)들 및 GPU(Graphics Processing Unit; 그래픽스 프로세싱 유닛)들은 전형적으로 매우 강력하고; 단일 GPU는 정보의 병렬 프로세싱을 수행하기 위하여 수백 개의 컴퓨팅 코어들을 포함할 수 있다. 현재 기술의 하드웨어를 이용할 때, 이미지의 매우 큰 부분들이 프로세싱을 위한 프로세서 캐쉬(processor cache) 내에 저장될 수 있다. 이미지들을, JPEG 및 MPEG 가 만들어졌을 때에 구동 인자였었던 다수의 작은 블록들로 프래그먼트(fragment) 할 필요성은, 그 시대로부터의 프로세서들이 비디오 데이터의 매우 작은 청크(chunk)들을 한 번에 - 그리고 그 다음에는 다시 순차적으로 - 처리할 수 있기만 하므로, 더 이상 최신의 CPU들 및 GPU들에 적용되지 않는다. 따라서, MPEG-유사 타입들의 인코딩/디코딩을 구현할 때, 이용가능한 프로세싱 파워의 큰 부분은 사용되지 않고 지나갈 수도 있고, 블록화 아티팩트들이 불필요하게 신호 내로 도입될 수도 있다.
또한, MPEG이 개발되었을 때에 통용되었던 것들과 비교하여, 현재의 애플리케이션들은 전형적으로 훨씬 더 높은 해상도의 비디오 인코딩 및 훨씬 더 높은 전체적인 재생 품질을 요구한다. 고해상도(예를 들어, 풀 HD, 울트라 HD), 고품질 비디오들(예를 들어, 원래의 신호에 대한 비교적 비가시적인 아티팩트들)에서는, (아마도 심지어 탈초점(ouf of focus) 인) 낮은 디테일(detail)을 갖는 구역들과 매우 미세한 디테일을 갖는 구역들 사이에 훨씬 더 큰 차이가 있다. 이것은 JPEG-기반 및 MPEG-기반 방법들에서 이용되는 것들과 같은 주파수-도메인 변환들의 이용을 이미지 프로세싱 및 재생을 위해 훨씬 더 부적당하게 하는데, 이것은 관련 주파수들의 범위가 훨씬 더 넓어지기 때문이다.
추가적으로, 더 높은 해상도의 이미지들은 더 높은 양의 카메라 잡음 및/또는 필름 그레인(film grain), 즉, 인코딩하기 위한 다수의 비트들을 요구하지만, 객체들의 경계들의 뷰잉(viewing) 대 유사한 고-주파수 픽셀 전이(pixel transition)들에 대해 상당히 무관할 수 있는 매우 상세한 고-주파수 픽셀 전이들을 포함한다.
당해 분야에서 무시된 또 다른 양상은 몇 번의 시도들을 제외하고, 품질 스케일러빌러티(quality scalability) 요건이다. 스케일러블 인코딩 방법은 압축된 신호의 단일 버전을 인코딩할 것이고, 상이한 레벨들의 품질, 대역폭 이용가능성들, 및 디코더 복잡도에 대한 전달을 가능하게 할 것이다. 스케일러빌러티는 MPEG-SVC 및 JPEG2000과 같은 알려진 방법들에서 고려되었으며, 연산 복잡도, 및 일반적으로 말하면, 비-스케일러블 기술들에 비해 압축 비효율성으로 인해 지금까지 열악한 채택이었다.
과거에는, 인코딩/디코딩을 위한 JPEG/MPEG 표준들에 대한 스케일러블 대안으로서, 소위 이미지 라플라시안 피라미드(image Laplacian pyramid)들이 인코딩/디코딩 목적들을 위해 이용되었다. 예를 들어, 기존의 라플라시안 피라미드 시스템들은 가우시안 필터(Gaussian filter)들을 이용하여 더 낮은 해상도의 이미지들을 생성하였고, 다음으로, 엄격하게 프로그래밍된 디코더로 더 낮은 해상도 레벨로부터 원래의 레벨로 다시 업샘플링함으로써 얻어진 이미지들 사이의 차이들의 피라미드를 구축하였다. 기존의 라플라시안 피라미드 인코딩의 이용은 그 압축 비효율성으로 인해 포기되었다.
지금까지 최신식의 인코딩 방법들(예를 들어, 퓨리에 변환(Fourier transform)들, 이산 코사인 변환(Discrete Cosine Transform)들, 아다마르 변환(Hadamard transform)들, 웨이블렛 변환(Wavelet transform)들, 등)에 의해 활용된 잔차들의 도메인 변환들은 다수의 문제점들을 겪고 있다.
우선, 실세계(real-world) 신호들이 전형적으로 제한된 양들의 주기성을 보여주므로, 주파수 도메인으로 변환하는 바로 그 선택은 이들을 신호의 큰 부분들(즉, 차원들의 각각에 대해 높은 수의 샘플들을 갖는 부분들)에 걸쳐 상관을 적절하게 사용하기에 부적당하게 만든다. 결과적으로, 주파수 도메인 변환들은 동시에 너무 크고 너무 작은 블록들: 너무 커서 연산적으로 간단할 수 없고, 너무 작아서 고-해상도 신호의 상관을 충분히 사용할 수 없는 블록들에 대해 수행된다. 예를 들어, 연산 복잡도들을 동시에 관리하면서, 샘플들의 충분히 큰 세트들의 상관을 사용하기 위하여, 기존의 이미지 및 비디오 인코딩 기술들은 8x8, 16x16 또는 32x32 엘리먼트들의 블록들: 명백히 너무 작아서 (예를 들어, 8백만 픽셀들을 갖는) 고해상도 이미지에서 이미지 패턴들의 상관을 완전히 캡처할 수 없지만, 상당한 연산 파워를 흡수할 정도로 충분히 큰 블록들에 대해 동작한다.
둘째, 주파수 도메인 변환들을 활용하는 알려진 방법들은 인간들이 전이의 방향에 종속되지 않는 방법으로 고조파(harmonic)들(예를 들어, 컬러 전이들의 주파수들)을 감지한다고 묵시적으로 가정하는 반면, 몇몇 연구들은 인간들이 특히, 복잡한 형상들을 시청할 때에 전이의 정밀한 방향/각도보다 훨씬 더 양호한 전이의 샤프니스(sharpness)를 인식한다는 것을 보여주었다.
셋째, 알려진 손실 있는 인코딩 기술들은 변환의 결과들을 양자화함으로써 동작하고, 불가피하게 2개의 문제점들을 발생시킨다: (1) 상대적으로 복잡한 디-블록화(de-blocking) 이미지 프로세싱 방법들로 상관되어야 할, 하나의 블록과 이웃하는 블록 사이의 블록-기반 아티팩트들; (2) 실제적인 픽셀 값들은 역-양자화된 파라미터들의 역 변환의 결과여서, 블록의 양자화된 파라미터들에서의 양자화 에러들은 다수의 재-인코딩(re-encoding)들 및/또는 극도로 복잡한 양자화 방식들 없이 관리하기가 어려운 방식들로 서로 합성하기 때문에, 인코딩된 이미지에서의 최대 에러를 용이하게 제어하기가 불가능함. 블록 아티팩트들을 회피하는 것과, 최대 에러 제어를 보장하는 것은 특히, 의료용 이미징 또는 전문적인 이미지/비디오 프로덕션과 같은 애플리케이션들에서 특별히 중요한 특징들이다.
본원에서의 실시형태들은 기존의 시스템들 및 방법들에 대해 이탈하여, 이미지의 렌디션(rendition)을 재구성하기 위하여 (잔차 데이터와 같은) 엘리먼트 정보를 양자화 및/또는 변환하여 위한 신규한 방법들을 제공하고, 효율적인 엔트로피 코딩, 낮은 연산 복잡도, 병렬성(parallelism), 스케일러빌러티, 에러 제어, 등에 특징이 있는 인코딩 방법들을 가능하게 한다. 본원에서의 방법들 및 실시형태들은 낮은 연산 복잡도, 병렬성, 스케일러빌러티, 및 에러 제어를 갖는 효율적인 엔트로피 코딩 결과들을 달성하기 위한 혁신적인 접근법을 나타낸다.
그 가장 넓은 양상에 따르면, 본원에서의 실시형태들은 신호 엘리먼트들의 세트들을 효율적으로 엔트로피 인코딩하기 위하여, 신호 엘리먼트들의 세트들(즉, 값들의 적당한 시퀀스(sequence)들)을 변환된 신호 엘리먼트들의 세트들로 변환하기 위한 방법을 포함한다. 본원에서 예시된 실시형태들은 특히, 비-제한적인 이용의 경우에 초점이 마추어져 있고, 여기서, 상기 신호 엘리먼트들은 동일한 이미지의 타겟 렌디션을 얻기 위하여 이미지의 예측된 (즉, 예비의) 렌디션에 부가되어야 할 잔차 데이터에 대응하고, 상기 예측된 렌디션은 적어도 부분적으로, (예를 들어, 더 낮은 레벨의 충실도(fidelity) 대 원래의 신호 렌디션을 갖는) 더 낮은 품질 레벨에서의 동일한 이미지의 렌디션을 업샘플링 및/또는 프로세싱함으로써 얻어진다. 본원에서 예시된 실시형태들은 특히, 비-제한적인 경우들에 초점이 맞추어져 있고, 여기서, 당해 분야의 당업자는 동일한 방법들을, 더 낮은 품질 레벨에서의 신호가 동일한 해상도 및 더 낮은 레벨의 디테일(예를 들어, 제한 없이, 엘리먼트 값들의 더 개략적인 양자화)을 갖는 신호인 경우들에 용이하게 적응시킬 수 있지만, 더 낮은 품질 레벨은 신호의 차원들 중의 하나 이상에 걸쳐 더 낮은 해상도(즉, 더 개략적인 샘플링 그리드(coarser sampling grid)이다.
본원에서의 실시형태들은 전통적인 인코딩 방법들과 함께 관련하여 유용하고, 단계-기반(tier-based) 인코딩 방법들, 동일한 저자들의 다른 특허 출원들에서 설명되어 있는 다른 신규한 방법들의 세트와 함께 관련하여 유용하다.
간략함을 위하여, 본원에서 예시된 비-제한적인 실시형태들은 신호를 다차원 샘플들(즉, 예를 들어, 2차원 이미지들로서 조직된 픽처 엘리먼트들의 비-제한적인 예의 세트들을 통해, 하나 이상의 차원들을 갖는 어레이(array)들로서 조직된 하나 이상의 엘리먼트들의 세트들)이라고 지칭한다. 설명에서, 용어들 "이미지" 또는 "평면"("초평면(hyperplane)"의 가장 넓은 의미, 즉, 임의의 수의 차원들 및 주어진 샘플링 그리드를 갖는 엘리먼트들의 어레이를 갖도록 의도됨)은 샘플들의 시퀀스를 따라 신호의 샘플의 디지털 렌디션을 식별하기 위하여 종종 이용될 것이고, 여기서, 각각의 평면은 그 차원들(예를 들어, 2차원들의 경우에 X 및 Y)의 각각에 대한 주어진 해상도를 가지고, 하나 이상의 "값들" 또는 "설정들"(예를 들어, 비-제한적인 예들로서, 적당한 컬러 공간에서의 컬러 설정들, 밀도 레벨을 표시하는 설정들, 온도 레벨들을 표시하는 설정들, 오디오 피치(audio pitch)를 표시하는 설정들, 진폭을 표시하는 설정들, 등)에 의해 특징되는 평면 엘리먼트들(또는 "엘리먼트", 또는 "픽셀(pixel)"이라고 종종 불리는 2차원 이미지들에 대해, "복셀(voxel)"이라고 종종 불리는 용적계측 이미지들에 대해, 등등에 대해 "펠(pel)")의 세트를 포함한다. 각각의 평면 엘리먼트는 적당한 세트의 좌표들에 의해 식별되어, 이미지의 샘플링 그리드에서 상기 엘리먼트의 정수 위치들을 표시한다. 신호 차원들은 (예를 들어, 이미지의 경우) 공간 차원들만을 포함할 수 있거나, 또한, (예를 들어, 시간에 걸쳐 진전되는 신호의 경우) 시간 차원을 포함할 수 있다.
비-제한적인 예들로서, 신호는 이미지, 오디오 신호, 멀티-채널 오디오 신호, 비디오 신호, 멀티-뷰 비디오 신호(예를 들어, 3D 비디오), 플렌옵틱(plenoptic) 신호, 멀티-스펙트럼 신호, 용적계측 비디오 신호, 또는 심지어 4개를 초과하는 차원들을 갖는 신호들일 수 있다.
간략함을 위하여, 본원에서 예시된 비-제한적인 실시형태들은 예를 들어, 이미지 또는 비디오 신호(즉, 시간에 걸쳐 진전되는 2D 이미지들의 시퀀스)와 같은 설정들의 2D 평면들(예를 들어, 적당한 컬러 공간에서의 2D 이미지들)로서 디스플레이되는 신호들을 종종 지칭한다. 그러나, 당해 분야의 당업자는 동일한 개념들 및 방법들을 임의의 다른 타입들의 다차원 신호(예를 들어, 용적계측 신호들, 비디오 신호들, 3D 비디오 신호들, 플렌옵틱 신호들, 등)에 용이하게 적용할 수 있다.
본원에서 예시된 비-제한적인 실시형태들은 또한, 품질 레벨("level of quality; LOQ")들의 단계적 계층(tiered hierarchy)에서 인코딩된 신호들의 경우들을 종종 예시하고, 여기서, 단계적 계층에서 더 높은 품질 레벨들은 점진적으로 더 높은 해상도(즉, 신호의 차원들 중의 하나 이상의 것에 대한 샘플들의 더 높은 수)를 가진다. 간략함을 위하여, 본원에서 예시된 비-제한적인 실시형태들은 신호의 차원의 각각에 대한 2의 스케일 인자(scale factor)로 증가하는 해상도들의 간단한 경우를 종종 지칭하지만, 당해 분야의 당업자들은 동일한 방법들을 상이한 (그리고 잠재적으로 이방성) 스케일 인자들을 갖는 경우들에도 용이하게 적용할 수 있다. 품질 레벨들의 단계적 계층에서 인코딩된 신호들과 함께 작동할 때, 더 낮은 LOQ의 (예를 들어, 공동-위치된(co-located with)) 동일한 엘리먼트에 의해 "제어된" 주어진 LOQ의 엘리먼트들의 설정들을 재구성하도록 허용하는 잔차들은 본원에서 예시된 비-제한적인 실시형태들에 의해 효과적으로 사용되는 중요한 상관들을 나타낸다. 간략함을 위하여, 우리는 더 높은 LOQ에서의 평면 엘리먼트들("피제어 펠들(controlled pels)"의 주어진 세트의 "제어 평면 엘리먼트(controlling plane element)"(또는 "제어 펠(controlling pel)")를, 더 높은 LOQ에서의 평면 엘리먼트들의 주어진 세트와 공동-위치되는 더 낮은 LOQ에서의 부모 엘리먼트로 부를 것이다.
본원에서 예시된 추가의 비-제한적인 실시형태들은 더 낮은 품질 레벨에서의 신호의 렌디션 및 잔차들 사이에 존재하는 상관과, 잔차들 자체 사이의 상관 둘 모두를 활용하도록 잔차 데이터(즉, 주어진 품질 레벨에서의 신호의 적당한 렌디션을 얻도록 신호의 엘리먼트들에 적용하기 위한 조절들에 대한 정보)를 변환한다. 특히, 잔차 데이터를 디지털 비트 스트림으로 효율적으로 인코딩하기 위하여, 2개의 동작들이 필요하다: 양자화(즉, 주어진 유한한 알파벳의 심볼들에 속하는 심볼을 모든 값에 배정하는 것) 및 엔트로피 인코딩(entropy encoding). 엔트로피 인코딩 전에 심볼들을 변환하는 것은 인코딩되어야 할 심볼들의 가변성을 감소시키는 것을 허용하여, 이에 따라, 엔트로피 인코더의 효율을 증가시킨다. 더 낮은 품질 레벨에서의 신호의 렌디션을 활용하는 것은 디코더에서 이미 이용가능한 정보에 기초하여 잔차 정보의 일부를 예측하는 것을 허용하여, 인코딩 효율을 추가로 증가시킨다. 더 낮은 품질 레벨에서의 신호의 렌디션을 활용함과 동시에 잔차들의 블록을 변환하는 것, 즉, 멀티스케일 변환을 구현하는 것은 또한, 블록 자체보다 더 폭넓은 신호의 부분에 걸쳐 신호의 상관을 사용하는 것을 허용하고: 이러한 방법으로, 우리는 훨씬 더 폭넓은 구역에 걸쳐 상관을 활용함과 동시에 블록 사이즈를 극도로 작게 (예를 들어, 심지어 2x2) 유지할 수 있어서, 연산 복잡도의 장점들 및 인코딩 효율의 장점들의 둘 모두를 달성한다.
본원에서 예시된 방법들은 변환된 양자화된 잔차 데이터의 복수의 세트들에서의 별개의 심볼들의 수가 최소화되도록 잔차들을 변환하는 것을 허용하여, 이에 따라, 상기 복수의 세트들을 인코딩 및 송신하기 위해 필요한 비트스트림의 사이즈를 감소시킨다. 본원에서 설명된 일부의 비-제한적인 실시형태들에서는, 기존의 인코딩 방법들로 지금까지 행해졌던 것과 유사하게, 양자화 단계가 인코딩 측에서의 변환 단계 후에 (그리고, 그 결과, 디코딩 측에서는 역변환 단계 전에) 수행된다. 본원에서 설명된 다른 신규한 비-제한적인 실시형태들에서는, 양자화 단계가 인코딩 측에서의 변환 단계 전에 (그리고, 그 결과, 디코딩 측에서는 역변환 단계 후에) 수행되어, 무손실 변환 방법을 효과적으로 구현한다. 변환 단계 전에 양자화 단계를 수행하는 것은 인코딩의 더욱 연산 집중적인 부분들을 심지어 시작하기 전에 손실 있는 인코딩으로 도입된 에러들을 제어(그리고 필요할 경우에는 제한)하는 것을 허용한다. 본원에서 설명된 비-제한적인 실시형태는 또한, 무손실 변환에 의하여 얻어지는 심볼들에 걸친 알려진 상관들을 효과적으로 처리한다.
본원에서 예시된 비-제한적인 실시형태는 잔차들의 2x2 세트들에 대해 적용된 압축해제 변환들을 종종 예시한다. 이것은 비-제한적인 것으로 의도되어야 하고, 당해 분야의 당업자들은 동일한 방법들을, 각각의 차원(예를 들어, 잔차들의 2x1 세트들) 또는 2를 초과하는 차원들(예를 들어, 용적계측 이미지, 또는 제3 차원이 시간을 나타내는 비디오 신호에서의 잔차들의 LxNxM 세트들) 당 상이한 사이즈들을 포함하는, 상이한 사이즈를 갖는 잔차들의 세트들에 대해 용이하게 적용할 수 있다.
본원에서 설명된 비-제한적인 실시형태에서, 제1 신호 프로세서("인코더")는 품질 레벨들의 계층에서 신호를 인코딩하도록 구성되는 반면, 제2 신호 프로세서("디코더")는 품질 레벨들의 계층에서 상기 신호의 렌디션을 디코딩하도록 구성된다.
인코더는 제1 품질 레벨에서의 신호를 수신하고 제2 품질 레벨에서의 신호의 렌디션을 생성하고, 제2 품질 레벨은 제1 품질 레벨보다 더 낮다. 다음으로, 인코더는 제2 품질 레벨에서의 신호의 렌디션을 프로세싱하여, 제1 품질 레벨에서의 신호의 예측된 렌디션을 생성한다. 다음으로, 인코더는 잔차 데이터를 발생시키고, 상기 잔차 데이터는 제1 품질 레벨에서의 신호와, 제1 품질 레벨에서의 신호의 예측된 렌디션과의 사이의 차이에 대응한다. 다음으로, 인코더는 압축해제 변환을 적용함으로써 잔차 데이터를 변환하여, 파라미터들("컴포넌트들", 또는 "잔차 컴포넌트들")을 생성한다. 잔차 컴포넌트들을 얻기 위하여 잔차들을 압축해제하는 것은 인코더가 잔차들 사이의 상관에 대해 더 양호하게 활용하는 것을 허용하고; 추가적으로, 컴포넌트들 중의 일부는 제2 품질 레벨에서의 신호의 렌디션을 갖는 잔차들보다 더 많이 상관되어, 비-변환된 잔차들보다 송신하는 것을 더 용이하게 한다. 다음으로, 인코더는 상기 컴포넌트들, 제1 품질 레벨에서의 신호의 상기 예측된 렌디션, 및 제2 품질 레벨에서의 신호의 상기 렌디션을 프로세싱하여, 변환된 잔차들을 생성한다. 다음으로, 인코더는 제2 품질 레벨에서의 신호의 상기 렌디션 및 상기 변환된 잔차들을 대응하는 인코딩된 데이터로 인코딩한다.
디코더는 상기 인코딩된 데이터를 수신하고, 상기 인코딩된 데이터에 적어도 부분적으로 기반으로 하여, 제2 품질 레벨에서의 신호의 렌디션 및 재구성된 변환된 잔차들을 재구성한다. 디코더는 제2 품질 레벨에서의 신호의 렌디션을 프로세싱하여, 제1 품질 레벨에서의 신호의 예측된 렌디션을 생성하고, 제1 품질 레벨은 제2 품질 레벨보다 더 높다. 디코더는 제1 품질 레벨에서의 신호의 상기 예측된 렌디션, 제2 품질 레벨에서의 신호의 상기 렌디션, 및 상기 재구성된 변환된 잔차들을 프로세싱하여, 재구성된 컴포넌트들을 생성한다. 디코더는 역압축해제 변환을 재구성된 컴포넌트들에 적용하여, 재구성된 잔차들을 생성한다. 디코더는 제1 품질 레벨에서의 신호의 예측된 렌디션을 재구성된 잔차들과 결합하여, 제1 품질 레벨에서의 신호의 렌디션을 생성한다.
본원에서 설명된 비-제한적인 실시형태에서, 잔차 컴포넌트들은 잔차들 간의 가산들 및/또는 감산들을 포함하는 계산들에 의해 얻어지고, 잔차들은 잔차 컴포넌트들 간의 가산들 및/또는 감산들을 포함하는 계산들에 의해 얻어진다. 비-제한적인 실시형태에서, 변환된 잔차들을 인코딩하기 위해 수행된 동작들은 제1 품질 레벨에서의 잔차들의 평면에서 인접한 잔차들의 서브세트(subset)에 대응하는 변환된 잔차들의 서브세트를 선택하는 것, 제2 (더 낮은) 품질 레벨에서의 신호의 렌디션에 적어도 부분적으로 기반으로 하여 값을 발생시키는 것, 및 상기 값을 잔차 컴포넌트들 중의 적어도 하나와 결합하여, 잔차들의 상기 서브세트에 대응하는 변환된 잔차들의 서브세트를 생성하는 것을 포함한다.
본원에서 설명된 다른 비-제한적인 실시형태들에서, 디코더는 인코딩된 데이터를 프로세싱하여, 제1 품질 레벨에서의 신호의 렌디션을 생성하기 위하여 제1 품질 레벨에서의 신호의 예측된 렌디션의 엘리먼트들에 대해 수행하기 위한 조절들에 대응하는 잔차들의 세트를 발생시키고, 상기 제1 품질 레벨에서의 신호의 상기 예측된 렌디션은 제2 품질 레벨에서의 신호의 렌디션에 적어도 부분적으로 기반으로 하여 디코더에 의해 생성되고, 제2 품질 레벨은 제1 품질 레벨보다 더 낮다. 디코더는 변환된 잔차들에 대응하는 인코딩된 데이터를 수신하고, 상기 인코딩된 데이터에 적어도 부분적으로 기반으로 하여, 재구성된 잔차 컴포넌트들을 생성한다. 다음으로, 디코더는 역압축해제를 재구성된 잔차 컴포넌트들에 적용함으로써 재구성된 잔차들의 세트를 발생시킨다.
비-제한적인 실시형태에서, 디코더는 또한, 제2 (더 낮은) 품질 레벨에서의 신호의 렌디션에 적어도 부분적으로 기반으로 하여 상기 재구성된 잔차 컴포넌트들을 생성한다. 비-제한적인 실시형태에서, 제1 품질 레벨에서의 신호의 엘리먼트들의 각각의 서브세트에 대하여, 디코더는 파라미터들("재구성된 변환된 잔차들")의 세트를 생성한다. 디코더는 파라미터들의 상기 세트에 대응하는 값을 생성하고, 상기 값은 제2 (더 낮은) 품질 레벨에서의 신호의 렌디션에 적어도 부분적으로 기반으로 한다. 다음으로, 디코더는 하나 이상의 파라미터들을 상기 값과 결합하여, 제1 품질 레벨에서의 신호의 엘리먼트들의 상기 서브세트에 대응하는 재구성된 잔차 컴포넌트들의 세트를 생성한다. 다음으로, 디코더는 역압축해제를 적용함으로써 재구성된 잔차 컴포넌트들을 프로세싱하여, 재구성된 잔차들의 세트를 생성한다. 비-제한적인 실시형태에서, 세트에서의 각각의 재구성된 잔차는 재구성된 잔차 컴포넌트들 사이의 가산들 및/또는 감산들에 의해 얻어진다.
본원에서 설명된 일부의 비-제한적인 실시형태들에서, 재구성된 변환된 잔차들은 재구성된 잔차 컴포넌트들을 생성하도록 프로세싱되기 전에 역양자화되며, 즉, 역양자화는 역압축해제를 적용하기 전에 수행된다. 비-제한적인 실시형태에서, 각각의 재구성된 변환된 잔차(또는 각각의 재구성된 잔차 컴포넌트)에 적용된 역양자화 동작들은 변환된 잔차들의 세트에서의 대응하는 변환된 잔차의 상대적 위치에 기초하여 변동된다.
본원에서 설명된 다른 비-제한적인 실시형태들에서, 역양자화 동작들은 역압축해제 후에 적용되어, 재구성된 잔차들을 역양자화한다.
본원에서 설명된 일부의 비-제한적인 실시형태들에서, 잔차 컴포넌트들의 대응하는 세트를 생성하기 위하여 재구성된 변환된 잔차들의 세트와 결합된 상기 값은 세트에서의 잔차들의 평균("예측된 평균")에 대응한다. 비-제한적인 실시형태에서, 잔차들의 세트의 예측된 평균은, 제1 (더 높은) 품질 레벨에서의 신호의 예측된 렌디션의 엘리먼트들의 세트를 평균화함으로써, 그리고 제2 (더 낮은) 품질 레벨에서의 신호의 렌디션의 대응하는 엘리먼트를 감산함으로써 생성된다.
본원에서 설명된 일부의 비-제한적인 실시형태들에서, 제1 (더 높은) LOQ에서의 잔차들의 압축해제는, (디코더에 알려진) 예측된 엘리먼트들의 평균 및 (디코더에 의해 재구성되어야 할) 잔차들의 평균의 합이 (마찬가지로 디코더에 알려진) 제어 펠의 값에 대응하므로, 평면 엘리먼트들("피제어 펠들")의 주어진 서브세트에 대응하는 잔차들의 서브세트가 더 낮은 LOQ에서의 제어 펠의 값과 상관된다는 사실을 이용한다. 실제로, 양자화 동작들의 부재 시에, 잔차들의 평균(또는 등가적으로, 잔차들의 합)은, 잔차 데이터를 제공하는 것을 심지어 시작하기 전에 디코더 측에서 이미 알려진 정보에 의해 정밀하게 결정될 수 있다.
잔차 인코딩 및 디코딩 효율을 개선시키기 위하여 잔차들의 예측된 평균을 계산할 가능성을 활용하기 위한 몇몇 방법들이 있다. 비-제한적인 실시형태에서, 제1 LOQ에서의 잔차들의 평면은 2x2 블록들로 분할된다. 각각의 2x2 블록에 대하여, 잔차들 중의 하나는 인코딩되지 않는데(즉, 그것은 디코더에 송신되지 않음), 이것은 디코더가 그것을 다른 3개로부터 그리고 잔차들의 예측된 평균으로부터 재구성하기 때문이다(즉, 디코더는 각각의 2x2 블록의 다른 3개의 잔차들에 기초하여 누락된 잔차들을 생성하기 위해 필요한 정보를 가짐). 잔차 데이터가 양자화될 때, 이 실시형태는 누적된 양자화 에러들의 전부를 각각의 2x2 블록의 4개의 잔차들 중의 하나에 집중시킨다. 다른 비-제한적인 실시형태들은 압축해제 변환을 잔차들의 각각의 블록에 적용함으로써 (예측된 평균 정보를 활용하는 효율성의 장점을 여전히 유지하면서) 이 문제를 회피한다.
본원에서 설명된 일부의 비-제한적인 실시형태들에서, 인코더는 "방향성 압축해제(directional decomposition)" 변환을, 제1 품질 레벨에서의 신호의 렌디션에 대응하는 잔차들의 2차원 평면의 잔차들의 각각의 2x2 블록에 적용한다. 이러한 실시형태들에서, 4개의 잔차 컴포넌트들은 2x2 잔차 블록에 대한 가변성의 4개의 "방향(direction)들"에 대응한다: 평균("A", 2x2 블록의 평면에 개념적으로 직교하는 "강도 틸트(intensity tilt)"에 대응하며, 4로 나누어진 잔차들의 합), 수평 틸트("H", 잔차들의 수평 차이에 대응하며, 좌측의 잔차들의 합 마이너스(minus) 우측의 잔차들의 합), 수직 틸트("V", 잔차들의 수직 차이에 대응하며, 상부의 잔차들의 합 마이너스 하부의 잔차들의 합), 및 "대각(diagonal)" 틸트("D", 나머지 차이들에 대응하며, 잔차들의 2x2 블록들에서의 간단한 방향성 전이에 의해 설명되지 않음).
평균 컴포넌트 A 및 예측된 평균(예를 들어, 제한 없이, 더 낮은 LOQ에서의 예측된 엘리먼트들 마이너스 제어 엘리먼트의 평균의 합으로서 계산됨) 사이의 차이는 "델타 평균" 또는 "δa"라고 불린다. δa는 종종 실세계 신호들에 대해 제로와 동일하고, 결과적으로, 컴포넌트 A가 아니라 δa를 계산하고 δa를 엔트로피 인코딩하는 것이 종종 바람직하다. 잔차들의 2x2 블록의 수평 및 수직 틸트들은 전이의 강도 및 방향을 나타내고: 기존의 신호들에 대하여, 이들은 국소적으로 상관될 가능성이 있어서, 다시, 엔트로피 인코딩의 효율을 증가시킨다.
다른 비-제한적인 실시형태들은 방향성 압축해제의 다른 방법들을 적용하고, 여기서, 변환된 잔차들의 주어진 세트에서의 변환된 잔차들의 적어도 하나는 변환된 잔차의 상기 주어진 세트에 대응하는 잔차들의 세트의 값들의 방향성 틸트에 대응한다. 비-제한적인 실시형태는, 이미지 프로세싱 동작들(예를 들어, 방향성 변환들, 스플라인(spline) 계산들, 소벨 필터(Sobel filter), 그래디언트(gradient) 계산들, 등)을 포함하는 계산들을 수행함으로써 변환된 잔차들을 계산한다.
본원에서 설명된 비-제한적인 실시형태에서, 잔차들의 평면에서의 잔차들의 각각의 NxM 블록에 대하여(예를 들어, 제한 없이, 잔차들의 각각의 2x2 블록에 대하여), 인코더는 변환된 잔차들에 대응하는 파라미터들의 세트를 생성한다. 다음으로, 인코더는 파라미터들을 서브세트들로 분할하고, 상기 서브세트들의 각각은 변환된 잔차들의 동일한 클래스에 대응하며, 여기서, 서브세트의 각각의 엘리먼트는 잔차들의 블록에 대응하고, 그리고 인코더는 서브세트들의 각각을 개별적으로 인코딩한다(즉, 서브세트들은 별도로 인코딩되고, 서브세트들의 각각을 엔트로피 인코딩하기 위하여 이용된 파라미터들은 다른 서브세트들의 엔트로피 인코딩에 독립적임).
본원에서 설명된 일부의 비-제한적인 실시형태들에서, 인코더는 잔차들의 2x2 블록들에 대해 방향성 압축해제를 수행하고, δa, H, V 및 D 파라미터들의 4개의 서브세트들을 개별적으로(즉, 별도로) 인코딩한다.
다른 비-제한적인 실시형태들에서, 적어도 하나의 인코딩된 파라미터는 잔차들의 동일한 블록의 복수의 변환된 잔차들에 대응한다. 비-제한적인 실시형태에서, 인코더는 잔차들의 2x2 블록들에 대해 방향성 압축해제를 수행하고, 잔차들의 각각의 2x2 블록에 대하여, 4개의 파라미터들 δa, H, V, D에 대응하는 단일 파라미터(즉, 단일 심볼)를 생성하고, 여기서, 상기 파라미터는 잔차들의 상기 블록에 대응하는 유일한 인코딩된 파라미터가 된다. 다른 비-제한적인 실시형태들에서, δa 파라미터들 및 D 파라미터들의 서브세트들은 개별적으로 인코딩되는 반면, H 및 V 파라미터들은 파라미터들의 단일 서브세트를 생성하도록 프로세싱되고, 여기서, 각각의 파라미터는 잔차들의 주어진 2x2 블록의 H 파라미터 및 V 파라미터에 대응한다.
본원에서 설명된 다른 비-제한적인 실시형태들에서, 디코더는 피제어 펠들에 대한(즉, LOQ들의 단계적 계층에서 디코딩된 신호의 주어진 LOQ에서의 렌디션의 엘리먼트들에 대한) 변환된 잔차들에 대응하는 데이터를 수신한다. 변환된 잔차들에 기초하여 잔차들을 재구성하기 위하여, 디코더는 변환된 잔차들을, 상기 주어진 LOQ보다 더 낮은 LOQ에서의 신호의 렌디션에 적어도 부분적으로 기반으로 한 파라미터들과 결합한다. 비-제한적인 실시형태에서, 디코더는 변환된 잔차들 중의 하나를, 더 낮은 LOQ에서의 제어 펠의 설정과 주어진 LOQ에서의 피제어 펠들의 예측된 설정들(즉, 잔차들을 부가하기 전의 설정들)의 평균과의 차이와 결합한다. 비-제한적인 실시형태에서, 각각의 변환된 잔차는 잔차들의 블록에 대응하고, 그 대응하는 블록에 속하는 잔차들 전부의 값들에 영향을 준다.
본원에서 설명된 다른 비-제한적인 실시형태들에서, 인코더는 제1 (더 높은) LOQ에서의 잔차들의 평면에서 잔차들의 블록을 선택하고, 상기 블록에서의 잔차들 및 제2 (더 낮은) LOQ에서의 신호의 렌디션에 적어도 부분적으로 기반으로 하여 파라미터들의 세트를 생성한다.
본원에서 설명된 다른 비-제한적인 실시형태들에서, 디코더는 제1 (더 높은) LOQ에서의 잔차들의 평면에서 잔차들의 블록에 대응하는 파라미터들의 세트를 수신하고, 파라미터들의 상기 세트 및 제2 (더 낮은) LOQ에서의 신호의 재구성된 렌디션에 적어도 부분적으로 기반으로 하여 잔차들의 세트를 생성한다.
추가의 비-제한적인 실시형태들에 따르면, 입력 신호는 단계-기반 계층적 인코딩 방법에 의하여 인코딩 및 디코딩되고, 시간 차원에 걸쳐 이웃하는 샘플들에 대한 잔차들의 평면들은 엘리먼트들의 동일한 세트("지원 평면(support plane)")에 적어도 부분적으로 기반으로 하여, 동일한 저자들의 다른 특허 출원들에서 설명된 방법들에 따라, 상기 지원 평면을 모션 보상함으로써, 그리고 그것을 상대적 잔차들과 결합함으로써 생성된다. 비-제한적인 실시형태에서, 변환된 상대적 잔차들은 상기 지원 평면에 적어도 부분적으로 기반으로 한다. 비-제한적인 실시형태에서, 지원 평면 및 상대적 잔차들의 평면들의 둘 모두는 본원에서 설명된 방법들에 따라 인코딩 및 디코딩된다.
본원에서의 실시형태들은 소프트웨어 또는 하드웨어로 구현될 수도 있거나, 소프트웨어 및 하드웨어의 조합을 이용하여 구현될 수도 있고, 본원에서 개시된 방법 동작들의 임의의 것 또는 전부를 수행 및/또는 지원하기 위하여, 하나 이상의 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 핸드헬드 또는 랩톱 컴퓨터들, 태블릿들, 이동 전화들, 게임 컨솔들, 셋톱 박스들, 등의 구성을 포함할 수 있다는 것에 주목해야 한다. 다시 말해서, 하나 이상의 컴퓨터화된 디바이스들 또는 프로세서들은 상이한 실시형태들을 수행하기 위하여 본원에서 설명된 바와 같이 동작하도록 프로그래밍 및/또는 구성될 수 있다.
위에서 논의된 바와 같은 기술들에 추가하여, 본원에서의 또 다른 실시형태들은 위에서 개략적으로 설명되고 이하에서 상세하게 개시된 단계들 및 동작들을 수행하기 위한 소프트웨어 프로그램들을 포함한다. 하나의 이러한 실시형태는, 프로세서 및 대응하는 메모리를 갖는 컴퓨터화된 디바이스에서 수행될 때, 프로세서가 본원에서 개시된 동작들 중의 임의의 것을 수행하도록 프로그래밍하고 및/또는 이를 수행하게 하는, 컴퓨터 프로그램 로직, 명령들, 등을 포함하는 컴퓨터-판독가능한 하드웨어 저장 자원(즉, 비-일시적인(non-transitory) 컴퓨터 판독가능한 매체들)을 포함한다. 이러한 배열들은, 컴퓨터 판독가능한 매체 예컨대, 광학 매체(예를 들어, CD-ROM, DVD-ROM 또는 블루-레이(BLU-RAY)), 플래쉬 메모리 카드, 플로피 또는 하드 디스크, 또는 하나 이상의 ROM 또는 RAM 또는 PROM 칩들 내의 또는 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit; ASIC)로서의 펌웨어 또는 마이크로코드와 같은 컴퓨터 판독가능한 명령들을 저장할 수 있는 임의의 다른 매체 상에 배열되거나 인코딩된 소프트웨어, 코드, 및/또는 다른 데이터(예를 들어, 데이터 구조들)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 다른 이러한 구성들은 컴퓨터화된 디바이스로 하여금 본원에서 설명된 기술들을 수행하게 하기 위하여 컴퓨터화된 디바이스 상으로 인스톨(install)될 수 있다.
따라서, 본 개시내용의 하나의 특별한 실시형태는 신호 프로세싱 동작들을 지원하기 위한 명령들을 저장한 컴퓨터-판독가능한 하드웨어 저장 매체를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
단계들의 순서는 명료함을 위하여 추가되었다. 이 단계들은 임의의 적당한 순서로 수행될 수 있다.
본 개시내용의 다른 실시형태들은 위에서 개략적으로 설명되고 이하에서 상세하게 개시된 방법 실시형태의 단계들 및 동작들 중의 임의의 것을 수행하기 위한 소프트웨어 프로그램들, 펌웨어, 및/또는 각각의 하드웨어를 포함한다.
또한, 본원에서 논의된 바와 같은 시스템, 방법, 장치, 컴퓨터 판독가능한 저장 매체들 상의 명령들 등은 소프트웨어 프로그램으로서, 소프트웨어, 펌웨어, 및/또는 하드웨어의 하이브리드로서, 또는 프로세서 내에서, 또는 오퍼레이팅 시스템 내에서 또는 소프트웨어 애플리케이션 내에서 등과 같이 하드웨어 단독으로서 엄격하게 구체화될 수 있다는 것을 이해해야 한다.
위에서 논의된 바와 같이, 본원에서의 기술들은, 신호들을 프로세싱하고 인코딩된 데이터의 비트스트림들을 생성하거나, 인코딩된 데이터의 비트스트림들을 프로세싱하고 신호들의 렌디션들을 생성하는 소프트웨어, 펌웨어, 및/또는 하드웨어 애플리케이션들에서의 이용을 위해 양호하게 적합하다. 그러나, 본원에서의 실시형태들은 이러한 애플리케이션들에서의 이용에 제한되지 않고 본원에서 논의된 기술들은 다른 애플리케이션들에 대해서도 마찬가지로 양호하게 적합하다는 것에 주목해야 한다.
추가적으로, 본원에서의 상이한 특징들, 기술들, 구성들 등의 각각은 이 개시내용의 상이한 장소들에서 논의될 수도 있지만, 개념들의 각각은 서로와 관계없이 또는 서로 조합하여 실행될 수 있는 것으로 의도된 것에 주목해야 한다. 따라서, 본원에서 설명된 바와 같은 하나 이상의 본 발명들, 실시형태들 등은 다수의 상이한 방법들로 구체화 및 고려될 수 있다.
또한, 본원에서의 실시형태들의 이 예비 논의는 본 개시내용 또는 청구된 발명(들)의 모든 실시형태 및/또는 점차적으로 신규한 양상을 특정하지 않는다는 것에 주목해야 한다. 실제로, 이 간단한 설명은 일반적인 실시형태들 및 기존의 기술들에 비해 대응하는 신규성의 관점들을 제공하기만 한다. 발명(들)의 추가적인 세부사항들 및/또는 가능한 관점들(치환들)을 위하여, 독자는 이하에서 더 논의된 바와 같이 본 개시내용의 상세한 설명 부분 및 대응하는 도면들에 주의를 기울여야 한다.
발명의 상기한 그리고 다른 목적들, 특징들, 및 장점들은, 유사한 참조 부호들이 상이한 도면들 전반에 걸쳐 동일한 부분들을 지칭하는 첨부한 도면들에 예시된 바와 같이, 바람직한 실시형태들의 다음의 더욱 특별한 설명으로부터 명백할 것이다. 도면들은 반드시 일정한 비율인 것은 아니며, 대신에, 실시형태들, 원리들, 개념들 등을 예시하는 것에 중점을 둔다.
도 1a, 도 1b, 도 1c, 도 1d 및 도 1e는 본원에서 예시된 비-제한적인 실시형태들에 따라 인코딩 및 디코딩 시스템들을 설명하는 일 예의 도면들이다.
도 2a 및 도 2b는 본원에서 예시된 비-제한적인 실시형태들에 따라 단계-기반 계층적 디코딩 및 인코딩을 설명하는 일 예의 도면들이다.
도 3a, 도 3b, 도 3c, 도 3d, 도 3e 및 도 3f는 본원에서 예시된 비-제한적인 실시형태들에 따라 잔차들의 압축해제(decompostion) 및 역압축해제(inverse decomposition)를 예시한다.
도 4a, 도 4b, 도 4c, 도 4d 및 도 4e는 본원에서 예시된 비-제한적인 실시형태들에 따라 역압축해제를 설명하는 일 예의 도면들이다.
도 5는 본원에서 예시된 비-제한적인 실시형태에 따라 디코더에 의해 수행되는 동작들을 예시한다.
도 6은 본원에서 예시된 비-제한적인 실시형태들에 따라 방향성 압축해제(directional decomposition)를 수행하는 인코더의 플로우차트를 예시한다.
도 7은 본원에서 예시된 비-제한적인 실시형태들에 따라 역 방향성 압축해제(inverse directional decomposition)를 수행하는 디코더의 플로우차트를 예시한다.
도 8은 본원에서 설명된 실시형태들에 따라 데이터 프로세싱을 제공하는 컴퓨터 시스템을 예시하는 일 예의 도면이다.
도 9는 본원에서의 실시형태들에 따라 인코딩 정보를 예시하는 일 예의 도면이다.
도 10 및 도 11은 본원에서의 실시형태들에 따라 일 예의 방법들을 예시하는 일 예의 플로우차트들이다.
본원에서 예시된 방법들은, 제한 없이, 사운드 신호들, 멀티채널 사운드 신호들, 픽처들, 2차원 이미지들, 비디오 신호들, 멀티-뷰 비디오 신호들, 3D 비디오 신호들, 용적계측 신호들, 용적계측 비디오 신호들, 의료용 이미징 신호들, 4개를 초과하는 차원들을 갖는 신호들, 등을 포함하는 임의의 타입의 다차원 신호들에 대해 적당하다.
간략함을 위하여, 설명과 함께, 예시된 실시형태들은 2D 이미지들(예를 들어, 비디오 신호의 격리된 픽처들 또는 프레임들/필드들의 어느 하나)의 이용의 경우를 통상적으로 채택하고, 각각의 엘리먼트(이러한 비-제한적인 예에서, "픽셀"이라고 전형적으로 지칭되는, 더욱 일반적으로 "펠"이라고 지칭되는 경우)는 컬러의 세트 또는 적당한 컬러 공간(예를 들어, YUV, RGB, HSV, 등)에서의 다른 파라미터 설정들에 의해 특징된다. 상이한 컬러 평면들(예를 들어, 루미넌스(luminance)-Y 평면 및 2개의 크로미넌스(chrominance)-U 및 V-평면들)은 종종 별도로 인코딩되고, (크로미넌스 정보에 대한 인간의 눈의 더 낮은 감도로 인해) 상이한 해상도들을 종종 가진다.
본원에서 예시된 방법들 및 실시형태들은 서로 관련하여 및/또는 다른 방법들과 함께 이용될 수 있다. 본원에서 예시된 바람직한 실시형태들의 다수는 압축을 달성하는, 즉, 최소 분량의 비트들을 갖는 신호의 적당한 렌디션을 인코딩하는 목적을 갖는 기술들 및 알고리즘들을 설명한다. 이것은 또한 비-제한적인 예이고: 다른 비-제한적인 실시형태들은 멀티스케일(multiscale) 인코딩 및 디코딩, 적응적 스트리밍(adaptive streaming), 견고하고 효율적인 필터링, 신호 디노이징(signal denosing)(예를 들어, 이미지 디노이징, 비디오 디노이징, 등), 신호 개량들(예를 들어, 신호 수퍼샘플링(supersampling), 디-인터레이싱(de-interlacing), 등), 신호 품질 메트릭들의 발생, 컨텐츠 식별, 머쉰 비전(machine vision), 신호 암호화(예를 들어, 보안 통신), 등과 같은 상이한 목적들을 달성한다.
도 1a는 본원에서 예시된 방법들을 활용하는 인코딩 및 디코딩 시스템들의 비-제한적인 실시형태들을 설명하는 일 예의 도면이다.
인코더(110)는 (2차원 이미지와 같은) 신호(100)를 수신하고, 그것을 데이터 스트림(115)으로 인코딩한다. 디코더(120)는 데이터 스트림(115)을 수신하고, 재구성된 신호(130)를 생성한다. 재구성된 신호(130)는 인코딩/디코딩이 손실이 있거나 손실이 없는지 여부에 따라, 원래의 신호(100)와 동일할 수도 있거나 단지 실질적으로 유사할 수도 있다.
하나의 실시형태에서, 인코더(111)는 원래의 신호(140)(비디오 신호, 즉, 2차원 이미지들의 다수의 프레임들의 시퀀스)를 수신하고, 그것을 타겟 수신자로의 각각의 통신 링크를 통해 송신되는 데이터 스트림(116)으로 인코딩한다. 수신자에서의 디코더(121)는 데이터 스트림(116)을 수신하고 재구성된 신호(150)를 생성하고, 여기서, 재구성된 이미지들(150-1, 150-2, …, 150-n)은 원래의 이미지들(140-1, 140-2, …, 140-n)에 대응하는 재구성된 렌디션들이다. 재구성된 이미지들(150-1)은 각각의 인코딩 및/또는 디코딩이 손실이 있거나 손실이 없는지 여부에 따라, 원래의 이미지들(140-1)과 동일할 수도 있거나 실질적으로 유사할 수도 있고; 재구성된 이미지들(150-2)은 각각의 인코딩 및/또는 디코딩이 손실이 있거나 손실이 없는지 여부에 따라, 원래의 이미지들(140-2)과 동일할 수도 있거나 실질적으로 유사할 수도 있고; 재구성된 이미지들(150-3)은 각각의 인코딩 및/또는 디코딩이 손실이 있거나 손실이 없는지 여부에 따라, 원래의 이미지들(140-3)과 동일할 수도 있거나 실질적으로 유사할 수도 있고, 이하 등등과 같다.
추가의 실시형태들에 따르면, 인코더(112)는 원래의 신호(160)(다수의 엘리먼트들을 포함하는 용적계측 신호)를 수신하고, 그것을 데이터 스트림(117)으로 인코딩한다. 디코더(122)는 데이터 스트림(117)을 수신하고, 재구성된 신호(170)(예를 들어, 원래의 신호의 렌디션)를 생성한다.
도 1b는 본원에서의 실시형태들에 따라 멀티스케일 인코딩 및 디코딩 시스템을 예시하는 비-제한적인 예의 도면이다.
하나의 실시형태에서, 인코더(111)는 원래의 신호(140)를 수신하고, 그것을 멀티스케일 데이터 스트림(116)으로 인코딩한다. 이 예의 실시형태에서, 디코더(121-2)는 데이터 스트림(116)을 수신하고, 원래의 신호 및/또는 신호(150)보다 제 1(더 낮은) 품질 레벨의 더 낮은 LOQ(151)(예를 들어, 프레임들(151-1, 151-2, 등)을 포함함)에서의 재구성된 신호를 생성한다.
또한, 이 예의 실시형태에서, 디코더(121-1)는 데이터 스트림(116)을 수신하고, 더 높은 LOQ(150)에서 (예를 들어, 제2 품질 레벨에서) 재구성된 신호를 생성한다. 이 예의 실시형태에서, 제2 품질 레벨은 제1 보다 더 높다.
비-제한적인 실시형태에서, 제2 품질 레벨은 제1 품질 레벨보다 더 높은 해상도(공간 및/또는 시간)를 가진다. 또 다른 비-제한적인 실시형태에서, 디코더(121-2)는 데이터 스트림(116)을 디코딩하기 위하여 MPEG-기반 디코딩 기술들(예를 들어, MPEG2, MPEG4, h.264, 등)을 활용한다. 또 다른 비-제한적인 실시형태에서, 디코더(121-1)는 더 낮은 LOQ(151)에서 재구성된 신호를 생성하고, 다음으로, 더 낮은 LOQ(151)에서 재구성된 신호를 먼저 재현하는 것에 적어도 부분적으로 기반으로 하여 더 높은 LOQ(150)에서의 재구성된 신호를 재구성 또는 유도한다. 다시 말해서, 디코더(121-1)는 신호(151)의 렌디션들(예를 들어, 151-1, 151-2, 등)을 재현하기 위하여 데이터 스트림(116)에서의 인코딩된 제1 부분을 이용한다. 그 다음으로, 디코더(121-1)는 신호(151)의 렌디션들을 신호(150)의 렌디션들로 업샘플링 및 수정하기 위하여 데이터 스트림(116)에서의 데이터의 제2 부분을 이용한다.
비-제한적인 실시형태에서, 제2 품질 레벨은 제1 품질 레벨의 공간 차원 마다 2의 스케일 인자(scale factor)로 업샘플링함으로써 얻어진 해상도를 가진다. 예를 들어, 데이터 스트림(116)은 제1 품질 레벨에서 신호의 렌디션의 원래의 엘리먼트를 어떻게 재현할 것인지를 표시하는 재구성 데이터의 제1 부분을 포함하도록 구성될 수 있다. 데이터 스트림(116)에서의 추가적인 재구성 데이터는 제1 품질 레벨에서의 엘리먼트를 제2 품질 레벨에서의 다수의 엘리먼트들로 어떻게 변환할 것인지를 표시할 수 있다. 비-제한적인 예로서, 제2 품질 레벨에서의 다수의 엘리먼트들은 제1 품질 레벨에서 더 높은 해상도의 원래의 엘리먼트를 제공한다. 이 단계들을 반복하면, 낮은 해상도의 이미지가 더 높은 해상도의 이미지로 변환될 수 있다. 더 높은 이미지 해상도는 (다수의 더 많은 이미지 엘리먼트들을 포함하므로) 더 많은 이미지 디테일들을 제공하고, 이에 따라, 뷰어(view)에게 더욱 호소력이 있을 가능성이 있다.
다른 비-제한적인 실시형태들에서, 제2 품질 레벨은 신호의 차원들의 각각을 (비-정수 스케일 인자들 및/또는 1 과 동일한 스케일 인자들을 포함하는) 특정 스케일 인자로 업샘플링함으로써 얻어진 해상도를 가진다. 일 예로서,
비-제한적인 예의 실시형태에서, TV 디코더(예를 들어, 제한 없이, 셋톱 박스)의 디코딩 신호 프로세서는 도 1b에 예시된 바와 같은 방법을 구현하도록 프로그래밍되어 있고, 여기서, 데이터 스트림(116)은 수신된 브로드캐스트 신호에 대응한다. 이러한 방법으로, 레거시 디코더(legacy decoder)들은 동일한 데이터 스트림(116)을 수신하지만, 더 높은 품질 레벨에서 신호의 렌디션을 재구성하는 것을 허용하는 추가적인 데이터를 단지 무시한다. 언급된 바와 같이, 더 높은 품질 레벨은 더 높은 해상도에서의 신호의 렌디션일 수 있다.
다른 비-제한적인 실시형태들에서, 스트리밍 서버는 인코딩된 데이터 스트림(116)을 프로세싱하고, 디코더의 특성 및/또는 대역폭 혼잡(bandwidth congestion)에 응답하여, (최대의 가능한 품질 레벨과 반대로) 주어진 품질 레벨에 이르는 신호를 디코딩하기 위하여 필요한 인코딩된 데이터를 포함하기만 하는 데이터 스트림의 버전을 발생시킨다. 이러한 사례에서, 대역폭은 원래의 신호의 렌디션을 재구성하기 위하여 이용되지 않을 데이터의 송신에 낭비되지 않는다.
도 1c는 본원에서의 실시형태들에 따라 임의의 추후의 품질 레벨들 사이의 2차원들에서 2 의 스케일 인자들에 의한 2차원 이미지의 단계-기반 계층적 인코딩 및 디코딩의 비-제한적인 예의 실시형태를 예시한다.
이 예의 실시형태에서, 이미지(130-3)는 주어진 품질 레벨에서의 이미지의 렌디션이고, 특히, 8x8 엘리먼트들의 해상도를 가진다. 이미지(130-4)는 바로 더 낮은 품질 레벨에서의 동일한 이미지의 렌디션이고, 특히, 4x4 엘리먼트들의 해상도를 가진다.
더 낮은 LOQ의 엘리먼트(130-4-1)는 더 높은 LOQ의 엘리먼트들(130-3-1, 130-3-2, 130-3-3 및 130-3-4)과 공동-위치(co-locate)된다. 이 예의 실시형태에서, 엘리먼트(130-4-1)는 이에 따라, 엘리먼트들(130-3-1, 130-3-2, 130-3-3 및 130-3-4)("제어 엘리먼트들", 또는 "서브-엘리먼트들")의 "제어 엘리먼트"(또는 "제어 펠(controlling pel)" 또는 "부모 엘리먼트(parent element)")이다.
다른 비-제한적인 실시형태들은 동일한 방법들을 2 를 초과하는 차원들을 갖는 이미지들에 대해 적용하고, 비-정수 스케일 인자들 및/또는 상이한 차원들에 대한 상이한 스케일 인자들 및/또는 계층에 따른 상이한 스케일 인자들을 포함하는, 각각의 단계(tier)에 대한 적당한 스케일 인자들을 갖는 단계적 계층들을 생성한다.
도 1d는 본원에서의 실시형태들에 따라 LOQ N-1 및 LOQ N 사이의 2차원들에서 2의 스케일 인자들에 의한, 2차원 이미지의 단계-기반 계층적 인코딩 및 디코딩의 비-제한적인 예의 실시형태를 예시한다.
LOQ N-1의 부모 엘리먼트(130-(N-1)-1)("제어 엘리먼트")는 LOQ N의 대응하는 4개의 서브-엘리먼트들(130-N-1)("피제어 엘리먼트들(controlled elements)")과 공동-위치된다. 일반적으로, 부모 엘리먼트(130-(N-1)-1)는 (예를 들어, 업샘플링과, 그 이후의 잔차 데이터를 이용한 조절들을 통해) 대응하는 4개의 서브-엘리먼트들(130-N-1)을 재현하기 위한 기선(baseline)으로서 이용된다.
도 1e는 본원에서의 실시형태들에 따라 LOQ N-1 및 LOQ N 사이의 2차원들에서 3/2의 비-정수 스케일 인자들에 의한, 2차원 이미지의 단계-기반 계층적 인코딩 및 디코딩의 또 다른 비-제한적인 예의 실시형태를 예시한다.
LOQ N-1의 부모 블록(130-(N-1)-2)(이 경우에는, LOQ N-1의 단일 엘리먼트가 LOQ N의 엘리먼트들의 세트와 정밀하게 공동-위치되지 않으므로, 제어 엘리먼트들의 그룹)은 LOQ N의 서브-엘리먼트들(130-N-2)(피제어 엘리먼트들의 세트)과 공동-위치된다. 이 비-제한적인 예에서, 서브-엘리먼트들(130-N-2)에 대응하는 잔차들의 예측된 평균을 계산하는 것은 (단일 부모 엘리먼트와 반대로) 서브-엘리먼트들(130-N-2)의 예측된 렌디션 및 부모 블록(130-(N-1)-2)의 둘 모두를 프로세싱하는 것을 요구할 수도 있다.
간략함을 위하여, 그리고 추가의 예시를 위하여, 개시내용의 다음의 부분들은 하나의 품질 레벨로부터 다음 품질 레벨까지 2 의 스케일 인자들을 이용하는 예들을 포함한다. 그러나, 당해 분야의 당업자들은 이방성(anisotropic) 및/또는 비-정수 스케일 인자들을 포함하는 다수의 상이한 타입들의 스케일 인자들 중의 임의의 것을 갖는 단계적 계층들에 대해 본원에서 설명된 방법들의 모두를 용이하게 채택할 수 있다.
도 2a는 본원에서의 실시형태들에 따라 품질 레벨들의 단계적 계층에서 신호의 디코딩을 설명하는 일 예의 도면이다.
이 예의 실시형태에서, 디코더(210)는 재구성 데이터(200-1)를 수신하고, LOQ N-1(이 예에서는, 하부 품질 레벨 또는 더 낮은 품질 레벨)에서 디코딩된 이미지(245-(N-1))를 생성한다.
다음 LOQ에 대한 예측의 계산기(220-1)는 동작들(215-1)에 대한 대응하는 파라미터들에 의해 특정된 바와 같은 동작들로 이미지(245-(N-1))를 프로세싱하여, 예측된 이미지(225-1)를 생성한다. 2x2 업스케일 인자(upscale factor)를 가정하면, 계산기(220-1)는 엘리먼트들의 8x8 블록에 대한 설정들을 특정하는 예측된 이미지(225-1)를 생성한다.
디코더(230)는 재구성 데이터(200-2)를 수신하고, 잔차들(240)(즉, 재구성 데이터 또는 잔차 데이터)을 생성한다. 이 예의 실시형태에서, 잔차들(240)은 이미지(245-N)에서의 엘리먼트들의 수와 일치하는 엘리먼트 설정 정보의 8x8 행렬(matrix)일 수 있다.
계산기(220)에 의해 또한 생성되는 예측된 이미지(225-1)는 또한, 이미지(245-N)에서의 엘리먼트들의 수와 일치하는 엘리먼트 설정 정보의 8x8 행렬(matrix)일 수 있다.
하나의 실시형태에서, 이미지(245-(N-1))의 예측된 이미지(225-1)로의 업샘플링은 8x8 엘리먼트들을 포함하는 기선 이미지들에 불과하다. 예측된 이미지(225-1)와 잔차들(240)은 엘리먼트-대-엘리먼트 기반으로 결합되어, LOQ N(예를 들어, 8x8 엘리먼트들)에서의 신호의 렌디션인 디코딩된 이미지(245-N)를 생성한다. 하나의 실시형태에서, 잔차들(240)은 이미지(245-N)를 생성하기 위하여 예측된 이미지(225-1)에서의 엘리먼트들에 가산되거나 이와 결합되는 8x8 엘리먼트들의 세트를 포함한다. 잔차들(240)의 예측된 이미지(225-1)로의 적용은 대응하는 품질 레벨에서 신호의 더욱 정확한 렌디션을 생성한다. 다시 말해서, 신호(245-N)의 렌디션은 예측된 이미지(225-1)가 그러한 것보다 원래의 신호의 더욱 정확한 렌디션이다.
각각의 추후의 더 높은 LOQ들에서의 신호의 렌디션들은 동일한 방법에 따라 생성될 수 있다: 현재의 LOQ에서의 렌디션에 기초하여, 다음의 더 높은 LOQ에서 예측된 렌디션을 생성하고; 잔차들을 디코딩하고; 더 높은 LOQ에서의 예측된 렌디션을 디코딩된 잔차들과 결합하여, 더 높은 LOQ에서의 신호의 렌디션을 생성함. 결합하는 것은 어레이에서의 각각의 엘리먼트에 대하여, 예측된 이미지(225-1) 및 잔차들(240) 내에서의 엘리먼트의 로케이션을 선택하는 것과, 이미지(245-N)에서의 대응하는 엘리먼트에 대한 값을 생성하기 위하여 값들을 합산하는 것을 포함할 수 있다.
비-제한적인 실시형태에서, 디코더(210)는 재구성 데이터(200-1)를 디코딩하기 위하여, 디코더(230)에 의해 사용되는 디코딩 방법과는 상이한 디코딩 방법을 사용한다. 하나의 비-제한적인 예의 실시형태에서, 디코더(210)는 H.264 디코딩 방법을 구현한다.
다른 비-제한적인 실시형태들에서, 디코더(230)는 이미지들의 시퀀스에서 이웃하는 이미지에 대한 잔차들을 생성하기 위하여 또한 활용되는 인코딩된 데이터("지원 평면(support plane)" 인코딩된 데이터)의 세트에 기초하여 잔차들(240)을 생성한다.
따라서, 기선 신호 또는 제1 품질 레벨에서의 이미지를 다음의 더 높은 품질 레벨에서의 더 높은 해상도의 예측된 이미지로 변환하기 위하여, 임의의 적당한 업샘플링 알고리즘이 이용될 수 있다.
도 2b는 본원에서의 실시형태들에 따라 품질 레벨들의 단계적 계층에서 신호를 인코딩하는 인코더를 설명하는 일 예의 도면이다.
인코더로서 구성된 신호 프로세서는 더 높은 해상도에서의 이미지와 같은 LOQ #0에서의 입력 이미지(130-0)로서 수신한다. 이미지(130-0)는 다운샘플러(downsampler; 250-0)에 의해 프로세싱되어, LOQ #-1에서의 이미지(130-1)를 생성한다. 이미지(130-1)는 다운샘플러(251-1)에 의해 프로세싱되어, 다음 LOQ #-2에서의 이미지(130-2)를 생성한다. 이 다운샘플링 프로세스는 하부 LOQ #B(더 낮은 품질 레벨)에서의 이미지(130-B)가 생성될 때까지 반복된다.
일단 이미지(130-B)가 가장 낮은 품질 레벨에서 생성되면, 인코더는 상이한 품질 레벨들에서의 원래의 신호의 렌디션(또는, 더욱 정밀하게는, 신호의 렌디션들의 단계적 계층)을 재구성하기 위하여, 디코딩 측(즉, 디코더)에서 필요할 재구성 데이터(잔차 데이터 또는 조절 값들)를 생성하기 시작한다.
이 예의 실시형태에서는, 이를 행하기 위하여, 인코더는 하부 LOQ(신호의 재구성을 위한 시작 LOQ)에 대한 재구성 데이터를 생성하고, 다음으로, 더 낮은 LOQ에 기초하여, 각각의 다음의 더 높은 LOQ로 점진적으로 재구성하기 위하여 디코더에 의해 수행될 동작들의 모두를 시뮬레이팅한다. 계층에서 상방을 향해 횡단할 때에 각각의 엘리먼트에 대한 조절 값들을 생성하는 것은 각각의 디코더가 다수의 품질 레벨들의 각각에서 원래의 신호의 렌디션을 재현하는 것을 가능하게 한다.
하나의 실시형태에서, 가장 낮은 품질 레벨은 가장 낮은 해상도이다. 연속적으로 더 높은 품질 레벨들은 신호의 더 높은 해상도의 렌디션들을 나타낸다.
이 예의 실시형태에서, 이미지(130-B)는 잔차 계산기(260+B)에 의해 프로세싱되어, 잔차 데이터 RB (270+B)를 생성한다. 잔차 데이터(270+B)는 재구성 데이터의 발생기(280+B)에 의해 프로세싱되어, 재구성 데이터(290+B)를 생성한다.
재구성 데이터(290+B)는 시뮬레이팅된 디코더(2100+B)에 의해 프로세싱되어, 하부 LOQ #B에서의 신호(245-B)의 렌디션 및 LOQ #(-B+1)에서의 예측된 렌디션(225-(B+1))을 생성한다. 임의의 주어진 LOQ #N에서의 예측된 렌디션들은 잔차 데이터를 생성하기 위하여 대응하는 이미지(130-N)와 함께 인코더에 의해 프로세싱된다.
잔차 계산기(261)는 LOQ #-1에서의 이미지(130-1) 및 LOQ #-1에서의 예측된 렌디션(225-(-1))을 수신하여, 잔차 데이터(271)를 생성한다. 하나의 실시형태에서, 잔차 데이터(271)(또는 재구성 데이터)는 대응하는 품질 레벨 #-1에서의 신호의 렌디션을 재현하기 위하여 수신된 예측된 렌디션(225-(-1))에 적용되어야 할 조절 값들을 포함한다. 잔차 데이터(271)는 재구성 데이터의 발생기(281)에 의해 프로세싱되어, 재구성 데이터(291)를 생성한다.
재구성 데이터(291)는 시뮬레이팅된 디코더(2101)에 의해 프로세싱되어, LOQ #-1에서의 신호(245-1)의 렌디션 및 LOQ #0에서의 예측된 렌디션(225-0)을 생성한다.
잔차 계산기(260)는 LOQ #0에서의 원래의 이미지(130-0) 및 LOQ #0에서의 예측된 렌디션(225-0)을 수신하여, 잔차 데이터(270)를 생성한다. 하나의 실시형태에서, 잔차 데이터(270)(또는 재구성 데이터)는 대응하는 품질 레벨 #0에서의 신호의 렌디션을 재현하기 위하여 수신된 예측된 렌디션(225-0)에 적용되어야 할 조절 값들을 포함한다. 잔차 데이터(270)는 재구성 데이터의 발생기(280)에 의해 프로세싱되어, 재구성 데이터(290)를 생성한다.
재구성 데이터(290)는 시뮬레이팅된 디코더(2100)에 의해 프로세싱되어, 디코딩 측에서 발생될 렌디션들의 계층에서 가장 높은 LOQ에서의 신호의 렌디션인 신호(245-0)의 렌디션을 생성한다.
비-제한적인 실시형태에서, 인코더는 렌디션(245-0)이 품질 메트릭에 따라 원래의 이미지(130-0)와 적당하게 유사한 것을 확인한다. 품질 메트릭 점수가 임계치 미만으로 떨어질 경우, 인코더는 245-0 및 130-0 사이의 유사성에 대한 품질 메트릭이 임계치를 초과할 때까지, (예를 들어, 적당한 인코딩 파라미터들을 조절함으로써) 하나 이상의 LOQ들에 대한 재구성 데이터를 재프로세싱(re-process)한다.
또 다른 비-제한적인 실시형태에서, 인코더는 재구성 데이터(290, 291, …, 290+B)를 인코딩하기 위하여 필요한 비트스트림의 양이 최대 임계치 미만인 것을 확인한다. 필요한 양의 비트스트림이 임계치를 초과할 경우, 인코더는 비트스트림에서 송신되어야 할 필요한 데이터의 양이 임계치 미만으로 될 때까지, (예를 들어, 적당한 인코딩 파라미터들을 조절함으로써) 하나 이상의 LOQ들에 대한 재구성 데이터를 재프로세싱한다.
도 3a 및 도 3b는 본원에서의 실시형태들에 따라 방향성 압축해제의 예를 예시한다. 방향성 압축해제는 잔차들의 2x2 블록들의 그룹들에 적용되고, (즉, LOQ #(N-1)에서의 모든 부모 엘리먼트에 대하여) 2차원들에 따라 2의 스케일 인자로 2D 업샘플링할 경우, 다음의 더 높은 LOQ #N에서의 4개의 피제어 펠들(즉, 픽처 엘리먼트들)이 있고, 결과적으로, 4개의 잔차들은 상기 피제어 펠들을 적당하게 재구성하기 위하여 디코딩되어야 한다.
방향성 압축해제는 유용한 방식으로 (잔차 데이터와 같은) 재구성 데이터를 인코딩하는 방법을 나타낸다.
이 예에서, 잔차들(300)의 블록은, 디코더에 의해 프로세싱되고 상기 주어진 LOQ #N에서의 신호의 렌디션을 생성하기 위하여 주어진 LOQ #N에서의 신호의 예측된 렌디션과 결합되는 주어진 LOQ #N에서의 잔차 데이터의 평면의 일부분인 것으로 가정한다. 특히, 잔차들(300)의 블록은 4개의 잔차들(ri,j, ri,j+1 , ri+1,j 및 ri+1,j+1)로 이루어진다. 잔차(ri,j)는 엘리먼트(xi,j)의 렌디션을 재현하기 위하여 예측된 이미지에서 대응하는 엘리먼트(pi,j)를 어떻게 수정할 것인지를 표시하는 조절 값이고; 재구성 데이터(ri,j+1)는 엘리먼트(xi,j+1)의 렌디션을 재현하기 위하여 예측된 이미지에서 대응하는 엘리먼트(pi+1,j)를 어떻게 수정할 것인지를 표시하는 조절 값이고; 재구성 데이터(ri+1,j)는 엘리먼트(xi+1,j)의 렌디션을 재현하기 위하여 예측된 이미지에서 대응하는 엘리먼트(pi+1,j)를 어떻게 수정할 것인지를 표시하는 조절 값이고; 재구성 데이터(ri+1,j+1)는 엘리먼트(xi+1,j+1)의 렌디션을 재현하기 위하여 예측된 이미지에서 대응하는 엘리먼트(pi+1,j+1)를 어떻게 수정할 것인지를 표시하는 조절 값이다.
특히, 잔차들(300)의 블록은, LOQ #N에서의 이미지 엘리먼트들에 기초하여 인코더에 의해 발생되었던 더 낮은 LOQ #(N-1)에서의 부모 엘리먼트 y1(306)에 의해 제어된 LOQ #N에서의 이미지 엘리먼트들(xi,j, xi,j+1, xi+1,j, xi+1,j+1)의 블록(305)에 대응한다.
이 비-제한적인 실시형태에서, 부모 엘리먼트의 설정들 y1은, 이중선형 필터링 커널(bilinear filtering kernel)과 같은 다수의 다운샘플링 알고리즘들 중의 하나로, 그리고 블록의 중심에 위치된 부호 엘리먼트 샘플링 위치로, 블록(300)에 대응하는 엘리먼트들의 설정들의 가중처리된 평균을 양자화함으로써 발생되었다(즉, 이중선형 필터링의 비-제한적인 경우에, 부모 엘리먼트는 피제어 펠들의 단순 평균에 대응함). 결과적으로, 피제어 펠들의 잔차들의 합(즉, ri,j, ri,j+1, ri+1,j 및 ri+1,j+1의 합)은 부모 엘리먼트 y1의 설정에 적어도 부분적으로 종속되고; 실제로, 양자화 동작들의 부재 시에는, 그것은 재구성 블록(300)을 시작하는 시간까지는 디코더에 이미 알려져 있는 부모 엘리먼트에 의해 정밀하게 결정될 것이다.
이러한 정보를 적당하게 활용하기 위하여, 본원에서 논의된 바와 같은 인코더는 2개의 타입들의 상관을 공동으로 이용하는 압축해제 변환을 수행한다: (1) 블록(300)의 잔차들 사이의 자체-상관(self-correlation), 및 (2) 블록(300)의 잔차들, 블록(300)에 대응하는 예측된 엘리먼트들 및 부모 엘리먼트 사이의 상관. 언급된 바와 같이, 압축해제는 잔차들(300)을 상이한 포맷들(예를 들어, 이미지를 재현하기 위하여 데이터를 디코딩하는 원격 타겟 디바이스로의 통신 링크를 통한 송신을 위해 더욱 적당한, 방향성 컴포넌트들(320) 및 다음으로, 변환된 잔차들(350))로 인코딩하는 방법이다.
더욱 구체적으로, 이 예의 실시형태에서는, 잔차들 사이의 자체-상관을 사용하기 위하여, 인코더는 "방향성 압축해제(directional decomposition)" 변환을 잔차들에 적용하여, 4개의 방향성 컴포넌트들 A, H, V 및 D를 생성한다.
■ A는 잔차들(ri,j, ri,j+1 , ri+1,j 및 ri+1,j+1)의 평균이다;
■ H는 상기 잔차들의 수평/위도 틸트(horizontal/latitudinal tilt)이다;
■ V는 상기 잔차들의 수직/경도 틸트(vertical/longitudinal tilt)이다;
■ D는 상기 잔차들의 대각/사각 틸트(diagonal/oblique tilt)이다.
일반적으로, 값들 H, V, 및 D는 값 A를 잔차 컴포넌트들(ri,j, ri,j+1, ri+1,j, ri+1,j+1.)의 각각에 대한 더욱 특정한 설정들로 변환하기 위하여 충분한 디코딩 정보를 포함한다.
기하학적 관점으로부터, 변환은 도 3a에 예시된 바와 같이, 공간에서의 4개의 샘플들을 샘플들의 평균에서의 z-축 상에 위치된 평면에 의해 주어지는 그 표현과 대체하는 것과, 4개의 샘플들을 재구성하기 위하여 이에 따라 기울이는 것과 동등하다.
이미 언급된 바와 같이, 변환은 2개의 목적들을 목표로 하고 있다: 잔차들 사이의 상관(예를 들어, 이미지의 라인들 및 전형적인 패턴들의 방향성 상관)을 사용하는 것과, 적어도 부분적으로 예측된 값들에 기초하여 디코더에서 용이하게 예측될 수 있는, 평균 A에 대응하는 정보 엔트로피를 감소시키는 것.
인코더 측에서, 인코더는 부모 엘리먼트가 도 3b의 공식 3.12에 따라 연산되었다는 것을 알고 있다. y 및 y1 사이의 차이 δa는 양자화/역양자화 프로세스들 동안에 발생된 에러들로부터 나온다. 도 3b의 수학식 3.14에 따르면, y1으로부터 피제어 펠들의 설정들 x에 대한 예측들 p의 평균 값을 감산함으로써, 4개의 잔차들(300)의 평균 값에 대한 예측("예측된 평균"의 의미로 "PA")을 발생시키는 것이 가능하여, A 및 PA 사이의 차이는 δa와 동일하다.
■ 이 예의 실시형태에서, 인코더는 이에 따라 다음과 같이 변환된 잔차들(350)을 발생시킨다:
■ 방향성 압축해제기(310)로 잔차들(300)을 프로세싱하여, 방향성 컴포넌트들(320)을 생성한다. 특히, 방향성 컴포넌트들은 공식 3.11에서 예시된 계산들에 따라 계산된다.
■ 예측된 평균(340)을 생성한다.
변환된 잔차들 계산기(330)로 방향성 컴포넌트들(320) 및 예측된 평균(340)을 프로세싱하여, 변환된 잔차들(350)을 생성한다.
비-제한적인 실시형태에서, δa는 공식 δa = A - PA = A - (y'k,h - AvgP)에 따라 계산되고, 여기서, AvgP 피제어 펠들의 설정들 x에 대한 예측들 p의 평균 값이다.
비-제한적인 실시형태에서, 방향성 컴포넌트들(320)을 계산할 때, 인코더는 디코딩 측에서 필요한 역압축해제 프로세스를 위해 필요한 계산들을 감소시키기 위하여, 도 3b의 공식 3.11에서 표시된 바와 같이 4로 나누지 않는다.
비-제한적인 실시형태에서, 디코더는 (위에서 설명된 바와 같이 인코더에 의해 계산된) 변환된 잔차들 δa, H, V, D를 수신하고, 먼저, 예측된 평균 PA를 생성하고 컴포넌트들 A, H, V, D를 재구성함으로써, 그리고, 다음으로, ri,j, ri,j+1, ri+1,j, ri+1,j+1에 대하여 공식 3.11에서 표시된 수학식을 구함으로써 잔차들 ri,j, ri,j+1, ri+1,j, ri+1,j+1을 계산한다.
또 다른 비-제한적인 실시형태에서, 디코더는 변환된 잔차들 δa, H, V, D를 수신하고, 공식 A = δa + (y'k,h - AvgP)에 따라 A를 연산하고, 여기서, AvgP는 피제어 펠들의 설정들 x에 대한 예측들 p의 평균 값이다. 정보 엔트로피의 관점으로부터, 값 A(평균)가 아니라 δa(즉, 잔차들의 실제 평균과 잔차들의 예측된 평균과의 사이의 차이)를 송신/수신하는 장점은, δa가 제로(zero)와 동일할 가능성이 매우 높아서(또는 거의 제로이어서), 제로 심볼이 인코딩된 변환된 잔차들의 시퀀스에서 발견될 가능성이 더욱 많아지고, 이에 따라, 인코딩 효율을 개선시킨다는 사실에 기반으로 한다. 다시 말해서, 값 A를 송신하는 것과 반대로 값 δa를 송신하는 것은 잔차들(300)을 인코딩하기 위해 필요한 데이터 비트들의 양을 절약한다. 이 예에서 A를 연산한 후, 디코더는 3.11에서 표시된 수학식을 이용하여 ri,j, ri,j+1, ri+1,j, ri+1,j+1에 대하여 구함으로써 잔차들 ri,j, ri,j+1, ri+1,j, ri+1,j+1을 계산한다.
위에서 표시된 바와 같이, 변환된 잔차들(350)을 추후에 생성하기 위하여 잔차들(300)을 압축해제하는 것은 잔차들 사이의 상관을 이용한다. 비-제한적인 실시형태에서, 압축해제는 상수 부분 및 하나 이상의 변수 부분들에서의 잔차들을 분리하는 것을 허용한다. 변환된 엘리먼트들의 일부는 예측가능할 수도 있어서, 이들을 송신하는 것을 더 용이하게 한다. 하나의 실시형태에서, 변환된 잔차들(350)은 개별적인 컴포넌트들 사이의 차이들 및/또는 가산들의 조합에 기초하여 얻어진다.
그것을 벡터 r(rij 와 같은 4개의 잔차들(300)을 포함함)로부터 시작하는 수학식들로 예시하면, 인코더는 벡터 l를 계산하고, 여기서, 벡터 l는 평균 A, 수평 틸트 H, 수직 틸트 V 및 대각 틸트 D로부터 유도된 4개의 파라미터들을 포함한다. 특히, 벡터 l는 벡터 r을 행렬 M과 승산함으로써 계산된다. 디코더는 그것이 벡터 l를 재구성하도록 하는 파라미터들을 수신한다(특히, 위에서 설명된 비-제한적인 실시형태에서는, 파라미터 A를 수신하는 대신에, 디코더는 A와 잔차들의 예측된 평균 PA와의 사이의 차이를 표시하는 파라미터 δa를 수신함). l를 재구성한 후, 디코더는 행렬 M의 역(inverse)을 벡터 l와 승산함으로써 벡터 r을 재구성한다. 도 3b의 다음의 수학식들에 의해 예시된 바와 같이, 비-제한적인 실시형태에서는, 행렬 M-1 이 행렬 M과 동일하다:
Figure 112014121725221-pct00001
또 다른 비-제한적인 실시형태에서, 변환된 잔차들의 세트에서의 상이한 잔차들은 상이한 양자화 파라미터들에 따라 양자화된다. 이것은 인지된 품질에 대한 방향성 컴포넌트들의 상이한 상대적 중요성으로 인한 것이고, 이것은 품질에 있어서의 현저한 차이들 없이 다른 것들과 상이하게 어떤 변환된 잔차들을 양자화하는 것을 허용한다. 다시 말해서, 언급된 바와 같이, 데이터가 속하는 각각의 대응하는 품질 레벨에세의 재구성 데이터 또는 잔차 데이터는, 신호의 생성된 렌디션이 대응하는 품질 레벨에 대한 원래의 신호를 더욱 정확하게 반영하도록, 디테일들을 신호의 예측된 렌디션으로 다시 추가하는 것을 담당한다.
예를 들어, 평균 또는 대각 컴포넌트들에 대응하는 변환된 잔차들은 다른 것들보다 더욱 공격적으로 양자화된다. 하나의 실시형태에서, 디코더는 상이한 역양자화 파라미터들에 따라 상이한 잔차들을 역양자화한다. 또 다른 실시형태에서, 상이한 양자화 파라미터들은 대각/사각 정보의 정밀도에 관계없이 (인간의 눈이 특별히 감지하는) 잔차들의 수직 틸트 및 수평 틸트의 정밀도를 개량하는 것을 허용하여, 압축에 의해 도입되는 양자화 아티팩트들(예를 들어, 데이터 비트들을 절약하기 위한 필터링으로 인해 발생하는 이미지 에러들)의 경우, 잔차들의 특정 컴포넌트들이 비트레이트 할당의 측면에서 특권을 받는다.
또 다른 비-제한적인 실시형태에서, H 및 V 파라미터들은 신호에서의 수평 대 수직 상관의 양들의 추정치에 따라 상이하게 양자화된다(예를 들어, 인터레이싱된 비디오에서의 필드는 종종 수직 상관보다 더 높은 수평 상관에 의해 특징되므로, 그것은 H 및 V를 상이하게 양자화함으로써 효율적으로 인코딩될 수 있음).
또 다른 비-제한적인 실시형태에서, 최종 품질 레벨에 대하여, 디코더는 H 및 V에 대응하는 파라미터들만을 수신하고, A 및 D를 디폴트(default) 값들로 설정함으로써 방향성 컴포넌트들의 전체 세트(및 다음으로, 잔차들)을 재구성한다.
다른 비-제한적인 실시형태들은 2를 초과하는 차원들을 특징으로 하는 피제어 펠들의 세트들에 대한 잔차들(예를 들어, 비-제한적인 예로서, 3차원 업샘플링 동작에 의하여 얻어진 8개의 제어 펠들의 세트들에 대한 잔차들), 및/또는 더 낮은 LOQ로부터 다음의 더 높은 LOQ까지의 상이한 스케일 인자들을 인코딩 및/또는 디코딩하기 위하여 유사한 잔차 변환 방법들을 채택한다.
당해 분야의 당업자는 2를 초과하는 차원들에 관여되는 업샘플링 동작들(예를 들어, 비-제한적인 예로서, 더 낮은 LOQ에서의 각각의 제어 펠에 대한 더 높은 LOQ에서의 8개의 피제어 펠들을 재구성하는, 2의 스케일 인자를 모두 갖는 2개의 공간 차원들 및 시간 차원에 관여되는 동작들)에 대해 동작하는 다른 실시형태들에서 이용되도록 하기 위한 변환 행렬을 용이하게 추론할 수 있다. 비-제한적인 예로서, 모든 차원들에서의 2의 스케일 인자에 의한 용적계측 업샘플링은 8개의 방향성 그래디언트(gradient)들/잔차 틸트들을 계산하는, 8x8 잔차 압축해제 변환 행렬을 요구한다. 비-제한적인 실시형태에서, 신호의 각각의 2x2x2 블록에 대하여, 인코더는 평균 잔차 값에 대응하는 하나의 파라미터 및 7개의 잔차 틸트 값들에 대응하는 7개의 파라미터들을 연산한다(그리고 디코더는 이를 수신하고 디코딩함).
또 다른 비-제한적인 실시형태에서, 인코더 및 디코더 둘 모두는 시간 및 공간 차원들에서 별도로 동작한다. 시간적 틸트가 먼저 송신 및 디코딩되고, 그 다음으로, 나머지 6개의 값들(각각의 공간 평면 당 3개)이 사각 공간 값들로서 송신된다.
또 다른 비-제한적인 실시형태에서, 인코더 및 디코더는 2차원들에 대해 자격이 충분한 방향성 압축해제 방법을 이용하고(예를 들어, 인코더에서, 잔차들의 각각의 2x2 블록에 대하여: 잔차들의 평균 A, 수평 틸트 H, 수직 틸트 V 및 대각 틸트 D를 계산하고, 다음으로, 평균 A 대신에, 평균 A와 예측된 평균 PA 사이의 차이 δa를 인코딩하고; 디코더에서: 평균 A와 예측된 평균 PA 사이의 차이 δa, 수평 틸트 H, 수직 틸트 V 및 대각 틸트 D를 수신하고, 이러한 파라미터들로부터 4개의 잔차들을 계산함), 다음으로, 제3 차원에 대해 부분 방향성 압축해제를 이용한다(예를 들어, 시간에 따라, 잔차들의 2x2 블록들의 2개의 평균들 사이의 틸트만을 계산, 인코딩 및 디코딩함).
또 다른 비-제한적인 실시형태에서, 인코더는 더 낮은 LOQ 에서의 동일한 제어 펠에 대응하는 잔차들의 각각의 세트에 대해 하나의 잔차를 송신하는 것을 회피하기 위한 옵션을 선택할 수 있다. 이것은 그 실제 값에 관계없이 δa를 제로로 양자화하는 것과 동등하다.
다른 비-제한적인 실시형태들에서, 디코더는 잔차들의 완전한 세트들을 수신하고, 에러 정정 또는 에러 검출의 목적들을 위하여 잔차 정보에서의 중복성(redundancy)을 사용하여, 송신 견고성을 개량한다.
하나 이상의 방향들에 대해 2와 상이한 LOQ들 사이의 스케일 인자들을 갖는 다른 비-제한적인 실시형태들에서는, 인코더 및 디코더가 더 낮은 LOQ에서의 신호의 렌디션의 복수의 엘리먼트들의 값들에 적어도 부부적으로 기반으로 하여 잔차들의 세트에 대한 예측된 평균을 계산한다.
다른 비-제한적인 실시형태들에서, 인코더는 제로와 동일한 값이 배정되는 변환된 잔차들의 수를 최대화하기 위한 목적으로, 잔차들의 특정 세트들에 대하여 압축해제 변환들을 적용한다. 이것은, 제로와 동일한 값들의 더 높은 백분율을 포함하는 수들의 스트림을 압축할 때에 엔트로피 인코딩 기술들이 더욱 효율적이라는 사실에 기인한다. 비-제한적인 실시형태에서, 적용된 압축해제 변환들에 대응하는 파라미터들은 재구성 데이터와 함께, 디코더에 송신된다.
비-제한적인 실시형태에서, 인코더는 이미지들의 시퀀스에서 동일한 LOQ에서의 상이한 이미지들의 잔차들의 세트들을 선택하고, 잔차들의 상기 세트들은 다수의 추후의 이미지들에 따른 동일한 로케이션(즉, 좌표들의 세트)(예를 들어, 시간에 따른 다수의 샘플링 위치들)에 대응한다. 잔차들의 세트들에서의 각각의 주어진 위치에 대하여, 인코더는 그 위치에 있는 세트들의 잔차들(예를 들어, 시간에 따른 잔차들의 시간적 시퀀스)을 선택하고, 상기 잔차들의 평균에 대응하는 값과, 다음으로, 각각의 주어진 잔차에 대응하여, 이전의 잔차와 주어진 잔차 사이의 스텝(step)에 대응하는 값들로 시작하는 변환된 잔차들의 시퀀스를 발생시킨다. 이러한 방법으로, 인코더는 잠시 동안 상수이고, 다음으로 상이한 값으로 변화하고, 그 후에 다시 상수로 유지되는 다수의 값들의 시퀀스를 매우 효율적으로 나타내고: 실제로, 이러한 시퀀스는 제로와는 상이한 2개의 값들(즉, 평균에 대응하는 값과, 스텝 변화가 일어나는 펠에 대응하는 값)만으로 표현된다. 이러한 실시형태에서는, 원래의 잔차들을 재구성하기 위하여, 디코더는 변환된 잔차들을 프로세싱하고, (시퀀스에서의 잔차들의 수에 따라) 변환들 잔차들을 다음과 같은 행렬들에 의해 승산함으로써 잔차들을 계산한다:
Figure 112014121725221-pct00002
도 3f는 본원에서의 실시형태들에 따라 재구성 데이터의 발생을 예시하는 일 예의 도면이다.
도시된 바와 같이, 도 3f의 컴퓨터 프로세싱 하드웨어는 본원에서의 실시형태들에 따라 재구성 데이터를 생성하도록 구성된다. 도시된 바와 같이, 인코딩 동안, 다운샘플 알고리즘(371)은 X11, X12, X21, X22를 포함하는 블록(305)을 수신 및 프로세싱한다. 이 값들 X11, X12, X21, X22의 각각은 각각의 엘리먼트와 연관된 대응하는 설정을 나타낸다.
하나의 실시형태에서, 다운샘플 알고리즘(371)은 제1 품질 레벨에서 X-어레이를 수신 및 프로세싱하고, x-값들(X11, X12, X21, X22)의 어레이를 단일 y 값(예를 들어, 대표 값(361))으로 변환한다. 양자화기 알고리즘(371)은 y-값을 y1(예를 들어, 도 3b에서 306으로서 또한 표시된 양자화된 대표 값(362))으로 변환한다. 인코더와 연관된 업샘플 알고리즘(373)은, 더 낮은 LOQ #2에서의 신호의 렌디션을 프로세싱함으로써, 신호(X11, X12, X21, X22)의 원래의 렌디션에 대응하는 예측된 렌디션(P11, P12, P21, P22)으로의 값(362)(예를 들어, y1)의 업샘플링을 개시한다. 차이 함수(376)는 조절 값들 R11, R12, R21, R22을 생성하기 위하여, X11, X12, X21, X22에 의해 특정된 바와 같은 원래의 신호와, 예측된 렌디션 P11, P12, P21, P22과의 사이의 차이로서 재구성 데이터 또는 잔차 데이터(300)를 생성한다. 하나의 실시형태에서, 조절 값 R11= X11-P11 이고; 조절 값 R12= X12-P12 이고; 조절 값 R21= X21-P21 이고; 그리고 조절 값 R22= X22-P22 이다.
프로세서 자원(377)은 (잔차 데이터(300) 또는 조절 값들 R11, R12, R21, R22과 같은) 조절 값들의 제1 세트를 수신한다. 조절 값들의 제1 세트는 제1 품질 레벨에서 신호(X11, X12, X21, X22)의 렌디션을 재구성하기 위하여, 대응하는 레벨 #1에서 발생된 바와 같은 신호의 예측된 렌디션(P11, P12, P21, P22)에 대해 행해져야 할 조절들을 특정한다. 프로세서 자원(377)은 조절 값들 R11, R12, R21, R22의 제1 세트를 프로세싱한다. 프로세서 자원(377)은 조절 값들 R11, R12, R21, R22의 제1 세트 및 제2 품질 레벨에서의 y1과 같은 신호의 렌디션에 기초하여 조절 값들(또는 변환된 잔차들(350) 또는 δa, H, V, D)의 제2 세트를 유도한다.
이 예에서, 품질 레벨 #2는 품질 레벨 #1보다 더 낮다. 신호는 다수의 엘리먼트들을 포함하는 이미지일 수 있다. 비-제한적인 예로서, 품질 레벨 #1은 제1 이미지 해상도일 수 있고; 품질 레벨 #2는 제2 이미지 해상도일 수 있다. 제2 이미지 해상도는 제1 이미지 해상도보다 해상도에 있어서 더 낮다.
도 3f의 인코더 하드웨어에 의해 인코딩되는 신호는 임의의 적당한 타입의 신호일 수 있다는 것에 다시 주목해야 한다. 예를 들어, 신호는 2차원 이미지일 수 있고; 신호는 비디오 신호일 수 있고; 신호는 용적계측 이미지일 수 있고; 이하 등등과 같다.
또 다른 특정 실시형태에서, 프로세서 자원(377)은 재구성 데이터 프로세서(396)를 포함한다. 재구성 데이터 프로세서(396)는 잔차 데이터(300)를 컴포넌트 값들 A, H, V, 및 D로 변환한다. 언급된 바와 같이, 값들 A, H, V, 및 D는 잔차들(300)의 인코딩된 표현이다. 적어도 부분적으로 값 y1 및 방향성 컴포넌트들 A, H, V, 및 D에 기초하여, 재구성 데이터 변환기(397)는 조절 값들 δa, H, V, D(변환된 잔차 데이터(350))을 생성한다.
하나의 비-제한적인 예의 실시형태에서, 프로세서 자원(377)은, 조절 값들 R11, R12, R21, R22의 세트를 나타내는 다수의 조절 컴포넌트들 A, H, V, 및 D를 생성하기 위하여, 조절 값들 R11, R12, R21, R22의 세트를 프로세싱함으로써 조절 값들 δa, H, V, D(변환된 잔차 데이터(350))의 세트를 유도한다. 재구성 데이터 변환기(397)는 품질 레벨 #2에서의 y1과 같은 신호의 렌디션과 연관된 적어도 하나의 설정을 갖는 값 A와 같은 다수의 조절 컴포넌트들 중의 적어도 하나의 조합에 기초하여 조절 데이터 δa, H, V, D(변환된 잔차 데이터(350))의 세트를 프로세싱한다.
언급된 바와 같이, 조절 값들 δa, H, V, D(변환된 잔차 데이터(350)) 중의 하나 이상의 것은 조절 값들 R11, R12, R21, R22의 세트와, 품질 레벨 #2에서의 (y1과 같은) 신호의 렌디션과의 선형 결합(linear combination)에 기초하여 계산될 수 있다. 예를 들어, 값 δa는 양자화기 알고리즘(372)에 의해 발생된 바와 같은 평균 값 A(값들 X11, X12, X21, X22의 평균)와, 블록(393)에서의 엘리먼트들(P11, P12, P21, P22)의 평균(예를 들어, [P11 + P12 + P21 + P22]/4)에 적어도 부분적으로 기반으로 하여 생성된 예측된 평균과의 사이의 차이에 기초하여 계산될 수 있다.
일 예로서, 블록(305)에서의 데이터(예를 들어, 다운샘플링되고 있는 엘리먼트 평면에서의 엘리먼트들의 대응하는 부분)는 하기를 포함한다: X11 = 10, X12 = 20, X21 = 25, X22 = 30. 이 예에서, 다운샘플 알고리즘(371)은 엘리먼트들 X11, X12, X21, X22의 평균을 이용하여 값 y = 21.25를 생성한다. 품질 레벨 #2에서의 신호 값 y = 21.25는 엘리먼트들 X11, X12, X21, X22와 연관된 설정들의 대표 값이다.
y1 = 21을 생성하기 위하여, 양자화기 알고리즘(372)이 값 y = 21.25를 양자화하는 것으로 가정한다. 하나의 실시형태에서, 양자화하는 것은 y = 21.25와 같은 수신된 값을 다수의 범위들과 비교하는 것을 포함한다. 이 예에서, 21 및 21.999 사이의 범위 A1에서의 임의의 값들에는 21의 값이 배정되는 것으로 가정한다. 값 y = 21.25는 범위 A1에 속하고, 이에 따라, 양자화되고, 양자화기 알고리즘(372)에 의해 양자화하는 것의 결과로 21의 값을 배정받는다.
이전에 논의된 바와 같이, 본원에서의 실시형태들은 양자화된 값 y1 = 21을 (또한, 그 이웃하는 엘리먼트들에 적어도 부분적으로 기반으로 하여) 예측된 값들 P11, P12, P21, P22의 세트로 업샘플링하는 것을 포함한다. 이 예에서는, 업샘플 알고리즘(373)의 적용이 설정들 P11 = 10, P12 = 15, P21 = 20, P22 = 25를 생성하는 것으로 가정한다. 이 P-값들은 원래의 X-값들(X11, X12, X21, X22)의 설정들을 근사화하지만, 일부의 조절을 필요로 한다.
본원에서의 실시형태들은 R-값들(R11, R12, R21, R22)을 생성하기 위하여 차이 함수(376)를 적용하는 것을 포함한다. 예를 들어, 차이 함수(376)는 R11 = X11 - P11 (R11 = 10 - 10 = 0)을 설정하고; 차이 함수(376)는 R12 = X12 - P12 (R12 = 20 - 15 = 5)를 설정하고; 차이 함수(376)는 R21 = X21 - P21 (R21 = 25 - 20 = 5)를 설정하고; 차이 함수(376)는 R22 = X2 - P22 (R22 = 30 - 25 = 5)를 설정한다.
이전의 수식들에 따르면, 재구성 데이터 프로세서(396)는 품질 레벨 #1에서의 설정들 R11, R12, R21, R22에 기초하여 A, H, V, 및 D에 대한 설정들을 생성한다. 예를 들어, 각각의 행렬에 따르면, 재구성 데이터 프로세서(396)는 다음과 같이 방향성 컴포넌트들(320)을 생성한다:
A = [R11 + R12 + R21 + R22] / 4 = [0 + 5 + 5 + 5] / 4 = 3.75
H = [R11 - R12 + R21 - R22] / 4 = [0 - 5 + 5 - 5] / 4 = 1.25
V = [R11 + R12 - R21 - R22] / 4 = [0 + 5 - 5 - 5] / 4 = 1.25
D = [R11 - R12 - R21 + R22] / 4 = [0 - 5 - 5 + 5] / 4 = -1.25
A, H, V, 및 D에 대한 이 값들에 기초하여, 재구성 데이터 변환기(397)는 다음과 같이 변환된 잔차들(300)(δa, H, V, D)을 생성한다:
δa = 평균 - 예측된 평균 = {3.75 - [y1 - (P11+P12 +P21+P22)/4]}=
δa = {3.75 - [21 - (10 + 15 +20 +25) / 4]} = 3.75 - (21 - 17.5) = 3.75 - 3.5 = .25
이 예에서, 프로세서 자원(377)은 다음과 같이 변환된 잔차 데이터(350)를 생성한다:
δa, = .25
H = 1.25
V = 1.25
D = -1.25
따라서, 본원에서 논의된 바와 같은 인코더 하드웨어는 품질 레벨 #1에서의 신호(X11, X12, X21, X22)의 렌디션을 수신한다. 도 3f의 인코더의 다운샘플 알고리즘(371)은 품질 레벨 #1에서의 신호(X11, X12, X21, X22)의 렌디션에 기초하여 품질 레벨 #2에서의 신호 y의 렌디션을 생성한다. 업샘플 알고리즘(373)은 품질 레벨 #2에서의 신호의 렌디션으로부터 품질 레벨 #1에서의 신호의 예측된 렌디션 P11, P12, P21, P22을 생성한다. 예를 들어, 양자화기 알고리즘(372)은 y로부터 y1을 생성한다. 업샘플 알고리즘(373)은 품질 레벨 #2에서의 신호의 렌디션을 프로세싱함으로써, y1을 P11, P12, P21, P22로 변환한다. 언급된 바와 같이, 차이 함수(376)는 품질 레벨 #1에서의 신호의 렌디션 R11, R12, R21, R22과, 품질 레벨 #1에서의 신호의 예측된 렌디션 P11, P12, P21, P22과의 차이로서 조절 값들 R11, R12, R21, R22의 세트를 생성한다. 재구성 데이터 프로세서(396)는 조절 값들 R11, R12, R21, R22의 세트로부터 (방향성 컴포넌트들(320)과 같은) 조절 값들의 포맷팅된 세트를 생성한다. 그 명칭이 암시하는 바와 같이, 재구성 데이터 변환기(397)는 조절 값들의 포맷팅된 세트를 조절 값들 δa, H, V, D의 세트로 변환한다.
본원에서의 실시형태들은 조절 값들 δa, H, V, D의 세트 및 품질 레벨 #2에서의 신호 y1의 렌디션을 대응하는 인코딩된 정보로 인코딩하기 위하여 추가적인 인코더 하드웨어 및 소프트웨어를 더 포함할 수 있다. 송신기 자원은 대응하는 인코딩된 정보를 통신 링크를 통해 디코더 프로세싱 하드웨어(디코딩의 비-제한적인 예를 위하여 도 5 참조)로 송신한다.
도 5에 따르면, 디코더 프로세싱 하드웨어는 인코딩된 정보를 수신한다. 인코딩된 정보로부터, 디코더 프로세싱 하드웨어는 (디코딩을 통해) 값 y1 = 21과 같은 재구성 데이터를 얻는다. 값 y1는 품질 레벨 #2에서의 블록(306)(도 3)에 대한 신호의 렌디션을 어떻게 재구성할 것인지를 특정한다. 수신된 인코딩된 정보로부터, 디코더 프로세싱 하드웨어는 (디코딩을 통해) 조절 값들 δa, H, V, D의 세트를 얻는다.
디코더 프로세싱 하드웨어는 얻어진 재구성 데이터에서의 값 y1에 적어도 부분적으로 기반으로 하여 품질 레벨 #1에서의 신호의 예측된 렌디션 P11 = (엘리먼트(500-1-1)), P12 (엘리먼트(500-1-2)), P21 (엘리먼트(500-1-3)), P22 (엘리먼트(500-1-4))를 재현한다. 디코더 프로세싱 하드웨어는 신호의 예측된 렌디션 및 (y1 = 21과 같은) 얻어진 재구성 데이터와 연관된 설정들의 프로세싱에 기초하여 값(430-5)과 같은 조절 값("예측된 평균", 또는 "PA")을 유도한다. 이 예의 실시형태에서, 블록(520)은 y1 마이너스(minus) ([(P11+P12+P21+P22)/4와 같은) 예측들의 평균 AvgP과 동일한 조절 값(430-5)을 발생시킨다. 디코더 프로세싱 하드웨어에서 y1 및 그 이웃하는 엘리먼트들에 적용된 (디코더 프로세싱 하드웨어에 의해 또한 이용되는 바와 같은) 업샘플 알고리즘은 값들 P11 = 10, P12 = 15, P21 = 20, P22 = 25를 생성한다는 것을 상기한다. 업샘플 값 y1에 대해 이용될 특정 알고리즘은 디코더 프로세싱 하드웨어에 의해 수신된 데이터에서 특정될 수 있다는 것에 주목해야 한다. 특히, 더 높은 품질 레벨에서의 신호의 예비 렌디션의 주어진 엘리먼트에 대하여, 상기 주어진 엘리먼트에 대한 설정들을 생성하는 것은: 더 낮은 품질 레벨에서의 신호의 렌디션에 기초하여, 더 높은 품질 레벨에서의 신호의 예비 렌디션을 생성하기 위하여 이용되어야 할 업샘플링 동작들과 연관된 메타데이터(metadata)를 수신하는 것; 메타데이터에 의해 특정된 바와 같은 업샘플링 동작(예를 들어, 제한 없이, 업샘플링 커널의 계수들)을 식별하는 것; 및 더 높은 품질 레벨에서의 신호의 예비 렌디션의 상기 주어진 엘리먼트에 대한 설정들을 유도하기 위하여 더 낮은 품질 레벨에서의 신호의 렌디션의 엘리먼트들의 서브세트에 동작을 적용하는 것을 포함할 수 있다.
그러므로, 프로세싱 블록(520)은 y1 - AvgP = 21 - [(10 + 15 + 20 + 25)/4] = 21 - 17.5 = 3.5를 생성한다.
함수(562)는 3.75의 값(즉, 평균 A = 3.75)과 같은 신호(430-5)를 생성하기 위하여, 위에서 논의된 바와 같은 디코딩에 의해 얻어진 바와 같은 델타(delta)(445-1)(예를 들어, δa= .25) 및 값 PA = 3.5를 합산한다. 따라서, 디코더 프로세싱 하드웨어는 값 δa= .25를 조절 값 A = 3.75로 수정하기 위한 기초로서 유도된 조절 값(예를 들어, PA = 3.5)을 사용한다.
수신된 정보를 디코딩함으로써 얻어진 데이터는 또한, H, V 및 D에 대한 값들을 얻는 것을 포함한다. 이 예에서, 값들은 다음과 같다: H = 1.25, V = 1.25, 및 D = -1.25.
다음으로, 디코더 프로세싱 하드웨어는 품질 레벨 #1에서의 신호(550-1)의 렌디션을 생성하기 위하여 신호의 재현된 예측된 렌디션 P11, P12, P21, P22에 조절 값들(예를들어, A, H, V, D)의 수정된 세트를 적용한다. 예를 들어, 디코더 프로세싱 하드웨어는 생성하기 위한 행렬 값들(532)과 연관된 합산기들의 행(row)을 적용한다:
엘리먼트 550-1-1 = 엘리먼트 500-1-1 + (A 455-1 + H 455-2 + V 455-3 + D 455-4)
= 10 + (3.75 + (-1.25) + (-1.25) + (-1.25)) = 10 = X11;
엘리먼트 550-1-2 = 엘리먼트 500-1-2 + (A 455-1 - H 455-2 + V 455-3 - D 455-4)
= 15 + (3.75 - (-1.25) + (-1.25) - (-1.25)) = 20 = X12;
엘리먼트 550-1-3 = 엘리먼트 500-1-3 + (A 455-1 - H 455-2 + V 455-3 - D 455-4)
= 20 + (3.75 + (-1.25) - (-1.25) - (-1.25)) = 25 = X21;
엘리먼트 550-1-4 = 엘리먼트 500-1-4 + (A 455-1 - H 455-2 - V 455-3 + D 455-4)
= 25 + (3.75 - (-1.25) - (-1.25) + (-1.25)) = 30 = X12;
따라서, y1 = 21과 같은 잔차 데이터 및 값들 δa = .25, H = -1.25, V = -1.25, 및 D = -1.25의 수신을 통해, 디코더 프로세싱 하드웨어는 원래의 값들 X11, X12, X21, 및 X22를 재현할 수 있다.
도 9의 추가의 실시형태에 따르면, 본원에서 논의된 바와 같은 인코더 프로세싱 하드웨어는 재구성 데이터의 다수의 세트들(910)을 생성하도록 구성될 수 있다. 예를 들어, X-엘리먼트들과 같은 신호의 제1 부분은 이전에 논의된 바와 같이 재구성 데이터의 세트(910-1)를 생성하기 위하여 프로세싱 및 인코딩될 수 있다. 이전에 논의된 것과 유사한 방식으로, 인코더는 엘리먼트들 Z11, Z12, Z21, 및 Z22에 기초하여 재구성 데이터의 세트(910-2)를 생성하도록 구성될 수 있다.
논의된 바와 같이, 재구성 데이터의 각각의 세트(910)는 변환된 값 δa(제1 변환된 값), H(제2 변환된 값), V(제3 변환된 값), 및 D(제4 변환된 값)에 의하여 A(제1 컴포넌트), H(제2 컴포넌트), V(제3 컴포넌트), 및 D(제4 컴포넌트)와 같은 다수의 컴포넌트들에 대한 설정들을 포함할 수 있다. 세트들의 각각에서의 δa(델타 평균)와 같은 제1 변환된 값은 제1 속성 클래스(attribute class)에 대응하고; 세트들의 각각에서의 제2 변환된 값은 수평(H)와 같은 제2 속성 클래스에 대응하고; 세트들의 각각에서의 제3 변환된 값은 수직(V)와 같은 제3 속성 클래스에 대응하고; 세트들의 각각에서의 제4 변환된 값은 대각(D)와 같은 제4 속성 클래스에 대응한다.
하나의 실시형태에서, 인코더 프로세싱 하드웨어는 재구성 데이터의 다수의 세트들(910)의 각각으로부터 제1 컴포넌트 값을 포함하기 위한 제1 그룹(925-1)을 생성한다. 예를 들어, 그룹(925-1)은 컴포넌트 값들 δa1, δa2 , …을 포함한다.
인코더 프로세싱 하드웨어는 재구성 데이터의 다수의 세트들(910)의 각각으로부터 H와 같은 제2 컴포넌트 값을 포함하기 위한 그룹(925-2)을 생성한다. 예를 들어, 그룹(925-2)은 컴포넌트 값들 H1, H2, …을 포함한다.
인코더 프로세싱 하드웨어는 재구성 데이터의 다수의 세트들(910)의 각각으로부터 V와 같은 제3 컴포넌트 값을 포함하기 위한 그룹(925-3)을 생성한다. 예를 들어, 그룹(925-3)은 컴포넌트 값들 V1, V2, …을 포함한다.
인코더 프로세싱 하드웨어는 재구성 데이터의 다수의 세트들(910)의 각각으로부터 D와 같은 제3 컴포넌트 값을 포함하기 위한 그룹(925-4)을 생성한다. 예를 들어, 그룹(925-4)은 컴포넌트 값들 D1, D2, …을 포함한다.
하나의 실시형태에서, 인코더 프로세싱 하드웨어는 서로에 관계없이 그룹들을 인코딩한다. 예를 들어, 인코더 프로세싱 하드웨어는 제2 그룹(925-2)을 인코딩된 정보(965-2)로 엔트로피 인코딩하는 것에 관계없이 제1 그룹(925-1)을 인코딩된 정보(965-1)로 엔트로피 인코딩한다.
다른 비-제한적인 실시형태들에서, 변환된 값들의 그룹들은 (신호의 타일(tile)과 같은) 신호의 동일한 부분에 대응하는 변환된 값들을 그룹화함으로써, 그리고 이에 따라, 신호의 각각의 타일에 대응하는 변환된 잔차들을 개별적으로 인코딩함으로써 얻어진다. 또 다른 비-제한적인 실시형태들에서, 잔차 데이터의 동일한 세트(910)에 대응하는 변환된 값들에는 주어진 심볼이 배정되고, 인코더 프로세싱 하드웨어는 심볼들의 시퀀스를 인코딩하고, 여기서, 심볼들의 각각은 잔차 데이터의 세트들(910) 중의 하나에 대응한다.
도 3c는 본원에서의 실시형태들에 따라 수평 차원에 따른 2 및 수직 차원에 따른 1의 스케일 인자로 2D 업샘플링하는 경우(즉, LOQ #(N-1)에서의 모든 부모 엘리먼트에 대하여, 다음의 더 높은 LOQ #N에서 2개의 피제어 펠들이 있고, 결과적으로, 2개의 잔차들은 상기 피제어 펠들을 적당하게 재구성하기 위하여 디코딩되어야 함), 2개의 잔차들의 그룹들에 적용된 방향성 압축해제의 비-제한적인 실시형태를 예시한다.
인코더는 공식 3.21에 따라 2개의 방향성 컴포넌트들 (평균에 대한) A 및 (틸트에 대한) T를 계산하고, 다음으로, 변환된 잔차들 δa 및 T를 생성하며, 여기서, δa는 A 및 예측된 평균 PA 사이의 차이로서 계산되고, 여기서, PA는 엘리먼트(308)의 값 y1 및 2개의 엘리먼트들(307)에 대응하는 예측된 값들의 평균 AvgP 사이의 차이로서 계산된다.
도 3d는 본원에서의 실시형태들에 따라 2차원들에 따른 2의 스케일 인자로 2D 업샘플링하는 경우(즉, LOQ #(N-1)에서의 모든 부모 엘리먼트에 대하여, 다음의 더 높은 LOQ #N에서 4개의 피제어 펠들이 있고, 결과적으로, 4개의 잔차들은 상기 피제어 펠들을 적당하게 재구성하기 위하여 디코딩되어야 함), 잔차들의 2x2 블록들의 그룹들에 적용된 방향성 압축해제의 비-제한적인 실시형태를 예시한다.
잔차들(300)의 블록은, 디코더에 의해 프로세싱되고 상기 주어진 LOQ #N에서의 신호의 렌디션을 생성하기 위하여 주어진 LOQ #N에서의 신호의 예측된 렌디션과 결합되는 주어진 LOQ #N에서의 잔차 데이터의 평면의 일부분이다. 특히, 잔차들(300)의 블록은 4개의 잔차들(ri,j, ri,j+1 , ri+1,j 및 ri+1,j+1)로 이루어진다.
잔차들(300)은 공식 3.11에 따라 방향성 압축해제기(310)에 의해 프로세싱되어, 방향성 컴포넌트들(320)을 생성한다. 다음으로, 방향성 컴포넌트들(320) 및 예측된 평균(340)은 변환된 잔차들 계산기(330)에 의해 프로세싱되어, 변환된 잔차들(350)을 생성한다. 다음으로, 변환된 잔차들(350)은 양자화기(360)에 의해 양자화되어, 양자화된 변환된 잔차들(370)을 생성한다.
비-제한적인 실시형태에서, 다음으로, 양자화된 변환된 잔차들(370)은 추가로 프로세싱되어 인코딩된 재구성 데이터로 인코딩된다. 비-제한적인 실시형태에서, 전체 신호에 대한 양자화된 변환된 잔차들은 인코딩된 재구성 데이터의 별도의 세트들로 개별적으로 엔트로피 인코딩되는 별도의 그룹들로 그룹화된다. 비-제한적인 실시형태에서, 별도의 그룹들은 변환된 잔차들의 별개의 클래스들(예를 들어, 제한 없이, 전체 신호에 대한 H 컴포넌트들에 대응하는 양자화된 변환된 잔차들 대 전체 신호에 대한 V 컴포넌트들에 대응하는 양자화된 변환된 잔차들, 등)에 대응한다. 또 다른 비-제한적인 실시형태에서, 별도의 그룹들은 신호의 별개의 부분들(예를 들어, 제한 없이, 신호의 타일들)에 대응한다.
도 3d에 따르면, 방향성 압축해제기(310)는 잔차(300)(예를 들어, 조절 값들)의 세트로부터 방향성 컴포넌트들(320)과 같은 조절 값들의 포맷팅된 세트를 생성한다. 계산기(330)는 방향성 컴포넌트들(320)과 같은 조절 값들의 포맷팅된 세트를 변환된 잔차들(350)(예를 들어, 조절 값들)로 변환한다. 다음으로, 인코더는 양자화된 변환된 잔차(370)와 같은 양자화된 조절 값들의 세트를 생성하기 위하여 양자화기 알고리즘(360)을 조절 값들(변환된 잔차들(350))의 세트에 적용한다.
하나의 실시형태에서, 조절 값들 δa, H, V, D의 세트는 다수의 재구성 데이터 컴포넌트들(예를 들어, 컴포넌트 δa, 컴포넌트 H, 컴포넌트 V, 컴포넌트 D)을 포함하는 벡터이다. 양자화기(360)는 잔차들(370)과 같은 조절 값들의 양자화된 세트를 생성하기 위하여 조절 컴포넌트들의 각각을 양자화한다.
변환된 잔차들(350)에서의 상이한 컴포넌트들은 상이한 규칙들에 따라 양자화될 수 있다. 예를 들어, 범위들의 제1 세트는 각각의 잔차들(370)에서 δa 컴포넌트를 양자화하기 위하여 이용될 수 있다. 각각의 범위에는 각각의 값이 배정될 수 있다. 값 δa 컴포넌트가 어느 범위들에 속하는지에 따라, 다음으로, 범위에 배정된 대응하는 값은 컴포넌트에 대한 양자화된 값으로서 δa 컴포넌트에 배정된다.
범위들의 제2 세트는 각각의 잔차들(370)에서 H 컴포넌트를 양자화하기 위하여 이용될 수 있다. 제2 세트에서의 각각의 범위에는 각각의 양자화된 값이 배정될 수 있다. 값 H 컴포넌트가 제2 세트에서의 어느 범위들에 속하는지에 따라, 다음으로, 범위에 배정된 대응하는 값은 컴포넌트에 대한 양자화된 값으로서 H 컴포넌트에 배정된다.
이러한 방식으로, 양자화 범위들의 상이한 세트는 상이한 타입들의 컴포넌트들 δa, H, V, D의 각각에 대한 양자화된 값들을 발생시키기 위하여 이용될 수 있다. 언급된 바와 같이, 양자화는 이와 다르게 상이한 컴포넌트 설정들에 대한 유사한 설정들을 발생시키기 위하여 이용된다. 양자화는 신호를 캡처하기 위하여 요구되는 데이터의 양을 감소시킨다.
따라서, 본원에서의 실시형태들은 제1 양자화 규칙들에 기초하여 벡터 δa, H, V, D에서의 제1 조절 데이터 컴포넌트를 양자화하기 위한 컴퓨터 프로세서 하드웨어를 포함한다. 컴퓨터 프로세서 하드웨어는 제2 양자화 규칙들에 기초하여 벡터에서의 제2 조절 데이터 컴포넌트를 양자화한다. 제2 양자화 규칙들은 제1 양자화 규칙들과 상이하다.
도 3e는 잔차들(300)의 2x2 블록의 양자화 및 변환의 또 다른 비-제한적인 실시형태를 예시하고, 여기서, 잔차들은 본원에서의 실시형태들에 따라 변환되기 전에 양자화된다. 기존의 인코딩 방법들은, 다른 것들보다 더 과도하게 어떤 변환된 파라미터들을 양자화할 가능성, 즉, 폭넓게 말하자면, 변환의 "더 높은 우선순위" 부분들에 더 많은 비트레이트를 제공할 가능성을 포함한다는 이유들 때문에, 지금까지 변환 후에 양자화를 적용하였으므로, 변환 전의 양자화는 이 발명에 의해 도입된 중요하고 추가적인 신규한 단계라는 것을 강조하는 것은 가치가 있다.
도 3e에 예시된 바와 같이, 이 비-제한적인 실시형태에서는, 변환 단계에 진입하기 전에 잔차 양자화가 수행되고, 특히, 양자화기(380)는 잔차들(300)을 프로세싱하여, 양자화된 잔차들(309)을 생성한다.
양자화된 잔차들(309)은, 다음의 공식에 따라 4개의 양자화된 잔차들(309)("qr")의 벡터를 프로세싱함으로써 무손실 방향성 컴포넌트들(325)("ldc")을 생성하는 무손실 방향성 압축해제기(315)에 의해 프로세싱된다.
Figure 112014121725221-pct00003
무손실 방향성 컴포넌트들(325)은 양자화된 잔차들(309)의 가산들 및 감산들을 수행함으로써 얻어지므로, 무손실 방향성 컴포넌트들(325)을 위해 필요한 비트들의 수는 양자화된 잔차들(309)을 설명하기 위하여 이용된 비트들의 수보다 더 높다는 것을 강조하는 것이 중요하다.
무손실 방향성 컴포넌트들(325) 및 예측된 합(345)은 변환된 잔차들 계산기(335)에 의해 프로세싱되어, 변환된 잔차들(355)을 생성한다.
비-제한적인 실시형태에서, 양자화기(380) 내에서의 잔차들(300)의 양자화는 잔차들(300)이 속하는 (즉, 신호를 그 전체적으로 보는) 잔차들의 전체 평면을 프로세싱함으로써 생성된 파라미터들에 적어도 부분적으로 기반으로 한다.
비-제한적인 실시형태에서, 잔차들(300)의 양자화는, 재구성된 엘리먼트(즉, 예측된 엘리먼트 및 그 대응하는 잔차의 조합)와, 원래의 신호에서의 대응하는 엘리먼트와의 사이의 차이가 최대 에러의 주어진 임계치 미만인 것을 보장하여, 디코더에서 재구성된 신호의 렌디션의 에러 제어를 효과적으로 보장하는 최적화 방법을 통해 양자화기(380)에 의해 수행된다. 일부의 비-제한적인 실시형태들에서, 잔차들(300)의 양자화는 전체 신호 및/또는 잔차들(300)을 포함하는 잔차들의 전체 평면을 실질적으로 프로세싱함으로써 생성되는 파라미터들에 기초하여 수행된다. 비-제한적인 실시형태에서, 이것은 전체 신호 및 잔차들의 전체 평면을 프로세싱함으로써 달성되어, 우선순위 값을 잔차들의 평면에서의 각각의 잔차에 배정하는 우선순위 맵을 발생시키고; 다음으로, 잔차들의 양자화는 상기 우선순위 값들에 적어도 부분적으로 기반으로 하여 수행된다.
비-제한적인 실시형태에서, 변환된 잔차들은 변환된 잔차들(355)의 벡터에서의 각각의 변환된 잔차의 상대적 위치에 기초하여 상이한 비트들의 수(즉, 심볼들의 총 수)를 가지는 심볼들의 알파벳들로 선택된 심볼들이다.
위에서 논의된 바와 같이, 희망하는 경우, 양자화는 각각의 값들로 압축해제하기 전에 잔차들(300)에 대해 직접 수행될 수 있다. 예를 들어, 양자화기 알고리즘(380)은 조절 값들(잔차들(300))의 제1 세트를 수신하고, 양자화된 잔차들(309)과 같은 조절 값들의 양자화된 세트를 생성한다. 하나의 실시형태에서, 방향성 압축해제기(315)는 S, V1, H1, D1과 같은 조절 값들의 중간 세트를 생성하기 위하여, 하나 이상의 무손실이며 반전가능한 연산들을 조절 값들의 수신된 양자화된 세트에 대해 적용한다. 계산기(335)는 제2 품질 레벨에서의 신호의 렌디션 및 제1 품질 레벨에서의 신호의 예측된 렌디션에 적어도 부분적으로 기반으로 하여 유도된 (예측된 합과 같은) 값을 수신한다. 계산기(335)는 조절 값들 S, V1, H1, D1의 중간 세트를 (δS, H1, V1, D1과 같은) 변환된 잔차(355)로 변환하기 위하여 값(예를 들어, 예측된 합(345))을 사용한다.
하나의 실시형태에서, (양자화된 잔차들(309)과 같은) 조절 값들의 양자화된 세트의 설정들은, (양자화된 잔차들(309)과 같은) 조절 값들의 양자화된 세트의 세트에서의 설정들과, (설정들(300)과 같은) 조절 값들의 세트에서의 대응하는 설정들과의 사이의 차이들이 에러 임계 값 미만이 되도록 생성된다.
추가적인 실시형태들
위에서 논의된 바와 같이, 조절 값들은 인코딩 프로세스에서의 임의의 적당한 포인트에서 양자화될 수 있다. 또 다른 실시형태들에 따르면, 조절 값들의 세트가 상이한 품질 레벨들에서 인코딩되는 다수의 엘리먼트들의 평면 내의 특별한 로케이션의 재구성에 속한다는 것에 주목해야 한다. 평면에서의 엘리먼트들의 상이한 부분들의 각각은 대응하는 엘리먼트들이 존재하는 특별한 로케이션에 따라 상이한 양들에 의해 양자화될 수 있다. 예를 들어, 상대적으로 균질인 신호의 구역들에서는, 대응하는 영역이 이러한 영역들의 양호한 신호 품질을 유지하기 위하여 덜 양자화될 수 있고; 예리한 콘트라스트(sharp contrast)가 있는 구역들은 이러한 영역들의 양호한 신호 품질을 유지하기 위하여 덜 양자화될 수 있고; 사람 또는 텍스트와 같은 특별한 객체가 검출되는 신호에서의 구역들은 이러한 영역들의 양호한 신호 품질을 유지하기 위하여 덜 양자화될 수 있으며; 이하 등등과 같다. 따라서, 본원에서의 실시형태들은 조절 값들의 세트가 속하는 신호의 속성들에 따라 조절 값을 양자화하는 것을 포함할 수 있다.
추가의 실시형태들에 따르면, 조절 값들의 세트는 (컴포넌트 δ, 컴포넌트 H, 컴포넌트 V, 컴포넌트 D와 같은) 다수의 재구성 데이터 컴포넌트들을 포함하는 벡터일 수 있다. 인코딩하는 동안, 이 컴포넌트들 중의 2 이상이 결합될 수 있고 단일 인코딩된 심볼에 의해 표현될 수 있다.
언급된 바와 같이, 원래의 신호의 다수의 영역들의 각각은 (δ, H, V, D와 같은) 조절 값들의 각각의 세트를 이용하여 인코딩될 수 있다. 예를 들어, 신호의 제1 부분 또는 영역은 (δ1, H1, V1, D1과 같은) 조절 값들의 제1 세트를 통해 인코딩될 수 있고; 신호의 제2 부분 또는 영역은 (δ2, H2, V2, D2와 같은) 조절 값들의 제2 세트를 통해 인코딩될 수 있고; 신호의 제3 부분 또는 영역은 (δ3, H3, V3, D3와 같은) 조절 값들의 제3 세트를 통해 인코딩될 수 있으며; 이하 등등과 같다. 본원에서의 실시형태들은 공통의 심볼을 이용하여 (δ, H, V, D와 같은) 재구성 데이터 또는 그 부분들의 다수의 세트들 중의 적어도 2개의 각각을 인코딩하는 것을 포함할 수 있다. 따라서, 단일 심볼은 조절 값들의 다수의 세트들에 대한 설정들을 나타내기 위하여 이용될 수 있다.
도 4a는 본원에서의 실시형태들에 따라 디코더 디바이스에 의해 수행되는 역 방향성 압축해제의 비-제한적인 실시형태를 예시한다.
블록(410) 역 방향성 압축해제는 해상도 X * Y에서의 엘리먼트들의 5개의 평면들: 예측된 평균들의 평면(400-5)과, δ의 변환된 잔차들의 평면(400-1), H의 평면(400-2), V의 평면(400-3) 및 D의 평면(400-4)의 4개의 평면들을 수신한다.
블록(410)은 역 방향성 압축해제에 따라 수신된 평면들을 프로세싱하여, 해상도 2X * 2Y에서의 잔차들의 평면(420)을 생성한다.
비-제한적인 실시형태에서, 블록(410)은 5개의 입력 평면들에서 대응하는 엘리먼트들을 선택하고, 대응하는 엘리먼트들의 각각의 그룹에 대하여, 방향성 컴포넌트들을 재구성함으로써, 그리고 다음으로, 그룹에 대응하는 잔차들의 세트를 생성하도록 방향성 컴포넌트들을 적당하게 가산 및 감산함으로써 역 방향성 압축해제를 수행한다.
도 4b는 본원에서의 실시형태들에 따라 역 방향성 압축해제의 또 다른 비-제한적인 실시형태를 예시한다. 특히, 도면은 잔차들(480)의 세트를 재구성하기 위하여 디코더로서 구성된 신호 프로세서에 의해 수행된 동작들을 예시한다.
4개의 양자화된 파라미터들 Q(δA) (430-1), Q(H) (430-2), Q(V) (430-3) 및 Q(D) (430-4)은 역양자화기(440-1), 역양자화기(440-2), 역양자화기(440-3), 및 역양자화기(440-4)에 의해 각각 수행된다. 역양자화기(440-1)는, 합성기(450)에 의해 프로세싱되고 예측된 평균(430-5)과 합성되어, 역양자화된 평균 컴포넌트(455-1)를 생성하는 파라미터 역양자화된 델타(445-1)를 생성한다. 역양자화기(440-2)는 역양자화된 수평 컴포넌트(455-2)를 생성한다. 역양자화기(440-3)는 역양자화된 수직 컴포넌트(455-3)를 생성한다. 역양자화기(440-4)는 역양자화된 대각 컴포넌트(455-4)를 생성한다.
파라미터들(455-1, 455-2, 455-3 및 455-4)은 행렬 M(460)에 대응하는 계산들에 따라 블록(470) 역 방향성 압축해제에 의해 프로세싱되어, 잔차들(480)을 생성한다.
비-제한적인 실시형태에서, 행렬 M(460)은 16개의 계수들에 대응하고, 잔차들(480)은 상기 계수들에 따른 파라미터들(455-1, 455-2, 455-3, 455-4)의 가산들 및 감산들에 의해 얻어진다. 비-제한적인 실시형태에서, 잔차들(480)은 4개의 잔차들의 세트이고, 상기 잔차들의 각각은 파라미터들(455-1, 455-2, 455-3, 455-4)의 각각을 행렬 M(460)의 계수와 승산함으로써, 그리고 다음으로, 상기 승산들의 결과들을 합산함으로써 얻어진다. 또 다른 비-제한적인 실시형태에서, 행렬 M(460)은 4x4 행렬이고, 잔차들(480)의 벡터는 파라미터들(455-1, 455-2, 455-3, 455-4)의 벡터와 행렬 M(460)을 승산함으로써 얻어진다.
비-제한적인 실시형태에서, 역양자화기들(440-1, 440-2, 440-3 및 440-4)은 각각 특정 양자화 파라미터들에 따른 양자화 동작들을 수행한다(예를 들어, 파라미터(430-1)에 대해 수행되는 역양자화 동작들은 파라미터(430-2)에 대해 수행되는 역양자화 동작들과는 상이함).
도 4b에 도시된 바와 같이, 상이한 역양자화 동작들은 Q(δA) (430-1), Q(H) (430-2), Q(V) (430-3) 및 Q(D) (430-4)와 같은 수신된 양자화된 데이터에 적용될 수 있다. 역양자화기(440-1)는 역양자화된 델타(445-1)와 같은 제1 조절 값을 재현하기 위하여 제1 역양자화 동작을 적용하고; 역양자화기(440-2)는 제2 조절 값(455-2)을 재현하기 위하여 제2 역양자화 동작을 적용하고; 역양자화기(440-3)는 제3 조절 값(455-3)을 재현하기 위하여 제3 역양자화 동작을 적용하고; 역양자화기(440-4)는 제4 조절 값(455-4)을 재현하기 위하여 제4 역양자화 동작을 적용한다. 역양자화 동작의 각각은 서로에 대해 고유할 수 있다.
도 4c는 본원에서의 실시형태들에 따라 4개의 잔차들(480)의 세트를 재구성하기 위하여, 디코더로서 구성된 신호 프로세서에 의해 수행된 역 방향성 압축해제의 또 다른 비-제한적인 실시형태를 예시한다.
도 4c의 실시형태는, 이 경우에 디코더가 4개의 잔차들(480)의 2x2 블록을 재구성하기 위하여 2개의 양자화된 파라미터들 Q(H) 및 Q(V)만을 수신하는 것을 제외하고는, 도 4b에 예시된 실시형태에 의해 수행된 동작들과 유사한 동작들을 수행한다. 이것은, 도 4b의 파라미터들(430-1 및 430-4)에 의해 전달되는 정보가 폭넓게 말하자면, 품질 인지를 위해 덜 중요하므로, 대역폭 제한들에 응답하여, 도 4c의 디코더가 430-2 및 430-3에만 기반으로 하여 잔차들(480)을 재구성하는 것이 가능하게 되어, 430-1 및 430-4를 디폴트 값(예를 들어, 제한 없이 제로)으로 대체한다는 사실에 기인한다.
파라미터들(430-2 및 430-3)은 역양자화기들(440-2 및 440-3)에 의해 프로세싱되어, 파라미터들(455-2 및 455-3)을 생성한다. 블록(470)은 예측된 평균(430-5), 역양자화된 수평 컴포넌트(455-2), 역양자화된 수직 컴포넌트(455-3) 및 제로 값(440-6)을 수신하여, 행렬 M(460)에 대응하는 계산들에 따라 잔차들(480)을 생성한다.
도 4d는 본원에서의 실시형태들에 따라 2개의 잔차들(481)의 세트를 재구성하기 위하여, 디코더로서 구성된 신호 프로세서에 의해 수행된 무손실 역압축해제의 비-제한적인 실시형태를 예시한다. 실시형태들은 무손실 압축해제 변환에 의하여, 즉, 변환 후 대신에 변환 전에 수행된 양자화로 변환되었던 2개의 양자화된 잔차들의 블록의 역압축해제를 예시한다. 무손실로 변환된 양자화된 잔차들은 동일한 세트의 다른 무손실로 변환된 양자화된 잔차들에 기초하여 그 비트들의 일부(예를 들어, 제한 없이, 최하위 비트(least significant bit))를 예측하는 것을 허용하는 수학적 특징들을 가진다. 더욱 구체적으로, 무손실 변환 동작으로 얻어진 파라미터들은 원칙적으로 더 높은 비트들의 수를 가지지만(예를 들어, n 비트들의 2개의 파라미터들의 무손실 합은 n+1 비트들을 요구하고; n 비트들의 4개의 파라미터들의 무손실 합은 n+2 비트들을 요구하는 등등), 적용된 변환의 특정 계수들에 기초하여, 최하위 비트들에서의 정보의 일부는 중복적으로 되므로(예를 들어, 변환된 파라미터들의 적어도 2개에 대해 동일함), 일부의 변환된 파라미터들의 비트들의 일부만을 디코더에 송신하는 것이 충분하여, 변환된 파라미터들의 자격이 충분한 세트를 재구성하기 위하여 알려진 중복성들을 활용하는 작업을 디코더에 남겨둔다.
2 비트들로 이루어진 파라미터인 변환된 잔차 Rt 1 는 결합기(451)에 의해 수신되고, n+1 비트들로 이루어진 파라미터인 예측된 합(431-3)과 합성되어, n+1 비트들로 이루어진 파라미터인 양자화된 잔차들의 합 S(456-1)를 생성한다.
n 비트들로 이루어진 파라미터인 변환된 잔차 Rt 2 는 파라미터 S(456-1)와 함께 블록(491)에 의해 수신되어, n+1 비트들로 이루어진 파라미터인 양자화된 잔차들의 차이 D(456-2)를 생성한다. 특히, 파라미터 D(456-2)는 파라미터(431-2)의 비트들의 수를 증가시킴으로써, 그리고 구체적으로, (파라미터들(456-1 및 456-2)이 동일한 최하위 비트를 가지도록) 파라미터(431-2)의 부가적인 최하위 비트로서 파라미터(456-1)의 최하위 비트를 부가함으로써 얻어진다.
파라미터들(456-1 및 456-2)은 행렬 M1(461)과 함께 블록(471)에 의해 수신되어, n 비트들의 2개의 양자화된 잔차들(481)의 세트를 생성한다. 비-제한적인 실시형태에서, 2개의 양자화된 잔차들(481)의 각각은 파라미터들(456-1 및 456-2)의 합 또는 차이 중의 어느 하나에 대응하고, 여기서, (구성에 의하여 제로와 동일한) 합 또는 차이의 최하위 비트는 제거된다.
다음으로, 양자화된 잔차들(481)은 역양자화기(441)에 의해 프로세싱되어, n 비트들로 이루어진 2개의 잔차들(482)을 생성한다.
다른 비-제한적인 실시형태들에서, 모든 파라미터들은 동일한 수의 비트들로 이루어지고, 블록(491)은 파라미터(456-1)의 최하위 비트를 파라미터(431-2)의 최하위 비트 상으로 단지 복사한다.
또 다른 비-제한적인 실시형태에서, 잔차들(482)은 양자화된 잔차들(481)의 비트들의 수보다 더 높은 비트들의 수로 이루어진 파라미터들이다.
도 4e는 본원에서의 실시형태들에 따라 4개의 잔차들(483)의 세트를 재구성하기 위하여, 디코더로서 구성된 신호 프로세서에 의해 수행된 무손실 역압축해제의 비-제한적인 실시형태를 예시한다. 실시형태들은 무손실 압축해제 변환에 의하여, 즉, 변환 후 대신에 변환 전에 수행된 양자화 동작들로 변환되었던 4개의 양자화된 잔차들(481)의 블록을 생성하는 역압축해제를 예시한다.
2 비트들로 이루어진 파라미터인 변환된 잔차 Rt 1(432-1)는 결합기(451)에 의해 수신되고, n+2 비트들로 이루어진 파라미터인 예측된 합(432-5)과 결합되어, n+2 비트들로 이루어진 파라미터인 양자화된 잔차들의 합 S(457-1)를 생성한다.
n+1 비트들로 이루어진 파라미터인 변환된 잔차들 Rt 2(432-2), n+1 비트들로 이루어진 파라미터인 Rt 3(432-3), n 비트들로 이루어진 파라미터인 Rt 4(432-4)는 양자화된 잔차들의 합 S(457-1)와 함께 중복 비트들의 재구성기(495)에 의해 수신 및 프로세싱된다. 중복 비트들의 재구성기(495)는 인코더 측에서 수행되었던 무손실 압축해제에 의해 발생된 알려진 정보 중복성을 활용하고, 최하위 비트로서 457-1의 최하위 비트를, 그리고 432-4에 추가되는 제2 최하위 비트로서 457-1, 433-2 및 432-3의 대응하는 비트들의 배타적 논리합(exclusive Or; XOR)을 이용함으로써 432-2, 432-3, 및 432-4에 대한 추가적인 비트들을 생성한다. 이를 행함으로써, 중복 비트들의 재구성기(495)는, n+2 비트들로 이루어지고, 모두 동일한 최하위 비트를 가지며, 그리고 제2 최하위 비트들에서의 1의 수가 짝수가 되는 제2 최하위 비트를 가지는 것에 특징이 있는 4개의 파라미터들 S(457-1), H1(457-2), V1(457-3) 및 D1(457-4)을 생성한다.
파라미터들(457-1, 457-2, 457-3 및 457-4)은 행렬 M(460)에 포함된 파라미터들에 대응하는 동작들에 따라 역 방향성 압축해제(472)에 의해 프로세싱되어, 4개의 양자화된 잔차들(482)의 세트를 생성하고, 상기 양자화된 잔차들의 각각은 n 비트들로 이루어진다.
다음으로, 양자화된 잔차들(482)은 역양자화기(442)에 의해 프로세싱되어, 잔차들(483)을 생성한다.
(인코더 측에서 수행되었던 무손실 변환의 알려진 결과인) 파라미터들(457-1, 457-2, 457-3 및 457-4)에서의 중복 정보를 재구성하기 위하여 블록(495) 중복 비트들의 재구성기에 의해 수행되는 설명된 동작들은 단지 비-제한적인 실시형태이다. 당해 분야의 당업자들은 인코더 측에서 상기 중복 정보를 추출하고(이에 따라, 중복 정보를 인코딩 및 송신하는 것을 회피함) 디코더 측에서 그것을 재구성하기 위한 몇몇 다른 방법들을 용이하게 개발할 수 있다.
도시된 바와 같이, 조절 값들의 세트는 다수의 조절 컴포넌트들 Rt 1, Rt 2, Rt 3, Rt 4의 벡터일 수 있다. 다수의 조절 컴포넌트들의 벡터에 대한 행렬(460) 및 대응하는 프로세싱의 적용을 통해, 디코더 프로세싱 하드웨어는 잔차들(482)과 같은 양자화된 조절 값들의 세트를 유도한다. 역양자화기(442)를 통해, 디코더 프로세싱 하드웨어는 잔차들(483)(즉, 재구성 데이터)과 같은 역양자화된 조절 값들의 세트를 생성하기 위하여 잔차들(482)과 같은 양자화된 조절 값들의 세트에 역양자화 알고리즘을 적용한다. 하나의 실시형태에서, 디코더 프로세싱 하드웨어는 본원에서 논의된 바와 같은 신호의 2차 렌디션(secondary rendition)을 생성하기 위하여, 잔차(483)와 같은 조절 값들의 역양자화된 세트의 세트를 신호의 예비 렌디션(preliminary rendition)에 적용한다.
하나의 실시형태에서, 역양자화된 조절 값들의 세트를 유도하기 위하여, 디코더 프로세싱 하드웨어는 벡터에서의 특정 조절 컴포넌트를 수정하여 (잔차(457-1), 잔차(432-2), 잔차(432-3), 잔차(432-4)와 같은) 다수의 조절 컴포넌트들의 수정된 벡터를 생성하기 위하여 결합기(451)를 적용하도록 구성될 수 있다. 수정된 세트에서의 다수의 조절 컴포넌트들 중의 하나 이상의 것은 상이한 비트 길이들일 수 있다. 디코더 프로세싱 하드웨어는 수정된 세트에서의 컴포넌트들의 비트 길이들을 이 비-제한적인 예의 실시형태에서와 같이 n+2와 같은 공통의 길이로 적당하게 조절하기 위하여, 제1 알고리즘을 다수의 조절 컴포넌트들의 (잔차(457-1), 잔차(432-2), 잔차(432-2), 잔차(432-4)와 같은) 수정된 벡터에 적용한다.
도 5는 본원에서의 실시형태들에 따라 디코더에 의해 수행되는 동작들의 비-제한적인 실시형태들을 예시한다. 디코더는, LOQ #1에서의 4개의 예측된 엘리먼트들(500-1)의 세트에 기초하여, 더 낮은 LOQ #2에서의 신호의 렌디션의 대응하는 엘리먼트에 기초하여, 그리고 4개의 파라미터들(445-1, 455-2, 455-3 및 455-4)에 기초하여, LOQ #1에서의 신호의 렌디션의 4개의 엘리먼트들(550-1)을 재구성한다.
블록(520)은 4개의 엘리먼트들(500-1) 및 LOQ #2에서의 렌디션(510)의 대응하는 엘리먼트를 프로세싱하여, 예측된 평균(PA)(430-5)을 생성한다.
예측된 평균(430-5)은 파라미터 델타(445-1)와 결합되어, 파라미터 A(455-1)를 생성한다.
파라미터들(455-1, 455-2, 455-3 및 455-4)은 도 5에서 특정된 동작들(합들 및/또는 차이들)에 따라 엘리먼트들(500-1-1, 500-1-2, 500-1-3 및 500-1-4)과 결합되어, 엘리먼트들(550-1-1, 550-1-2, 550-1-3 및 550-1-4)을 생성한다. 예를 들어, 엘리먼트(550-1-1)는 455-1, 455-2, 455-3 및 455-4를 500-1-1에 가산함으로써 얻어지고; 엘리먼트(550-1-2)는 455-1 및 455-3을 가산함으로써 그리고 455-2 및 455-4 내지 500-1-2를 감산함으로써 얻어지고; 이하 등등과 같다.
비-제한적인 실시형태에서, 엘리먼트들(500-1-1, …, 500-1-4)은 n 비트들을 가지고, 455-1, …, 455-4는 n+2 비트들을 가지고, 각각의 엘리먼트(550-1-n)에 대하여, 도 5에서의 합들 및 차이들은 파라미터들(455-1, …, 455-4)에 대해 먼저 실행되고(n+2 비트들의 결과를 생성함), 다음으로, 결과는 4로 나누어져서(즉, 최종 2개의 비트들이 제거됨), n 비트들의 파라미터를 얻고, 다음으로, n 비트의 상기 파라미터가 대응하는 엘리먼트(500-1-n)에 합산되어, 엘리먼트(550-1-n)를 생성한다.
따라서, 도 5에서와 같은 디코더 프로세싱 하드웨어는 품질 레벨 #2에서의 신호(510)의 렌디션과 연관된 설정 정보 또는 값 y1을 수신한다. 디코더 프로세싱 하드웨어는 (델타(445-1), H(455-2), V(455-3), 및 D(455-4)와 같은) 조절 값들의 세트를 수신한다. 디코더 프로세싱 하드웨어는 품질 레벨 #2에서의 신호(510)의 렌디션의 엘리먼트들의 설정 정보에 기초하여 품질 레벨 #1에서의 (신호(500-1)와 같은) 신호의 예비 렌디션을 프로세싱한다. 디코더 프로세싱 하드웨어는 품질 레벨 #2에서의 신호(510)의 예비 렌디션 및 (델타(445-1), H(455-2), V(455-3), 및 D(455-4)와 같은) 조절 값들의 세트에 기초하여 품질 레벨 #2에서의 렌디션(550-1)과 같은 신호의 제2 렌디션을 생성한다.
도시된 바와 같이, 신호(550-1)와 같은 신호의 제2 렌디션을 생성하는 것은: 품질 레벨 #1에서의 신호(550-1)의 예비 렌디션에 적어도 부분적으로 기반으로 하여 조절 값들 델타(445-1), H(455-2), V(455-3), 및 D(455-4)의 세트를 수정하는 것을 포함할 수 있다. 디코더 프로세싱 하드웨어는 신호(550-1)의 제2 렌디션을 생성하기 위하여 조절 값들 A(455-1), H(455-2), V(455-3), 및 D(455-4)의 수정된 세트를 신호(500-1)의 예비 렌디션에 적용한다.
추가의 실시형태들에 따르면, y1과 같은 설정 정보는 제1 설정 정보로 간주될 수 있다. 델타(445-1), H(455-2), V(455-3), 및 D(455-4)와 같은 조절 값들의 세트의 수정은: 프로세싱 블록(520)에서, 제1 설정 정보 y1를 수신하는 것을 포함할 수 있다. 제1 설정 정보 y1는 신호(500-1)의 예비 렌디션과 연관된다. 프로세싱 블록(520)은 엘리먼트(500-1-1)(P11), 엘리먼트(500-1-2)(P12), 엘리먼트(500-1-3)(P21), 및 엘리먼트(500-1-4)(P22)의 설정들과 같은 제2 설정 정보를 수신한다. 제2 설정 정보는 품질 레벨 #1에서의 신호의 렌디션과 연관된다. 신호(500-1)의 예비 렌디션은 제1 설정 정보 y1에 적어도 부분적으로 기반으로 하여 유도된다. 프로세싱 블록(520)은 값(430-5)과 같은 수정 값을 생성하기 위하여, 수학적 알고리즘을 제1 설정 정보 y1 및 제2 설정 정보의 조합에 적용한다. 함수(562)는, 값 A(455-1)를 포함하는 조절 값들의 수정된 세트를 생성하기 위하여, 수정 값(430-5)을 (델타(445-1)와 같은) 조절 값들의 세트에 적용한다.
하나의 실시형태에서, 함수(562)는 델타(445-1), H(455-2), V(455-3), 및 D(455-4)를 포함하는 조절 값들의 세트로부터 델타(445-1)와 같은 데이터 컴포넌트를 수신한다. 하나의 실시형태에서, 조절 값들의 세트에서의 다수의 컴포넌트들 중의 하나 이상의 것은 방향성 틸트 정보를 포함한다.
함수(562)는 델타 컴포넌트를 다시 평균(455-1)으로 수정하기 위하여, 수정 값(430-5) 및 얻어진 델타 컴포넌트(445-1)를 합산한다. 행렬 값들(532)의 적용을 통해(즉, 행렬 값들(532)에 따른 가산들 및 감산들의 실행을 통해), 디코더 프로세싱 하드웨어는 수정된 델타 컴포넌트(455-1)를 이용하여 제2 품질 레벨에서의 신호의 예비 렌디션에서 다수의 엘리먼트들의 각각의 설정들을 수정한다. 다시 말해서, 도 5의 디코더 프로세싱 하드웨어는 신호(500-1)의 예비 렌디션의 각각을 수정하여 신호(550-1)의 제2 렌디션을 생성하기 위하여 값(430-5)을 이용한다.
논의된 바와 같이, 디코딩은 다수의 레벨들의 계층 위의 다수의 레벨들의 각각에서 수행될 수 있다. 신호(550-1)의 제2 렌디션은 추후에 다음의 더 높은 품질 레벨에서 신호의 예비 렌디션을 생성하기 위한 기초로서 이용될 수 있다는 것에 주목해야 한다.
또한, 이전에 논의된 바와 같이, 품질 레벨 #2에서의 신호(510)의 렌디션은 제1 품질 레벨일 수 있고, 제1 이미지 해상도를 나타낼 수 있다. 품질 레벨 #1은 제1 이미지 해상도보다 더 낮은 제2 이미지 해상도일 수 있다. 따라서, 하나의 품질 레벨에서의 신호(510)의 렌디션은 이미지 엘리먼트들(예를 들어, 제한 없이, 하나의 엘리먼트 y1)의 제1 세트를 포함한다. 신호(500-1 및 550-1)와 같은 신호의 렌디션은 이미지 엘리먼트들(예를 들어, 제한 없이, 4개의 엘리먼트들 x11, x12, x21 및 x22)의 제2 세트를 포함한다.
이전에 언급된 바와 같이, y1 및 조절 값들 δA(445-1), H(455-2), V(455-3), 및 D(455-4)와 같은 재구성 데이터(510)를 포함하는 재구성 데이터는 메타데이터를 더 포함할 수 있다. 도 5의 디코더 프로세싱 하드웨어는 조절 값들의 세트와 연관된 메타데이터를 수신하도록 구성될 수 있다. 메타데이터의 프로세싱을 통해, 디코더 프로세싱 하드웨어는 메타데이터를 이용하여 신호(550-1)의 렌디션을 재현하기 위하여 재구성 데이터에 적용되어야 할 하나 이상의 동작들을 식별한다. 예를 들어, 하나의 실시형태에서, 디코더 프로세싱 하드웨어는 신호(500-1)의 예비 렌디션으로부터 신호(550-1)의 제2 렌디션을 유도하기 위하여 식별된 하나 이상의 동작들을 조절 값들 및/또는 값 y1의 세트에 적용한다.
본원에서의 추가의 실시형태들은 조절 값들의 세트와 연관된 메타데이터를 수신하는 것을 포함할 수 있다. 디코더 프로세싱 하드웨어는 메타데이터에 의해 특정된 바와 같은 하나 이상의 동작들을 식별하도록 구성될 수 있다. 디코더 프로세싱 하드웨어는 신호(500-1)의 예비 렌디션으로부터 신호(550-1)의 제2 렌디션을 유도하기 위하여 식별된 하나 이상의 동작들을 조절 값들의 세트에 적용한다.
본원에서의 하나의 실시형태는 신호의 예비 렌디션으로의 조절 값들의 수정된 세트의 선형 적용(linear application)을 포함한다. 예를 들어, 행렬 값들(532)의 적용은 신호(500-1)의 예비 렌디션으로의 평균 A(455-1), H(455-2), V(455-3), 및 D(455-4)와 같은 조절 값들의 수정된 세트의 선형 적용을 통해(예를 들어, 도시된 바와 같은 합 및 차이 함수들을 통해) 신호(550-1)의 제2 렌디션을 생성하는 것을 포함할 수 있다.
따라서, 도시된 바와 같이, 행렬 값들(532)을 통해, 디코더 프로세싱 하드웨어는 신호(500-1)의 예비 렌디션으로의 조절 값들 평균 A(455-1), H(455-2), V(455-3), 및 D(455-4)의 수정된 세트의 적용을 통해 신호(550-1)의 제2 렌디션을 생성한다. 조절 값들의 수정된 세트는 행렬 값들(532)에 따라 신호(500-1)의 예비 렌디션에 적용된 (가산 함수들 및 감산 함수들에 의해 표시된 바와 같은) 가중처리된 값들의 벡터를 포함한다.
또 다른 예의 실시형태에 따르면, 평균 A(455-1), H(455-2), V(455-3), 및 D(455-4)에 대응하는 벡터는 조절 값들의 수정된 세트를 나타낸다. 디코더 프로세싱 하드웨어는 신호(500-1)의 예비 렌디션으로의 조절 값들의 수정된 세트의 적용을 통해 신호(550-1)의 2차 렌디션을 생성하도록 구성될 수 있다. 조절 값들의 벡터는 행렬 값들(532)에 의해 특정된 바와 같은 가중치들에 따라 신호(550-1)의 2차 렌디션을 생성하기 위하여, 디코더 프로세싱 하드웨어에 의해 예비 렌디션에 적용될 수 있다.
행렬 값들은 변동될 수 있고, 하기를 포함하는 가능한 행렬들의 그룹으로부터 선택될 수 있다:
Figure 112014121725221-pct00004
이전에 언급된 바와 같은 방식으로, y1 및 조절 값들 델타(445-1), H(455-2), V(455-3), 및 D(455-4)와 같은 재구성 데이터(510)를 포함하는 재구성 데이터는 인코딩된 정보로서 수신될 수 있다. 이러한 데이터를 수신하는 디코더 프로세싱 하드웨어는 인코딩된 정보를 다수의 심볼들로 디코딩하도록 구성될 수 있다. 디코더 프로세싱 하드웨어는 다수의 심볼들로부터 심볼을 리트리빙하도록 구성될 수 있어서, 인코딩에 따라서는, 리트리빙된 심볼로부터 조절 값들 델타(445-1), H(455-2), V(455-3), 및 D(455-4)의 세트에서 하나 이상의 컴포넌트들 중의 임의의 것을 생성할 수 있다.
도 6은 본원에서의 실시형태들에 따라 단계-기반 계층적 인코딩 루프 내에서 방향성 압축해제를 구현하는 비-제한적인 실시형태를 예시하는 흐름도이다.
인코더로서 구성된 신호 프로세서는, 주어진 품질 레벨("최상부 LOQ")에서의 신호를 수신하고, 하부 LOQ(상기 하부 LOQ는 최상부 LOQ보다 더 낮음)에서의 신호의 렌디션을 생성할 때까지 다운샘플링 동작들을 수행하고, 인코딩된 재구성 데이터를 생성하는 적당한 인코딩 방법으로 하부 LOQ에서의 신호의 렌디션을 인코딩하고, 다음으로, 디코딩 측에서 수행된 동작들을 시뮬레이팅하기 위하여 상기 인코딩된 재구성 데이터를 프로세싱하여, 하부 LOQ에서의 신호의 디코딩된 렌디션을 생성한다(도 6의 단계(6.01)).
일단 하부 LOQ에서의 신호의 디코딩된 렌디션을 생성하였으면, 인코더는 각각의 추후의 더 높은 LOQ에 대해 반복되는 프로세싱 루프에 진입하여, 최상부 LOQ에 이르기까지 한 레벨씩 LOQ들의 계층을 프로세싱한다.
특히, 인코더는 주어진 LOQ("더 낮은 LOQ")에서의 신호의 디코딩된 렌디션을 프로세싱하고, 다음의 더 높은 LOQ에서의 신호의 예측된 렌디션을 생성한다. 다음으로, 인코더는 잔차 데이터를 생성하고, 상기 잔차 데이터는 다음의 더 높은 LOQ에서의 신호의 원래의 렌디션과, 다음의 더 높은 LOQ에서의 신호의 예측된 렌디션과의 사이의 차이에 대응한다(단계(6.02)).
다음으로, 인코더는 잔차 데이터를 잔차들의 그룹들(예를 들어, 제한 없이, 잔차들의 인접한 2x2 그룹들)로 분리시키고, 각각의 그룹에 대하여, 방향성 압축해제 변환을 수행하여, 방향성 컴포넌트들을 생성한다(단계(6.03)).
다음으로, 인코더는 방향성 컴포넌트들(평균, 수평, 수직, 대각)의 4개의 별도의 평면들을 생성하고, 여기서, 상기 4개의 평면들의 대응하는 엘리먼트들은 잔차들의 동일한 그룹에 대응한다(단계(6.04)).
다음으로, 인코더는 예측된 평균 컴포넌트들의 평면을 생성하고, 여기서, 상기 평면의 엘리먼트들의 각각은, 다음의 더 높은 LOQ에서의 대응하는 예측된 엘리먼트들의 평균과, 더 낮은 LOQ에서의 대응하는 엘리먼트와의 사이의 차이에 기초하여 계산된, 잔차들의 대응하는 그룹에 대한 예측된 평균이다. 인코더는 델타 컴포넌트들의 평면을 생성하고, 여기서, 평면의 각각의 엘리먼트는 대응하는 평균 컴포넌트와 그 대응하는 예측된 평균 컴포넌트와의 사이의 차이로서 계산된다. 델타의 평면은 평균들의 평면으로 치환되어, 4개의 변환된 방향성 컴포넌트들 델타, H, V 및 D의 세트를 형성한다(단계(6.05)).
다음으로, 인코더는 변환된 방향성 컴포넌트들의 평면들을 양자화하여, 양자화된 변환된 방향성 컴포넌트들의 평면들을 생성한다(단계(6.06)).
다음으로, 양자화된 변환된 방향성 컴포넌트들이 인코딩되어, 인코딩된 재구성 데이터를 생성한다(단계(6.08)).
계층에서 다음 레벨을 진행하기 위하여, 다음으로, 인코더는 디코딩 측에서 수행될 디코딩 동작들을 시뮬레이팅하여, 다음의 더 높은 LOQ에서의 신호의 디코딩된 렌디션을 생성한다. 그것을 행하기 위하여, 인코더는 양자화된 변환된 방향성 컴포넌트들의 평면들을 역양자화하고; 역양자화된 델타들의 평면을 예측된 평균들의 평면과 결합하여, 역양자화된 평균 컴포넌트들의 평면을 재구성하고; 4개의 잔차들의 각각의 그룹에 대하여, 대응하는 방향성 컴포넌트들 A, H, V 및 D의 역 방향성 압축해제를 수행함으로써 잔차 데이터를 연산하고; 잔차 데이터를 다음의 더 높은 LOQ에서의 신호의 예측된 렌디션과 결합하여, 다음의 더 높은 LOQ에서의 신호의 디코딩된 렌디션을 생성한다(단계(6.07)).
그 시점에서, 다음의 더 높은 LOQ가 최상부 LOQ가 아닐 경우, 인코더는 계층에서 다음 레벨을 진행하여, 단계(6.02)로 다시 가고, 여기서, 계층에서의 다음 레벨에 대하여, 방금 디코딩되었던 다음의 더 높은 LOQ에서의 신호의 렌디션은 더 낮은 LOQ에서의 신호의 디코딩된 렌디션이 된다.
다른 비-제한적인 실시형태들에서, 변환된 방향성 컴포넌트들의 각각의 평면에 적용된 양자화 동작들은 변환된 방향성 컴포넌트들의 각각의 클래스에 특정된 파라미터들에 기반으로 한다(예를 들어, 제한 없이, 대각 컴포넌트들에 적용된 양자화의 레벨은 수평 및/또는 수직 컴포넌트들에 적용된 양자화의 레벨보다 더 강함).
다른 비-제한적인 실시형태들에서, 인코더는 변환된 컴포넌트들의 4개의 별도의 평면들을 생성 및 인코딩하는 대신에, 4개의 변환된 컴포넌트들의 그룹들을 생성 및 인코딩하고, 상기 그룹들의 각각은 잔차들의 평면에서 4개의 잔차들의 그룹에 대응한다.
다른 비-제한적인 실시형태들에서, 인코더는 단계(6.02) 동안에 양자화 동작들을 수행하여, 양자화된 잔차들을 생성한다. 이러한 실시형태들에서, 압축해제 및 역압축해제 동작들은 무손실 동작들이고, 즉, 방향성 컴포넌트들 및/또는 변환된 방향성 컴포넌트들에 추가의 양자화가 적용되지 않는다.
다른 비-제한적인 실시형태들에서, 하부 LOQ에서의 신호의 렌디션은 MPEG-기반 방법에 의하여 인코딩되고; 이러한 방법으로, 계층에서 더 높은 LOQ들을 프로세싱 및 재구성하도록 구성되지 않은 레거시 디코더들은 하부 LOQ에서의 신호의 렌디션을 적어도 디코딩할 수 있다.
도 7은 본원에서의 실시형태들에 따라 단계-기반 계층적 디코딩 루프 내에서 역 방향성 압축해제를 구현하는 비-제한적인 실시형태를 예시하는 흐름도이다.
디코더로서 구성된 신호 프로세서는 하부 품질 레벨에 대응하는 인코딩된 데이터를 수신 및 디코딩하여, 상기 하부 LOQ에서의 신호의 디코딩된 렌디션을 생성한다(단계(7.01)).
일단 하부 LOQ에서의 신호의 디코딩된 렌디션을 생성하였으면, 디코더는 각각의 추후의 더 높은 LOQ에 대해 반복되는 디코딩 루프에 진입하여, 최상부 LOQ에 이르기까지 한 레벨씩 LOQ들의 계층을 재구성한다.
특히, 디코더는 주어진 LOQ("더 낮은 LOQ")에서의 신호의 디코딩된 렌디션을 프로세싱하고, 다음의 더 높은 LOQ에 대응하는 재구성 데이터를 디코딩하고, 양자화된 파라미터들의 4개의 평면들을 생성한다. 다음으로, 디코더는 양자화된 파라미터들의 상기 평면들에 대해 적당한 역양자화 동작들을 수행하여, 역양자화된 변환된 파라미터들을 생성한다(단계(7.02)).
다음으로, 디코더는 업샘플링 동작들 및/또는 수신된 파라미터들에 의해 특정된 바와 같은 다른 신호 프로세싱 동작들을 활용함으로써 다음의 더 높은 LOQ에서의 신호의 예측된 렌디션을 생성한다(단계(7.03)).
4개의 잔차들의 그룹에 대응하는 4개의 역양자화된 변환된 파라미터들(델타, H, V, D)의 각각의 그룹에 대하여, 디코더는, 더 낮은 LOQ에서의 신호의 대응하는 엘리먼트와, 다음의 더 높은 LOQ에서의 신호의 예측된 렌디션의 4개의 대응하는 엘리먼트들의 평균과의 사이의 차이에 기초하여 계산된, 예측된 평균 파라미터를 생성한다. 각각의 그룹에 대하여, 예측된 평균은 역양자화된 델타 컴포넌트와 결합되어, 역양자화된 평균 컴포넌트를 생성한다(단계(7.04)).
각각의 그룹에 대하여, 다음으로, 디코더는 역양자화된 컴포넌트들 평균, H, V 및 D의 역압축해제를 수행하여, 4개의 잔차들을 생성한다. 특히, 잔차들의 각각은 역양자화된 컴포넌트들 평균, H, V 및 D의 선형 결합(즉, 적당한 계수들을 갖는 합들 및/또는 차이들)을 수행함으로써 얻어진다. 이러한 방법으로, 디코더는 다음의 더 높은 LOQ에서의 잔차들의 평면을 생성한다(단계(7.05)).
다음으로, 디코더는 다음의 더 높은 LOQ에서의 신호의 예측된 렌디션을 생성된 잔차들과 결합하여, 다음의 더 높은 LOQ에서의 신호의 디코딩된 렌디션을 재구성한다.
그 시점에서, 다음의 더 높은 LOQ가 최상부 LOQ가 아닐 경우, 디코더는 계층에서 다음 레벨을 디코딩하는 것을 진행하여, 단계(7.02)로 다시 가고, 여기서, 계층에서의 다음 LOQ에 대하여, 방금 디코딩되었던 다음의 더 높은 LOQ에서의 신호의 렌디션은 더 낮은 LOQ에서의 신호의 디코딩된 렌디션이 된다.
다른 비-제한적인 실시형태들에서, 역양자화 동작들은 역압축해제 변환 후에 수행되어, 변환된 파라미터들을 역양자화하는 대신에 잔차들을 역양자화한다.
도 8은 본원에서의 실시형태들에 따라 컴퓨터 프로세싱을 제공하는 컴퓨터 시스템(800)의 블록도이다.
컴퓨터 시스템(800)은 개인용 컴퓨터, 프로세싱 회로부, 텔레비전, 재생 디바이스, 인코딩 디바이스, 워크스테이션, 휴대용 컴퓨팅 디바이스, 이동 전화, 태블릿, 컨솔, 셋톱 박스, 네트워크 단말, 프로세싱 디바이스, 스위치, 라우터, 서버, 클라이언트, 등으로서 동작하는 네트워크 디바이스와 같은 컴퓨터화된 디바이스일 수 있거나 적어도 이들을 포함할 수 있다.
다음의 논의는 이전에 논의된 바와 같은 신호 프로세서와 연관된 기능성을 어떻게 수행할 것인지를 표시하는 기본적인 실시형태를 제공한다는 것에 주목해야 한다. 그러나, 본원에서 설명된 바와 같은 동작들을 수행하기 위한 실제의 구성은 각각의 애플리케이션에 따라 변동될 수 있다는 것에 주목해야 한다.
도시된 바와 같이, 본 예의 컴퓨터 시스템(800)은, 디지털 정보가 저장 및 리트리빙될 수 있는 비-일시적인 컴퓨터-판독가능한 저장 매체 등과 같은 컴퓨터 판독가능한 저장 매체들(812)과의 통신을 제공하는 통신 버스(811)를 포함한다.
컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814), 및 통신 인터페이스(817)를 더 포함할 수 있다.
하나의 실시형태에서, I/O 인터페이스(814)는 저장소(880)와, 존재할 경우, 스크린 디스플레이, 오디오 스피커들, 키보드, 컴퓨터 마우스 등과 같은 주변 디바이스들(816)에 대한 접속성을 제공한다.
위에서 간단하게 언급된 바와 같이, 컴퓨터 판독가능한 저장 매체들(812)은, 메모리, 광학 저장장치, 솔리드 스테이트 저장장치, 하드 드라이브, 플로피 디스크, 등과 같은 임의의 적당한 디바이스 및/또는 하드웨어일 수 있다. 하나의 실시형태에서, 저장 매체들(812)은 신호 프로세서 애플리케이션(840-1)과 연관된 명령들을 저장하도록 구성된 비-일시적인 저장 매체들(즉, 비-반송파(non-carrier wave) 매체들)이다. 명령들은 본원에서 논의된 바와 같은 동작들 중의 임의의 것을 수행하기 위하여 프로세서(813)와 같은 각각의 자원에 의해 실행된다.
통신 인터페이스(817)는 원격 소스들로부터 정보를 리트리빙하고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들, 등과 통신하기 위하여, 컴퓨터 시스템(800)이 네트워크(890)를 통해 통신하는 것을 가능하게 한다. I/O 인터페이스(814)는 또한, 프로세서(813)가 저장소(880)로부터 저장된 정보를 리트리빙하거나 이 저장된 정보의 리트리빙을 시도하는 것을 가능하게 한다.
도시된 바와 같이, 컴퓨터 판독가능 저장 매체들(812)은 프로세스(840-2)로서 프로세서(813)에 의해 실행된 신호 프로세서 애플리케이션(840-1)으로 인코딩될 수 있다.
컴퓨터 시스템(800)은 데이터 및/또는 논리적 명령들을 저장하기 위한 컴퓨터 판독가능한 저장 매체들(812)을 포함하도록 구체화될 수 있다는 것에 주목해야 한다.
신호 프로세서 애플리케이션(840-1)과 연관된 코드는 본원에서 예시된 신호 프로세서들 및/또는 본원에서 논의된 발명을 구현하기 위해 필요한 다른 자원들의 기능성들을 구현할 수 있다.
하나의 실시형태의 동작 동안, 프로세서(813)는 컴퓨터 판독가능한 저장 매체들(812)에 저장된 신호 프로세서 애플리케이션(840-1)의 명령들을 착수(launch), 런(run), 실행, 해독, 또는 이와 다르게 수행하기 위하여 통신 버스(811)를 통해 컴퓨터 판독가능한 저장 매체들(812)을 액세스한다. 신호 프로세서 애플리케이션(840-1)의 실행은 프로세서(813)에서의 프로세싱 기능성을 생성한다. 다시 말해서, 프로세서(813)와 연관된 신호 프로세서 프로세스(840-2)는 컴퓨터 시스템(800)에서의 프로세서(813) 내에서 또는 상에서 신호 프로세서 애플리케이션(840-1)을 실행하는 하나 이상의 양상들을 나타낸다.
당해 분야의 당업자들은 컴퓨터 시스템(800)이 신호 프로세서 애플리케이션(840-1)을 실행하기 위하여 하드웨어 프로세싱 자원들의 할당 및 이용을 제어하는 오퍼레이팅 시스템 또는 다른 소프트웨어와 같은, 다른 프로세스들 및/또는 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.
상이한 실시형태들에 따르면, 컴퓨터 시스템은, 개인용 컴퓨터 시스템, 데스크톱 컴퓨터, 랩톱, 노트북, 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드(handheld) 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 저장 디바이스, 소비자 전자 디바이스, 예컨대, 카메라, 캠코더, 셋톱 박스, 이동 디바이스, 스마트폰, 태블릿, 비디오 게임 컨솔, 핸드헬드 비디오 게임 디바이스, 주변 디바이스 예컨대, 스위치, 모뎀, 라우터, 또는 일반적으로, 임의의 타입의 컴퓨팅 또는 전자 디바이스를 포함하지만, 이것으로 제한되지 않는 다양한 타입들의 디바이스들 중의 임의의 것일 수도 있다는 것에 주목해야 한다.
상이한 자원들에 의해 지원된 기능성에 대해 지금부터 도 10 내지 도 11의 플로우차트들을 통해 논의될 것이다. 이하의 플로우차트들에서의 단계들은 임의의 적당한 순서로 실행될 수 있다는 것에 주목해야 한다.
도 10은 본원에서 설명된 비-제한적인 실시형태들에 따라 일 예의 방법을 예시하는 플로우차트(1000)이다. 위에서 논의된 바와 같은 개념들에 대하여 일부의 중첩이 있을 것이라는 점에 주목해야 한다.
프로세싱 블록(1010)에서, 컴퓨터 프로세서 하드웨어는 조절 값들의 제1 세트를 수신하고, 조절 값들의 제1 세트는 제1 품질 레벨에서의 신호의 렌디션을 재구성하기 위하여 제1 품질 레벨에서 발생된 신호의 예측된 렌디션에 대해 행해져야 할 조절들을 특정한다.
프로세싱 블록(1020)에서, 컴퓨터 프로세서 하드웨어는 조절 값들의 제1 세트를 프로세싱한다.
프로세싱 블록(1030)에서, 컴퓨터 프로세서 하드웨어는 조절 값들의 제1 세트 및 제2 품질 레벨에서의 신호의 렌디션에 기초하여 조절 값들의 제2 세트를 유도한다. 제2 품질 레벨은 제1 품질 레벨보다 더 낮다.
도 11은 본원에서 설명된 비-제한적인 실시형태들에 따라 일 예의 방법을 예시하는 플로우차트(1100)이다. 위에서 논의된 바와 같은 개념들에 대하여 일부의 중첩이 있을 것이라는 점에 주목해야 한다.
프로세싱 블록(1110)에서, 컴퓨터 프로세서 하드웨어는 제1 품질 레벨에서의 신호의 렌디션과 연관된 설정 정보를 수신한다.
프로세싱 블록(1120)에서, 컴퓨터 프로세서 하드웨어는 조절 값들의 세트를 수신한다.
프로세싱 블록(1130)에서, 컴퓨터 프로세서 하드웨어는 설정 정보에 기초하여 제2 품질 레벨에서의 신호의 예비 렌디션을 생성한다. 제2 품질 레벨은 제1 품질 레벨보다 더 높다.
프로세싱 블록(1140)에서, 컴퓨터 프로세서 하드웨어는 조절 값들의 세트 및 제2 품질 레벨에서의 신호의 예비 렌디션에 기초하여 제2 품질 레벨에서의 신호의 2차 렌디션을 생성한다.
본원에서의 기술들은 계층적 시스템에서의 인코딩 및 디코딩을 위해 양호하게 적합하다는 것에 다시 주목해야 한다. 그러나, 본원에서의 실시형태들은 이러한 애플리케이션들에서의 이용에 제한되지 않고 본원에서 논의된 기술들은 다른 애플리케이션들에 대해서도 마찬가지로 양호하게 적합하다는 것에 주목해야 한다.
본원에서 기재된 설명에 기초하여, 청구된 발명의 요지의 철저한 이해를 제공하기 위하여 다수의 특정 세부사항들이 기재되었다. 그러나, 청구된 발명 요지는 이 특정 세부사항들 없이 실시될 수도 있다는 것이 당해 분야의 당업자들에 의해 이해될 것이다. 다른 사례들에서, 당업자에 의해 알려져 있을 방법들, 장치들, 시스템들 등은 청구된 발명 요지를 모호하게 하지 않도록 상세하게 설명되지 않았다. 상세한 설명의 일부의 부분들은 컴퓨터 메모리와 같은 컴퓨팅 시스템 메모리 내에 저장된 데이터 비트들 또는 2 진 디지털 신호들에 대한 동작들의 알고리즘들 또는 심볼 표현들의 측면에서 제시되었다. 이 알고리즘 설명들 또는 표현들은 그 작업의 실체를 당해 분야의 다른 사람들에게 전달하기 위하여 데이터 프로세싱 기술들에서의 당업자들에 의해 이용된 기술들의 예들이다. 본원에서 설명된 바와 같은 알고리즘은 일반적으로, 희망하는 결과에 이르는 동작들 또는 유사한 프로세싱의 자기-일관성 있는 시퀀스인 것으로 간주된다. 이러한 상황에서, 동작들 또는 프로세싱은 물리적 양들의 물리적 조작에 관여된다. 전형적으로, 반드시는 아니지만, 이러한 양들은 저장, 전달, 결합, 비교, 또는 이와 다르게 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취할 수도 있다. 주로 통상의 용법의 이유로, 이러한 신호들을 비트들, 데이터, 값들, 설정들, 엘리먼트들, 심볼들, 문자들, 항들, 수들, 숫자들 등으로 지칭하는 것이 편리하였다. 그러나, 이러한 그리고 유사한 용어들의 전부는 적절한 물리적 양들과 연관되어야 하고 편리한 라벨들에 불과하다는 것을 이해해야 한다. 이와 다르게 구체적으로 기재되지 않으면, 다음의 논의로부터 분명한 바와 같이, 이 명세서의 전반에 걸쳐, "프로세싱", "컴퓨팅", "계산", "생성", "결정" 등과 같은 용어들을 사용하는 논의들은 메모리들, 레지스터들, 또는 컴퓨팅 플랫폼의 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 디스플레이 디바이스들 내의 물리적인 전자적 또는 자기적 양들로서 표현된 데이터를 조작하거나 변환하는, 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은 컴퓨팅 플랫폼의 액션들 또는 프로세스들을 지칭한다는 점이 인식된다.
이 발명은 그 바람직한 실시형태들을 참조하여 특별히 도시 및 설명되었지만, 첨부된 청구항들에 의해 정의된 바와 같은 본 출원의 사상 및 범위로부터 이탈하지 않으면서 형태 및 세부사항들에 있어서의 다양한 변경들이 행해질 수도 있다는 점이 당해 분야의 당업자들에 의해 이해될 것이다. 이러한 변동들은 이 현재의 출원의 범위에 의해 커버되도록 의도된 것이다. 이와 같이, 본 출원의 실시형태들의 상기한 설명은 제한하는 것으로 의도된 것이 아니다. 오히려, 발명에 대한 임의의 제한들은 다음의 청구항들에서 제시된다.

Claims (46)

  1. 비디오 신호를 인코딩하는 방법으로서,
    컴퓨터 프로세싱 하드웨어를 통해:
    조절 값들의 제1 세트를 수신하는 단계 ― 조절 값들의 상기 제1 세트는 제1 품질 레벨에서의 신호의 렌디션(rendition)을 재구성하기 위하여 상기 제1 품질 레벨에서 생생된 상기 신호의 예측된 렌디션에 대해 행해져야 할 조절들을 특정함 ―;
    조절 값들의 상기 제1 세트를 나타내는 다수의 조절 컴포넌트들을 생성하기 위하여 상기 조절 값들의 상기 제1 세트를 프로세싱하는 단계; 및
    상기 다수의 조절 컴포넌트들 중 적어도 하나와, 제2 품질 레벨에서의 상기 신호의 렌디션과 연관된 적어도 하나의 설정과의 조합에 기초하여, 조절 값들의 제2 세트를 유도하는 단계 ― 상기 제2 품질 레벨은 상기 제1 품질 레벨보다 더 낮음 ― 를 포함하는,
    비디오 신호를 인코딩하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    조절 값들의 상기 제1 세트와, 상기 제2 품질 레벨에서의 상기 신호의 상기 렌디션과의 선형 결합(linear combination)에 기초하여, 상기 제2 세트에서의 상기 조절 값들 중 적어도 하나를 계산하는 단계를 더 포함하는,
    비디오 신호를 인코딩하는 방법.
  4. 제1항에 있어서,
    상기 제1 품질 레벨에서 상기 신호의 상기 렌디션을 수신하는 단계;
    상기 제1 품질 레벨에서의 상기 신호의 상기 렌디션에 기초하여 상기 제2 품질 레벨에서의 상기 신호의 상기 렌디션을 생성하는 단계;
    상기 제2 품질 레벨에서의 상기 신호의 상기 렌디션에 적어도 부분적으로 기초하여 상기 제1 품질 레벨에서의 상기 신호의 상기 예측된 렌디션을 생성하는 단계;
    상기 제1 품질 레벨에서의 상기 신호의 상기 렌디션과, 상기 제1 품질 레벨에서의 상기 신호의 상기 예측된 렌디션 간의 차이로서, 조절 값들의 상기 제1 세트를 생성하는 단계;
    조절 값들의 상기 제1 세트로부터 조절 값들의 포맷팅된 세트를 생성하는 단계;
    조절 값들의 상기 포맷팅된 세트를 조절 값들의 상기 제2 세트로 변환하는 단계;
    조절 값들의 상기 제2 세트 및 상기 제2 품질 레벨에서의 상기 신호의 상기 렌디션을 대응하는 인코딩된 정보로 인코딩하는 단계; 및
    상기 대응하는 인코딩된 정보를 디코더 프로세싱 하드웨어로 송신하는 단계를 더 포함하는,
    비디오 신호를 인코딩하는 방법.
  5. 삭제
  6. 제1항에 있어서,
    재구성 데이터의 다수의 세트들을 생성하는 단계 ― 재구성 데이터의 각각의 세트는 다수의 컴포넌트들에 대한 설정들을 포함하고, 다수의 컴포넌트들의 상기 세트들의 각각은 제1 컴포넌트 값 및 제2 컴포넌트 값을 포함하고, 상기 세트들의 각각에서의 상기 제1 컴포넌트 값은 제1 속성 클래스에 대응하고, 상기 세트들의 각각에서의 상기 제2 컴포넌트 값은 제2 속성 클래스에 대응함 ―;
    재구성 데이터의 다수의 세트들의 각각으로부터의 제1 컴포넌트 값을 포함하는 제1 그룹을 생성하는 단계;
    재구성 데이터의 다수의 세트들의 각각으로부터의 제2 컴포넌트 값을 포함하는 제2 그룹을 생성하는 단계; 및
    상기 제2 그룹을 인코딩하는 것과 관계없이 상기 제1 그룹을 인코딩하는 단계를 더 포함하는,
    비디오 신호를 인코딩하는 방법.
  7. 제1항에 있어서,
    상기 조절 값들의 제2 세트를 생성하는 단계는,
    조절 값들의 양자화된 세트를 생성하기 위하여, 양자화 알고리즘을 조절 값들의 상기 제1 세트에 적용하는 단계;
    조절 값들의 중간 세트를 생성하기 위하여, 조절 값들의 상기 양자화된 세트에 대하여 적어도 하나의 무손실이며 반전가능한 연산을 적용하는 단계;
    상기 제2 품질 레벨에서의 상기 신호의 상기 렌디션에 적어도 부분적으로 기초하여 유도된 값을 수신하는 단계; 및
    조절 값들의 상기 중간 세트를 조절 값들의 제2 세트로 변환하기 위하여 상기 값을 사용하는 단계를 포함하는,
    비디오 신호를 인코딩하는 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 비디오 신호를 디코딩하는 방법으로서,
    컴퓨터 프로세싱 하드웨어를 통해:
    제1 품질 레벨에서의 신호의 렌디션과 연관된 설정 정보를 수신하는 단계;
    조절 값들의 세트를 수신하는 단계;
    상기 설정 정보에 기초하여 제2 품질 레벨에서의 상기 신호의 예비 렌디션을 생성하는 단계 ― 상기 제2 품질 레벨은 상기 제1 품질 레벨보다 더 높음 ―; 및
    조절 값들의 상기 세트 및 상기 제2 품질 레벨에서의 상기 신호의 상기 예비 렌디션에 기초하여 상기 제2 품질 레벨에서의 상기 신호의 2차 렌디션을 생성하는 단계를 포함하고,
    상기 신호의 2차 렌디션을 생성하는 단계는,
    상기 제1 품질 레벨에서의 상기 신호의 상기 렌디션에 적어도 부분적으로 기초하여 조절 값들의 상기 세트를 수정하는 단계; 및
    상기 제2 품질 레벨에서의 상기 신호의 2차 렌디션을 생성하기 위하여, 조절 값들의 상기 수정된 세트를 제2 품질 레벨에서의 상기 신호의 상기 예비 렌디션에 적용하는 단계를 포함하는,
    비디오 신호를 디코딩하는 방법.
  21. 삭제
  22. 제20항에 있어서,
    상기 설정 정보는 제1 설정 정보이고; 그리고
    상기 조절 값들의 세트를 수정하는 단계는,
    상기 제1 설정 정보를 수신하는 단계 ― 상기 제1 설정 정보는 상기 제1 품질 레벨에서의 상기 신호의 렌디션과 연관됨 ―;
    제2 설정 정보를 수신하는 단계 ― 상기 제2 설정 정보는 제2 품질 레벨에서의 상기 신호의 상기 예비 렌디션과 연관되고, 상기 제2 품질 레벨에서의 상기 신호의 상기 예비 렌디션은 상기 제1 설정 정보로부터 유도됨 ―;
    수정 값을 생성하기 위하여, 수학적 알고리즘을 상기 제1 설정 정보 및 상기 제2 설정 정보의 조합에 적용하는 단계; 및
    조절 값들의 상기 수정된 세트를 생성하기 위하여, 상기 수정 값을 조절 값들의 상기 세트에 적용하는 단계를 포함하는,
    비디오 신호를 디코딩하는 방법.
  23. 제22항에 있어서,
    조절 값들의 상기 수정된 세트를 생성하기 위하여, 상기 수정 값을 조절 값들의 상기 세트에 적용하는 상기 단계는,
    조절 값들의 상기 세트로부터 데이터 컴포넌트를 리트리빙(retrieving)하는 단계; 및
    상기 컴포넌트를 수정하기 위하여, 상기 수정 값 및 리트리빙된 컴포넌트를 합산하는 단계를 포함하는,
    비디오 신호를 디코딩하는 방법.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 제20항에 있어서,
    상기 설정 정보는 제1 설정 정보이고,
    상기 방법은,
    상기 제1 설정 정보를 수신하는 단계 ― 상기 제1 설정 정보는 상기 제1 품질 레벨에서의 상기 신호의 상기 렌디션과 연관된 설정들을 특정함 ―;
    제2 설정 정보를 수신하는 단계 ― 상기 제2 설정 정보는 상기 제2 품질 레벨에서의 상기 예비 렌디션의 설정들을 표시하고, 상기 제2 품질 레벨에서의 상기 신호의 상기 예비 렌디션은 상기 제1 설정 정보로부터 유도됨 ―;
    수정 값을 생성하기 위하여, 수학적 알고리즘을 상기 제1 설정 정보 및 상기 제2 설정 정보에 적용하는 단계;
    조절 값들의 상기 세트에서 특정 조절 값을 선택하는 단계;
    수정된 조절 값을 생성하기 위하여, 상기 수정 값을 상기 특정 조절 값에 적용하는 단계; 및
    상기 신호의 상기 예비 렌디션으로부터 상기 신호의 상기 2차 렌디션을 생성하기 위하여 상기 수정된 조절 값을 사용하는 단계를 더 포함하는,
    비디오 신호를 디코딩하는 방법.
  33. 삭제
  34. 제20항에 있어서,
    수정자 값들의 세트를 발생시키기 위하여, 선형 결합 함수를 조절 값들의 상기 수정된 세트에 적용하는 단계; 및
    상기 제2 품질 레벨에서의 상기 신호의 상기 2차 렌디션을 생성하기 위하여, 상기 수정자 값들을 상기 신호의 상기 예비 렌디션에 적용하는 단계를 더 포함하는,
    비디오 신호를 디코딩하는 방법.
  35. 제34항에 있어서,
    상기 선형 결합 함수는 수정자 값들의 상기 세트를 발생시키기 위하여 가산 함수들 및 감산 함수들을 포함하는,
    비디오 신호를 디코딩하는 방법.
  36. 제35항에 있어서,
    가산 함수들 및 감산 함수들은,
    Figure 112019118915245-pct00005

    를 포함하는 그룹으로부터 선택된 행렬의 계수들에 대응하는,
    비디오 신호를 디코딩하는 방법.
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
KR1020147035175A 2012-05-14 2013-05-13 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제 KR102126886B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261646797P 2012-05-14 2012-05-14
US61/646,797 2012-05-14
US201261647426P 2012-05-15 2012-05-15
US61/647,426 2012-05-15
PCT/EP2013/059847 WO2013171173A1 (en) 2012-05-14 2013-05-13 Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy

Publications (2)

Publication Number Publication Date
KR20150014494A KR20150014494A (ko) 2015-02-06
KR102126886B1 true KR102126886B1 (ko) 2020-06-26

Family

ID=48430778

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020147035186A KR20150014496A (ko) 2012-05-14 2013-05-13 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
KR1020147035200A KR20150020568A (ko) 2012-05-14 2013-05-13 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩
KR1020147035175A KR102126886B1 (ko) 2012-05-14 2013-05-13 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
KR1020147035198A KR20150018576A (ko) 2012-05-14 2013-05-14 연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정
KR1020147035179A KR20150014495A (ko) 2012-05-14 2013-05-14 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR1020147035196A KR20150018575A (ko) 2012-05-14 2013-05-14 모션 존들을 통한 다차원 신호들의 모션 정보 및 보조 존들을 통한 보조 정보의 추정, 인코딩 및 디코딩

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020147035186A KR20150014496A (ko) 2012-05-14 2013-05-13 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
KR1020147035200A KR20150020568A (ko) 2012-05-14 2013-05-13 시간을 따라 샘플들의 시퀀스들의 블렌딩에 기초한 인코딩과 디코딩

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020147035198A KR20150018576A (ko) 2012-05-14 2013-05-14 연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정
KR1020147035179A KR20150014495A (ko) 2012-05-14 2013-05-14 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR1020147035196A KR20150018575A (ko) 2012-05-14 2013-05-14 모션 존들을 통한 다차원 신호들의 모션 정보 및 보조 존들을 통한 보조 정보의 추정, 인코딩 및 디코딩

Country Status (18)

Country Link
US (14) US9706206B2 (ko)
EP (7) EP3968638A1 (ko)
JP (6) JP2015520575A (ko)
KR (6) KR20150014496A (ko)
CN (7) CN104641644A (ko)
AU (5) AU2013261843B2 (ko)
BR (5) BR112014028279A2 (ko)
CA (6) CA2873487A1 (ko)
DK (2) DK2850829T3 (ko)
EA (5) EA201492098A1 (ko)
ES (3) ES2961397T3 (ko)
HK (5) HK1203260A1 (ko)
IL (4) IL235576A0 (ko)
MX (5) MX339635B (ko)
PL (1) PL2850829T3 (ko)
SG (6) SG10201710075SA (ko)
WO (6) WO2013171173A1 (ko)
ZA (5) ZA201408541B (ko)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
BR112014005496A8 (pt) * 2011-09-08 2022-07-05 Motorola Mobility Llc Métodos e aparelhos para quantificação e dequantificação de um bloco retangular de coeficientes
SG10201710075SA (en) * 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
US10334256B2 (en) * 2012-10-07 2019-06-25 Numeri Ltd. Video compression method
CN104142939B (zh) * 2013-05-07 2019-07-02 杭州智棱科技有限公司 一种基于运动特征信息匹配特征码的方法与设备
CN104144520A (zh) 2013-05-07 2014-11-12 李东舸 一种设备间建立连接的方法、装置与***
RU2016102196A (ru) 2013-06-25 2017-07-28 Нумери Лтд. Многоуровневое увеличение пространственно-временного разрешения видео
CN105393532B (zh) * 2013-07-22 2019-04-19 索尼公司 信息处理设备和方法
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US9432338B2 (en) * 2013-10-23 2016-08-30 Google Inc. Secure communications using adaptive data compression
JP6463900B2 (ja) * 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
WO2016166532A1 (en) * 2015-04-13 2016-10-20 Richard Clucas Encoding a plurality of signals with data rate target of a signal depending on complexity information
GB2539241B (en) * 2015-06-11 2019-10-23 Advanced Risc Mach Ltd Video processing system
US10061552B2 (en) 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
GB2544800A (en) 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
FR3044507A1 (fr) * 2015-11-30 2017-06-02 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
PL3420497T3 (pl) * 2016-02-23 2022-02-07 Société des Produits Nestlé S.A. Kod i pojemnik systemu do przygotowywania napojów albo produktów żywnościowych
DE112017000025T5 (de) * 2016-03-03 2018-03-01 Hoya Corporation Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten
CN109313270B (zh) * 2016-03-24 2023-08-15 焦点定位有限公司 一种用于使数字信号和相关码相关的方法、装置、计算机程序、芯片组或数据结构
KR102520957B1 (ko) 2016-04-15 2023-04-12 삼성전자주식회사 인코딩 장치, 디코딩 장치 및 이의 제어 방법
KR101780782B1 (ko) * 2016-07-08 2017-09-21 엔트릭스 주식회사 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
GB2552353B (en) * 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
US10728227B2 (en) 2016-08-02 2020-07-28 X-Logos, LLC Methods and systems for enhanced data-centric encryption systems using geometric algebra
US11153594B2 (en) * 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
GB2554065B (en) 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
GB2553556B (en) * 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
CN109716763A (zh) * 2016-09-26 2019-05-03 索尼公司 编码设备、编码方法、解码设备、解码方法、发送设备和接收设备
US20180109809A1 (en) * 2016-10-13 2018-04-19 Google Llc Voxel video coding
CN106529589A (zh) * 2016-11-03 2017-03-22 温州大学 采用降噪堆叠自动编码器网络的视觉目标检测方法
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
BR112019021687A2 (pt) 2017-04-21 2020-05-12 Zenimax Media Inc. Sistemas e métodos para renderização de qualidade adaptativa guiada por codificador
TWI721677B (zh) 2017-04-21 2021-03-11 美商時美媒體公司 用於藉由預測運動向量及／或快取重複運動向量的玩家輸入運動補償的系統及方法
CA3059740A1 (en) * 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
EP3625963A4 (en) * 2017-06-07 2020-11-18 MediaTek Inc. INTRA-INTER PREDICTION MODE METHOD AND APPARATUS FOR VIDEO CODING
EP3422722A1 (en) * 2017-06-30 2019-01-02 Thomson Licensing Method for encoding a matrix of image views obtained from data acquired by a plenoptic camera
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
TWI650981B (zh) * 2017-09-29 2019-02-11 晨星半導體股份有限公司 符號率估計裝置與符號率估計方法
US11457239B2 (en) 2017-11-09 2022-09-27 Google Llc Block artefact reduction
EP3496403A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Hierarchical data structure
US11089316B2 (en) 2017-12-06 2021-08-10 V-Nova International Limited Method and apparatus for decoding a received set of encoded data
CN108133229B (zh) * 2017-12-11 2021-08-06 广州能量盒子科技有限公司 一种安卓apk文件的分类加密方法及***
CN108040217B (zh) * 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
US10748306B2 (en) * 2018-03-19 2020-08-18 Fuji Xerox Co., Ltd. Encoding device, decoding device, and non-transitory computer readable medium
KR20200144543A (ko) * 2018-03-20 2020-12-29 피씨엠에스 홀딩스, 인크. 우선 변환에 기반한 동적 포인트 클라우드를 최적화하는 시스템 및 방법
US11328474B2 (en) 2018-03-20 2022-05-10 Interdigital Madison Patent Holdings, Sas System and method for dynamically adjusting level of details of point clouds
CN108449599B (zh) * 2018-03-23 2021-05-18 安徽大学 一种基于面透射变换的视频编码与解码方法
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
CN112703738A (zh) 2018-08-03 2021-04-23 V-诺瓦国际有限公司 针对信号增强编码的上采样
CN112369009B (zh) 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
CN112740688A (zh) * 2018-09-17 2021-04-30 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
WO2020070495A1 (en) 2018-10-03 2020-04-09 V-Nova International Ltd Weighted downsampling and weighted transformations for signal coding
CN110163059B (zh) 2018-10-30 2022-08-23 腾讯科技（深圳）有限公司 多人姿态识别方法、装置及电子设备
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817783D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US10841356B2 (en) 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US12022059B2 (en) 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
CN113273211A (zh) 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的***和方法
CN114979638A (zh) * 2018-12-29 2022-08-30 华为技术有限公司 编码器，解码器和使用压缩mv存储的对应方法
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
CN114026608A (zh) * 2019-02-13 2022-02-08 威诺瓦国际有限公司 对象分析
EP3713235B1 (en) 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
WO2020188237A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Residual filtering in signal enhancement coding
EP3942813B1 (en) 2019-03-20 2024-05-01 V-Nova International Limited Temporal signalling for video coding technology
CA3133777A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Rate control for a video encoder
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
US11412262B2 (en) * 2019-06-24 2022-08-09 Qualcomm Incorporated Nonlinear extensions of adaptive loop filtering for video coding
GB2623449A (en) * 2019-07-05 2024-04-17 V Nova Int Ltd Quantization of residuals in video coding
US10942625B1 (en) * 2019-09-09 2021-03-09 Atlassian Pty Ltd. Coordinated display of software application interfaces
WO2021058594A1 (en) * 2019-09-24 2021-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiple stage residual coding in modern hybrid image and video coding solutions
CN110572673B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
EP4221221A1 (en) 2019-10-02 2023-08-02 V-Nova International Limited Use of transformed coefficients to provide embedded signalling for watermarking
EP4059217A4 (en) * 2019-11-27 2023-11-29 HFI Innovation Inc. METHOD AND APPARATUS FOR DERIVING UNIFORM WEIGHT AND MOVEMENT INDICES FOR GEOMETRIC FUSION MODE IN VIDEO CODING
EP4074042A4 (en) * 2019-12-17 2023-01-25 Alibaba Group Holding Limited METHODS OF ACHIEVING MOTION COMPENSATION WITH ENVELOPMENT
CN111050181B (zh) * 2019-12-30 2022-06-07 哈尔滨工业大学 一种超光谱大气红外遥感图像的时间维压缩方法
US11348514B2 (en) 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11170678B2 (en) 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
US11308900B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation
US11307410B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
US11056030B1 (en) 2020-02-06 2021-07-06 Varjo Technologies Oy Display apparatus and method of enhancing apparent resolution using liquid-crystal device
GB202001839D0 (en) 2020-02-11 2020-03-25 V Nova Int Ltd Use of tiered hierarchical coding for point cloud compression
EP4107964A1 (en) * 2020-02-20 2022-12-28 Align Technology, Inc. Medical imaging data compression and extraction on client side
CN115398906A (zh) 2020-03-26 2022-11-25 阿里巴巴集团控股有限公司 用信号通知视频编码数据的方法
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US11403175B2 (en) * 2020-07-31 2022-08-02 EMC IP Holding Company LLC Rebuilding data previously stored on a failed data storage drive
US11764943B2 (en) 2020-08-10 2023-09-19 Algemetric, Inc. Methods and systems for somewhat homomorphic encryption and key updates based on geometric algebra for distributed ledger/blockchain technology
WO2022061188A1 (en) 2020-09-17 2022-03-24 X-Logos, LLC Methods and systems for distributed computation within a fully homomorphic encryption scheme using p-adic numbers
GB2601990B (en) 2020-10-16 2024-06-19 V Nova Int Ltd Distributed analysis of a multi-layer signal encoding
CN116671117A (zh) * 2020-10-23 2023-08-29 摹恩帝株式会社 反应型图像制作方法、反应型图像服务提供方法及利用该方法的程序
GB2601362B (en) * 2020-11-27 2023-08-16 V Nova Int Ltd Video encoding using pre-processing
GB2601368B (en) * 2020-11-27 2023-09-20 V Nova Int Ltd Video decoding using post-processing control
CN112261491B (zh) * 2020-12-22 2021-04-16 北京达佳互联信息技术有限公司 视频时序标注方法、装置、电子设备及存储介质
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
CN113900901A (zh) * 2021-10-21 2022-01-07 北京达佳互联信息技术有限公司 数据上报方法、数据监控方法、装置、设备及存储介质
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
GB2614054A (en) 2021-12-17 2023-06-28 V Nova Int Ltd Digital image processing
GB2614763B (en) 2022-03-29 2024-05-01 V Nova Int Ltd Upsampling filter for applying a predicted average modification
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB202215675D0 (en) 2022-10-21 2022-12-07 V Nova Int Ltd Distributed analysis of a multi-layer signal encoding

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941193A (en) 1987-10-02 1990-07-10 Iterated Systems, Inc. Methods and apparatus for image compression by iterated function system
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5825313A (en) * 1995-08-01 1998-10-20 Sony Corporation Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof
EP1274252A3 (en) * 1995-08-29 2005-10-05 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JPH10509008A (ja) * 1995-09-06 1998-09-02 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 符号化信号に対応するセグメント化された画像のシーケンスを符号化する方法及びシステム、記憶媒体、並びにこのような符号化信号を復号化する方法及びシステム
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6535558B1 (en) * 1997-01-24 2003-03-18 Sony Corporation Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
JP3217987B2 (ja) * 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
ES2323358T3 (es) * 1997-04-01 2009-07-14 Sony Corporation Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion.
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
KR100592651B1 (ko) * 1997-11-27 2006-06-23 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 트랜스코딩 방법 및 장치
US6546052B1 (en) 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
US6968008B1 (en) * 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
KR100611999B1 (ko) * 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
US6748362B1 (en) * 1999-09-03 2004-06-08 Thomas W. Meyer Process, system, and apparatus for embedding data in compressed audio, image video and other media files and the like
AU1412100A (en) * 1999-11-29 2001-06-12 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
US6888544B2 (en) * 2000-03-17 2005-05-03 Hewlett-Packard Development Company, L.P. Apparatus for and method of rendering 3D objects with parametric texture maps
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7876820B2 (en) * 2001-09-04 2011-01-25 Imec Method and system for subband encoding and decoding of an overcomplete representation of the data structure
WO2003026310A2 (de) * 2001-09-14 2003-03-27 Siemens Aktiengesellschaft Effiziente videocodierung für skalierbare simul-cast-speicherung und -übertragung
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8009739B2 (en) * 2003-09-07 2011-08-30 Microsoft Corporation Intensity estimation/compensation for interlaced forward-predicted fields
KR100571920B1 (ko) * 2003-12-30 2006-04-17 삼성전자주식회사 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20080144716A1 (en) 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
US8503542B2 (en) * 2004-03-18 2013-08-06 Sony Corporation Methods and apparatus to reduce blocking noise and contouring effect in motion compensated compressed video
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US7424163B1 (en) 2004-07-13 2008-09-09 Itt Manufacturing Enterprises, Inc. System and method for lossless image compression
KR100678949B1 (ko) * 2004-07-15 2007-02-06 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
JP2006174415A (ja) 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7792192B2 (en) * 2004-11-19 2010-09-07 Analog Devices, Inc. System and method for sub-pixel interpolation in motion vector estimation
JP4241588B2 (ja) * 2004-11-30 2009-03-18 日本ビクター株式会社 動画像符号化装置、及び動画像復号化装置
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
JP4317814B2 (ja) 2004-12-06 2009-08-19 株式会社ルネサステクノロジ 動画像情報の符号化装置及び符号化方法
US20060120612A1 (en) * 2004-12-08 2006-06-08 Sharath Manjunath Motion estimation techniques for video encoding
JP4284288B2 (ja) * 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
DE102005016827A1 (de) 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
JP2007096541A (ja) * 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
DE102005051091A1 (de) 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
EP1790680A1 (en) 2005-11-28 2007-05-30 Mnemoscience GmbH Verfahren zur Herstellung von Form-Gedächtnis Materialien aus standard thermoplastichen Polymeren
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20070175333A1 (en) 2006-02-02 2007-08-02 Siemens Power Generation, Inc. System for recovering water from flue gas
EP1997318A4 (en) * 2006-03-22 2011-04-06 Korea Electronics Telecomm METHOD AND DEVICE FOR CODING AND DECODING THE COMPENSATED LIGHTING CHANGE
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
EP2140687A2 (en) 2007-04-03 2010-01-06 Gary Demos Flowfield motion compensation for video compression
WO2008122956A2 (en) * 2007-04-09 2008-10-16 Nokia Corporation High accuracy motion vectors for video coding with low encoder and decoder complexity
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8374247B2 (en) * 2008-01-14 2013-02-12 Broadcom Corporation Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing
US8665958B2 (en) * 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
US8508661B1 (en) 2008-02-01 2013-08-13 Zenverge, Inc. Enhanced deinterlacing using predictors from motion estimation engine
BRPI0907748A2 (pt) 2008-02-05 2015-07-21 Thomson Licensing Métodos e aparelhos para segmentação implícita de blocos em codificação e decodificação de vídeo
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
JP2010016453A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US8761261B1 (en) * 2008-07-29 2014-06-24 Marvell International Ltd. Encoding using motion vectors
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
CN102113326A (zh) 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8139650B2 (en) 2008-08-07 2012-03-20 California Institute Of Technology Fast noise reduction in digital images and video
EP2157800B1 (en) * 2008-08-21 2012-04-18 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for increasing the frame rate of a video signal
CN102165490B (zh) * 2008-09-01 2014-01-22 日本电气株式会社 图像同一性尺度计算***
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8275209B2 (en) * 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8599929B2 (en) * 2009-01-09 2013-12-03 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video decoder and distributed video decoding method
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
FR2944937B1 (fr) 2009-04-24 2011-10-21 Canon Kk Procede et dispositif de restauration d'une sequence video
US8762441B2 (en) * 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
CN102883160B (zh) 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
KR101678968B1 (ko) * 2009-08-21 2016-11-25 에스케이텔레콤 주식회사 참조 픽처 보간 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
EP2494780B1 (en) * 2009-10-29 2020-09-02 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for processing a video sequence
EA021750B1 (ru) * 2009-10-30 2015-08-31 Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка Способ декодирования, декодирующее устройство, способ кодирования и кодирующее устройство
TR200908303A2 (tr) * 2009-11-03 2011-05-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket dengelemeli enterpolasyon.
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
WO2011064673A1 (en) 2009-11-30 2011-06-03 France Telecom Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
GB2480224B (en) * 2010-01-29 2014-08-20 Canon Kk Decoding a sequence of digital images with error concealment
FR2956789B1 (fr) 2010-02-19 2012-11-16 Canon Kk Procede et dispositif de traitement d'une sequence video
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
PL2543181T3 (pl) * 2010-03-03 2016-03-31 Koninklijke Philips Nv Urządzenia i sposoby definiowania systemu kolorów
US8665959B2 (en) 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
CN106454370B (zh) * 2010-04-13 2019-11-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
JP5889899B2 (ja) 2010-08-09 2016-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． マルチ視野信号の２つの視野と対応する画像の対をエンコードする方法、デコードする方法、エンコーダ、デコーダ、コンピュータプログラム及びソフトウェアツール
WO2012037157A2 (en) * 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
JP5625808B2 (ja) * 2010-11-26 2014-11-19 沖電気工業株式会社 データ更新装置及びプログラム、並びに、動画像復号装置及びプログラム、並びに、動画像配信システム
CA2722993A1 (fr) * 2010-12-01 2012-06-01 Ecole De Technologie Superieure Systeme d'ecodage video parallele multitrames et multitranches avec encodage simultane de trames predites
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
GB2487197B (en) 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
EP2745514A1 (en) * 2011-08-19 2014-06-25 Telefonaktiebolaget LM Ericsson (PUBL) Motion vector processing
HUE054317T2 (hu) 2011-10-18 2021-08-30 Lg Electronics Inc Eljárás és készülék kép kódolására és dekódolására, valamint számítógéppel olvasható közeg
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
CN104718759B (zh) * 2012-01-24 2019-01-18 华为技术有限公司 Lm模式的简化
TWI616087B (zh) * 2012-01-31 2018-02-21 Ｖｉｄ衡器股份有限公司 可縮放高效率視訊編碼（ｈｅｖｃ）參考圖集（ｒｐｓ）傳訊
JP5341284B1 (ja) 2012-02-03 2013-11-13 パナソニック株式会社 画像符号化方法及び画像符号化装置
GB2498595B (en) * 2012-02-16 2015-03-04 Imagination Tech Ltd Methods and apparatus for decoding video images
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
SG10201710075SA (en) * 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
WO2014011595A1 (en) * 2012-07-09 2014-01-16 Vid Scale, Inc. Codec architecture for multiple layer video coding
CN104471939B (zh) * 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
US20140092971A1 (en) * 2012-09-28 2014-04-03 Kiran Mukesh Misra Picture processing in scalable video systems
KR101766101B1 (ko) * 2012-09-28 2017-08-07 인텔 코포레이션 스케일러블 비디오 코딩을 위한 개선된 기준 영역 활용
AU2013330031B2 (en) * 2012-10-09 2016-06-30 Hfi Innovation Inc. Method and apparatus for motion information prediction and inheritance in video coding
US20140153635A1 (en) * 2012-12-05 2014-06-05 Nvidia Corporation Method, computer program product, and system for multi-threaded video encoding
KR102301232B1 (ko) 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADAMI NOCOLA, A FULLY SCALABLE VIDEO CODER WITH INTER - SCALE WAVELET PREDICTION AND MORPHOLOGICAL CODING, PROCEEDINGS OF SPIE,2005, JULY 12, 546: V5960, P535*

Also Published As

Publication number Publication date
JP2015522988A (ja) 2015-08-06
US11153567B2 (en) 2021-10-19
EA201492099A1 (ru) 2015-04-30
AU2013261854A1 (en) 2014-12-11
US20170310968A1 (en) 2017-10-26
HK1203264A1 (en) 2015-10-23
MX2014013850A (es) 2015-05-08
EP2850829A1 (en) 2015-03-25
US11683491B2 (en) 2023-06-20
WO2013171182A1 (en) 2013-11-21
CA2873487A1 (en) 2013-11-21
SG11201407484WA (en) 2014-12-30
WO2013171183A1 (en) 2013-11-21
KR20150014496A (ko) 2015-02-06
US9961345B2 (en) 2018-05-01
EP2850832B1 (en) 2022-01-05
US10178387B2 (en) 2019-01-08
CN104641643A (zh) 2015-05-20
CA2873490A1 (en) 2013-11-21
ZA201408540B (en) 2016-08-31
IL235574B (en) 2018-03-29
US20170041609A1 (en) 2017-02-09
PL2850829T3 (pl) 2022-05-16
US20130322537A1 (en) 2013-12-05
SG11201407472SA (en) 2014-12-30
US11622112B2 (en) 2023-04-04
CA2873496A1 (en) 2013-11-21
US20190297322A1 (en) 2019-09-26
CA2873494A1 (en) 2013-11-21
SG10201710075SA (en) 2018-01-30
IL235578A0 (en) 2015-01-29
US20230379470A1 (en) 2023-11-23
WO2013171173A1 (en) 2013-11-21
US20130322530A1 (en) 2013-12-05
WO2013171184A1 (en) 2013-11-21
HK1203263A1 (en) 2015-10-23
ES2909879T3 (es) 2022-05-10
CN110944210A (zh) 2020-03-31
IL235576A0 (en) 2015-01-29
EP3968638A1 (en) 2022-03-16
KR20150014494A (ko) 2015-02-06
US20130314496A1 (en) 2013-11-28
ZA201408541B (en) 2016-08-31
SG11201407417VA (en) 2014-12-30
EP2850830C0 (en) 2023-08-30
WO2013171175A1 (en) 2013-11-21
US11272181B2 (en) 2022-03-08
CN110944210B (zh) 2022-03-01
WO2013171168A1 (en) 2013-11-21
MX2014013835A (es) 2015-03-03
DK2850832T3 (da) 2022-04-11
MX2014013846A (es) 2015-05-08
AU2013261838A1 (en) 2014-12-04
US9621887B2 (en) 2017-04-11
IL235574A0 (en) 2015-01-29
US9509990B2 (en) 2016-11-29
SG11201407419RA (en) 2014-12-30
EP2850830B1 (en) 2023-08-30
KR20150020568A (ko) 2015-02-26
JP2015520575A (ja) 2015-07-16
KR20150018575A (ko) 2015-02-23
JP2015522987A (ja) 2015-08-06
US20210099707A1 (en) 2021-04-01
ZA201408539B (en) 2016-08-31
EP2850835A1 (en) 2015-03-25
EA201492090A1 (ru) 2015-05-29
EP2850831A1 (en) 2015-03-25
EA201492093A1 (ru) 2015-04-30
US10750179B2 (en) 2020-08-18
CA2873501A1 (en) 2013-11-21
US20170188032A1 (en) 2017-06-29
HK1203260A1 (en) 2015-10-23
IL235579A0 (en) 2015-01-29
BR112014028274A2 (pt) 2017-07-18
JP2015522986A (ja) 2015-08-06
US20210176483A1 (en) 2021-06-10
CN104620580A (zh) 2015-05-13
CA2873499A1 (en) 2013-11-21
US20210099706A1 (en) 2021-04-01
MX2014013838A (es) 2015-03-03
WO2013171182A8 (en) 2014-06-12
HK1203265A1 (en) 2015-10-23
EP2850830A1 (en) 2015-03-25
EP2850829B1 (en) 2021-12-01
BR112014028283A2 (pt) 2017-07-18
US20220191497A1 (en) 2022-06-16
AU2013261853A1 (en) 2014-12-11
US20130321423A1 (en) 2013-12-05
EP2850836A1 (en) 2015-03-25
CN104620583A (zh) 2015-05-13
JP6336438B2 (ja) 2018-06-06
EP2850835B1 (en) 2022-01-05
US20220038700A1 (en) 2022-02-03
BR112014028276A2 (pt) 2017-07-11
SG11201407508RA (en) 2014-12-30
CN104620581A (zh) 2015-05-13
BR112014028279A2 (pt) 2017-07-18
US11595653B2 (en) 2023-02-28
EA201492089A1 (ru) 2015-04-30
CN104641643B (zh) 2018-06-19
ES2907510T3 (es) 2022-04-25
AU2013261843B2 (en) 2018-02-15
DK2850829T3 (da) 2022-03-07
MX341203B (es) 2016-08-11
HK1203261A1 (en) 2015-10-23
ZA201408537B (en) 2016-08-31
EP2850832A1 (en) 2015-03-25
KR20150014495A (ko) 2015-02-06
MX2014013836A (es) 2015-03-03
ZA201408538B (en) 2016-08-31
JP2015522985A (ja) 2015-08-06
JP2015519016A (ja) 2015-07-06
BR112014028273A2 (pt) 2017-07-18
AU2013261845A1 (en) 2014-12-11
CN104620582A (zh) 2015-05-13
MX344994B (es) 2017-01-13
AU2013261843A1 (en) 2014-12-11
CN104620582B (zh) 2020-01-14
US9706206B2 (en) 2017-07-11
US10750178B2 (en) 2020-08-18
CN104641644A (zh) 2015-05-20
EA201492098A1 (ru) 2015-04-30
KR20150018576A (ko) 2015-02-23
ES2961397T3 (es) 2024-03-11
MX339635B (es) 2016-06-02

Similar Documents

Publication Publication Date Title
KR102126886B1 (ko) 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
KR102287947B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
JP6351040B2 (ja) 層状の信号品質階層のおける信号処理およびインヘリタンスの方法、プログラム、及び、コンピュータシステム
KR20150140842A (ko) 하이브리드 백워드-호환가능 신호 인코딩 및 디코딩
CN112840650B (zh) 人工智能（ai）编码装置及其操作方法和ai解码装置及其操作方法
JP2023546392A (ja) マルチレイヤ信号符号化の分散解析
JP2022172137A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
KR102436512B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20240040160A1 (en) Video encoding using pre-processing
KR20230107627A (ko) 후처리 제어를 이용한 비디오 디코딩
Afsana et al. Efficient low bit-rate intra-frame coding using common information for 360-degree video
EA040379B1 (ru) Способ и устройство кодирования, декодирования видеосигнала в иерархии уровней качества
WO2023111574A1 (en) Digital image processing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right