KR20160010602A - 비디오 및 이미지 압축에 있어서의 변환 시스템 및 방법 - Google Patents

비디오 및 이미지 압축에 있어서의 변환 시스템 및 방법 Download PDF

Info

Publication number
KR20160010602A
KR20160010602A KR1020157035918A KR20157035918A KR20160010602A KR 20160010602 A KR20160010602 A KR 20160010602A KR 1020157035918 A KR1020157035918 A KR 1020157035918A KR 20157035918 A KR20157035918 A KR 20157035918A KR 20160010602 A KR20160010602 A KR 20160010602A
Authority
KR
South Korea
Prior art keywords
value
block
data stream
information model
incoming data
Prior art date
Application number
KR1020157035918A
Other languages
English (en)
Inventor
아누라그 멘드헤카르
Original Assignee
시노바 미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시노바 미디어 filed Critical 시노바 미디어
Publication of KR20160010602A publication Critical patent/KR20160010602A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 주파수 감소 및 복원을 위한 시스템 및 방법에 관한 것이다. 시스템 및 방법은 디지털 데이터, 예컨대 비디오 데이터 및 이미지 데이터의 시각적 리던던시를 감소시키기 위하여 사용될 수 있다.

Description

비디오 및 이미지 압축에 있어서의 변환 시스템 및 방법{TRANSFORM SYSTEM AND METHOD IN VIDEO AND IMAGE COMPRESSION}
본 출원은 “Frequency Reduction and Restoration System and Method in Video and Image Compression”이란 명칭으로 2013년 5월 20일에 출원된 미국 가특허출원 제61/825,487호에 대해 35 USC 119(e)에 의거한 이익과 35 USC 120에 의거한 우선권을 주장하며, 이 가출원의 전체 내용은 인용에 의해 본원에 통합된다.
본 발명은 일반적으로 비디오 및 이미지 압축에 관한 것이다.
디지털 이미지, 동화상 이미지 또는 비디오와 같은 디지털 데이터는 변환될 필요가 있을 수 있는 (화소로 표현되는) 다수의 정보를 포함한다. 이러한 정보를 변환시키면 디지털 데이터, 예컨대 이미지 및 비디오의 크기가 감소하며, 따라서 디지털 데이터가 압축될 수 있다. 따라서, 그 압축된 디지털 데이터가 변환될 수 있는 방식을 가지는 것이 바람직하다.
도 1은 이산 코사인 변환 압축 데이터 스트림과 같은 인입(incoming) 압축 데이터 스트림에 대한 변환 시스템의 예를 도시한다.
도 2는 도 1의 변환 시스템의 더 상세하게 도시한다.
도 3은 변환 방법의 흐름도이다.
도 4a는 예컨대 이를테면 DCT 변환에 있어서의 계수에 대한 변환 정보 모델의 예를 도시한다.
본 발명은 구체적으로 압축 디지털 데이터(compressed digital data), 예컨대 이미지 데이터 또는 비디오 데이터에 대한 변환 시스템 및 방법에 적용가능하며, 이러한 맥락에서 본 발명이 설명될 것이다. 그러나, 변환이 대단히 유익하다는 것이 인식될 것인데, 왜냐하면 디지털 데이터를 더 효율적으로 압축하기 위하여 변환될 필요가 있는 여러 타입의 데이터에 대하여 그 변환이 사용될 수 있기 때문이다.
도 1은 인입 압축 데이터 스트림(102), 예컨대 압축 이미지 데이터 스트림 또는 압축 비디오 데이터 스트림의 하나 이상의 변수를 변환시키기 위한 변환 시스템(100)의 예를 도시한다. 입력 데이터 스트림(102)은 예컨대 이산 코사인 변환(DCT: Discrete Cosine Transform)을 사용함으로써 압축되는 압축 데이터 스트림일 수 있다. DCT가 사용중일 때, 입력 데이터 스트림은 예컨대 JPEG(joint picture experts group) 파일 또는 데이터 스트림, 모션 JPEG 파일/데이터 스트림 또는 비디오 파일/데이터 스트림일 수 있으며, 이 스트림은 MPEG(motion picture expert group)-2, H.264 또는 H.265 압축 콘텐츠를 포함한다. 이하에서 제공된 설명에서, 상이한 타입의 DCT 압축 데이터는 DCT 압축 데이터로 총칭될 수 있다. 입력 스트림(102)은 변환 시스템(104)에 공급될 수 있으며, 변환 시스템(104)은 출력 데이터 스트림(106)을 생성할 수 있으며, 출력 데이터 스트림(106)은 동일한 타입의 압축을 가지나 인입 압축 데이터 스트림의 하나 이상의 변수가 이하에서 더 상세히 설명되는 바와 같이 수정되는 수정된 압축 데이터 스트림일 수 있다. 하나 이상의 변수는 압축 알고리즘 계수값, 예컨대 DCT 계수값, 출력 신호에서 잡음 감소를 야기하는 값 및/또는 재양자화 값일 수 있다.
변환 시스템(104)은 하드웨어 또는 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 예컨대, 변환 시스템(104)은 도 3를 참조로 하여 이하에서 설명되는 프로세스를 구현하기 위하여 복수의 라인의 명령 또는 마이크로코드를 실행하는 프로세서로 구현될 수 있거나, 또는 시스템(104)은 프로그램가능 하드웨어 디바이스(programmable hardware device), 예컨대 마이크로제어기, 필드 프로그램가능 게이트 어레이(FPGA) 또는 주문형 집적회로(ASIC, application specific integrated circuit)로 구현될 수 있다. 대안적으로, 시스템은 복수의 라인의 컴퓨터 코드를 실행하는 프로세서에 의해 액세스될 수 있는 메모리(DRAM, SRAM, 플래시, 디스크 드라이브, 광 드라이브)에 저장되는 복수의 라인의 컴퓨터 코드로 구현될 수 있다. 시스템(104)은 또한 컴팩트 디스크, 플래시 메모리 또는 다른 형태의 판독가능 매체일 수 있는 컴퓨터 판독가능 매체상에 저장되나, 또한 원격 컴퓨터 시스템(예컨대, 하나 이상의 서버 컴퓨터 또는 하나 이상의 컴퓨팅 소스)에 저장되고 이후 네트워크를 통해 사용자에 의해 다운로드 및/또는 액세스될 수 있는 복수의 라인의 컴퓨터 코드로 구현될 수 있다. 더욱이, 변환 시스템(104)은 다른 시스템/제품에 통합될 수 있다.
도 2는 도 1의 변환 시스템(104)의 더 상세한 설명을 도시한다. 변환 시스템(104)은 이하에서 더 상세히 설명되는 바와 같이 변환 프로세스를 수행하는 데이터 스트림 프로세서(202)에 커플링되는 변환 정보 모델(200)을 더 포함할 수 있다. 변환 시스템(104)은 복수의 변환 정보 모델을 저장하는 스토어(store), 예컨대 데이터베이스, 다른 저장 디바이스 및/또는 소프트웨어 저장 시스템을 가질 수 있다. 일 실시예에서, 압축 데이터 스트림을 실제로 프로세싱하기 전에, 변환 정보 모델 또는 복수의 변환 정보 모델은 다양한 데이터 스트림을 경험적으로 분석함으로써 구성될 수 있다. 예컨대, DCT로 주파수 값을 변환하는데 있어서, 변환 정보 모델은 DCT에서 사용되는 주파수 각각에 대응하는 수치값을 포함할 수 있다. 예컨대, 8x8 DCT 기반 데이터 스트림은 변환 정보 모델이 구성되는 64개의 주파수를 가질 것이다. 로우-디테일(low-detail) DCT 블록(소량의 콘텐츠/시각 정보를 가진 화소의 블록에 대한 DCT 계수의 블록)에 대한 변환 정보 모델의 일례는 도 4a에 도시되며, 도 4a에서 행렬내의 위치는 DCT 블록의 특정 주파수에 대응하며, 값은 그 주파수에서의 리던던시(redundancy)의 양에 대응한다. 따라서, DCT 계수에 대한 변환 정보 모델은 DCT 계수를 변환시킬 수 있다. 일례에서, DCT 계수에 대한 변환 정보 모델은 이하에서 더 상세히 설명되는 바와 같이 인입 데이터의 계수로부터 값의 세트를 감산하기 위하여 사용될 수 있다.
변환 정보 모델은 또한 인입 데이터의 각각의 블록의 계수를 나누거나 또는 곱하는 것과 같은 수학 함수를 수행하기 위하여 사용될 수 있는 값의 행렬(이하에서 설명됨)일 수 있다. 예컨대, 재양자화 또는 재양자화를 위한 변환 정보 모델은 수학 함수를 수행하기 위하여 사용될 수 있는 변환 정보 모델의 예일 수 있다. 예컨대, 재양자화를 위한 변환 정보 모델은 DCT를 나누기 위하여 사용될 수 있으며, H.264 스트림이 디코딩될 때 비디오를 재구성하기 위하여 H.264 스트림에서 필요한 정보의 양쪽 부분인 양자화 및 스케일링을 위한 새로운 양자화 및 스케일링 행렬을 추가로 선택할 수 있다.
변환 방법 구현에서, 변환 정보 모델의 값은 인입 압축 데이터 스트림의 값을 수정하기 위하여 사용될 수 있다. 일부 실시예에서, 인입 압축 데이터 스트림은 데이터값의 복수의 블록으로 부분적으로 디코딩될 수 있으며, 변환 정보 모델의 값은 데이터값의 각각의 블록의 값을 수정하기 위하여 사용될 수 있다. 일 실시예에서, 변환 정보 모델에 저장된 수치값은 압축 인입 데이터 스트림의 특정 블록, 예컨대 DCT 압축 인입 데이터 스트림의 8x8 DCT 블록으로부터 감산될 수 있으며, 결과적인 이미지는 인입 데이터 스트림의 이미지 또는 비디오로부터 시각적으로 구별할 수 없다. 이하에서 더 상세히 설명되는 바와 같이, 변환 정보 모델은 많은 상이한 값 세트를 가질 수 있으며, 각각의 세트는 상이한 환경 하에 적용가능하다.
도 3은 도 1-2에 도시된 시스템에 의해 수행될 수 있는 변환 방법(300)의 흐름도이다. 일 실시예에서, 방법의 프로세스는 복수의 라인 컴퓨터 코드에 의해 프로세스가 구현되는 데이터 스트림 프로세서(202)에 의해 수행될 수 있다. 대안적으로, 프로세스는 앞서 설명된 바와같은 프로세스를 실행하는 하드웨어 회로, 예컨대 프로세서, FPGA 등에 의해 구현될 수 있다. 방법에서, 인입 데이터 스트림의 부분 디코드(302)는 수행되는데, 여기서 인입 압축 데이터 스트림은 부분적으로 디코딩된 인입 압축 데이터 스트림이 복수의 데이터 블록을 가지는 지점까지 디코딩된다. 예컨대, 일 구현에서, DCT 압축 데이터 스트림의 DCT 계수는 블록 형태로 프로세싱하는데 이용가능할 수 있다. 시스템 및 방법에서, 블록은 정사각형의 각각의 변이 2의 정수 승(integer power of 2)인 행렬/정사각형(예컨대, 2X2 블록, 4X4 블록, 8X8 블록, 16X16블록, 32X32 블록 등)일 수 있다.
일단 인입 데이터 스트림이 부분적으로 디코딩되면, 방법은, 이하에서 더 상세히 설명되는 바와 같이, 부분적으로 디코딩되는 데이터 스트림의 각각의 블록에 대한 가장 적용가능한 변환 정보 모델을 선택한다(304). 예컨대, DCT 블록의 주파수가 수정되는 변환에서, 만일 인입 DCT 블록이 상대적으로 편평한 시각적 특성(소위 낮은 그라디언스(low gradience)로 지칭됨)을 가지면, 도 4a의 변환 정보 모델의 예와 같이 그 인입 DCT 블록에 대하여 특정 변환 정보 모델이 선택될 수 있다.
시스템은 다수의 변환 정보 모델이 저장되어 이용가능하게 할 수 있거나 또는 생성되어 이용가능하게 할 수 있다. 변환 정보 모델은 각각의 블록의 DCT 계수로부터 특정 변환 정보 모델 클래스(class)를 감산하여 각각의 블록의 DCT 계수에 다양한 재양자화를 적용하는 변환을 포함할 수 있다. 다른 가능한 변환은 특정 임계치에 대한 (블록의 DCT 계수의) 값을 테스트하고 값에 상수를 가산하거나 또는 값으로부터 상수를 감산함으로써 값을 수정하는 비선형 변환일 수 있고, 게다가, 앞의 변환의 조합은 블록에서 수정된 값 세트를 산출하기 위하여 사용될 수 있다. 동작의 예에서, 인입 데이터로부터의 블록은 다른 특징과 함께 배경에서 느리게 변화하는 그라디언트(gradient)를 가질 수 있다. 이러한 동작의 예에서, 시스템은, 재양자화가 필요하지 않은 블록의 통계적 특성에 기초하여, 특정 변환 정보 모델이 블록의 값으로부터 감산될 필요가 있음을 그리고 블록의 값의 일부가 상수를 가산하거나 또는 감산함으로써 비선형적으로 수정될 필요가 있음을 결정한다. 변환의 선택은 통상적으로 인간의 눈에 보이는 아티팩트(artifact)에 대한 영향을 최소화하면서 블록의 크기를 최소화하도록 이루어진다.
일단 각각의 블록에 대한 변환 정보 모델이 선택되면, 변환 정보 모델 데이터는 인입하는 부분적으로 디코딩되는 데이터 스트림의 블록을 수정하기 위하여 사용된다(306). 예컨대, DCT 계수값이 수정되는 구현에서, 변환 정보 모델 데이터는 블록으로부터 제거될 수 있다. DCT 블록값이 수정되는 일 실시예에서, 인입 데이터 스트림에서 각각의 DCT 블록의 절대값이 변환 정보 모델의 절대값보다 작으면, 출력 데이터 스트림의 DCT 계수(이는 특정 DCT 블록에 대응함)는 0으로 세팅된다. DCT 블록값이 수정되는 일 실시예에서, 인입 데이터 스트림에서 각각의 DCT 블록의 절대값이 변환 정보 모델의 절대값보다 작지 않으면, 인입 데이터 스트림의 DCT 계수의 절대값은 원래의 데이터 스트림의 DCT 계수의 부호를 유지하면서 변환 정보 모델의 대응값으로 감소된다.
일단 예컨대 DCT 계수에서 제거되는 리던던시에 의하여 변수값이 수정되었다면, 방법은 주파수를 복원한다(308). 특히, (예컨대, 이하에서 설명된 방법을 사용하여) 블록에서 앞의 리던던시 제거가 용납할 수 없는 시각적 차이를 도입한 계수의 경우에, 방법은 DCT 블록의 이 계수를 다시 DCT로부터의 자신의 원래 값으로 복원한다. 다른 변환 정보 모델의 경우에, 값의 복원이 발생할 수 있다. 예컨대, 만일 블록의 값의 양자화 파라미터가 변경되었으면, 복원은 이러한 변경을 고려하여 수행된다.
일단 주파수의 복원이 완료되었다면, 데이터 스트림은 변환 정보 모델에 기초하여, 수정된 데이터 값을 사용하여 재인코딩될 수 있다(310). DCT 계수가 수정되는 구현에서, 데이터 스트림은 (가능한 경우에 일부 원래의 계수 뿐만아니라 변환 정보 모델로부터의 일부 계수를 비롯하여) 방법으로부터 수정된 DCT 계수로 재인코딩될 수 있다.
가장 적용 가능한 변환 정보 모델 선택
주파수 감소의 경우에 RIM과 같은 적절한 변환 정보 모델은 예컨대 도 2에 도시된 데이터 스트림 프로세서(202)에 의해 평가될 수 있는 이하의 기준 중 하나 이상의 기준을 사용하여 각각의 블록에 대하여 선택될 수 있다. 적절한 RIM를 결정하기 위하여 사용되는 기준은 하기의 경우를 포함할 수 있다:
1. DCT 블록의 크기
2. DCT 블록의 통계적 특성(AC 에너지, 분산 등)
3. DCT 블록에 의해 표현되는 전체 디코딩된 화소의 통계적 특성. (화소의 평균값, 화소의 분산).
4. 데이터 스트림의 다른 특성(예컨대, 데이터 스트림이 표준 화질(SD) 이미지인지 또는 고화질(HD) 이미지인지의 여부).
예컨대, 만일 인입 DCT 블록이 매우 높은 AC 에너지를 표시하나 휘도가 낮으면, 변환의 집합(RIM 감산, 재양자화 뿐만 아니라 비선형 수정을 포함할 변환 모델로 총칭됨)이 선택될 것이며, 이는 블록으로부터 감산 된다는 점에서 더 공격적(aggressive)이다. 다른 경우에, 최소 변화를 수행하는 변환 모델이 선택될 수 있다. 더욱이, HD 스트림의 경우에, 통상적인 변환 모델은 인간의 눈의 상이한 예상 행위 때문에 SD 스트림과 비교하여 보다 높은 주파수 성분에 대해 상이한 값을 가질 것이다. SD 스트림이 고화질 디바이스상에서 디스플레이될 것이라는 것이 알려질 때, 변환 모델은 이미지의 스케일링-업(scaling-up)을 예상하여 범위의 중앙 및 고주파수에 대해 덜 공격적일 것이다.
시스템에서는 이들 기준의 다양한 조합에 대하여 하나 이상의 상이한 변환 정보 모델이 구성될 수 있다. 각각의 상이한 타입의 변환(주파수 감소, 잡음 감소, 재양자화 값 등)에 대하여, 부분적으로 디코딩된 인입 데이터 스트림의 블록이 프로세싱될 때 위의 기준이 컴퓨팅될 수 있으며, 특정 블록에 대한 변환 정보 모델을 선택하기 위하여, 특정 블록에 대한 특정 변환 쓰임새(use case)에 대한 하나 이상의 기준이 사용될 수 있다. 예컨대, DCT 계수를 사용하여 주파수를 감소시키기 위하여, DCT 블록이 (부분 디코딩 이후에) 프로세싱될 때 적절한 기준이 컴퓨팅되며, 특정 블록에서 앞의 기준의 조합은 특정 블록에 대하여 선택될 필요가 있는 RIM을 가르킨다. 이러한 프로세스의 하나의 예는 예컨대 낮은 분산 및 낮은 그라디언스를 가진 DCT 블록(여기서, "낮은"은 특정한 미리 결정된 임계치보다 낮다는 것을 의미함, 하기 참조)이 프로세싱되고 이러한 타입의 사례에 대하여 구성되었던 RIM이 사용될 때이다. 변환 정보 모델은 스트림이 표준 화질인지 또는 고화질인지의 여부에 따라 변화할 수 있다.
주파수 감소 변환을 위한 주파수 복원 기준
인간의 눈은 특정 타입의 압축 아티팩트(예컨대 블록 현상(blockiness) 및 윤곽대비(contouring))에 매우 민감하다. 특정 타입의 DCT 블록에 대하여, 선택된 RIM은 이들 압축 아티팩트의 악화를 유발할 수 있다. 예컨대, 느리게 변화하는 그라디언트를 가진 이미지 블록은 특히 압축 아티팩트의 직접적인 악화에 민감할 수 있다.
이들 타입의 DCT 블록의 식별은 DCT 블록에 의해 표현되는 화소의 1차 도함수의 분산을 컴퓨팅함으로써 달성될 수 있으며, "그라디언스(gradience)"로서 알려질 수 있다. 그라디언스는 예컨대 화소의 값을 그 화소의 좌측 이웃 및 최상부 이웃으로부터 각각 감산함으로써 유도된 값의 분산을 컴퓨팅함으로써 계산될 수 있다.
그라디언스가 특정 임계치 보다 낮을 때(이는 시스템 및 방법에 대한 파라미터로서 처리됨), 주파수 복원을 위하여 DCT 블록이 선택된다. 블록의 그라디언스는 0 내지 255일 수 있으며, 만일 그라디언스 값이 255보다 크면 255까지 잘려질 수 있다. 그라디언스 임계치는 또한 경험적으로 결정될 수 있으며, 애플리케이션에 의존할 수 있으며, 0 내지 12의 범위를 가진다. 그라디언스의 특정 값 및 DCT 블록의 크기에 따라, DCT 블록의 하나 이상의 주파수는 자신들의 원래의 인입 값으로 복원된다. 예컨대, 대량의 시각적 피델리티(visual fidelity)를 필요로 하는 애플리케이션은 매우 낮은 그라디언스 값을 사용할 것이며, 낮은 시각적 피델리티를 필요로 하는 애플리케이션은 높은 그라디언스 값을 허용할 것이다. 낮은 그라디언스 DCT 블록에서, 예컨대 하부 범위의 주파수는 RIM의 시각적 영향이 용납할 수 없는 경우에 복원된다. 시각적 영향은 보통 그 범위내의 주파수가 0으로 세팅되었으나 임의의 다른 적당한 메트릭이 또한 사용될 수 있는지를 결정하기 위하여 평가된다.
잡음 감소 변환 및 재양자화 변환
앞서 설명된 주파수 감소 실시예와 유사하게, 변환 시스템은 또한 잡음 감소 및 재양자화 값에 대한 부분적으로 디코딩된 인입 데이터 스트림의 블록의 값을 수정하기 위하여 사용될 수 있다. 잡음 감소 또는 재양자화를 위한 다른 변환은 유사하게 각각의 변이 2의 정수 승인 정사각형 행렬인 값의 블록일 수 있으며, 여기서 값의 블록은 인입하는 부분적으로 디코딩된 인입 데이터 스트림에서 각각의 블록의 값을 수정하기 위하여 사용된다. 주파수 감소를 위하여 앞서 설명된 바와 같이, 잡음 감소 또는 재양자화 값에 대한 변환 정보 모델은 앞서 설명된 주파수 감소와 동일한 기준의 일부 또는 전부에 기초하여 선택된 후, 데이터 스트림의 블록의 값을 수정하기 위하여 사용될 수 있으며, 이후 데이터 스트림은 재압축될 수 있다.
전술한 설명이 본 발명의 특정 실시예와 관련하여 설명되었을지라도, 본 개시내용의 원리 및 사상, 즉 첨부된 청구항에 의해 정의되는 범위로부터 벗어나지 않고 이러한 실시예의 변형이 이루어질 수 있다는 것이 당업자에 의해 인식될 것이다.

Claims (33)

  1. 압축 데이터 스트림(compressed data stream)의 데이터 값을 변환하기 위한 시스템으로서,
    데이터 스트림 프로세서를 포함하고,
    상기 데이터 스트림 프로세서는 각각의 블록이 복수의 값을 가지는 복수의 블록으로, 압축된 인입 데이터 스트림을 부분적으로 디코딩하고, 각각의 블록에 대한 변환 모델(transform model)을 선택하고, 선택된 변환 모델의 복수의 값 중 하나의 값을 사용하여 각각의 블록의 값을 수정하고, 수정된 값을 포함하는 복수의 블록으로 데이터 스트림을 인코딩하도록 구성되는 시스템.
  2. 청구항 1에 있어서,
    상기 변환 모델은 잡음 감소 정보 모델, 주파수 감소 정보 모델, 재양자화 모델 또는 비선형 계수 수정 모델 중 하나인 시스템.
  3. 청구항 2에 있어서,
    상기 주파수 감소 정보 모델은 복수의 계수값을 더 포함하는 시스템.
  4. 청구항 3에 있어서,
    상기 데이터 스트림 프로세서는 수정된 값을 가진 계수를 다시 그 원래의 값으로 변경시킴으로써, 부분적으로 디코딩된 인입 데이터 스트림에 값을 복원시키도록 구성되는 시스템.
  5. 청구항 1에 있어서,
    상기 압축 인입 데이터 스트림은 DCT 기반 압축 스트림인 시스템.
  6. 청구항 5에 있어서,
    상기 DCT 기반 압축 스트림은 MPEG-2 데이터 스트림, H.264 데이터 스트림, JPEG 데이터 스트림, 모션 JPEG 데이터 스트림 또는 H.265 데이터 스트림 중 하나인 시스템.
  7. 청구항 1에 있어서,
    복수의 변환 정보 모델을 저장하도록 구성되는 스토어(store)를 더 포함하며, 상기 복수의 변환 정보 모델로부터 상기 변환 정보 모델이 선택되는 시스템.
  8. 청구항 1에 있어서,
    상기 변환 정보 모델은 복수의 값을 가지며, 상기 변환 정보 모델의 각각의 값은 상기 블록의 값에 대응하는 시스템.
  9. 청구항 8에 있어서,
    상기 블록은 정사각형 행렬이며, 상기 정사각형 행렬의 각각의 변은 2의 정수 승(integer power of 2)인 시스템.
  10. 청구항 1에 있어서,
    상기 데이터 스트림 프로세서는 상기 부분적으로 디코딩된 인입 데이터 스트림의 블록의 그라디언스(gradience)의 부분에 기초하여 각각의 블록에 대한 변환 정보 모델을 선택하도록 구성되는 시스템.
  11. 청구항 1에 있어서,
    상기 데이터 스트림 프로세서는 상기 블록의 크기, 상기 블록의 통계적 특성 및 상기 블록의 특성 중 하나 이상에 기초하여 각각의 블록에 대한 변환 정보 모델을 선택하도록 구성되는 시스템.
  12. 청구항 1에 있어서,
    상기 데이터 스트림 프로세서는 프로세서 및 프로그램가능 하드웨어 디바이스 중 하나인 시스템.
  13. 압축 데이터 스트림의 데이터 값을 변환하는 방법으로서,
    각각의 블록이 복수의 값을 가지는 복수의 블록으로 인입 데이터 스트림을 부분적으로 디코딩하는 단계;
    각각의 블록에 대한 변환 정보 모델을 선택하는 단계;
    선택된 변환 모델의 복수의 값 중 하나의 값에 기초하여 각각의 블록의 하나 이상의 값 중의 값을 수정하는 단계; 및
    상기 수정된 값 및 상기 복수의 블록을 사용하여 데이터 스트림을 인코딩하는 단계를 포함하는 방법.
  14. 청구항 13에 있어서,
    상기 변환 모델은 잡음 감소 정보 모델, 주파수 감소 정보 모델 및 재양자화 정보 모델 중 하나인 방법.
  15. 청구항 14에 있어서,
    상기 주파수 감소 정보 모델은 복수의 계수값을 더 포함하는 방법.
  16. 청구항 15에 있어서,
    수정된 값을 가진 계수를 다시 그 원래의 값으로 변경시킴으로써, 부분적으로 디코딩된 인입 데이터 스트림에 값을 복원시키는 단계를 더 포함하는 방법.
  17. 청구항 13에 있어서,
    압축 인입 데이터 스트림은 DCT 기반 압축 스트림인 방법.
  18. 청구항 17에 있어서,
    상기 DCT 기반 압축 스트림은 MPEG-2 데이터 스트림, H.264 데이터 스트림, JPEG 데이터 스트림, 모션 JPEG 데이터 스트림 또는 H.265 데이터 스트림 중 하나인 방법.
  19. 청구항 13에 있어서,
    복수의 변환 정보 모델을 저장하는 단계를 더 포함하며,
    상기 복수의 변환 정보 모델로부터 상기 변환 정보 모델이 선택되는 방법.
  20. 청구항 13에 있어서,
    상기 변환 정보 모델은 복수의 값을 가지고,
    상기 변환 정보 모델의 각각의 값은 상기 블록의 값에 대응하는 방법.
  21. 청구항 20에 있어서,
    상기 블록은 정사각형 행렬이며, 상기 정사각형 행렬의 각각의 변은 2의 정수 승인 방법.
  22. 청구항 13에 있어서,
    상기 각각의 블록에 대한 변환 정보 모델을 선택하는 단계는 상기 부분적으로 디코딩된 인입 데이터 스트림의 블록의 그라디언스의 부분에 기초하여 각각의 블록에 대한 변환 정보 모델을 선택하는 단계를 더 포함하는 방법.
  23. 청구항 13에 있어서,
    상기 각각의 블록에 대한 변환 정보 모델을 선택하는 단계는 상기 블록의 크기, 상기 블록의 통계적 특성 또는 상기 블록의 특성 중 하나 이상에 기초하여 각각의 블록에 대한 변환 정보 모델을 선택하는 단계를 더 포함하는 방법.
  24. 청구항 13에 있어서,
    부분적으로 디코딩된 인입 데이터 스트림의 블록의 각각의 값에 대하여, 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값과 상기 블록의 값의 절대값을 비교하는 단계, 및
    상기 블록의 값의 절대값이 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값보다 작은 경우에 상기 부분적으로 디코딩된 인입 데이터 스트림의 값을 0으로 세팅하는 단계를 더 포함하는 방법.
  25. 청구항 13에 있어서,
    부분적으로 디코딩된 인입 데이터 스트림의 블록의 각각의 값에 대하여, 상기 블록의 값에 대응하는 상기 변환 정보 모델의 값의 절대값과 상기 블록의 값의 절대값을 비교하는 단계, 상기 부분적으로 디코딩된 인입 데이터 스트림의 값을 상기 변환 정보 모델의 값으로 세팅하는 단계, 및 상기 블록의 값의 절대값이 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값보다 작지 않은 경우에 상기 부분적으로 디코딩된 인입 데이터 스트림의 값의 부호를 유지하는 단계를 더 포함하는 방법.
  26. 컴퓨터 판독가능 매체로서,
    각각의 블록이 복수의 값을 가지는 복수의 블록으로 인입 데이터 스트림을 부분적으로 디코딩하는 명령;
    각각의 블록에 대한 변환 정보 모델을 선택하는 명령;
    선택된 변환 모델의 복수의 값 중 하나의 값에 기초하여 각각의 블록의 하나 이상의 값 중의 값을 수정하는 명령; 및
    상기 수정된 값 및 상기 복수의 블록으로 데이터 스트림을 인코딩하는 명령을 포함하는 컴퓨터 판독가능 매체.
  27. 청구항 26에 있어서,
    상기 변환 모델은 잡음 감소 정보 모델, 주파수 감소 정보 모델 또는 재양자화 정보 모델 중 하나인 컴퓨터 판독가능 매체.
  28. 청구항 27에 있어서,
    상기 주파수 감소 정보 모델은 복수의 계수값을 더 포함하는 컴퓨터 판독가능 매체.
  29. 청구항 28에 있어서,
    수정된 값을 가진 계수를 다시 그 원래의 값으로 변경시킴으로써, 부분적으로 디코딩된 인입 데이터 스트림에 대한 값을 복원시키는 명령을 더 포함하는 컴퓨터 판독가능 매체.
  30. 청구항 26에 있어서,
    상기 각각의 블록에 대한 변환 정보 모델을 선택하는 명령은 상기 부분적으로 디코딩된 인입 데이터 스트림의 블록의 그라디언스의 부분에 기초하여 각각의 블록에 대한 변환 정보 모델을 선택하는 명령을 더 포함하는 컴퓨터 판독가능 매체.
  31. 청구항 26에 있어서,
    상기 각각의 블록에 대한 변환 정보 모델을 선택하는 명령은 상기 블록의 크기, 상기 블록의 통계적 특성 또는 상기 블록의 특성 중 하나 이상에 기초하여 각각의 블록에 대한 변환 정보 모델을 선택하는 명령을 더 포함하는 컴퓨터 판독가능 매체.
  32. 청구항 26에 있어서,
    부분적으로 디코딩된 인입 데이터 스트림의 블록의 각각의 값에 대하여, 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값과 상기 블록의 값의 절대값을 비교하는 명령, 및 상기 블록의 값의 절대값이 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값보다 작은 경우에 상기 부분적으로 디코딩된 인입 데이터 스트림의 값을 0으로 세팅하는 명령을 더 포함하는 컴퓨터 판독가능 매체.
  33. 청구항 26에 있어서,
    부분적으로 디코딩된 인입 데이터 스트림의 블록의 각각의 값에 대하여, 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값과 상기 블록의 값의 절대값을 비교하는 명령, 상기 부분적으로 디코딩된 인입 데이터 스트림의 값을 상기 변환 정보 모델의 값으로 세팅하는 명령, 및 상기 블록의 값의 절대값이 상기 블록의 값에 대응하는, 상기 변환 정보 모델의 값의 절대값보다 작지 않은 경우에 상기 부분적으로 디코딩된 인입 데이터 스트림의 값의 부호를 유지하는 명령을 더 포함하는 컴퓨터 판독가능 매체.
KR1020157035918A 2013-05-20 2014-05-20 비디오 및 이미지 압축에 있어서의 변환 시스템 및 방법 KR20160010602A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361825487P 2013-05-20 2013-05-20
US61/825,487 2013-05-20
US14/281,788 US10015507B2 (en) 2013-05-20 2014-05-19 Transform system and method in video and image compression
US14/281,788 2014-05-19
PCT/US2014/038859 WO2014189981A1 (en) 2013-05-20 2014-05-20 Transform system and method in video and image compression

Publications (1)

Publication Number Publication Date
KR20160010602A true KR20160010602A (ko) 2016-01-27

Family

ID=51895772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157035918A KR20160010602A (ko) 2013-05-20 2014-05-20 비디오 및 이미지 압축에 있어서의 변환 시스템 및 방법

Country Status (5)

Country Link
US (2) US10015507B2 (ko)
EP (1) EP3000075A4 (ko)
KR (1) KR20160010602A (ko)
HK (1) HK1223176A1 (ko)
WO (1) WO2014189981A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3264644A1 (en) * 2016-07-01 2018-01-03 Nxp B.V. Multiple source receiver

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784631A (en) 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US5596659A (en) 1992-09-01 1997-01-21 Apple Computer, Inc. Preprocessing and postprocessing for vector quantization
JPH10503895A (ja) 1994-06-17 1998-04-07 スネル アンド ウィルコックス リミテッド 映像圧縮
US6016360A (en) 1995-06-05 2000-01-18 Apple Computer, Inc. Method and apparatus for encoding color image data
JP2914226B2 (ja) 1995-06-16 1999-06-28 日本電気株式会社 可逆変換を可能にするディジタル信号の変換符号化方式
US6208761B1 (en) 1995-07-11 2001-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
JP3778229B2 (ja) 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6052205A (en) 1997-02-14 2000-04-18 Ricoh Company, Ltd. Image data encoding/decoding method and apparatus configured to compress both natural gray scale images and binary images
KR100601743B1 (ko) 1997-06-16 2006-07-19 소니 가부시끼 가이샤 영상 처리 장치 및 방법과, 전송 매체, 전송 방법 및 영상 포맷
US6690731B1 (en) 1997-12-01 2004-02-10 Neostar, Inc. Method and apparatus for diagonal processing of video data
US6393156B1 (en) 1998-01-07 2002-05-21 Truong Q. Nguyen Enhanced transform compatibility for standardized data compression
US6792153B1 (en) 1999-11-11 2004-09-14 Canon Kabushiki Kaisha Image processing method and apparatus, and storage medium
JP2002064709A (ja) 2000-06-06 2002-02-28 Canon Inc 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
JP2003018412A (ja) 2001-07-03 2003-01-17 Canon Inc 画像圧縮装置及び画像圧縮方法並びにプログラムコード、記憶媒体
US6925193B2 (en) 2001-07-10 2005-08-02 Eaton Corporation Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information
US6697521B2 (en) 2001-06-15 2004-02-24 Nokia Mobile Phones Ltd. Method and system for achieving coding gains in wavelet-based image codecs
US7003167B2 (en) 2001-11-01 2006-02-21 Hewlett-Packard Development Company, L.P. Single-pass guaranteed-fit data compression using rate feedback
EP1349393A1 (en) 2002-03-15 2003-10-01 Ricoh Company Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program
US20030206590A1 (en) 2002-05-06 2003-11-06 Koninklijke Philips Electronics N.V. MPEG transcoding system and method using motion information
JP3960210B2 (ja) 2002-11-22 2007-08-15 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
JP2005020227A (ja) 2003-06-25 2005-01-20 Pfu Ltd 画像圧縮装置
JP4443165B2 (ja) 2003-08-20 2010-03-31 株式会社リコー 画像圧縮装置及び画像圧縮方法
EP1628484B1 (en) * 2004-08-18 2019-04-03 STMicroelectronics Srl Method for transcoding compressed video signals, related apparatus and computer program product therefor
US7466867B2 (en) 2004-11-26 2008-12-16 Taiwan Imagingtek Corporation Method and apparatus for image compression and decompression
WO2006061734A2 (en) 2004-12-07 2006-06-15 Koninklijke Philips Electronics N.V. A method and apparatus for processing video streams
US7760808B2 (en) 2005-06-21 2010-07-20 Nokia Corporation Image processing of DCT-based video sequences in compressed domain
US20070019875A1 (en) * 2005-07-21 2007-01-25 Sung Chih-Ta S Method of further compressing JPEG image
JP4789148B2 (ja) 2005-09-06 2011-10-12 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
US7916960B2 (en) 2005-09-06 2011-03-29 Megachips Corporation Compression encoder, compression encoding method and program
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US20070237237A1 (en) 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
JP4812585B2 (ja) 2006-04-28 2011-11-09 株式会社リコー 符号変換装置、符号変換方法、プログラム及び記録媒体
US8077990B2 (en) 2006-04-28 2011-12-13 Pixsense Inc. Efficient content compression and decompression system and method
JP5662023B2 (ja) 2006-12-28 2015-01-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置
KR101370286B1 (ko) 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US7522074B2 (en) 2007-09-17 2009-04-21 Samplify Systems, Inc. Enhanced control for compression and decompression of sampled signals
US7965900B2 (en) 2007-09-26 2011-06-21 Hewlett-Packard Development Company, L.P. Processing an input image to reduce compression-related artifacts
KR101313952B1 (ko) 2008-06-23 2013-10-01 픽스센스 인코포레이티드 부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법
EP2146343A1 (en) 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
US9110849B2 (en) 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
JP5850054B2 (ja) 2011-08-01 2016-02-03 日本電気株式会社 分散処理管理サーバ、分散システム、及び分散処理管理方法

Also Published As

Publication number Publication date
US10015507B2 (en) 2018-07-03
HK1223176A1 (zh) 2017-07-21
US20140341304A1 (en) 2014-11-20
EP3000075A4 (en) 2016-09-07
WO2014189981A1 (en) 2014-11-27
US20140341303A1 (en) 2014-11-20
US10015506B2 (en) 2018-07-03
EP3000075A1 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
Mantiuk et al. Backward compatible high dynamic range MPEG video compression
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
JP5271900B2 (ja) 画像符号化方法、画像復号化方法、画像向上方法、画像符号化装置、画像復号化装置、画像向上装置、画像処理装置、画像処理システム、プログラムおよび集積回路
KR20210050186A (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
CN108141592B (zh) 用于编码和解码数字图像或视频流的方法和装置
KR102621118B1 (ko) 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
JP5800362B2 (ja) 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム
Olano et al. Variable bit rate GPU texture decompression
KR20160010602A (ko) 비디오 및 이미지 압축에 있어서의 변환 시스템 및 방법
US8457210B2 (en) Image decoding apparatus and method adding a sign of the coefficient before linear estimation
JP6564315B2 (ja) 符号化装置、復号装置、及びプログラム
EP2645712A1 (en) Image downsampling
Hachemi et al. Enhancement of DCT-Based Image Compression Using Trigonometric Functions
Neethu et al. Improved quality of JPEG compressed image using approximate K-SVD algorithm
JP4717649B2 (ja) 画像復号器、画像復号方法、画像復号プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
Kumar et al. A new hybrid JPEG symbol reduction image Compression technique
JP4085647B2 (ja) ブロックノイズ除去方法
JP2007300454A (ja) 復号化装置、逆量子化方法及びプログラム
Al-Bahadili Adaptive polynomial fitting for image compression based on variance of block pixels
El–said Efficient DCT–based image compression technique
Yamawaki et al. Improvement of JPEG compression efficiency using information hiding and image restoration
Kumar et al. A new hybrid JPEG image compression scheme using symbol reduction technique
JP2007306528A (ja) 動画像復号装置および動画像復号方法
JPH0746407A (ja) 画像データ圧縮装置および画像データ復元装置
CN115988201A (zh) 一种编码胶片颗粒的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right