KR102012906B1 - 디지털 이미지의 블록을 처리하는 시스템 및 방법 - Google Patents

디지털 이미지의 블록을 처리하는 시스템 및 방법 Download PDF

Info

Publication number
KR102012906B1
KR102012906B1 KR1020177015872A KR20177015872A KR102012906B1 KR 102012906 B1 KR102012906 B1 KR 102012906B1 KR 1020177015872 A KR1020177015872 A KR 1020177015872A KR 20177015872 A KR20177015872 A KR 20177015872A KR 102012906 B1 KR102012906 B1 KR 102012906B1
Authority
KR
South Korea
Prior art keywords
block
mask
rotational symmetry
rotationally symmetric
media encoder
Prior art date
Application number
KR1020177015872A
Other languages
English (en)
Other versions
KR20170084213A (ko
Inventor
잇식 드비르
나탄 피터프룬트
드로 아이러니
데이빗 드레츠너
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170084213A publication Critical patent/KR20170084213A/ko
Application granted granted Critical
Publication of KR102012906B1 publication Critical patent/KR102012906B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

프레임 또는 그 부분 내의 블록을 코딩하기 위한 변환 계수의 세트를 생성하기 위해서 장치, 방법이 제공되고, 프레임 또는 그 부분을 수신하도록 적응된 데이터 인터페이스와 결합된 미디어 인코더를 포함하고, 상기 미디어 인코더는, 블록과 동일한 크기 및 형상을 갖는 다차원 공간 내에서 복수의 서로 다른 회전 대칭을 정의하는 복수의 회전 대칭 마스크로부터 블록을 위한 회전 대칭 마스크를 선택하고, 회전 대칭 마스크에 기반하여 블록을 두 개의 상보적 부분으로 분할하고, 각각이 두 개의 상보적 부분 중 하나를 갖는 회전 대칭 블록 상을 생성하며, 회전 대칭 블록 쌍의 적어도 하나의 원소에 대해 적어도 하나의 변형 계수를 계산하도록 적응된다.

Description

디지털 이미지의 블록을 처리하는 시스템 및 방법{SYSTEMS AND METHODS FOR PROCESSING A BLOCK OF A DIGITAL IMAGE}
본 발명은, 그것의 몇몇 실시예에서, 디지털 이미지 및/또는 비디오 압축을 위한 시스템 및 방법에 관련된 것이고, 특히, 하지만 배타적이지 않게, 디지털 이미지의 블록의 처리하기 위한 변환 계수의 세트를 생성하는 시스템 및 방법에 관한 것이다.
디지털 카메라로 얻은 정지 이미지(still image)와 같은 디지털 이미지 및 디지털 비디오는 전체 데이터 세트로 표시되는 비-압축 방식으로 저장될 때 상당한 메모리 자원을 요구한다. 디지털 이미지 및/또는 비디오를 나타내는 전체 데이터 세트의 전송은 통신 대역폭과 같은 중요한 네트워크 자원을 요구할 것이다. 비디오는 특히 문제가 되는데, 단일 비디오는 수천 개의 개별 프레임을 포함할 수 있기 때문이다. 각 이미지에 대한 전체 데이터 세트의 저장 및/또는 전송은 대부분의 경우 불가능하거나, 또는 처리 및 네트워크 자원을 압도할 수 있다.
게다가, 카메라(정지 및 비디오) 및 디스플레이 스크린 모두에서 품질 및 분해능이 향상됨에 따라, 이미지 당 생성되는 데이터 양이 계속해서 증가한다. 비디오의 전송에 의존하는 모바일 장치(예를 들어, 스마트폰 및 태블릿 컴퓨터)에서 실행되는 비디오 기반 응용 프로그램은 많은 양의 네트워크 트래픽을 생성하며, 이는 특히 무선 네트워크에 문제가 된다.
이미지 및 비디오 데이터의 크기를 줄여서 필요한 스토리지 자원 및 네트워크 자원을 줄이기 위해, 정지 디지털 이미지 및 디지털 비디오의 압축을 위한 다양한 솔루션이 개발되었다.
예를 들어, 설리반 등의, IEEE Transactions on Circuits and Systems for Video Technology Vol. 22, No. 12, December 2012에 기고된 "고효율 비디오 코딩(High Efficiency Video Coding, HEVC) 표준의 개요"는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)현재 ITU-T 비디오 코딩 전문가 그룹과 ISO/IEC 동영상 전문가 그룹의 최신 비디오 코딩 표준으로서 현재 준비되고 있는, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)을 설명한다. HEVC 표준화 노력의 주요 목표는 동일한 인지 비디오 품질에 대해 50%의 비트율(bit-rate) 감소 범위에서 기존 표준에 비해 현저하게 향상된 압축 성능을 구현하는 것이다.
본 발명의 목적은 개선된 비디오 압축 기술을 제공하는 것이다.
이 목적은 독립항에서 제공된 해결 방안에 의해 달성될 수 있다. 이로운 구현예는 또한 각각의 종속항에 정의된다.
제1 측면에 따르면, 프레임 또는 그 부분 내의 블록을 코딩하기 위한 변환 계수의 세트를 생성하도록 적응된 장치로서, 프레임 또는 그 부분을 수신하도록 적응된 데이터 인터페이스에 결합된 미디어 인코더를 포함하고, 미디어 인코더는, 록과 같은 크기 및 형상을 갖는 다차원 공간 내에 복수의 서로 다른 회전 대칭(rotational symmetry)을 정의하는 복수의 회전 대칭 마스크로부터 블록을 위한 회전 대칭 마스크(rotational symmetry mask)를 선택하고, 회전 대칭 마스크에 기반하여 블록을 두 개의 상보적 부분(complementary portion)으로 분할하고, 각각이 두 개의 상보적 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하며, 회전 대칭 블록 쌍의 적어도 하나의 원소에 대해 적어도 하나의 변환 계수를 계산하도록 적응된다.
제2 측면에 따르면, 프레임 또는 그 부분 내의 블록의 변환 계수의 세트를 생성하는 방법으로서, 블록과 동일한 크기 및 형상을 갖는 다차원 공간 내에서 복수의 서로 다른 회전 대칭을 정의하는 복수의 서로 다른 회전 대칭 마스크를 포함하는 회전 대칭 마스크 라이브러리로부터 회전 대칭 마스크를 선택하는 단계; 회전 대칭 마스크에 기반하여 블록을 두 개의 상보적 부분(complementary portion)으로 분할하는 단계; 각각이 두 개의 상보적 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하는 단계; 및 회전 대칭 블록 쌍의 각 원소에 대해서 적어도 하나의 변환 계수를 계산하는 단계를 포함한다. 제2 측면에 따른 방법은 제1 측면에 따른 장치를 동작하도록 구성될 수 있다.
제3 측면에 따르면, 프레임 또는 그 부분을 디코딩 하도록 적응된 장치로서, 회전 대칭 블록 쌍의 적어도 하나의 원소를 나타내는 적어도 하나의 변환 계수, 그리고 관련된 선택된 회전 대칭 마스크, 프레임 또는 그 부분과 같은 크기 및 형상을 갖는 다차원 공간 내에서 회전 대칭을 정의하는 회전 대칭 마스크를 나타내는 신호를 수신하도록 적응된 데이터 인터페이스에 결합된 미디어 디코더를 포함하고, 상기 미디어 디코더는, 수신된 적어도 하나의 변환 계수의 역변환에 기반하여 회전 대칭 블록 쌍을 계산하고 - 여기서 상기 회전 대칭 블록 쌍의 각각의 원소는 두 개의 상보적 부분 중의 하나를 가짐 -, 회전 대칭 마스크에 기반하여 두 개의 상보적 부분으로부터 블록을 재구성하도록 적응된다. 제3 측면에 따른 장치는 제1 측면에 따른 장치에 의해 인코딩된 프레임 또는 그 부분의 블록을 디코딩하도록 적응될 수 있다.
제4 측면에 따르면, 프레임 또는 그 부분의 블록을 재구성하는 방법으로서, 회전 대칭 블록 쌍의 적어도 하나의 원소를 나타내는 변환 계수, 그리고 연관된 선택된 회전 대칭 마스크, 프레임 또는 그 부분의 블록과 같은 크기 및 형상을 갖는 다차원 공간 내에서 회전 대칭을 정의하는 회전 대칭 마스크를 나타내는 신호를 수신하는 단계; 수신된 적어도 하나의 변환 계수의 역변환에 기반하여 회전 대칭 블록 쌍을 계산하는 단계 - 여기서 회전 대칭 블록 쌍의 각각의 원소는 두 개의 상보적 부분 중의 하나를 가짐; 및 회전 대칭 마스크에 기반하여 두 개의 상보적 부분으로부터 블록을 재구성하는 단계를 포함한다. 제4 측면에 따른 방법은 제3 측면에 따른 장치를 동작하도록 적응될 수 있다.
제5 측면에 따르면, 컴퓨터 프로그램이 컴퓨터에서 실행될 때 선행하는 측면 중 하나에 따른 방법을 수행하도록 구성된다. 상기 컴퓨터 프로그램은 프레임 또는 그 부분 내의 블록을 코딩하기 위한 미디어 인코더에 의해 사용되도록 구성될 수 있고, 프로그램 코드는 블록과 동일한 크기 및 형상을 갖는 다차원 공간 내의 복수의 서로 다른 회전 대칭을 정의하는 복수의 서로 다른 회전 대칭 마스크를 포함하는 회전 대칭 마스크 라이브버리로부터 회전 대칭 마스크를 선택하기 위한 명령어, 회전 대칭 마스크에 기반하여 블록을 두 개의 상보적 부분으로 분할하기 위한 명령어, 각각이 두 개의 상보적 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하기 위한 명령어, 및 회전 대칭 블록 쌍의 각 원소에 대해 적어도 하나의 변환 계수를 계산하기 위한 명령어를 포함한다.
명확화를 위해, 인코딩 장치, 인코딩 방법 및/또는 인코딩 컴퓨터 프로그램 제품의 세부 사항이 여기에 설명된다. 각각의 기술된 인코딩 기능 및/또는 구조에 대해, 대응하는 디코딩 기능 및/또는 구조가 암시된다. 간략함 및 명료함을 위해, 설명된 인코딩 기능 및/또는 구조 요소에 대응하는 디코딩 기능 및/또는 구조 요소의 표현은 생략된다. 명확화를 위해, 미디어 인코더라는 용어는 또한 방법 및 컴퓨터 프로그램 제품을 지칭한다. 예를 들어, 미디어 인코더가 적용된 문구는 또한 상기 방법을 추가로 포함하고, 컴퓨터 프로그램 제품은 명령을 또한 포함한다.
모든 측면은 이미지 및/또는 비디오의 압축에 대한 효율성을 개선하고 및/또는 자원 요구 사항(예를 들어, 메모리 및/또는 프로세서)을 감소시킴으로써 시스템 성능을 향상시킨다.
제1 측면에 따른 장치의 제1 가능한 구현에서, 미디어 인코더는 두 개의 상보적 부분 중 하나 및 블록의 크기 및 형상을 형성하기 위해 추가된 각 부분의 2차원(2D) 거울에 의해 회전 대칭 블록 쌍의 각 원소를 생성하도록 적응된다.
제1 구현 형식에 따라, 또는 제1 측면에 따른 장치의 제2 구현 형식에서, 회전 대칭 마스크는 회전 대칭 마스크 라이브러리 내에 있고, 여기서 미디어 인코더는 블록의 크기 및 형상 중 적어도 하나에 기반하여 복수의 회전 대칭 마스크 라이브러리로부터 회전 대칭 마스크 라이브러리를 선택하도록 적응된다.
단계별 선택은 각 단계에서 선택을 위해 세트의 크기를 줄임으로써, 자원 및/또는 선택에 대한 계산을 줄임으로써, 검색 범위를 줄일 수 있다. 후보 마스크들의 더 큰 세트 대신에 라이브러리(또는 마스크 서브세트)로부터의 마스크의 선택은, 선택된 마스크를 디코더에 시그널 하기 위해 사용되는 인코딩된 비트의 개수를 감소시키거나, 및/또는 계산 복잡성 및/또는 메모리 소스 및/또는 프로세서 자원을 감소시킨다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제3 구현 형식에서, 미디어 인코더는 블록의 압축 우선권(compression preference)에 기반하여 복수의 회전 대칭 마스크 라이브러리로부터 회전 대칭 마스크 라이브러리를 선택하도록 적응된다.
압축 우선권은, 압축 파라미터가 예를 들어 크기 측면의 감소 대신에 품질의 저하와 같은 특정 트레이드오프를 내포할 때, 마스크 선택에 도움이 될 수 있다. 낮은 복잡도 측정치를 갖는 마스크는 더 적은 자원(예를 들어, 프로세서 및/또는 메모리)을 요구하는 것으로 추정된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제4 가능한 구현 형식에서, 압축 우선권은, 압축 복잡도 우선권, 압축 품질 우선권, 및 압축 크기 우선권으로 구성되는 그룹으로부터 선택된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제5 가능한 구현 형식에서, 미디어 인코더는 프레임 또는 그 일부로 구성된 비디오 데이터를 전처리함으로써 회전 대칭 마스크 라이브러리를 자동으로 생성하고, 서로 다른 회전 대칭 마스크의 저장소로부터 복수의 상이한 회전 대칭 마스크를 선택하도록 적응된다. 압축 복잡성 우선권, 압축 크기 우선권 및 압축 품질 우선권을 위한 전처리의 적어도 하나의 결과에 따라서 서로 다른 회전 대칭 마스크의 저장소로부터 복수의 서로 다른 회전 대칭 마스크를 선택하도록 적응된다.
생성된 라이브러리 내의 마스크의 개수는, 압축 기준을 만족하는 마스크만 포함되기 때문에 모든 가능한 치환을 생성하는 것보다 작을 수 있다.
비디오 데이터의 전처리는 인코더의 성능을 향상시킬 수 있다. 자원을 많이 소모하는 계산은 압축하는 대신 사전에 수행 될 수 있다. 마스크 선택을 위한 기초로서 제공되는 데이터는 압축 프로세스 동안 마스크 선택 계산을 수행하는 대신에, 블록 압축 프로세스 동안 더 빠른 마스크 선택을 허용하기 위해 준비될 수 있다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제6 가능한 구현 형식에서, 미디어 인코더는 블록 압축 복잡성, 블록 압축 크기 및 블록 압축 품질에 대한 우선권으로 구성된 그룹의 원소에 따라 회전 대칭 마스크 라이브러리를 자동으로 생성하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제7 가능한 구현 형식에서, 미디어 인코더는 프레임 또는 그 부분을 포함하는 비디오 데이터의 분류에 기반하여 복수의 회전 대칭 마스크 라이브러리로부터 회전 대칭 마스크 라이브러리를 선택하도록 적응된다.
미리 분류 된 비디오 데이터는 마스크가 보다 효율적으로 선택되거나 및/또는 분류에 기반하여 더 적은 자원을 사용하기 때문에, 시스템 성능을 향상시킨다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제8 가능한 구현 형식에서, 다차원 공간은 2차원 공간이고, 복수의 서로 다른 회전 대칭 마스크는 2차원 공간을 두 개의 상보적 부분으로 분할하기 위해서, 각각이 2차원 공간의 대향하는 가장자리를 잇는 서로 다른 선을 정의하는 복수의 행렬을 포함한다.
회전 대칭 마스크는 다차원 공간 및/또는 데이터를 분할하도록 적응될 수 있으며, 이는 다차원 공간에 기초한 서로 다른 이미지 및/또는 비디오 표준으로 여기에 기술된 시스템 및/또는 방법의 통합을 제공한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제9 가능한 구현 형식에서, 복수의 서로 다른 회전 대칭 마스크 각각은 2차원 공간의 가장자리에 대한 각 선의 각도에 따라 계층적 배열로 맵핑되고, 여기서 미디어 인코더는 계층적 배열에 따라 정의된 순서대로 복수의 서로 다른 회전 대칭 마스크들 중 적어도 일부의 반복적인 마스크 선택에서 회전 대칭 마스크를 선택하도록 적응된다.
계층적 배열은 최상의 마스크를 식별하기 위해서 처리 시간 및/또는 자원을 감소시킬 수 있다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제10 가능한 구현 형식에서, 복수의 서로 다른 회정 대칭 마스크는 블록과 동일한 크기 및 형상을 갖는 직사각형 마스크이다.
직사각형 블록을 처리하는 것은, 프레임(또는 그 서브 영역들)을 직사각형 블록들로 분할하는 것을 허용하는 표준들과 함께 본 명세서에 기술된 시스템 및/또는 방법의 호환성을 향상시킨다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제11 가능한 구현 형식에서, 미디어 인코더는 블록의 두 개의 상보적 부분 중 적어도 하나에 적응된 적어도 하나의 공간적 예측자(spatial predictor)를 사용하여 적어도 하나의 변환 계수를 코딩하도록 적응된다.
예측자에 기반하는 인코딩은 시스템 효율성을 향상시키고 및/또는 더 적은 자원을 사용한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제12 가능한 구현 형식에서, 미디어 인코더는 블록의 두 개의 상보적 부분 중 적어도 하나에 적응된 적어도 하나의 시간적 예측자(temporal predictor)를 사용하여 적어도 하나의 변환 계수를 코딩하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제13 가능한 구현 형식에서, 미디어 인코더는 두 개의 상보적 부분 중 하나에 각각 관련된 공간적 예측자(spatial predictor)를 사용하여 회전 대칭 블록 쌍 각각의 적어도 하나의 변환 계수를 코딩하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제14 가능한 구현 형식에서, 미디어 인코더는 두 개의 상보적 부분 중 하나에 각각 관련된 모션 벡터(motion vector)를 사용하여 회전 대칭 블록 쌍 각각의 적어도 하나의 변환 계수를 코딩하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제15 가능한 구현 형식에서, 미디어 인코더는 회전 대칭 마스크에 적응된 엔트로피 컨텍스트 모델을 사용하여 적어도 하나의 변환 계수를 코딩하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제16 가능한 구현 형식에서, 미디어 인코더는 두 개의 회전 대칭 블록 중 적어도 하나에 적용된 변환 프로세스의 결과 및/또는 변환 프로세스의 결과의 추정에 기반하여 회전 대칭 마스크를 선택하도록 적응된다.
결과 및/또는 추정 결과에 기반한 마스크 선택은 시스템 효율성을 향상시키고 및/또는 더 적은 자원을 활용한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제17 가능한 구현 형식에서, 미디어 인코더는 회전 대칭 블록의 적어도 하나의 원소에 대한 적어도 하나의 변환 계수에 적용된 양자화 프로세스 및 코딩 프로세스 중 적어도 하나의 결과 및/또는 결과의 추정에 기반하여 회전 대칭 마스크를 선택하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제18 가능한 구현 형식에서, 복수의 서로 다른 회전 대칭 마스크 각각은 복수의 마스크의 특정 마스크가 크기 및 형상을 갖는 예시적인 블록 상에 적용될 때 송신 된 비트의 개수를 나타내는 추정된 레이트 척도와 관련된다.
레이트 측정치는 각 마스크와 함께 저장될 수 있어서, 추정된 레이트 측정치 값에 기초하여 마스크의 신속한 선택을 가능하게 한다. 레이트 측정치는 런타임 동안 재-계산되는 대신에 각 마스크에 대해 미리 계산 될 수 있어서, 선택에 요구되는 계산을 감소시킨다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제19 가능한 구현 형식에서, 복수의 서로 다른 회전 대칭 마스크 각각은 크기 및 형상을 갖는 예시적인 블록에 관한 복수의 마스크의 특정 마스크를 적용하는 계산 복잡성을 나타내는 추정된 복잡도 측정치와 관련된다.
추정된 복잡성 측정치에 기반한 마스크 선택은 시스템 효율을 향상시키고 및/또는 더 적은 자원을 활용한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제20 가능한 구현 형식에서, 복수의 서로 다른 회전 대칭 마스크 각각은 크기 및 형상을 갖는 예시적인 블록에 관한 복수의 마스크의 특정 마스크를 적용함으로써 발생하는 압축 부산물을 나타내는 추정된 왜곡 측정치와 관련된다.
낮은 추정된 왜곡 측정치를 갖는 마스크는 타겟 압축 부산물을 달성하는 동안 더 적은 자원(예를 들어, 프로세서 및/또는 메모리)를 요구하도록 추정된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제21 가능한 구현 형식에서, 미디어 인코더는 블록 내의 픽셀 값의 패턴에 따라 회전 대칭 마스크를 선택하도록 적응된다.
픽셀 값들의 패턴에 기초한 선택은 각각의 부분 내의 픽셀들이 서로 유사한, 예를 들어 세기 및/또는 색상이 유사한 두 개의 상보적 부분을 생성한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제22 가능한 구현 형식에서, 미디어 인코더는 복수의 서로 다른 회전 대칭 마스크 중 적어도 일부를 적용하는 결과를 로깅하는 트레이닝 세트의 분석에 의해 생성된 통계적 분류자에 기초하여 회전 대칭 마스크를 선택하도록 적응된다.
통계적 분류자는 복수의 서로 다른 원하는 결과를 포함하는 결과의 예측에 기반하여 마스크의 선택을 향상시킬 수 있다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제23 가능한 구현 형식에서, 미디어 인코더는 블록의 공간적 이웃 블록 및 블록의 시간적 이웃 블록 중 적어도 하나로부터 추출된 콘텐츠에 기반하여 회전 대칭 마스크를 선택하도록 적응된다.
선택적으로, 이웃은 이전에 처리된 블록을 포함한다. 이전에 처리된 블록은 현재 처리중인 블록에 대해서 마스크 선택을 위한 예측자로서 사용될 수 있다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제24 가능한 구현 형식에서, 추출된 컨텐츠는 공간적 이웃 블록 및 시간적 이웃 블록 중 적어도 하나의 픽셀 값의 패턴에 따른다.
예측자로 사용되는 유사한 픽셀 패턴을 포함하는 인접한 블록은 시스템 성능을 향상시키고 및/또는 더 적은 자원을 요구한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제25 가능한 구현 형식에서, 미디어 인코더는 블록의 공간적 이웃 블록 및 블록의 시간적 이웃 블록 중 적어도 하나와 연관된 정보에 기반하여 수행된 회전 대칭 마스크를 선택하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제26 가능한 구현 형식에서, 공간적 이웃 블록 및 시간적 이웃 블록으로 구성된 그룹 중 적어도 하나와 연관된 정보는 예측과 관련된, 장치.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제27 가능한 구현 형식에서, 미디어 인코더는 블록의 압축 우선권에 기반하여 수행된 회전 대칭 마스크를 선택하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제28 가능한 구현 형식에서, 압축 우선권은 압축 복잡성 우선권, 압축 품질 우선권 및 압축 크기 우선권으로 구성되는 그룹으로부터 선택된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제29 가능한 구현 형식에서, 회전 대칭 블록 쌍의 각각의 원소는 주 대각선 주위에 2D 미러링 된 값을 갖는 행렬에 의해 표현된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제30 가능한 구현 형식에서, 회전 대칭 마스크는 직사각형 블록을 두 개의 2D-대칭의 상보적 부분으로 분할하기 위해서 직사각형의 대향하는 가장자리를 잇는 선을 정의하도록 적응된다.
미러링 속성은 블록의 효율적 압축을 제공한다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제31 가능한 구현 형식에서, 직사각형의 대향하는 가장자리를 잇는 복수의 선은 회전 대칭 마스크 라이브러리를 형성하도록 적응된다.
임의의 선행하는 구현 형식에 따라서, 또는 제1 측면에 따른 장치의 제32 가능한 구현 형식에서, 데이터 인터페이스는 또한, 회전 대칭 블록의 적어도 하나의 원소를 나타내는 적어도 하나의 변환 계수, 그리고 연관된 선택된 회전 대칭 마스크, 프레임 또는 그 부분의 블록과 같은 크기 및 형상을 갖는 다차원 공간 내에서 회전 대칭을 정의하는 회전 대칭 마스크를 나타내는 신호를 수신하도록 적응되고, 미디어 인코더는 또한, 수신된 적어도 하나의 변환 계수의 역변환에 기반하여 회전 대칭 블록 쌍을 계산하고 - 여기서 회전 대칭 블록 쌍의 각각의 원소는 두 개의 상보적 부분 중의 하나를 가짐 -, 회전 대칭 마스크에 기반하여 두 개의 상보적 부분으로부터 블록을 재구성(reconstruct)하도록 적응된다.
달리 정의되지 않는 한, 여기에서 사용되는 모든 기술 및/또는 과학 용어는 본 발명이 속하는 기술 분야의 당업자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 여기에 기술된 것과 유사한 또는 동등한 방법 및 재료가 본 발명의 실시예를 실시 또는 테스트하기 위해 사용될 수 있지만, 예시적인 방법 및/또는 재료가 아래에 기술된다. 충돌이 발생한 경우, 정의를 포함한 특허 명세서가 우선한다. 또한, 재료, 방법, 및 실시예는 단지 예시적인 것이며 반드시 제한하려고 의도되지 않았다.
본 발명의 일부 실시예가 첨부 도면을 참조하여 예로서 설명된다. 상세한 도면을 참조하면, 도시된 세부 사항은 예시로서 본 발명의 실시예에 대한 설명을 위한 것이다. 이와 관련하여, 도면과 함께 취해진 설명은 본 발명의 실시예가 실시될 수 있는 방법을 당업자에게 명백하게 한다.
도면에서,
도 1은 본 발명의 일부 실시예에 따른, 프레임 내의 블록을 코딩 및/또는 처리를 위한 변환 계수의 세트를 생성하는 방법의 흐름도이다;
도 2는 본 발명의 일부 실시예에 따른, 프레임 내의 블록의 코딩 및/또는 처리를 위한 변환 계수의 세트를 생성하도록 적응된 미디어 인코더의 변환부의 블록도이다;
도 3은 본 발명의 일부 실시예에 따른, 간단한 회전 대칭 마스크의 몇몇 예시를 도시하는 개략도이다;
도 4는 본 발명의 일부 실시예에 따른, 블록에 대한 회전 대칭 마스크의 선택을 도시하는 개략도이다;
도 5a 내지 도 5c는 본 발명의 일부 실시예에 따른, 회전 대칭 마스크를 정의하기 위한 픽셀 2D 미러링을 도시하는 개략도이다;
도 6a 내지 도 6c는 본 발명의 일부 실시예에 따른, 회전 대칭 마스크 라이브러리의 몇몇 예시이다;
도 7은 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 계층적 배열을 그래픽적으로 도시하는 개략도이다;
도 8은 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 생성 및/또는 대표를 도시하는 개략도이다;
도 9는 본 발명의 일부 실시예에 따른, 블록을 분할하기 위한 회전 대칭 마스크를 선택하는 다양한 컴퓨터화된 기준 및/또는 방법의 리스트이다;
도 10은 본 발명의 일부 실시예에 따른, 도 1 및/또는 도 2에 기반한 계수 인코더/디코더를 통합하는 이미지 압축 및 압축 해제 시스템의 예시의 블록도이다;
도 11은 본 발명의 일부 실시예에 따른, 프레임 내의 블록을 코딩하는 변환 계수의 세트를 디코딩하는 방법의 흐름도이다;
도 12a 내지 도 12i는 여기서 설명된 방법 및/또는 시스템의 실행의 시험 결과의 이미지 및 그래프를 포함한다.
본 발명의 일부 실시예의 일 측면은 프레임 또는 그 부분의 블록을 코딩하기 위한 변환 계수의 세트를 생성하는 방법 및/또는 시스템에 관한 것이고, 코딩은, 특정 선택된 회전 대칭 마스크에 기반하여 블록을 분할함으로써 획득되는 두 개의 상보적 부분(complementary portion)에 대해 수행된다. 상기 방법 및/또는 시스템은 이미지 품질을 현저하게 감소시키지 않으면서 블록의 압축률을 향상시킴으로써 블록을 저장 및/또는 전송하기 위해 요구되는 크기(예를 들어, 비트 수)를 감소시킨다. 임의의 이미지 품질 감소는 미리 정의된 허용 한계 이내이고 및/또는 여기에서 설명된 방법이 아닌 표준 방법을 사용하는 이미지 품질 감소와 유사하며, 예를 들어, 피크 신호 대 잡음비(peak signal to noise ratio, PSNR)가 이미지 품질을 정의하기 위한 객관적 측정 수단으로 사용될 수 있다.
여기서 설명된 바와 같이, 용어 프레임 또는 이미지는 프레임의 일부 또는 이미지의 일부를 지칭한다. 변환 계수는 전체 프레임(및/또는 이미지), 및/또는 프레임(및/또는 이미지)의 부분에 대해 계산될 수 있으며, 예를 들어, 변환 계수는 예를 들어, 압축 표준에 정의된 바와 같은, 프레임의 하위-부분(sub-part)인, 슬라이스 및/또는 타일에 대해 계산된다.
상기 방법 및/또는 시스템은, 블록에 대해 적절한 회전 대칭 마스크를 선택하고, 마스크에 기반하여 두 개의 상보적 부분으로 블록을 분할하고, 각 부분으로부터 회전 대칭 블록 쌍을 생성하며, 그리고 회전 대칭 블록 중 하나 또는 둘 모두에 대한 변환 계수(들)를 계산함으로써, 블록을 인코딩 하기 위한 인코더를 포함한다.
상기 방법들 및/또는 시스템들은 변환 계수들을 디코딩하고 블록을 재구성하기위한 디코더를 포함한다. 변환 계수는 회전 대칭 블록 쌍을 재구성하기 위해서 디코딩 된다. 회전 대칭 블록 쌍의 각 원소는 두 개의 상보적 부분 각각에 대해서 역으로 변환(예를 들어, 역 변환 계산(inverse transform calculation)에 기반하여)된다. 두 개의 상보적 부분은 회전 대칭 마스크에 의해 안내되어, 블록을 형성하기 위해 다시 연결된다.
명료함을 위해서, 인코더의 세부 사항이 여기에 설명된다. 각각의 기술된 인코딩 기능 및/또는 구조에 대해, 대응하는 디코딩 기능 및/또는 구조가 암시된다. 간략함 및 명료함을 위해서, 인코딩 기능 및/또는 구조적 요소에 대응하는 디코딩 기능 및/또는 구조적 요소는 설명에서 생략된다.
선택적으로, 마스크는 전체 블록의 압축과 비교하여 또는 블록에 대한 표준 분할 방법(예를 들어, 4개의 사각형, 예를 들어, HEVC(High Efficiency Video Coding) 및/또는 H.265 표준에서 정의된 대로)의 압축과 비교하여 보다 잘 압축된 두 개의 상보적 부분으로 블록을 분할하기 위해서 선택된다
선택적으로, 마스크는 블록의 이미지 내의 하나 이상의 시각적 특징에 기반하여 블록을 분할하도록 선택된다. 블록에는, 예를 들어 블록에 걸쳐 표시된 기울어진 선 또는 가장자리와 같은 시각적 특징으로 구분된 다양한 유형의 콘텐츠를 포함할 수 있다. 마스크는, 블록이 시각적 특징 이외의 위치에 분할될 때 형성될 수 있는 것보다, 각각이 또 다른 것에 대해 더 균일한(즉, 각각은 일반적으로 콘텐츠의 유형 중 하나를 보여줌) 두 개의 상보적 부분을 생성하기 위해서 실질적으로 시각적 특징을 따라서 블록을 분할, 예를 들어, HEVC에 의해 명확히 기술된 것과 같이 4개의 동일한 블록으로 분할할 수 있다.
선택적으로, 서로 다른 마스크가 서로 다른 블록에 대해 선택된다. 마스크는, 예를 들어 블록 내의 내용에 기반하여, 블록에 대해 독립적으로 선택될 수 있다. 각 블록의 압축은 맞춤화된 마스크 선택에 의해 향상된다.
각각의 개별 블록에 적용된 각각의 개별 마스크는 개별 블록에 대해 계산된 변환 계수의 세트에 연관된다. 예를 들어, 각 블록에 대해 사용되는 마스크는 계산된 변환 계수와 함께 전송되고, 및/또는 어떤 마스크(예를 들어, 가능한 마스크의 라이브러리 밖의)가 변환 계수와 연관되는지를 가리키는 신호가 전송된다.
마스크는 회전 대칭이라는 특성을 가진다. 선택적으로, 마스크는 블록의 형태 및 분할이 블록의 중심에 대하여 블록의 180도 회전 하에서 불변인 두 개의 상보적 부분으로 블록의 분할을 정의한다. 마스크는 바이너리 마스크(여기서 설명된 바와 같이)일 수 있다. 회전 대칭은 적절한 직교 변환 방법, 예를 들어 2D 이산 코사인 변환(discrete cosine transform, DCT)을 사용하여 2차원에서의 직교 변환 계수의 계산을 허용한다. 직교 변환 계수는 비-직교 변환 계수와 비교하여 보다 효율적으로 압축된다.
두 개의 상보적 부분 각각은 블록의 각 부분 내에 원래 이미지 콘텐츠의 2차원 토폴로지를 유지하여, 동일한 이미지의 재구성을 허용한다.
본 발명의 적어도 하나의 실시예를 상세하게 설명하기 전에, 본 발명은 도면 및/또는 예시 내에서 도시되거나 및/또는 아래 설명 내에서 설명된 컴포넌트 및/또는 방법의 구성 및 배열의 세부사항으로 그 응용이 필연적으로 제한되지 않음이 이해된다. 본 발명은 다른 실시예가 가능하거나 또는 다양한 방법으로 실시되거나 수행될 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 발명의 측면들을 수행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령들을 갖는 컴퓨터 판독 가능 저장 매체(또는 미디어)를 포함할 수 있다.
컴퓨터 판독 가능 저장 매체는 명령 실행 장치에 의한 사용을 위한 명령을 보유하고 저장할 수 있는 유형의 장치일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자 저장 장치, 또는 자기 저장 장치, 또는 광학 저장 장치, 또는 전자기 저장 장치, 또는 반도체 저장 장치, 또는 이들의 임의의 적절한 조합일 수 있고 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예에 대한 비 한정적인 리스트는, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 삭제 가능 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정전식 RAM(Static Random Access Memory, SRAM), CD-ROM, DVD, 메모리 스틱, 플로피 디스크 및 앞서 설명한 것의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는, 무선 파형 또는 다른 자유롭게 전파하는 전자기파, 또는 도파관, 또는 다른 전송 매체를 통해 전파하는 전자기파(예를 들어, 광섬유 케이블을 통과하는 광 펄스), 또는 전선을 통해 전송되는 전기 신호와 같은 일시적인 신호로 해석되어서는 안 된다.
여기서 설명된 컴퓨터 판독 가능 프로그램 명령은 네트워크, 예를 들어 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크를 거쳐 컴퓨터 판독 가능 저장 매체 또는 외부 컴퓨터 또는 외부 저장 장치로부터 각각의 컴퓨팅/처리 장치에 다운로드 될 수 있다. 네트워크는 구리 전송 케이블, 광 전송 광섬유, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 가장자리 서버를 포함할 수 있다. 각각의 컴퓨팅/프로세싱 장치 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고 각각의 컴퓨팅/프로세싱 장치 내의 컴퓨터 판독 가능 저장 매체에 저장하기 위해 컴퓨터 판독 가능 프로그램 명령을 전달한다.
본 발명의 동작을 수행하기 위한 컴퓨터 판독 가능 프로그램 명령은 어셈블러 명령어, 또는 명령어 세트 아키텍처(instruction-set-architecture, ISA) 명령어, 또는 머신 명령어, 또는 머신 의존 명령어, 또는 마이크로 코드, 또는 펌웨어 명령어, 또는 상태-설정 데이터, 또는 소스 코드 또는 스몰 토크(Smalltalk), 또는 C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 기존의 절차형 프로그래밍 언어를 포함하는, 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 객체 코드를 포함할 수 있다. 컴퓨터 판독 가능 프로그램 명령은 전체적으로 사용자의 컴퓨터 상에서, 부분적으로 사용자의 컴퓨터상에서, 독립형(stand-alone) 소프트웨어 패키지로서 부분적으로 사용자의 컴퓨터상에서 그리고 부분적으로 원격 컴퓨터상에서 또는 전체적으로 원격 컴퓨터 또는 서버상에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(local area network, LAN) 또는 광역 네트워크 (wide area network, WAN)를 포함하는, 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 접속될 수 있거나, 또는 상기 연결은 외부 컴퓨터(예를 들어, 예를 들어, 인터넷 서비스 제공자를 사용하는 인터넷을 통해)로 만들어질 수 있다. 일부 실시예에서, 예를 들어, 프로그램 가능 논리 회로, 또는 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 또는 프로그램 가능 논리 어레이(programmable logic array, PLA)를 포함하는 전자 회로는, 본 발명의 측면들을 수행하기 위해서, 전자 회로를 개인화하기 위한 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여 컴퓨터 판독 가능 프로그램 명령을 실행할 수 있다
본 발명의 측면들은 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 여기에서 설명된다. 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 블록들의 조합은 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음이 이해될 것이다.
이들 컴퓨터 판독 가능 프로그램 명령들은, 범용 컴퓨터, 또는 특수 목적 컴퓨터, 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어 기계를 생산할 수 있으며, 컴퓨터의 프로세서 또는 다른 프로그램 가능한 데이터 처리를 통해 실행되는 명령들은, 흐름도 및/또는 블록도 블록 또는 블록들에서 특정 된 기능들/행위들을 구현하기 위한 수단을 생성한다. 이들 컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 장치가 특정 방식으로 기능하도록 할 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 그것에 저장된 명령어를 갖는 그러한 컴퓨터 판독 가능 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에서 특정된 기능/작용의 측면을 구현하는 명령어들을 포함하는 제조 물품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 또는 다른 프로그램 가능 데이터 처리 장치, 또는 다른 장치 상에 로딩되어 일련의 동작 단계들이 컴퓨터에 의해 구현되는 프로세스를 만들어 내기 위해 컴퓨터, 다른 프로그램 가능 장치 또는 다른 장치상에서 수행되도록 되고, 컴퓨터, 다른 프로그램 가능 장치 또는 다른 장치에서 실행되는 그러한 명령들은 흐름도 및/또는 블록도 블록 또는 블록들에서 특정된 기능들/행위들을 구현한다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능, 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도 내의 각 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령을 포함하는 모듈, 또는 세그먼트, 또는 명령의 일부를 나타낼 수 있다. 일부 다른 구현에서, 블록에서 언급된 기능은 도면에서 언급 된 순서를 벗어나 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 때때로 블록이 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도의 블록의 조합은 특정 기능을 수행하거나 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합을 동작 또는 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있음을 유의해야 한다.
이제, 본 발명의 일부 실시예에 따른, 프레임에서 블록을 코딩하기 위한 변환 계수의 세트를 생성하는 방법의 흐름도인 도 1이 참조된다. 그리고, 본 발명의 일부 실시예에 따른 프레임 내의 블록을 코딩하기 위한 변환 계수의 세트를 생성하도록 적응된 미디어 인코더(202)의 변환부의 블록도인 도 2도 참조될 것이다. 도 2의 미디어 인코더는, 도 1의 방법의 하나 이상의 블록을 수행하도록 구성된다. 도 2의 미디어 인코더에 의해 수행되는 도 1의 방법은, 예를 들어 도 12a 내지 도 12i을 참조하여 설명된 바와 같이, 이미지 품질을 크게 저하시키지 않고, 비디오 및/또는 정지 포맷의, 디지털 이미지의 압축 성능을 향상시킨다. 인코더(202)는 설명된 인코딩 기능에 추가하여 또는 대신하여, 계수 디코더로서 기능할 수 있음을 알아야 한다. 디코딩 기능은 설명된 인코딩 기능을 기반으로 하지만 명료함과 간결함을 위해 생략되었다.
명료함 및 간략함을 위해, 미디어 인코더(202)가 변환 계수의 계산을 위한 요소 및/또는 방법을 참조하여 설명된다(여기서 설명된 바와 같이). 미디어 인코더(202)는 다른 인코딩 컴포넌트, 예를 들어 도 10의 이미지 인코더/디코더(1004)를 포함 할 수 있고 및/또는 이들과 통신 할 수 있다.
미디어 인코더(202)는 프로세서(204)에 의한 실행을 위한 프로그램 명령을 저장하는 하나 이상의 메모리(206)(또는 다른 유형의 컴퓨터 판독 가능 저장 매체)와 통신하는 하나 이상의 프로세서(204)를 포함한다. 메모리(206)는 여기서 설명된 바와 같이, 프로세싱 동안 사용을 위한 데이터를 저장할 수 있다. 미디어 인코더(202)는, 기존의 이미지 압축 소프트웨어 프로그램 내에 구현된 소프트웨어 모듈, 또는 이미지 압축을 위해 기존 하드웨어와 통합된 칩, 또는 이미지 압축을 향상시키기 위해 기존 장치에 플러그하는 별도의 박스, 또는 이들의 임의의 조합으로서 구현될 수 있다. 프로세서(204)는 병렬 처리 기술들에 기초하는 방법의 단계들을 수행할 수 있고, 단일 프로세서가 사용될 수 있으며, 및/또는 프로세서 (들)가 원격으로 위치될 수 있다. 병렬 처리는 블록의 분할을 위한 최상의 마스크를 선택하기 위해서, 미리 결정된 회전 대칭 마스크 세트 내의 다양한 후보 마스크에 대해 사용될 수 있다. 하나 이상의 메모리 (206)는 원격으로 위치될 수 있다.
미디어 인코더(202)는 이미지 및/또는 비디오의 압축을 위해서 효율을 향상시키거나 및/또는 자원 요구(예를 들어, 메모리 및/또는 프로세서)를 감소시킴으로써 시스템 성능을 향상시킨다.
102에서, 프레임 및/또는 블록이 수신된다. 미디어 인코더(202)는 프레임 (210) 및/또는 프레임의 블록(들)을 수신하도록 적응된 입력 데이터 인터페이스(208)에 결합된다. 프레임(210)은, 정지 디지털 이미지, 또는 복수의 프레임을 포함하는 비디오의 일부로서 수신될 수 있다. 프레임(210)이 비디오로부터 수신될 때, 여기서 설명된 바와 같이, 이미지 간 압축 기술(inter-image compression technique)이 적용될 수 있다.
미디어 인코더(202)는 프레임에서 분할된 블록을 지정하도록 적응된다. 선택적으로, 블록 지정자 모듈(block designator module)(212A)은 미디어 인코더(202)가 여기서 설명된 바와 같이 미디어 인코더(202)가 지정을 수행하도록 하는 프로그램 명령을 수용한다.
프레임은 예를 들어 HEVC, 동영상 전문가 그룹(Moving Picture Experts Group, MPEG), 및 합동 사진 전문가 그룹(Joint Photographic Experts Group, JPEG)과 같은 비디오 및/또는 정지 이미지 표준에 기반하여, 복수의 블록으로 분할될 수 있다.
블록은 예를 들어, 64x64 픽셀, 32x32 픽셀, 16x16 픽셀, 8x8 픽셀, 4x4 픽셀 또는 다른 크기와 같은 표준 크기를 가질 수 있다.
블록은 정사각형(LxL 픽셀) 또는 직사각형(MxN 픽셀)일 수 있다.
블록은 루마(luma) 및/또는 크로마 데이터를 나타낼 수 있다.
104에서, 회전 대칭 마스크가 선택된다. 마스크 선택자 모듈(mask selector module)(212B)은 여기서 설명된 바와 같이 미디어 인코더(202)가 마스크 선택을 수행하도록 하는 프로그램 명령을 수용한다.
선택적으로, 회전 대칭 마스크는 마스크 블록의 중심에 대해 2차(order 2)의 회전 대칭(회전 대칭이 360 / 2 = 180도를 유지함을 나타내는 C2로 때때로 지칭 됨)을 갖는다.
이제, 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 일부 예시, 예를 들어 직각 사다리꼴(302), 직각 삼각형(304), 직사각형(306) 및 정사각형(308)의 개략도를 나타내는 도 3을 참조한다.
이제 도 1을 다시 참조하면, 미디어 인코더는 블록과 동일한 크기 및 형상을 갖는 다차원 공간 내에서 복수의 서로 다른 회전 대칭을 정의하는 복수의 회전 대칭 마스크로부터 지정된 블록에 대한 회전 대칭 마스크를 선택하도록 적응된다.
이제 본 발명의 일부 실시예에 따른, 프레임(406) 내의 블록(404)에 대한 특정 회전 대칭 마스크(402)의 선택을 도시한 개략도인 도 4를 참조한다. 프레임 (406)은 집의 이미지를 포함한다. 블록(404)은 집 지붕의 일부 및 하늘의 다른 부분을 수용한다. 마스크(402)는 특정 압축 우선권 측정(certain compression preference measure)(예를 들어, 레이트-왜곡(rate-distortion)) 및/또는 집으로부터 하늘을 가장 잘 구분해내는 시각적 특징 경계 및/또는 가장자리에 기반하여, 복수의 가용 마스크(410)의 세트로부터 선택된다. 선택되지 않은 마스크의 육안 검사(visual inspection)에서 명백해진 것과 같이, 마스크(402)를 사용하는 것에 비해, 임의의 다른 마스크의 적용은 지붕 부분 내에 더 많은 하늘이 포함되게 하고 하늘 부분 내에 더 많은 지붕이 포함되게 한다. 마스크(402)에 의한 블록의 분할(404)은 표준 파티션(408) 또는 다른 마스크에 의한 전체 블록(404)의 압축과 비교하여 이미지 압축을 향상시킨다.
이제 다시 도 2를 참조하면, 회전 대칭 마스크는 선택적으로 메모리(206)에 저장되고 프로세서(204)와 통신하는 다른 컴퓨터 판독 가능 저장 매체에 저장된 회전 대칭 마스크 라이브러리(212F)에 저장된 복수의 마스크로부터 선택될 수 있다.
라이브러리(212F)는 회전 대칭 마스크의 복수의 서로 다른 라이브러리를 저장할 수 있다. 각 라이브러리는 블록의 크기 및/또는 모양에 기반할 수 있다. 예를 들어, 한 라이브러리는 크기가 16x16 픽셀인 블록의 마스크를 위한 것이고, 또 다른 라이브러리는 크기가 8x8 픽셀인 블록을 위한 것이다.
선택적으로, 서로 다른 회전 대칭 마스크는 블록과 동일한 크기 및 형상을 갖는 정사각형 마스크(즉, LxL 픽셀)이다. 또는, 서로 다른 회전 대칭 마스크는 블록과 동일한 크기 및 형상을 갖는 직사각형 마스크(즉, MxN 픽셀)이다.
회전 대칭 마스크는 대응하는 직사각형 또는 정사각형 블록을 2개의 2D-대칭의 상보적 부분으로 분할하기 위해서 직사각형 또는 정사각형의 대향하는 가장자리를 잇는 선을 정의하도록 적응된다. 서로 다른 라인은 2차원 미러링 조건에 기반하여 정의될 수 있다. 라인은 선형 또는 다른 형태, 예를 들면, 계단식 또는 다른 임의의 형태일 수 있다. 상기 선은 0 내지 359도에서 임의 각도 또는 그것의 일부로 기울어질 수 있다. 2D 미러 속성은 블록의 효율적인 압축을 제공한다.
이제 본 발명의 일부 실시예에 따른 회전 대칭 마스크를 정의하기 위한 픽셀 2D 미러링(pixel 2D mirroring)을 도시하는 개략도인 도 5a 내지 5c를 참조한다.
도 5a는 일반적인 2D 미러 컨셉트를 도시한다. 크기 8x8 픽셀의 블록(502)이 예시 목적으로 보여진다. 영역 A 및 영역 B는 블록(502)의 중앙을 수평으로 가로 지르는 가상 선(504)에 의해 분리된다. 영역 A 및 영역 B에서 동일한 개수인 픽셀은 서로의 2D 미러이다. 픽셀 2D 미러링은 MxN 직사각형으로 일반화될 수 있다. 픽셀 (m, n)이 영역 A에 있을 때, 픽셀 (M-1-m, N-1-n)은 영역 B에있다.
2D 미러 컨셉트는 서로 다른 크기의 다른 정사각형 또는 직사각형 블록에 적용될 수 있음이 이해된다. 2D 미러 컨셉트는 다른 기울기, 예를 들어, 영역 A 및 B가 블록(502)의 중앙을 통해 수직으로 위치된 가상 선에 의해 분리되고 정의되는, 수직으로 그려지는 다른 가상 선으로 도시될 수 있음이 이해된다.
블록(502)의 대향하는 가장자리를 잇고 블록(502)의 중심점을 가로 지르는 복수의 서로 다른 선은 도 5b 및 5c에 도시된 바와 같이, 회전 대칭 마스크 라이브러리를 형성하도록 적응된다. 각각 다른 선은 각기 다른 마스크를 정의한다. 각 선은 블록(502)을 두 개의 상보적인 부분, 영역 A 및 영역 B로 분할한다
선택적으로, 서로 다른 회전 대칭 마스크는 각각의 행렬(예를 들어, 각각의 픽셀 위치는 행렬 내의 위치로 표현됨)에 의해 정의된다. 각각의 행렬은 영역 A 및 B의 서로 다른 분리, 예를 들어, 2차원 공간을 2개의 상보적 부분으로 분할하기 위해, 2차원 공간의 대향하는 가장자리를 연결하는 선을 정의한다.
다른 차원 공간은, 예를 들어, 3, 또는 4, 또는 그 이상의 차수가 사용될 수 있음을 명심해야 한다. 회전 대칭 마스크는 각각의 다차원 공간, 예를 들어 3차원 공간을 분할하기 위한 평면으로 정의된다.
선이 샘플의 위치를 통과할 때, 전체 샘플이 영역 A에 할당되고 영역 B로부터 제거될 수 있기 때문에, 서브 샘플링에 대한 필요는 없다는 것을 명심해야 한다. 계산 자원(예를 들어, 프로세서 및/또는 메모리)는, 예를 들어 각각의 영역에 대한 완전한 계산 세트를 수행하는 대신에, 영역 A에 대한 가산 및 영역 B로부터의 제거에 의해 감소될 수 있다.
이제, 본 발명의 일부 실시예에 따른 회전 대칭 마스크 라이브러리의 일부 예시인 도 6a 내지 6c를 참조한다. 도 6a는 크기 32x32 픽셀의 블록을 분할하기 위한 마스크의 라이브러리의 예시이다. 도 6b는 16x16 픽셀 크기의 블록을 분할하기 위한 마스크의 라이브러리의 예시이다. 도 6c는 8x8 크기의 블록을 분할하기 위한 마스크의 라이브러리의 예시이다.
도 6a 내지 6c의 회전 대칭 마스크 라이브러리는, 마스크의 어두운 영역(602)(예를 들어, 청색) 및 마스크의 밝은 영역(604)(예를 들어, 적색)에 의해 표현되는 두 개의 사다리꼴 영역으로 블록을 분할하는 기울어진 선에 기반한다. 라이브러리의 각 마스크는 약간 다르게 기울어진 선을 갖는다. 모든 마스크는, 함께, 블록 내에서 기울어진 선의 모든 서로 다른 치환(permutation)을 정의한다. 기울어진 선 커트(cut)에 기반하여, LxL 크기의 사각형을 분할하는 2x(L-1)개의 서로 방법이 있다.
도 6b에서, 마스크(606A 및 606B)는 이전 단락의 수학식에 기초하는 30개의 마스크들의 세트를 형성하기 위해서, 32개의 마스크의 세트로부터 마스크(606A 및 606B)의 제거를 나타내는, 이것을 통과하는 평행선을 갖는다. 두 개의 마스크는 미러 대칭으로 인해 기존 마스크의 두 배가 되고, 그러므로 생성된 세트에서 제거될 수 있다. 마찬가지로, 도 6c에서, 2개의 이중 마스크는 평행선으로 보여지고, 중복 된 마스크를 세트로부터 제거하는 것을 나타낸다.
선택적으로, (하나 이상의 라이브러리로서 저장될 수 있는)서로 다른 회전 대칭 마스크 각각은 계층적 배열로 매핑된다. 계층적 배열은 최상의 마스크를 식별하기 위한 처리 시간 및/또는 자원을 감소시킬 수 있다.
각 라이브러리는 독립적으로 매핑될 수 있고, 각 개별 라이브러리의 마스크는 계층적 배열로 매핑될 수 있다. 또는, 하나 이상의 라이브러리는 동일한 계층적 배열에 기반하여 함께 매핑된다. 각 라이브러리 내의 마스크는 동일한 공통 계층 구조 배열을 기반으로 매핑된다.
마스크 세트는 개별 분리 섹션(separate disjointed section)으로 구분된다. 계층적 배열은 2차원 공간의 가장자리와 관련된 선의 각도에 따를 수 있고, 예를 들어, 계층적 배열은 도 6a 내지 6c의 선을, 예를 들어 0-60도, 61-120도, 및 121-180도의 그룹에 매핑할 수 있다. 계층적 배열은, 선이 대칭 및/또는 비대칭일 때, 181-240도, 241-300도, 및 301-360도에의 매핑을 계속할 수 있다. 계층적 배열은, 예를 들어, 0-60도 그룹이 0-15, 16-30, 31-45, 및 46-60도 그룹으로 더욱 부-분할(sub-divided)되는 것처럼 세분화될 수 있다.
이제, 본 발명의 일부 실시예에 따른 계층적 배열을 그래픽적으로 도시하는 개략도인 도 7을 참조한다.
분할된 원(702)은 마스크 라이브러리(706)에 대한 계층적 배열의 예시를 그래픽적으로 도시한다. 라이브러리(706)는 도 6b를 참조하여 설명된 바와 같이, 크기 16x16 블록에 대한 기울어진 선 마스크를 포함한다. 원(702)은 영역들(704A-H)로 분할되고, 각각은 45도의 선 기울기(line tilt)를 나타낸다. 계층적 배열은 섹터 704A 및 704E(섹터 708C로 표시), 704B 및 704F(섹터 708B로 표시), 704C 및 704G(섹터 708A로 표시), 그리고 704D 및 704H(섹터 708B로 표시)로 그룹화한 기울어진 선 마스크의 대칭 특성으로 인해 단순화된다. 각각의 섹터(708A-D)는 각각의 각도 범위 내에 속하는 선 기울기 각(line tilt angle)을 갖는 8개 또는 7개의 마스크를 포함한다.
선택적으로, 미디어 인코더는 계층적 배열에 따라 정의된 순서로 서로 다른 회전 대칭 마스크 중 적어도 일부의 반복 마스크 선택(iterative mask selection)에서 회전 대칭 마스크를 선택하도록 적응된다. 예를 들어, 도 7을 참조하면, 검색은 수학 식 22.5+45k(k=0, 1, 2, 3, 그리고 45 도의 스팬(span))에 의해 정의되는 중심각을 갖는 4개의 대표 파티션(708A-D) 중에서 수행된다. 섹션은 적절한 함수, 예를 들어, 최소 레이트 왜곡 측정(minimum rate distortion measure)에 의해 계산된 최저 비용에 기반하여 선택될 수 있다. 선택된 섹션 내의 마스크는 유사한 방식으로 선택될 수 있다. 계층적 배열이 추가 레벨을 포함하면, 추가 레벨은 마스크가 식별될 때까지 반복적인 방식으로 검색될 수 있다.
이제, 본 발명의 일부 실시예에 따른 회전 대칭 마스크의 생성 및/또는 표현을 도시하는 개략도인, 도 8이 참조된다. 선택적으로, 마스크의 라이브러리가, 마스크를 수용하는 블록 내의 서로 다른 치환에 기반하여 생성된다.
예시 목적으로서, 크기 LxL의 블록에 대한 마스크 생성이 설명되며, 이는 MxN 경우까지 확장될 수 있다. 마스크는 상부 왼쪽의 코너로부터 시작하여 블록의 중심쪽으로 진행하여 생성될 수 있다. 움직임의 조합은 블록의 중심에서부터 오른쪽 아래까지 남은 마스크 패턴을 얻기 위해 2D 미러링 될 수 있다.
마스크는 각 이동에 대한 2진 표현으로 표현될 수 있다. 각 이동은 1(예를 들어, 오른쪽으로 1스텝) 또는 0(예를 들어, 아래로 1스텝)으로 표시되는 수평(즉, 왼쪽에서 오른쪽) 또는 수직(즉 위에서 아래) 중 하나이다. 바이너리 마스크 표현은 그대로 전송되거나 추가로 압축될 수 있다. 바이너리 표현은, 예를 들어 인코더로부터 디코더로의 마스크의 효율적인(즉, 프로세서 및/또는 메모리 자원 이용의 측면에서) 전송을 제공한다.
세트 내의 각 치환은 총 2xL 이동에 의해 정의될 수 있다.
마스크(802)는 바이너리 패턴(804)에 의해 표현된다. 마스크(806)는 바이너리 패턴(808)에 의해 표현된다.
이제 본 발명의 일부 실시예에 따라, 블록을 분할하기 위한 마스크 라이브러리 및/또는 회전 대칭 마스크를 선택하기 위한 컴퓨터화 된 방법의 리스트(예를 들어, 흐름도)인 도 9가 참조된다. 마스크 및/또는 마스크 라이브러리는 선택되는 대신에 및/또는 선택되는 것에 추가하여, 블록에 기반하여 생성(예를 들어, 사전 및/또는 동적으로)될 수 있다. 미디어 인코더(202)는 방법의 하나 이상의 블록을 수행하도록 적응된다. 방법의 하나 이상의 블록이 마스크 선택을 위해 수행될 수 있다. 블록은 임의의 순서로 및/또는 동시에 수행될 수 있다.
여기서 기재된 하나 이상의 선택 방법(순차적으로 및/또는 병렬적으로, 선택적으로는 조합하여 실행됨)은 마스크의 라이브러리 내의 특정 마스크의 선택을 위한 기초로서 사용될 수 있다. 대안적으로 또는 부가적으로, 선택 방법은 복수의 마스크 라이브러리 외의 특정 마스크 라이브러리, 및/또는 라이브러리 외부의 마스크의 서브-세트를 먼저 선택하는데 사용될 수 있다. 특정 마스크는 선택된 라이브러리 및/또는 선택된 서브-세트로부터 선택될 수 있다. 단계적(step-wise) 및/또는 계층적 선택은 각 단계에서 선택을 위한 세트의 크기를 감소시킴으로써, 선택을 위한 자원 및/또는 계산을 감소시킴으로써, 검색 범위(search range)를 감소시킬 수 있다.
후보 마스크의 더 큰 세트로부터 대신에 라이브러리(또는 마스크 서브세트)로부터의 마스크의 선택은, 디코더에 신호를 보내기 위해 사용되는 인코딩된 비트의 개수를 감소시키거나, 및/또는 계산 복잡성 및/또는 메모리 소스 및/또는 프로세서 자원을 감소시킨다.
선택적으로, 902에서, 라이브러리 및/또는 마스크는 블록의 크기 및/또는 형상에 기반하여 선택된다. 마스크는 여기에 설명된 대로 선택된 라이브러리 내에서 선택될 수 있다.
대안적으로 또는 부가적으로, 904에서, 미디어 인코더는, 블록, 슬라이스, 타일, 프레임, 및 시퀀스 중 임의의 하나 이상에 대한, 하지만 이에 한정되지는 않고, 압축 우선권에 기반하여 복수의 회전 대칭 마스크 및/또는 마스크 라이브러리로부터 회전 마스크 및/또는 회전 대칭 마스크 라이브러리를 선택하도록 적응된다.
압축 우선권은 특정 마스크가 적용될 때 블록의 압축 성능을 정의하는 하나 이상의 파라미터를 포함한다. 압축 우선권은 마스크 마다 및/또는 마스크 라이브러리마다 정의될 수 있다.
압축 우선권은, 예를 들어 마스크 및/또는 라이브러리에 대해 이전에 수집된 통계 데이터에 기반하여 추정될 수 있다. 또는, 압축 우선권은, 예를 들어 하나 이상의 후보 마스크를 블록에 적용함으로써 계산될 수 있다.
압축 우선권은, 압축 파라미터가 예를 들어, 품질의 감소를 대가로 하는 크기의 감소와 같은 특정 트레이드오프(tradeoff)를 내포할 때 마스크 선택에 도움이 될 수 있다.
압축 우선권은 다음 중 하나 이상으로부터 개별적으로 또는 조합하여 선택된다.
* 압축 복잡성 우선권(Compression complexity preference): 마스크를 기반으로 압축을 수행하기 위한 프로세싱 자원, 예를 들어 계산 횟수, 프로세서 자원 및/또는 메모리 자원과 관련된 측정치이다. 측정치는 상기 방법을 실행하는 특정 컴퓨터에 따라 달라질 수 있다.
* 압축 품질 우선권(Compression quality preference)(예를 들어, 이미지 왜곡): 블록의 낮은 시각적 품질을 가져오는, 마스크의 손실 동작에 기반하는 압축이다. 낮은 품질은 육안에 의해 시각적으로 식별될 수도 있고 식별되지 않을 수도 있다. 압축 품질 우선권은, 마스크에 기초한 압축으로 인한 정보 손실과 관련된 측정치, 예를 들어, 피크 신호대 잡음비(peak signal to noise ratio, PSNR) 및/또는 구조적 유사성(structural similarity, SSIM)에 기반하여 결정될 수 있다.
* 압축 크기 우선권: 선택된 마스크에 기반한 압축 후의 블록의 크기(예를 들어, 비트의 개수)이다.
선택적으로, 미디어 인코더는 블록 압축 복잡성, 블록 압축 크기, 및 블록 압축 품질에 대한 우선권으로 구성된 그룹의 원소에 따라 회전 대칭 마스크 라이브러리를 자동으로 생성하도록 적응된다. 생성된 마스크 라이브러리는 알려진 압축 우선권 기준(compression preference criteria)을 갖고 있고, 이는 라이브러리의 쉽고 빠른 선택을 허용한다. 생성된 라이브러리 내의 마스크의 개수는, 압축 기준을 만족하는 마스크 만이 포함되는 것과 같이, 가능한 모든 치환을 생성하는 것보다 작을 수 있다.
각각의 마스크는 압축 우선권과 연관될 수 있으며, 예를 들어, 압축 우선권 값과 함께 저장, 매칭, 및/또는 태깅될 수 있다. 각각의 마스크는 압축 복잡도 우선권, 압축 품질 우선권, 및/또는 압축 크기 우선권을 계산하기 위한 하나 이상의 측정치와 연관될 수 있다.
선택적으로, 서로 다른 회전 대칭 마스크들 각각은 각각의 마스크와 동일한 크기 및 형상을 갖는 예시적인 블록 상에 각각의 마스크를 적용하는 계산적 복잡성을 나타내는 추정된 복잡도 측정치와 연관된다. 낮은 추정된 복잡도 측정치를 갖는 마스크는 더 적은 자원(예를 들어, 프로세서 및/또는 메모리)을 요구하는 것으로 추정된다. 추정된 결과에 기반한 마스크 선택은 시스템 효율성을 향상시키고 더 적은 자원을 사용한다.
선택적으로, 서로 다른 회전 대칭 마스크들 각각은 각각의 마스크와 동일한 크기 및 형상을 갖는 예시적인 블록 상에 각각의 마스크를 적용함으로써 발생되는 압축 왜곡 레벨(compression distortion level)을 나타내는 추정 왜곡 측정치와 연관된다. 추정 왜곡 측정치는, 예를 들어 시각적으로 구별할 수 없는 압축 왜곡 레벨을 갖는 마스크를 선택하여 이미지의 높은 압축을 생성하는, 손실 압축 트레이드오프에 기반하여 마스크를 선택하는데 도움이 된다. 낮은 추정 왜곡 측정치를 갖는 마스크는 목표된 압축 왜곡 레벨을 달성하면서, 더 적은 자원(예를 들어, 프로세서 및/또는 메모리)를 필요로 하는 것으로 추정된다.
선택적으로, 미디어 인코더는 블록에 대한 압축 우선권에 기반하여 회전 대칭 마스크를 선택하도록 적응된다. 선택적으로, 압축 우선권은, 압축 복잡성 우선권, 압축 품질 우선권, 및 압축 크기 선호도 중 하나 이상으로부터 선택된다.
선택적으로 또는 부가적으로, 906에서, 마스크 선택은 수신된 프레임을 포함하는 전처리된 비디오 데이터에 기반한다. 비디오 데이터의 전처리는 미디어 인코더에 의해, 또는 미디어 인코더에 연결된 다른 컴퓨터에 의해, 또는 미디어 인코더와 독립적인(예를 들어, 원격에 위치된) 다른 컴퓨터에 의해 수행될 수 있다. 전처리된 데이터는 프레임과 함께(예를 들어, 프레임에 태그됨) 및/또는 프레임에 독립적으로 미디어 인코더에게 전송될 수 있다.
전처리는 비디오의 프레임 콘텐츠의 하나 이상의 식별된 특징, 예를 들어 픽셀 패턴, 가장자리, 픽셀 강도, 및 픽셀 색상의 통계 분포에 기초할 수 있다. 비디오 데이터는 전처리 결과에 기반하여 사전-분류될 수 있다. 분류는 마스크 및/또는 마스크 라이브러리의 선택을 허용하기 위해 식별된 특징에 기초할 수 있다. 사전-분류된 비디오 데이터는, 마스크가보다 효율적으로 선택되거나 분류에 따라 더 적은 리소스를 사용함에 따라 시스템 성능을 향상시킨다.
선택적으로, 미디어 인코더는 비디오 데이터의 분류에 기반하여, 복수의 후보 회전 대칭 마스크 및/또는 마스크 라이브러리로부터 회전 대칭 마스크 및/또는 마스크 라이브러리를 선택하도록 적응된다. 예를 들어, 전처리는 비디오가 많은 직선을 갖는 프레임, 예를 들어 주택, 자동차, 또는 다른 인공 구조물의 이미지를 수용한다는 것을 식별할 수 있다. 비디오 데이터는 직선을 수용하는 것에 따라 분류될 수 있다. 직선들(즉, 서로 다른 각도들)의 마스크 라이브러리가 선택될 수 있다. 다른 예에서, 전처리는 비디오가 다수의 곡선을 갖는 프레임, 예를 들어 나무, 가지, 및 대지 지형의 이미지를 수용한다는 것을 식별할 수 있다. 비디오 데이터는 곡선을 수용하는 것에 따라 분류될 수 있다. 곡선의 마스크 라이브러리(즉, 곡선의 이산화(discretization)에 기초한 계단식 선)이 선택 될 수 있다.
콘텐츠의 전처리는 여기에 설명된 바와 같이, 예측에 기초한 인코딩을 위한 정보를 제공할 수 있다.
선택적으로, 미디어 인코더는 전처리된 비디오 데이터에 기반하여 회전 대칭 마스크 및/또는 마스크 라이브러리를 자동으로 생성하도록 적응된다. 서로 다른 회전 대칭 마스크는 하나 이상의 압축 파라미터, 압축 복잡성 우선권에 대한 전처리의 결과, 압축 크기 우선권 및/또는 압축 품질 우선권에 따라 서로 다른 회전 대칭 마스크의 마스크 저장소로부터 선택될 수 있다. 압축 파라미터는 비디오 데이터로부터 미리 계산될 수 있다.
비디오 데이터의 전처리는 인코더의 성능을 향상시킬 수 있다. 자원을 많이 소모하는 계산은 압축하는 대신 사전에 수행될 수 있다. 마스크 선택을 위한 기초로서 제공되는 데이터는, 압축 프로세스 동안 마스크 선택 계산을 수행하는 대신에, 블록 압축 프로세스 동안 더 빠른 마스크 선택을 허용하기 위해 준비될 수 있다.
대안적으로 또는 부가적으로, 908에서, 미디어 인코더는 두 개의 상보적 부분 중 적어도 하나에 적용된 변환 처리의 결과 및/또는 변환 프로세스의 결과의 추정에 기반하여 회전 대칭 마스크를 선택하도록 적응된다. 결과 및/또는 추정 결과에 기반한 마스크 선택은 시스템 효율성을 향상시키고 더 적은 자원을 사용한다.
변환 프로세스의 결과는 변환 프로세스 이후의 상보적 부분 중 하나 또는 둘 모두의 크기(예를 들어, 특정 임계치를 넘는 변환 계수의 절대값의 개수 및/또는 절대값의 합)를 포함할 수 있다. 변환 처리 후의 부분의 크기가 가장 작은 마스크가 선택될 수 있다. 크기는 두 부분의 크기의 합과 같이, 한 부분 또는 두 부분에 대해 계산될 수 있다.
변환 프로세스의 결과의 추정은 변환 프로세스의 입력인 잔여 데이터의 절대 차이의 합(Sum of Absolute Difference, SAD)을 포함할 수 있다.
변환 프로세스의 결과의 추정은 잔여 데이터의 수평 및/또는 수직 방향에 따른 1차, 2차 및/또는 고차 미분의 절대값의 합을 포함할 수 있다.
추정은 동일한 마스크를 사용하여 이전에 인코딩된 부분들로부터의 값에 기초할 수 있다.
변환 프로세스의 결과는 알려진 변환 프로세스, 예를 들어 압축 표준에 의해 정의된 변환 프로세스에 의해 추정될 수 있다.
대안적으로 또는 부가적으로, 910에서, 미디어 인코더는 회전 대칭 블록 쌍의 적어도 하나의 원소에 대한 변환 계수에 적용되는 양자화 프로세스 및/또는 엔트로피 코딩 프로세스의 결과 및/또는 결과의 추정에 기반하여 회전 대칭 마스크를 선택하도록 적응된다.
양자화 및/또는 엔트로피 코딩 프로세스 이후의 부분의 최소 사이즈를 초래하는 마스크, 예를 들어, 양자화 후의 넌-제로 계수(non-zero coefficient)의 개수, 및/또는 생성된 비트의 크기가 각각 선택될 수 있다. 크기는 두 부분의 크기의 합과 같이 한 부분 또는 두 부분에 대해 계산될 수 있다.
상기 추정은 동일한 마스크를 사용하여 이전에 양자화된 및/또는 엔트로피 코딩된 부분들로부터의 값에 기반할 수 있다.
대안적으로 또는 부가적으로, 912에서, 미디어 인코더는 블록 내의 픽셀 값의 패턴에 따라 회전 대칭 마스크를 선택하도록 적응된다. 픽셀 값들의 패턴은 예를 들어, 세기 임계화(intensity thresholding), 또는 가장자리 검출, 또는 다른 적절한 방법들에 기초하는 경계들 및/또는 가장자리를 위치시키는 방법과 같은 이미지 세그멘테이션 방법(image segmentation method)들에 의해 블록으로부터 추출될 수 있다. 픽셀 값의 패턴은 블록 내의 식별된 선 및/또는 선(또는 곡선)의 패턴의 방향을 포함 할 수 있다. 추출된 픽셀 패턴은, 예를 들어 추출된 픽셀 패턴과 가장 유사한 패턴을 갖는 마스크, 예컨대 블록의 식별된 선과 동일한 방향 및/또는 패턴을 갖는 매칭 마스크를 식별하기 위한 최저 비용 함수에 기반하여, 특정 대칭 마스크에 매칭될 수 있다. 픽셀 값의 패턴에 기반한 선택은, 각 개별 부분 내의 픽셀이 서로에 대해 유사한, 예를 들어, 세기 및/또는 색상이 유사한 두 개의 상보적 부분을 생성한다.
예를 들어, 도 4를 다시 참조하면, 블록(404) 내의 지붕과 하늘 사이의 가장자리는 가장자리 검출 방법에 기반하여 추출된다. 검출된 가장자리는 비용 함수에 기반하여 마스크(402)에 맵핑된다. 마스크(402) 내의 패턴은 마스크 라이브러리로부터 추출된 가장자리와 가장 유사한 패턴이다.
대안적으로 또는 부가적으로, 914에서, 회전 대칭 마스크는 특정 회전 마스크가 처리되는 블록과 동일한 크기 및/또는 형상을 갖는 예시적인 블록에 적용될 때 전송되는 비트의 개수를 나타내는 추정 비율 측정치에 기반하여 선택된다. 적은 개수의 비트는 특정 마스크와 함께 효율적인 압축을 나타낸다. 서로 다른 회전 대칭 마스크들의 각각은 마스크가 크기 및 형상을 갖는 예시적인 블록 상에 적용될 때 전송된 비트들의 개수를 나타내는 추정된 레이트 측정치와 연관된다.
레이트 측정치는 각 마스크와 함께 저장될 수 있어서, 추정된 레이트 측정치 값에 기반한 마스크의 신속한 선택을 가능하게 한다. 레이트 측정치는 런타임 동안 재 계산되는 대신에 각 마스크에 대해 미리 계산될 수 있으며, 따라서 선택을 위해 요구되는 계산을 감소시킨다. 레이트 측정치는 블록의 이전 샘플의 평균(또는 다른 측정치)에 기반한 미리 정의된 블록일 수 있는, 예시적인 블록에 기반하여 계산될 수 있다. 예시적인 블록은, 처리되는 블록과의 유사성에 기반하여, 예를 들어, 비용 함수에 기반하여, 블록의 라이브러리로부터 선택될 수 있다.
대안적으로 또는 부가적으로, 916에서, 미디어 인코더는 통계적 분류자(statistical classifier)에 기반하여 회전 대칭 마스크를 선택하도록 적응된다. 통계적 분류자는 서로 다른 회전 대칭 마스크 중 적어도 일부에 적용하는 결과들을 로깅하는 트레이닝 세트의 분석에 의해 생성된다. (가중 될 수 있는)결과는, 예를 들어, 압축 성능 메트릭(예를 들어, 크기, 복잡성, 품질), 프로세서 자원 활용 및 메모리 활용을 포함할 수 있다. 통계적 분류자는 복수의 서로 다른 원하는 결과를 포함하는 결과의 예측에 기반하여 마스크의 선택을 향상시킬 수 있다.
훈련 세트는 시스템에 의해 처리된 실제 프레임의 이력에 기반하여 획득될 수 있다. 대안적으로, 훈련 세트는 처리될 프레임 유형의 예측에 기반하여 획득될 수 있으며, 예를 들어, 자연 채널은 자연 비디오로 분류자를 훈련시킬 수 있다.
분류의 결과는 분류자를 더 훈련시키고 분류자를 갱신하기 위한 입력으로 사용될 수 있다.
통계적 분류자는 감독된 학습 및/또는 감독되지 않은 학습 방법에 기반하여 훈련될 수 있다.
분류자는 블록 자체에 적용되어, 블록 내의 픽셀을 2개의 그룹 중 하나로 분류할 수 있다. 2개의 그룹은 회전 대칭 마스크의 회전 대칭 제약에 기반하여 분할될 수 있다. 마스크는 블록 내의 두 그룹의 배열과 일치하도록 선택된다. 2개의 상보적 부분의 각 부분은 각각의 그룹으로부터의 픽셀을 포함하는 마스크를 사용하여 블록의 분할로부터 생성한다.
대안적으로 또는 부가적으로, 918에서, 미디어 인코더는 블록의 공간적 및/또는 시간적 이웃 블록들로부터 추출된 콘텐츠에 기반하여 회전 대칭 마스크를 선택하도록 적응된다. 이웃은 이미지내(intra-image) 및/또는 이미지간(inter-image) 블록일 수 있다. 공간적 블록은 블록에 대해 하나, 또는 여러, 또는 모든 방향 내의 블록의 이웃이 될 수 있다. 시간적 이웃 블록들은 이전 프레임(예를 들어, 시간상으로 먼저) 및/또는 후속 프레임(예를 들어, 시간 상으로 나중) 내의 이웃 블록으로부터 일 수 있다. 블록은 직접적으로 이웃이거나, 2개 이상 떨어진 블록(또는 프레임)에 위치할 수 있다. 예측자(predictor)로 사용되는 유사한 픽셀 패턴을 수용하는 이웃 블록은 시스템 성능을 향상시키고 더 적은 자원을 요구한다.
선택적으로, 이웃은 이전에 처리된 블록을 포함한다. 이전에 처리된 블록은 현재 처리 중인 블록에 대한 마스크의 선택을 위한 예측자로 사용될 수 있다. 선택적으로, 회전 대칭 마스크의 선택은 블록의 공간적 및/또는 시간적 이웃 블록과 연관된 정보에 기반하여 수행된다. 선택적으로, 공간적 및/또는 시간적 이웃 블록과 연관된 정보는 예측과 관련된다. 예를 들어, 정보는 처리되는 현재 블록과 하나 이상의 이웃 간의 차이를 줄이기 위한 데이터를 포함할 수 있고, 여분의 정보는 생략된다. 마스크는 차이 데이터에 기반하여 선택될 수 있다.
선택적으로, 추출된 콘텐츠는 공간적 및/또는 시간적 이웃 블록 내의 픽셀 값의 패턴에 따른다. 이웃 블록의 픽셀 패턴은 현재 블록 내에서 마스크의 선택을 위한 예측자로서 작용할 수 있다. 예를 들어, 픽셀 패턴은 지붕과 하늘 사이의 경계 및/또는 가장자리를 포함한다(도 4를 참조하여 설명됨). 지붕과 하늘 사이의 가장자리는 여러 인접한 블록에 걸쳐 계속된다.
예측자에 기반한 인코딩은 시스템 효율성을 향상시키고 및/또는 더 적은 자원을 활용한다.
이제 다시 도 1을 참조하면, 106에서, 블록은 회전 대칭 마스크에 기초하여 두 개의 상보적 부분으로 분할된다. 선택적으로, 블록 분할자 모듈(block splitter module)(212C)은 미디어 인코더(202)가 여기서 설명된 바와 같이 블록 분할을 수행하기 위한 프로그램 명령을 수용한다.
108에서, 각각이 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍이 생성된다. 선택적으로, 쌍 생성기 모듈(pair generator module)(212D)은 미디어 인코더(202)가 여기에 설명된 바와 같이 쌍 생성을 수행하기 위한 프로그램 명령을 수용한다.
미디어 인코더는 두 개의 상보적 부분 중 하나 및 블록과 동일한 크기 및/또는 형상을 갖는 블록을 형성하기 위해 부가되는 또 다른 부분에 기반하여 회전 대칭 블록 쌍의 각 원소를 생성하도록 적응된다.
선택적으로, 부가되는 부분은 회전 대칭 블록이 구성되는 부분의 2D 미러이다.
선택적으로, 부가되는 부분은 회전 대칭 블록이 구성되는 부분의 2D 미러이지만, 음의 부호가 추가된다. 이 경우 회전 대칭 블록은 두 개의 반-대칭(anti-symmetric) 부분을 수용한다.
선택적으로, 부가되는 부분은 예를 들어, 모두 0인, 미리 정의된 시퀀스가 있는 패딩을 포함한다.
선택적으로, 부가되는 부분은 회전 대칭 블록이 구성되는 부분의 180도 회전에 기반하여 생성된다.
선택적으로, 부가되는 부분의 치수는 상보적 부분의 치수, 예를 들어, 2차원에 기반한다.
생성된 회전 대칭 블록 쌍의 각 원소는 선택된 마스크에 기초하여 주 대각선 또는 선택된 마스크에 기반한 다른 커트-라인 패턴 주위에 2D 미러링된 값을 갖는 행렬로 표시된다.
110에서, 회전 대칭 블록 쌍의 하나 또는 두 원소에 대한 하나 이상의 변환 계수가 계산된다. 선택적으로, 변환 계수는 회전 대칭 블록 각각에 대해 계산된다. 선택적으로, 계수 계산 모듈(coefficient calculation module)(212E)은 미디어 인코더(202)가 여기에 설명된 바와 같이 변환 계수 계산을 수행하기 위한 프로그램 명령을 수용한다.
변환 계수의 계산은 하나 이상의 인코딩 기술에 기초하거나, 하나 이상의 표준 기반 계산 방법 및/또는 독점적인 방법에 기초하여 수행될 수 있다. 인코딩 기술의 예시는, 예를 들어, 각 차원을 따라 적용되는 두 개의 분리 가능한 고속 이산 코사인 변환(discrete cosine transform, DCT)에 기초하여 계산될 수 있는 2차원 이산 코사인 변환 (DCT)을 포함하고, 예를 들어, 회전 대칭 블록이 매트릭스로 표현될 때, 상기 2D-DCT는 행을 따라 계산되고 다음 열을 따라 계산되거나, 또는 열을 따라 계산되고 다음 행을 따라 계산될 수 있다. 변환 방법의 다른 예시는, 2D 이산 사인 변환(Discrete Sine Transform, DST) 및 미러링 조건을 유지하는 다른 직교 및/또는 직교 변환 방식을 포함하고, 예를 들면 다음과 같다.
Tp,q(M-m-1,N-n-1) = (-1)(p+q)Tp,q(m,n),
여기서 {Tp,q(m,n)}는 2D 변환 기반이고, (m,n)은 픽셀 위치이고, m=0,1,...,M-1이고, n=0,1,...,N-1이고, p 및 q는 공간 주파수이고, p=0,1,...,M-1이고, q=0,1,...,N-1이며, p+q는 대칭 및 반-대칭 경우에 대해 각각 짝수 또는 홀수이다.
표준 기반 인코딩 기술의 예시는 정수 변환 및/또는 역변환에 대한 HEVC 및/또는 H.265 표준이다.
선택적으로, 계수의 직교 변환 세트는 2D 미러링 된 부분이 음의 부호(즉, 반-대칭)로 추가될 때 두 개의 상보적 부분들 각각에 대해 계산된다. 변환 계수의 계산을 위한 대칭 및 반-대칭 변환 함수에 대한 세트는 서로 다를 수 있다. 변환 계수를 계산할 때, 각각의 대칭 또는 반-대칭 변환 함수가 사용된다.
선택적으로, 미디어 인코더는 회전 대칭 마스크의 각 부분에 적응된 하나 이상의 공간적 예측자를 사용하여 변환 계수(들)를 코딩하도록 적응된다. 변환은 예측 블록(predictive block), 예측 벡터(predictive vector), 예측 에러(predictive error), 및/또는 예측 나머지(predictive residual)에 대해 계산될 수 있다. 예측 나머지는 처리되는 회전 대칭 블록 내의 부분 및 그에 대응하는 예측 블록 간의 차이에 기반하여 시간적 및/또는 공간적 블록(즉, 이미지 간 및/또는 이미지내 블록)에 대해 계산될 수 있다.
선택적으로, 미디어 인코더는 회전 대칭 마스크의 각 부분에 적응된 하나 이상의 시간적 예측자를 사용하여 변환 계수(들)를 코딩하도록 적응된다. 대안적으로 또는 부가적으로, 미디어 인코더는 각각의 대응하는 부분에 관련된 공간적 예측자를 사용하여 회전 대칭 블록 각각의 변환 계수(들)를 코딩하도록 적응된다. 대응적으로 또는 부가적으로, 미디어 인코더는 각각의 대응하는 부분에 관련된 모션 벡터를 사용하여 회전 대칭 블록 쌍 각각의 변환 계수(들)를 코딩하도록 적응된다. 모션 벡터는 시간적 예측을 계산하는 데 사용될 수 있다.
변환 계수는 모든 변환 계수에 대한 하나의 방법, 서로 다른 변환 계수(또는 변환 계수 세트)에 대한 서로 다른 방법, 및/또는 방법들의 조합에 기반하여 계산될 수 있음을 명심해야 한다.
선택적으로, 미디어 인코더는 회전 대칭 마스크에 적용된 엔트로피 컨텍스트 모델(entropy context model)을 사용하여 변환 계수(들)을 코딩하도록 적응된다. 엔트로피 컨텍스트 모델은, 예를 들어, 허프만 코딩(Huffman coding) 및/또는 산술 코딩(arithmetic coding)에 기반하여, 무손실 데이터 압축으로 변환 계수를 인코딩하기 위해, 선택된 마스크의 지식에 기반하여 정의될 수 있다. 마스크의 엔트로피 특성은 미리 인코더에 알려지므로, 보다 간단한 코드가 계산될 수 있다.
엔트로피 컨텍스트 모델이, 예를 들어, H.265/HEVC, 또는 H.264/MPEG-4, 또는 다른 표준의 컨텍스트 적응적 이진 산술 코딩(Context Adaptive Binary Arithmetic Coding, CABAC)과 같은 컨텍스트 적응 이진 산술 코딩 (CABAC) 방식과 같이, 독점적으로 설계된 모델, 및/또는 표준 기반 모델일 수 있다.
112에서, 계산된 변환 계수는 추가 처리, 저장, 및/또는 전송을 위해 제공된다. 선택적으로, 미디어 인코더(202)에 결합된 출력 입력 인터페이스(214)는 여기서 설명된 바와 같이, 계산된 변환 계수(216)를 제공하도록 적응된다.
선택적으로, 114에서, 블록들(102-112)은 프레임 내의 다른 블록들에 대해 반복된다. 블록들(102-112)은 다른 프레임들에 대해 반복될 수 있다. 어떤 프레임의 블록은 병렬로 처리될 수 있다는 것을 명심해야 한다.
이제, 본 발명의 일부 실시예에 따른 계수 인코더/디코더(1002)를 통합하는 이미지 압축 및 압축 해제를 위한 예시적인 시스템(1000)의 블록도인, 도 10이 참조된다. 인코더/디코더(1002)는 도 2를 참조하여 설명된 바와 같은 미디어 인코더(202)의 변환부(transform part), 인코더(202)의 변형(variant)(예를 들어, 다른 인코더/디코더의 프로세서를 이용하여, 프로세서(204) 없이), 및/또는 도 1의 방법의 또 다른 구현을 포함할 수 있다. 시스템(1000) 내의 인코더(1002)의 통합은 예를 들어, 프로세서 자원 요구 사항, 송신기/수신기 요구 사항, 및/또는 메모리 요구 사항을 감소시킴으로써, 압축 성능을 향상시킴으로써, 시스템 (1000)의 전체 성능을 향상시키는 이미지 및/또는 비디오의 코딩 효율을 향상시킨다. 시스템(1000) 내의 인코더(1002)의 통합은 더 높은 이미지 품질, 더 높은 이미지 해상도 및/또는 동일한 자원을 사용하여 많은 수의 이미지를 처리하는 것을 허용한다.
계수 인코더/디코더(1002)는, 예를 들어 디지털 카메라 내의, 텔레비전(예를 들어, 고화질 TV) 내의, 디지털 캠코더 내의, 또는 텔레비전 방송 유닛 내의, 스마트폰(또는 다른 모바일 장치) 내의, 웹 브라우저 내의, 이미지 및/또는 비디오를 보고 및/또는 편집하기 위한 컴퓨터 소프트웨어 내의, (네트워크 성능을 향상시키기 위한)네트워크 장치 내의, 실시간 대화 응용 프로그램(예를 들어, 비디오 채팅, 화상 회의, 및 텔레프레즌스 시스템) 내의, 디지털 이미지 및/또는 비디오와 연관된 장치 및/또는 시스템 내에서 구현될 수 있다. 인코더/디코더(1002)의 구현은, 예를 들어 더 많은 사진 및/또는 비디오가 메모리에 저장되도록 하고, 사진 및/또는 비디오가 높은 품질 및/또는 해상도로 저장되도록 하고, 그리고 각 사진 및/또는 비디오의 크기를 낮춤으로써 네트워크 연결을 통해 사진 및/또는 비디오의 보다 빠른 전송을 가능하게 할 수 있도록, 자원 요구 사항(예를 들어, 메모리)을 감소시킴으로써 장치 및/또는 시스템의 성능을 향상시킬 수 있다.
인코더/디코더(1002)는 압축 및/또는 압축 해제에 의해 이미지 및/또는 비디오를 인코딩 및/또는 디코딩하도록 구성된 이미지 인코더/디코더(1004)와 통합된다. 인코더/디코더 (1004)는 표준(예를 들어, HVEC, MPEG-4, JPEG) 및/또는 하나 이상의 독점 프로토콜에 기반할 수 있다. 계수 인코더/디코더(1002)는, 예를 들어 인코더/디코더(1004)의 하드웨어 내에 통합된 칩 또는 다른 하드웨어 요소(들)로서, 인코더/디코더(1004)에 플러그하는 칩 또는 다른 하드웨어 요소로서, 외부 소프트웨어 모듈로서, 인코더/디코더 (1004)의 코드 내에 통합된 소프트웨어 모듈 및/또는 이들의 조합으로서, 이미지 인코더/디코더(1004)에 통합될 수 있다.
이미지 인코더/디코더(1004)는 인코딩 및/또는 디코딩 구성 요소를 포함할 수 있고, 예를 들어 양자화(예를 들어, 양자화 모듈에 의해), 계수 스캐닝(예를 들어, 계수 스캐닝 모듈에 의해), 엔트로피 코딩(예를 들어, 엔트로피 코딩 모듈에 의해), 이미지내 및/또는 이미지간 예측(예를 들어, 예측 모듈에 의해) 중 하나 이상을 수행할 수 있다.
시스템 (1000)은, 예를 들어, 이미지 생성기(1008)로부터, 전송기/수신기(1010)(예를 들어, 네트워크 인터페이스, 텔레비전 케이블, 무선 송수신기)로부터, 이미지를 저장하는 메모리(1012)로부터, 하나 이상의 이미지를 수신하도록 구성된, 이미지 인코더/디코더(1004)와 결합된 데이터 인터페이스(1006)을 포함한다.
수신된 이미지는, 도 1 및/또는 도 2를 참조하여 설명된 하나 이상의 이미지 프레임의 하나 이상의 블록에 대해 생성될 변환 계수와 함께, 이미지 인코더/디코더(1004)에 의해 프로세싱된다.
압축된 이미지는 메모리(1012)에 저장될 수 있고, 및/또는 전송기/수신기(1010)를 사용하여 전송될 수 있다.
디코딩시, 이미지는 메모리(1012) 상의 저장 장치에서 검색될 수 있고, 및/또는 전송기/수신기(1010)로부터 수신될 수 있다. 디코딩은, 여기에 설명된 대로 계수 인코더/디코더(1002)에 의한 변환 계수의 디코딩과 함께, 이미지 인코더/디코더(1004)에 의해 일어난다. 디코딩된 이미지는 디스플레이(1014) 상에 디스플레이되거나, 전송기 수신기(1010)에 의해 송신되거나, 및/또는 메모리(1012) 상에 저장 될 수 있다.
이제, 본 발명의 일부 실시예에 따른, 변환 계수의 세트로부터 프레임 내의 블록을 재구성하기위한 방법의 흐름도인 도 11이 참조된다. 도 11의 방법은 도 1의 방법에 기초하고, 도 1의 방법에 상보적이다. 도 1의 방법은, 도 11의 방법에 기반하여 역 변환된, 블록을 변환하는 것을 도시한다. 도 11의 방법은, 미디어 디코더의 역 변환 부로서 동작하도록 구성된 미디어 인코더의 도 2의 변환부(202)에 의해 수행될 수 있다. 역변환은 각각의 변환 모듈 및/또는 하나 이상의 역변환 처리 구성 요소를 수행하도록 구성된 다른 모듈에 의해 수행될 수 있다.
1102에서, 회전 대칭 블록 쌍의 하나 이상의 원소를 나타내는 변환 계수(들)가 수신된다. 몇몇 경우에, 임의의 계수를 갖지 않는 하나 이상의 회전 대칭 블록들이 수신될 수 있고 및/또는 수신되지 않을 수 있고(예를 들어, 계수없는 블록들이 스킵 될 수 있음), 예를 들어 회전 대칭을 나타내는 변환 계수를 나타내지 않는 신호 블록들이 수신될 수 있다는 것을 명심해야 한다. 대안적으로 또는 부가적으로, 어떤 경우에서, 전체 블록에 대해 하나의 계수만이 수신된다(예를 들어, DC 계수).
연관된 선택된 회전 대칭 마스크를 나타내는 신호가 의도적으로 수신되지 않을 때(예를 들어, 마스크가 예측자의 방향으로부터 추론되는 경우) 알려지거나 수신된 것으로 가정 될 수 있다. 회전 대칭 마스크는 프레임의 디코딩된 블록과 동일한 크기 및/또는 형상을 갖는 다차원 공간에서 회전 대칭을 정의한다.
1104에서, 회전 대칭 블록 쌍이 수신된 변환 계수에 기반하여 계산된다. 회전 대칭 블록 쌍의 각 원소는 두 개의 상보적 부분 중 하나를 포함한다.
1106에서, 두 개의 상보적 부분의 각 부분은 회전 대칭 블록 쌍의 각각의 원소로부터 추출된다.
블록(1108)에서, 블록은 두 개의 상보적 부분들로부터 재구성된다. 재구성은 회전 대칭 마스크에 기반하여 유도될 수 있다. 또는, 블록은 정사각형 또는 직사각형 블록을 형성하는 것에 기반하여 유도되고, 마스크 없이 부분들로부터 재구성되며, 이는 예를 들어 두 부분을 퍼즐 조각처럼 맞추는 것이다.
선택적으로, 블록은 프레임 내에서 지정된다.
1112에서, 디코딩된 블록은 추후 처리, 저장을 위해 제공되거나, 및/또는 전송된다. 프레임은 재구성된 블록들로부터 재구성 될 수 있다. 프레임은, 예를 들어 비디오의 일부로서 스크린 상에 디스플레이 될 수 있다.
이제, 여기에 설명된 방법 및/또는 시스템 실행의 실험 결과의 이미지 및 그래프를 포함하는, 도 12a 내지 도 12i를 참조한다. 그래프는 압축 표준에 기반한 방법을 사용하는 이미지 압축과 관련하여, 여기에 설명된 시스템 및/또는 방법을 사용하면 성능이 향상되었음을 보여준다. 실험은 프레임내(infra-frmae) 코딩 방법을 사용하여 개별 프레임을 기반으로 한다.
실험은 아래와 같이 수행된다.
각각의 YUV 비디오 시퀀스로부터 하나의 프레임이 획득된다. 공통 중간 형식(common intermediate format, CIF), 분기-CIF(quarter-CIF, QCIF), 및 고화질(HD)을 포함하는, 다양한 표준에 의해 정의된 대로, 다양한 프레임 크기가 사용된다. 각 프레임은, 8x8, 16x16, 및 32x32 픽셀의 크기를 포함하는, 고정된 NxN 크기의 블록으로 균일하게 분할된다.
2x(N-1)개의 서로 다른 선 오리엔테이션(orientation)을 수용하는 회전 대칭 마스크 라이브러리가 마스크 선택 및 적용을 위해 생성된다.
정수 변환, 스케일링, 및 양자화 방식이 H.265 표준에 기반하여 적용된다.
계수 스캐닝은 변환 계수의 NxN 행렬을 변환 계수의 4x4 서브 행렬로 세분함으로써 수행된다. 계수 스캔은 제로 계수는 건너 뛰면서 각 4x4 행렬에서 지그재그 스캔을 사용하여 수행된다.
변환 계수는 H.264 CAVLC 표준에 기반하여 코딩되며, 이는 또한 예측 모드, 마스크 유형 및 MBtype에 대한 신호로 정의된다(여기서는 선택된 인코딩된 블록으로 정의된다(즉, 표준 NxN 블록 또는 여기서 설명된 바와 같은 두 개의 상보적 부분으로 분할된 블록)).
NxN 블록에 대한 블록 내부-예측은 네 가지 모드, 수직 (V), 수평 (H), DC(즉, 편평한)(D), 및 평면 (P)의 네 개 모드를 기반으로 한다. 회전 대칭 블록 쌍의 코딩 원소는 개별 및/또는 공통 내부-예측자에 기반한다. 공통 내부-예측자는 4개의 내부 모드, V, H, D 및 P를 포함한다. 분리 내부-예측자는 4개의 내부 모드, VV, VH, ..., 및 PP의 조합의 치환에 기초한 16개의 내부 모드를 포함한다.
표준 NxN 인코딩 방법에 기반하여 특정 블록을 인코딩할지, 또는 회전 대칭 마스크를 적용하고 회전 대칭 블록 쌍을 인코딩할지(여기서 설명된 대로)에 대한 결정은, SSE + 람다*Bits로 정의된 레이트 왜곡(rate distortion, RD) 비용 함수에 기반했다. 여기서 SSE는 재구성된 블록 및 입력 블록 사이의 제곱 에러의 합을 나타내며, 람다는 양자화 파라미터(Qp)에 의존하는 항을 나타내며, Bits는 시그널링 비트를 포함하는 블록 내의 인코딩된 비트의 개수를 나타낸다. 인코딩 결정은 또한 넌-제로 계수의 백분율(PerNZ Coeff에 의해 그래프로 표현됨)에 기반한다.
결과는 다음과 같이 요약된다.
동일한 PSNR에 대해 최대 15%의 비트율 감소가 나타난다. 크기가 16x16인 블록으로 분할된 35개의 QCIF 시퀀스 프레임에 대해, 35-45dB의 PSNR 범위에 대한 비트 전송률이 평균 7%의 감소가 달성되었다. 16x16 크기의 블록으로 분리된, 10개의 큰 사이즈의 시퀀스 프레임에 대해, 약 7.5%의 평균 감소가 달성되었다.
도 12a는 여기에 기술된 실험의 일부로서 여기에 기술된 시스템 및/또는 방법에 따라 처리되는 이미지(즉, 프레임)의 예시이다. 이미지는 이름이 akiyo.cif인 CIF 시퀀스의 10 번째 프레임에 해당한다. CIF 프레임의 352x288 픽셀의 크기를 갖는다. 프레임은 정사각형 NxN 블록을 기반으로 블록으로 균일하게 분할되고, 여기서 N=16 픽셀이다(예제 블록은 1202로 표시됨). 프레임은 Qp=30을 사용하여 인코딩된다. 2(N-1)=30개의 서로 다른 선 오리엔테이션을 수용하는 회전 대칭 마스크 라이브러리는 블록을 분할하기 위한 마스크의 선택을 위한 기초를 제공한다. 연관된 선택된 마스크(1204)에 선 오리엔테이션을 갖는 블록, 예를 들어, 마스크(1204)를 갖는 블록이 도시되어 있다. 많은 경우에, 마스크 선은 블록 내의 가장자리에 따른다. 마스크가 선택되지 않은 블록은 단일 NxN 블록으로 인코딩되고, 마스크없이 이미지에 도시되었다(예를 들어, 블록 1202).
도 12b 내지 도 12i의 그래프는 도 12a의 처리에 기초한 실험 결과를 포함한다.
도 12b는, 동일한 목표 품질 수준(PSNR로 표시됨)에서, 표준 NxN 변환 블록을 사용하여 도 12a의 인코딩 이미지에 대해, 인코딩을 위해 블록을 두 개의 상보적 부분으로 분할하도록 마스크가 선택될 때의 도 12a의 전체 프레임에 대한 비트 레이트의 개선을 나타내는 그래프이다. 상기 그래프는 PSNR의 함수로서 비트율 향상의 백분율을 도시한다. 여기서 설명된 시스템 및/또는 방법을 사용하여 도 12a의 이미지에 대해 10% 이상의 비트율 향상이 달성되었음을 알 수 있다.
도 12c는, 동일한 목표 품질 수준(PSNR로 표시됨)에서, 표준 NxN 변환 블록을 사용하여 도 12a의 인코딩 이미지에 대해, 인코딩을 위해 블록을 두 개의 상보적 부분으로 분할하도록 마스크가 선택될 때의 도 12a의 전체 프레임에 대한 퍼 넌-제로(per non-zero, PerNZ) 계수의 관점에서의 개선을 도시하는 그래프이다. 양자화 후에 0이 아닌 변환 계수의 개수는 변환 계수를 코딩하기 위한 인코딩된 비트의 개수를 추정하는데 사용된다. 넌-제로 계수 측정치는 시그널링 비트의 오버헤드(예를 들어, 예측 모드, 마스크 선택 모드, 및 MB 유형)를 포함하지 않는다는 것을 유의해야 한다. 그래프는 여기에 기재된 시스템 및/또는 방법을 사용하여 약 15%의 넌-제로 변환 계수의 백분율에 대한 개선을 보여준다.
도 12d는 C2 처리 방식 및 NxN 처리 방식에 대한, 비트율의 함수로서 Y-PSNR을 도시하는 그래프이다. C2 처리 방식은 마스크 선택 및 변환 블록에 대한 두 개의 상보적 부분의 생성, 또는 표준 방법을 사용하는 NxN 블록의 인코딩에 기반하여 여기에 설명된 방법 및/또는 시스템이다. 마스크 기반 인코딩 또는 NxN 블록 기반 인코딩의 선택은, 각 마스크 기반 파티션 및 각 NxN 블록과 연관된 특정 측정치를 기반으로 한다. NxN 처리 방식은 각 블록을 단일 NxN 블록으로 인코딩하는 표준 방법을 기반으로 한다. 그래프는 C2 방식이 동일한 비트율에 대해 향상된 품질을 나타내는 동일한 PSNR 값에 대해 NxN 방식보다 낮은 비트 전송률을 달성했음을 보여준다.
도 12e는 C2 방법 및 NxN 방법에 기초하여 전체 프레임에 대한 넌-제로 변환 계수의 백분율의 함수로서 Y-PSNR을 도시하는 그래프이다. 그래프는 넌-제로 변환 계수의 동일한 백분율에 대해 개선된 품질을 나타내는, 동일한 PSNR에 대한 넌-제로 변환 계수의 더 낮은 백분율의 측면에서, C2 방식(즉, 여기에 설명된 시스템 및/또는 방법)에 기반한 개선된 압축 성능을 도시한다.
도 12f는 NxN 표준 경우에 내부-예측 모드의 적용 빈도를 도시하는 히스토그램이다. x축 상에서, 1은 예측 없음, 2는 수직 예측, 3은 수평 예측, 4는 DC 예측, 그리고 5는 평면 예측을 나타낸다.
도 12g는, 1은 예측하지 않음, 2는 VV 예측치, 3은 VH 예측치, 4는 VD 예측치, 5는 VP 예측치, 6은 HV 예측치, ..., 17은 PP 예측치인, . 16개의 분리 예측자 모드에 대한, 여기서 설명된 방법 및/또는 시스템의 C2 방식을 위한 내부-예측 모드의 적용 빈도를 도시하는 히스토그램이다.
도 12h는 30개의 회전 대칭 마스크의 라이브러리의 각 마스크의 적용 빈도를 도시하는 히스토그램이다.
도 12i는 Qp의 함수로서 3개의 변수의 비율을 도시하는 그래프이다.
라인 1214는 이미지의 블록에 대해 표준 NxN 방법에 대해 C2 방법이 선택되었던 블록의 백분율을 나타낸다. 예를 들어, Qp = 30에서, 프레임 내의 블록의 약 35%가 C2 방법에 기반하여 인코딩되었고(두 개의 상보적인 부분의 마스크 선택 및 인코딩에 기초한), 나머지(약 65 %)는 단일 16x16 블록으로 인코딩되었다.
라인 1212는 C2 방법에 기반하여 인코딩된 프레임의 비트 백분율을 나타낸다. 예를 들어, Qp = 30에서, 프레임 내의 비트의 약 45%가 C2 방법에 기반하여 인코딩되었다.
라인 1210은 C2 방법을 사용하여 인코딩된 프레임의 넌-제로 변환 계수 당 백분율을 나타낸다. 예를 들어, Qp = 30에서, 프레임 내의 넌-제로 변환 계수의 45% 이상이 C2 방법을 사용하여 인코딩되었다.
본 발명의 다양한 실시예에 대한 설명은 설명의 목적으로 제시되었지만, 개시된 실시예에 한정되거나 제한하려고 의도되지 않았다. 많은 변형 및 변경은 기술된 실시예의 범위 및 사상을 벗어나지 않고 당업자에게 명백할 것이다. 여기에 사용된 용어는 실시예들의 원리, 시장에서 발견 된 기술에 대한 실용적인 적용 또는 기술적 개선을 가장 잘 설명하거나, 또는 당업자가 여기에 개시된 실시예를 이해할 수 있도록 선택되었다.
본 출원에서 완성된 특허의 존속기간 동안 많은 관련 이미지 인코더 및/또는 이미지 디코더가 개발될 것이며 인코더라는 용어의 범위는 이러한 모든 신기술을 선험적으로 포함하고자 하는 것이 예상된다.
여기서 사용된 용어 "약"은 ±10%를 의미한다.
용어 "포함", "포함하는", "내포", "내포하는", "가짐" 및 그들의 접합은 "포함하지만 제한되지는 않는"을 의미한다. 이 용어는 "구성된", "본질적으로 구성된"의 용어를 포함한다.
"본질적으로 구성된"이라는 문구는 구성 또는 방법이 추가적인 성분 및/또는 단계를 포함할 수 있고, 청구된 조성물 또는 방법의 기본적이고 신규한 특징을 실질적으로 변경하지 않는 경우에만 추가적인 성분 및/또는 단계를 포함할 수 있음을 의미한다.
여기서 사용된, 단수 형태 "한", "일"및 "상기"는 문맥상 명확하게 달리 지시하지 않는 한 복수의 참조를 포함한다. 예를 들어, "일 화합물" 또는 "적어도 하나의 화합물"이라는 용어는, 이들의 혼합물을 포함하는 복수의 화합물을 포함할 수 있다.
"예시적인"이라는 단어는 "예시, 실례 또는 예증으로서의 역할"을 의미하도록 사용된다. "예시적인"것으로 기술된 임의의 실시예는 반드시 다른 실시예보다 바람직하거나 유리한 것으로 해석될 필요는 없고 및/또는 다른 실시예로부터의 특징의 조합을 배제하는 것으로 해석되지 않아야 한다.
"선택적으로"라는 단어는 "일부 실시예에서는 제공되며 다른 실시예에서는 제공되지 않음"의 의미로 사용된다. 본 발명의 임의의 특정 실시예는 그러한 특징이 상충되지 않는 한 복수의 "선택적" 특징을 포함할 수 있다.
본 출원 전반에 걸쳐, 본 발명의 다양한 실시예는 범위 형식(range format)으로 제공될 수 있다. 범위 형식에서의 설명은 단지 편의 및 간략화를 위한 것이며 본 발명의 범위에 대한 융통성 없는 제한으로 해석되어서는 안됨을 이해해야 한다. 따라서, 범위의 설명은 가능한 모든 부분 범위 및 그 범위 내의 개별적인 수치를 구체적으로 개시한 것으로 간주되어야 한다. 예를 들어, 1 내지 6과 같은 범위의 설명은, 해당 범위 내의 개별 숫자, 예를 들어, 1, 2, 3, 4, 5, 및 6뿐만 아니라, 1부터 3까지, 1부터 4까지, 1부터 5까지, 2부터 4까지, 2부터 6까지, 3부터 6까지 등과 같은 하위 범위를 구체적으로 개시 한 것으로 간주되어야 한다. 이는 범위의 폭에 관계없이 적용된다.
여기서 수치적 범위가 지시될 때마다, 그것은 표시된 범위 내의 임의의 인용된 수치(분수 또는 정수)를 포함하는 의미이다. 제1 지시 숫자 및 제2 지시 숫자 "사이의 범위/레인징"과, 제1 지시 숫자"로부터" 제2 지시 숫자"까지의 범위/레인징"은, 여기서 상호 교환적으로 사용되고 제1 지시 숫자 및 제2 지시 숫자와, 그들 사이의 모든 분수 및 정수 수치를 포함하는 의미이다.
명확함을 위해, 별도의 실시예의 문맥에서 설명된 본 발명의 특정 특징은 또한 단일 실시예 내에서 조합으로 제공될 수 있음을 알 수 있다. 역으로, 간략함을 위해, 단일 실시예의 문맥에서 기술된 본 발명의 다양한 특징은 또한 개별적으로 또는 임의의 적절한 하위조합으로 또는 본 발명의 임의의 다른 설명된 실시예에 적합하도록 제공될 수 있다. 다양한 실시예의 문맥에서 설명된 어떤 특징은 그 실시 예가 이들 요소 없이 작동하지 않는 한, 그러한 실시예들의 본질적인 특징으로 간주되어서는 안 된다.
본 발명이 특정 실시예와 관련하여 설명되었지만, 많은 대안, 수정 및 변형이 당업자에게 분명하다는 것은 명백하다. 따라서, 첨부된 청구범위의 사상 및 넓은 범위 내에 있는 그러한 모든 대안, 변형 및 변경을 포용하도록 의도된다.
본 명세서에 언급된 모든 간행물, 특허, 및 특허 출원은 각각의 개별 간행물, 특허 또는 특허 출원이 구체적으로 및 개별적으로 본원에 참고로 인용된 것과 같이, 동등한 정도로, 참조로 된 그것들의 전체가 여기서 본 명세서에 통합된다. 게다가, 본 출원 내의 임의의 참조 문헌의 인용 또는 식별은 그러한 참조가 본 발명의 선행 기술로서 이용 가능하다는 인정으로 해석되어서는 안 된다. 섹션 표제가 사용되는 한, 그것들은 반드시 제한적인 것으로 해석되어서는 안 된다.

Claims (23)

  1. 프레임 또는 그 부분 내의 블록을 코딩하기 위한 변환 계수의 세트를 생성하도록 적응된 장치로서,
    프레임 또는 그 부분을 수신하도록 적응된 데이터 인터페이스에 결합된 미디어 인코더를 포함하고, 상기 미디어 인코더는,
    상기 블록과 같은 크기 및 형상을 갖는 다차원 공간 내에 복수의 서로 다른 회전 대칭(rotational symmetry)을 정의하는 복수의 회전 대칭 마스크로부터 상기 블록을 위한 회전 대칭 마스크(rotational symmetry mask)를 선택하고,
    상기 회전 대칭 마스크에 기반하여 상기 블록을 두 개의 상보적 부분(complementary portion)으로 분할하고,
    각각이 상기 두 개의 상보적 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하며,
    상기 회전 대칭 블록 쌍의 적어도 하나의 원소에 대해 적어도 하나의 변환 계수를 계산하도록 적응된, 장치.
  2. 제1항에 있어서,
    상기 미디어 인코더는 상기 두 개의 상보적 부분 중 하나 및 상기 블록의 크기 및 형상을 형성하기 위해 추가된 상기 각 부분의 2차원(2D) 거울에 의해 상기 회전 대칭 블록 쌍의 각 원소를 생성하도록 적응된, 장치.
  3. 제2항에 있어서,
    상기 복수의 회전 대칭 마스크는 회전 대칭 마스크 라이브러리 내에 있고, 여기서 상기 미디어 인코더는 상기 블록의 크기 및 형상 중 적어도 하나에 기반하여 복수의 회전 대칭 마스크 라이브러리로부터 상기 회전 대칭 마스크 라이브러리를 선택하도록 적응된, 장치.
  4. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록의 압축 우선권(compression preference)에 기반하여 복수의 회전 대칭 마스크 라이브러리로부터 상기 회전 대칭 마스크 라이브러리를 선택하도록 적응된, 장치.
  5. 제3항에 있어서,
    상기 미디어 인코더는 상기 프레임 또는 그 부분을 포함하는 비디오 데이터의 분류에 기반하여 복수의 회전 대칭 마스크 라이브러리로부터 상기 회전 대칭 마스크 라이브러리를 선택하도록 적응된, 장치.
  6. 제3항에 있어서,
    상기 다차원 공간은 2차원 공간이고, 상기 복수의 서로 다른 회전 대칭 마스크는 상기 2차원 공간을 두 개의 상보적 부분으로 분할하기 위해서, 각각이 상기 2차원 공간의 대향하는 가장자리를 잇는 서로 다른 선을 정의하는 복수의 행렬을 포함하는, 장치.
  7. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록의 상기 두 개의 상보적 부분 중 적어도 하나에 적응된 적어도 하나의 공간적 예측자(spatial predictor)를 사용하여 상기 적어도 하나의 변환 계수를 코딩하도록 적응된, 장치.
  8. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록의 상기 두 개의 상보적 부분 중 적어도 하나에 적응된 적어도 하나의 시간적 예측자(temporal predictor)를 사용하여 상기 적어도 하나의 변환 계수를 코딩하도록 적응된, 장치.
  9. 제3항에 있어서,
    상기 미디어 인코더는 상기 두 개의 상보적 부분 중 하나에 각각 관련된 공간적 예측자(spatial predictor)를 사용하여 상기 회전 대칭 블록 쌍 각각의 적어도 하나의 상기 변환 계수를 코딩하도록 적응된, 장치.
  10. 제3항에 있어서,
    상기 미디어 인코더는 상기 두 개의 상보적 부분 중 하나에 각각 관련된 모션 벡터(motion vector)를 사용하여 상기 회전 대칭 블록 쌍 각각의 적어도 하나의 상기 변환 계수를 코딩하도록 적응된, 장치.
  11. 제3항에 있어서,
    상기 미디어 인코더는 상기 두 개의 회전 대칭 블록 중 적어도 하나에 적용된 변환 프로세스의 결과 및/또는 변환 프로세스의 결과의 추정에 기반하여 상기 회전 대칭 마스크를 선택하도록 적응된, 장치.
  12. 제3항에 있어서,
    상기 미디어 인코더는 상기 회전 대칭 블록의 적어도 하나의 원소에 대한 상기 적어도 하나의 변환 계수에 적용된 양자화 프로세스 및 코딩 프로세스 중 적어도 하나의 결과 및/또는 결과의 추정에 기반하여 상기 회전 대칭 마스크를 선택하도록 적응된, 장치.
  13. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록 내의 픽셀 값의 패턴에 따라 상기 회전 대칭 마스크를 선택하도록 적응된, 장치.
  14. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록의 공간적 이웃 블록 및 상기 블록의 시간적 이웃 블록 중 적어도 하나로부터 추출된 콘텐츠에 기반하여 상기 회전 대칭 마스크를 선택하도록 적응된, 장치.
  15. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록의 공간적 이웃 블록 및 상기 블록의 시간적 이웃 블록 중 적어도 하나와 연관된 정보에 기반하여 수행된 상기 회전 대칭 마스크를 선택하도록 적응된, 장치.
  16. 제15항에 있어서,
    상기 공간적 이웃 블록 및 시간적 이웃 블록으로 구성된 그룹 중 적어도 하나와 연관된 정보는 예측과 관련된, 장치.
  17. 제3항에 있어서,
    상기 미디어 인코더는 상기 블록의 압축 우선권에 기반하여 수행된 상기 회전 대칭 마스크를 선택하도록 적응된, 장치.
  18. 제3항에 있어서,
    상기 회전 대칭 마스크는 직사각형 블록을 두 개의 2D-대칭의 상보적 부분으로 분할하기 위해서 직사각형의 대향하는 가장자리를 잇는 선을 정의하도록 적응된, 장치.
  19. 제1항에 있어서,
    상기 데이터 인터페이스는 또한, 회전 대칭 블록의 적어도 하나의 원소를 나타내는 적어도 하나의 변환 계수, 그리고 연관된 선택된 회전 대칭 마스크, 프레임 또는 그 부분의 블록과 같은 크기 및 형상을 갖는 다차원 공간 내에서 회전 대칭을 정의하는 상기 회전 대칭 마스크를 나타내는 신호를 수신하도록 적응되고,
    상기 미디어 인코더는 또한,
    상기 수신된 적어도 하나의 변환 계수의 역변환에 기반하여 상기 회전 대칭 블록 쌍을 계산하고 - 여기서 상기 회전 대칭 블록 쌍의 각각의 원소는 두 개의 상보적 부분 중의 하나를 가짐 -,
    상기 회전 대칭 마스크에 기반하여 상기 두 개의 상보적 부분으로부터 블록을 재구성(reconstruct)하도록 적응된, 장치.
  20. 프레임 또는 그 부분 내의 블록의 변환 계수의 세트를 생성하는 방법으로서,
    상기 블록과 동일한 크기 및 형상을 갖는 다차원 공간 내에서 복수의 서로 다른 회전 대칭을 정의하는 복수의 서로 다른 회전 대칭 마스크를 포함하는 회전 대칭 마스크 라이브러리로부터 회전 대칭 마스크를 선택하는 단계;
    상기 회전 대칭 마스크에 기반하여 상기 블록을 두 개의 상보적 부분(complementary portion)으로 분할하는 단계;
    각각이 상기 두 개의 상보적 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하는 단계; 및
    상기 회전 대칭 블록 쌍의 각 원소에 대해서 적어도 하나의 변환 계수를 계산하는 단계
    를 포함하고,
    상기 방법은 구체적으로 제1항에 따른 장치를 동작하도록 구성된, 방법.
  21. 프레임 또는 그 부분을 디코딩 하도록 적응된 장치로서,
    회전 대칭 블록 쌍의 적어도 하나의 원소를 나타내는 적어도 하나의 변환 계수, 그리고 관련된 선택된 회전 대칭 마스크, 프레임 또는 그 부분과 같은 크기 및 형상을 갖는 다차원 공간 내에서 회전 대칭을 정의하는 회전 대칭 마스크를 나타내는 신호를 수신하도록 적응된 데이터 인터페이스에 결합된 미디어 디코더를 포함하고,
    상기 미디어 디코더는,
    상기 수신된 적어도 하나의 변환 계수의 역변환에 기반하여 상기 회전 대칭 블록 쌍을 계산하고 - 여기서 상기 회전 대칭 블록 쌍의 각각의 원소는 두 개의 상보적 부분 중의 하나를 가짐 -, 상기 회전 대칭 마스크에 기반하여 상기 두 개의 상보적 부분으로부터 블록을 재구성하도록 적응되며,
    상기 장치는 구체적으로, 제1항에 따른 장치에 의해 인코딩된 프레임 또는 그 부분의 블록을 디코딩하도록 적응된, 장치.
  22. 프레임 또는 그 부분의 블록을 재구성하는 방법으로서,
    회전 대칭 블록 쌍의 적어도 하나의 원소를 나타내는 변환 계수, 그리고 연관된 선택된 회전 대칭 마스크, 프레임 또는 그 부분의 블록과 같은 크기 및 형상을 갖는 다차원 공간 내에서 회전 대칭을 정의하는 상기 회전 대칭 마스크를 나타내는 신호를 수신하는 단계;
    상기 수신된 적어도 하나의 변환 계수의 역변환에 기반하여 상기 회전 대칭 블록 쌍을 계산하는 단계 - 여기서 상기 회전 대칭 블록 쌍의 각각의 원소는 두 개의 상보적 부분 중의 하나를 가짐; 및
    상기 회전 대칭 마스크에 기반하여 상기 두 개의 상보적 부분으로부터 블록을 재구성하는 단계
    를 포함하고,
    상기 방법은 구체적으로 제1항에 따른 장치를 동작하도록 적응된, 방법.
  23. 삭제
KR1020177015872A 2014-11-14 2014-11-14 디지털 이미지의 블록을 처리하는 시스템 및 방법 KR102012906B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/074639 WO2016074745A1 (en) 2014-11-14 2014-11-14 Systems and methods for processing a block of a digital image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023960A Division KR102138650B1 (ko) 2014-11-14 2014-11-14 디지털 이미지의 블록을 처리하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170084213A KR20170084213A (ko) 2017-07-19
KR102012906B1 true KR102012906B1 (ko) 2019-08-21

Family

ID=51900444

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177015872A KR102012906B1 (ko) 2014-11-14 2014-11-14 디지털 이미지의 블록을 처리하는 시스템 및 방법
KR1020197023960A KR102138650B1 (ko) 2014-11-14 2014-11-14 디지털 이미지의 블록을 처리하는 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197023960A KR102138650B1 (ko) 2014-11-14 2014-11-14 디지털 이미지의 블록을 처리하는 시스템 및 방법

Country Status (7)

Country Link
US (2) US10742976B2 (ko)
EP (1) EP3207699B1 (ko)
JP (1) JP6496821B2 (ko)
KR (2) KR102012906B1 (ko)
CN (1) CN107005702B (ko)
BR (1) BR112017010007B1 (ko)
WO (1) WO2016074745A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107005702B (zh) * 2014-11-14 2020-10-16 华为技术有限公司 用于处理数字图像的块的***和方法
EP3207700B1 (en) * 2014-11-14 2020-01-08 Huawei Technologies Co., Ltd. Systems and methods for mask based processing of a block of a digital image
WO2016074744A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a digital image
WO2018141385A1 (en) 2017-02-02 2018-08-09 Huawei Technologies Co., Ltd. Image and video processing apparatuses and methods
CN110876083B (zh) * 2018-08-29 2021-09-21 浙江大学 指定参考图像的方法及装置及处理参考图像请求的方法及装置
CN113344092B (zh) * 2021-06-18 2022-10-11 中科迈航信息技术有限公司 Ai的图像识别方法及终端装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69225365T2 (de) * 1991-08-30 1998-11-19 Fuji Xerox Co Ltd Bildsignalkodierungsvorrichtung
JPH0783478B2 (ja) * 1992-01-30 1995-09-06 松下電器産業株式会社 画像符号化装置
JP3196906B2 (ja) * 1992-08-21 2001-08-06 富士ゼロックス株式会社 画像信号の符号化装置
JPH0787493A (ja) 1993-09-14 1995-03-31 Oki Electric Ind Co Ltd フレーム内挿方法
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
CN1158875C (zh) 1996-01-29 2004-07-21 松下电器产业株式会社 数字图像像素填补法及用该法的数字图像编码与解码装置
JP2008109700A (ja) 1997-11-05 2008-05-08 Sony Corp ディジタル信号変換方法およびディジタル信号変換装置
EP1788814A3 (en) 1997-11-05 2008-10-15 Sony Corporation Simplified motion detection within a video transcoding scheme operating resolution conversion
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
JP2002325170A (ja) * 2001-04-24 2002-11-08 Canon Inc 画像処理装置及びその方法並びにプログラムコード、記憶媒体
JP4147789B2 (ja) 2002-03-07 2008-09-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP4025570B2 (ja) * 2002-04-03 2007-12-19 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
JP2004297416A (ja) 2003-03-26 2004-10-21 Monolith Co Ltd 対応点情報圧縮方法および装置
JP2006094053A (ja) * 2004-09-22 2006-04-06 Fuji Photo Film Co Ltd フォトムービー作成方法および装置、並びにフォトムービー作成プログラム
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
CN101771868B (zh) * 2008-12-31 2016-03-02 华为技术有限公司 对图像的量化处理方法及装置
JP2012089905A (ja) 2009-01-13 2012-05-10 Hitachi Ltd 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
EP2942960A1 (en) * 2009-12-01 2015-11-11 HUMAX Holdings Co., Ltd. Apparatus for decoding high-resolution images
JP5456907B2 (ja) * 2009-12-04 2014-04-02 トムソン ライセンシング テクスチャー・パターン適応式の分割ブロック変換
WO2011088593A1 (en) * 2010-01-25 2011-07-28 Thomson Licensing Method and device for encoding of an image block and method and device for decoding of an image block
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和***
EP2559248A2 (en) 2010-04-12 2013-02-20 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US9020043B2 (en) * 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
JP5590390B2 (ja) 2010-07-15 2014-09-17 ソニー株式会社 画像処理装置および方法
CN102957907B (zh) * 2011-08-31 2016-06-29 华为技术有限公司 一种变换块位置信息的获取方法和模块
KR102344178B1 (ko) 2011-11-11 2021-12-29 지이 비디오 컴프레션, 엘엘씨 분할 코딩을 이용한 효과적인 예측
US9179162B2 (en) * 2011-12-02 2015-11-03 Futurewei Technologies, Inc. Image transform zero coefficient selection and zero-skip transmission for arbitrary shape transform coding
CN110365993B (zh) 2012-06-01 2021-08-06 威勒斯媒体国际有限公司 算术解码装置、图像解码装置、算术编码装置以及图像编码装置
WO2014109826A1 (en) 2012-11-13 2014-07-17 Intel Corporation Video codec architecture for next generation video
US20140307780A1 (en) 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
CN105393541B (zh) * 2013-07-19 2018-10-12 华为技术有限公司 使用基于深度的块分割编解码纹理块的方法和装置
WO2015142070A1 (ko) * 2014-03-19 2015-09-24 삼성전자 주식회사 경계 필터링을 수반한 비디오 부호화 및 비디오 복호화 방법 및 장치
US20180176559A1 (en) * 2014-03-19 2018-06-21 Samsung Electronics Co., Ltd. Method for performing filtering at partition boundary of block related to 3d image
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
CN107005702B (zh) * 2014-11-14 2020-10-16 华为技术有限公司 用于处理数字图像的块的***和方法
EP3207700B1 (en) * 2014-11-14 2020-01-08 Huawei Technologies Co., Ltd. Systems and methods for mask based processing of a block of a digital image
WO2016074744A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a digital image
KR101618795B1 (ko) 2014-11-28 2016-05-12 주식회사 폴라리언트 이동체의 3차원 자세 및 위치 인식 장치

Also Published As

Publication number Publication date
BR112017010007B1 (pt) 2023-04-11
US10742976B2 (en) 2020-08-11
EP3207699B1 (en) 2021-06-09
US11153564B2 (en) 2021-10-19
WO2016074745A1 (en) 2016-05-19
BR112017010007A2 (pt) 2018-01-02
US20200162732A1 (en) 2020-05-21
KR20170084213A (ko) 2017-07-19
CN107005702A (zh) 2017-08-01
US20170251210A1 (en) 2017-08-31
KR20190098276A (ko) 2019-08-21
KR102138650B1 (ko) 2020-07-28
JP6496821B2 (ja) 2019-04-10
EP3207699A1 (en) 2017-08-23
CN107005702B (zh) 2020-10-16
JP2018501696A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
US10523951B2 (en) Systems and methods for processing a digital image
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
ES2866894T3 (es) Predicción de coeficientes de filtro a partir de filtros fijos para codificación de video
US10602186B2 (en) Systems and methods for mask based processing of a block of a digital image
EP3061233B1 (en) Representing blocks with hash values in video and image coding and decoding
US11153564B2 (en) Systems and methods for processing a block of a digital image
KR20160075705A (ko) 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
KR20210088693A (ko) 임의의 ctu 크기에 대한 ibc 검색 범위 최적화를 사용하는 인코더, 디코더 및 대응하는 방법
US10742979B2 (en) Nonlinear local activity for adaptive quantization
JP2019134457A (ja) デジタル画像のブロックを処理するためのシステムおよび方法
US20240214561A1 (en) Methods and devices for decoder-side intra mode derivation
BR112017010163B1 (pt) Aparelho para a geração de um conjunto de coeficientes de transformada de um bloco em um quadro ou uma porção do mesmo, método para a geração de um conjunto de coeficientes de um bloco em um quadro ou uma porção do mesmo e meio de armazenamento legível por computador

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant