KR20170084239A - 디지털 이미지를 처리하는 방법 및 시스템 - Google Patents

Abstract

프레임 또는 그 일부분을 코딩하기 위한 복수의 변환 계수를 생성하도록 구성된 장치로서, 프레임 또는 그 일부분을 수신하도록 구성된 데이터 인터페이스에 연결된 미디어 인코더를 포함하며, 상기 미디어 인코더는, 프레임 또는 그 일부분 내의 분할되어 있는 각각의 블록을 반복적으로 세분하도록 구성되고, 각각의 반복 동안에, 상기 블록의 세분된 블록은, 상기 블록을 코딩하기 위한 효율 측정을 충족시키는 회전 대칭 마스크를 선택하고 - 상기 회전 대칭 마스크는 상기 세분된 블록으로서 크기 및 형상을 가진 다차원 공간에서 복수의 상이한 회전 대칭을 정의하는 복수의 회전 대칭 마스크에서 선택됨 -; 상기 효율 측정이 충족되는 경우, 상기 회전 대칭 마스크에 기초하여, 상기 세분된 블록을 두 개의 상보적인 부분으로 분할하고; 각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하고, 상기 회전 대칭 블록 쌍으로부터 복수의 변환 계수를 계산함으로써, 처리된다.

Description

디지털 이미지를 처리하는 방법 및 시스템 {SYSTEMS AND METHODS FOR PROCESSING A DIGITAL IMAGE}

본 발명은 그 일부 실시예에서, 디지털 이미지 및/또는 비디오 압축을 위한 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 디지털 이미지의 블록을 처리하기 위한 변환 계수의 세트를 생성하는 시스템 및 방법에 관한 것이다.

디지털 카메라로 얻은 스틸 이미지 및 디지털 비디오와 같은 디지털 이미지는, 완전한 데이터 세트(full data set)로 표현되는 비압축 방식으로 저장될 때 상당한 메모리 자원을 필요로 한다. 디지털 이미지 및/또는 비디오를 표현하는 완전한 데이터 세트의 송신은 통신 대역폭과 같은 상당한 네트워크 자원을 필요로 할 것이다.

단일 비디오는 수천 개의 개별 프레임을 포함할 수 있으므로, 비디오는 특히 문제가 된다. 각각의 이미지에 대한 완전한 데이터 세트의 저장 및/또는 송신은 많은 경우 불가능하거나, 처리 및 네트워크 자원을 압도할 수 있다.

또한, 카메라(스틸 및 비디오) 및 디스플레이 스크린 모두에서의 품질 및 해상도 능력이 향상됨에 따라, 이미지당 생성되는 데이터의 양은 계속 증가한다. 비디오 송신에 의존하는 이동 기기(예: 스마트폰 및 태블릿 컴퓨터)상에서 실행되는 비디오 기반 애플리케이션은 많은 양의 네트워크 트래픽을 발생시키며, 이는 특히 무선 네트워크에 있어 문제가 된다.

이미지 및 비디오 데이터의 크기를 감소시키고 필요한 저장 자원 및 네트워크 자원을 감소시키기 위해, 디지털 이미지와 디지털 비디오의 압축을 위한 다양한 방안이 개발되었다.

예를 들어, Sullivan 등의, "고효율 비디오 코딩 표준(High Efficiency Video Coding)의 개요"[비디오 기술을 위한 회로 및 시스템에 관한 IEEE 트랜잭션, Vol. 22, 12, 2012년 12월]에는, "고효율 비디오 코딩(HEVC)이 현재 ITU-T 비디오 코딩 전문가 그룹(Video Coding Experts Group)과 ISO/IEC 동영상 전문가 그룹(Moving Picture Experts Group)의 최신 비디오 코딩 표준으로 준비중이다. HEVC 표준화 노력의 주요 목표는 동일한 지각(perceptual) 비디오 품질에 대해 50% 비트율 감소 범위 내에서 기존의 표준에 비해 현저하게 향상된 압축 성능을 구현하는 것이다."라고 기술하고 있다.

본 발명의 목적은 향상된 비디오 압축 기술을 제공하는 것이다.

이 목적은 청구범위의 독립항에서 제공되는 방안에 의해 달성된다. 유리한 구현예는 각각의 종속항에 추가로 정의된다.

제1 측면에 따르면, 프레임 또는 그 일부분을 코딩하기 위한 복수의 변환 계수를 생성하도록 구성된 장치는, 프레임 또는 그 일부분을 수신하도록 구성된 데이터 인터페이스에 연결된 미디어 인코더를 포함하며, 상기 미디어 인코더는, 복수의 반복 각각 동안에, 프레임 또는 그 일부분 내의 분할되어 있는 복수의 블록 각각을 반복적으로 세분하도록 구성되고, 상기 복수의 블록의 세분된 블록은, 상기 블록을 코딩하기 위한 효율 측정을 충족시키는 회전 대칭 마스크를 선택하고 - 상기 회전 대칭 마스크는, 상기 세분된 블록으로서 크기 및 형상을 갖는 다차원 공간에서 복수의 상이한 회전 대칭을 정의하는 복수의 회전 대칭 마스크에서 선택됨 -; 상기 효율 측정이 충족되는 경우: 상기 회전 대칭 마스크에 기초하여, 상기 세분된 블록을 두 개의 상보적인 부분으로 분할하고, 각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하고, 상기 회전 대칭 블록 쌍으로부터 복수의 변환 계수를 계산함으로써, 처리된다.

제2 측면에 따르면, 프레임 또는 그 일부분을 코딩하기 위한 복수의 변환 계수를 생성하는 방법은, 프레임 또는 그 일부분 내의 분할되어 있는 복수의 블록 각각을 반복적으로 세분하는 단계를 포함하며, 복수의 반복 각각 동안에, 상기 복수의 블록의 세분된 블록은, 상기 블록으로서, 크기 및 형상을 갖는 회전 대칭 마스크를 선택하여 상기 블록을 코딩하기 위한 효율 측정을 충족시키고; 상기 효율 측정이 충족되는 경우, 상기 회전 대칭 마스크에 기초하여, 상기 세분된 블록을 두 개의 상보적인 부분으로 분할하고, 각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하고, 하나 이상의 상기 회전 대칭 블록 쌍으로부터 하나 이상의 변환 계수를 계산함으로써 처리된다. 상기 방법은 제1 측면에 따른 장치를 작동시키는 데 적합하다.

제3 측면에 따르면, 프레임 또는 그 일부분을 인코딩하는 방법은, 상기 프레임 또는 그 일부분을 복수의 블록으로 반복적으로 분할하는 단계; 상기 복수의 블록의 세분된 블록에 대한 각각의 반복 동안에, 상기 복수의 블록 각각을 반복적으로 세분하는 단계; 복수의 상이한 회전 대칭 마스크를 포함하는 라이브러리에서 상기 세분된 블록을 코딩할 때 효율 측정을 충족시키는 회전 대칭 마스크를 선택하는 단계; 상기 회전 대칭 마스크를 사용하여 상기 세분된 블록을 상기 회전 대칭 마스크에 기초한 두 개의 상보적인 부분으로 분할하고; 각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하는 단계; 상기 회전 대칭 블록 쌍 중 적어도 하나로부터 하나 이상의 변환 계수를 계산하는 단계; 및 상기 하나 이상의 변환 계수를 양자화하고; 상기 하나 이상의 변환 계수를 코딩하여 상기 프레임 또는 그 일부분의 인코딩을 생성하는 단계를 포함한다. 상기 방법은 제1 측면에 따른 장치를 작동시키는 데 적합하다.

제4 측면에 따르면, 프레임 또는 그 일부분을 디코딩하도록 구성된 장치는, 인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 인코딩된 변환 계수의 비트스트림을 수신하도록 구성된 데이터 인터페이스에 연결된 미디어 디코더를 포함하며, 상기 미디어 디코더는, 상기 비트스트림으로부터 하나 이상의 변환 계수를 디코딩하고; 상기 하나 이상의 디코딩된 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 각각의 멤버가 두 개의 상보적인 부분 중 하나를 갖는 복수의 회전 대칭 블록 쌍을 계산하고; 개개의 회전 대칭 마스크에 기초하여 상기 두 개의 각기 상보적인 부분 각각으로부터 복수의 블록을 재구성하여; 상기 복수의 블록을 프레임 또는 그 일부분으로 결합하도록 구성된다. 상기 장치는 제1 측면에 따른 장치에 의해 인코딩된 프레임 또는 그 일부분을 디코딩하도록 구성될 수 있다.

제5 측면에 따르면, 인코딩된 프레임을 나타내는 비트스트림에 기초하여 프레임 또는 그 일부분을 디코딩하는 방법은, 인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 인코딩된 변환 계수의 비트스트림을 수신하는 단계; 상기 하나 이상의 변환 계수를 디코딩하는 단계; 상기 하나 이상의 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 각각의 멤버가 두 개의 상보적 부분 중 하나를 갖는 복수의 회전 대칭 블록 쌍을 계산하는 단계; 개개의 회전 대칭 마스크에 기초하여 상기 두 개의 각기 상보적인 부분 각각으로부터 복수의 블록을 재구성하는 단계; 및 상기 복수의 블록을 프레임 또는 그 일부분으로 결합하는 단계를 포함한다. 상기 방법은 제4 측면에 따른 장치를 작동시키는 데 적합하다.

제6 측면에 따르면, 컴퓨터 프로그램은, 컴퓨터상에서 실행될 때, 전술한 측면 중 어느 하나에 따른 방법을 수행하도록 구성된다. 상기 컴퓨터 프로그램은 미디어 인코더가 사용하도록 구성될 수 있으며, 프로그램 코드는, 인코딩된 프레임 또는 그 일부분을 나타내는 적어도 인코딩된 변환 계수의 비트스트림을 수신하기 위한 명령어; 상기 비트스트림으로부터 하나 이상의 변환 계수를 디코딩하기 위한 명령어; 상기 하나 이상의 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 각각의 멤버가 두 개의 상보적인 부분 중 하나를 갖는 복수의 회전 대칭 블록 쌍을 계산하기 위한 명령어; 개개의 회전 대칭 마스크에 기초하여, 상기 두 개의 각기 상보적인 부분 각각을 복수의 블록으로 결합하기 위기 위한 명령어; 및 상기 복수의 블록을 프레임 또는 그 일부분으로 결합하기 위한 명령어를 포함할 수 있다.

명확하게 하기 위해, 여기에서는 인코딩 장치, 인코딩 방법 및/또는 인코딩 컴퓨터 프로그램 제품의 세부사항을 설명한다. 각각의 기술된 인코딩 기능 및/또는 구조에 대해서는, 대응하는 디코딩 기능 및/또는 구조가 암시된다. 간략하면서도 명확하게 하기 위해, 설명되는 인코딩 기능 및/또는 구조 요소에 대응하는 디코딩 기능 및/또는 구조 요소의 표현은 생략된다. 명확하게 하기 위해, 미디어 인코더라는 용어는 또한 방법 및 컴퓨터 프로그램 제품을 지칭한다. 예를 들어, 미디어 인코더가 구성되어 있다는 문구는 또한 상기 방법이 추가로 포함하고, 상기 컴퓨터 프로그램 제품이 하기 위한 명령을 포함한다는 것을 의미한다.

모든 측면은 향상된 시스템 성능을 제공한다.

제1 측면에 따른 장치의 제1 가능한 구현에서, 상기 효율 측정이 충족되는 경우, 상기 미디어 인코더는 상기 회전 대칭 블록 쌍을 상기 복수의 블록 중 적어도 일부로부터 생성된 복수의 회전 대칭 블록 쌍을 포함하는 데이터세트에 추가하도록 구성된다.

이러한 제1 측면 또는 전술한 구현 형태에 따른 장치의 제2 가능한 구현 형태에서, 상기 효율 측정이 충족되지 않는 경우, 상기 미디어 인코더는 상기 세분된 블록을 복수의 추가 세분된 블록으로 반복적으로 세분하고, 상기 복수의 추가 세분된 블록 각각에 대해 상기 반복적으로 세분하는 것을 되풀이한다.

효율 측정은 블록을 반복적으로 세분하는 것이 마스크를 사용하여 블록을 분할하는 것보다 성능을 향상시킬 때, 그렇게 함으로써 향상된 성능을 제공한다.

이러한 제1 측면, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제3 가능한 구현 형태에서, 복수의 블록 각각을 복적으로 세분하기 위해, 상기 미디어 인코더는,

상기 복수의 블록 각각의 세분을 매핑하는 트리 구조를 사용하여 상기 반복적 세분을 지원하고; 상기 회전 대칭 블록 쌍의 멤버를 각각 나타내는 두 개의 리프(leaf)를 추가함으로써 상기 회전 대칭 블록 쌍을 사용하여 상기 트리 구조를 갱신하도록 구성된다.

트리 구조는 시스템의 성능을 향상시키기 위해, 특정한 표준에 기초하여 시스템에 미디어 인코더를 통합할 수 있도록 하는 그 특정한 표준에 의해 사용된다.

이러한 제1 측면, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제4 가능한 구현 형태에서, 상기 미디어 인코더는, 상기 트리 구조 내의 세분된 블록의 깊이가 미리 정해진 임계치를 넘는 경우, 상기 세분된 블록을 분할하도록 구성된다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제5 가능한 구현 형태에서, 상기 미디어 인코더는, 복수의 상이한 회전 대칭 마스크를 포함하는 회전 대칭 마스크 라이브러리에서 상기 회전 대칭 마스크를 선택하도록 구성된다.

더 큰, 후보 마스크의 세트 대신에 라이브러리(또는 마스크 서브세트)에서 마스크를 선택하는 것은, 선택된 마스크를 디코더에 알리는 데 사용되는 인코딩된 비트의 수를 감소시키고 및/또는, 계산 복잡도 및/또는 메모리 자원 및/또는 프로세서 자원을 감소시킨다.

이러한 제1 측면, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제6 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 개개의 상기 회전 대칭 블록 쌍을 생성하는 데 사용되는 개개의 상기 회전 대칭 마스크에 따라 선택되는 공간 예측기(spatial predictor)를 사용하여 상기 복수의 변환 계수 각각을 코딩하도록 구성된다.

예측기(들)의 선택은 선택된 마스크에 의해 안내될 때 및/또는 각기 상보적인 부분에 기초할 때, 더 적은 자원(또는 더 적은 시간)으로 더 정확 및/또는 수행될 수 있다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제7 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 특정한 개개의 움직임 벡터를 사용하여 각각의 회전 대칭 블록을 독립적으로 코딩하도록 구성되며, 개개의 움직임 벡터는 각각, 개개의 상기 회전 대칭 블록의 부분 각각에 따라 선택된다.

각각의 회전 대칭 블록은, 예측기가 사용될 때 더욱 효율적으로 인코딩된다. 회전 대칭 블록 쌍을 인코딩하는 것은 단일 블록을 회전 대칭 블록 쌍으로 분할하지 않고 인코딩하는 것보다 효율적이다.

이러한 제1 측면, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제8 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 특정한 개개의 움직임 벡터를 사용하여 각각의 회전 대칭 블록을 독립적으로 코딩하도록 구성되며, 개개의 움직임 벡터는, 상기 회전 대칭 블록의 각각의 일부분에 따라 선택된다.

이러한 제1 측면, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제9 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 개개의 상기 회전 대칭 블록 쌍을 생성하는 데 사용된 개개의 상기 회전 대칭 마스크에 따라 선택되는 엔트로피 콘텍스트 모델(entropy context model)을 사용하여 상기 복수의 변환 계수 각각을 코딩하도록 구성된다.

엔트로피 콘텍스트 모델을 사용한 인코딩은 시스템 효율 및/또는 성능을 향상시킨다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제10 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 상기 회전 대칭 블록 쌍 중 적어도 하나에 적합한 엔트로피 콘텍스 모델을 사용하여 하나 이상의 변환 계수를 코딩하도록 구성된다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제11 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 하나 이상의 효율 기준에 기초하여 상기 회전 대칭 마스크 라이브러리에서 상기 회전 대칭 마스크를 선택하도록 구성된다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제12 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 다른 크기의 상기 세분된 블록에 대해 각각 정의된 복수의 회전 대칭 마스크 라이브러리에서 상기 회전 대칭 마스크 라이브러리를 선택하도록 구성된다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제13 가능한 구현 형태에서, 상기 복수의 변환 계수의 계산은, 이차원(two dimensional, 2D) 이산 코사인 변환(Discrete Cosine Transform, DCT)에 의해 수행된다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제14 가능한 구현 형태에서, 상기 복수의 변환 계수의 계산은, 이차원(2D) 이산 사인 변환(Discrete Sine Transform, DST)에 의해 수행된다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제15 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 동영상 전문가 그룹(moving picture experts group, MPEG) 포맷에 따라, 상기 블록의 두 개의 상보적인 부분 중 적어도 하나를 예측하는 방법; 적어도 하나의 상기 회전 대칭 블록의 상기 복수의 변환 계수 중 적어도 하나를 계산하는 방법; 상기 복수의 변환 계수 중 적어도 하나를 양자화하는 방법; 및 복수의 상기 변환 계수를 엔트로피 코딩하여 상기 프레임 또는 그 일부분의 인코딩을 생성하는 방법 중 적어도 하나를 수행하도록 구성된다.

MPEG 포맷에 따라 수행하도록 미디어 인코더를 적응시키는 것은 이미지 및/또는 비디오의 코딩 효율을 향상시켜, 예를 들어, 압축 성능을 향상시킴으로써, 프로세서 자원 요건, 송신기/수신기 요건 및/또는 메모리 요건을 감소시킴으로써, 시스템의 전체 성능을 향상시킨다. MPEG 기반 시스템 내의 인코더의 통합은 동일한 자원을 사용하여 더 높은 이미지 품질, 더 높은 이미지 해상도 및/또는 더 많은 수의 이미지를 처리할 수 있도록 해준다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제16 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 개개의 상기 회전 대칭 마스크에 기초하여 선택되는, 상이하게 인코딩하도록 되어 있는 복수의 상이한 엔트로피 코딩 모델을 사용하여 상기 복수의 변환 계수를 코딩하도록 구성된다.

이러한 제1 측면, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제3 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 복수의 영의 계수(zeroed coefficient)를 건너뛰면서 상기 복수의 변환 계수를 스캐닝함으로써 상기 복수의 변환 계수를 코딩하도록 구성된다.

영(0)을 건너뛰는 것은 영이 아닌 계수의 압축을 허용하여 시스템 성능을 향상시킨다.

제1 측면에 따른 장치의 제18 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 복수의 스캐닝 패턴 중 하나를 회전 대칭 마스크에 매칭시킴으로써 상기 복수의 스캐닝 패턴에서 하나의 스캐닝 패턴을 선택하여 상기 복수의 변환 계수를 코딩하도록 구성된다.

스캐닝 패턴은 시스템 성능을 향상시키도록 선택된다.

또한, 상기 복수의 변환 계수는 매트릭스로 배열될 수 있으며; 상기 미디어 인코더는 추가로, 복수의 상보적인 스캐닝 패턴으로 상기 복수의 변환 계수를 스캐닝함으로써 상기 복수의 변환 계수를 코딩하도록 구성되며; 상기 복수의 상보적인 스캐닝 패턴 각각은 상기 매트릭스의 제1 코너에서 상기 매트릭스의 제2 코너로 수행된다.

제1 측면에 따른 장치의 제20 가능한 구현 형태에서, 복수의 변환 계수는 매트릭스로 배열되고; 상기 미디어 인코더는 추가로, 상기 매트릭스의 복수의 서브 영역에서 반복되는 패턴에 따라 상기 복수의 변환 계수를 스캐닝함으로써 상기 복수의 변환 계수를 코딩하도록 구성된다.

반복되는 패턴은 특정한 이미지 및/또는 비디오 압축 표준과의 호환성을 제공한다.

제1 측면에 따른 장치의 제21 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 상기 회전 대칭 마스크에 상기 복수의 스캐닝 패턴을 매칭시킴으로써 복수의 스캐닝 패턴 중에서 스캐닝 패턴을 선택하여 상기 복수의 변환 계수를 코딩하도록 구성된다.

상이한 마스크는 결과적으로, 스캐닝 패턴이 적용된 마스크에 기초할 때 효율적으로 스캐닝되는 상이한 패턴의 영 계수(zero coefficient)를 낳는다.

제1 측면에 따른 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제22 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 상기 인코딩의 일부로서 데이터세트 내의 최종 변환 계수의 좌표를 저장함으로써 상기 복수의 변환 계수를 코딩하도록 구성된다.

최종 계수의 위치를 압축하는 것은, 시스템 성능을 향상시킨다.

제1 측면에 따른 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제23 가능한 구현 형태에서, 상기 미디어 인코더는 추가로, 상기 복수의 변환 계수가 배열되어 있는 매트릭스에 대해 수행되는 상기 계수 스캐닝의 순서에 따라 상기 복수의 변환 계수 중 영이 아닌 값(non-zero value)을 시프트시켜, 상기 최종 변환 계수의 위치의 크기를 감소시키도록 구성된다.

영이 아닌 값을 시프트시키는 것은 최종 변환 계수의 위치의 크기를 감소시킴으로서 시스템 성능을 향상시킨다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제24 가능한 구현 형태에서, 미디어 인코더는 추가로, 상기 복수의 블록을 여러 개의 세분된 블록으로 세분하여, 상이한 크기의 상이한 세분된 블록을 형성하도록 구성된다.

블록을 세분하는 것은 특정한 표준에 기초하며, 이는 미디어 인코더와, 그 특정한 표준에 기초하는 시스템과의 통합을 제공하여 시스템의 성능을 더욱 향상시킨다.

이러한 제1 측면에 따른, 또는 전술한 구현 형태 중 어느 것에 따른 장치의 제25 가능한 구현 형태에서, 상기 데이터 인터페이스는 추가로, 인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 변환 계수의 비트스트림을 수신하도록 구성되고; 상기 미디어 인코더는 추가로, 상기 하나 이상의 변환 계수를 디코딩하고; 상기 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 멤버 각각이 두 개의 상보적인 부분 중 하나를 갖는, 복수의 회전 대칭 블록 쌍을 계산하고; 상기 개개의 회전 대칭 마스크에 기초하여, 상기 두 개의 각기 상보적인 부분 각각으로부터 복수의 블록을 재구성하고; 상기 복수의 블록을 프레임 또는 그 일부분으로 결합하도록 구성된다.

달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술 및/또는 과학 용어는 본 발명이 속하는 기술 분야의 통상의 지식을 가진자(이하, 당업자)에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 본 명세서 기술된 것과 유사하거나 동등한 방법 및 재료가 본 발명의 실시예를 실시 또는 테스트하는 데 사용될 수 있지만, 예시적인 방법 및/또는 재료는 이하에 기술한다. 모순되는 경우, 정의를 포함한 특허 명세서가 우선한다. 또, 재료, 방법 및 예는 단지 예시적인 것이며 반드시 제한하려는 것은 아니다.

첨부 도면을 참조하여, 여기서는 본 발명을 예로서만 설명한다.
도면을 상세하게 참조하면, 도시된 세부사항은 예로서 본 발명의 실시예의 설명을 위한 것이다. 이와 관련하여, 도면을 사용한 설명은 당업자에게 본 발명의 실시예를 실시할 수 있는 방법을 명백하게 한다.
도면에서:
도 1은 본 발명의 일부 실시예에 따른, 프레임 내의 블록을 코딩 및/또는 처리하기 위한 변환 계수의 세트를 생성하는 방법의 흐름도이다.
도 2는 1은 본 발명의 일부 실시예에 따른, 프레임 내의 블록을 코딩 및/또는 처리하기 위한 변환 계수의 세트를 생성하도록 구성된 미디어 인코더의 블록도이다.
도 3은 본 발명의 일부 실시예에 따른, 간단한 회전 대칭 마스크의 일부 예를 나타낸 개략도이다.
도 4는 본 발명의 일부 실시예에 따른, 블록을 위한 회전 대칭 마스크의 선택을 나타낸 개략도이다.
도 5a∼도 5c는 본 발명의 일부 실시예에 따른, 회전 대칭 마스크를 정의하기 위한 화소 2D 미러링을 나타낸 개략도이다.
도 6a∼도 6c는 본 발명의 일부 실시예에 따른 회전 대칭 마스크 라이브러리의 일부 예이다.
도 7은 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 계층적 배치를 그래픽적으로 나타낸 개략도이다.
도 8은 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 생성 및/또는 표현을 나타낸 계층적 배치를 그래픽으로 나타낸 개략도이다.
도 9는 본 발명의 일부 실시예에 따른, 블록을 분할하기 위한 회전 대칭 마스크를 선택하는 다양한 컴퓨터화된 기준 및/또는 방법의 리스트이다.
도 10은 본 발명의 일부 실시예에 따른, 도 1 및/또는 도 2에 기초한 계수 인코더/디코더를 통합한, 이미지 압축 및 압축해제를 위한 예시적인 시스템의 블록도이다.
도 11은 본 발명의 일부 실시예에 따른, 프레임 내의 블록을 코딩한 변환 계수의 세트를 디코딩하는 방법의 흐름도이다.
도 12a∼도 12i는 본 명세서에서 설명하는 방법 및/또는 시스템을 실행한 실험 결과의 이미지 및 그래프를 포함한다.
도 13은 본 발명의 일부 실시예에 따른, 고정된 크기의 블록을 갖는 이미지의 예이다.
도 14는 본 발명의 일부 실시예에 따른, 트리 구조에 기초하여 블록의 반복적인 세분을 나타낸 개략도이다.
도 15는 본 발명의 일부 실시예에 따른, 트리 구조에 기초하여 블록의 반복적인 세분을 나타낸 다른 개략도이다.
도 16a 및 도 16b는 각각 본 발명의 일부 실시예에 따른, 상하 분할 부분으로부터 생성되는 8*8개의 회전 대칭 블록에 대한 2D DCT 직교 매트릭스를 나타낸다.
도 17a∼도 17d는 본 발명의 일부 실시예에 따른, 양자화된 계수 및 값이 영(0)인 계수(zero value coefficient)를 포함하는 매트릭스의 예, 및 양자화된 계수의 코딩을 위한 일부 계수 스캐닝 패턴의 예이다.
도 18a∼도 18c는 본 발명의 일부 실시예에 따른, 영(0)이 아닌 계수의 패킹(packing)을 나타낸 매트릭스이다.
도 19a는 본 발명의 일부 실시예에 따른, 계수 인코더와 통합된, H.256 표준에 기초한, 도 10의 비디오 인코더에 의한 인코딩을 나타낸 블록도이다.
도 19b는 본 발명의 일부 실시예에 따른, 계수 디코더와 통합된, H.256 표준에 기초한, 도 10의 비디오 디코더에 의한 디코딩을 나타낸 블록도이다.
도 20은 본 발명의 일부 실시예에 따른, 계수 인코더와 통합된, H.256 표준(예: 도 19a의 인터 코딩 부분을 제거한 후)에 기초한, 도 10의 비디오 인코더에 의한 단일 이미지 인코딩을 나타낸 블록도이다.
도 21은 본 발명의 일부 실시예에 따른, 계수 디코더와 통합된, H.256 표준(예: 도 19b의 인터 코딩 부분을 제거한 후)에 기초한, 도 10의 비디오 디코더에 의한 단일 이미지 디코딩을 나타낸 블록도이다.
도 22a 및 도 22b는 본 발명의 일부 실시예에 따른, 공간 및/또는 시간 예측을 나타낸 개략도이다.

본 발명의 일부 실시예의 한 측면은 프레임 또는 그 일부분의 블록을 코딩하기 위한 변환 계수의 세트를 생성하는 방법 및/또는 시스템에 관한 것으로, 코딩은 특정한 선택된 회전 대칭 마스크에 기초하여 블록 분할함으로써 취득되는 두 개의 상보적인 부분에 대해 수행된다. 프레임의 블록은 효율 측정에 기초하여 평가되어, 본 명세서에 설명되는 시스템 및/또는 방법에 기초하여 블록을 분할 및 인코딩하는 경우와, 다른 이미지 및/또는 비디오 압축 방법에 기초하여, 예를 들어 표준에 기초하여 블록의 처리를 계속하는 경우를 결정한다. 상기 방법 및/또는 시스템은 이미지 품질을 현저하게 감소시키지 않으면서, 블록의 압축률을 향상시킴으로써 블록을 저장 및/또는 송신하는 데 필요한 크기(예를 들어, 비트 수)를 감소시킨다. 임의의 이미지 품질 저하는 미리 정의된 허용 한계(acceptable limit) 내 및/또는 본 명세서에서 설명되는 방법이 아닌 표준 방법을 사용한 이미지 품질 저하와 유사하다. 예를 들어, 피크 신호대잡음비(peak signal to noise ratio, PSNR)는 이미지 품질을 정의하는 객관적인 척도(objective measure)로 사용될 수 있다. 효율 측정은, 분할이 표준 기반 방법보다 성능을 향상시킬 것으로 기대되는 경우 블록을 (마스크를 사용하여) 분할 및 인코딩하기 위해, 평가될 수 있다. 효율 측정이 충족되지 않으면, 블록은 그 전체가 (예컨대, 표준에 기초하여) 처리되거나, 서브블록으로 분할될 수 있으며, 그 각각은 개개의 효율 측정에 기초하여 재평가된다. 효율 측정은 마스크를 사용하여 블록을 분할하는 것이 시스템 성능을 향상시킬 것으로 기대되는 경우 블록을 분할함으로써 (예컨대, 효율, 메모리 자원 및/또는 처리 자원의 관점에서) 향상된 시스템 성능을 제공한다.

본 명세서에 설명되는 바와 같이, 프레임(frame) 또는 이미지(image)이라는 용어는 때로 프레임의 일부분 또는 이미지의 일부분을 지칭한다. 변환 계수는 전체 프레임 (및/또는 이미지), 및/또는 프레임 (및/또는 이미지)의 일부분에 대해 계산될 수 있으며, 예를 들어, 변환 계수는 시퀀스(들), 슬라이스(들), 최소 코딩 단위(minimum coded unit, MCU)(예: JPEG 또는 기타 표준에 의해 정의된 바와 같음), 블록(예: HVEC 또는 기타 표준에 의해 정의된 바와 같음) 및/또는 타일(tile)(예: 프레임의 하위부분, 예를 들어, 압축 HEVC 또는 기타 표준에 의해 정의된 것 바와 같음)에 대해 계산된다. 처리되는 프레임 또는 그 일부분은 선택된 모드를 나타내는 송신된 비트 스트림 중의 신호에 기초할 수 있다.

선택적으로, 각 블록 (또는 표준 기반 블록 분할로부터의 서브블록)은 효율 측정에 기초하여 독립적으로 평가된다. 프레임 (또는 그 일부분)에서, 일부 블록은 본 명세서에 설명되는 시스템 및/또는 방법에 기초하여 인코딩될 수 있고, 다른 블록은 표준 기반 압축 방법 및/또는 다른 방법에 기초하여 인코딩될 수 있다. 본 명세서에 설명된 시스템 및/또는 방법에 기초한 블록들의 인코딩은 표준(예: 압축 성능 및/또는 자원 이용도)에 비해 추가적인 성능 향상을 제공하기 위해, 다른 표준 기반 이미지 및/또는 비디오 압축 방법들과 통합된다.

상기 방법 및/또는 시스템은, 블록을 위한 적절한 회전 대칭 마스크를 선택하고, 그 마스크에 기초하여 블록을 두 개의 상보적인 부분으로 분할하고, 회전 대칭 블록 중 하나 또는 둘 다에 대해 회전 대칭 블록 쌍을 생성함으로써 블록을 인코딩하는 인코더를 포함한다. 인코더는 효율 측정에 기초하여 블록을 평가할 수 있다. 상기 방법 및/또는 시스템은 변환 계수를 디코딩하고 블록을 재구성하는 디코더를 포함한다. 변환 계수는 회전 대칭 블록 쌍을 재구성하기 위해 디코딩된다. 회전 대칭 블록 쌍의 각각의 멤버는 (예컨대, 역변환 계산에 기초하여) 개개의 두 개의 상보적인 부분으로 다시 변환된다. 두 개의 상보적인 부분은 회전 대칭 마스크에 의해 안내되어, 블록을 형성하기 위해 다시 함께 연결된다.

명확하게 하기 위해, 인코더의 세부사항을 여기서 설명한다. 기술되는 인코딩 기능 및/또는 구성에 각각에 대해, 대응하는 디코딩 기능 및/또는 구성이 암시된다. 간략하고 명확하게 하기 위해, 인코딩 기능 및/또는 구성 요소에 대응하는 디코딩 기능 및/또는 구성 요소는 설명을 생략한다.

선택적으로, 마스크는 전체 블록의 압축에 비해 또는 블록(예: 4개의 사각형, 예컨대, HEVC(High Efficiency Video Coding) 및/또는 H.265 표준에서 정의된 것)에 대한 표준 분할 방법의 압축에 비해 더 양호하게 압축되는 두 개의 상보적인 부분으로 블록을 분할하기 위해 선택된다.

선택적으로, 마스크는 블록 이미지 내의 하나 이상의 시각적 특징(visual feature)에 기초하여 블록을 분할하기 위해 선택된다. 블록에는, 예를 들어 블록을 가로질러 그려진 경사진 선 또는 에지와 같은 시각적 특징에 의해 구분되는 상이한 유형의 콘텐츠가 포함될 수 있다. 마스크는 시각적인 특징을 실질적으로 따라서 블록을 분할하여, 블록이 시각적 특징이 아닌 다른 위치에서, 예를 들어 HEVC 표준에 명시된 바와 같이 4개의 동일한 블록으로 분할될 때 형성되는 것보다 각각이 서로 더 동질적인(즉, 각각이 일반적으로 콘텐츠의 유형 중 하나를 나타냄) 두 개의 상보적인 부분을 생성할 수 있다.

선택적으로, 상이한 블록에 대해서는 상이한 마스크가 선택된다. 마스크는 예를 들어 블록 내의 내용에 기초하여, 블록에 대해 독립적으로 선택될 수 있다. 커스터마이징된 마스크 선택에 의해 각각의 블록의 압축이 향상된다.

개개의 블록 각각에 적용된 개개의 마스크 각각은 개개의 블록에 대해 계산된 변환 계수의 세트와 연관되어 있다. 예를 들어, 각각의 블록에 대해 사용된 마스크는 계산된 변환 계수와 함께 송신되고/송신되거나, 어떤 마스크(예: 가능한 마스크의 라이브러리 중의) 어떤 마스크가 변환 계수와 연관되어 있는지를 지시하는 신호가 송신된다.

마스크는 회전 대칭적인 특성이 있다. 선택적으로, 마스크는 블록의 형상 및 그 분할이 블록의 중심에 대하여 블록 180도 회전하에서 불변하도록 블록의 두 개의 상보적인 부분으로의 분할을 규정한다. 마스크는 (본 명세서에서 설명되는 바와 같이) 이진 마스크일 수 있다. 회전 대칭성은 적절한 직교 변환 방법, 예를 들어 2D 이산 코사인 변환(discrete cosine transform, DCT)을 사용하여 2차원의 직교 변환 계수의 계산을할 수 있도록 해준다. 직교 변환 계수는 비직교 변환 계수에 비해 더 효율적으로 압축된다.

두 개의 상보적인 부분 각각은 개개의 블록의 부분 내에 원래의 이미지 콘텐츠의 2차원 토폴로지를 유지하여, 동일한 이미지를 재구성할 수 있도록 해준다.

선택적으로, 회전 대칭 블록 쌍의 멤버 각각은 독립적인 공간 및/또는 시간 예측기를 사용하여 인코딩된다. 각각의 멤버의 독립적인 예측기 기반 인코딩은 사전 분할된 블록 그 전체의 예측기 기반 인코딩보다 향상된 성능을 낳을 수 있다.

선택적으로, 회전 대칭 블록 쌍의 멤버 각각에 대해 계산된 변환 계수는 (i) 특정한 세트의 이산 직교 변환에 의해 취득되는 회전 대칭 특성; 및 (ii) 블록의 두 개의 상보적인 부분 각각에 적용된 회전 대칭 개념에 기초하여 생성된 영인 계수(zeroed coefficient)를 건너뛰는 계수 스캐닝 방법에 기초하여 인코딩된다.

회전 대칭 블록 쌍의 멤버 각각의 나머지 건너뛰지 않는 영이 아닌 계수는 독립적인 콘텍스트 모델에 기초하여 엔트로피 인코딩될 수 있다. 영인 계수를 건너뛰는 것은 영인 데이터를 제거함으로써 코딩 성능을 향상시킨다.

본 발명의 적어도 하나의 실시예를 상세하게 설명하기 전에, 본 발명은 그 응용에 있어 이하의 설명에 기재된 및/또는 도면 및/또는 예에 예시된 방법 및/또는 구성요소의 구성 및 배치에 대한 세부사항으로 반드시 제한되는 것은 아니라는 것을 이해해야 한다. 본 발명은 다른 실시예가 가능하거나 다양한 방법으로 실시되거나 수행될 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서로 하여금 본 발명의 측면들을 수행하게 하는 컴퓨터로 판독할 수 있는 프로그램 명령어를 갖는 컴퓨터로 판독할 수 있는 저장 매체(또는 매체)를 포함할 수 있다.

컴퓨터로 판독할 수 있는 저장 매체는 명령 실행 기기에 의한 사용을 위한 명령어를 유지하고 저장할 수 있는 유형의 기기(tangible device)일 수 있다. 컴퓨터가 판독할 수 있는 저장 매체는, 예를 들어 전자적 저장 기기, 자기적 저장 기기, 광학적 저장 기기, 전자기적 저장 기기, 반도체 저장 기기, 또는 이들의 임의의 적절한 조합일 수 있다. 컴퓨터가 판독할 수 있는 저장 매체를 총망라한 것은 아니지만 그 리스트는 다음을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 임의 접근 메모리(random access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 지울 수 있고 프로그램할 수 있는 판독 전용 메모리(erasable programmable read-only memory, EPROM 또는 Flash 메모리), 정적 임의 접근 메모리(static random access memory, SRAM), 휴대 가능한 CD-ROM(Compact Disc Read-Only Memory), DVD(Digital Versatile Disk), 메모리 스틱, 플로피 디스크 및 이들의 적절한 조합. 본 명세서에서 사용되는 컴퓨터로 판독할 수 있는 저장 매체는 전파(radio wave) 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파하는 전자기파(예: 광섬유 케이블을 지나는 광 펄스), 또는 전선을 통해 송신되는 전기 신호와 같은 일시적인 신호(transitory signal)로 해석되어서는 안 된다.

본 명세서에 설명되는 컴퓨터로 판독할 수 있는 프로그램 명령어는 네트워크, 예를 들어 인터넷, 근거리 네트워크(local area network), 광역 네트워크(wide area network) 및/또는 무선 네트워크를 통해 컴퓨터로 판독할 수 있는 저장 매체 또는 외부 저장 기기로부터 개개의 컴퓨팅/처리 기기로 다운로드될 수 있다. 네트워크는

구리 전송 케이블, 광 전송 광섬유, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버(edge server)를 포함할 수 있다. 각각의 컴퓨팅/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터로 판독할 수 있는 프로그램 명령어를 수신하고, 컴퓨터로 판독할 수 있는 프로그램 명령어를 개개의 컴퓨팅/처리 기기 내의 컴퓨터로 판독할 수 있는 저장 매체에 저장하기 위해 전달한다.

본 발명의 동작을 수행하기 위한 컴퓨터로 판독할 수 있는 프로그램 명령어는 어셈블러 명령어, 명령어 세트 아키텍처(instruction-set-architecture, ISA) 명령어, 기계 명령어(machine instruction), 기계 의존 명령어(machine dependent instruction), 마이크로코드(microcode), 펌웨어 명령어(firmware instruction), 상태 설정 데이터(state-setting data), 또는 Smalltalk, C++ 등의 객체 지향 프로그래밍 언어(object oriented programming language), 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은, 종래의 절차형 프로그래밍 언어(procedural programming language)를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드(source code) 또는 객체 코드(object code)를 포함할 수 있다.

컴퓨터로 판독할 수 있는 프로그램 명령어는 사용자의 컴퓨터에서 전체적으로, 사용자의 컴퓨터상에서 부분적으로, 독립형 소프트웨어 패키지로서, 부분적으로는 사용자의 컴퓨터상에서 부분적으로는 원격 컴퓨터상에서 또는 전체적으로 원격 컴퓨터 또는 서버상에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는, 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 또는 그 연결은 (예를 들어, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터와 이루어질 수 있다.

일부 실시예에서, 예를 들어 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(field-programmable gate array, FPGA) 또는 프로그래머블 로직 어레이(programmable logic array, PLA)를 포함하는 전자 회로는, 본 발명의 측면들을 수행하기 위해, 컴퓨터로 판독할 수 있는 프로그램 명령어의 상태 정보를 이용하여 컴퓨터로 판독할 수 프로그램 명령어를 실행할 수 있다.

본 발명의 측면은 여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명한다. 흐름도 및/또는 블록도의 블록 각각, 및 흐름도의 블록 및/또는 블록도의 블록의 조합이 컴퓨터로 판독할 수 있는 프로그램 명령어에 의해 구현될 수 있음이 이해될 것이다.

이들 컴퓨터로 판독할 수 있는 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 기계를 만들 수 있어, 컴퓨터의 프로세서 또는 다른 프로그램 가능한 데이터 처리 장치를 통해 실행되는 명령어가, 흐름도 및/또는 블록도의 블록 또는 블록들에 특정된 기능/행위를 구현하기 위한 수단을 생성할 수 있도록 한다. 이들 컴퓨터로 판독할 수 있는 프로그램 명령어는 또한 컴퓨터, 프로그램 가능한 데이터 처리 장치 및/또는 다른 기기가 특정 방식으로 기능하도록 명령할 수 있는 컴퓨터로 판독할 수 있는 저장 매체에 저장될 수 있어, 내부에 명령어가 저장되어 있는 컴퓨터로 판독할 수 있는 저장 매체가 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/작용(function/act)의 양상들을 구현하는 명령어를 포함하는 제조 품(article of manufacture)을 포함할 수 있도록 한다.

컴퓨터로 판독할 수 있는 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에 로딩되어 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 기기에서 수행되어 컴퓨터로 구현되는 프로세스를 생성하여, 컴퓨터, 다른 프로그램 가능 장치 또는 다른 기기에서 실행되는 명령어가 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/작용을 구현할 수 있도록 한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도 내의 각 블록은 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 모듈, 세그먼트 또는 명령어의 일부분을 나타낼 수 있다. 일부 다른 구현 예에서, 블록에서 언급된 기능은 도면에서 언급된 순서를 벗어나 발생할 수 있다. 예를 들어, 연속적으로 도시된 두 개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 관련된 기능성에 따라 때때로 블록이 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각각의 블록, 및 블록도 및/또는 흐름도 내의 블록의 조합은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해, 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합을 수행함으로써 구현될 수 있다는 것에 유의해야 한다.

이제, 도 1을 참조하며, 도 1은 본 발명의 일부 실시예에 따른, 프레임 내의 블록을 코딩하기 위한 변환 계수의 세트를 생성하는 방법의 흐름도이다. 도 2도 또한 참조할 것이며, 도 2는 본 발명의 일부 실시예에 따른 프레임 내의 블록을 코딩하기 위한 변환 계수의 세트를 생성하도록 구성된 미디어 인코더(202)의 블록도이다. 도 1의 미디어 인코더는, 도 1의 방법의 하나 이상의 블록을 수행하도록 구성된다. 도 2의 미디어 인코더에 의해 수행되는 도 1의 방법은, 예를 들어, 도 12a∼도 12i를 참조하여 설명한 바와 같이 이미지 품질을 크게 저하하지 않으면서, 비디오 및/또는 스틸 포맷에서, 디지털 이미지의 압축 성능을 향상시킨다. 유의해야 할 것은, 인코더(202)는 설명되는 인코딩 기능에 추가하여 또는 대신하여 계수 디코더로서 기능할 수 있다는 것이다. 디코딩 기능은 설명되는 인코딩 기능을 기반으로 하지만, 명확하고 간략하게 하기 위해 생략되었다.

유의해야 할 것은, 명확하고 간략하게 하기 위해, 미디어 인코더(202)는 (여기서 설명되는 바와 같이) 변환 계수의 계산을 위한 요소 및/또는 방법을 참조하여 설명된다. 미디어 인코더(202)는 다른 인코딩 구성요소, 예를 들어, 도 10의 이미지 인코더/디코더(1004) 및/또는 모듈(218, 220)과 같은 다른 인코딩 구성요소를 포함할 수 있고/있거나 이들과 통신할 수 있다.

미디어 인코더(202)는 프로세서(204)에 의한 실행을 위한 프로그램 명령어를 저장하는 하나 이상의 메모리(206)(또는 다른 유형의 컴퓨터로 판독할 수 있는 가능한 저장 매체)와 통신하는 하나 이상의 프로세서(204)를 포함한다. 메모리(206)는 여기서 설명되는 바와 같이, 처리중에 사용하기 위한 데이터를 저장한다. 미디어 인코더(202)는 기존의 이미지 압축 소프트웨어 프로그램 내에 구현된 소프트웨어 모듈로서, 이미지 압축을 위한 기존 하드웨어와 통합된 칩으로서, 이미지 압축을 향상시키기 위해 기존 기기에 플러그되는 별도의 박스로서, 또는 이들의 임의의 조합으로서 구현될 수 있다. 프로세서(204)는 병렬 처리 기술에 기초하여 방법의 단계들을 수행할 수 있고, 단일 프로세서가 사용될 수 있고/있거나 프로세서(들)가 원격에 위치될 수 있다. 병렬 처리는 미리 정의된 회전 대칭 마스크 세트 내의 다양한 후보 마스크에 대해 블록 분할을 위한 최상의 마스크를 선택하기 위해 사용될 수 있다. 하나 이상의 메모리(206)가 원격에 위치될 수 있다.

미디어 인코더(202)는 이미지 및/또는 비디오의 압축을 위한 효율을 향상시킴으로써 및/또는 자원 요건(예: 메모리 및/또는 프로세서)을 감소시킴으로써 시스템 성능을 향상시킨다.

102에서, 프레임 및/또는 블록이 수신된다. 미디어 인코더(202)는 프레임(210) 및/또는 프레임의 블록(들)을 수신하도록 구성된 입력 데이터 인터페이스(208)에 연결된다. 프레임(210)은 스틸 디지털 이미지로서 또는 다수의 프레임을 포함하는 비디오의 일부로서 수신될 수 있다. 프레임(210)이 비디오로부터 수신될 때, 여기서 설명되는 바와 같이, 인터 이미지(inter-image, 이미지 간) 압축 기술이 적용될 수 있다.

미디어 인코더(202)는 프레임 내의 분할된 블록을 지정하도록 구성된다. 선택적으로, 블록 지정기 모듈(block designator module)(212A)은 미디어 인코더(202)가 여기서 설명되는 바와 같이 지정을 수행하는 프로그램 명령어를 포함한다.

프레임은 다수의 블록으로 나눔 및/또는 분할될 수 있다. 프레임은 예를 들어, JPEG(Joint Photographic Experts Group)과 같은 표준에 의해 정의된 바와 같이, 각각의 블록이 동일한 크기를 갖는 다수의 블록으로 분할될 수 있다. 또는, 프레임은 예를 들어 HEVC 및 MPEG(Moving Picture Experts Group)과 같은 비디오 및/또는 스틸 이미지 표준에 기초하여 상이한 크기를 가질 수 있는 서브블록으로 나뉠 수 있다.

블록은 64x64개 화소, 32x32개 화소, 16x16개 화소, 8x8개 화소, 4x4개 화소 또는 다른 크기의 표준 크기를 가질 수 있다.

블록은 정사각형(LxL개 화소) 또는 직사각형(MxN개 화소)일 수 있다.

블록은 휘도(luma) 및/또는 채도(chroma) 데이터를 나타낼 수 있다.

선택적으로, 103에서, 프레임의 각 블록은 서브블록으로 세분된다. 프레임은 예를 들어 JPEG, MPEG 또는 HVEC와 같은 표준에 기초하여 블록으로 사전 파티셔닝(pre-partitioned)될 수 있다. 각각의 분할된 블록(또는 서브블록)은 또한 추가의 서브블록으로 반복적으로 나뉠 수 있다. 블록 세분화는, 시스템의 성능을 더욱 향상시키기 위해, 특정한 표준에 기초한 시스템과 미디어 인코더의 통합을 제공하는 특정한 표준에 기초한다.

블록 분할은 여기서 설명되는 바와 같이, 블록 분할을 수행하고 및/또는 블록 분할을 결정하도록 구성된 블록 분할자 모듈(block divider module)(212G)에 의해 수행될 수 있다.

세분에 대한 결정은 블록 105)을 참조하여 기술된 바와 같이, 효율 측정의 실행에 기초한다. 효율 측정은 선택된 마스크, 블록의 분할, 및 회전 대칭 블록 쌍의 인코딩에 기초하여 블록을 인코딩하는 효율을, 세분된 블록을 인코딩하는 효율에 비교한다. 효율 측정은 향상된 압축 성능을 위해 시스템에 명령한다. 효율 측정은, 마스크를 사용하여 블록을 분할하는 것이 블록을 반복적으로 세분하는 것보다 더 효율적인지를 결정하는 데 도움을 준다. 마스크를 전체 블록에 적용하는 것은 때때로 (예컨대, 쿼드 트리 구조에 기초하여) 블록을 서브블록으로 세분하는 것보다 낫다(예: 향상된 압축 성능을 가져온다). 블록을 세분하는 경우, 더 많은 비트가 구조를 알리는 데 소비될 수 있는 전체 블록(두 부분을 포함함)에 적합한 마스크와 비해, 더 적은 변환 계수(예컨대, 향상된 압축)를 얻을 수 있다.

각각의 반복 동안에, 각각의 세분된 블록은 블록 104에 기초하여 처리된다.

대안으로 또는 추가로, 각각의 전체 블록(또는 세분된 블록)을 인코딩하거나, 또는 블록(또는 세분된 블록)에 마스크를 적용하기 위한 결정이 내려진다.

전체 블록, 세분된 블록을 인코딩할지, 마스크를 적용하고 회전 대칭 블록 쌍을 인코딩할지에 대한 결정은 효율 측정에 기초할 수 있다. 효율 측정은, 효율이 가장 좋은 인코딩 방법에 기초하여 이루어진 결정과 함께, 각각의 경우에 대해 계산 또는 추정될 수 있다.

이제, 도 13을 참조한다. 도 13은 본 발명의 일부 실시예에 따른, 예를 들어, JPEG 표준에 의해 정의된 고정된 크기의 블록을 갖는 이미지의 예이다. 각각의 블록은 선택된 마스크를 적용하고 생성된 회전 대칭 블록 쌍을 인코딩하는 것에 기초하여 인코딩될 수 있다. 또는, 각각의 블록은 예를 들어 JPEG 표준에 의해 정의된 블록 인코딩 방법에 기초하여 그 전체가 인코딩될 수 있다. 블록 1302는 표준 기반 방법을 사용하여 인코딩된 16x16개 블록의 예이다. 블록 1304는 분할선 1306을 갖는 마스크의 적용 및 생성된 회전 대칭 블록 쌍의 인코딩에 기초하여 인코딩된 16x16개 블록의 예이다.

이제, 도 1을 다시 참조하면, 도 1에서, 104에서, 회전 대칭 마스크가 선택된다. 마스크 선택기 모듈(mask selector module)(212B)은, 미디어 인코더(202)가 본 명세서에서 설명된 마스크 선택을 수행하기 위한 프로그램 명령어를 포함한다.

선택적으로, 회전 대칭 마스크는 마스크 블록의 중심에 대해 차수(order) 2의 회전 대칭(때로는 회전 대칭이 360/2 = 180도를 유지함을 나타내는 C2로 지칭됨)을 갖는다.

이제, 도 3을 참조한다. 도 3은 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 일부 예, 예를 들어 직각 사다리꼴(302), 직각 삼각형(304), 직사각형 306) 및 사각형(308)의 개략도이다.

이제, 도 1을 다시 참조하면, 미디어 인코더는 블록으로서 크기 및 형태를 갖는 다차원 공간에서 복수의 상이한 회전 대칭을 정의하는 복수의 회전 대칭 마스크로부터 지정된 블록에 대한 회전 대칭 마스크를 선택하도록 구성된다.

이제, 도 4를 참조한다. 도 4는 본 발명의 일부 실시예에 따른, 프레임(406) 내의 블록(404)에 대한 특정한 회전 대칭 마스크(402)의 선택을 나타낸 개략도이다. 프레임(406)은 집의 이미지를 포함한다. 블록(404)은 집 지붕의 일부분과 하늘의 다른 부분을 포함한다. 마스크(402)는 특정한 압축 선호도(예를 들어, 레이트-왜곡) 및/또는 집과 하늘을 가장 잘 구분하는 시각적 특징 경계 및/또는 에지에 기초하여, 복수의 가용 마스크(410)의 세트에서 선택된다. 선택되지 않은 마스크의 육안 검사(visual inspection)에서 명백한 바와 같이, 마스크(402)를 사용하는 것에 비해, 다른 마스크 중 어느 것의 적용은 지붕 부분 내에 더 많은 하늘이 포함되고, 하늘 부분 내에 더 많은 지붕이 포함되게 한다. 마스크(402)에 의한 블록(404)의 분할은 표준 파티션(408) 또는 다른 마스크에 의한 전체 블록(404)의 압축에 비해, 이미지 압축을 향상시킨다.

이제, 도 2를 다시 참조하면, 미디어 인코더(202)는 복수의 상이한 회전 대칭 마스크를 포함하는 회전 대칭 마스크 라이브러리에서 회전 대칭 마스크를 선택하도록 구성된다. 회전 대칭 마스크는, 선택적으로 메모리(206), 및 프로세서(204)와 통신하는 다른 컴퓨터로 판독할 수 있는 저장 매체에 저장되는 회전 대칭 마스크 라이브러리(212F)에 저장된 복수의 마스크에서 선택될 수 있다.

라이브러리(212F)는 다수의 상이한, 회전 대칭 마스크의 라이브러리를 저장할 수 있다. 각각의 라이브러리는 블록의 크기 및/또는 형상에 기초할 수 있다. 예를 들어, 하나의 라이브러리는 크기가 16x16개 화소인 블록의 마스크를 위한 것이고, 다른 라이브러리는 크기가 8x8개 화소인 블록을 위한 것이다.

선택적으로, 상이한 회전 대칭 마스크는 블록으로서 크기 및 형상을 갖는 정사각형 마스크(즉, LxL개 화소)이다. 또는, 상이한 회전 대칭 마스크는 블록으로서 크기 및 형상을 갖는 직사각형 마스크(즉, MxNro 화소)이다.

회전 대칭 마스크는 대응하는 직사각형 또는 정사각형 블록을 두 개의 2D 미러링된(mirrored) 상보적인 부분으로 분할하기 위해, 직사각형 또는 정사각형의 대향 에지를 연결하는 선을 정의하도록 구성된다. 다른 선은 2차원 미러링 조건에 기초하여 정의될 수 있다. 선은 선형 또는 다른 형태, 예를 들면, 계단식 또는 다른 임의의 형태일 수 있다. 선은 0∼359도의 임의의 각도 또는 그 일부로 기울어질 수 있다. 2D 미러 속성은 블록의 효율적인 압축을 제공한다.

도 5a는 일반적인 2D 미러 개념을 나타낸다. 크기 8x8개 화소의 블록(502)이 예시 목적으로 도시된다. 영역 A 및 영역 B는 블록(502)의 중앙을 수평으로 가로질러 위치하는 가상 선(504)에 의해 분리된다. 영역 A 및 영역 B에서 동일한 번호를 갖는 화소는 서로의 2D 미러이다. 화소 2D 미러링은 MxN개 직사각형에 대해 일반화될 수 있다. 화소 (m, n)이 영역 A에있을 때, 화소 (M-1-m, N-1-n)은 영역 B에있다.

2D 미러 개념은 다른 크기의 다른 정사각형 또는 직사각형 블록에 적용될 수 있음을 이해해야 한다. 2D 미러 개념은 다른 기울기, 예를 들어 수직으로 그려진 다른 가상 선에 대해 묘사될 수 있으며, 영역 A 및 B는 블록(502)의 중앙을 수직으로 지나 위치하는 가상 선에 의해 규정되고 분리됨을 이해해야 한다.

블록(502)의 대향하는 에지를 연결하고 블록(502)의 중심점을 가로지르는 복수의 상이한 선은, 도 5b 및 도 5c에 나타낸 바와 같이, 회전 대칭 마스크 라이브러리를 형성하도록 되어 있다. 각각의 개별 선은 개별 마스크를 규정한다. 각각의 선은 블록(502)을 두 개의 상보적인 부분: 영역 A와 영역 B로 분할한다.

선택적으로, 상이한 회전 대칭 마스크는 개개의 매트릭스에 의해 정의된다(예: 각각의 화소 위치는 매트릭스 내에서의 위치로 표현된다). 각각의 매트릭스는, 예를 들어 2차원 공간을 두 개의 상보적인 부분으로 분할하기 위해, 이차원 공간의 대향 에지를 연결하는 선과 같은, 영역 A와 B의 상이한 분할선를 정의한다.

예를 들어, 3, 4 또는 그 이상의 치수와 같은 다른 치수 공간이 사용될 수 있음을 알아야 한다. 회전 대칭 마스크는 각각의 다차원 공간, 예를 들어 3 차원 공간을 분할하는 평면을 분할하도록 정의된다.

유의할 것은, 선이 샘플의 위치를 지날 때, 샘플 전체가 영역 A에 할당되고 영역 B로부터 제거될 수 있기 때문에, 서브 샘플링할 필요가 없다는 것이다. 계산 자원(예를 들어, 프로세서 및/또는 메모리)는, 예를 들어 개개의 영역에 대한 완전한 세트의 계산을 수행하는 대신에, 영역 A에의 가산 및 영역 B로부터의 제거에 의해 감소될 수 있다. 이제, 본 발명의 일부 실시예에 따른 회전 대칭 마스크 라이브러리의 일부 예인 도 6a∼도 6c를 참조한다. 도 6a는 32x32개 화소 크기의 블록을 분할하기 위한 마스크 라이브러리의 예이다. 도 6b는 16x16개 화소 크기의 블록을 분할하기 위한 마스크의 라이브러리의 예이다. 도 6c는 8x8개 크기의 블록을 분할하기 위한 마스크 라이브러리의 예이다.

도 6a∼도 6c의 회전 대칭 마스크 라이브러리는, 마스크의 어두운 영역(602)(예: 청색) 및 마스크의 밝은 영역(604)(예: 적색)으로 표현되는 두 개의 사다리꼴 영역으로 블록을 분할하는 경사 선에 기초한다. 라이브러리에서의 각각의 마크는 선의 기울기가 약간 다르다. 함께, 모든 마스크는 블록 내의 경사 선의 모든 다른 순열(permutation)을 정의한다. 경사 선 컷에 기초하여, LxL개 크기의 사각형을 구획하는 2x(L-1)개의 상이한 방법이 있다.

도 6b에서, 마스크(606A, 606B)는, 이전 단락의 수식에 기초하여 30개 마스크로 이루어진 세트를 형성하기 위해, 32개 마스크로 이루어진 세트에서 마스크(606A, 606B)의 제거를 나타내는, 이들을 통과하는 평행선을 갖는다. 두 개의 마스크는 미러 대칭으로 인해 기존 마스크와 이중이 되므로, 생성된 세트에서 제거될 수 있다. 마찬가지로, 도 6c에서, 두 개의 이중 마스크는 평행선으로 도시되고, 중복된 마스크를 세트로부터 제거하는 것을 나타낸다.

선택적으로, (하나 이상의 라이브러리로서 저장될 수 있는) 각각의 상이한 회전 대칭 마스크는 계층적 배치(hierarchal arrangement)로 매핑된다. 계층적 배치는 처리 시간 및/또는 자원을 감소시켜 최선의 마스크를 식별할 수 있다.

각각의 라이브러리는 독립적으로 매핑될 수 있으며, 개개의 라이브러리 각각의 마스크는 계층적 배치로 매핑될 수 있다. 또는, 하나 이상의 라이브러리가 동일한 계층적 배열에 기초하여 함께 매핑된다. 각각의 라이브러리 내의 마스크는 동일한 공통의 계층적 ㅂ치에 기초하여 매핑된다.

마스크 세트는 별개의 분리된 섹션으로 나뉜다. 계층적 배치는 2차원 공간의 에지와 관련하여 선의 각도에 따른 것일 수 있다. 예를 들어, 계층적 배치는 도 6a∼도 6c의 선을, 예를 들어, 0∼60도, 61∼120도 및 121∼180도의 그룹에 매핑할 수 있다. 선이 대칭 및/또는 비대칭인 경우, 계층적 배치는 181∼240도, 241∼300도 및 301∼360도 매핑을 위해 계속될 수 있다. 계층적 배치는 계층화될 수 있다. 예를 들어, 0∼60도 그룹은 0∼15, 16∼30, 31∼45 및 46∼60도 그룹으로 더 세분된다.

이제, 도 7을 참조한다. 도 7은 본 발명의 일부 실시예에 따른, 계층적 배치를 그래픽으로 나타낸 개략도이다.

분할된 원(702)은 마스크 라이브러리(706)에 대한 계층적 배치의 예를 그래픽 적으로 나타낸다. 라이브러리(706)는 도 6b를 참조하여 기술한 바와 같이, 16x16개 크기의 블록에 대한 경사 선 마스크를 포함한다. 원(702)은 영역 704A∼704H로 분할되고, 각각은 45도의 선 기울기를 나타낸다. 계층적 배치는 섹터 704A를 704E(섹터 708C로 표시됨)와, 704B를 704F(섹터 708B로 표시)와, 704C를 704G(섹터 708A로 표시), 그리고 704D를 704H(섹터 708D로 표시)와 함께 그룹화한 경사 선 마스크의 대칭 특성으로 인해 단순화된다. 각각의 섹터 708A∼708D는 개개의 각도 범위 내에 속하는 선 경사 각을 갖는 8개 또는 7개의 마스크를 포함한다.

선택적으로, 미디어 인코더는 계층적 배치에 따라 규정된 순서로 상이한 회전 대칭 마스크 중 적어도 일부의 반복적인 마스크 선택에서 회전 대칭 마스크를 선택하도록 구성된다. 예를 들어, 도 7을 참조하면, 수식 22.5+45k(k = 0, 1, 2, 3)에 의해 정의되는 중심 각, 및 45도 스팬을 갖는 4개의 대표 파티션(708A∼708D) 중에서 검색이 수행된다. 섹션은 적절한 함수, 예를 들어, 최소 레이트 왜곡 측정(minimum rate distortion measure)에 의해 계산된 최저 비용에 기초하여 선택될 수 있다. 선택된 섹션 내의 마스크는 유사한 방식으로 선택될 수 있다. 계층적 배치가 추가 레벨을 포함하는 경우, 마스크가 식별될 때까지 반복적인 방식으로 추가 레벨을 검색할 수 있다.

이제, 도 8을 참조한다. 도 8은 본 발명의 일부 실시예에 따른, 회전 대칭 마스크의 생성 및/또는 표현을 나타낸 개략도이다. 선택적으로, 마스크를 포함하는 블록 내의 상이한 순열에 기초하여, 마스크 라이브러리가 생성된다.

예를 들어, LxL개 크기의 블록에 대한 마스크 생성을 설명하며, 이는 MxN개의 경우까지 확장될 수 있다. 마스크는 블록의 중심 쪽으로 진행하는, 왼쪽 상단 모서리부터 시작하여 생성될 수 있다. 움직임의 조합은 블록의 중심에서부터 오른쪽 아래까지 남은 마스크 패턴을 얻기 위해 2D 미러링될 수 있다.

마스크는 각각의 이동에 대해 2진 표현(binary representation)으로 표현될 수 있다. 각각의 이동은 수평적(즉, 왼쪽에서 오른쪽)이거나 수직적(즉, 위에서 아래)이고, 1(예: 오른쪽으로 한 단계) 또는 0(예: 한 단계 아래)으로 표현된다. 2진 마스크 표현은 그대로 송신되거나, 더 압축될 수 있다. 이진 표현은 예를 들어 인코더에서 디코더로의 마스크의 효율적인 (즉, 프로세서 및/또는 메모리 자원 이용 측면에서) 송신을 제공한다.

세트 내의 각 순열은 총 2xL개 이동에 의해 규정될 수 있다.

마스크(802)는 이진 패턴(804)으로 표현된다. 마스크(806)는 이진 패턴(808)에 의해 표현된다.

이제, 도 9를 참조한다. 도 9는 본 발명의 일부 실시예에 따른, 회전 대칭 마스크 및/또는 블록을 분할하기 위한 마스크 라이브러리를 선택하는 컴퓨터화된 방법의 리스트(예컨대, 흐름도)이다. 마스크 및/또는 마스크 라이브러리는 선택되는 대신에 및/또는 선택되는 것에 더해, 블록에 기초하여 (예를 들어, 사전 및/또는 동적으로) 생성될 수 있다. 미디어 인코더(202)는 방법의 하나 이상의 블록을 수행하도록 구성된다. 마스크 선택을 위해 상기 방법의 하나 이상의 블록이 수행될 수 있다. 블록은 임의의 순서 및/또는 동시에 수행될 수 있다.

본 명세서에 기재된 하나 이상의 선택 방법(순차적으로 및/또는 병렬로 실행됨, 선택적으로 조합하여)은 마스크 라이브러리 내의 특정 마스크의 선택을 위한 기초로 사용될 수 있다. 대안으로 또는 부가적으로, 선택 방법은 먼저 복수의 마스크 라이브러리 중에서 특정한 마스크 라이브러리, 및/또는 라이브러리 중에서 마스크의 서브세트를 먼저 선택하는데 사용될 수 있다. 특정한 마스크는 선택된 라이브러리 및/또는 선택된 서브세트에서 선택될 수 있다. 단계적 및/또는 계층적 선택은 각 단계에서 선택을 위한 세트의 크기를 감소시킴으로써, 자원 및/또는 선택을 위한 계산을 감소시킴으로써 검색 범위를 감소시킬 수 있다.

후보 마스크의 더 큰 세트 대신에 라이브러리(또는 마스크 서브세트)로부터 마스크를 선택하는 것은, 선택된 마스크를 디코더에 알리는 데 사용되는 인코딩 비트 수를 감소시키고, 및/또는 계산 복잡도 및/또는 메모리 자원 및/또는 프로세서 자원을 감소시키는 비트의 수를 감소시킨다.

선택적으로, 902에서, 라이브러리 및/또는 마스크는 블록의 크기 및/또는 형상에 기초하여 선택된다. 마스크는 여기에 설명된 바와 같이 선택된 라이브러리 내에서 선택될 수 있다.

대안적으로 또는 부가적으로, 903에서, 미디어 인코더는 또한 세분된 블록의 다른 크기에 대해 정의된 다수의 회전 대칭 마스크 및/또는 마스크 라이브러리로부터 회전 대칭 마스크 및/또는 마스크 라이브러리를 선택하도록 구성된다.

각각의 반복 동안에 (화살표 105C를 참조하여 기술된 바와 같이), 블록 (또는 서브블록)이 다른 서브블록으로 더 분할될 때, 마스크 및/또는 마스크 라이브러리는 분할된 서브블록의 새로운 크기에 기초하여 선택될 수 있다. 예를 들어, 제1 마스크 라이브러리는 32x32개 화소의 블록 크기에 대응하는 마스크 크기에 기초하여 선택될 수 있다. 블록이 4개의 서브블록들로 세분될 때, 다른 마스크 라이브러리는 16x16개의 새로운 서브블록 크기에 기초하여 선택된다. 하나 이상의 서브블록이 또 다시 분할될 때, 또 다른 마스크 라이브러리가 8x8개의 새로운 서브블록 크기에 기초하여 선택된다.

대안으로 또는 추가적으로, 904에서, 미디어 인코더는 반드시 한정되는 것은 아닌, 다음 리스트: 블록, 슬라이스, 타일, 프레임 및 시퀀스 중 임의의 하나 이상에 대한 압축 선호도에 기초하여 회전 대칭 마스크 및/또는 복수의 마스크 라이브러리로부터 회전 마스크 및/또는 회전 대칭 마스크 라이브러리를 선택하도록 구성된다.

압축 선호도는 특정 마스크가 적용될 때 블록의 압축 성능을 정의하는 하나 이상의 파라미터를 포함한다. 압축 선호도는 마스크 및/또는 마스크 라이브러리마다 정의될 수 있다.

압축 선호도는 예를 들어 마스크 및/또는 라이브러리에 대해 이전에 수집된 통계 데이터에 기초하여 추정될 수 있다. 또는, 압축 선호도는 예를 들어 하나 이상의 후보 마스크를 블록에 적용함으로써 계산될 수 있다.

압축 기본 설정은 압축 파라미터가, 품질의 저하를 줄이면서 크기 감소와 같은 특정한 트래드오프를 포함할 때, 마스크 선택에 도움이 될 수 있다.

압축 선호도는 다음 중 하나 이상에서 개별적으로 또는 조합하여 선택된다.

* 압축 복잡도 선호(Compression complexity preference): 마스크에 기초한 압축을 수행하기 위한, 예를 들어, 계산 횟수, 프로세서 자원 및/또는 메모리 자원 리소스와 관련된 측정. 측정은 방법을 실행하는 특정 컴퓨터에 따라 달라질 수 있다.

* 압축 품질 선호도(예: 이미지 왜곡): 마스크에 기초한 압축은 손실이 많은 작업(lossy operation)이므로 블록의 시각적 품질의 저하를 초래한다. 낮은 품질은 육안으로 시각적으로 식별될 수도 있고 그렇지 않을 수도 있다. 압축 품질 선호도는 마스크에 기초한 압축으로 인한 정보 손실, 예를 들어 피크 신호대 잡음비(PSNR) 및/또는 구조적 유사성(structural similarity, SSIM)에 기초하여 결정될 수 있다.

* 압축 크기 선호도: 선택된 마스크에 기초한 압축 후의 블록의 크기(예: 비트 수).

선택적으로, 미디어 인코더는 블록 압축 복잡도, 블록 압축 크기 및 블록 압축 품질에 대한 선호도로 구성된 그룹의 멤버에 따라 회전 대칭 마스크 라이브러리를 자동으로 생성하도록 구성된다. 생성된 마스크 라이브러리는 기지의 압축 선호 기준을 갖고 있어, 라이브러리를 쉽게 및/또는 빠르게 선택할 수 있게 해준다. 생성된 라이브러리 내의 마스크의 수는, 압축 기준을 충족시키는 마스크만 포함되기 때문에, 가능한 모든 순열을 생성하는 것보다 작을 수 있다..

각각의 마스크는 압축 선호도와 연관될 수 있으며, 예를 들어, 압축 선호도 값과 함께 저장, 매칭 및/또는 태깅(tagged)될 수 있다. 각각의 마스크는 압축 복잡도 선호도, 압축 품질 선호도 및/또는 압축 강도 선호도를 계산하기 위해 하나 이상의 측정과 연관될 수 있다.

선택적으로, 상이한 회전 대칭 마스크 각각은 각기 마스크의 크기 및 형상을 갖는 예시적인 블록에 대해 각기 마스크를 적용하는 계산 복잡도를 나타내는 추정된 복잡도 측정과 연관된다. 추정된 복잡도 척도가 낮은 마스크는 더 적은 자원(예: 프로세서 및/또는 메모리)을 필요로 하는 것으로 추정된다. 추정된 결과에 기초한 마스크 선택은 시스템 효율성을 향상시키고 및/또는 더 적은 자원을 사용한다.

선택적으로, 상이한 회전 대칭 마스크 각각은 각기 마스크의 크기 및 형상을 갖는 예시적인 블록에 대해 각기 마스크를 적용함으로써 발생되는 압축 왜곡 레벨을 나타내는 추정된 왜곡 측정과 관련된다. 추정된 왜곡 측정은 예를 들어 시각적으로 구별할 수 없는 압축 왜곡 레벨을 갖는 마스크를 선택하여, 또한 이미지의 높은 압축을 생성하는 손실 압축 교환에 기초하여 마스크를 선택하는 데 도움이 된다. 추정된 왜곡 측정이 낮은 마스크는 목표된 압축 왜곡 레벨을 달성하면서 더 적은 자원(예를 들어, 프로세서 및/또는 메모리)를 필요로 하는 것으로 추정된다.

선택적으로, 미디어 인코더는 블록에 대한 압축 선호도에 기초하여 회전 대칭 마스크를 선택하도록 구성된다. 선택적으로, 압축 선호도는 압축 복잡도 선호도, 압축 품질 선호도 및 압축 크기 선호도 중 하나 이상으로부터 선택된다.

대안으로 또는 부가적으로, 906에서, 마스크 선택은 수신된 프레임을 포함하는 전처리된 비디오 데이터에 기초한다. 비디오 데이터의 전처리는 미디어 인코더에 의해, 미디어 인코더에 연결된 다른 컴퓨터에 의해, 또는 미디어 인코더와 독립적인 (예를 들어, 원격 위치된) 다른 컴퓨터에 의해 수행될 수 있다. 전처리된 데이터는 프레임과 독립적으로 및/또는 프레임과 함께(예: 프레임에 태깅됨) 미디어 인코더로 송신될 수 있다.

전처리는 비디오의 프레임의 콘텐츠의 하나 이상의 식별된 특징, 예를 들어 화소 패턴, 에지, 화소 강도 및 화소 컬러의 통계 분포에 기초할 수 있다. 비디오 데이터는 전처리 결과에 기초하여 미리 분류될 수 있다. 분류는 마스크 및/또는 마스크 라이브러리의 선택을 허용하기 위해 식별된 특징에 기초할 수 있다. 미리 분류된 비디오 데이터는, 마스크가 분류에 기초하여 더욱 효율적으로 선택되고 및/또는 더 적은 자원을 덜 사용하기 때문에, 시스템 성능을 향상시킵니다.

선택적으로, 미디어 인코더는 비디오 데이터의 분류에 기초하여, 복수의 후보 회전 대칭 마스크 및/또는 마스크 라이브러리에서 회전 대칭 마스크 및/또는 마스크 라이브러리를 선택하도록 구성된다. 예를 들어, 전처리는 비디오가 많은 직선을 갖는 프레임, 예를 들어 주택, 자동차 또는 다른 인공 구조물의 이미지를 포함한다는 것을 식별할 수 있다. 비디오 데이터는 직선을 포함하는 것으로 분류될 수 있다. 직선들 (즉, 상이한 각도들)의 마스크 라이브러리가 선택될 수 있다. 다른 예에서, 전처리는 비디오가 복수의 곡선을 갖는 프레임, 예를 들어 트리, 브랜치 및 랜드 지형(land terrain)의 이미지를 포함하고 있음을 식별할 수 있다. 비디오 데이터는 곡선을 포함하는 것으로 분류될 수 있다. 곡선의 마스크 라이브러리(즉, 곡선의 이산화(discretization)에 기초한 계단식 선이 선택될 수 있다).

콘텐츠의 전처리는 여기에 설명된 바와 같이, 예측에 기초한 인코딩을 위한 정보를 제공할 수 있다.

선택적으로, 미디어 인코더는 전처리된 비디오 데이터에 기초하여 회전 대칭 마스크 및/또는 마스크 라이브러리를 자동으로 생성하도록 되어있다. 상이한 회전 대칭 마스크는 하나 이상의 압축 파라미터, 즉 압축 복잡도 선호도에 대한 전처리 결과, 압축 크기 선호도 및/또는 압축 품질 선호도에 따라 다른 회전 대칭 마스크의 마스크 저장소로부터 선택될 수 있다. 압축 파라미터는 비디오 데이터로부터 미리 계산될 수 있다.

비디오 데이터의 전처리는 인코더의 성능을 향상시킬 수 있다. 자원 헤비 계산(resource heavy computation)은 압축하는 중에 대신, 사전에 수행될 수 있다. 마스크 선택을 위한 기초로서 제공되는 데이터는, 압축 프로세스 중에 마스크 선택 계산을 수행하는 대신에, 블록 압축 프로세스 중에 더 빠른 마스크 선택을 허용하기 위해 준비될 수 있다.

대안으로 또는 부가적으로, 908에서, 미디어 인코더는 두 개의 상보적인 부분 중 적어도 하나에 적용되는 변환 프로세스의 결과의 추정 및/또는 변환 프로세스의 결과에 기초하여 회전 대칭 마스크를 선택하도록 되어있다. 결과 및/또는 추정된 결과에 기초한 마스크 선택은 시스템 효율을 향상시키고 및/또는 더 적은 자원을 이용한다.

변환 프로세스의 결과는 변환 프로세스 이후에 상보적 부분 중 하나 또는 둘 다의 크기(예를 들어, 특정한 임계치를 넘는 변환 계수의 절대치의 개수 및/또는 합)를 포함할 수 있다. 변환 처리 후의 부분의 크기가 가장 작은 마스크가 선택될 수 있다. 크기는 두 부분의 크기의 합과 같이, 한 부분 또는 두 부분 모두에 대해 계산될 수 있다.

변환 프로세스의 결과 추정에는 변환 프로세스의 입력 인 잔여 데이터의 절대 차이의 합 (SAD)이 포함될 수 있다.

변환 프로세스의 결과의 추정은 변환 처리에의 입력인 잔차 데이터(residual data)의 절대치 차의 합(Sum of Absolute Difference, SAD)을 포함할 수 있다.

변환 프로세스의 결과의 추정은 잔차 데이터의 수평 및/또는 수직 방향을 따라 1차, 2차, 및/또는 고차 미분의 절대치의 합을 포함할 수 있다.

추정은 동일한 마스크를 사용하여 이전에 인코딩된 부분들로부터의 값에 기초할 수 있다.

변환 프로세스의 결과는 기지의 변환 프로세스, 예를 들어 압축 표준에 의해 정의된 변환 프로세스에 의해 추정될 수 있다.

대안으로 또는 부가적으로, 910에서, 미디어 인코더는 회전 대칭 블록 쌍의 적어도 하나의 멤버에 대해 변환 계수에 적용된 엔트로피 코딩 프로세스 및/또는 양자화 프로세스의 결과 및/또는 결과의 추정에 기초하여 회전 대칭 마스크를 선택하도록 되어 있다.

양자화 및/또는 엔트로피 코딩 프로세스 이후의 부분의 최소 사이즈를 초래하는 마스크, 예를 들어 양자화 후에 영이 아닌 계수의 수 및/또는 생성된 비트의 크기가 각각 선택될 수 있다. 크기는 두 부분의 크기의 합과 같이, 한 부분 또는 두 부분에 대해 계산될 수 있다.

추정은 동일한 마스크를 사용하여 이전에 양자화된 및/또는 엔트로피 코딩된 부분으로부터의 값에 기초할 수 있다.

대안으로 또는 부가적으로, 912에서, 미디어 인코더는 블록 내의 화소 값의 패턴에 따라 회전 대칭 마스크를 선택하도록 되어있다. 화소 값의 패턴은, 예를 들어 강도 임계화(intensity thresholding), 에지 검출, 또는 다른 적절한 방법에 기초하여, 경계 및/또는 에지를 위치시키는 방법과 같은 이미지 세그먼테이션 방법에 의해 블록으로부터 추출될 수 있다. 화소 값의 패턴은 블록 내의 식별된 선의 방향 및/또는 선(또는 곡선)의 패턴을 포함할 수 있다. 추출된 화소 패턴은, 블록의 식별된 선과 동일한 방향 및/또는 패턴을 갖는 마스크를 매칭하는 것과 같이, 예를 들어 최저 비용 함수에 기초하여 추출된 화소 패턴과 가장 유사한 패턴을 갖는 마스크를 식별하기 위해, 특정한 대칭 마스크에 매칭될 수 있다. 화소 값의 패턴에 기초한 선택은 개개의 부분 각각 내의 화소들이 서로 유사하고, 예를 들어, 유사한 강도 및/또는 색상와 같은 두 개의 상보적인 부분들을 생성한다.

예를 들어, 도 4를 다시 참조하면, 블록(404)에서 지붕과 하늘 사이의 에지는 에지 검출 방법에 기초하여 추출된다. 검출된 에지는 비용 함수에 기초하여 마스크(402)에 매핑된다. 마스크(402) 내의 패턴은 마스크 라이브러리 중에서 추출된 에지와 가장 유사한 패턴이다.

대안으로 또는 부가적으로, 914에서, 회전 대칭 마스크는, 특정 회전 마스크가 처리되는 블록의 크기 및/또는 형상을 갖는 예시적인 블록에 적용될 때 송신되는 비트의 수를 나타내는 추정된 레이트 측정에 기초하여 선택된다. 비트 수가 적을수록 특정한 마스크한 더 효율적인 압축을 나타낸다. 상이한 회전 대칭 마스크 각각은 마스크가 크기 및 형상을 갖는 예시적인 블록에 적용될 때 송신되는 비트의 수를 나타내는 추정된 레이트 측정과 연관되어 있다.

레이트 측정은 각각의 마스크와 함께 저장될 수 있어, 추정된 레이트 측도 값에 기초하여 마스크의 신속한 선택을 가능하게 한다. 레이트 측정은 런타임 동안 다시 계산되는 대신에, 각각의 마스크에 대해 미리 계산될 수 있으며, 따라서 선택에 요구되는 계산을 감소시킨다. 레이트 측정은, 블록들의 이전 샘플의 평균 (또는 다른 측정)에 기초하여 미리 정의된 블록일 수 있은 예시적인 블록에 기초하여 계산될 수 있다. 예시적인 블록은 처리되는 블록과의 유사성에 기초하여, 예를 들어 비용 함수에 기초하여 블록의 라이브러리에서 선택될 수 있다.

대안으로 또는 부가적으로, 916에서, 미디어 인코더는 통계적 분류기(statistical classifier)에 기초하여 회전 대칭 마스크를 선택하도록 되어있다. 통계적 분류기는 상이한 회전 대칭 마스크 중 적어도 일부를 적용한 결과를 로깅(logging)하는 트레이닝 세트의 분석에 의해 생성된다. 결과(가중될 수 있음)는 예를 들어, 압축 성능 메트릭(예: 크기, 복잡도, 품질), 프로세서 자원 이용 및 메모리 이용을 포함할 수 있다. 통계적 분류기는 다수의 상이한 원하는 결과를 포함하는 결과의 예측에 기초하여 마스크의 선택을 향상시킬 수 있다.

트레이닝 세트는 시스템에 의해 처리된 실제 프레임의 이력에 기초하여 취득될 수 있다. 또는, 트레이닝 세트는 처리될 프레임 유형의 예측에 기초하여 취득될 수 있으며, 예를 들어, 자연 채널은 자연 비디오로 분류기를 트레이닝시킬 수 있다.

분류의 결과는 분류기 더 트레이닝하고 갱신하기 위한 입력으로 사용될 수 있다.

통계적 분류기는 감독형 러닝(supervised learning) 및/또는 비감독형 러닝(unsupervised learning) 방법에 기초하여 트레이닝될 수 있다.

분류기는 블록 자체에 적용되어, 블록 내의 화소를 두 개의 그룹 중 하나로 분류할 수 있다. 두 개의 그룹은 회전 대칭 마스크의 회전 대칭 제약에 기초하여 분할될 수 있다. 마스크는 블록 내의 두 그룹의 배치와 매칭되도록 선택된다. 두 개의 상보적인 부분의 각 부분은 각기 그룹으로부터의 화소를 포함하는 마스크를 사용하여 블록의 분할로부터 생성된다.

대안으로 또는 부가적으로, 918에서, 미디어 인코더는 블록의 공간적 및/또는 시간적 인접 블록들로부터 추출된 콘텐츠에 기초하여 회전 대칭 마스크를 선택하도록 되어 있다. 이웃은 인트라 이미지(intra-image) 및/또는 인터 이미지(inter-image) 블록일 수 있다. 공간 블록은 블록에 대해 하나 또는 여러 방향 또는 모든 방향으로 블록의 이웃일 수 있다. 시간적 인접 블록은 이전 프레임들에서 이웃 블록(예를 들어, 시간상 더 이른) 및/또는 후속 프레임(예를 들어, 시간 상 더 늦은)에서 존재할 수 있다. 블록은 직접 이웃이거나, 두 개 이상의 블록(또는 프레임) 떨어져 위치할 수 있다. 예측기로 사용되는 유사한 화소 패턴을 포함하는 이웃 블록은 시스템 성능을 향상시키고 더 적은 자원을 필요로 한다.

선택적으로, 이웃은 이전에 처리된 블록을 포함한다. 이전에 처리된 블록은 현재 처리중인 블록에 대한 마스크 선택을 위한 예측기로 사용될 수 있다. 선택적으로, 회전 대칭 마스크의 선택은 블록의 공간 및/또는 시간적으로 이웃하는 블록과 연관된 정보에 기초하여 수행된다. 선택적으로, 공간 및/또는 시간적으로 이웃 블록과 연관된 정보는 예측과 관련된다. 예를 들어, 정보는 처리되는 현재 블록과 이웃 중 하나 이상 간의 차이를 줄이기 위한 데이터를 포함할 수 있으며, 여분의 정보(redundant infromation)는 생략된다. 마스크는 차 데이터(difference data)에 기초하여 선택될 수 있다.

선택적으로, 추출된 콘텐츠는 공간 및/또는 시간적으로 이웃 블록에서의 화소 값의 패턴에 따른다. 이웃 블록의 화소 패턴은 현재 블록에서의 마스크의 선택을 위한 예측기 역할을 할 수 있다. 예를 들어, 화소 패턴은 (도 4를 참조하여 설명한 바와 같이) 지붕과 하늘 사이의 경계 및/또는 에지를 포함한다. 지붕과 하늘 사이의 에지는 여러 이웃 블록에 걸쳐 계속된다. 예측기에 기초한 인코딩은 시스템 효율을 향상시키고 및/또는 더 적은 리소스를 사용한다.

대안으로 또는 부가적으로, 920에서, 미디어 인코더는 추가로 하나 이상의 효율 기준에 기초하여 회전 대칭 마스크 라이브러리에서 회전 대칭 마스크를 선택하도록 되어있다. 회전 대칭은 처리되는 블록에 대한 시스템 성능의 향상에 기초하여 선택되며, 다른 마스크를 덮는 마스크를 선택함으로써 달성된다. 효율 기준의 세부사항은 블록 105을 참조하여 기술된다.

이제, 도 1을 다시 참조하면, 105에서, 선택된 대칭 마스크가 블록(또는 서브블록)의 변환에 적용될 때, 블록(또는 서브블록)에 대한 효율 측정이 평가된다. 대안으로 또는 부가적으로, 특정한 마스크가 효율 측정의 하나 이상의 기준에 기초하여 마스크 라이브러리에서 선택된다.

효율 측정에는 실제 결과를 얻기 위한 계산 및/또는 결과의 추정이 포함될 수 있다. 계산 및/또는 추정은 마스크를 적용하거나, 마스크를 적용하지 않는 효과를 평가하기 위해 수행될 수 있다. 마스크가 적용되지 않을 때, 블록(또는 서브블록)을 그대로 부호화하거나, 또는 블록(또는 서브블록)을 추가적인 블록으로 분할하는 효과를 평가하기 위해 계산 및/또는 추정이 수행될 수 있다. 효율 측정은 각각의 블록에 대해 독립적으로, 또는 분할된 블록의 모든 서브블록들의 성능의 조합으로서 계산될 수 있다.

효율 측정은 표준 또는 비표준 측정에 기초하여, 압축된 블록의 인코딩 비트의 수를 포함할 수 있다. 실제 결과는 변환, 양자화 및 엔트로피 코딩의 기능을 수행하는 하나 이상의 구성요소를 포함하는, 전체 코딩 채널(또는 그 일부)을 활성화 시킴으로써 계산될 수 있다. 코딩 채널은 적용된 마스크 있는 및/또는 적용된 마스크가 없는 서브블록에 대해 인코딩된 비트를 계산하여, 상대적인 성능을 비교할 수 있다. 코딩 채널은 각각의 마스크의 성능을 비교하기 위해 상이한 마스크를 갖는 서브블록에 대해 인코딩된 비트를 계산할 수 있다. 코딩 채널의 활성화는 코딩 채널 자원을 차지하는 트래드오프(trade-off)와 함께, 정확한 효율 측정 값을 제공한다.

효율 측정은 예를 들어, 도 9의 블록 904를 참조하여 여기서 기술되는 바와 같은 압축 파라미터를 포함할 수 있다.

선택적으로, 화살표 105B에서, 효율 측정이 충족될 때, 블록의 처리는 블록 106을 참조하여 설명한 바와 같이 계속된다. 효율 측정의 충족은, 마스크의 적용 없이 전체 블록의 인코딩과 비교할 때, 블록이 마스크에 의해 분할되고 회전 대칭 블록 쌍의 멤버 각각이 인코딩되는 경우 압축 성능이 (여기서 설명한 바와 같이) 향상될 것으로 예상된다는 것을 지시한다.

또는, 화살표 105C에서, 효율 측정이 충족되지 않으면, 미디어 인코더는 블록을 전체 블록으로서 인코딩하고 및/또는 세분된 블록을 다수의 추가 세분된 블록으로 반복적으로 세분함으로써 표준(예: HEVC) 방법을 따를 수 있다. 선택적으로, 미디어 인코더는 블록 103에 기초하여, 다수의 추가 세분된 블록 각각에 대한 반복적인 세분을 반복한다.

반복적인 블록 세분은 트리 구조, 예를 들어 MPEG 및/또는 HVEC 표준에 의해 정의된 쿼드 트리 구조(quad tree structure)에 기초할 수 있다. 트리 구조는 시스템의 성능을 향상시키기 위해, 특정한 표준에 기초한 시스템에 미디어 인코더를 통합할 수 있도록 해주는, 특정한 특정 표준에 사용된다.

선택적으로, 미디어 인코더는 반복적인 세분화 프로세스를 지원하기 위해 각각의 블록의 세분화를 매핑하는 트리 구조를 사용하도록 되어있다. 트리 구조는, 예를 들어, 도 14 및 도 15와 관련되고 이하에 기술되는 바와 같이, 회전 대칭 블록 쌍의 멤버를 각각 나타내는 두 개의 리프(leaf)를 추가함으로써 트리 구조를 회전 대칭 블록 쌍으로 갱신될 수 있다.

선택적으로, 블록의 인코딩을 위해 마스크가 적용될 수 있는 트리의 레벨 (즉, 서브블록 사이즈)이 선택 및/또는 제어된다. 선택적으로, 미디어 인코더는 트리 구조 내의 세분된 블록의 깊이가 미리 정의된 임계치를 넘는 경우 세분된 블록을 분할하도록 되어 있다. 세분의 반복은 적절한 마스크가 개개의 블록에 대해 식별될 때까지, 또는 최소 크기 서브블록 크기 임계치에 도달할 때까지 계속된다 (예를 들어, 4x4개 또는 8x8개 화소). 최소 크기 임계치는 이미지 및/또는 비디오 압축 표준에 의해 정의될 수 있다.

선택적으로, 미디어 인코더는 추가로, 예를 들어, 도 14 및 도 15를 참조하여 도시된 바와 같이, 블록들을 다양한 개수의 세분된 블록으로 세분하여, 상이한 크기의 상이한 세분된 블록을 형성하도록 되어 있다.

이제, 도 14를 참조한다. 도 14는 본 발명의 일부 실시예에 따른, 트리 구조에 기초한 블록의 반복적인 세분을 나타낸 개략도이다. 블록 1402은 프레임 또는 프레임의 블록 파티션이다. 블록 1402는 4개의 서브블록으로 세분되어 있다. 일부 서브블록은 4개의 추가 하위블록으로 더 나뉘어져 있다. 서로 다른 크기의 서로 다른 세분화된 블록이 형성된다. 특정한 서브블록은 선택한 마스크를 적용하여 처리된다. 선형의 경사 점선 패턴은 마스크 분할 선을 나타낸다. 다른 서브블록은 점선의 부재로 나타낸, 그 전체가 코딩된다.

트리 1404는 블록 1402의 반복적인 세분을 나타낸다. 트리 1404의 4개의 브랜치 그룹은 블록의 4개의 서브블록으로의 세분을 나타낸다. 서브블록의, 4개의 추가 서브블록으로의 반복적인 분할은 각각 4개의 브랜치의 다른 그룹에 의해 각각 도시된다. 리프는 서브블록 분할의 최종 단계를 나타낸다. 회전 대칭 블록 쌍으로서 처리되는 두 개의 상보적인 부분으로 마스크에 의해 추가로 분할되는 서브블록은 두 개의 점선 리프로 나타나 있다.

이제, 도 15를 참조한다. 도 15는 본 발명의 일부 실시예에 따른, 트리 구조에 기초한 블록의 반복적인 세분을 나타낸 다른 개략도이다. 블록 1502는 계단식 절단 선(stairstep cut line)을 포함하는 마스크 라이브러리로부터의 마스크 적용을 제외하고는, 도 14의 설명된 블록 1402와 유사하다. 계단식 마스크로 분할된 서브블록은 미러 부분으로 표현되며, 그 중 하나는 흑색으로 표시된다. 트리(1504)는 도 15의 설명된 트리(1504)와 유사하다. 계단식 마스크에 의해 분할된 서브블록은 두 개의 점선 리프로 표현된다.

이제, 도 1을 다시 참조하면, 106에서, 블록은 회전 대칭 마스크에 기초하여 두 개의 상보적인 부분으로 분할된다. 선택적으로, 블록 분할기 모듈(212C)은 미디어 인코더(202)가 본 명세서에 설명된 바와 같이 블록 분할을 수행하기 위한 프로그램 명령어을 포함한다.

108에서, 각각이 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍이 생성된다. 선택적으로, 쌍 생성기 모듈(212D)은 미디어 인코더(202)가 여기에 설명된 바와 같이 쌍 생성을 수행하기 위한 프로그램 명령어를 포함한다.

미디어 인코더는 두 개의 상보적인 부분 중 하나와, 블록의 크기 및/또는 형상을 갖는 블록을 형성하기 위해 추가된 다른 부분에 에 기초하여 회전 대칭 블록 쌍의 멤버 각각을 생성한다.

선택적으로, 추가된 부분은 회전 대칭 블록이 구성되는 부분의 2D 미러이다.

선택적으로, 추가된 부분은 회전 대칭 블록이 구성되는 부분의 2D 미러이지만, 음의 부호가 추가된다. 이 경우 회전 대칭 블록은 두 개의 반 대칭 부분(anti-symmetric portion)을 포함한다.

선택적으로, 추가된 부분은 미리 정의된 시퀀스를 갖는, 예를 들어, 모두 0인 패딩(padding)을 포함한다.

선택적으로, 추가된 부분은 회전 대칭 블록이 구성되는 부분의 180도 회전에 기초하여 생성된다.

선택적으로, 추가된 부분의 차원은 상보적인 부분의 차원, 예를 들어 2차원에 기초한다.

생성된 회전 대칭 블록 쌍의 멤버 각각은 선택된 마스크에 기초하여 주 대각선 또는 다른 절단 선 패턴 주위에 2D 미러링된 값을 갖는 매트릭스로 표현된다.

선택적으로, 미디어 인코더는 프레임의 적어도 일부 블록으로부터 생성된, 복수의 회전 대칭 블록의 쌍을 포함하는 데이터세트에 회전 대칭 블록 쌍을 추가하도록 되어있다. 데이터 세트는 회전 대칭 블록과, 더 큰 블록의 반복적인 분할에 의해 생성된 서브블록 또는 그 전체가 처리되는 서브블록 모두를 포함할 수 있다. 또는, 그 전체가 처리되는 서브블록이 다른 데이터세트에 별도로 저장됨에 따라, 데이터세트는 회전 대칭 블록만을 포함할 수 있다. 데이터세트는 여기에 설명된 바와 같이 쌍 및/또는 표준 블록을 저장하도록 되어 있는, 쌍 데이터세트 저장소 (212H)로서 저장될 수 있다.

선택적으로, 109에서, 회전 대칭 블록 쌍 중 하나 또는 둘 다는, 예를 들어, 예측 모듈(212G)에 의해 공간 예측 및/또는 시간 예측을 위해 처리된다. 시간 예측은 인터 이미지 코딩을 위해 수행될 수 있다. 선택적으로, 비디오 인코딩에서, 예측은 재구성된 이미지에 기초하여 수행된다. 재구성된 이미지는 양자화된 계수가 역양자화를 거친 후, 역변환되고, 디블록 필터링(deblock filtering)에 의해 생성될 수 있다. 유의할 것은, 블록 109는 블록 116 후에(즉, 양자화된 계수에 기초하여), 및/또는 블록 118 후에, 및/또는 인코딩 프로세스의 다른 위치들에서 부분적으로 또는 전체적으로 실행될 수 있다는 것이다.

선택적으로, 회전 대칭 블록 쌍의 멤버 각각은 상이한 공간 예측기와 연관되어 있다. 또는, 회전 대칭 블록 쌍의 멤버 모두는 동일한 공간 예측기와 연관되어 있다.

선택적으로, 공간 예측은 인트라 이미지(intra-image ) 코딩을 위해 수행된다. 회전 대칭 블록 쌍의 부재 각각 또는 둘 다는 인트라 이미지 예측에 기초하여 코딩될 수 있다.

선택적으로, 미디어 인코더는

개개의 회전 대칭 블록 쌍을 생성하기 위해 사용된 개개의 회전 대칭 마스크에 따라 선택된 공간 예측기를 사용하여 (블록 110을 참조하여 예를 들어 설명한 바와 같이) 각각의 변환 계수를 코딩하도록 되어있다. 선택적으로, 가장 가능성 있는 예측기 중 하나 또는 세트가 선택된 마스크에 기초하여 선택되고, 예를 들어 H.265 표준에 의해 정의된 방향 모드가 마스크에 기초하여 선택된다. 대안으로 또는 부가적으로, 미디어 인코더는 특정한 개개의 공간 예측기를 사용하여 (블록 쌍 중) 각각의 회전 대칭 블록을 독립적으로 코딩하도록 되어있다. 개개의 공간 예측기는 각각은 각기 상보적인 부분 각각에 따라 선택된다. 예측 신호를 형성하기 위해 사용되는 공간적으로 이웃하는 블록으로부터의 경계 샘플은 마스크 절단 선 방위에 기초하여 및/또는 각기 상보적인 부분 각각에 기초하여 취득될 수 있다. 블록의 콘텐츠를 두 개의 상보적인 부분으로 나누기 위해 마스크가 이미 선택되었으므로, 각 부분의 콘텐츠에 대한 예측기는 각기 상보적인 부분 각각의 근처에 상주할 것으로 예상된다. 예측기의 선택은 선택된 마스크에 의해 안내될 때 및/또는 각각의 상보적인 부분에 기초할 때 더 정확할 수 있고 및/또는 더 적은 자원(또는 더 적은 시간)으로 수행될 수 있다. 각각의 회전 대칭 블록은 예측기가 사용될 때 더욱 효율적으로 인코딩된다. 회전 대칭 블록 쌍을 인코딩하는 것이 단일 블록을 한 쌍의 회전 대칭 블록으로 분할하지 않고 인코딩하는 것보다 효율적이다.

대안으로 또는 부가적으로, 공간 예측이 인터 이미지에 수행된다. 회전 대칭 블록 쌍의 멤버 각각 또는 둘 다는 인터 이미지 예측에 기초하여 코딩될 수 있다. 서로 다른 움직임 벡터가 개개의 회전 대칭 블록 쌍의 멤버 각각에 대해 계산될 수 있거나, 또는 동일한 움직임 벡터가 그 쌍에 사용될 수 있다. 미디어 인코더는 소정의 각기 움직임 벡터를 사용하여 각각의 회전 대칭 블록을 독립적으로 코딩하도록 되어있다. 개개의 움직임 벡터 각각은 각기 상보적인 부분 각각에 따라 선택될 수 있다.

이제, 도 22a 및 도 22b를 참조한다. 도 22a 및 도 22b는 본 발명의 일부 실시예에 따른 공간 및/또는 시간 예측을 나타낸 개략도이다.

도 22a는 각각의 회전 대칭 블록 및/또는 두 개의 상보적인 부분 각각에 대한 독립적인 공간 인트라 예측기를 나타낸다. 메인 블록(2202)은 네 개의 서브블록(2204)으로 세분되었다. 대각 절단 선(2206)을 갖는 마스크가 소정의 서브블록(2204A)이 상부(2208A)와 하부(2208B)로 분할되도록 선택되었다. 회전 대칭 블록 쌍 (명확성을 위해 도시되지 않음)의 멤버 각각은 각기 상보적인 부분으로부터 계산된다. 이 예에서, 수직 인트라 예측기(2210)는 상부(2208A)에 대해 선택되고 수평 인트라 예측기(2212)는 하부(2208B)에 대해 선택된다.

도 22b는 각각의 회전 대칭 블록 및/또는 두 개의 상보적인 부분 각각에 대한 독립적인 시간 인터 예측기(temporal inter-predictor)를 나타낸다. 블록(2204A)(도 22a를 참조하여 설명됨)은 처리되는 현재 프레임(2220)에 나타나 있다. 프레임(2222)은, 움직임 벡터와 같은 예측기를 생성하기 위한 참조 프레임(reference frame)이다. 프레임(2222)의 부분(2228A)은 블록(2204A)의 상부 부분(2208A)에 대한 예측 블록으로서 선택된다. 움직임 벡터는 MVx = MVy = 0으로 표현된다. 프레임(2222)의 부분(2228B)은 블록(2204A)의 하부 부분(2208B)에 대한 예측 블록으로서 선택된다. 움직임 벡터는 MVx = -5 및 MVy = 1로 표현된다.

각각의 부분과 개개의 예측 사이의 차(즉, 개개의 잔차)는 개개의 회전 대칭 블록을 생성하기 위한 두 개의 상보적인 부분 중 하나로서 사용될 수 있고, 그 다음에 그 회전 대칭 블록은 코딩될 수 있다. 잔차는 시간 예측기, 공간 예측기, 인트라 프레임 예측기 및 인터 프레임 예측기 중 하나 이상에 대해 계산될 수 있다. 유의할 것은, 시간 예측은 인터 프레임 데이터에 기초하고, 공간 예측은 인트라 프레임 데이터에 기초한다는 것이다.

이제, 도 1을 다시 참조하면, 110에서, 회전 대칭 블록 쌍의 멤버 하나 또는 멤버 둘 다에 대한 하나 이상의 변환 계수가 계산된다. 선택적으로, 변환 계수는 회전 대칭 블록 각각에 대해 계산된다. 선택적으로, 계수 계산 모듈(212E)은 미디어 인코더(202)가 여기에 설명된 바와 같이 변환 계수 계산을 수행하기 위한 프로그램 명령어를 포함한다.

변환 계수의 계산은 하나 이상의 표준 기반 계산 방법에 기초하여, 하나 이상의 인코딩 기술에 기초하여, 및/또는 독자적인 방법(based on proprietary method)에 기초하여 수행될 수 있다. 인코딩 기술의 예에는, 예를 들어, 회전 대칭 블록이 매트릭스 표현될 때, 각각의 차원을 따라 적용되는 두 개의 분리 가능한 고속 DCT들에 기초하여, 계산될 수 있은 2차원(2D) 이산 코사인 변환(DCT)이 포함되며, 2D-DCT는 행을 따라, 그 후 열을 따라, 또는 열을 따라, 그 후 행을 따라 계산될 수 있다. 변형 방법의 다른 예에는, 2D 이산 사인 변환(DST) 및 2D 미러링 조건을 유지하는 기타 직교 및/또는 직교 변환 스킴이 포함되며, 예를 들어 다음과 같다:

T_p,q(M-m-1,N-n-1) = (-1)^(p+q)T_p,q(m,n),

위 식에서, {T_p,q (m,n)}는 2D 변환 기준(transformation basis)이고; (m,n) 은 화소 위치이며, m=0,1,...,M-1; n=0,1,...,N-1; p와 q는 공간 주파수:

p=0,1,...,M-1; q=0,1,...,N-1; p+q는 대칭 및 비대칭(anti-symmetrical)의 경우에 각각 짝수 또는 홀수이다.

표준 기반 인코딩 기술의 예는 정수 변환 및/또는 역변환에 대한 HEVC 및/또는 H.265 표준이다.

선택적으로, 2D 미러링된 부분이 음의 부호(즉, 비대칭)로 추가될 때 계수의 직교 변환 세트는 두 개의 상보적인 부분 각각에 대해 계산된다. 변환 계수의 계산을 위한 대칭 및 비대칭 변환 함수에 대한 세트는 다를 수 있다. 변환 계수를 계산할 때, 각기 대칭 또는 비대칭 변환 함수가 사용된다.

이제, 도 16a 및 도 16b를 참조한다. 도 16a 및 도 16b는 본 발명의 일부 실시예에 따른 상부(도 16a) 및 하부(도 16b) 분할 부분으로부터 생성된 8x8개의 회전 대칭 블록에 대한 2D DCT 직교 매트릭스를 나타낸다. 블록은 대각의 절단 선을 갖는 마스크를 적용하여 분할되었다.

직교 규격화(orthonormality)는 세트로부터의 두 매트릭스 각각 사이의 내적(inner product)이 영이고, 각각의 매트릭스와 그 자신 사이에서 계산될 때 값 1인 속성을 나타낸다. ij 번째(제ij) DCT 계수는 제ij 8x8 매트릭스와 8x8 입력 블록 m의 내적에 의해 계산되며, i = 0,1, .., 7이고, j = 0,1, ..., 7이다. 예를 들어, 상부 삼각형 블록의 DCT 계수는 입력 8x8개 블록의 오른쪽 위 삼각형에 대해 실제로 합산하는 왼쪽 위 매트릭스(i=0, j=0)을 사용하여 계산된다. 각 도면에서 밝은(녹색) 영역은 회전 대칭 블록의 관련성이 없는 영역과 관련된다.

선택적으로, 미디어 인코더는 회전 대칭 마스크의 각기 부분에 적응된 하나 이상의 공간 예측기를 사용하여 변환 계수(들)를 코딩하도록 되어있다. 변환은 예측 블록으로부터, 예측 벡터, 예측 에러 및/또는 예측 잔차에 대해 생성된 회전 대칭 블록에 대해 계산될 수 있다. 예측 잔차는 처리되는 회전 대칭 블록 내의 부분과 대응하는 예측 블록 간의 차이에 기초하여 시간 및/또는 공간 블록(즉, 인터 및/또는 인트라 이미지 블록)에 대해 계산될 수 있다.

선택적으로, 미디어 인코더는 회전 대칭 마스크의 각기 부분에 적응된 하나 이상의 시간 예측기를 사용하여 변환 계수(들)를 코딩하도록 되어있다. 대안으로 또는 부가적으로, 미디어 인코더는 각기 대응하는 부분에 관련된 공간 예측기를 사용하여 회전 대칭 블록 각각의 변환 계수(들)를 코딩하도록 되어 있다. 대안으로 또는 부가적으로, 미디어 인코더는 각기 대응하는 부분에 관련된 움직임 벡터를 사용하여 회전 대칭 블록 쌍의 변환 계수(들)를 코딩하도록 되어있다. 움직임 벡터는 시간 예측을 계산하는데 사용될 수 있다. 선택적으로, 비디오 인코딩에서, 예측은 재구성된 이미지에 기초하여 수행된다. 재구성된 이미지는, 양자화된 계수가 역양자화를 거친 후, 역변환된 후, 디블록 필터링에 의해 생성될 수 있다.

유의할 것은, 변환 계수는 모든 변환 계수에 대해 하나의 방법, 상이한 변환 계수(또는 변환 계수 세트)에 대한 상이한 방법 및/또는 방법들의 조합에 기초하여 계산될 수 있다는 것이다.

선택적으로, 미디어 인코더는 회전 대칭 마스크에 적응된 엔트로피 콘텍스트 모델을 사용하여 변환 계수(들)를 코딩하도록 되어있다. 엔트로피 콘텍스트 모델은, 예를 들어, 허프만 코딩(Huffman coding) 및/또는 산술 코딩(arithmetic coding)에 기초하여 무손실 데이터 압축으로 변환 계수를 인코딩하기 위해, 선택된 마스크의 지식에 기초하여 정의될 수 있다. 마스크의 엔트로피 특성은 미리 인코더에 알려지므로, 더 간단한 코드를 계산할 수 있다.

엔트로피 콘텍스트 모델은, H.265/HEVC, H.264/MPEG-4, 또는 기타 표준의 CABAC(Context Adaptive Binary Arithmetic Coding )와 같은, CABAC 스킴과 같은, 독자적으로 설계된 모델 및/또는 표준 기반 모델일 수 있다.

112에서, 계산된 변환 계수는 추가 처리, 저장 및/또는 송신을 위해 제공된다. 선택적으로, 미디어 인코더(202)에 연결된 출력 입력 인터페이스(214)는 여기서 설명된 바와 같이, 계산된 변환 계수(216)를 제공하도록 되어있다.

선택적으로, 114에서, 블록 102∼112은 프레임 내의 다른 블록에 대해 반복된다. 블록 102∼112는 다른 프레임들에 대해 반복될 수 있다. 유의할 것은, 특정한 프레임의 블록들은 병렬로 처리 될 수 있다는 것이다.

선택적으로, 116에서, 변환 계수는 양자화된다. 양자화는 여기에 설명된 바와 같이, 이미지 및/또는 비디오 압축 표준에 기초할 수 있는 양자화 모듈(218)에 의해 수행될 수 있다.

선택적으로, 118에서, 양자화된 계수는 엔트로피 코딩되어 프레임 또는 프레임의 부분의 인코딩을 생성한다. 선택적으로, 계수 스캐닝은 양자화된 변환 계수 및/또는 양자화되지 않은 변환 계수에 대해 수행된다. 엔트로피 코딩은 계수 스캐닝을 포함할 수도 있다.

선택적으로, 미디어 인코더는 추가로 상이하게 인코딩하도록 적응된 하나 이상의 상이한 엔트로피 코딩 모델을 사용하여 양자화된 계수를 코딩하도록 되어있다. 엔트로피 코딩 모델은 양자화된 변환 계수와 관련된 개개의 회전 대칭 마스크에 기초하여 선택된다.

미디어 인코더는 개개의 회전 대칭 블록 쌍을 생성하기 위해 사용된 개개의 회전 대칭 마스크에 따라 선택된 엔트로피 콘텍스트 모델을 사용하여 각각의 변환 계수를 코딩하도록 되어있을 수 있다. 미디어 인코더는 회전 대칭 블록 쌍의 멤버 중 하나 또는 둘 다에 적용되는 엔트로피 콘텍스트 모델을 사용하여 하나 이상의 변환 계수를 코딩하도록 적용될 수 있다. 엔트로피 콘텍스트 모델을 사용한 인코딩은 시스템 효율 및/또는 성능을 향상시킨다. 여기에 설명된 계수 스캐닝 패턴은 적용된 회전 대칭 마스크 및/또는 회전 대칭 블록에 기초하여 선택될 수 있다.

엔트로피 인코딩은 여기에 설명된 바와 같이, 인코딩된 프레임(또는 그 일부분(222)의 비트 스트림을 생성하기 위해 계수 스캐닝 및/또는 엔트로피 인코딩을 수행하도록 구성된 엔트로피 코딩 모듈(220)에 의해 수행될 수 있다. 코딩 모듈(220)은 인코더(202)와 통신하는 외부 메모리 또는 메모리(206)에 상주하는 인코더(202)의 요소로서 포함될 수 있다.

선택적으로, 변환 계수는 매트릭스로 배치된다. 계수 스캐닝은 매트릭스 형태의 양자화된 변환 계수에 대해 수행되어, 계수를 선형 어레이로 재배열할 수 있다. 계수 스캐닝은 양자화된 변환 계수의 엔트로피 코딩 프로세스의 일부로서 수행 될 수 있으며, 양자화된 변환 계수에 대해 무손실 압축(lossless compression)을 수행한다.

계수 스캐닝은 회전 대칭 블록 쌍의 멤버 각각의 2D-DCT 인코딩이 계수의 절반에 대해 0을 생성한다는 속성을 이용한다. 계수의 총수는 MxN/2(MxN개 블록의 경우)이다. 영(0) 값은 반대 대각선(opposite diagonal)상에 위치하며, 여기서 MxN개 블록(또는 LxL)에 대해, i+j는 홀수이고, i = 0,1,2, ..., M-1이다. j = 0,1, ..., N-1이다.

계수 스캐닝은 변환 계수 계산 모듈(212E), 또는 여기에 설명된 계수 스캐닝을 수행하도록 추가로 구성될 수 있은 다른 모듈에 의해 수행될 수 있다.

선택적으로, 미디어 인코더는 추가로, 영인 계수를 건너뛰면서 변환 계수를 스캐닝함으로써 양자화된 계수들을 코딩하도록 되어있다. 영을 건너뛰는 것은, 0이 아닌 계수의 압축을 허용하여 시스템 성능을 향상시킨다.

선택적으로, 미디어 인코더는 추가로 하나 이상의 상보적인 스캐닝 패턴, 예를 들어, 수직, 수평 및/또는 수정된 지그재그로, 변환 계수를 스캐닝함으로써 계수를 코딩하도록 되어있다. 대안으로 또는 부가적으로, 스캐닝 패턴은 스캐닝 패턴 중 하나를 회전 대칭 마스크에 매칭시킴으로써 다수의 후보 스캐닝 패턴으로부터 선택된다. 예를 들어, 계단 및/또는 만곡된 절단 선(또는 직선보다 복잡한 패턴으로 구성된 다른 분할 패턴)에 기초한 마스크는 특정한 마스크 패턴에 대응하는 위치에서 영(0) 값을 생성할 수 있다. 스캐닝 패턴은 선택된 마스크에 기초한 복잡한 패턴일 수 있다. 스캐닝 패턴은 시스템 성능을 향상시키기 위해 선택된다. 상이한 마스크는 상이한 패턴의 제로 계수를 초래하며, 이는 스캐닝 패턴이 적용된 마스크에 기초할 때 효율적으로 스캐닝된다.

상보적인 스캐닝 패턴 각각은 상이한 주파수에서 수행될 수 있다. 스캐닝은 저주파수 및/또는 고주파수에 대해 수행되거나, 다른 분류에 기초하여 수행될 수 있다. 계수는 주파수에 의해 분류되고(sorted), 저주파 계수와 고주파 계수로 대략 반으로 나뉠 수 있다.

상보적인 스캐닝 패턴 각각은 매트릭스의 하나의 코너에서 매트릭스의 다른 코너로 수행될 수 있다. 또는, 스캐닝 패턴은 분할될 수 있고, 상이한 스캐닝 패턴, 예를 들어, 하나의 코너에서 시작하는 하나의 패턴과 다른 하나의 코너에서 끝나는 제2 패턴으로 수행될 수 있다.

스캐닝 패턴은 매트릭스의 다수의 서브영역에서 반복될 수 있다. 매트릭스의 서브 영역들은, 예를 들어, H.265 계수 스캐닝이 모든 블록 크기에 대해 4x4개 서브영역에서 수행되는 것에 기초하여, 이미지 및/또는 비디오 압축 표준에 기초하여 정의될 수 있다. 반복되는 패턴은 특정한 이미지 및/또는 비디오 압축 표준과의 호환성을 제공한다.

블록 쌍의 개개의 회전 대칭 블록 각각은 예를 들어, 여기에 설명된 바와 같이, 예측기의 잔차 신호를 인코딩하기 위한 독립적인 콘텍스트 모델과 연관될 수 있다. 쌍의 각각의 회전 대칭 블록은 선택된 계수 스캐닝 패턴에 기초하여 독립적으로 부호화될 수 있는, LxL개 계수 대신에 최대 1/2 LxL개의 영이 아닌 계수를 포함한다.

선택된 회전 대칭 마스크를 나타내는 디코더에 대한 신호는 독립적인 엔트로피 콘텍스트 모델에 기초하여 엔트로피 인코딩될 수 있다.

각각의 회전 대칭 블록의 예측을 위해 선택된 예측기의 유형을 나타내는 신호는 독립적인 엔트로피 콘텍스트 모델에 기초하여 엔트로피 인코딩될 수 있다. 유형의 예에는 인트라-프레임 예측 및/또는 인터-프레임 예측이 포함된다. 인트라-프레임 예측의 경우, 회전 대칭 블록 둘 다에 대한 동일한 예측기, 또는 회전 대칭 블록 쌍의 멤버 각각에 대한 독립 예측기. 인트라-프레임 예측의 경우, 회전 대칭 블록 쌍의 멤버 각각에 대한 독립적 모션 벡터.

각각의 회전 대칭 블록에 대해 선택된 계수 스캐닝 유형을 나타내는 신호는 독립적인 엔트로피 콘텍스트 모델에 기초하여 엔트로피 인코딩될 수 있다. 상기 유형은, 계수 스캐닝이 선택된 마스크에 의존하거나 선택된 마스크에 독립적인 경우를 포함할 수 있다. 상기 유형은 본 명세서에 설명된 계수 스캐닝 방법들 중 하나, 또는 표준 정의된 계수 스캐닝 방법(예: 수직, 수평 또는 수정된 지그재그)을 포함할 수 있다.

미디어 인코더는 개개의 회전 대칭 블록 쌍을 생성하기 위해 사용된 개개의 회전 대칭 마스크에 따라 선택된 엔트로피 콘텍스트 모델을 사용하여 예측기의 잔차 신호의 변환 계수 각각을 코딩하도록 되어 있을 수 있다. 미디어 인코더는 상기 회전 대칭 블록 쌍 중 하나 또는 둘 모두에 적용되는 엔트로피 콘텍스트 모델을 이용하여 상기 잔류 신호의 하나 이상의 변환 계수를 코딩하도록 적용될 수 있다.

120에서, 계수 스캐닝에 기초하여 생성되는 비트 스트림이 제공된다. 비트 스트림은 이미지 및/또는 비디오 압축 표준 (예를 들어, HEVC)의 제약조건에 부합할 수 있다. 비트 스트림은 저장, 송신(예: 원격 서버 및/또는 원격 클라이언트에), 및/또는 추가로 처리될 수 있다.

다시, 도 1 및 도 2를 참조하면, 방법 및/또는 시스템이 이미지 압축 표준, 예를 들어, JPEG에 의해 정의된 것과 같은, 균일한 LxL개 블록 크기로 파티션된 이미지를 인코딩하기 위해 적용될 수 있다. LxL개 블록 각각에 대해, 도 1에 기초하여 다음을 수행한다:

104에서, 블록을 분할하기 위한 마스크가 미리 정해진 마스크 세트 중에서 선택된다.

105에서, 효율 측정이 선택된 마스크에 기초하여 블록에 대해 평가된다. 블록을 표준에 기초하여 그 전체를 LxL개 블록의 인코딩과 비교하여 회전 대칭 블록 쌍을 생성하기 위해 마스크를 적용함으로써 보다 효율적으로 (효율 측정에 의해 측정된 바와 같이) 인코딩할 때, 인코더는 방법의 다른 쪽 부분과 계속된다. 그렇지 않으면, 인코더는 표준에 정의된 대로 단일 직사각형으로 LxL개 인코딩한다.

116에서, 2D 변환, 스케일링 및/또는 양자화를 위한 표준 기반 방법이 회전 대칭 블록 쌍 각각에 적용된다.

118에서, 1/2LxL개 계수의 스캐닝 방법은 고정(예를 들어, V, H 및/또는 수정된 지그재그)되거나, 또는 선택된 마스크에 따를 수 있다.

각각의 회전 대칭 블록은 별도의 연관된 인트라 예측기를 가질 수 있다.

별도의 엔트로피 모델은 ½LxL개의 영이 아닌 계수 및/또는 회전 마스크 유형에 사용될 수 있다.

이제, 도 17a∼도 17d를 참조한다. 도 17a∼도 17d는 양자화된 계수 및 값이 영인 계수(zero value coefficient)를 포함하는 매트릭스의 예이고, 본 발명의 일부 실시예에 따른 양자화된 계수의 코딩을 위한 몇 가지 계수 스캐닝 패턴의 예이다. 도 17a∼도 17c는는 8x8ro 회전 대칭 블록에 기초한 양자화된 계수 매트릭스를 나타낸다. 도 17d는 16x16개 회전 대칭 블록에 기초한 양자화 된 계수 매트릭스를 나타낸다. 도 17a∼도 17d에 나타낸 매트릭스는, H.265 표준에 의해 정의된 4x4 구조를 따르기 위해 특정 패턴으로 스캐닝된다.

도 17a는 상이한 주파수 대역에서 수행되는 매트릭스(1702) 및 상보적인 스캐닝 패턴을 도시한다. 화살표 세트(1704A) 및 관련된 스캐닝된 매트릭스 위치(1704B)는 저 대역 주파수 스캐닝을 나타낸다. 화살표 세트(1706A) 및 관련 스캔 매트릭스 위치(1706B)는 고대역 주파수 스캐닝을 나타낸다. 개개의 화살표 세트 가각은 16개의 0이 아닌 DCT 계수를 스캔한다.

도 17b는 매트릭스(1710) 및 매트릭스의 상이한 분할에 대해 수행된 상보적인 스캐닝 패턴을 나타낸다. 화살표 세트(1712A) 및 관련 스캐닝되는 매트릭스 위치(1712B)는 나란히 있는 4x4개의 서브영역의 상부 쌍의 스캐닝을 나타낸다. 화살표 세트(1714A) 및 관련된, 스캐닝된 매트릭스 위치(1714B)는 나란한 4x4개 서브 영역의 하부 쌍의 스캐닝을 나타낸다.

도 17c는 4x4개 지그재그 패턴에 기초한 매트릭스(1720) 및 인터리빙 지그재그(interleaving zig-zag) 스캐닝 패턴을 도시한다. 1722A에서 시작하는 화살표 세트 및 관련된, 스캐닝된 매트릭스 위치(1722B)는 인터리브된 지그재그 스캔 패턴 중 하나를 나타낸다. 1724A에서 끝나는 화살표 세트 및 관련된, 스캐닝된 매트릭스 위치(1724B)는 다른 인터리빙된 지그재그 스캔 패턴을 나타낸다.

도 17d는 매트릭스를 스캐닝하기 위한 16x16개 매트릭스 및 인터리빙 4x4 지그재그 스캐닝 패턴을 도시한다. 매트릭스의 각각 4x4 서브영역 내의 스캔된 위치가 매트릭스 아래에 표시된다.

선택적으로, 최종 영이 아닌 변환 계수(예: DCT 계수 및/또는 양자화된 계수)가 인코딩된다. 인코딩된 블록 내의 최종 영이 아닌 계수의 위치는 인코딩 된 계수를 디코딩하기 위해, 디코더로 전송될 수 있다. MxN개 블록에서 마지막으로 가능한 영이 아닌 계수는 매트릭스의 M, N 위치에 있다.

최종 영이 아닌 계수의 위치를 나타내는 비트의 수는 매트릭스 내의 마지막 0이 아닌 계수의 위치의 최대값과 관련된다. 본 명세서에 기술된 바와 같이, 변환 (예: DCT) 계수의 절반이 영(0)이 된다.

선택적으로, 영이 아닌 변환 계수는 MxN의 전체 크기를 점유하는 것으부터 1/2 MxN 크기의 더 작은 영역으로 패킹된다(packed). 계수 패킹은 송신 비트의 수를 감소시킨다. 비트 수의 감소는 시스템의 효율을 향상시킨다.

각각의 매트릭스에서 최종 영이 아닌 계수의 위치는 매트릭스상에서 수행되는 계수 스캐닝의 순서에 따라, 예를 들어 매트릭스의 왼쪽 위 모서리 방향으로 시프트될 수 있다. 영이 아닌 값의 시프팅은 최종 변환 계수의 위치 크기를 줄임으로써 시스템 성능을 향상시킨다..

유사한 방식으로, 최종 영이 아닌 변환 계수의 위치를 디코더에 지시하기 위해, 영이 아닌 변환 계수를 패킹하는 데 수직, 수평 및/또는 다른 스캐닝 순서가 사용될 수 있다.

선택적으로, 양자화된 계수의 코딩은 인코딩의 일부로서 최종 변환 계수의 좌표를 데이터세트에 저장함으로써 수행된다.

이제, 도 18a∼도 18c를 참조한다. 도 18a∼도 18c는 본 발명의 일부 실시예에 따른 영이 아닌 계수의 패킹을 나타내는 매트릭스이다.

도 18a는 영이 아닌 계수를 패킹하기 전에, 계수 절반의 값이 영인 매트릭스(1802), 및 계수 스캐닝 순서(매트릭스 내의 선 패턴(1804) 및 인접한 좌표 세트(1806)로 도시됨)를 갖는 매트릭스(1802)를 도시한다. 블록의 최종 계수의 위치는 스캐닝 순서에 따라 상부 왼쪽 모서리로 시프트된다. 최종 계수의 위치가 압축되어, 시스템 성능을 향상시킨다..

도 18b는 계수 스캐닝 순서에 기초하여 매트릭스(1802)의 계수를 패킹한 후의 매트릭스(1810)를 나타낸다. 패킹된 배치는 선 패턴(1812)으로 표현되고, 이는 선 패턴(1804)의 패킹된 배치이다. 좌표(1814)의 갱신된 세트는 좌표(1806)의 패킹된 배치를 나타낸다.

도 18c는 도 18a의 매트릭스(1802)의 계수의 패킹에 대한 이해를 돕기 위한 다른 표현이다. 도 18c는 도 18b의 패킹 후 라인 패턴(1812)을 나타낸다.

도 18c는 도 18a의 매트릭스(1802) 내의 미리 패킹된 계수에 오버레이된 도 18b의 매트릭스(1802)의 패킹 후 선 패턴(1812)을 나타낸다.

이제, 도 10을 참조한다. 도 10은 본 발명의 일부 실시예에 따른, 계수 인코더/디코더(1002)를 통합하는 이미지 압축 및 압축해제를 위한 예시적인 시스템(1000)의 블록도이다. 인코더/디코더(1002)는 도 2를 참조하여 설명된 바와 같은 미디어 인코더(202), 인코더(202)의 변형예(예: 프로세서(204) 없이 다른 인코더/디코더의 프로세서를 사용) 및/또는 도 1의 방법의 다른 구현예를 포함할 수 있다. 시스템 자원(1000) 내의 인코더(1002)의 통합은, 예를 들어, 압축 성능을 향상시킴으로써, 프로세서 자원 요건, 송신기/수신기 요건, 및/또는 메모리 요건을 감소시킴으로써 시스템(1000)의 전체 성능을 향상시키는, 이미지 및/또는 비디오의 코딩 효율을 향상시킨다.

시스템(1000) 내의 인코더(1002)의 통합은 더 높은 이미지 품질, 더 높은 이미지 해상도 및/또는 동일한 자원을 사용하여 처리될 많은 수의 이미지를 허용한다.

계수 인코더/디코더(1002)는, 예를 들어, 디지털 카메라, 텔레비전(예: 고화질 TV), 디지털 캠코더, 텔레비전 브로드캐스팅 유닛, 스마트폰(또는 다른 이동 기기), 웹브라우저, 이미지 및/또는 비디오를 보기 및/또는 편집하기 위한 컴퓨터 소프트웨어, 네트워크 기기(네트워크 성능을 향상시키기 위해), 실시간 대화 애플리케이션(예: 비디오 채팅, 화상 회의 및 텔레프레즌스 시스템)과 같은, 디지털 이미지 및/또는 비디오와 연관된 기기 및/또는 시스템 내에서 구현될 수 있다. 인코더/디코더(1002)의 구현은 예를 들어 더 많은 픽처 및/또는 비디오가 메모리에 저장되도록 하고, 더 높은 품질 및/또는 해상도의 픽처 및/또는 비디오가 저장되도록 하고, 각각의 픽처 및/또는 비디오의 크기를 줄임으로써, 네트워크 연결을 통해 픽처 및/또는 비디오의 더 빠른 전송을 가능하게 한다.

인코더/디코더(1002)는 압축 및/또는 압축해제에 의해, 이미지 및/또는 비디오를 인코딩 및/또는 디코딩하도록 구성된 이미지 인코더/디코더(1004)와 통합된다. 인코더/디코더(1004)는 표준(예: HVEC, MPEG-4, JPEG) 및/또는 하나 이상의 독자적인 프로토콜(proprietary protocol)에 기초할 수 있다. 계수 인코더/디코더(1002)는 예를 들어, 인코더/디코더(1004)의 하드웨어 내에 통합되는 칩 또는 다른 하드웨어 요소로서, 인코더/디코더(1004)에 플러그인되는 lq 또는 다른 하드웨어 요소로서, 외부 소프트웨어 모듈로서, 인코더/디코더(1004)의 코드 내에 통합된 소프트웨어 모듈로서, 및/또는 이들의 조합으로, 이미지 인코더/디코더(1003)와 통합될 수 있다.

(예를 들어, 양자화 모듈(218)에 의한) 양자화, (예를 들어, 계수 스캐닝 모듈에 의한) 계수 스캐닝, (예를 들어, 계수 스캐닝 모듈에 의한) 계수 엔코딩 및/또는 엔트로피 코딩, 엔트로피 코딩 모듈(220)), (예를 들어, 예측 모듈에 의한) 인트라 및/또는 인터 이미지 예측 들일 수 있다.

시스템(1000)은, 이미지 인코더/디코더(1004)에 연결되고, 예를 들어, 이미지 생성기(1008)로부터, 송신기/수신기(1010)(예를 들어, 네트워크 인터페이스, 텔레비전 케이블, 무선 송수신기)로부터,및/또는 이미지를 저장하는 메모리(1012)로부터, 하나 이상의 이미지를 수신하도록 구성된, 데이터 인터페이스(1006)를 포함한다.

수신된 이미지는, 도 1 및/또는 도 2를 참조하여 설명한 바와 같은 하나 이상의 이미지 프레임의 하나 이상의 블록에 대해 생성되는 변환 계수를 갖는, 이미지 인코더/디코더(1004)에 의해 처리된다. 전체로 처리되도록 선택되는(즉, 마스크에 기초하여 분할되지 않은) 블록(또는 서브블록)은 H.265와 같은 이미지 및/또는 비디오 압축 표준에 기초하여 이미지 인코더/디코더(1004)에 의해 처리된다.

이미지 인코더/디코더(1004)는, 전체 블록(또는 서브블록)이 표준에 의해 정의된 바와 같이 처리될 때, 또는 블록이 회전 대칭 블록 쌍으로 분할될 때(본 명세서에서 설명된 바와 같이), 예를 들어, H.265 표준 또는 다른 표준들에 기초하여, 정수 변환, 스케일링, 양자화 및/또는 역양자화를 수행할 수 있다.

압축된 이미지는 메모리(1012)에 저장될 수 있고, 및/또는 송신기/수신기(1010)를 사용하여 송신될 수 있다.

디코딩될 때, 이미지는 메모리(1012)상의 저장장치로부터 검색될 수 있고 및/또는 송신기/수신기(1010)로부터 수신될 수 있다. 디코딩은 여기에 설명된 계수 인코더/디코더(1002)에 의한 변환 계수의 디코딩과 함께, 이미지 인코더/디코더(1004)에 의해 디코딩이 일어난다. 디코딩된 이미지는 디스플레이(1014) 상에 디스플레이되거나, 송신기 수신기(1010)에 의해 송신되거나, 및/또는 메모리(1012)에 저장될 수 있다.

이제, 도 19a를 참조한다. 도 19a는본 발명의 일부 실시예들에 따라, 계수 인코더(1002)와 통합된, H.265 표준에 기초한, 도 10의 이미지 인코더(1004)에 의한 비디오 인코딩을 나타낸 블록도이다. 굵게 표시되지 않은 블록 및/또는 문자는 인코더(1004)에 의해 수행되는 H.265 표준에 기초한 인코딩을 나타낸다. 굵게 표시된 블록 및/또는 굵은 글씨는 인코더(1002)에 의해 수행되는 구조 및/또는 기능을 나타낸다. 이미지 인코더에 의해 실행되는 HEVC 표준/디코더(1004)를 참조하여(이탤릭체로 도시된 기능), 계수 인코더/디코더(1002)는 다음과 같이 성능을 향상시키도록 통합될 수 있다 :

* 일반 코더 제어: 각 블록 또는 서브블록에 대해, 인코더(1002)는 선택된 마스크를 사용하여 블록을 분할함으로써 블록이 인코딩되는 경우와, 블록이 HEVC에 의해 정의된 방법에 의해 그 전체로 인코딩되는 경우를 결정한다. 일반 제어 데이터는, 블록을 분할하고 대칭 블록 쌍을 생성하는 데 사용되는 선택된 마스크를 나타내는 헤더를 포함한다.

* 변환, 스케일링 및 양자화: HEVC 방법이 인코더(1002)에 의해 생성된 회전 대칭 블록 쌍의 각각에 적용된다. 여기에 설명된 바와 같이, 1/2 LxL개 양자화된 변환 계수에 대한 영(0) 값을 건너뜀으로써 계수가 스캔된다.

* 스케일링 및 역변환: HEVC 방법이 인코더(1002)에 의해 생성된 회전 대칭 블록 쌍의 각각에 적용된다.

* 인트라 픽처 추정: HEVC 방법이 회전 대칭 블록 쌍의 각각에 적용된다.

* 인트라 픽처 예측: HEVC 방법이 회전 대칭 블록 쌍의 각각에 적용된다. 한 쌍의 회전 대칭 블록 각각에 대해 별도의 인트라 예측기가 생성된다.

* 움직임 보상: HEVC 방법이 회전 대칭 블록 쌍의 각각에 적용된다.

* 움직임 추정: HEVC 방법이 회전 대칭 블록 쌍의 각각에 적용된다. 회전 대칭 블록 쌍의 각각에 대해 별도의 움직임 벡터가 생성된다.

* 헤더 포맷팅 및 콘텍스트 적응형 이진 산술 코딩(CABAC): 엔트로피 모델 (본 명세서에서 설명됨)이 회전 대칭 블록 쌍의 각각에 대해 1/2 LxL개 계수, 선택된 마스크 및/또는 인트라 예측기를 시그널링하기 위해 적용된다.

이제, 도 19b를 참조한다. 도 19b는 본 발명의 일부 실시예에 따른 계수 디코더(1002)와 통합된, H.265 표준을 기반한, 도 10의 이미지 디코더(1004)에 의한 비디오 디코딩을 나타낸 블록도이다. 디코딩 기능은 도 10을 참조하여 설명한 인코딩된 기능에 기초하며, 본 명세서에 설명된 바와 같다. 굵게 표시되지 않은 블록 및/또는 문자는 디코더(1004)에 의해 수행되는 H.265 표준에 기초한 디코딩을 나타낸다. 굵게 표시된 블록 및/또는 굵은 글씨는 디코더(1002)에 의해 수행되는 구조 및/또는 기능을 나타낸다. C2는 회전 대칭 블록 쌍을 나타낸다.

이제, 도 20을 참조한다. 도 20은 본 발명의 일부 실시예들에 따라, 계수 인코더(1002)와 통합된, H.265 표준에 기초하여(예: 도 19a의 인터 코딩 부분들을 제거한 후), 도 10의 이미지 인코더(1004)에 의한 단일 이미지 인코딩을 나타낸 블록도이다. 인터 이미지 블록과 관련된 구조, 기능 및/또는 데이터 흐름은 단일 이미지 인코딩을 위해 제거된다. 굵게 표시되지 않은 블록 및/또는 문자는 인코더(1004)에 의해 수행되는 H.265 표준에 기초한 인코딩을 나타낸다. 굵게 표시된 블록 및/또는 굵게 표시된 문자는 인코더(1002)에 의해 수행되는 구조 및/또는 기능을 나타낸다.

이제, 도 21을 참조하면, 도 21은 본 발명의 일부 실시예들에 따라, 계수 디코더(1002)와 통합된, H.265 표준에 기초한(예: 도 19b의 인터 코딩 부분을 제거한 후), 도 10의 이미지 디코더(1004)에 의한 단일 이미지 디코딩을 나타낸 블록도이다. 인터 이미지 블록과 관련된 구조, 기능 및/또는 데이터 흐름은 단일 이미지 디코딩을 위해 제거된다. 굵게 표시되지 않은 블록 및/또는 문자는 디코더(1004)에 의해 수행되는 H.265 표준에 기초한 디코딩을 나타낸다. 굵게 표시된 블록 및/또는 굵게 표시된 문자는 디코더(1002)에 의해 수행되는 구조 및/또는 기능을 나타낸다.

선택적으로, 122에서, 하나 이상의 블록(102∼120)이 프레임 내의 다른 블록들 및/또는 서브블록에 대해 반복된다. 하나 이상의 블록(102∼120)은 다른 프레임에 대해 반복될 수 있다. 유의할 것은, 특정한 프레임의 블록이 병렬로 처리될 수 있다는 것이다.

이제, 도 11을 참조하면, 도 11은 본 발명의 일부 실시예에 따른, 변환 계수의 세트로부터 프레임 내의 블록을 재구성하기 위한 방법의 흐름도이다. 도 11의 방법은, 도 1의 방법에 기초하고, 상보적이다. 도 1의 방법은, 도 11의 방법에 기초한 역변환인, 블록의 변환을 나타낸 것이다. 도 11의 방법은, 미디어 디코더의 역변환 부분의 역할을 하도록 구성된 미디어 인코더의 도 2의 변환 부분에 의해 수행될 수 있다. 역변환은 개개의 변환 모듈 및/또는 하나 이상의 역변환 처리 구성요소를 수행하도록 구성된 다른 모듈에 의해 수행될 수 있다.

1100에서, 인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 변환 (예: 인코딩된 및/또는 양자화된) 계수가 수신된다. 변환 계수는 비트 스트림으로서 수신될 수 있다. 연관된, 선택된 회전 대칭 마스크를 나타내는 신호가 비트 스트림 내에서와 같이 수신될 수 있다. 회전 대칭 마스크는 프레임의 디코딩된 블록으로서 크기 및/또는 형상을 갖는 다차원 공간에서의 회전 대칭을 규정한다.

연관된, 선택된 회전 대칭 마스크를 나타내는 신호는 수신되거나 의도적으로 수신되지 않을 때(예: 마스크가 예측기의 방향으로부터 추론될 때) 알려진 것으로 가정될 수 있다. 회전 대칭 마스크는 프레임의 디코딩된 블록으로서 크기 및/또는 형상을 갖는 다차원 공간에서의 회전 대칭을 규정한다.

1102에서, 회전 대칭 블록 쌍의 멤버 각각을 나타내는 변환 계수(들)가 비트 스트림으로부터 디코딩된다.

변환 계수(들)는 회전 대칭 블록 쌍의 하나 이상의 멤버를 나타낸다. 유의 할 것은, 어떤 경우에는, 어떠한 계수도 없는 하나 이상의 회전 대칭 블록이 수신될 수 있고 및/또는 수신되지 않을 수 있으며(예:, 계수 없는 블록을 건너뛸 수 있음), 예를 들어 회전 대칭 블록을 나타내는 변환 계수가 없음을 나타내는 신호가 수신될 수 있다는 것이다. 대안으로 또는 부가적으로, 유의할 것은, 어떤 경우에는, 단 하나의 계수가 전체 블록에 대해 수신된다(예: DC 계수)는 것이다.

1104에서, 회전 대칭 블록 쌍은 디코딩된 변환 계수의 역변환에 기초하여 계산된다. 회전 대칭 블록 쌍의 멤버 각각은 두 개의 상보적인 부분 중 하나를 포함한다.

1106에서, 두 개의 상보적인 부분의 각 부분은 회전 대칭 블록 쌍의 개별 멤버 각각으로부터 추출된다.

블록 1108에서, 블록은 두 개의 상보적인 부분으로부터 재구성된다. 재구성은 회전 대칭 마스크에 기초하여 유도될 수 있다. 또는, 블록은 정사각형 또는 직사각형 블록을 형성하는 것에 기초하여 유도된, 마스크 없는 부분으로부터 재구성되며, 예를 들어, 두 부분을 퍼즐 조각처럼 함께 맞춘다.

선택적으로, 블록은 프레임 내에서 지정된다.

선택적으로, 블록 1100∼1108은 프레임의 복수의 블록(및/또는 서브블록)을 디코딩하고 재구성하기 위해 (병렬 및/또는 순차로) 반복된다.

1111에서, 복수의 디코딩된 블록이 프레임 또는 그 일부분으로 결합된다.

1112에서, 디코딩된 프레임은 추후 처리, 저장 및/또는 전송을 위해 제공된다. 프레임은 예를 들어 비디오의 일부로서, 스크린상에 디스플레이될 수 있다.

이제, 도 12a∼도 12i를 참조하면, 도 12a∼도 12i는 본 명세서에 설명된 방법 및/또는 시스템을 실행하는 실험 결과의 이미지 및 그래프를 포함한다. 그래프는 압축 표준에 기초한 방법을 사용하는 이미지 압축에 비해, 본 명세서에 설명된 시스템 및/또는 방법을 사용하여 성능이 향상되었음을 보여준다. 실험은 인트라 프레임 코딩 방법을 사용한 개별 프레임을 기초로 한다.

실험은 다음과 같이 수행된다:

각각의 YUV 비디오 시퀀스로부터 하나의 프레임을 취득한. 공통 중간 포맷 (common intermediate format, CIF), 쿼터 CIF (QCIF) 및 고화질(high definition, HD)을 포함한, 상이한 표준에 의해 정의된 바와 같이, 다양한 프레임 크기가 사용된다. 각 프레임은 8x8개, 16x16개 및 32x32개 화소 크기를 포함하여, 고정된 NxN개 크기의 블록으로 균일하게 분할된다.

마스크 선택 및 적용을 위해 2x(N-1)개의 서로 다른 선 방위를 포함하는 회전 대칭 마스크 라이브러리가 생성된다.

정수 변환, 스케일링 및 양자화 스킴이, H.265 표준에 기초하여 적용된다.

계수 스캐닝은 변환 계수의 NxN 매트릭스를 변환 계수의 4x4 서브매트릭스로 세분함으로써 수행된다. 계수 스캔은 영인 계수를 건너뛰면서 각 4x4 매트릭스에서 지그재그 스캔을 사용하여 수행된다.

변환 계수는 H.264 CAVLC 표준을 기반으로 코딩되며, 이는 또한 예측 모드, 마스크 유형 및 MB 유형(여기서는 선택된 인코딩된 블록으로 정의된다(즉, 표준 NxN개 블록 또는 블록을 여기에 설명된 바와 같은 두 개의 상보적인 부분으로 분할)에 대해 신호를 규정한다.

NxN개 블록에 대한 블록 인트라 예측은 네 가지 모드에 기초한다: 수직(V), 수평(H), DC(즉, 편평한)(D) 및 평면(P). 회전 대칭 블록 쌍의 코딩 멤버는 별개 및/또는 공통의 인트라 예측기에 기초한다. 공통의 인트라 예측기는 4개의 인트라 모드: V, H, D 및 P를 포함한다. 분리된 인트라 예측기는 4개의 인트라 모드의 조합의 순열에 기초한 16개의 인트라 모드: VV, VH, ..., 및 PP를 포함한다.

표준 NxN 인코딩 방법에 기초하여 특정한 블록을 인코딩할지, 또는 회전 대칭 마스크를 적용하고 (본 명세서에 설명된 바와 같이) 회전 대칭 블록 쌍을 인코딩할지에 대한 결정은 다음과 같이 정의된 레이트 왜곡(RD) 비용 함수에 기초한다: SSE + lambda*Bits, 여기서 SSE는 재구성된 블록과 입력 블록 사이의 제곱 에러의 합을 나타내며, lamda는 양자화 파라미터(quantization parameter, Qp)에 의존하는 항을 나타내며, Bits는 시그널링 비트를 포함하는 블록 내에서 인코딩된 비트의 수를 나타낸다. 인코딩 결정은 또한 영이 아닌 계수의 백분율에 기초하여 이루어진다 (PerNZ Coeff에 의해 그래프로 표현됨).

결과는 다음과 같이 요약된다:

동일한 PSNR에 대해 최대 15%의 비트율 감소를 보인다. 크기가 16x16인 블록으로 분할된 35개의 QCIF 시퀀스 프레임의 경우, 35∼45dB의 PSNR 범위에 대한 비트 레이트의 평균 감소가 약 7% 달성되었다. 크기가 큰 10개의 시퀀스 프레임을 16x16 크기의 블록으로 나누면 약 7.5 %의 평균 감소가 달성되었다.

도 12A는 여기에 기술된 실험의 일부로서 본 명세서에 기술된 시스템 및/또는 방법에 따라 처리되는 이미지(즉, 프레임)의 예시이다. 이미지는 CIF 시퀀스 이름인 akiyo.cif의 제10 프레임에 해당한다. CIF 프레임의 크기는 352x288개 화소이다. 프레임은 N=16 화소인 정사각형 NxN 블록을 기반으로 블록으로 균일하게 분할된다(예의 블록은 1202로 표시됨). 프레임은 Qp=30을 사용하여 인코딩된다. 2(N-1)= 30개의 상이한 선 방위를 포함하는 회전 대칭 마스크 라이브러리는 블록을 분할하기 위한 마스크 선택을 위한 기초를 제공한다. 선 방위와 연관된 선택된 마스크를 갖는 블록이, 예를 들어 마스크(1204)를 갖는 블록이 도면에 나타나 있다. 많은 경우에, 마스크 라인은 블록 내의 에지를 따른다. 마스크가 선택되지 않은 블록은 단일 NxN개 블록으로 인코딩되고, 마스크 없는 이미지로 나타낸다(예: 블록 1202).

도 12b∼도 12i의 그래프는 도 12a의 처리에 기초한 실험 결과를 포함한다.

도 12b는, 동일한 목표 품질 수준(PSNR로 표시됨)에서, 표준 NxN개 변환 블록을 사용한 도 12a의 인코딩 이미지에 대해, 블록이 인코딩을 위해 두 개의 상보적인 부분들로 분할되도록 마스크가 선택될 때, 도 12a의 전체 프레임에 대한 비트 레이트 면에서의 향상을 나타내는 그래프이다. 이 그래프는 PSNR의 함수로서 비트 레이트 향상의 백분율을 나타낸다. 유의할 것은, 본 명세서에서 설명된 시스템 및/또는 방법을 사용하여 도 12a의 이미지에 대해 10% 이상의 비트 레이트의 향상이 달성되었다는 것이다.

도 12c는, 동일한 목표 품질 수준(PSNR로 표시됨)에서, 표준 NxN개 변환 블록을 사용한 도 12a의 인코딩 이미지에 대해, 블록이 인코딩을 위해 두 개의 상보적인 부분들로 분할되도록 마스크가 선택될 때, 도 12a의 전체 프레임에 대한 PerNZ 계수의 관점에서의 향상을 나타내는 그래프이다. 양자화 후에 0이 아닌 변환 계수의 수는 변환 계수를 코딩하기 위한 인코딩 된 비트의 수를 추정하는 데 사용된다. 유의할 것은, 본 명세서에서 설명된 시스템 및/또는 방법을 사용하여 영이 아닌 변환 계수의 퍼센트 관점에서 약 15%의 향상을 보인다.

도 12d는 C2 처리 스킴 및 NxN 처리 스킴에 대한, 비트 레이트의 함수로서 Y-PSNR을 나타내는 그래프이다. C2 처리 스킴은 마스크 선택 및 변환 블록에 대한 두 개의 상보적인 부분의 생성, 또는 표준 방법을 사용하는 NxN개 블록의 인코딩에 기초하여 여기에 설명된 방법 및/또는 시스템이다. 마스크 기반 인코딩 또는 NxN개 블록 기반 인코딩의 선택은 각각의 마스크 기반 파티션 및 각각의 NxN 블록과 연관되는 특정한 측정에 기초한다. NxN 처리 스킴은 각 블록을 단일 NxN개 블록으로 인코딩하는 표준 방법을 기반으로 한다. 그래프는 C2 방법이, 동일한 PSNR에 대해 영이 아닌 변환 계수의 퍼센트가 더 낮은 점에서, 압축 성능이 향상되었음을 나타낸다.

도 12e는 C2 방법 및 NxN 방법에 기초하여, 전체 프레임에 대한 영이 아닌 변환 계수의 백분율의 함수로서 Y-PSNR을 나타내는 그래프이다. 그래프는 동일 PSNR에 대해 영이 아닌 변환 계수의 백분율이 더 낮은 점에서, C2 방식(즉, 여기에 설명된 시스템 및/또는 방법)에 기초하여 압축 성능이 향상되었음을 나타내며, 이는 동일한 백분율의 영이 아닌 변환 계수에 대해 향상된 품질을 나타낸다.

도 12f는 NxN 표준의 경우에 인트라 예측 모드의 적용 빈도를 나타낸 히스토그램이다. x축상에서, 1은 예측 없음, 2는 수직 예측, 3은 수평 예측, 4는 DC 예측, 5는 평면 예측을 나타낸다.

도 12g는 여기에 설명된 방법 및/또는 시스템의 C2 방식에 대한 인트라 예측 모드의 적용 빈도를 나타낸 히스토그램이며, 16개의 분리된 예측기 모드: 1은 예측하지 않음, 2는 VV 예측, 3은 VH 예측, 4는 VD 예측, 5 VP 예측, 6은 HV 예측, ..., 17은 PP 예측을 나타낸다.

도 12h는 30개의 회전 대칭 마스크 라이브러리의 마스크 각각의 적용 빈도를 나타낸 히스토그램이다.

도 12i는 세 개의 변수의 비를 Qp의 함수로서 나타내는 그래프이다.

선 1214는 이미지의 블록에 대해 표준 NxN 방법에 대해 C2 방법이 선택되었던 블록의 백분율을 나타낸다. 예를 들어, Qp=30에서, 프레임 내의 블록 중 약 35%는 (두 개의 상보적인 부분의 마스크 선택 및 인코딩에 기초한) C2 방법에 기초하여 인코딩되었고 나머지(약 65 %)는 단일 16x16 블록으로서 인코딩되었다.

선 1212는 C2 방법에 기초하여 인코딩된 프레임의 비트 백분율을 나타낸다. 예를 들어, Qp=30에서, 프레임 내의 비트의 약 45%가 C2 방법에 기초하여 인코딩되었다.

선 1210은 C2 방법을 사용하여 인코딩된 프레임의 영이 아닌 변환 계수당 백분율을 나타낸다. 예를 들어, Qp=30에서, 프레임 내의 영이 아닌 변환 계수의 45 % 이상이 C2 방법을 사용하여 인코딩되었다.

본 발명의 다양한 실시예에 대한 설명은 설명을 목적으로 제시되었지만, 개시된 실시예를 총망라하거나 제한하려는 것은 아니다. 기술된 실시예의 범위 및 사상을 벗어나지 않은 많은 수정 및 변형이 당업자에게 명백할 것이다. 여기에 사용된 용어는 실시예들의 원리, 시장에서 발견된 기술에 대한 실용적인 적용 또는 기술적 개선을 가장 잘 설명하거나 당업자가 여기에 개시된 실시예들을 이해할 수 있도록 선택되었다.

이 출원에서부터 특허 성숙의 수명 동안에, 많은 관련 이미지 인코더 및/또는 이미지 디코더가 개발될 것이며, 인코더라는 용어의 범위는 그러한 모든 신기술을 선험적으로 포함하고자 하는 것으로 기대된다.

본 명세서에서 사용된 용어 "약"은 ±10%를 의미한다.

용어 "포함하는", "갖는" 및 이들의 접합체는 "포함하지만 이에 한정되지는 않는다"를 의미한다. 이 용어는 "구성되는" 및 "본질적으로 구성되는"이라는 용어를 포함한다.

"본질적으로 구성된다"라는 문구는 추가적인 성분 및/또는 단계가 청구된 조성물 또는 방법의 기본적이고 신규한 특징을 실질적으로 변경시키지 않는 경우에만 추가의 성분 및/또는 단계를 포함할 수 있음을 의미한다.

본 명세서에서 사용된 단수 형태는 문맥상 다르게 지시하지 않는 한 복수를 포함한다. 예를 들어, "화합물" 또는 "적어도 하나의 화합물"이라는 용어는 복수의 화합물(이들의 혼합물을 포함)을 포함할 수 있다.

본 명세서에서 "예시적인"이라는 단어는 "예(example), 실례(instance) 또는 예증(illustration)으로서의 역할"을 의미하는 것으로 사용된다. "예시적인" 것으로 기술된 임의의 실시예는 반드시 다른 실시예보다 바람직하거나 유리한 것으로 해석될 필요는 없고, 및/또는 다른 실시예로부터의 특징의 조합을 배제하는 것으로 해석되지 않아야 한다.

용어 "선택적으로"는 "일부 실시예에서는 제공되고 다른 실시예에서는 제공되지 않는다"는 의미로 사용된다. 본 발명의 임의의 특정 실시예는 그러한 특징이 상충되지 않는 한 복수의 "선택적" 특징을 포함할 수 있다.

본 출원 전반에 걸쳐, 본 발명의 다양한 실시예는 범위 형식으로 제공될 수 있다. 범위 형식에서의 설명은 편의상 및 간략화를 위한 것이며 본 발명의 범위에 대한 융통성 없는 제한으로 해석되어서는 안됨을 이해해야 한다. 따라서, 범위의 설명은 가능한 모든 부분 범위 및 그 범위 내의 개별적인 수치를 구체적으로 개시 한 것으로 간주되어야 한다. 예를 들어, 1 내지 6(1∼6)과 같은 범위의 설명은 1 내지 3, 1 내지 4, 1 내지 5, 2 내지 4, 2 내지 6, 3 내지 6 등등의 하위 범위뿐 아니라 해당 범위 내의 개별 번호, 예를 들어, 1, 2, 3, 4, 5 및 6을 구체적으로 개시한 것으로 간주되어야 한다. 이는범위의 폭에 관계없이 적용된다.

본 명세서에서 수치 범위가 지시될 때마다, 표시된 범위 내에서 임의의 인용 된 수치(분수 또는 정수)를 포함하는 의미이다. "제 1 지시 숫자와 제 2 지시 숫자 "사이의 범위"와 제1 지시 숫자 "∼" 제 2 지시 숫자의 "범위"는 본 명세서에서 상호 교환적으로 사용되며 제1 및 제2 지시 숫자 그 사이의 모든 분수 및 정수 수치를 포함한다.

명확한 설명을 위해, 별도의 실시예들의 문맥으로 설명된 본 발명의 특정한 특징들은 또한 단일 실시예에서 조합하여 제공될 수 있다. 역으로, 간략화를 위해, 단일 실시예와 관련하여 기술된 본 발명의 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브컴비네이션으로 또는 본 발명의 임의의 다른 설명된 실시예에 적합하게 제공될 수 있다. 다양한 실시예들의 문맥에서 설명된 어떤 특징들은 그 실시예가 이들 요소 없이는 작동하지 않는 한, 그러한 실시예들의 본질적인 특징으로 간주되어서는 안된다.

본 발명은 특정 실시예와 관련하여 설명되었지만, 많은 대안, 수정 및 변형이 당업자에게 명백하다는 것이 명백하다. 따라서, 첨부된 청구 범위의 사상 및 넓은 범위 내에 속하는 그러한 모든 대안, 변형 및 변경을 포함하고자 한다.

본 명세서에 언급된 모든 간행물, 특허 및 특허출원은 각각의 개별 간행물, 특허 또는 특허출원이 구체적으로 및 개별적으로 본원에 참고문헌으로 인용된 것과 동등한 정도로 명세서 전체가 본 명세서에 통합된다. 또한, 본원에서 임의의 참조 문헌의 인용 또는 식별은 그러한 참조가 본 발명의 선행기술로 이용 가능하다는 인정으로 해석되어서는 안 된다. 섹션 표제가 사용되는 한, 반드시 제한적인 것으로 해석되어서는 안 된다.

Claims (22)

1. 프레임 또는 그 일부분을 코딩하기 위한 복수의 변환 계수를 생성하도록 구성된 장치로서,
   프레임 또는 그 일부분을 수신하도록 구성된 데이터 인터페이스에 연결된 미디어 인코더를 포함하며, 상기 미디어 인코더는,
   복수의 반복 각각 동안에, 프레임 또는 그 일부분 내의 분할되어 있는 복수의 블록 각각을 반복적으로 세분하도록 구성되고, 상기 복수의 블록의 세분된 블록은,
   상기 블록을 코딩하기 위한 효율 측정을 충족시키는 회전 대칭 마스크를 선택하고 - 상기 회전 대칭 마스크는, 상기 세분된 블록으로서 크기 및 형상을 갖는 다차원 공간에서 복수의 상이한 회전 대칭을 정의하는 복수의 회전 대칭 마스크에서 선택됨 -;
   상기 효율 측정이 충족되는 경우:
   상기 회전 대칭 마스크에 기초하여, 상기 세분된 블록을 두 개의 상보적인 부분으로 분할하고,
   각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하고,
   상기 회전 대칭 블록 쌍으로부터 복수의 변환 계수를 계산함으로써, 처리되는,
   장치.
2. 제1항에 있어서,
   상기 효율 측정이 충족되는 경우, 상기 미디어 인코더는 상기 회전 대칭 블록 쌍을 상기 복수의 블록 중 적어도 일부로부터 생성된 복수의 회전 대칭 블록 쌍을 포함하는 데이터세트에 추가하도록 구성되는, 장치.
3. 제1항 또는 제2항에 있어서,
   상기 효율 측정이 충족되지 않는 경우, 상기 미디어 인코더는 상기 세분된 블록을 복수의 추가 세분된 블록으로 반복적으로 세분하고, 상기 복수의 추가 세분된 블록 각각에 대해 상기 반복적으로 세분하는 것을 되풀이하는, 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   복수의 블록 각각을 반복적으로 세분하기 위해, 상기 미디어 인코더는,
   상기 복수의 블록 각각의 세분을 매핑하는 트리 구조를 사용하여 상기 반복적 세분을 지원하고;
   상기 회전 대칭 블록 쌍의 멤버를 각각 나타내는 두 개의 리프(leaf)를 추가함으로써 상기 회전 대칭 블록 쌍을 사용하여 상기 트리 구조를 갱신하도록 구성되는, 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 미디어 인코더는, 복수의 상이한 회전 대칭 마스크를 포함하는 회전 대칭 마스크 라이브러리에서 상기 회전 대칭 마스크를 선택하도록 구성되는, 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 미디어 인코더는 추가로, 개개의 상기 회전 대칭 블록 쌍을 생성하는 데 사용되는 개개의 상기 회전 대칭 마스크에 따라 선택되는 공간 예측기(spatial predictor)를 사용하여 상기 복수의 변환 계수 각각을 코딩하도록 구성되는, 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 미디어 인코더는 추가로, 특정한 개개의 움직임 벡터를 사용하여 각각의 회전 대칭 블록을 독립적으로 코딩하도록 구성되며, 개개의 움직임 벡터는 상기 회전 대칭 블록의 각각의 일부분에 따라 선택되는, 장치.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 미디어 인코더는 추가로, 개개의 상기 회전 대칭 블록 쌍을 생성하는 데 사용된 개개의 상기 회전 대칭 마스크에 따라 선택되는 엔트로피 콘텍스트 모델(entropy context model)을 사용하여 상기 복수의 변환 계수 각각을 코딩하도록 구성되는, 장치.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 미디어 인코더는 추가로, 하나 이상의 효율 기준에 기초하여 상기 회전 대칭 마스크 라이브러리에서 상기 회전 대칭 마스크를 선택하도록 구성되는, 장치.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 미디어 인코더는 추가로, 다른 크기의 상기 세분된 블록에 대해 각각 정의된 복수의 회전 대칭 마스크 라이브러리에서 상기 회전 대칭 마스크 라이브러리를 선택하도록 구성되는, 장치.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 복수의 변환 계수의 계산은, 이차원(two dimensional, 2D) 이산 코사인 변환(Discrete Cosine Transform, DCT)에 의해 수행되는, 장치.
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 미디어 인코더는 추가로, 동영상 전문가 그룹(moving picture experts group, MPEG) 포맷에 따라,
    상기 블록의 두 개의 상보적인 부분 중 적어도 하나를 예측하는 방법;
    적어도 하나의 상기 회전 대칭 블록의 상기 복수의 변환 계수 중 적어도 하나를 계산하는 방법;
    상기 복수의 변환 계수 중 적어도 하나를 양자화하는 방법; 및
    복수의 상기 변환 계수를 엔트로피 코딩하여 상기 프레임 또는 그 일부분의 인코딩을 생성하는 방법 중 적어도 하나를 수행하도록 구성되는, 장치.
13. 제12항에 있어서,
    상기 미디어 인코더는 추가로, 복수의 영의 계수(zeroed coefficient)를 건너뛰면서 상기 복수의 변환 계수를 스캐닝함으로써 상기 복수의 변환 계수를 코딩하도록 구성되는, 장치.
14. 제12항 또는 제13항에 있어서,
    상기 미디어 인코더는 추가로, 복수의 스캐닝 패턴 중 하나를 회전 대칭 마스크에 매칭시킴으로써 상기 복수의 스캐닝 패턴에서 하나의 스캐닝 패턴을 선택하여 상기 복수의 변환 계수를 코딩하도록 구성되는, 장치.
15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 미디어 인코더는 추가로, 상기 인코딩의 일부로서 데이터세트 내의 최종 변환 계수의 좌표를 저장함으로써 상기 복수의 변환 계수를 코딩하도록 구성되는, 장치.
16. 제15항에 있어서,
    상기 미디어 인코더는 추가로,
    상기 복수의 변환 계수가 배열되어 있는 매트릭스에 대해 수행되는 상기 계수 스캐닝의 순서에 따라 상기 복수의 변환 계수 중 영이 아닌 값(non-zero value)을 시프트시켜, 상기 최종 변환 계수의 위치의 크기를 감소시키도록 구성되는, 장치.
17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 데이터 인터페이스는 추가로, 인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 변환 계수의 비트스트림을 수신하도록 구성되고;
    상기 미디어 인코더는 추가로,
    상기 하나 이상의 변환 계수를 디코딩하고;
    상기 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 멤버 각각이 두 개의 상보적인 부분 중 하나를 갖는, 복수의 회전 대칭 블록 쌍을 계산하고;
    상기 개개의 회전 대칭 마스크에 기초하여, 상기 두 개의 각기 상보적인 부분 각각으로부터 복수의 블록을 재구성하고;
    상기 복수의 블록을 프레임 또는 그 일부분으로 결합하도록 구성되는, 장치.
18. 프레임 또는 그 일부분을 코딩하기 위한 복수의 변환 계수를 생성하는 방법으로서,
    프레임 또는 그 일부분 내의 분할되어 있는 복수의 블록 각각을 반복적으로 세분하는 단계를 포함하며, 복수의 반복 각각 동안에, 상기 복수의 블록의 세분된 블록은,
    상기 블록으로서, 크기 및 형상을 갖는 회전 대칭 마스크를 선택하여 상기 블록을 코딩하기 위한 효율 측정을 충족시키고;
    상기 효율 측정이 충족되는 경우,
    상기 회전 대칭 마스크에 기초하여, 상기 세분된 블록을 두 개의 상보적인 부분으로 분할하고,
    각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하고,
    하나 이상의 상기 회전 대칭 블록 쌍으로부터 하나 이상의 변환 계수를 계산함으로써 처리되며;
    특히 제1항 내지 제17항 중 어느 한 항에 따른 장치를 작동시키는 데 적합한
    방법.
19. 프레임 또는 그 일부분을 인코딩하는 방법으로서,
    상기 프레임 또는 그 일부분을 복수의 블록으로 반복적으로 분할하는 단계;
    상기 복수의 블록의 세분된 블록에 대한 각각의 반복 동안에, 상기 복수의 블록 각각을 반복적으로 세분하는 단계;
    복수의 상이한 회전 대칭 마스크를 포함하는 라이브러리에서 상기 세분된 블록을 코딩할 때 효율 측정을 충족시키는 회전 대칭 마스크를 선택하는 단계;
    상기 회전 대칭 마스크를 사용하여 상기 세분된 블록을 상기 회전 대칭 마스크에 기초한 두 개의 상보적인 부분으로 분할하고; 각각이 상기 두 개의 상보적인 부분 중 하나를 갖는 회전 대칭 블록 쌍을 생성하는 단계;
    상기 회전 대칭 블록 쌍 중 적어도 하나로부터 하나 이상의 변환 계수를 계산하는 단계; 및
    상기 하나 이상의 변환 계수를 양자화하고; 상기 하나 이상의 변환 계수를 코딩하여 상기 프레임 또는 그 일부분의 인코딩을 생성하는 단계
    를 포함하고,
    특히 제1항 내지 제17항 중 어느 한 항에 따른 장치를 작동시키는 데 적합한,
    방법.
20. 프레임 또는 그 일부분을 디코딩하도록 구성된 장치로서,
    인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 인코딩된 변환 계수의 비트스트림을 수신하도록 구성된 데이터 인터페이스에 연결된 미디어 디코더를 포함하며, 상기 미디어 인코더는,
    상기 비트스트림으로부터 하나 이상의 변환 계수를 디코딩하고;
    상기 하나 이상의 디코딩된 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 각각의 멤버가 두 개의 상보적인 부분 중 하나를 갖는 복수의 회전 대칭 블록 쌍을 계산하고;
    개개의 회전 대칭 마스크에 기초하여 상기 두 개의 각기 상보적인 부분 각각으로부터 복수의 블록을 재구성하여; 상기 복수의 블록을 프레임 또는 그 일부분으로 결합하도록 구성되고,
    특히 제1항 내지 제17항 중 어느 한 항에 따른 장치에 의해 인코딩된 프레임 또는 그 일부분을 디코딩하도록 구성되는
    장치.
21. 인코딩된 프레임을 나타내는 비트스트림에 기초하여 프레임 또는 그 일부분을 디코딩하는 방법으로서,
    인코딩된 프레임 또는 그 일부분을 나타내는 하나 이상의 인코딩된 변환 계수의 비트스트림을 수신하는 단계;
    상기 하나 이상의 변환 계수를 디코딩하는 단계;
    상기 하나 이상의 변환 계수의 역변환에 기초하여, 각각의 회전 대칭 블록 쌍의 각각의 멤버가 두 개의 상보적 부분 중 하나를 갖는 복수의 회전 대칭 블록 쌍을 계산하는 단계;
    개개의 회전 대칭 마스크에 기초하여 상기 두 개의 각기 상보적인 부분 각각으로부터 복수의 블록을 재구성하는 단계; 및
    상기 복수의 블록을 프레임 또는 그 일부분으로 결합하는 단계
    를 포함하고,
    특히 제1항 내지 제17항에 따른 장치를 작동시는 데 적합한 방법.
22. 컴퓨터상에서 실행될 때, 전술한 제18항, 제19항, 및 제21항 중 어느 한 항에 따른 방법을 수행하도록 구성된 컴퓨터 프로그램.

Images