KR101351709B1 - 화상 복호 장치 및 화상 복호 방법 - Google Patents

화상 복호 장치 및 화상 복호 방법 Download PDF

Info

Publication number
KR101351709B1
KR101351709B1 KR1020127001478A KR20127001478A KR101351709B1 KR 101351709 B1 KR101351709 B1 KR 101351709B1 KR 1020127001478 A KR1020127001478 A KR 1020127001478A KR 20127001478 A KR20127001478 A KR 20127001478A KR 101351709 B1 KR101351709 B1 KR 101351709B1
Authority
KR
South Korea
Prior art keywords
filter
block
signal
decoded image
image signal
Prior art date
Application number
KR1020127001478A
Other languages
English (en)
Other versions
KR20120061797A (ko
Inventor
아키라 미네자와
？이치 세키구치
가즈오 스기모토
유스케 이타니
요시미 모리야
노리미치 히와사
슈이치 야마기시
요시히사 야마다
요시아키 가토
고타로 아사이
도쿠미치 무라카미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43356106&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101351709(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20120061797A publication Critical patent/KR20120061797A/ko
Application granted granted Critical
Publication of KR101351709B1 publication Critical patent/KR101351709B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

국소 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류하는 영역 분류부(12)와, 그 국소 복호 화상을 구성하고 있는 복수의 영역 중, 1개 이상의 영역이 속해 있는 클래스마다, 해당 클래스에 속해 있는 1개 이상의 영역에서의 부호화 대상의 화상 신호와 복호 화상 신호간의 제곱 오차합을 최소화하는 위너 필터를 생성하고, 그 위너 필터를 이용하여, 당해 영역에 중첩되어 있는 왜곡을 보상하는 필터 설계·처리부(13)로 루프 필터(6)가 구성되어 있다.

Description

화상 복호 장치 및 화상 복호 방법{IMAGE DECODING DEVICE, AND IMAGE DECODING METHOD}
본 발명은 화상을 압축 부호화하여 전송하는 화상 부호화 장치 및 화상 부호화 방법과, 화상 부호화 장치에 의해 전송된 부호화 데이터로부터 화상을 복호하는 화상 복호 장치 및 화상 복호 방법에 관한 것이다.
종래, MPEG이나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을, 16×16 화소 블록으로 이루어지는 매크로 블록의 단위로 분할하고, 움직임 보상 예측(motion-compensated prediction)을 실시한 후, 예측 오차 신호를 블록 단위로 직교 변환·양자화하는 것에 의해서 정보 압축을 행하도록 하고 있다.
다만, 압축율이 높아지면, 움직임 보상 예측을 실시할 때에 이용하는 예측 참조 화상의 품질이 저하하는 것에 기인하여, 압축 효율을 방해할 수 있는 문제가 있다.
그 때문에, MPEG-4AVC/H.264의 부호화 방식(비특허문헌 1을 참조)에는, 루프내 블로킹 필터의 처리를 실시함으로써, 직교 변환 계수의 양자화에 따라 발생하는 예측 참조 화상의 블록 왜곡(block distortion)을 제거하도록 하고 있다.
여기서, 도 17은 비특허문헌 1에 개시되어 있는 화상 부호화 장치를 나타내는 구성도이다.
이 화상 부호화 장치에서는, 블록 분할부(101)가 부호화 대상의 화상 신호를 입력하면, 그 화상 신호를 매크로 블록 단위로 분할하고, 매크로 블록 단위의 화상 신호를 분할 화상 신호로서 예측부(102)에 출력한다.
예측부(102)는, 블록 분할부(101)로부터 분할 화상 신호를 받으면, 매크로 블록 내의 각 색(色) 성분의 화상 신호를 프레임내 또는 프레임간에 예측하여, 예측 오차 신호를 산출한다.
특히, 프레임간에 움직임 보상 예측을 실시하는 경우, 매크로 블록 자체, 또는, 매크로 블록을 더 미세하게 분할한 서브 블록의 단위로 움직임 벡터(motion vector)를 탐색한다.
그리고, 그 움직임 벡터를 이용하여, 메모리(107)에 저장되어 있는 참조 화상 신호에 대한 움직임 보상 예측을 실시함으로써 움직임 보상 예측 화상을 생성하고, 그 움직임 보상 예측 화상을 나타내는 예측 신호와 분할 화상 신호의 차분을 구함으로써 예측 오차 신호를 산출한다.
또, 예측부(102)는 예측 신호를 얻을 때에 결정한 예측 신호 생성용 파라미터를 가변 길이 부호화부(108)에 출력한다.
또, 예측 신호 생성용 파라미터에는, 예를 들면, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드(intra prediction mode)나, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 정보가 포함된다.
압축부(103)는, 예측부(102)로부터 예측 오차 신호를 받으면, 그 예측 오차 신호에 대한 DCT(이산 코사인 변환) 처리를 실시함으로써 신호 상관을 제거한 후, 양자화함으로써 압축 데이터를 얻는다.
국소 복호부(104)는, 압축부(103)로부터 압축 데이터를 받으면, 그 압축 데이터를 역양자화하고, 역 DCT 처리를 실시함으로써, 예측부(102)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출한다.
가산기(105)는, 국소 복호부(104)로부터 예측 오차 신호를 받으면, 그 예측 오차 신호와 예측부(102)로부터 출력된 예측 신호를 가산하여, 국소 복호 화상을 생성한다.
루프 필터(106)는, 가산기(105)에 의해 생성된 국소 복호 화상을 나타내는 국소 복호 화상 신호에 중첩되어 있는 블록 왜곡을 제거하고, 왜곡 제거 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(107)에 저장한다.
가변 길이 부호화부(108)는, 압축부(103)으로부터 압축 데이터를 받으면, 그 압축 데이터를 엔트로피 부호화하고, 그 부호화 결과인 비트 스트림을 출력한다.
또, 가변 길이 부호화부(108)는, 비트 스트림을 출력할 때, 예측부(102)로부터 출력된 예측 신호 생성용 파라미터를 비트 스트림에 다중화하여 출력한다.
여기서, 비특허문헌 1에 개시되어 있는 방식에서는, 루프 필터(106)가, DCT의 블록 경계의 주변 화소에 대해, 양자화의 분해능(quantization resolution), 부호화 모드, 움직임 벡터의 편차 정도 등의 정보에 근거해 원활화 강도를 결정하고, 블록 경계에 발생하는 왜곡의 저감을 도모하고 있다.
이것에 의해서, 참조 화상 신호의 품질이 개선되어, 이후의 부호화에 있어서의 움직임 보상 예측의 효율을 높일 수 있다.
한편, 비특허문헌 1에 개시되어 있는 방식에서는, 고압축율로 부호화할수록, 신호의 고주파 성분이 손실되게 되어, 화면 전체가 과도하게 평활화되고 영상이 희미해지게 된다고 하는 문제가 있다.
이 문제를 해결하기 위해서, 비특허문헌 2에는, 루프 필터(106)로서 위너 필터(Wiener Filter)를 적용하여, 원화상 신호인 부호화 대상의 화상 신호와, 이것에 대응하는 참조 화상 신호와의 제곱 오차 왜곡이 최소화하도록, 루프 필터(106)를 구성하는 기술이 제안되어 있다.
도 18은 비특허문헌 2에 개시되어 있는 화상 부호화 장치에 있어서, 위너 필터에 의한 참조 화상 신호의 품질 개선의 원리를 나타내는 설명도이다.
도 18에 있어서, 신호 s는 도 17의 블록 분할부(101)에 입력되는 부호화 대상의 화상 신호에 상당하는 신호이고, 신호 s'은 도 17의 가산기(105)로부터 출력되는 국소 복호 화상 신호, 또는, 비특허문헌 1에서의 루프 필터(106)에 의한 블록 경계에 발생하는 왜곡이 저감된 국소 복호 화상 신호에 상당하는 신호이다.
즉, 신호 s'은 신호 s에 부호화 왜곡(잡음) e가 중첩된 신호이다.
위너 필터는, 이 부호화 왜곡(잡음) e를 제곱 오차 왜곡의 규범으로 최소화하도록, 신호 s'에 대해서 실시되는 필터로서 정의되며, 일반적으로, 신호 s'의 자기 상관 행렬 Rs's'와 신호 s, s'의 상호 상관 행렬 Rss'에 의해서, 아래와 같은 식 (1)로부터 필터 계수 w를 구할 수 있다. 행렬 Rs's', Rss'의 크기는 구할 수 있는 필터의 탭 수에 대응한다.
Figure 112012004847101-pct00001
필터 계수 w의 위너 필터를 적용하는 것에 의해, 품질 개선이 이루어진 신호 s해트(hat)(전자 출원의 관계상, 알파벳 문자에 부여하는 「^」을 해트라고 표기함)이 참조 화상 신호에 상당하는 신호로서 얻어진다.
또, 비특허문헌 2에서는, 복수 종류의 탭 수의 필터 계수 w를 부호화 대상의 화상의 프레임 전체에서 구하고, 필터 계수 w의 부호량과 필터링 처리 실시 후의 왜곡(e'=s해트-s)이 레이트 왜곡 규범으로 최적이 되는 탭 수의 필터를 특정한 후, 또 신호 s'를 복수 사이즈의 블록으로 분할하고, 상기에서 구한 최적인 탭 수의 위너 필터를 블록마다 적용할지 여부의 선택을 행하고, 필터 ON/OFF의 정보를 블록마다 전송한다.
이것에 의해, 위너 필터링 처리에 필요로 하는 추가의 부호량을 억제하여, 예측 화상 품질을 개선할 수 있다.
비특허문헌 1: MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격 비특허문헌 2: T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, ITU-T SG16/Q.6 meeting, July 2008
종래의 화상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 부호화 대상의 화상의 프레임 전체에서 1개의 위너 필터가 설계되고, 그 프레임을 구성하고 있는 복수의 블록에 대해, 각각 위너 필터링 처리를 적용할지 여부가 적용된다. 그러나, 어느 블록에서도, 동일한 위너 필터가 적용되기 때문에, 그 위너 필터가 당해 블록에 대해 반드시 최적인 필터라고 할 수 없고, 화상 품질을 충분히 개선할 수 없다는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 화상 품질의 개선 정밀도를 높일 수 있는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 화상 복호 장치는, 입력 부호화 비트 스트림을 가변 길이 복호하여, 예측 신호 생성용 파라미터와, 압축되어 있는 차분 화상과, 클래스마다의 필터를 얻는 가변 길이 복호 수단과, 예측 신호 생성용 파라미터를 이용하여 생성된 예측 화상과, 압축되어 있는 차분 화상을 복호한 차분 화상을 가산하여 얻어진 복호 화상에 필터링 처리를 실시하는 필터링 수단을 구비하며, 당해 필터링 수단이, 복호 화상을 구성하고 있는 화소마다 클래스를 결정하고, 결정된 각 클래스에 대응하는 각 필터에 근거하여 복호 화상에 필터링 처리를 행하는 것이다.
본 발명에 의하면, 입력 부호화 비트 스트림을 가변 길이 복호하여, 예측 신호 생성용 파라미터와, 압축되어 있는 차분 화상과, 클래스마다의 필터를 얻는 가변 길이 복호 수단과, 예측 신호 생성용 파라미터를 이용하여 생성된 예측 화상과, 압축되어 있는 차분 화상을 복호한 차분 화상을 가산하여 얻어진 복호 화상에 필터링 처리를 실시하는 필터링 수단을 구비하며, 당해 필터링 수단이, 복호 화상을 구성하고 있는 화소마다 클래스를 결정하고, 결정된 각 클래스에 대응하는 각 필터에 근거하여 복호 화상에 필터링 처리를 행하기 때문에, 화상 품질의 개선 정밀도를 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시 형태 1에 따른 화상 부호화 장치를 나타내는 구성도,
도 2는 본 발명의 실시 형태 1에 따른 화상 부호화 장치의 루프 필터(6)를 나타내는 구성도,
도 3은 본 발명의 실시 형태 1에 따른 화상 부호화 장치의 루프 필터(6)의 처리 내용을 나타내는 흐름도,
도 4는 국소 복호 화상을 구성하고 있는 4개의 영역(영역 A, 영역 B, 영역 C, 영역 D)이 할당되어 있는 클래스의 일례를 나타내는 설명도,
도 5는 국소 복호 화상을 구성하고 있는 16개의 블록(K)을 나타내는 설명도,
도 6은 가변 길이 부호화부(8)에 의해 생성되는 비트 스트림의 일례를 나타내는 설명도,
도 7은 본 발명의 실시 형태 1에 따른 화상 복호 장치를 나타내는 구성도,
도 8은 본 발명의 실시 형태 1에 따른 화상 복호 장치의 루프 필터(25)를 나타내는 구성도,
도 9는 본 발명의 실시 형태 1에 따른 화상 복호 장치의 루프 필터(25)를 나타내는 구성도,
도 10은 본 발명의 실시 형태 1에 따른 화상 복호 장치의 루프 필터(25)의 처리 내용을 나타내는 흐름도,
도 11은 본 발명의 실시 형태 2에 따른 화상 부호화 장치의 루프 필터(6)의 처리 내용을 나타내는 흐름도,
도 12는 국소 복호 화상을 구성하고 있는 복수의 블록(K)에서의 위너 필터의 선택예를 나타내는 설명도,
도 13은 본 발명의 실시 형태 2에 따른 화상 복호 장치의 루프 필터(25)의 처리 내용을 나타내는 흐름도,
도 14는 본 발명의 실시 형태 3에 따른 화상 부호화 장치의 루프 필터(6)의 처리 내용을 나타내는 흐름도,
도 15는 1프레임째에 있어서의 루프 필터(6)의 처리 내용을 나타내는 흐름도,
도 16은 2프레임째 이후에 있어서의 루프 필터(6)의 처리 내용을 나타내는 흐름도,
도 17은 비특허문헌 1에 개시되어 있는 화상 부호화 장치를 나타내는 구성도,
도 18은 위너 필터에 의한 참조 화상 신호의 품질 개선의 원리를 나타내는 설명도이다.
이하, 본 발명을 보다 상세하게 설명하기 위하여, 본 발명을 실시하기 위한 형태에 대해 첨부한 도면에 따라 설명한다.
(실시 형태 1)
도 1은 본 발명의 실시 형태 1에 따른 화상 부호화 장치를 나타내는 구성도이다.
도 1에 있어서, 블록 분할부(1)는 입력 화상인 부호화 대상의 화상 신호를 매크로 블록 단위로 분할하고, 매크로 블록 단위의 화상 신호를 분할 화상 신호로서 예측부(2)에 출력하는 처리를 실시한다.
예측부(2)는 블록 분할부(1)로부터 분할 화상 신호를 받으면, 그 분할 화상 신호를 프레임내 또는 프레임간에 예측해서 예측 신호를 생성한다.
특히, 프레임간에 움직임 보상 예측을 실시하는 경우, 그 분할 화상 신호와 메모리(7)에 저장되어 있는 참조 화상을 나타내는 참조 화상 신호로부터 매크로 블록 자체, 또는, 매크로 블록을 더 미세하게 분할한 서브 블록의 단위로 움직임 벡터를 검출하고, 그 움직임 벡터와 참조 화상 신호로부터 예측 화상을 나타내는 예측 신호를 생성한다.
그리고, 예측 신호를 생성한 후, 그 분할 화상 신호와 예측 신호의 차분인 예측 오차 신호를 산출하는 처리를 실시한다.
또, 예측부(2)는 예측 신호를 생성할 때에 예측 신호 생성용 파라미터를 결정하고, 그 예측 신호 생성용 파라미터를 가변 길이 부호화부(8)에 출력한다.
예측 신호 생성용 파라미터에는, 예를 들면, 프레임내에서의 공간 예측을 어떻게 행하는지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 정보가 포함된다.
또, 블록 분할부(1) 및 예측부(2)로 예측 처리 수단이 구성되어 있다.
압축부(3)는 예측부(2)에 의해 산출된 예측 오차 신호에 대한 DCT(이산 코사인 변환) 처리를 실시함으로써 DCT 계수를 산출함과 아울러, 그 DCT 계수를 양자화하고, 양자화 후의 DCT 계수인 압축 데이터를 국소 복호부(4) 및 가변 길이 부호화부(8)에 출력하는 처리를 실시한다. 또, 압축부(3)는 차분 화상 압축 수단을 구성하고 있다.
국소 복호부(4)는 압축부(3)로부터 출력된 압축 데이터를 역양자화하고, 역DCT 처리를 실시함으로써, 예측부(2)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출하는 처리를 실시한다.
가산기(5)는 국소 복호부(4)에 의해 산출된 예측 오차 신호와 예측부(2)에 의해 생성된 예측 신호를 가산함으로써, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성하는 처리를 실시한다.
또, 국소 복호부(4) 및 가산기(5)로 국소 복호 수단이 구성되어 있다.
루프 필터(6)는 가산기(5)에 의해 생성된 국소 복호 화상 신호에 중첩되어 있는 왜곡을 보상하는 필터링 처리를 실시하고, 필터링 처리 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(7)에 출력함과 아울러, 필터링 처리를 실시할 때에 이용하는 필터의 정보를 가변 길이 부호화부(8)에 출력하는 처리를 실시한다. 또, 루프 필터(6)는 필터링 수단을 구성하고 있다.
메모리(7)는 루프 필터(6)로부터 출력된 참조 화상 신호를 저장하는 기록 매체이다.
가변 길이 부호화부(8)는 압축부(3)로부터 출력된 압축 데이터, 루프 필터(6)로부터 출력된 필터 정보 및 예측부(2)로부터 출력된 예측 신호 생성용 파라미터를 엔트로피 부호화하고, 그 부호화 결과를 나타내는 비트 스트림을 생성하는 처리를 실시한다. 또, 가변 길이 부호화부(8)는 가변 길이 부호화 수단을 구성하고 있다.
도 2는 본 발명의 실시 형태 1에 따른 화상 부호화 장치의 루프 필터(6)를 나타내는 구성도이다.
도 2에 있어서, 프레임 메모리(11)는 가산기(5)에 의해 생성된 국소 복호 화상 신호를 1 프레임분만큼 저장하는 기록 매체이다.
영역 분류부(12)는 프레임 메모리(11)에 저장되어 있는 1 프레임분의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류하는 처리를 실시한다.
필터 설계·처리부(13)는 국소 복호 화상을 구성하고 있는 복수의 영역 중, 1개 이상의 영역이 속해 있는 클래스마다, 당해 클래스에 속해 있는 1개 이상의 영역에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 오차를 최소화하는 위너 필터(Wiener filter)를 생성하고, 그 위너 필터를 이용하여, 당해 영역에 중첩되어 있는 왜곡을 보상하는 처리를 실시한다.
또, 필터 설계·처리부(13)는 위너 필터에 관한 필터 정보를 가변 길이 부호화부(8)에 출력하는 처리를 실시한다.
다음에 동작에 대해 설명한다.
블록 분할부(1)는, 부호화 대상의 화상 신호가 입력되면, 그 화상 신호를 매크로 블록 단위로 분할하고, 매크로 블록 단위의 화상 신호를 분할 화상 신호로서 예측부(2)에 출력한다.
예측부(2)는, 블록 분할부(1)로부터 분할 화상 신호를 받으면, 그 분할 화상 신호를 프레임내 또는 프레임간에서 예측하기 위한 예측 신호 생성용 파라미터를 검출한다. 그 후, 예측 신호 생성용 파라미터를 이용해서 예측 화상을 나타내는 예측 신호를 생성한다.
특히, 프레임 사이에서 예측하기 위한 예측 신호 생성용 파라미터인 움직임 벡터는 분할 화상 신호와 메모리(7)에 저장되어 있는 참조 화상 신호로부터 검출한다.
그리고, 예측부(2)는, 움직임 벡터를 검출하면, 그 움직임 벡터를 이용하여, 그 참조 화상 신호에 대한 움직임 보상 예측을 실시함으로써 예측 신호를 생성한다.
예측부(2)는, 예측 화상을 나타내는 예측 신호를 생성하면, 그 예측 신호와 분할 화상 신호의 차분인 예측 오차 신호를 산출하고, 그 예측 오차 신호를 압축부(3)에 출력한다.
또, 예측부(2)는, 그 예측 신호를 생성할 때에 예측 신호 생성용 파라미터를 결정하고, 그 예측 신호 생성용 파라미터를 가변 길이 부호화부(8)에 출력한다.
또, 예측 신호 생성용 파라미터에는, 예를 들면, 프레임내에서의 공간 예측을 어떻게 행하는지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 정보가 포함된다.
압축부(3)는, 예측부(2)로부터 예측 오차 신호를 받으면, 그 예측 오차 신호에 대한 DCT(이산 코사인 변환) 처리를 실시함으로써 DCT 계수를 산출하고, 그 DCT 계수를 양자화한다.
그리고, 압축부(3)는, 양자화 후의 DCT 계수인 압축 데이터를 국소 복호부(4) 및 가변 길이 부호화부(8)에 출력한다.
국소 복호부(4)는, 압축부(3)로부터 압축 데이터를 받으면, 그 압축 데이터를 역양자화하고, 역DCT 처리를 실시함으로써, 예측부(2)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출한다.
가산기(5)는, 국소 복호부(4)가 예측 오차 신호를 산출하면, 그 예측 오차 신호와 예측부(2)에 의해 생성된 예측 신호를 가산함으로써, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성한다.
루프 필터(6)는, 가산기(5)가 국소 복호 화상 신호를 생성하면, 그 국소 복호 화상 신호에 중첩되어 있는 왜곡을 보상하는 필터링 처리를 실시하고, 필터링 처리 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(7)에 저장한다.
또한, 루프 필터(6)는 필터링 처리를 실시할 때에 이용하는 필터의 정보를 가변 길이 부호화부(8)에 출력한다.
가변 길이 부호화부(8)는, 압축부(3)로부터 출력된 압축 데이터, 루프 필터(6)로부터 출력된 필터 정보 및 예측부(2)로부터 출력된 예측 신호 생성용 파라미터를 엔트로피 부호화하고, 그 부호화 결과를 나타내는 비트 스트림을 생성하는 처리를 실시한다.
여기서는, 예측 신호 생성용 파라미터도 엔트로피 부호화하고 있지만, 예측 신호 생성용 파라미터는 엔트로피 부호화하지 않고, 그 예측 신호 생성용 파라미터를 생성한 비트 스트림에 다중화하여 출력하도록 하여도 좋다.
이하, 루프 필터(6)의 처리 내용을 구체적으로 설명한다.
도 3은 본 발명의 실시 형태 1에 따른 화상 부호화 장치의 루프 필터(6)의 처리 내용을 나타내는 흐름도이다.
우선, 루프 필터(6)의 프레임 메모리(11)는 가산기(5)에 의해 생성된 국소 복호 화상 신호를 1 프레임분만큼 저장한다.
영역 분류부(12)는, 프레임 메모리(11)에 저장되어 있는 1 프레임분의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류한다(스텝 ST1).
예를 들면, 어느 영역(임의의 사이즈(M×M 화소)의 블록)마다, 당해 영역 내의 국소 복호 화상 신호의 분산값, DCT 계수, 움직임 벡터, DCT 계수의 양자화 파라미터 등을 특징량으로서 추출하고, 이러한 정보를 기초로 클래스 분류를 실시한다. M은 1 이상의 정수이다.
복수의 영역을 클래스 1~클래스 N(N는 1 이상의 정수임) 증 어느 하나에 할당하는 경우에 있어서, 예를 들면, 특징량으로서 당해 영역 내의 국소 복호 화상 신호의 분산값을 이용하는 경우, 미리 N-1개의 임계값을 준비하고, 그 국소 복호 화상 신호의 분산값과 N-1개의 임계값(th1<th2<…<thN -1)을 비교하여, 당해 영역이 속하는 클래스를 분류한다.
예를 들면, 국소 복호 화상 신호의 분산값이 thN -3 이상 또한 thN -2보다 작은 경우, 당해 영역을 클래스 N-2에 할당하고, 국소 복호 화상 신호의 분산값이 th2 이상 또한 th3보다 작은 경우, 당해 영역을 클래스 3에 할당한다.
여기서는, 미리 N-1개의 임계값을 준비하고 있는 것을 나타냈지만, 시퀀스마다나 프레임마다, 그러한 임계값을 동적으로 변화시키도록 하여도 좋다.
예를 들면, 특징량으로서 당해 영역 내의 움직임 벡터를 이용하는 경우, 그 움직임 벡터의 평균 벡터 또는 중간 벡터를 산출하고, 그 벡터의 크기 또는 방향에 따라, 당해 영역이 속하는 클래스를 분류한다.
여기서, 평균 벡터는 움직임 벡터의 성분(x 성분, y 성분)마다 평균값을 취한 것을 벡터의 성분으로 하는 것이다.
또, 중간 벡터는, 움직임 벡터의 성분(x 성분, y 성분)마다 중간값을 취한 것을 벡터의 성분으로 하는 것이다.
필터 설계·처리부(13)는, 영역 분류부(12)가 복수의 영역을 클래스 1~클래스 N 중 어느 하나에 할당하면, 국소 복호 화상을 구성하고 있는 복수의 영역 중, 1개 이상의 영역이 속해 있는 클래스마다, 당해 클래스에 속해 있는 1개 이상의 영역에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 오차를 최소화하는 위너 필터를 생성한다(스텝 ST2~ST8).
예를 들면, 도 4에 나타내는 바와 같이, 국소 복호 화상이 4개의 영역(영역 A, 영역 B, 영역 C, 영역 D)으로 구성되어 있는 경우에 있어서, 영역 A, 영역 C가 클래스 3에 할당되고, 영역 B가 클래스 5에 할당되고, 영역 D가 클래스 6에 할당되어 있으면, 클래스 3에 속해 있는 영역 A, 영역 C에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 오차를 최소화하는 위너 필터를 생성한다.
또한, 클래스 5에 속해 있는 영역 B에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 오차를 최소화하는 위너 필터를 생성하고, 클래스 6에 속해 있는 영역 D에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 오차를 최소화하는 위너 필터를 생성한다.
또, 필터 설계·처리부(13)는, 오차를 최소화하는 위너 필터를 생성함에 있어, 예를 들면, 여러 탭 수(variable number of taps)로 필터 설계한 경우, 각각에 대해 하기에 나타내는 바와 같은 코스트(cost)를 산출하고, 그 코스트가 최소로 되는 필터의 탭 수 및 계수값을 결정한다.
Figure 112012004847101-pct00002
단, D는 대상으로 되는 필터를 적용하는 영역 내에서의 부호화 대상의 화상 신호와, 필터링 처리 후의 국소 복호 화상 신호간의 제곱 오차합, λ는 정수, R은 루프 필터(6)에서 발생하는 부호량이다.
여기서는, 코스트를 식 (2)로 나타내고 있지만, 이것은 일례에 불과하며, 예를 들면, 제곱 오차합 D만을 코스트로 하여도 좋다.
또, 제곱 오차합 D가 아니라, 오차의 절대값합 등의 다른 평가값이더라도 좋다.
필터 설계·처리부(13)는, 1개 이상의 영역이 속해 있는 클래스마다, 위너 필터를 생성하면, 국소 복호 화상을 구성하고 있는 복수의 블록(예를 들면, 국소 복호 화상을 구성하고 있는 영역 A~D보다 작은 국소적인 영역)에 대해, 각 블록 각각 필터링 처리를 실시하는 블록인지 여부를 결정한다(스텝 ST9~ST16).
즉, 필터 설계·처리부(13)는, 국소 복호 화상을 구성하고 있는 복수의 블록에 대해, 각 블록이 각각 블록 내의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 오차를 필터링 처리의 전후에서 비교한다.
예를 들면, 도 5에 나타내는 바와 같이, 국소 복호 화상이 16개인 블록(K)(K=1, 2, …, 16)으로 구성되어 있는 경우, 블록마다 각각, 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합을 필터링 처리의 전후에서 비교한다.
또, 도 5의 블록 1, 블록 2, 블록 5, 블록 6이 도 4의 영역 A에, 블록 3, 블록 4, 블록 7, 블록 8이 영역 B에, 블록 9, 블록 10, 블록 13, 블록 14가 영역 C에, 블록 11, 블록 12, 블록 15, 블록 16이 영역 D에 대응하고 있다.
여기서는, 제곱 오차합을 필터링 처리의 전후에서 비교하고 있지만, 식 (2)에 나타내는 코스트(D＋λ·R)를 필터링 처리의 전후에서 비교하더라도 좋고, 오차의 절대값합을 필터링 처리의 전후에서 비교해도 좋다.
필터 설계·처리부(13)는, 필터링 처리 후의 제곱 오차합이 필터링 처리 전의 제곱 오차합보다 작으면, 당해 블록(K)은 필터링 처리를 실시하는 블록인 것으로 결정한다.
한편, 필터링 처리 후의 제곱 오차합이 필터링 처리 전의 제곱 오차합보다 크면, 당해 블록(K)은 필터링 처리를 실시하지 않은 블록인 것으로 결정한다.
그리고, 필터 설계·처리부(13)는, 스텝 ST1~ST16에서 코스트가 최소로 된 경우의 필터링 처리를 실시한 경우와, 당해 프레임 전체에서 필터링 처리를 실시하지 않은 경우의 코스트를 산출하고, 당해 프레임 전체에서 필터링 처리를 행할지 여부를 결정한다(스텝 ST17~ST18).
스텝 ST18에서 필터링 처리를 행한다고 결정한 프레임에서는, 플래그(frame_filter_on_off_flag)=1(ON)로 하고, 스텝 ST1~ST16에서 코스트가 최소로 된 경우의 필터링 처리를 실시하고, 필터링 처리 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(7)에 출력한다(스텝 ST19~ST20).
예를 들면, 당해 블록(K)을 포함하고 있는 영역이 영역 B이고, 영역 B가 속해 있는 클래스가 클래스 5이면, 클래스 5의 위너 필터를 이용하여, 당해 블록(K)에서의 필터링 처리를 실시하고, 필터링 처리 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(7)에 출력한다.
이 때, 스텝 ST1~ST16에서 코스트가 최소로 되는 것이 블록마다 필터링 처리할지 여부의 선택을 행하는 처리를 실시한 경우일 때(플래그(block_filter_on_off_flag)=1(ON)시), 필터링 처리를 실시하지 않는다고 결정한 블록(K)에 대해서는, 당해 블록(K)에서의 필터링 처리를 실시하지 않고, 필터링 처리 전의 국소 복호 화상 신호를 그대로 참조 화상 신호로서 메모리(7)에 출력한다. 한편, 스텝 ST1~ST16에서 코스트가 최소로 되는 것이 블록마다 필터링 처리할지 여부의 선택을 행하는 처리를 실시하지 않는 경우일 때(플래그(block_filter_on_off_flag)=0(OFF)시), 프레임 내의 모든 국소 복호 화상 신호에 대해 각각의 신호가 속해 있는 영역이 속하는 클래스의 위너 필터를 이용해서 각각 필터링 처리를 실시하고, 필터링 처리 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(7)에 출력한다.
또, 스텝 ST18에서 필터링 처리를 실시하지 않는다고 결정한 프레임에서는, 플래그(frame_filter_on_off_flag)=0(OFF)으로 하고, 필터링 처리 전의 국소 복호 화상 신호를 그대로 참조 화상 신호로서 메모리(7)에 출력한다(스텝 ST21~ST22).
흐름도에 있어서의 스텝 ST2~ST22에서, "min_cost"는 코스트의 최소값을 보존하는 변수, "i"는 필터 탭 수 tap[i]의 인덱스 및 루프 카운터, "j"는 블록 사이즈 bl_size[j]의 인덱스 및 루프 카운터이다.
또한, "min_tap_idx"는 코스트가 최소로 될 때의 필터 탭 수의 인덱스(i), "min_bl_size_idx"는 코스트가 최소로 될 때의 블록 사이즈의 인덱스(j)이다.
또한, "MAX"는 코스트 최소값의 초기값(충분히 큰 값)이다.
· tap[i](i=0~N1)
미리 정해져 있는 선택 가능한 N1(N1≥1) 종류의 필터 탭 수를 저장하고 있는 배열.
· bl_size[j](j=0~N2)
미리 정해져 있는 선택 가능한 N2(N2≥1) 종류의 블록 사이즈(bl_size[j]×bl_size[j] 화소)를 저장하고 있는 배열.
· block_filter_on_off_flag
당해 프레임에서 블록마다 필터링 처리를 행하는지 여부를 선택하는 처리를 실시할지 여부를 나타내는 플래그.
· frame_filter_on_off_flag
당해 프레임에서 필터링 처리를 행할지 여부를 나타내는 플래그.
또, 스텝 ST2는 초기값을 설정하는 스텝이고, 스텝 ST3~ST8은 필터 탭 수의 선택 처리를 행하는 루프이다.
또한, 스텝 ST9는 초기값을 설정하는 스텝이고, 스텝 ST10~ST16은 블록 사이즈의 선택 처리 및 선택한 블록 사이즈의 블록마다 필터링 처리하는지 아닌지를 결정하는 처리를 행하는 루프이다.
또, 스텝 ST17~ST18은 당해 프레임 전체에서 필터링 처리를 행할지 여부를 결정하는 스텝이고, 스텝 ST19~ST20은, frame_filter_on_off_flag=1(ON)로 하고, 스텝 ST1~ST16에서 결정한 최적인 필터링 처리를 행하는 스텝이고, 스텝 ST21~ST22는, frame_filter_on_off_flag=0(OFF)으로 하고, 당해 프레임에서 필터링 처리를 행하지 않는 스텝이다.
필터 설계·처리부(13)는, 상기와 같이 해서, 위너 필터를 생성하여, 필터링 처리를 실시하면, 그 위너 필터에 관한 필터 정보를 가변 길이 부호화부(8)에 출력한다.
필터 정보에는, 당해 프레임에서 필터링 처리를 행할지 여부를 나타내는 플래그(frame_filter_on_off_flag)가 포함되어 있다.
이 플래그가 ON(필터링 처리를 실시하는)인 경우, 이하에 나타내는 정보가 필터 정보로서 포함된다.
(1) 위너 필터의 수(1개 이상의 영역이 속해 있는 클래스의 수)
· 위너 필터의 수는 프레임마다 다르더라도 좋다.
(2) 위너 필터의 탭 수의 정보(인덱스)
· 프레임 내의 모든 필터에서 공통인 경우, 공통의 탭 수가 포함된다.
· 필터마다 탭 수가 다른 경우, 각각의 필터의 탭 수가 포함된다.
(3) 실제로 사용된 위너 필터(1개 이상의 영역이 속해 있는 클래스의 위너 필터)의 계수의 정보
· 생성되더라도 실제로 사용되고 있지 않은 위너 필터에 관한 정보는 포함되지 않는다.
(4) 블록마다의 필터의 ON/OFF 정보 및 블록 사이즈 정보
· 당해 프레임에서 블록마다의 ON/OFF(필터링 처리의 유무)를 행할지 여부를 나타내는 플래그(block_filter_on_off_flag).
· block_filter_on_off_flag가 ON인 경우에 한하여, 블록 사이즈 정보(인덱스) 및 블록마다의 필터링 처리의 ON/OFF 정보가 포함된다.
여기서는, (1)~(4)의 정보가 필터 정보로서 포함되는 것으로서 나타내었지만, 위너 필터의 수, 위너 필터의 탭 수, ON/OFF의 블록 사이즈에 대해서는 부호화하여 송신하지 않고, 화상 부호화 장치 및 화상 복호 장치에서 공통으로 정해져 있는 정보로서, 각각이 유지하고 있도록 하여도 좋다.
또한, 지금까지의 설명에서는 도 3을 루프 필터(6)의 구체적인 처리 내용으로서 설명했지만, 스텝 ST9~ST16을 생략하고 블록마다 필터링 처리의 ON/OFF를 실시하지 않는(필터 정보로서 (4)가 없는) 것을 루프 필터(6)의 처리 내용으로 하더라도 좋다.
필터 설계·처리부(13)로부터 출력된 필터 정보는, 상술한 바와 같이, 가변 길이 부호화부(8)에 의해 엔트로피 부호화되어 화상 복호 장치에 송신된다.
도 6은 가변 길이 부호화부(8)에 의해 생성되는 비트 스트림의 일례를 나타내는 설명도이다.
도 7은 본 발명의 실시 형태 1에 따른 화상 복호 장치를 나타내는 구성도이다.
도 7에 있어서, 가변 길이 복호부(21)는 화상 부호화 장치로부터 비트 스트림을 수신하면, 그 비트 스트림으로부터 압축 데이터, 필터 정보 및 예측 신호 생성용 파라미터를 가변 길이 복호하는 처리를 실시한다. 또, 가변 길이 복호부(21)는 가변 길이 복호 수단을 구성하고 있다.
예측부(22)는 가변 길이 복호부(21)에 의해 가변 길이 복호된 예측 신호 생성용 파라미터를 이용해서 예측 화상을 나타내는 예측 신호를 생성하는 처리를 실시한다. 특히 움직임 벡터가 예측 신호 생성용 파라미터로서 이용되는 경우는, 그 움직임 벡터와 메모리(26)에 저장되어 있는 참조 화상 신호로부터 예측 신호를 생성하는 처리를 실시한다. 또, 예측부(22)는 예측 화상 생성 수단을 구성하고 있다.
예측 오차 복호부(23)는 가변 길이 복호부(21)에 의해 가변 길이 복호된 압축 데이터를 역양자화하고, 역DCT 처리를 실시함으로써, 도 1의 예측부(2)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출하는 처리를 실시한다.
가산기(24)는 예측 오차 복호부(23)에 의해 산출된 예측 오차 신호와 예측부(22)에 의해 생성된 예측 신호를 가산함으로써, 도 1의 가산기(5)로부터 출력된 복호 화상 신호에 상당하는 복호 화상 신호를 산출하는 처리를 실시한다.
또, 예측 오차 복호부(23) 및 가산기(24)로 복호 수단이 구성되어 있다.
루프 필터(25)는 가산기(24)로부터 출력된 복호 화상 신호에 중첩되어 있는 왜곡을 보상하는 필터링 처리를 실시하고, 필터링 처리 후의 복호 화상 신호를, 필터링 처리된 복호 화상 신호로서 외부 및 메모리(26)에 출력하는 처리를 실시한다. 또, 루프 필터(25)는 필터링 수단을 구성하고 있다.
메모리(26)은 루프 필터(25)로부터 출력된 필터링 처리된 복호 화상 신호를 참조 화상 신호로서 저장하는 기록 매체이다.
도 8은 본 발명의 실시 형태 1에 따른 화상 복호 장치의 루프 필터(25)를 나타내는 구성도이다.
도 8에 있어서, 프레임 메모리(31)는 가산기(24)로부터 출력된 복호 화상 신호를 1 프레임분만큼 저장하는 기록 매체이다.
영역 분류부(32)는 도 2의 영역 분류부(12)와 마찬가지로, 프레임 메모리(31)에 저장되어 있는 1 프레임분의 복호 화상 신호가 나타내는 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류하는 처리를 실시한다.
필터링 처리부(33)는 가변 길이 복호부(21)에 의해 가변 길이 복호된 필터 정보를 참조하여, 영역 분류부(32)에 의해 분류된 각 영역이 속하는 클래스에 적용하는 위너 필터를 생성하고, 그 위너 필터를 이용해서, 당해 영역에 중첩되어 있는 왜곡을 보상하는 처리를 실시한다.
도 8의 예에서는, 전단에 프레임 메모리(31)가 실장되어 있는 루프 필터(25)를 나타내고 있지만, 매크로 블록 단위로 클로우즈된 필터링 처리를 행하는 경우, 도 9에 나타내는 바와 같이, 전단에 프레임 메모리(31)를 실장하지 않고, 영역 분류부(32)가 당해 매크로 블록의 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하도록 하더라도 좋다.
단, 그 경우는 화상 부호화 장치로의 필터링 처리에서 매크로 블록마다 독립 가능한 처리를 실시하고 있을 필요가 있다.
다음에 동작에 대해 설명한다.
가변 길이 복호부(21)는, 화상 부호화 장치로부터 비트 스트림을 수신하면, 그 비트 스트림으로부터 압축 데이터, 필터 정보 및 예측 신호 생성용 파라미터를 가변 길이 복호한다.
예측부(22)는, 가변 길이 복호부(21)로부터 예측 신호 생성용 파라미터를 받으면, 그 예측 신호 생성용 파라미터로부터 예측 신호를 생성한다. 특히 예측 신호 생성용 파라미터로서 움직임 벡터를 받은 경우는, 그 움직임 벡터와 메모리(26)에 저장되어 있는 참조 화상 신호로부터 예측 신호를 생성한다.
예측 오차 복호부(23)는, 가변 길이 복호부(21)로부터 압축 데이터를 받으면, 그 압축 데이터를 역양자화하고, 역DCT 처리를 실시함으로써, 도 1의 예측부(2)로부터 출력된 예측 오차 신호에 상당하는 예측 오차 신호를 산출한다.
가산기(24)는, 예측 오차 복호부(23)가 예측 오차 신호를 산출하면, 그 예측 오차 신호와 예측부(22)에 의해 생성된 예측 신호를 가산함으로써, 도 1의 가산기(5)로부터 출력된 국소 복호 화상 신호에 상당하는 복호 화상 신호를 산출한다.
루프 필터(25)는, 가산기(24)로부터 복호 화상 신호를 받으면, 그 복호 화상 신호에 중첩되어 있는 왜곡을 보상하는 필터링 처리를 실시하고, 필터링 처리 후의 복호 화상 신호를, 필터링 처리된 복호 화상 신호로서 외부에 출력함과 아울러 참조 화상 신호로서 메모리(26)에 저장한다.
이하, 루프 필터(25)의 처리 내용을 구체적으로 설명한다.
도 10은 본 발명의 실시 형태 1에 따른 화상 복호 장치의 루프 필터(25)의 처리 내용을 나타내는 흐름도이다.
우선, 루프 필터(25)의 프레임 메모리(31)는 가산기(24)로부터 출력된 복호 화상 신호를 1 프레임분만큼 저장한다.
영역 분류부(32)는, 필터 정보에 포함되어 있는 플래그(frame_filter_on_off_flag)가 ON(필터링 처리를 실시하는)인 경우(스텝 ST31), 도 2의 영역 분류부(12)와 마찬가지로, 프레임 메모리(31)에 저장되어 있는 1 프레임분의 복호 화상 신호가 나타내는 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류한다(스텝 ST32).
필터링 처리부(33)는, 가변 길이 복호부(21)로부터 필터 정보를 받으면, 그 필터 정보를 참조하여, 영역 분류부(32)에 의해 분류된 각 영역이 속하는 클래스에 적용하는 위너 필터를 생성한다(스텝 ST33).
예를 들면, 위너 필터의 수(1개 이상의 영역이 속해 있는 클래스의 수)가 N개, 위너 필터의 탭 수가 L×L이고, 각 위너 필터의 계수값이 wi11, wi12, …, wi1L, …, wiL1, wiL2, …, wiLL로 나타내어지는 경우, N개의 위너 필터 Wi(i=1, 2, …, N)는 하기와 같이 나타내어진다.
Figure 112012004847101-pct00003
필터링 처리부(33)는, N개의 위너 필터 Wi를 생성하면, 이것들 위너 필터를 이용하여, 1 프레임분의 복호 화상 신호에 중첩되어 있는 왜곡을 보상하고, 보상 후의 복호 화상 신호를 필터링 처리된 복호 화상 신호로서 외부 및 메모리(26)에 출력한다(스텝 ST34).
여기서, 필터링 처리 후의 복호 화상 신호 s 해트는 하기의 식 (4)로 나타내어진다.
Figure 112012004847101-pct00004
행렬 S는 필터링 처리 대상의 복호 화상 신호 s를 포함한 L×L 화소의 참조 신호군이고, id(s)는 영역 분류부(32)에 의해 구해지는 신호 s를 포함하는 영역이 속하는 클래스의 번호(필터 번호)이다.
단, 필터링 처리부(33)는, 상기 필터링 처리시에 필터 정보에 포함되어 있는 플래그(block_filter_on_off_flag)를 참조하여, 플래그(block_filter_on_off_flag)=1(ON)인 경우는, 필터 정보에 포함되어 있는 블록 사이즈 정보를 참조하여, 복호 화상을 구성하고 있는 복수의 블록(K)을 특정한 후, 필터 정보에 포함되어 있는 블록(K)마다의 필터링 처리를 행할지 여부의 정보를 참조해서 필터링 처리를 행한다.
즉, 필터링 처리부(33)는, 플래그(block_filter_on_off_flag)=1(ON)인 경우는, 복호 화상을 구성하고 있는 복수의 블록 중, 필터링 처리를 행하는 블록(K)에 대해서는, 당해 블록(K)을 포함하는 영역이 속하는 클래스의 위너 필터를 이용해서 블록(K) 내의 복호 화상 신호에 대해 필터링 처리를 실시하지만, 필터링 처리를 행하지 않는 블록(K)에 대해서는 필터링 처리 전의 복호 화상 신호를 그대로 필터링 처리된 복호 화상 신호로서 외부 및 메모리(26)에 출력한다.
한편, 플래그(block_filter_on_off_flag)=0(OFF)의 경우에는, 영역 분류부(32)에 의해 각 영역에 할당되는 클래스에 대응하는 필터를 이용하여, 당해 프레임 내의 모든 복호 화상 신호에 대해 필터링 처리를 실시한다.
필터링 처리부(33)는, 필터 정보에 포함되어 있는 플래그(frame_filter_on_off_flag)가 OFF(필터링 처리를 행하지 않는)인 경우(스텝 ST31), 당해 프레임에 대해서는 필터링 처리를 실시하지 않고, 가산기(24)로부터 출력된 복호 화상 신호를 그대로 필터링 처리된 복호 화상 신호로서 외부 및 메모리(26)에 출력한다(스텝 ST35).
이상으로 명백한 바와 같이, 본 실시 형태 1에 의하면, 가산기(5)로부터 출력된 국소 복호 화상 신호가 나타내는 국소 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류하는 영역 분류부(12)와, 그 국소 복호 화상을 구성하고 있는 복수의 영역 중, 1개 이상의 영역이 속해 있는 클래스마다, 당해 클래스에 속해 있는 1개 이상의 영역에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합을 최소화하는 위너 필터를 생성하고, 그 위너 필터를 이용하여, 당해 영역에 중첩되어 있는 왜곡을 보상하는 필터 설계·처리부(13)로 루프 필터(6)가 구성되어 있기 때문에, 화상의 국소적인 성질에 따른 필터링 처리가 실현되게 되어, 그 결과, 화상 품질의 개선 정밀도를 높일 수 있는 화상 부호화 장치를 얻을 수 있는 효과가 있다.
또, 본 실시 형태 1에 의하면, 가산기(24)로부터 출력된 복호 화상 신호가 나타내는 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류하는 영역 분류부(32)와, 가변 길이 복호부(21)에 의해 가변 길이 복호된 필터 정보를 참조하여, 영역 분류부(32)에 의해 분류된 각 영역이 속하는 클래스에 적용하는 위너 필터를 생성하고, 그 위너 필터를 이용해서, 당해 영역에 중첩되어 있는 왜곡을 보상하는 필터링 처리부(33)로부터 루프 필터(25)가 구성되어 있기 때문에, 화상의 국소적인 성질에 따른 필터링 처리가 실현되도록 되어, 그 결과, 화상 품질의 개선 정밀도를 높일 수 있는 화상 복호 장치를 얻을 수 있는 효과가 있다.
(실시 형태 2)
상기 실시 형태 1에서는, 필터 설계·처리부(13)가, 1개 이상의 영역이 속해 있는 클래스마다 위너 필터를 생성하고, 국소 복호 화상을 구성하고 있는 복수의 블록(K)에 대해, 각 블록 각각, 당해 블록(K)을 포함하고 있는 영역이 속해 있는 클래스의 위너 필터를 이용하여, 당해 블록(K)에서의 필터링 처리를 실시하는 것에 대해 나타내었지만, 1개 이상의 영역이 속해 있는 클래스마다 생성하고 있는 위너 필터 중에서, 각 블록 각각 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합이 최소로 되는 위너 필터를 선택하고, 그 위너 필터를 이용하여, 당해 블록(K)에 중첩되어 있는 왜곡을 보상하도록 하더라도 좋다.
구체적으로는 이하와 같다.
도 11은 본 발명의 실시 형태 2에 따른 화상 부호화 장치의 루프 필터(6)의 처리 내용을 나타내는 흐름도이다.
필터 설계·처리부(13)는, 상기 실시 형태 1과 동일하게 하여, 1개 이상의 영역이 속해 있는 클래스마다 위너 필터를 생성한다(스텝 ST2~ST8).
단, 본 실시 형태 2에서는, 블록마다 필터링 처리를 행할지 여부를 선택하는 처리를 당해 프레임에서 실시할지 여부를 나타내는 플래그(block_filter_on_off_flag)를 사용하지 않고, 당해 프레임에서 블록마다 사용하는 필터의 선택을 행할지 여부를 나타내는 플래그(block_filter_selection_flag)를 사용하고, 스텝 ST40에서, 플래그(block_filter_selection_flag)가 OFF로 초기 설정되어 있고, 스텝 ST46을 실시하는 경우만 플래그(block_filter_selection_flag)가 ON으로 된다.
또, 후술하는 바와 같이, 플래그(block_filter_selection_flag)가 ON인 경우에 한하여, 블록 사이즈 및 블록마다의 필터 선택 정보가 필터 정보로 포함된다.
필터 설계·처리부(13)는, 1개 이상의 영역이 속해 있는 클래스마다 위너 필터를 생성하면, 국소 복호 화상을 구성하고 있는 복수의 블록(K)에 대해, 각 블록 각각, 1개 이상의 영역이 속해 있는 클래스마다 생성하고 있는 위너 필터 중에서 하나를 선택해서 필터링 처리한 경우와 필터링 처리를 행하지 않은 경우 중에서, 최적인 처리(예를 들면, 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합이 최소로 되는 처리)를 선택한다(스텝 ST9, ST41~ST47).
구체적으로는, 4개의 위너 필터 W1, W2, W3, W4가 생성되어 있는 경우에 있어서, 4개의 위너 필터를 각각 이용해서 필터링 처리를 실시했을 때, 블록(K)에서의 제곱 오차합 E의 대소 관계가 아래와 같이 되면, 블록(K)에 대해서는, 제곱 오차합 E가 최소로 되는 위너 필터 W3을 선택한다.
Figure 112012004847101-pct00005
단, EW0은 필터링 처리를 행하지 않는 경우의 제곱 오차합 E를 나타내고 있다.
여기서, 도 12는 국소 복호 화상을 구성하고 있는 복수의 블록(K)에서의 위너 필터의 선택예를 나타내는 설명도이고, 예를 들면, 블록(1)에서는, 위너 필터 W2가 선택되고, 블록(2)에서는, 위너 필터 W3이 선택되어 있다.
필터 설계·처리부(13)는, 당해 프레임에 대해서, 위너 필터를 이용하여 필터링 처리를 행한다고 결정한 경우는, 플래그(frame_filter_on_off_flag)=1(ON)로 하고, 스텝 ST1~ST9 및 ST40~ST47에서 코스트가 최소로 된 경우의 필터링 처리를 실시하고, 필터링 처리 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(7)에 출력한다(스텝 ST17~ST20).
한편, 당해 프레임 전체에서 필터링 처리를 행하지 않는다고 결정한 경우(스텝 ST17~ST18), 플래그(frame_filter_on_off_flag)=0(OFF)으로 하고, 필터링 처리 전의 국소 복호 화상 신호를 그대로 참조 화상 신호로서 메모리(7)에 출력한다(스텝 ST21~ST22).
필터 설계·처리부(13)는, 상기와 같이 해서, 위너 필터를 생성하고, 필터링 처리를 실시하면, 그 위너 필터에 관한 필터 정보를 가변 길이 부호화부(8)에 출력한다.
필터 정보에는, 당해 프레임에서 필터링 처리를 행할지 여부를 나타내는 플래그(frame_filter_on_off_flag)가 포함되어 있다.
이 플래그가 ON(필터링 처리를 행한다)인 경우, 이하에 나타내는 정보가 필터 정보로서 포함된다.
(1) 위너 필터의 수(1개 이상의 영역이 속해 있는 클래스의 수)
· 위너 필터의 수는 프레임마다 다르더라도 좋다.
(2) 위너 필터의 탭 수의 정보(인덱스)
· 프레임 내의 모든 필터에서 공통인 경우, 공통의 탭 수가 포함된다.
· 필터마다 탭 수가 다른 경우, 각각의 필터의 탭 수가 포함된다.
(3) 실제로 사용된 위너 필터(1개 이상의 영역이 속해 있는 클래스의 위너 필터)의 계수의 정보
· 생성되더라도 실제로 사용되고 있지 않은 위너 필터에 관한 정보는 포함되지 않는다.
(4) 블록마다의 필터의 선택 정보 및 블록 사이즈 정보
· 프레임 단위로 블록마다의 필터의 선택을 행하는지 여부를 나타내는 플래그(block_filter_selection_flag).
· block_filter_selection_flag가 ON인 경우에 한하여 블록 사이즈의 정보(인덱스) 및 블록마다의 선택 정보가 포함된다.
여기서는, (1)~(4)의 정보가 필터 정보로서 포함되는 것으로서 나타내었지만, 위너 필터의 수, 위너 필터의 탭 수, 블록 사이즈에 대해서는 부호화하여 송신하지 않고, 화상 부호화 장치 및 화상 복호 장치에서 공통으로 정해져 있는 정보로서, 각각이 유지하고 있도록 하여도 좋다.
화상 복호 장치에 있어서의 루프 필터(25)에서는, 이하의 처리 내용을 실시한다.
도 13은 본 발명의 실시 형태 2에 따른 화상 복호 장치의 루프 필터(25)의 처리 내용을 나타내는 흐름도이다.
우선, 루프 필터(25)의 프레임 메모리(31)는 가산기(24)로부터 출력된 복호 화상 신호를 1 프레임분만큼 저장한다.
영역 분류부(32)는, 필터 정보에 포함되어 있는 플래그(frame_filter_on_off_flag)가 ON(필터링 처리를 실시함)이고(스텝 ST31), 또한, 필터 정보에 포함되어 있는 플래그(block_filter_selection_flag)가 OFF인 경우(스텝 ST51), 상기 실시 형태 1과 마찬가지로, 프레임 메모리(31)에 저장되어 있는 1 프레임분의 복호 화상 신호가 나타내는 복호 화상을 구성하고 있는 복수의 영역의 특징량을 각각 추출하고, 그 특징량에 따라 각 영역이 속하는 클래스를 분류한다(스텝 ST32).
한편, 필터 정보에 포함되어 있는 플래그(frame_filter_on_off_flag)가 ON(필터링 처리를 실시함)이고(스텝 ST31), 또한, 필터 정보에 포함되어 있는 플래그(block_filter_selection_flag)가 ON인 경우(스텝 ST51), 필터 정보에 포함되어 있는 정보 중, 필터의 선택 단위로 되는 블록 사이즈의 정보나 블록마다의 필터 선택 정보를 참조하여, 블록마다 클래스 분류를 행한다(스텝 ST52).
필터링 처리부(33)는, 영역 분류부(32)가 각 영역(각 블록)이 속하는 클래스를 분류하면, 상기 실시 형태 1과 마찬가지로, 가변 길이 복호부(21)로부터 출력된 필터 정보를 참조하여, 영역 분류부(32)에 의해 분류된 각 영역(각 블록)이 속하는 클래스에 적용하는 위너 필터를 생성한다(스텝 ST33).
필터링 처리부(33)는, 각 클래스에서 적용하는 위너 필터를 생성하면, (block_filter_selection_flag)가 OFF인 경우, 상기 실시 형태 1에서 플래그(block_filter_on_off_flag)가 OFF인 경우와 마찬가지로, 생성한 위너 필터를 이용하여, 당해 프레임 내의 모든 복호 화상 신호에 대해 필터링 처리를 실시하고, 필터링 처리 후의 복호 화상 신호를 필터링 처리된 복호 화상 신호로서 외부 및 메모리(26)에 출력한다(스텝 ST53).
한편, (block_filter_selection_flag)가 ON인 경우, 필터링 처리부(33)는, 각 클래스에서 적용하는 위너 필터를 생성하면, 블록마다, 선택한 위너 필터를 이용하여 블록 내의 복호 화상 신호에 중첩되어 있는 왜곡을 보상하고, 필터링 처리 후의 복호 화상 신호를 필터링 처리된 복호 화상 신호로서 외부 및 메모리(26)에 출력한다(스텝 ST53).
이 때의 필터링 처리 후의 복호 화상 신호 s 해트는 하기의 식 (5)로 나타내어진다.
Figure 112012004847101-pct00006
행렬 S는 필터링 처리 대상의 복호 화상 신호 s를 포함한 L×L 화소의 참조 신호군이다.
id_2(bl)는 복호 화상 신호 s가 포함되는 블록 bl에서의 필터 선택 정보, 즉 블록 bl의 클래스 번호(필터 번호)이다.
또, id_2(bl)=0의 경우, 필터링 처리를 실시하지 않는 블록을 나타내고 있는 것으로서, 그 블록의 필터링 처리를 실시하지 않는다.
이상으로 명백한 바와 같이, 본 실시 형태 2에 의하면, 복호 화상을 구성하고 있는 복수의 블록(K)에 대해, 각 블록 각각, 1개 이상의 영역이 속해 있는 클래스마다 생성하고 있는 위너 필터 중에서, 당해 블록(K)에서의 부호화 대상의 화상 신호와 복호 화상 신호간의 제곱 오차합이 최소로 되는 위너 필터를 선택하고, 그 위너 필터를 이용하여, 당해 블록(K)에 중첩되어 있는 왜곡을 보상하도록 구성했기 때문에, 상기 실시 형태 1보다 더욱 화상 품질의 개선 정밀도를 높일 수 있는 효과를 얻을 수 있다.
(실시 형태 3)
상기 실시 형태 2에서는, 복호 화상을 구성하고 있는 복수의 블록(K)에 대해, 각 블록 각각, 당해 프레임에서 1개 이상의 블록이 속해 있는 클래스마다 생성된 위너 필터 중 어느 하나를 이용한 경우와 필터링 처리를 행하지 않는 경우 중에서, 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합이 최소로 되는 경우를 선택하는 수법에 대해 나타내 보였지만, 미리 1개 이상의 위너 필터를 준비하고, 상기 미리 준비하고 있는 위너 필터 중의 어느 하나를 이용한 경우와, 당해 프레임에서 1개 이상의 블록이 속해 있는 클래스마다 생성된 위너 필터 중의 어느 하나를 이용한 경우와, 필터링 처리를 행하지 않은 경우 중에서, 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합이 최소로 되는 경우를 선택하도록 하더라도 좋다.
도 14는 본 발명의 실시 형태 3에 따른 화상 부호화 장치의 루프 필터(6)의 처리 내용을 나타내는 흐름도이다.
본 실시 형태 3의 경우, 위너 필터의 선택권이 증가하기 때문에, 상기 실시 형태 2보다, 최적인 위너 필터가 선택될 확률이 향상된다.
또, 위너 필터의 선택 방법은 상기 실시 형태 2와 동일하기 때문에 설명을 생략한다.
또, 화상 복호 장치의 처리 내용에 대해서도, 상기 실시 형태 2와 동일하기 때문에 설명을 생략한다.
(실시 형태 4)
상기 실시 형태 2에서는, 복호 화상을 구성하고 있는 복수의 블록(K)에 대해, 각 블록 각각, 당해 프레임에서 1개 이상의 블록이 속해 있는 클래스마다 생성된 위너 필터 중의 어느 하나를 이용한 경우와 필터링 처리를 행하지 않는 경우 중에서, 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합이 최소로 되는 경우를 선택하는 수법에 대해 나타내었지만, 당해 프레임에서 1개 이상의 블록이 속해 있는 클래스마다 생성된 위너 필터 중의 어느 하나를 이용한 경우와, 이미 부호화되어 있는 프레임에서 사용된 위너 필터 중의 어느 하나를 이용한 경우와, 필터링 처리를 행하지 않은 경우 중에서, 당해 블록(K)에서의 부호화 대상의 화상 신호와 국소 복호 화상 신호간의 제곱 오차합이 최소로 되는 경우를 선택하도록 하더라도 좋다.
여기서, 도 15는 1프레임째에서의 루프 필터(6)의 처리 내용을 나타내는 흐름도이며, 상기 실시 형태 2에서의 도 11의 흐름도와 동일하다.
도 16은 2프레임째 이후에 있어서의 루프 필터(6)의 처리 내용을 나타내는 흐름도이다.
또, 이미 부호화되어 있는 프레임에서 사용된 위너 필터의 참조 방법으로서는, 예를 들면, 하기에 나타내는 바와 같은 참조 방법을 생각할 수 있다.
(1) 필터링 처리 대상 블록 중에서 산출한 임의의 대표적인 움직임 벡터가 지시하는 위치의 블록으로 사용된 위너 필터
(2) 필터링 처리 대상 블록과 시간적으로 제일 가까운 프레임에서의 동일 위치의 블록에서 사용된 위너 필터
(3) 부호화되어 있는 프레임 내의 블록 중, 상호 상관 계수가 가장 높은 블록에서 사용된 위너 필터
(3)의 경우, 화상 부호화 장치 및 화상 복호 장치에서, 동일한 블록 탐색 처리가 필요하다.
본 실시 형태 4의 경우, 위너 필터의 선택권이 증가하기 때문에, 상기 실시 형태 2보다, 최적인 위너 필터가 선택될 확률이 향상된다.
또, 위너 필터의 선택 방법은 상기 실시 형태 2와 동일하기 때문에 설명을 생략한다.
또한, 화상 복호 장치의 처리 내용에 대해서도, 상기 실시 형태 2와 동일하기 때문에 설명을 생략한다.
(산업상의 이용 가능성)
본 발명과 관련되는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법은, 화상 품질의 개선 정밀도를 높일 수 있고, 화상을 압축 부호화하여 전송하는 화상 부호화 장치 및 화상 부호화 방법, 화상 부호화 장치에 의해 전송된 부호화 데이터로부터 화상을 복호하는 화상 복호 장치 및 화상 복호 방법 등에 이용하는데 적합하다.

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 입력 부호화 비트 스트림을 가변 길이 복호하여, 예측 신호 생성용 파라미터와, 압축되어 있는 차분 화상과, 클래스마다의 필터를 얻는 가변 길이 복호 수단과,
    상기 예측 신호 생성용 파라미터를 이용하여 생성된 예측 화상과, 상기 압축되어 있는 차분 화상을 복호한 차분 화상을 가산하여 얻어진 복호 화상에 필터링 처리를 실시하는 필터링 수단
    을 구비하되,
    상기 필터링 수단은, 상기 복호 화상을 구성하고 있는 화소마다 클래스를 결정하고, 결정된 각 클래스에 대응하는 각 필터에 근거하여 상기 복호 화상에 필터링 처리를 행하는 것
    을 특징으로 하는 화상 복호 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 가변 길이 복호 수단이, 입력 부호화 비트 스트림을 가변 길이 복호하여, 예측 신호 생성용 파라미터와, 압축되어 있는 차분 화상과, 클래스마다의 필터를 얻는 가변 길이 복호 스텝과,
    필터링 수단이, 상기 예측 신호 생성용 파라미터를 이용하여 생성된 예측 화상과, 상기 압축되어 있는 차분 화상을 복호한 차분 화상을 가산하여 얻어진 복호 화상에 필터링 처리를 실시하는 필터링 처리 스텝
    을 구비하되,
    상기 필터링 처리 스텝은, 상기 필터링 수단이 상기 복호 화상을 구성하고 있는 화소마다 클래스를 결정하고, 결정된 각 클래스에 대응하는 각 필터에 근거하여 상기 복호 화상에 필터링 처리를 행하는 것
    을 특징으로 하는 화상 복호 방법.
  12. 삭제
KR1020127001478A 2009-06-19 2010-05-25 화상 복호 장치 및 화상 복호 방법 KR101351709B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-146350 2009-06-19
JP2009146350 2009-06-19
PCT/JP2010/003492 WO2010146771A1 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Publications (2)

Publication Number Publication Date
KR20120061797A KR20120061797A (ko) 2012-06-13
KR101351709B1 true KR101351709B1 (ko) 2014-01-16

Family

ID=43356106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127001478A KR101351709B1 (ko) 2009-06-19 2010-05-25 화상 복호 장치 및 화상 복호 방법

Country Status (13)

Country Link
US (2) US20120087595A1 (ko)
EP (1) EP2445216A4 (ko)
JP (1) JP5528445B2 (ko)
KR (1) KR101351709B1 (ko)
CN (5) CN104506877B (ko)
BR (1) BRPI1015984A2 (ko)
CA (1) CA2764868A1 (ko)
HK (5) HK1207926A1 (ko)
MX (1) MX2011013861A (ko)
RU (7) RU2510592C2 (ko)
SG (5) SG10201910966SA (ko)
WO (1) WO2010146771A1 (ko)
ZA (1) ZA201109488B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5627507B2 (ja) * 2011-01-12 2014-11-19 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
HUE042699T2 (hu) * 2011-04-21 2019-07-29 Hfi Innovation Inc Eljárás és készülék továbbfejlesztett hurokszûréshez
WO2012177015A2 (ko) * 2011-06-20 2012-12-27 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
JP5653307B2 (ja) * 2011-06-27 2015-01-14 日本電信電話株式会社 画像符号化方法，画像符号化装置およびそのプログラム
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
WO2013010248A1 (en) 2011-07-21 2013-01-24 Research In Motion Adaptive filtering based on pattern information
CN102316324B (zh) * 2011-08-24 2013-08-21 北京航空航天大学 一种基于局部最小熵的图像编码预测方法
JP2013093662A (ja) * 2011-10-24 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
EP2825998A4 (en) * 2012-03-16 2015-08-12 Hewlett Packard Development Co IMAGE CLASSIFICATION
SG10201808973XA (en) * 2012-04-13 2018-11-29 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method
US9277222B2 (en) 2012-05-14 2016-03-01 Qualcomm Incorporated Unified fractional search and motion compensation architecture across multiple video standards
FR2996093A1 (fr) * 2012-09-27 2014-03-28 France Telecom Procede de codage et decodage d'images, dispositifs de codage et decodage et programmes d'ordinateur correspondants
WO2014155471A1 (ja) * 2013-03-25 2014-10-02 日立マクセル株式会社 符号化方法および符号化装置
GB2540440A (en) * 2013-06-04 2017-01-18 Mitsubishi Electric Corp Image encoding device, image analysis device, image encoding method and image analysis method
JP6087739B2 (ja) * 2013-06-07 2017-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP6037521B2 (ja) * 2015-07-02 2016-12-07 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JPWO2017191749A1 (ja) * 2016-05-02 2019-03-07 ソニー株式会社 画像処理装置及び画像処理方法
JP6977719B2 (ja) * 2016-05-02 2021-12-08 ソニーグループ株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN114520915A (zh) * 2017-01-12 2022-05-20 索尼公司 图像处理装置、图像处理方法和计算机可读记录介质
US20210297687A1 (en) * 2017-03-15 2021-09-23 Sony Corporation Encoding apparatus, encoding method, decoding apparatus, and decoding method
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US11423578B2 (en) 2017-09-27 2022-08-23 Sony Corporation Encoding device, encoding method, decoding device, and decoding method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761154B2 (ja) * 1989-10-13 1995-06-28 松下電器産業株式会社 動き補償予測フレーム間符号化装置
JP2868342B2 (ja) * 1991-08-23 1999-03-10 日本電気株式会社 フレーム間予測符号化装置のループ内フィルタ制御方式
US5299174A (en) * 1992-04-10 1994-03-29 Diasonics, Inc. Automatic clutter elimination
JP3326670B2 (ja) * 1995-08-02 2002-09-24 ソニー株式会社 データ符号化／復号化方法および装置、および符号化データ記録媒体
RU2093968C1 (ru) * 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
WO1998027720A1 (en) * 1996-12-18 1998-06-25 Thomson Consumer Electronics, Inc. A multiple format video signal processor
JPH11161782A (ja) * 1997-11-27 1999-06-18 Seiko Epson Corp カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置
DE69942224D1 (de) * 1998-01-27 2010-05-20 Sharp Kk Bewegtbilddecoder
JP3132456B2 (ja) * 1998-03-05 2001-02-05 日本電気株式会社 階層的画像符号化方式、及び階層的画像復号方式
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
US6804294B1 (en) * 1998-08-11 2004-10-12 Lucent Technologies Inc. Method and apparatus for video frame selection for improved coding quality at low bit-rates
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP4230636B2 (ja) * 2000-02-29 2009-02-25 株式会社東芝 動画像再生方法および動画像再生装置
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
EP2293579B1 (en) * 2001-09-12 2012-01-25 Panasonic Corporation Picture coding method
CA2433455C (en) * 2001-11-29 2012-03-06 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7436890B2 (en) * 2002-06-05 2008-10-14 Kddi R&D Laboratories, Inc. Quantization control system for video coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
JP4123356B2 (ja) * 2002-11-13 2008-07-23 富士ゼロックス株式会社 画像処理装置、画像処理プログラム、記憶媒体
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7346224B2 (en) * 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
EP2096873A3 (en) * 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
JP4850475B2 (ja) * 2004-10-14 2012-01-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 画像中の画素をフィルタリングする方法
WO2006043414A1 (ja) * 2004-10-19 2006-04-27 Megachips Lsi Solutions Inc. 画像処理方法及び画像処理装置
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
KR100670495B1 (ko) * 2004-12-20 2007-01-16 엘지전자 주식회사 동영상 압축 부호화 장치 및 방법
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US20070070427A1 (en) * 2005-08-18 2007-03-29 Lexmark International, Inc. Systems and methods for selective dithering using pixel classification
JP2007067625A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd カメラシステムにおけるフィルタ補正回路
JP2007129369A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
TW200727598A (en) * 2005-11-18 2007-07-16 Sony Corp Encoding/decoding device/method and the transmission system
CN101336550B (zh) * 2006-02-06 2011-06-15 松下电器产业株式会社 图像解码装置和图像解码方法
JP2007336075A (ja) * 2006-06-13 2007-12-27 Victor Co Of Japan Ltd ブロック歪み低減装置
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8139891B2 (en) * 2006-11-03 2012-03-20 Siemens Aktiengesellschaft System and method for structure enhancement and noise reduction in medical images
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
US8509316B2 (en) * 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009041843A1 (en) * 2007-09-28 2009-04-02 Vsevolod Yurievich Mokrushin Method of encoding digital signals (variants), method of decoding digital signals (variants), device for implementation thereof (variants), and system for image transmission via limited throughput communication channels (variants)
US8170121B2 (en) * 2007-11-13 2012-05-01 Harmonic Inc. H.264/AVC based approach to scalable video compression
US8638852B2 (en) * 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
JP5035029B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering

Also Published As

Publication number Publication date
CN104506877B (zh) 2018-01-19
ZA201109488B (en) 2013-03-27
HK1207926A1 (en) 2016-02-12
MX2011013861A (es) 2012-02-13
US20120087595A1 (en) 2012-04-12
HK1178355A1 (zh) 2013-09-06
HK1210556A1 (en) 2016-04-22
CN104639942A (zh) 2015-05-20
HK1207931A1 (en) 2016-03-24
HK1224111A1 (zh) 2017-08-11
RU2510592C2 (ru) 2014-03-27
CN105872541B (zh) 2019-05-14
US20150043630A1 (en) 2015-02-12
EP2445216A4 (en) 2013-03-20
KR20120061797A (ko) 2012-06-13
CN104539956B (zh) 2018-11-06
CN102804781B (zh) 2016-06-29
SG10201403250WA (en) 2014-10-30
RU2627104C2 (ru) 2017-08-03
JP5528445B2 (ja) 2014-06-25
SG176827A1 (en) 2012-01-30
CN104506877A (zh) 2015-04-08
CN102804781A (zh) 2012-11-28
RU2714100C1 (ru) 2020-02-11
BRPI1015984A2 (pt) 2016-04-19
CN104539956A (zh) 2015-04-22
SG10201809929SA (en) 2018-12-28
RU2685981C1 (ru) 2019-04-23
SG10202012742QA (en) 2021-01-28
JPWO2010146771A1 (ja) 2012-11-29
RU2015124155A (ru) 2017-01-10
CN105872541A (zh) 2016-08-17
RU2013151253A (ru) 2015-05-27
CA2764868A1 (en) 2010-12-23
RU2702052C1 (ru) 2019-10-03
RU2557768C2 (ru) 2015-07-27
CN104639942B (zh) 2018-10-02
RU2666328C1 (ru) 2018-09-06
SG10201910966SA (en) 2020-01-30
RU2012101781A (ru) 2013-07-27
WO2010146771A1 (ja) 2010-12-23
EP2445216A1 (en) 2012-04-25

Similar Documents

Publication Publication Date Title
KR101351709B1 (ko) 화상 복호 장치 및 화상 복호 방법
US11375240B2 (en) Video coding using constructed reference frames
US11575906B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
JP4334533B2 (ja) 動画像符号化／復号化方法および装置
WO2013108684A1 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法
KR20100099723A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
US20070160298A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP7449690B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 7