JPWO2010146771A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
JPWO2010146771A1
JPWO2010146771A1 JP2011519507A JP2011519507A JPWO2010146771A1 JP WO2010146771 A1 JPWO2010146771 A1 JP WO2010146771A1 JP 2011519507 A JP2011519507 A JP 2011519507A JP 2011519507 A JP2011519507 A JP 2011519507A JP WO2010146771 A1 JPWO2010146771 A1 JP WO2010146771A1
Authority
JP
Japan
Prior art keywords
image
filter
prediction
unit
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011519507A
Other languages
English (en)
Other versions
JP5528445B2 (ja
Inventor
彰 峯澤
彰 峯澤
関口　俊一
俊一 関口
杉本　和夫
和夫 杉本
裕介 伊谷
裕介 伊谷
守屋　芳美
芳美 守屋
憲道 日和佐
憲道 日和佐
秀一 山岸
秀一 山岸
山田　悦久
悦久 山田
嘉明 加藤
嘉明 加藤
浅井　光太郎
光太郎 浅井
村上　篤道
篤道 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43356106&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPWO2010146771(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011519507A priority Critical patent/JP5528445B2/ja
Publication of JPWO2010146771A1 publication Critical patent/JPWO2010146771A1/ja
Application granted granted Critical
Publication of JP5528445B2 publication Critical patent/JP5528445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部１２と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と復号画像信号との間の二乗誤差和を最小化するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部１３とからループフィルタ６が構成されている。

Description

この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
そのため、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。
ここで、図１７は非特許文献１に開示されている画像符号化装置を示す構成図である。
この画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測誤差信号を算出する。
特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測誤差信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。
加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。
可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定して、ブロック境界に発生する歪みの低減を図っている。
これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
一方、非特許文献１に開示されている方式では、高圧縮率で符号化する程、信号の高周波成分が失われてしまい、画面全体が過度に平滑化されて映像がぼやけてしまうという問題がある。
この問題を解決するために、非特許文献２には、ループフィルタ１０６としてウィーナフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）を適用し、原画像信号である符号化対象の画像信号と、これに対応する参照画像信号との二乗誤差歪みが最小化するように、ループフィルタ１０６を構成する技術が提案されている。
図１８は非特許文献２に開示されている画像符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を示す説明図である。
図１８において、信号ｓは、図１７のブロック分割部１０１に入力される符号化対象の画像信号に相当する信号であり、信号ｓ’は、図１７の加算器１０５から出力される局所復号画像信号、または、非特許文献１におけるループフィルタ１０６によるブロック境界に発生する歪みが低減された局所復号画像信号に相当する信号である。
つまり、信号ｓ’は、信号ｓに符号化歪み（雑音）ｅが重畳された信号である。
ウィーナフィルタは、この符号化歪み（雑音）ｅを二乗誤差歪みの規範で最小化するように、信号ｓ’に対して施されるフィルタとして定義され、一般的に、信号ｓ’の自己相関行列Ｒs's'と、信号ｓ，ｓ’の相互相関行列Ｒss'とによって、下記の式（１）からフィルタ係数ｗを求めることができる。行列Ｒs's'，Ｒss'の大きさは、求められるフィルタのタップ数に対応する。

Figure 2010146771
フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、参照画像信号に相当する信号として得られる。
なお、非特許文献２では、複数種類のタップ数のフィルタ係数ｗを符号化対象の画像のフレーム全体で求め、フィルタ係数ｗの符号量とフィルタ処理実施後の歪み（ｅ’＝ｓハット−ｓ）がレート歪み規範で最適となるタップ数のフィルタを特定した後、さらに、信号ｓ’を複数サイズのブロックに分割し、上記で求めた最適なタップ数のウィーナフィルタをブロック毎に適用するか否かの選択を行って、フィルタＯＮ／ＯＦＦの情報をブロック毎に伝送する。
これにより、ウィーナフィルタ処理に要する追加の符号量を抑制して、予測画像品質を改善することができる。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, ITU-T SG16/Q.6 meeting, July 2008
従来の画像符号化装置は以上のように構成されているので、符号化対象の画像のフレーム全体で１つのウィーナフィルタが設計され、そのフレームを構成している複数のブロックに対して、それぞれウィーナフィルタ処理を適用するか否かが適用される。しかし、いずれのブロックでも、同じウィーナフィルタが適用されるので、そのウィーナフィルタが当該ブロックに対して最適なフィルタであるとは限らず、画像品質を十分に改善することができないことがある課題があった。
この発明は上記のような課題を解決するためになされたもので、画像品質の改善精度を高めることができる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を得ることを目的とする。
この発明に係る画像符号化装置は、局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における入力画像と局所復号画像との間の誤差を最小化するフィルタを生成し、そのフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部とからフィルタリング手段が構成されているものである。
この発明によれば、局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における入力画像と局所復号画像との間の誤差を最小化するフィルタを生成し、そのフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部とからフィルタリング手段が構成されているので、画像品質の改善精度を高めることができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置のループフィルタ６を示す構成図である。 この発明の実施の形態１による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。 局所復号画像を構成している４つの領域（領域Ａ，領域Ｂ，領域Ｃ，領域Ｄ）が割り当てられているクラスの一例を示す説明図である。 局所復号画像を構成している１６個のブロック（Ｋ）を示す説明図である。 可変長符号化部８により生成されるビットストリームの一例を示す説明図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置のループフィルタ２５を示す構成図である。 この発明の実施の形態１による画像復号装置のループフィルタ２５を示す構成図である。 この発明の実施の形態１による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。 この発明の実施の形態２による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。 局所復号画像を構成している複数のブロック（Ｋ）におけるウィーナフィルタの選択例を示す説明図である。 この発明の実施の形態２による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。 この発明の実施の形態３による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。 １フレーム目におけるループフィルタ６の処理内容を示すフローチャートである。 ２フレーム目以降におけるループフィルタ６の処理内容を示すフローチャートである。 非特許文献１に開示されている画像符号化装置を示す構成図である。 ウィーナフィルタによる参照画像信号の品質改善の原理を示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像である符号化対象の画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部２に出力する処理を実施する。
予測部２はブロック分割部１から分割画像信号を受けると、その分割画像信号をフレーム内又はフレーム間で予測して予測信号を生成する。
特にフレーム間で動き補償予測を実施する場合、その分割画像信号とメモリ７により格納されている参照画像を示す参照画像信号からマクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを検出して、その動きベクトルと参照画像信号から予測画像を示す予測信号を生成する。
そして、予測信号を生成後、その分割画像信号と予測信号の差分である予測誤差信号を算出する処理を実施する。
また、予測部２は予測信号を生成する際に予測信号生成用パラメータを決定し、その予測信号生成用パラメータを可変長符号化部８に出力する。
予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
なお、ブロック分割部１及び予測部２から予測処理手段が構成されている。
圧縮部３は予測部２により算出された予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する処理を実施する。なお、圧縮部３は差分画像圧縮手段を構成している。
局所復号部４は圧縮部３から出力された圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
加算器５は局所復号部４により算出された予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
なお、局所復号部４及び加算器５から局所復号手段が構成されている。
ループフィルタ６は加算器５により生成された局所復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力するとともに、フィルタ処理を実施する際に用いるフィルタの情報を可変長符号化部８に出力する処理を実施する。なお、ループフィルタ６はフィルタリング手段を構成している。
メモリ７はループフィルタ６から出力された参照画像信号を格納する記録媒体である。
可変長符号化部８は圧縮部３から出力された圧縮データ、ループフィルタ６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成する処理を実施する。なお、可変長符号化部８は可変長符号化手段を構成している。
図２はこの発明の実施の形態１による画像符号化装置のループフィルタ６を示す構成図である。
図２において、フレームメモリ１１は加算器５により生成された局所復号画像信号を１フレーム分だけ格納する記録媒体である。
領域分類部１２はフレームメモリ１１により格納されている１フレーム分の局所復号画像信号が示す局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する処理を実施する。
フィルタ設計・処理部１３は局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償する処理を実施する。
また、フィルタ設計・処理部１３はウィーナフィルタに関するフィルタ情報を可変長符号化部８に出力する処理を実施する。
次に動作について説明する。
ブロック分割部１は、符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部２に出力する。
予測部２は、ブロック分割部１から分割画像信号を受けると、その分割画像信号をフレーム内又はフレーム間で予測するための予測信号生成用パラメータを検出する。その後、予測信号生成用パラメータを用いて予測画像を示す予測信号を生成する。
特にフレーム間で予測するための予測信号生成用パラメータである動きベクトルは、分割画像信号とメモリ７により格納されている参照画像信号から検出する。
そして、予測部２は、動きベクトルを検出すると、その動きベクトルを用いて、その参照画像信号に対する動き補償予測を実施することで予測信号を生成する。
予測部２は、予測画像を示す予測信号を生成すると、その予測信号と分割画像信号の差分である予測誤差信号を算出し、その予測誤差信号を圧縮部３に出力する。
また、予測部２は、その予測信号を生成する際に予測信号生成用パラメータを決定し、その予測信号生成用パラメータを可変長符号化部８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
圧縮部３は、予測部２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出して、そのＤＣＴ係数を量子化する。
そして、圧縮部３は、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する。
局所復号部４は、圧縮部３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する。
加算器５は、局所復号部４が予測誤差信号を算出すると、その予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する。
ループフィルタ６は、加算器５が局所復号画像信号を生成すると、その局所復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に格納する。
また、ループフィルタ６は、フィルタ処理を実施する際に用いるフィルタの情報を可変長符号化部８に出力する。
可変長符号化部８は、圧縮部３から出力された圧縮データ、ループフィルタ６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成する処理を実施する。
ここでは、予測信号生成用パラメータもエントロピー符号化しているが、予測信号生成用パラメータはエントロピー符号化せずに、その予測信号生成用パラメータを生成したビットストリームに多重化して出力するようにしてもよい。
以下、ループフィルタ６の処理内容を具体的に説明する。
図３はこの発明の実施の形態１による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。
まず、ループフィルタ６のフレームメモリ１１は、加算器５により生成された局所復号画像信号を１フレーム分だけ格納する。
領域分類部１２は、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号が示す局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する（ステップＳＴ１）。
例えば、ある領域（任意のサイズ（Ｍ×Ｍ画素）のブロック）毎に、当該領域内の局所復号画像信号の分散値、ＤＣＴ係数、動きベクトル、ＤＣＴ係数の量子化パラメータ等を特徴量として抽出し、これらの情報を基にクラス分類を実施する。Ｍは１以上の整数である。
複数の領域をクラス１〜クラスＮ（Ｎは１以上の整数である）のいずれかに割り当てる場合において、例えば、特徴量として、当該領域内の局所復号画像信号の分散値を用いる場合、予めＮ−１個の閾値を用意し、その局所復号画像信号の分散値とＮ−１個の閾値（ｔｈ１＜ｔｈ２＜・・・＜ｔｈＮ−１）を比較して、当該領域が属するクラスを分類する。
例えば、局所復号画像信号の分散値がｔｈＮ−３以上かつｔｈＮ−２より小さい場合、当該領域をクラスＮ−２に割り当て、局所復号画像信号の分散値がｔｈ２以上かつｔｈ３より小さい場合、当該領域をクラス３に割り当てる。
ここでは、予めＮ−１個の閾値を用意しているものを示したが、シーケンス毎やフレーム毎に、それらの閾値を動的に変化させるようにしてもよい。
例えば、特徴量として、当該領域内の動きベクトルを用いる場合、その動きベクトルの平均ベクトル又は中間ベクトルを算出し、そのベクトルの大きさ又は方向に応じて、当該領域が属するクラスを分類する。
ここで、平均ベクトルは、動きベクトルの成分（ｘ成分、ｙ成分）毎に平均値を取ったものをベクトルの成分とするものである。
また、中間ベクトルは、動きベクトルの成分（ｘ成分、ｙ成分）毎に中間値を取ったものをベクトルの成分とするものである。
フィルタ設計・処理部１３は、領域分類部１２が複数の領域をクラス１〜クラスＮのいずれかに割り当てると、局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成する（ステップＳＴ２〜ＳＴ８）。
例えば、図４に示すように、局所復号画像が４つの領域（領域Ａ，領域Ｂ，領域Ｃ，領域Ｄ）で構成されている場合において、領域Ａ，領域Ｃがクラス３に割り当てられ、領域Ｂがクラス５に割り当てられ、領域Ｄがクラス６に割り当てられていれば、クラス３に属している領域Ａ，領域Ｃにおける符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成する。
また、クラス５に属している領域Ｂにおける符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成し、クラス６に属している領域Ｄにおける符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成する。
なお、フィルタ設計・処理部１３は、誤差を最小化するウィーナフィルタを生成するに際して、例えば、様々なタップ数でフィルタ設計した場合、それぞれに対して下記に示すようなコストを算出し、そのコストが最小となるフィルタのタップ数及び係数値を決定する。
コスト＝Ｄ＋λ・Ｒ （２）
ただし、Ｄは対象となるフィルタを適用する領域内における符号化対象の画像信号と、フィルタ処理後の局所復号画像信号間の二乗誤差和、λは定数、Ｒはループフィルタ６で発生する符号量である。
ここでは、コストを式（２）で表しているが、これは一例に過ぎず、例えば、二乗誤差和Ｄだけをコストとしてもよい。
また、二乗誤差和Ｄではなく、誤差の絶対値和などの他の評価値であってもよい。
フィルタ設計・処理部１３は、１つ以上の領域が属しているクラス毎に、ウィーナフィルタを生成すると、局所復号画像を構成している複数のブロック（例えば、局所復号画像を構成している領域Ａ〜Ｄより小さい局所的な領域）に対して、各ブロックそれぞれフィルタ処理を実施するブロックであるか否かを決定する（ステップＳＴ９〜ＳＴ１６）。
即ち、フィルタ設計・処理部１３は、局所復号画像を構成している複数のブロックに対して、各ブロックそれぞれブロック内の符号化対象の画像信号と局所復号画像信号との間の誤差をフィルタ処理の前後で比較する。
例えば、図５に示すように、局所復号画像が１６個のブロック（Ｋ）（Ｋ＝１，２，・・・１６）で構成されている場合、ブロック毎にそれぞれ、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和をフィルタ処理の前後で比較する。
なお、図５のブロック１、ブロック２、ブロック５、ブロック６が図４の領域Ａに、ブロック３、ブロック４、ブロック７、ブロック８が領域Ｂに、ブロック９、ブロック１０、ブロック１３、ブロック１４が領域Ｃに、ブロック１１、ブロック１２、ブロック１５、ブロック１６が領域Ｄに対応している。
ここでは、二乗誤差和をフィルタ処理の前後で比較しているが、式（２）に示すコスト（Ｄ＋λ・Ｒ）をフィルタ処理の前後で比較してもよいし、誤差の絶対値和をフィルタ処理の前後で比較してもよい。
フィルタ設計・処理部１３は、フィルタ処理後の二乗誤差和がフィルタ処理前の二乗誤差和より小さければ、当該ブロック（Ｋ）は、フィルタ処理を実施するブロックであるものと決定する。
一方、フィルタ処理後の二乗誤差和がフィルタ処理前の二乗誤差和より大きければ、当該ブロック（Ｋ）は、フィルタ処理を実施しないブロックであるものと決定する。
そして、フィルタ設計・処理部１３は、ステップＳＴ１〜ＳＴ１６でコストが最小となった場合のフィルタ処理を実施した場合と、当該フレーム全体でフィルタ処理を実施しない場合とのコストを算出し、当該フレーム全体でフィルタ処理を行うか否かを決定する（ステップＳＴ１７〜ＳＴ１８）。
ステップＳＴ１８でフィルタ処理を行うと決定したフレームでは、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）にして、ステップＳＴ１〜ＳＴ１６でコストが最小となった場合のフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する（ステップＳＴ１９〜ＳＴ２０）。
例えば、当該ブロック（Ｋ）を包含している領域が領域Ｂであり、領域Ｂが属しているクラスがクラス５であれば、クラス５のウィーナフィルタを用いて、当該ブロック（Ｋ）におけるフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する。
このとき、ステップＳＴ１〜ＳＴ１６でコストが最小となるのがブロック毎にフィルタ処理するか否かの選択を行う処理を実施した場合である時（フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）の時）、フィルタ処理を実施しないと決定したブロック（Ｋ）については、当該ブロック（Ｋ）におけるフィルタ処理を実施せずに、フィルタ処理前の局所復号画像信号をそのまま参照画像信号としてメモリ７に出力する。一方、ステップＳＴ１〜ＳＴ１６でコストが最小となるのがブロック毎にフィルタ処理するか否かの選択を行う処理を実施しない場合である時（フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）の時）、フレーム内の全ての局所復号画像信号に対してそれぞれの信号が属している領域の属するクラスのウィーナフィルタを用いてそれぞれフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する。
また、ステップＳＴ１８でフィルタ処理を行わないと決定したフレームでは、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）にして、フィルタ処理前の局所復号画像信号をそのまま参照画像信号としてメモリ７に出力する（ステップＳＴ２１〜ＳＴ２２）。
フローチャートにおけるステップＳＴ２〜ＳＴ２２において、“ｍｉｎ＿ｃｏｓｔ”はコストの最小値を保存する変数、“ｉ”はフィルタタップ数ｔａｐ［ｉ］のインデックス及びループカウンタ、“ｊ”はブロックサイズｂｌ＿ｓｉｚｅ［ｊ］のインデックス及びループカウンタである。
また、“ｍｉｎ＿ｔａｐ＿ｉｄｘ”はコストが最小となるときのフィルタタップ数のインデックス（ｉ）、“ｍｉｎ＿ｂｌ＿ｓｉｚｅ＿ｉｄｘ”はコストが最小となるときのブロックサイズのインデックス（ｊ）である。
また、“ＭＡＸ”はコスト最小値の初期値（十分大きな値）である。
・ｔａｐ［ｉ］（ｉ＝０〜Ｎ１）
予め決められている選択可能なＮ１（Ｎ１≧１）種類のフィルタタップ数を格納している配列。
・ｂｌ＿ｓｉｚｅ［ｊ］（ｊ＝０〜Ｎ２）
予め決められている選択可能なＮ２（Ｎ２≧１）種類のブロックサイズ（ｂｌ＿ｓｉｚｅ［ｊ］×ｂｌ＿ｓｉｚｅ［ｊ］画素）を格納している配列。
・ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ
当該フレームでブロック毎にフィルタ処理を行うか否かを選択する処理を実施するか否かを示すフラグ。
・ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ
当該フレームでフィルタ処理を行うか否かを示すフラグ。
なお、ステップＳＴ２は、初期値を設定するステップであり、ステップＳＴ３〜ＳＴ８は、フィルタタップ数の選択処理を行うループである。
また、ステップＳＴ９は、初期値を設定するステップであり、ステップＳＴ１０〜ＳＴ１６は、ブロックサイズの選択処理及び選択したブロックサイズのブロック毎にフィルタ処理するか否かを決定する処理を行うループである。
さらに、ステップＳＴ１７〜ＳＴ１８は、当該フレーム全体でフィルタ処理を行うか否かを決定するステップであり、ステップＳＴ１９〜ＳＴ２０は、ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ＝１（ＯＮ）にして、ステップＳＴ１〜ＳＴ１６で決定した最適なフィルタ処理を行うステップであり、ステップＳＴ２１〜ＳＴ２２は、ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ＝０（ＯＦＦ）にして、当該フレームでフィルタ処理を行わないステップである。
フィルタ設計・処理部１３は、上記のようにして、ウィーナフィルタを生成して、フィルタ処理を実施すると、そのウィーナフィルタに関するフィルタ情報を可変長符号化部８に出力する。
フィルタ情報には、当該フレームでフィルタ処理を行うか否かを示すフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が含まれている。
このフラグがＯＮ（フィルタ処理を行う）である場合、以下に示す情報がフィルタ情報として含まれる。
（１）ウィーナフィルタの数（１つ以上の領域が属しているクラスの数）
・ウィーナフィルタの数は、フレーム毎に異なっていてもよい。
（２）ウィーナフィルタのタップ数の情報（インデックス）
・フレーム内の全てのフィルタで共通である場合、共通のタップ数が含まれる。
・フィルタ毎に、タップ数が異なる場合、それぞれのフィルタのタップ数が含まれる。
（３）実際に使用されたウィーナフィルタ（１つ以上の領域が属しているクラスのウィーナフィルタ）の係数の情報
・生成されても実際に使用されていないウィーナフィルタに関する情報は含まれない。
（４）ブロック毎のフィルタのＯＮ／ＯＦＦ情報及びブロックサイズ情報
・当該フレームでブロック毎のＯＮ／ＯＦＦ（フィルタ処理の有無）を行うか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）。
・ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇがＯＮである場合に限り、ブロックサイズ情報（インデックス）及びブロック毎のフィルタ処理のＯＮ／ＯＦＦ情報が含まれる。
ここでは、（１）〜（４）の情報がフィルタ情報として含まれるものとして示したが、ウィーナフィルタの数、ウィーナフィルタのタップ数、ＯＮ／ＯＦＦのブロックサイズについては符号化して送信せずに、画像符号化装置及び画像復号装置で共通に定められている情報として、それぞれが保持しているようにしてもよい。
また、これまでの説明では図３をループフィルタ６の具体的な処理内容として説明を行ったが、ステップＳＴ９〜ＳＴ１６を省略してブロック毎にフィルタ処理のＯＮ／ＯＦＦを行わない（フィルタ情報として（４）がない）ものをループフィルタ６の処理内容としてもよい。
フィルタ設計・処理部１３から出力されたフィルタ情報は、上述したように、可変長符号化部８によりエントロピー符号化されて画像復号装置に送信される。
図６は可変長符号化部８により生成されるビットストリームの一例を示す説明図である。
図７はこの発明の実施の形態１による画像復号装置を示す構成図である。
図７において、可変長復号部２１は画像符号化装置からビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号する処理を実施する。なお、可変長復号部２１は可変長復号手段を構成している。
予測部２２は可変長復号部２１により可変長復号された予測信号生成用パラメータを用いて予測画像を示す予測信号を生成する処理を実施する。特に動きベクトルが予測信号生成用パラメータとして用いられる場合は、その動きベクトルとメモリ２６により格納されている参照画像信号から予測信号を生成する処理を実施する。なお、予測部２２は予測画像生成手段を構成している。
予測誤差復号部２３は可変長復号部２１により可変長復号された圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、図１の予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
加算器２４は予測誤差復号部２３により算出された予測誤差信号と予測部２２により生成された予測信号を加算することで、図１の加算器５から出力された復号画像信号に相当する復号画像信号を算出する処理を実施する。
なお、予測誤差復号部２３及び加算器２４から復号手段が構成されている。
ループフィルタ２５は加算器２４から出力された復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像信号を、フィルタ処理済み復号画像信号として外部及びメモリ２６に出力する処理を実施する。なお、ループフィルタ２５はフィルタリング手段を構成している。
メモリ２６はループフィルタ２５から出力されたフィルタ処理済み復号画像信号を参照画像信号として格納する記録媒体である。
図８はこの発明の実施の形態１による画像復号装置のループフィルタ２５を示す構成図である。
図８において、フレームメモリ３１は加算器２４から出力された復号画像信号を１フレーム分だけ格納する記録媒体である。
領域分類部３２は図２の領域分類部１２と同様に、フレームメモリ３１により格納されている１フレーム分の復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する処理を実施する。
フィルタ処理部３３は可変長復号部２１により可変長復号されたフィルタ情報を参照して、領域分類部３２により分類された各領域が属するクラスに適用するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償する処理を実施する。
図８の例では、前段にフレームメモリ３１が実装されているループフィルタ２５を示しているが、マクロブロック単位に閉じたフィルタ処理を行う場合、図９に示すように、前段にフレームメモリ３１を実装せずに、領域分類部３２が当該マクロブロックの復号画像を構成している複数の領域の特徴量をそれぞれ抽出するようにしてもよい。
ただし、その場合は、画像符号化装置でのフィルタ処理でマクロブロック毎に独立可能な処理を実施している必要がある。
次に動作について説明する。
可変長復号部２１は、画像符号化装置からビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号する。
予測部２２は、可変長復号部２１から予測信号生成用パラメータを受けると、その予測信号生成用パラメータから予測信号を生成する。特に予測信号生成用パラメータとして動きベクトルを受けた場合は、その動きベクトルとメモリ２６により格納されている参照画像信号から予測信号を生成する。
予測誤差復号部２３は、可変長復号部２１から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、図１の予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する。
加算器２４は、予測誤差復号部２３が予測誤差信号を算出すると、その予測誤差信号と予測部２２により生成された予測信号を加算することで、図１の加算器５から出力された局所復号画像信号に相当する復号画像信号を算出する。
ループフィルタ２５は、加算器２４から復号画像信号を受けると、その復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像信号を、フィルタ処理済み復号画像信号として外部に出力するとともに参照画像信号としてメモリ２６に格納する。
以下、ループフィルタ２５の処理内容を具体的に説明する。
図１０はこの発明の実施の形態１による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。
まず、ループフィルタ２５のフレームメモリ３１は、加算器２４から出力された復号画像信号を１フレーム分だけ格納する。
領域分類部３２は、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＮ（フィルタ処理を行う）である場合（ステップＳＴ３１）、図２の領域分類部１２と同様に、フレームメモリ３１により格納されている１フレーム分の復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する（ステップＳＴ３２）。
フィルタ処理部３３は、可変長復号部２１からフィルタ情報を受けると、そのフィルタ情報を参照して、領域分類部３２により分類された各領域が属するクラスに適用するウィーナフィルタを生成する（ステップＳＴ３３）。
例えば、ウィーナフィルタの数（１つ以上の領域が属しているクラスの数）がＮ個、ウィーナフィルタのタップ数がＬ×Ｌであり、各ウィーナフィルタの係数値がｗｉ１１，ｗｉ１２，・・・，ｗｉ１Ｌ，・・・，ｗｉＬ１，ｗｉＬ２，・・・，ｗｉＬＬで表される場合、Ｎ個のウィーナフィルタＷｉ（ｉ＝１，２，・・・，Ｎ）は、下記のように表される。

Figure 2010146771
フィルタ処理部３３は、Ｎ個のウィーナフィルタＷｉを生成すると、これらウィーナフィルタを用いて、１フレーム分の復号画像信号に重畳されている歪みを補償し、補償後の復号画像信号をフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ３４）。
ここで、フィルタ処理後の復号画像信号ｓハットは、下記の式（４）で表される。

Figure 2010146771

行列Ｓは、フィルタ処理対象の復号画像信号ｓを含むＬ×Ｌ画素の参照信号群であり、ｉｄ（ｓ）は領域分類部３２により求められる信号ｓを包含する領域が属するクラスの番号（フィルタ番号）である。
ただし、フィルタ処理部３３は、上記フィルタ処理の際にフィルタ情報に含まれているフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）を参照し、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）である場合は、フィルタ情報に含まれているブロックサイズ情報を参照して、復号画像を構成している複数のブロック（Ｋ）を特定した後、フィルタ情報に含まれているブロック（Ｋ）毎のフィルタ処理を行うか否かの情報を参照してフィルタ処理を行う。
即ち、フィルタ処理部３３は、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）である場合は、復号画像を構成している複数のブロックのうち、フィルタ処理を行うブロック（Ｋ）については、当該ブロック（Ｋ）を包含する領域が属するクラスのウィーナフィルタを用いてブロック（Ｋ）内の復号画像信号に対してフィルタ処理を実施するが、フィルタ処理を行わないブロック（Ｋ）についてはフィルタ処理前の復号画像信号をそのままフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する。
一方で、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）の場合には、領域分類部３２により各領域に割り当てられるクラスに対応するフィルタを用いて、当該フレーム内の全ての復号画像信号に対してフィルタ処理を実施する。
フィルタ処理部３３は、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＦＦ（フィルタ処理を行わない）である場合（ステップＳＴ３１）、当該フレームについてはフィルタ処理を実施せずに、加算器２４から出力された復号画像信号をそのままフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ３５）。
以上で明らかなように、この実施の形態１によれば、加算器５から出力された局所復号画像信号が示す局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部１２と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和を最小化するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部１３とからループフィルタ６が構成されているので、画像の局所的な性質に応じたフィルタ処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる画像符号化装置が得られる効果がある。
また、この実施の形態１によれば、加算器２４から出力された復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部３２と、可変長復号部２１により可変長復号されたフィルタ情報を参照して、領域分類部３２により分類された各領域が属するクラスに適用するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ処理部３３とからループフィルタ２５が構成されているので、画像の局所的な性質に応じたフィルタ処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる画像復号装置が得られる効果がある。
実施の形態２．
上記実施の形態１では、フィルタ設計・処理部１３が、１つ以上の領域が属しているクラス毎にウィーナフィルタを生成し、局所復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、当該ブロック（Ｋ）を包含している領域が属しているクラスのウィーナフィルタを用いて、当該ブロック（Ｋ）におけるフィルタ処理を実施するものについて示したが、１つ以上の領域が属しているクラス毎に生成しているウィーナフィルタの中から、各ブロックそれぞれ当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になるウィーナフィルタを選択し、そのウィーナフィルタを用いて、当該ブロック（Ｋ）に重畳されている歪みを補償するようにしてもよい。
具体的には、以下の通りである。
図１１はこの発明の実施の形態２による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。
フィルタ設計・処理部１３は、上記実施の形態１と同様にして、１つ以上の領域が属しているクラス毎にウィーナフィルタを生成する（ステップＳＴ２〜ＳＴ８）。
ただし、この実施の形態２では、ブロック毎にフィルタ処理を行うか否かを選択する処理を当該フレームで実施するか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）を使用せず、当該フレームでブロック毎に使用するフィルタの選択を行うか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）を使用し、ステップＳＴ４０において、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＦＦに初期設定されており、ステップＳＴ４６を実施する場合のみフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮとなる。
なお、後述するように、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮである場合に限り、ブロックサイズ及びブロック毎のフィルタ選択情報がフィルタ情報に含まれる。
フィルタ設計・処理部１３は、１つ以上の領域が属しているクラス毎に、ウィーナフィルタを生成すると、局所復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、１つ以上の領域が属しているクラス毎に生成しているウィーナフィルタの中から一つを選択してフィルタ処理した場合と、フィルタ処理を行わない場合の中から、最適な処理（例えば、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる処理）を選択する（ステップＳＴ９，ＳＴ４１〜ＳＴ４７）。
具体的には、４個のウィーナフィルタＷ１，Ｗ２，Ｗ３，Ｗ４が生成されている場合において、４個のウィーナフィルタをそれぞれ用いてフィルタ処理を実施したとき、ブロック（Ｋ）における二乗誤差和Ｅの大小関係が下記の通りになれば、ブロック（Ｋ）については、二乗誤差和Ｅが最小になるウィーナフィルタＷ３を選択する。
ＥＷ３＜ＥＷ２＜ＥＷ４＜ＥＷ0＜ＥＷ１
ただし、ＥＷ0はフィルタ処理を行わない場合の二乗誤差和Ｅを表している。
ここで、図１２は局所復号画像を構成している複数のブロック（Ｋ）におけるウィーナフィルタの選択例を示す説明図であり、例えば、ブロック（１）では、ウィーナフィルタＷ２が選択され、ブロック（２）では、ウィーナフィルタＷ３が選択されている。
フィルタ設計・処理部１３は、当該フレームに対して、ウィーナフィルタを用いてフィルタ処理を行うと決定した場合は、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）にして、ステップＳＴ１〜ＳＴ９及びＳＴ４０〜ＳＴ４７でコストが最小となった場合のフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する（ステップＳＴ１７〜ＳＴ２０）。
一方、当該フレーム全体でフィルタ処理を行わないと決定した場合（ステップＳＴ１７〜ＳＴ１８）、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）にして、フィルタ処理前の局所復号画像信号をそのまま参照画像信号としてメモリ７に出力する（ステップＳＴ２１〜ＳＴ２２）。
フィルタ設計・処理部１３は、上記のようにして、ウィーナフィルタを生成して、フィルタ処理を実施すると、そのウィーナフィルタに関するフィルタ情報を可変長符号化部８に出力する。
フィルタ情報には、当該フレームでフィルタ処理を行うか否かを示すフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が含まれている。
このフラグがＯＮ（フィルタ処理を行う）である場合、以下に示す情報がフィルタ情報として含まれる。
（１）ウィーナフィルタの数（１つ以上の領域が属しているクラスの数）
・ウィーナフィルタの数は、フレーム毎に異なっていてもよい。
（２）ウィーナフィルタのタップ数の情報（インデックス）
・フレーム内の全てのフィルタで共通である場合、共通のタップ数が含まれる。
・フィルタ毎に、タップ数が異なる場合、それぞれのフィルタのタップ数が含まれる。
（３）実際に使用されたウィーナフィルタ（１つ以上の領域が属しているクラスのウィーナフィルタ）の係数の情報
・生成されても実際に使用されていないウィーナフィルタに関する情報は含まれない。
（４）ブロック毎のフィルタの選択情報及びブロックサイズ情報
・フレーム単位でブロック毎のフィルタの選択を行うか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）。
・ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇがＯＮである場合に限りブロックサイズの情報（インデックス）及びブロック毎の選択情報が含まれる。
ここでは、（１）〜（４）の情報がフィルタ情報として含まれるものとして示したが、ウィーナフィルタの数、ウィーナフィルタのタップ数、ブロックサイズについては符号化して送信せずに、画像符号化装置及び画像復号装置で共通に定められている情報として、それぞれが保持しているようにしてもよい。
画像復号装置におけるループフィルタ２５では、以下の処理内容を実施する。
図１３はこの発明の実施の形態２による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。
まず、ループフィルタ２５のフレームメモリ３１は、加算器２４から出力された復号画像信号を１フレーム分だけ格納する。
領域分類部３２は、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＮ（フィルタ処理を行う）であり（ステップＳＴ３１）、かつ、フィルタ情報に含まれているフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＦＦである場合（ステップＳＴ５１）、上記実施の形態１と同様に、フレームメモリ３１により格納されている１フレーム分の復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する（ステップＳＴ３２）。
一方、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＮ（フィルタ処理を行う）であり（ステップＳＴ３１）、かつ、フィルタ情報に含まれているフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮである場合（ステップＳＴ５１）、フィルタ情報に含まれている情報の内、フィルタの選択単位となるブロックサイズの情報やブロック毎のフィルタ選択情報を参照して、ブロック毎にクラス分類を行う（ステップＳＴ５２）。
フィルタ処理部３３は、領域分類部３２が、各領域（各ブロック）が属するクラスを分類すると、上記実施の形態１と同様に、可変長復号部２１から出力されたフィルタ情報を参照して、領域分類部３２により分類された各領域（各ブロック）が属するクラスに適用するウィーナフィルタを生成する（ステップＳＴ３３）。
フィルタ処理部３３は、各クラスで適用するウィーナフィルタを生成すると、（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＦＦである場合、上記実施の形態１でフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）がＯＦＦである場合と同様に、生成したウィーナフィルタを用いて、当該フレーム内の全ての復号画像信号に対してフィルタ処理を実施し、フィルタ処理後の復号画像信号をフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ５３）。
一方、（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮである場合、フィルタ処理部３３は、各クラスで適用するウィーナフィルタを生成すると、ブロック毎に、選択したウィーナフィルタを用いてブロック内の復号画像信号に重畳されている歪みを補償し、フィルタ処理後の復号画像信号をフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ５３）。
このときの、フィルタ処理後の復号画像信号ｓハットは、下記の式（５）で表される。

Figure 2010146771

行列Ｓは、フィルタ処理対象の復号画像信号ｓを含むＬ×Ｌ画素の参照信号群である。
ｉｄ＿２（ｂｌ）は復号画像信号ｓが含まれるブロックｂｌにおけるフィルタ選択情報、即ちブロックｂｌのクラス番号（フィルタ番号）である。
なお、ｉｄ＿２（ｂｌ）＝０の場合、フィルタ処理を実施しないブロックを表しているものとして、そのブロックのフィルタ処理を実施しない。
以上で明らかなように、この実施の形態２によれば、復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、１つ以上の領域が属しているクラス毎に生成しているウィーナフィルタの中から、当該ブロック（Ｋ）における符号化対象の画像信号と復号画像信号との間の二乗誤差和が最小になるウィーナフィルタを選択し、そのウィーナフィルタを用いて、当該ブロック（Ｋ）に重畳されている歪みを補償するように構成したので、上記実施の形態１よりも更に、画像品質の改善精度を高めることができる効果を奏する。
実施の形態３．
上記実施の形態２では、復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合とフィルタ処理を行わない場合の中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択する手法について示したが、予め１つ以上のウィーナフィルタを用意し、上記予め用意しているウィーナフィルタの内のいずれかを用いた場合と、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合と、フィルタ処理を行わない場合との中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択するようにしてもよい。
図１４はこの発明の実施の形態３による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。
この実施の形態３の場合、ウィーナフィルタの選択肢が増えるため、上記実施の形態２よりも、最適なウィーナフィルタが選択される確率が向上する。
なお、ウィーナフィルタの選択方法は、上記実施の形態２と同様であるため説明を省略する。
また、画像復号装置の処理内容についても、上記実施の形態２と同様であるため説明を省略する。
実施の形態４．
上記実施の形態２では、復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合とフィルタ処理を行わない場合の中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択する手法について示したが、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合と、既に符号化されているフレームで使用されたウィーナフィルタの内のいずれかを用いた場合と、フィルタ処理を行わない場合との中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択するようにしてもよい。
ここで、図１５は１フレーム目におけるループフィルタ６の処理内容を示すフローチャートであり、上記実施の形態２における図１１のフローチャートと同様である。
図１６は２フレーム目以降におけるループフィルタ６の処理内容を示すフローチャートである。
なお、既に符号化されているフレームで使用されたウィーナフィルタの参照方法としては、例えば、下記に示すような参照方法が考えられる。
（１）フィルタ処理対象ブロック内から算出したある代表的な動きベクトルが指し示す位置のブロックで使用されたウィーナフィルタ
（２）フィルタ処理対象ブロックと時間的に一番近いフレームにおける同位置のブロックで使用されたウィーナフィルタ
（３）符号化されているフレーム内のブロックの内、相互相関係数が最も高いブロックで使用されたウィーナフィルタ
（３）の場合、画像符号化装置及び画像復号装置で、同一のブロック探索処理が必要である。
この実施の形態４の場合、ウィーナフィルタの選択肢が増えるため、上記実施の形態２よりも、最適なウィーナフィルタが選択される確率が向上する。
なお、ウィーナフィルタの選択方法は、上記実施の形態２と同様であるため説明を省略する。
また、画像復号装置の処理内容についても、上記実施の形態２と同様であるため説明を省略する。
この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、画像品質の改善精度を高めることができ、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法等に用いるのに適している。

Claims (12)

  1. 入力画像と参照画像から予測信号生成用パラメータを検出して、上記予測信号生成用パラメータと上記参照画像から予測画像を生成するとともに、上記入力画像と上記予測画像の差分画像を算出する予測処理手段と、上記予測処理手段により算出された差分画像を圧縮する差分画像圧縮手段と、上記差分画像圧縮手段により圧縮された差分画像を復号し、復号後の差分画像と上記予測処理手段により生成された予測画像を加算して、局所復号画像を得る局所復号手段と、上記局所復号手段により得られた局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を参照画像として上記予測処理手段に出力するフィルタリング手段と、上記予測処理手段により検出された予測信号生成用パラメータ、上記差分画像圧縮手段により圧縮された差分画像及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタの情報を可変長符号化する可変長符号化手段とを備え、上記フィルタリング手段は、上記局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類部と、上記局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における上記入力画像と上記局所復号画像との間の誤差を最小化するフィルタを生成し、上記フィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部とから構成されていることを特徴とする画像符号化装置。
  2. フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差をフィルタ処理の前後で比較し、フィルタ処理後の誤差がフィルタ処理前の誤差より小さいブロックでは、フィルタ処理を実施してフィルタ処理後の局所復号画像を参照画像として予測処理手段に出力し、フィルタ処理後の誤差がフィルタ処理前の誤差より大きいブロックでは、フィルタ処理を実施せずにフィルタ処理前の局所復号画像を参照画像として上記予測処理手段に出力することを特徴とする請求項１記載の画像符号化装置。
  3. フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、１つ以上の領域が属しているクラス毎に生成しているフィルタの中から、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差が最小になるフィルタを選択し、上記フィルタを用いて、当該ブロックに重畳されている歪みを補償することを特徴とする請求項１記載の画像符号化装置。
  4. フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、１つ以上の領域が属しているクラス毎に生成しているフィルタ及び予め用意されているフィルタの中から、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差が最小になるフィルタを選択し、上記フィルタを用いて、当該ブロックに重畳されている歪みを補償することを特徴とする請求項１記載の画像符号化装置。
  5. フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、１つ以上の領域が属しているクラス毎に生成しているフィルタ及び既に符号化されているフレームで使用されたフィルタの中から、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差が最小になるフィルタを選択し、上記フィルタを用いて、当該ブロックに重畳されている歪みを補償することを特徴とする請求項１記載の画像符号化装置。
  6. ストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタの情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号手段と、上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング手段とを備え、上記フィルタリング手段は、上記復号手段により得られた復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類部と、上記可変長復号手段により可変長復号されたフィルタの情報を参照して、上記領域分類部により分類された各領域が属するクラスに適用するフィルタを生成し、上記フィルタを用いて、上記クラスに属する領域に重畳されている歪みを補償するフィルタ処理部とから構成されていることを特徴とする画像復号装置。
  7. フィルタ処理部は、可変長復号手段によりストリームから復号画像を構成している複数のブロックに係るフィルタ処理の有無を示す情報が可変長復号された場合、上記復号画像を構成している複数のブロックのうち、フィルタ処理が有りのブロックについてはフィルタ処理を実施して、フィルタ処理後の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として予測画像生成手段に出力し、フィルタ処理が無しのブロックについてはフィルタ処理を実施せずに、フィルタ処理前の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力することを特徴とする請求項６記載の画像復号装置。
  8. ストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号手段と、上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング手段とを備え、上記フィルタリング手段は、上記可変長復号手段により可変長復号されたフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を参照して、各小領域に重畳されている歪みを補償するフィルタ処理部から構成されていることを特徴とする画像復号装置。
  9. フィルタ処理部は、可変長復号手段によりストリームから復号画像を構成している複数のブロックに係るフィルタ処理の有無も含めた使用フィルタの選択情報が可変長復号された場合、上記復号画像を構成している複数のブロックのうち、フィルタ処理が有りのブロックについては上記選択情報を基にフィルタ選択及びフィルタ処理を実施して、フィルタ処理後の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として予測画像生成手段に出力し、フィルタ処理が無しのブロックについてはフィルタ処理を実施せずに、フィルタ処理前の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力することを特徴とする請求項８記載の画像復号装置。
  10. 予測処理手段が入力画像と参照画像から予測信号生成用パラメータを検出して、上記予測信号生成用パラメータと上記参照画像から予測画像を生成するとともに、上記入力画像と上記予測画像の差分画像を算出する予測処理ステップと、差分画像圧縮手段が上記予測処理手段により算出された差分画像を圧縮する差分画像圧縮処理ステップと、局所復号手段が上記差分画像圧縮手段により圧縮された差分画像を復号し、復号後の差分画像と上記予測処理手段により生成された予測画像を加算して、局所復号画像を得る局所復号処理ステップと、フィルタリング手段が上記局所復号手段により得られた局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を参照画像として上記予測処理手段に出力するフィルタリング処理ステップと、可変長符号化手段が上記予測処理手段により検出された予測信号生成用パラメータ、上記差分画像圧縮手段により圧縮された差分画像及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタの情報を可変長符号化する可変長符号化処理ステップとを備え、上記フィルタリング手段の領域分類部が上記局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類処理ステップと、上記フィルタリング手段のフィルタ設計・処理部が上記局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における上記入力画像と上記局所復号画像との間の誤差を最小化するフィルタを生成し、上記フィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ処理ステップとを備えていることを特徴とする画像符号化方法。
  11. 可変長復号手段がストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタの情報を可変長復号する可変長復号処理ステップと、予測画像生成手段が上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成処理ステップと、復号手段が上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号処理ステップと、フィルタリング手段が上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング処理ステップとを備え、上記フィルタリング手段の領域分類部が上記復号手段により得られた復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類処理ステップと、上記フィルタリング手段のフィルタ処理部が上記可変長復号手段により可変長復号されたフィルタの情報を参照して、上記領域分類部により分類された各領域が属するクラスに適用するフィルタを生成し、上記フィルタを用いて、上記クラスに属する領域に重畳されている歪みを補償するフィルタ処理ステップとを備えていることを特徴とする画像復号方法。
  12. 可変長復号手段がストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を可変長復号する可変長復号処理ステップと、予測画像生成手段が上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成処理ステップと、復号手段が上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号処理ステップと、フィルタリング手段が上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング処理ステップとを備え、上記フィルタリング手段のフィルタ処理部が上記可変長復号手段により可変長復号されたフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を参照して、各小領域に重畳されている歪みを補償するフィルタ処理ステップを備えていることを特徴とする画像復号方法。
JP2011519507A 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Active JP5528445B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011519507A JP5528445B2 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009146350 2009-06-19
JP2009146350 2009-06-19
PCT/JP2010/003492 WO2010146771A1 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2011519507A JP5528445B2 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Publications (2)

Publication Number Publication Date
JPWO2010146771A1 true JPWO2010146771A1 (ja) 2012-11-29
JP5528445B2 JP5528445B2 (ja) 2014-06-25

Family

ID=43356106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011519507A Active JP5528445B2 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (13)

Country Link
US (2) US20120087595A1 (ja)
EP (1) EP2445216A4 (ja)
JP (1) JP5528445B2 (ja)
KR (1) KR101351709B1 (ja)
CN (5) CN104506877B (ja)
BR (1) BRPI1015984A2 (ja)
CA (1) CA2764868A1 (ja)
HK (5) HK1207926A1 (ja)
MX (1) MX2011013861A (ja)
RU (7) RU2510592C2 (ja)
SG (5) SG10201910966SA (ja)
WO (1) WO2010146771A1 (ja)
ZA (1) ZA201109488B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5627507B2 (ja) * 2011-01-12 2014-11-19 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
HUE042699T2 (hu) * 2011-04-21 2019-07-29 Hfi Innovation Inc Eljárás és készülék továbbfejlesztett hurokszûréshez
WO2012177015A2 (ko) * 2011-06-20 2012-12-27 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
JP5653307B2 (ja) * 2011-06-27 2015-01-14 日本電信電話株式会社 画像符号化方法，画像符号化装置およびそのプログラム
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
WO2013010248A1 (en) 2011-07-21 2013-01-24 Research In Motion Adaptive filtering based on pattern information
CN102316324B (zh) * 2011-08-24 2013-08-21 北京航空航天大学 一种基于局部最小熵的图像编码预测方法
JP2013093662A (ja) * 2011-10-24 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
EP2825998A4 (en) * 2012-03-16 2015-08-12 Hewlett Packard Development Co IMAGE CLASSIFICATION
SG10201808973XA (en) * 2012-04-13 2018-11-29 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method
US9277222B2 (en) 2012-05-14 2016-03-01 Qualcomm Incorporated Unified fractional search and motion compensation architecture across multiple video standards
FR2996093A1 (fr) * 2012-09-27 2014-03-28 France Telecom Procede de codage et decodage d'images, dispositifs de codage et decodage et programmes d'ordinateur correspondants
WO2014155471A1 (ja) * 2013-03-25 2014-10-02 日立マクセル株式会社 符号化方法および符号化装置
GB2540440A (en) * 2013-06-04 2017-01-18 Mitsubishi Electric Corp Image encoding device, image analysis device, image encoding method and image analysis method
JP6087739B2 (ja) * 2013-06-07 2017-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP6037521B2 (ja) * 2015-07-02 2016-12-07 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JPWO2017191749A1 (ja) * 2016-05-02 2019-03-07 ソニー株式会社 画像処理装置及び画像処理方法
JP6977719B2 (ja) * 2016-05-02 2021-12-08 ソニーグループ株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN114520915A (zh) * 2017-01-12 2022-05-20 索尼公司 图像处理装置、图像处理方法和计算机可读记录介质
US20210297687A1 (en) * 2017-03-15 2021-09-23 Sony Corporation Encoding apparatus, encoding method, decoding apparatus, and decoding method
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US11423578B2 (en) 2017-09-27 2022-08-23 Sony Corporation Encoding device, encoding method, decoding device, and decoding method

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761154B2 (ja) * 1989-10-13 1995-06-28 松下電器産業株式会社 動き補償予測フレーム間符号化装置
JP2868342B2 (ja) * 1991-08-23 1999-03-10 日本電気株式会社 フレーム間予測符号化装置のループ内フィルタ制御方式
US5299174A (en) * 1992-04-10 1994-03-29 Diasonics, Inc. Automatic clutter elimination
JP3326670B2 (ja) * 1995-08-02 2002-09-24 ソニー株式会社 データ符号化／復号化方法および装置、および符号化データ記録媒体
RU2093968C1 (ru) * 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
WO1998027720A1 (en) * 1996-12-18 1998-06-25 Thomson Consumer Electronics, Inc. A multiple format video signal processor
JPH11161782A (ja) * 1997-11-27 1999-06-18 Seiko Epson Corp カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置
DE69942224D1 (de) * 1998-01-27 2010-05-20 Sharp Kk Bewegtbilddecoder
JP3132456B2 (ja) * 1998-03-05 2001-02-05 日本電気株式会社 階層的画像符号化方式、及び階層的画像復号方式
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
US6804294B1 (en) * 1998-08-11 2004-10-12 Lucent Technologies Inc. Method and apparatus for video frame selection for improved coding quality at low bit-rates
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP4230636B2 (ja) * 2000-02-29 2009-02-25 株式会社東芝 動画像再生方法および動画像再生装置
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
EP2293579B1 (en) * 2001-09-12 2012-01-25 Panasonic Corporation Picture coding method
CA2433455C (en) * 2001-11-29 2012-03-06 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7436890B2 (en) * 2002-06-05 2008-10-14 Kddi R&D Laboratories, Inc. Quantization control system for video coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
JP4123356B2 (ja) * 2002-11-13 2008-07-23 富士ゼロックス株式会社 画像処理装置、画像処理プログラム、記憶媒体
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7346224B2 (en) * 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
EP2096873A3 (en) * 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
JP4850475B2 (ja) * 2004-10-14 2012-01-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 画像中の画素をフィルタリングする方法
WO2006043414A1 (ja) * 2004-10-19 2006-04-27 Megachips Lsi Solutions Inc. 画像処理方法及び画像処理装置
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
KR100670495B1 (ko) * 2004-12-20 2007-01-16 엘지전자 주식회사 동영상 압축 부호화 장치 및 방법
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US20070070427A1 (en) * 2005-08-18 2007-03-29 Lexmark International, Inc. Systems and methods for selective dithering using pixel classification
JP2007067625A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd カメラシステムにおけるフィルタ補正回路
JP2007129369A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
TW200727598A (en) * 2005-11-18 2007-07-16 Sony Corp Encoding/decoding device/method and the transmission system
CN101336550B (zh) * 2006-02-06 2011-06-15 松下电器产业株式会社 图像解码装置和图像解码方法
JP2007336075A (ja) * 2006-06-13 2007-12-27 Victor Co Of Japan Ltd ブロック歪み低減装置
JP5535625B2 (ja) * 2006-07-18 2014-07-02 トムソン ライセンシング 適応的参照フィルタリングの方法及び装置
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8139891B2 (en) * 2006-11-03 2012-03-20 Siemens Aktiengesellschaft System and method for structure enhancement and noise reduction in medical images
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
US8509316B2 (en) * 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009041843A1 (en) * 2007-09-28 2009-04-02 Vsevolod Yurievich Mokrushin Method of encoding digital signals (variants), method of decoding digital signals (variants), device for implementation thereof (variants), and system for image transmission via limited throughput communication channels (variants)
US8170121B2 (en) * 2007-11-13 2012-05-01 Harmonic Inc. H.264/AVC based approach to scalable video compression
US8638852B2 (en) * 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
JP5035029B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter

Also Published As

Publication number Publication date
CN104506877B (zh) 2018-01-19
ZA201109488B (en) 2013-03-27
HK1207926A1 (en) 2016-02-12
MX2011013861A (es) 2012-02-13
US20120087595A1 (en) 2012-04-12
HK1178355A1 (zh) 2013-09-06
HK1210556A1 (en) 2016-04-22
CN104639942A (zh) 2015-05-20
HK1207931A1 (en) 2016-03-24
HK1224111A1 (zh) 2017-08-11
RU2510592C2 (ru) 2014-03-27
CN105872541B (zh) 2019-05-14
US20150043630A1 (en) 2015-02-12
EP2445216A4 (en) 2013-03-20
KR20120061797A (ko) 2012-06-13
CN104539956B (zh) 2018-11-06
CN102804781B (zh) 2016-06-29
SG10201403250WA (en) 2014-10-30
RU2627104C2 (ru) 2017-08-03
JP5528445B2 (ja) 2014-06-25
SG176827A1 (en) 2012-01-30
CN104506877A (zh) 2015-04-08
CN102804781A (zh) 2012-11-28
RU2714100C1 (ru) 2020-02-11
BRPI1015984A2 (pt) 2016-04-19
CN104539956A (zh) 2015-04-22
SG10201809929SA (en) 2018-12-28
RU2685981C1 (ru) 2019-04-23
KR101351709B1 (ko) 2014-01-16
SG10202012742QA (en) 2021-01-28
RU2015124155A (ru) 2017-01-10
CN105872541A (zh) 2016-08-17
RU2013151253A (ru) 2015-05-27
CA2764868A1 (en) 2010-12-23
RU2702052C1 (ru) 2019-10-03
RU2557768C2 (ru) 2015-07-27
CN104639942B (zh) 2018-10-02
RU2666328C1 (ru) 2018-09-06
SG10201910966SA (en) 2020-01-30
RU2012101781A (ru) 2013-07-27
WO2010146771A1 (ja) 2010-12-23
EP2445216A1 (en) 2012-04-25

Similar Documents

Publication Publication Date Title
JP5528445B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
AU2019200515B2 (en) Image decoding device, image encoding device, and method thereof
JP4334533B2 (ja) 動画像符号化／復号化方法および装置
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
JP3788823B2 (ja) 動画像符号化装置および動画像復号化装置
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US20130003872A1 (en) Method, system and device for improving video quality through in-loop temporal pre-filtering
US20070160298A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2019003676A1 (ja) 画像処理装置と画像処理方法およびプログラム
US7366238B2 (en) Noise filter for video processing
WO2018235405A1 (ja) 画像処理装置と画像処理方法
JP2019057900A (ja) 符号化装置及びプログラム、復号装置及びプログラム、並びに、画像処理システム
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2018191334A (ja) 画像符号化装置と画像符号化方法およびプログラム
WO2024002579A1 (en) A method, an apparatus and a computer program product for video coding
WO2023237809A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140415

R150 Certificate of patent or registration of utility model

Ref document number: 5528445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250