JP4439890B2 - 画像復号化方法、装置およびプログラム - Google Patents

画像復号化方法、装置およびプログラム Download PDF

Info

Publication number
JP4439890B2
JP4439890B2 JP2003398981A JP2003398981A JP4439890B2 JP 4439890 B2 JP4439890 B2 JP 4439890B2 JP 2003398981 A JP2003398981 A JP 2003398981A JP 2003398981 A JP2003398981 A JP 2003398981A JP 4439890 B2 JP4439890 B2 JP 4439890B2
Authority
JP
Japan
Prior art keywords
picture
image
output
memory
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003398981A
Other languages
English (en)
Other versions
JP2004336705A (ja
Inventor
眞也 角野
ルー ジュファイ
吉一郎 柏木
雅之 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to KR1020097002633A priority Critical patent/KR101040872B1/ko
Priority to CN2008100034591A priority patent/CN101222633B/zh
Priority to KR1020057010319A priority patent/KR101011868B1/ko
Priority to EP04712315A priority patent/EP1597918A4/en
Priority to US10/532,845 priority patent/US20070002947A1/en
Priority to KR1020117004219A priority patent/KR101103184B1/ko
Priority to CN2008100034587A priority patent/CN101222632B/zh
Priority to PCT/US2004/004647 priority patent/WO2004077348A2/en
Priority to CN2008100034604A priority patent/CN101242533B/zh
Priority to EP10182088A priority patent/EP2268017A3/en
Publication of JP2004336705A publication Critical patent/JP2004336705A/ja
Application granted granted Critical
Publication of JP4439890B2 publication Critical patent/JP4439890B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、復号化済みのピクチャを参照して予測符号化を行う符号化方法および復号化方法に関し、特に予測による符号化歪を除去するループフィルタを用いる動画像符号化方法および復号化方法に関する。
一般に動画像を圧縮するための符号化では、時間的および空間的な冗長性を削減することによってデータ量を削減している。時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および動き補償を行うことにより予測画像を得て、得られた予測画像と符号化対象のブロックとの差分値に対して符号化を行う。復号化方法ではほぼ逆の手順によりピクチャを復号化している。
復号されたピクチャには、ブロック単位の動き補償に起因する符号化歪として、ブロックノイズと呼ばれる四角い形状のノイズが現れることがある。このブロックノイズ対策として、例えば非特許文献１等の従来技術は、ブロックノイズを低減するためのループフィルタを採用している。
図１７ は、上記従来技術における、ループフィルタを有する画像符号化装置の構成を示すブロック図である。同図のように画像符号化装置５００は、メモリ５０１、ピクチャ間予測部５０２、ピクチャ内予測部５０３、スイッチ５０４、減算器５０５、直交変換部５０６、量子化部５０７、多重化部５０８、逆量子化部５０９、逆直交変換部５１０、加算器５１１およびフィルタ５１２を備えている。
フィルタ５１２は、減算器５０５、直交変換部５０６、量子化部５０７、逆量子化部５０９、逆直交変換部５１０、加算器５１１を経て符号化後にさらに復号化された画像のブロックノイズを低減するループフィルタである。
メモリ５０１は、フィルタ５１２によってフィルタリングされた画像を一時的に格納する。フィルタリングされた画像から再構成されるピクチャには、参照用ピクチャと出力用ピクチャ（表示用ピクチャとも呼ぶ）とがある。参照用ピクチャは、ピクチャ間予測部５０２およびピクチャ内予測部５０３によって参照され、表示順に従って出力されるピクチャである。出力用ピクチャは、参照されることなく表示順に従って出力されるピクチャである。また、ここでいう出力は、外部の表示装置に表示させるための出力であるが、画像符号化装置５００では必ずしも表示されなくてもよいし、また、外部に出力されなくてもよい。例えば、符号化と同時に表示装置でモニターする場合には表示されるが、そうでない場合は表示されない。
続いて、ピクチャの予測構造と、さらにメモリ５０１にピクチャが格納される動作について説明する。
図１８は、ピクチャ予測構造の第１の例を示す説明図である。同図の上側におけるピクチャ０〜ピクチャ９は、動画像に含まれるフレームまたはフィールドを表示順で示されている。図中のＩ、Ｂ、Ｐは、ピクチャタイプを示す。Ｉはピクチャ内予測符号化されるイントラピクチャ（Ｉピクチャ）を示す。Ｂは、メモリ５０１中の再構成された複数枚のピクチャを参照する双予測符号化ピクチャ（Ｂピクチャ）を示す。Ｐは、メモリ５０１中の再構成された１枚のピクチャを参照する予測符号化ピクチャ（Ｐピクチャ）を示す。斜線は参照ピクチャとしてピクチャ間予測符号化において参照され得るピクチャを、白抜きは参照されないピクチャを示す。同図の上側のように第１の例における予測構造は、表示順でＩＢＢＰＢＢＰＢＢＰの繰り返しである。
また、矢線はピクチャ間予測符号化における参照関係を示す。例えば、Ｐ３ピクチャの参照ピクチャはＩ０ピクチャとなる。Ｂ１ピクチャの参照ピクチャはＩ０およびＰ３ピクチャとなる。Ｐ３ピクチャの参照ピクチャはＩ０ピクチャとなる。Ｐ６の参照ピクチャはＩ０およびＰ３となり得る。
このような参照関係を有するため、ピクチャの表示順と符号化順（つまりストリーム中の順）とは異なる。同図の下側は、表示順に並べたピクチャと符号化順（ストリーム順）に並べたピクチャとの対応関係を示す図である。同図のように、画像符号化装置は、表示順のピクチャを、予測構造に従って符号化順に並び替えることになる。
図１９は、ピクチャ予測構造の第２の例を示す説明図である。同図における第２の例の予測構造は、ＩＢＢＢＰＢＢＢＰの繰り返しである。この第２の例では、図１８と比べてＢピクチャが参照ピクチャとして使用可能な点が異なっている。すなわちＩ０、Ｐ４、Ｐ８ピクチャ以外にもＢ２、Ｂ６ピクチャも参照ピクチャとなり得る。Ｂ２、Ｂ６ピクチャはメモリ５０１に参照ピクチャとして格納されることになる。
図２０は、画像符号化装置５００が第１の例の予測構造で符号化する場合に、メモリ５０１にピクチャが格納される様子を示す説明図である。同図では、メモリ５０１が４ピクチャに対応する４つのメモリ領域を有している。４つのメモリ領域は、参照ピクチャを最大３枚まで格納するものとする。参照ピクチャを現に格納している最大３つのメモリ領域を参照領域、出力用ピクチャを現に格納しているメモリ領域を表示用領域と呼ぶ。図中のｆＩ０、ｆＰ３、ｆＢ１等は図１８のピクチャに対応するピクチャ名であり、フィルタリングされた後のピクチャを示す。ブランク白抜きは開放状態のメモリ領域を、ピクチャ名付き網掛けは出力用ピクチャ（表示用ピクチャ）を、ピクチャ名付き白抜きは参照用ピクチャを示す。（１）〜（８）は、図１８に示した符号化順で符号化および復号化（再構成）されるピクチャにそれぞれ対応している。ピクチャを格納する領域が無い場合には、まず、表示用ピクチャで表示済の領域があれば、その領域に新しいピクチャを格納する。また、表示用ピクチャで表示済の領域が無ければ、未表示のピクチャを表示順に表示し、表示用ピクチャで表示済のピクチャがあればその表示済の表示用ピクチャの領域に新しいピクチャを格納する。更に、参照領域に格納されるピクチャの最大数を超えて参照用ピクチャを格納する場合には、参照用ピクチャの領域の中で最も早い時刻に格納された参照用ピクチャを表示用ピクチャに変更し、前述の方法で新しいピクチャを格納する領域を確保する。
図２０に示すように、（１）〜（４）では、ピクチャｆＩ０、ｆＰ３、ｆＢ１、ｆＢ２がそれぞれ再構成され、メモリ５０１にピクチャｆＩ０、ｆＰ３、ｆＢ１、ｆＢ２がそれぞれ格納される。（５）ではピクチャｆＰ６が再構成される。ピクチャｆＰ６を格納するための領域を確保するために、ピクチャｆＩ０とｆＢ１とが順にメモリ５０１から出力され、さらにピクチャｆＰ６が表示済のピクチャｆＢ１のメモリ領域に格納（上書き)される。（６）では、ピクチャｆＢ４が再構成される。次にピクチャｆＢ２がメモリ５０１から出力され、さらにピクチャｆＢ４が表示済のピクチャｆＢ２のメモリ領域に格納される。（７）では、ピクチャｆＢ５が再構成される。次にピクチャｆＰ３とｆＢ４とが順にメモリ５０１から出力され、さらにピクチャｆＢ５が表示済のピクチャｆＢ４のメモリ領域に格納される。（８）では、ピクチャｆＰ９が再構成される。ピクチャI0は参照用ピクチャから表示用ピクチャに変更されるがピクチャI0は表示済であるから、ピクチャｆＰ９が表示済のピクチャｆＩ０のメモリ領域に格納される。
このようにして、メモリ５０１には、参照ピクチャだけでなく出力用ピクチャも格納される。格納された参照ピクチャが出力されかつ参照されなくなると、そのメモリ領域が新たなピクチャの格納対象となる。出力ピクチャが出力されると、そのメモリ領域が新たなピクチャの格納対象となる。
図２１は、画像符号化装置５００が第２の例の予測構造で符号化する場合に、メモリ５０１にピクチャが格納される様子を示す説明図である。同図に示すように、（１）〜（４）では、ピクチャｆＩ０、ｆＰ４、ｆＢ２、ｆＢ１がそれぞれ再構成される。再構成されたピクチャｆＩ０、ｆＰ４、ｆＢ２、ｆＢ１がメモリ５０１に順次格納される。（５）ではピクチャｆＢ３が再構成される。次にピクチャｆＩ０とｆＢ１とが順にメモリ５０１から出力され、さらに再構成されたピクチャｆＢ３が表示済のピクチャｆＢ１のメモリ領域に格納される。（６）では、ピクチャｆＰ８が再構成される。ピクチャｆＰ８は表示用ピクチャに変更され且つ表示済のピクチャｆＩ０のメモリ領域に格納される。（７）では、ピクチャｆＢ６が再構成される。参照用ピクチャｆP4は最大参照ピクチャ数を超えるため、表示用ピクチャに変更される。次にピクチャｆＢ２、ｆＢ３がメモリ５０１から出力され、ピクチャｆB3の位置に表示用ピクチャとなったピクチャｆP4が格納される。さらにピクチャｆＢ６が参照領域に格納される。このとき、ピクチャｆＢ２は出力済だが参照ピクチャなので上書きされない。（８）では、ピクチャｆＢ５が再構成される。次に、ピクチャｆＰ４が出力され、さらにピクチャｆＢ５が表示済のピクチャｆＰ４のメモリ領域に格納される。（９）では、ピクチャｆＢ７が再構成される。次にピクチャｆＢ５がメモリ５０１から出力され、さらにピクチャｆＢ７がピクチャｆＢ５のメモリ領域に格納される。
図２２は、従来の画像符号化装置５００においてメモリ５０１にピクチャを格納および出力するメモリ管理を示すフローチャートである。
同図のように、画像符号化装置５００は再構成されたピクチャ（対象ピクチャと呼ぶ）が参照ピクチャであるかどうかを判定する（Ｓ１０）。
参照ピクチャであると判定された場合、画像符号化装置５００は、参照領域に格納可能な空きメモリ領域があるかどうかを判定し（Ｓ１１）、空きメモリ領域がない場合、参照領域中で最初に格納されたピクチャを表示用領域に移動する（Ｓ１１）。この移動は例えば図２１の（７）中のｆＰ４が該当する。ここでの移動は、ピクチャをメモリ領域間で転送しないで、メモリ領域の属性を参照用から表示用に変更することである。さらに、画像符号化装置５００は、メモリ領域を確保する領域確保処理を行い（Ｓ１３）、確保されたメモリ領域に対象ピクチャを参照ピクチャとして格納する（Ｓ１４）。また、Ｓ１１において空きメモリ領域があると判定された場合、画像符号化装置５００は、その空きメモリ領域に対象ピクチャを参照ピクチャとして格納する。
Ｓ１０において参照ピクチャでないと判定された場合、画像符号化装置５００は、空きメモリ領域があるかどうかを判定する（Ｓ１５）。空きメモリ領域がないと判定された場合、画像符号化装置５００は、対象ピクチャが今後最初に出力（表示）すべきピクチャであるかどうかを判定し（Ｓ１６）、今後最初に出力すべきピクチャである場合は対象ピクチャをメモリ５０１に格納しないで出力（表示）し（Ｓ１７）、今後最初に出力すべきピクチャでない場合は領域確保処理を行う（Ｓ１８）。Ｓ１８において領域が確保された後、およびＳ１５において空きメモリ領域があると判定された後、画像符号化装置５００は、当該領域に対象ピクチャを格納する（Ｓ１９）。
このように、画像符号化装置５００は、フィルタリングして再構成されたピクチャを参照ピクチャまたは出力用ピクチャとしてメモリ５０１に格納し、さらに表示用に出力している。
図２３は、従来の画像復号化装置の構成を示すブロック図である。同図の画像復号化装置６００は、メモリ６０１、ピクチャ間予測部６０２、ピクチャ内予測部６０３、スイッチ６０４、逆量子化部６０９、逆直交変換部６１０、加算器６１１、フィルタ６１２および分離部６１３を備える。分離部６１３は、ストリームから、動き情報、ピクチャ内予測モード情報、画像符号列等を分離する。ピクチャ間予測部６０２は、動き情報に基づいてピクチャ間予測による予測画像を生成する。ピクチャ内予測部６０３は、ピクチャ内予測モード情報に基づいてピクチャ内予測による予測画像を生成する。スイッチ６０４、逆量子化部６０９、逆直交変換部６１０、加算器６１１、フィルタ６１２は、それぞれ図１７に示した同名の構成要素と同じ機能を有する。この画像復号化装置６００における復号動作は画像符号化装置５００における復号動作（ピクチャの再構成）と同じある。
上記の画像符号化装置５００および復号化装置６００は、図１８や図１９に示したピクチャ予測構造のように表示順と符号化順とでピクチャの並び替えを行う場合の構成を示した。並び替えを行わない予測構造の場合の従来の画像符号化装置の構成を図２４に、画像復号化装置の構成を図２５に示す。図２４の画像符号化装置５００ａ、画像復号化装置６００ａの構成は、それぞれ図１７、図２３と比較して、メモリ５０１、６０１からピクチャを出力する代わりにフィルタ５１２、６１２から出力する点が異なっている。また、並び替えが不要なためメモリ５０１、６０１には参照ピクチャのみを格納し、表示用ピクチャを格納しない。
このような従来技術における画像符号化装置および画像復号化装置は、フィルタリングにより全てのピクチャからブロックノイズを低減している。また参照ピクチャのブロックノイズが低減されているので、画質が向上し符号化効率が向上する。
ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of JointVideo Specification (2002-8-10)
しかしながら、上記従来技術によれば動画の素材が映画である場合に、フィルム・グレイン（フィルム粒子）による映画独特の質感を損なうという問題があった。なぜなら、フィルム・グレインは、画像信号では時空間で相関の小さい特殊な信号成分として現れるため、ループフィルタにより除去されてしまうからである。
また、ＭＰＥＧ−２などのようにループフィルタを有していない画像符号化装置では、時空間で相関の小さいフィルムグレインが含まれていると、符号化効率(圧縮率)が劣化するという問題もある。
本発明は、映画等の画像の質感を損なうことなくかつ効率よく符号化する画像符号化方法、画像復号化方法を提供することを目的とする。
上記課題を解決するため本発明の画像復号化方法は、ビットストリームを復号化する画像復号化方法であって、前記ビットストリームに含まれる符号化画像を復号化して復号化画像を生成し、前記復号化画像をフィルタ処理しフィルタ処理後の画像を生成し、前記ビットストリームから、前記復号化画像と前記フィルタ処理後画像の何れを表示画像として出力するかを示す識別情報を抽出し、前記復号化画像が参照画像であり前記識別情報が前記復号化画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を参照画像として参照メモリに記憶し、前記復号化画像を表示画像として出力する。
また、上記課題を解決するため本発明の画像符号化方法は、符号化の後に復号化されたピクチャから得られるピクチャを参照してピクチャを予測符号化する画像符号化方法であって、前記復号化されたピクチャにフィルタ処理を行うフィルタステップと、１つの前記復号化されたピクチャについてのフィルタ処理前後の２つのピクチャのうち、フィルタ処理後のピクチャを参照ピクチャと決定する第１決定ステップと、前記２つのピクチャのうちフィルタ処理前のピクチャを出力用ピクチャと決定する第２決定ステップとを有する構成としている。
ここで、前記画像符号化方法は、さらに、前記フィルタ処理後のピクチャを参照ピクチャとしてメモリに格納する第１格納ステップと、前記フィルタ処理前のピクチャを出力用ピクチャとして前記メモリに格納する第２格納ステップとを有する構成としてもよい。
この構成によれば、参照ピクチャはフィルムグレインが低減されているので、符号化効率を向上させ、かつ、出力用ピクチャはフィルムグレインが残るので映画の質感を損なわないという効果を有する。
ここで、前記画像符号化方法は、さらに、前記メモリに格納された参照ピクチャのうち、もはや参照されない参照ピクチャの記憶領域を開放する開放ステップを有する構成としてもよい。
ここで、前記開放ステップにおいて、参照ピクチャとしてもはや参照されなくなったときに、当該参照ピクチャの領域を開放する構成としてもよい。
ここで、前記開放ステップにおいて、参照ピクチャとしてもはや参照されなくなったときに、当該参照ピクチャに対応する出力用ピクチャが出力済であれば当該参照ピクチャを開放する構成としてもよい。
ここで、前記画像符号化方法は、さらに、フィルタ処理前のピクチャとフィルタ処理後のピクチャの何れを出力用ピクチャとすべきかを指示する識別情報を符号化する符号化ステップを有する構成としてもよい。
この構成によれば、例えば画像が映画を素材としているか否かに応じて識別情報を符号化することにより、画像復号装置において、フィルタ処理前のピクチャとフィルタ処理後のピクチャとを出力ピクチャとして切り換えることができる。その結果、画像の素材に適した最適な画質で表示することができる。
本発明の画像符号化方法および画像復号化方法によれば、映画等の画像の質感を損なうことなくかつ効率よく符号化することができるという効果がある。また、画像の素材に応じて最適な画質で表示することができるという効果がある。
また、本発明の画像符号化装置、画像復号化装置、プログラム、ストリームについても同様の構成、作用および効果を有しているので、説明を省略する。
（実施の形態１）
＜画像符号化装置１００の構成＞
図１は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。同図のように、画像符号化装置１００は、メモリ１０１、ピクチャ間予測部１０２、ピクチャ内予測部１０３、スイッチ１０４、減算器１０５、直交変換部１０６、量子化部１０７、多重化部１０８、逆量子化部１０９、逆直交変換部１１０、加算器１１１、フィルタ１１２および制御部１１３を備えている。
メモリ１０１にはフィルタ１１２を通したピクチャと通していないピクチャの両方を格納する。フィルタ１１２を通したピクチャは参照ピクチャに用いられ、フィルタ１１２を通していないピクチャは出力ピクチャに用いられる。この参照ピクチャはフィルムグレインが低減されているので、符号化効率を向上させる。出力ピクチャはフィルムグレインが残るので映画の質感を損なわない。
ピクチャ間予測部１０２はピクチャ間予測における予測画像を生成する。すなわち、ピクチャ間予測部１０２は、符号化対象ピクチャに含まれるブロック毎に、メモリ１０１に格納された参照ピクチャ中を参照して動きベクトルを検出し、動きベクトルに従って参照ピクチャから予測画像を生成する。その際、ピクチャ間予測部１０２は、符号化対象ピクチャがＰピクチャである場合は１枚の参照ピクチャを、Ｂピクチャの場合は２枚の参照ピクチャを用いる。
ピクチャ内予測部１０３は、ピクチャ内予測における予測画像を生成する。すなわち、ピクチャ内予測部１０３は、符号化対象のＩピクチャに含まれるブロック毎に予測画像を生成する。その際、ピクチャ内予測部１０３は、既に復号化済でメモリ１０１に格納された同じピクチャの画素を参照する。
スイッチ１０４は、符号化対象ピクチャがＰピクチャおよびＢピクチャであるときピクチャ間予測部１０２側もしくはピクチャ内予測部１０３側のいずれか予測誤差の小さい方に接続し、符号化対象ピクチャがＩピクチャであるときピクチャ内予測部１０３側に接続する。
減算器１０５は、ピクチャ間予測部１０２またはピクチャ内予測部１０３からスイッチ１０４を介して入力される予測画像中の各画素値と、符号化対象ブロック中の各画素値を減算する。この減算結果を予測誤差と呼ぶ。
直交変換部１０６は、減算器１０５からの予測誤差に直交変換を行う。この直交変換の結果を係数ブロックと呼ぶ。
量子化部１０７は、直交変換部１０６からの係数ブロックを量子化する。この量子化の結果を量子化係数ブロックと呼ぶ。
多重化部１０８は、量子化部１０７からの量子化係数ブロックを可変長符号化し、さらに、可変長符号と、ピクチャ間予測部１０２に検出された動きベクトルを示す動きベクトル情報と、ピクチャ内予測部１０３からのピクチャ内予測モード情報と、スイッチ１０４の切り替えを示す選択情報と、メモリ１０１の格納されるピクチャについてのフィルタ適用情報等をストリームとして符号化する。
逆量子化部１０９は、量子化部１０７からの量子化係数ブロックを係数ブロックに逆量子化する。
逆直交変換部１１０は、逆量子化部１０９からの係数ブロックを予測誤差に逆直交変換する。
加算器１１１は、逆直交変換部１１０からの予測誤差の各画素値と、ピクチャ間予測部１０２またはピクチャ内予測部１０３からスイッチ１０４を介して入力される予測画像中の各画素値と加算する。加算結果は、符号化対象ブロックに対応する復号ブロックである。
複数の復号ブロックが順次メモリ１０１に格納されることにより、フィルタを適用していないピクチャが再構成される。
フィルタ１１２は、加算器１１１からの復号ブロックのブロックノイズを低減するためのフィルタ処理を行う。例えばフィルタ１１２は、メモリ１０１に格納済の復号ブロックの画素値を用いて加算器１１１からの復号ブロックのブロック境界の画素に対して、水平方向および垂直方向にフィルタ処理（タップ数は例えば９など数個から１０数個程度）を行う。フィルタを適用したピクチャが再構成される。
制御部１１３は、画像符号化装置１００の全体の制御を行う。特に、制御部１１３は、メモリ１０１に、フィルタ１１２よりフィルタを適用したピクチャと、フィルタを適用しないピクチャとを両方格納し、出力する制御を行う。
＜メモリ１０１の第１の格納例＞
図２は、画像符号化装置１００が、図１８に示した第１の例の予測構造で符号化する場合に、メモリ１０１にピクチャが格納される様子を示す説明図である。同図では、メモリ１０１が４ピクチャに対応する４つのメモリ領域を有している。４つのメモリ領域は、参照ピクチャを最大３枚まで格納するものとする。参照ピクチャを現に格納している最大３つのメモリ領域を参照領域と呼び、出力用ピクチャを現に格納しているメモリ領域を表示用領域と呼ぶ。参照領域および表示用領域は、物理的に固定された領域ではなく各メモリ領域の属性により区別される。この属性は格納されたピクチャが参照用であるか出力用であるかを示す。図中のｆＩ０、ｆＰ３、ｆＢ１等はフィルタが適用されたピクチャを示し、Ｉ０、Ｐ３、Ｂ１等はフィルタが適用されないピクチャを示す。白抜きのメモリ領域は参照領域を、網掛けは表示用領域を示す。（１）〜（８）は、図１８に示した符号化順で符号化および復号化（再構成）されるピクチャにそれぞれ対応している。
図２において（１）では、加算器１１１およびフィルタ１１２の出力に基づいて、フィルタリングされたピクチャｆＩ０とフィルタリングされていないピクチャＩ０がそれぞれ再構成される。フィルタリングされていないピクチャＩ０は表示用領域に格納され、フィルタリングされたピクチャｆＩ０は参照領域に格納される。
（２）では、フィルタリングされたピクチャｆＰ３とフィルタリングされていないピクチャＰ３がそれぞれ再構成される。フィルタリングされていないピクチャＰ３が表示用領域に格納され、フィルタリングされたピクチャｆＰ３が参照領域に格納される。
（３）では、フィルタリングされていないピクチャＢ１が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ１は再構成されない。まず、表示用領域のフィルタリングされていないピクチャＩ０が出力されその領域が開放され、さらにフィルタリングされていないピクチャＢ１がピクチャIOを開放した表示用領域に格納される。
（４）では、フィルタリングされていないピクチャＢ２が再構成される。このピクチャは参照ピクチャではないのでフィルタリングされたピクチャｆＢ２は再構成されない。まず、表示用領域からフィルタリングされていないピクチャＢ１が出力されて領域が開放され、さらにフィルタリングされていないピクチャＢ２がピクチャB1を開放した表示用領域に格納される。
（５）では、フィルタリングされたピクチャｆＰ６とフィルタリングされていないピクチャＰ６がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＢ２、Ｂ３が順次出力されその領域が開放される。さらに、フィルタリングされていないピクチャＰ６が表示用領域に格納され、フィルタリングされたピクチャｆＰ６は参照領域に格納される。すなわち、参照領域の最大ピクチャ格納数が３となり、表示領域のピクチャ数が１になる。
（６）では、フィルタリングされていないピクチャＢ４が再構成される。このピクチャは参照ピクチャではないのでフィルタリングされたピクチャｆＢ４は再構成されない。再構築されたピクチャはメモリ１０１に格納されずに出力される。
（７）では、フィルタリングされていないピクチャＢ５が再構成される。このピクチャは参照ピクチャではないのでフィルタリングされたピクチャｆＢ５は再構成されない。再構築されたピクチャＢ５はメモリ１０１に格納されずに出力される。
（８）では、フィルタリングされたピクチャｆＰ９とフィルタリングされていないピクチャＰ９がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＰ６出力されその領域が開放される。さらに、フィルタリングされていないピクチャＰ６が表示用領域に格納され、フィルタリングされたピクチャｆＰ６は参照領域に格納される。
このように画像符号化装置１００は、フィルタリングされたピクチャを参照ピクチャとして参照領域に格納し、フィルタリングされていないピクチャを出力用ピクチャとして表示領域に格納する。しかも、第１の例のピクチャ予測構造（図１８）の場合には、参照領域と表示用領域とをあわせたメモリ領域が４ピクチャ分で足りる。
＜メモリ１０１の第２の格納例＞
図３は、画像符号化装置１００が、図１９に示した第２の例の予測構造で符号化する場合に、メモリ１０１にピクチャが格納される様子を示す説明図である。同図では、メモリ１０１が５ピクチャに対応する５つのメモリ領域を有している。５つのメモリ領域は、参照ピクチャを最大３枚まで格納するものとする。
図３において（１）では、加算器１１１およびフィルタ１１２の出力に基づいて、フィルタリングされたピクチャｆＩ０とフィルタリングされていないピクチャＩ０がそれぞれ再構成される。フィルタリングされていないピクチャＩ０は表示用領域に格納され、フィルタリングされたピクチャｆＩ０は参照領域に格納される。
（２）では、フィルタリングされたピクチャｆＰ４とフィルタリングされていないピクチャＰ４がそれぞれ再構成される。フィルタリングされていないピクチャＰ４は表示用領域に格納され、フィルタリングされたピクチャｆＰ４は参照領域に格納される。
（３）では、フィルタリングされたピクチャｆＢ２とフィルタリングされていないピクチャＢ２がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＩ０が出力されその領域が開放される。さらに、フィルタリングされていないピクチャＢ２が表示用領域に格納され、フィルタリングされたピクチャｆＢ２が参照領域に格納される。
（４）では、フィルタリングされていないピクチャＢ１が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ１は再構成されない。再構成されたＢ１はメモリ１０１に格納されることなく出力される。
（５）では、フィルタリングされていないピクチャＢ３が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ３は再構成されない。まず、表示領域からフィルタリングされていないピクチャＢ２が出力される。さらにフィルタリングされていないピクチャＢ３が参照領域に格納される。
（６）では、フィルタリングされたピクチャｆＰ８とフィルタリングされていないピクチャＰ８がそれぞれ再構成される。まず、参照領域のピクチャｆＩ０が開放され（ピクチャＩ０が表示済のため）、表示領域からフィルタリングされていないピクチャＢ３が出力されその領域が開放される。２ピクチャ分の領域が開放されたのでフィルタリングされていないピクチャＰ８が表示用領域に格納され、フィルタリングされたピクチャｆＰ８が参照領域に格納される。
（７）では、フィルタリングされたピクチャｆＢ６とフィルタリングされていないピクチャＢ６がそれぞれ再構成される。まず、参照領域のピクチャｆＰ４が開放され（ピクチャＰ４が表示領域にあるため）、表示領域からフィルタリングされていないピクチャＰ４が出力されその領域が開放される。さらに、フィルタリングされていないピクチャＢ６が表示用領域に格納され、フィルタリングされたピクチャｆＢ６が参照領域に格納される。
（８）では、フィルタリングされていないピクチャＢ５が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ５は再構成されない。再構成されたＢ５はメモリ１０１に格納されることなく出力される。
（９）では、フィルタリングされていないピクチャＢ７が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ７は再構成されない。まず、表示領域からフィルタリングされていないピクチャＢ６が出力しその領域を開放する。さらにフィルタリングされていないピクチャＢ７が参照領域に格納される。
このように画像符号化装置１００は、フィルタリングされたピクチャを参照ピクチャとして参照領域に格納し、フィルタリングされていないピクチャを出力用ピクチャとして表示領域に格納する。しかも、第２の例のピクチャ予測構造（図１９）の場合には、参照領域と表示用領域とをあわせたメモリ領域が５ピクチャ分で足りる。
＜メモリ１０１の第３の格納例＞
図４は、画像符号化装置１００が、図１９に示した第２の例の予測構造で符号化する場合に、メモリ１０１にピクチャが格納される様子を示す説明図である。同図では、メモリ１０１が、上記第２の格納例と比べて、メモリ領域が５つ用いる代わりに４つを用いる点が異なっている。参照領域が最大３メモリ領域であるという点は、同じである。この場合、メモリ領域が１つ少ないので表示領域が不足するケースが起こり得るので、復号化されたピクチャで出力されないものが発生することになる。出力されないピクチャがあるというデメリットがあるが、より少ないメモリ領域で全ピクチャを正常に符号化できるというメリットがある。
図４において（１）では、加算器１１１およびフィルタ１１２の出力に基づいて、フィルタリングされたピクチャｆＩ０とフィルタリングされていないピクチャＩ０がそれぞれ再構成される。フィルタリングされていないピクチャＩ０は表示用領域に格納され、フィルタリングされたピクチャｆＩ０は参照領域に格納される。
（２）では、フィルタリングされたピクチャｆＰ４とフィルタリングされていないピクチャＰ４がそれぞれ再構成される。フィルタリングされていないピクチャＰ４は表示用領域に格納され、フィルタリングされたピクチャｆＰ４は参照領域に格納される。第２の格納例と異なり、第３の格納例ではこの時点で空きメモリ領域がなくなっている。
（３）では、フィルタリングされたピクチャｆＢ２とフィルタリングされていないピクチャＢ２がそれぞれ再構成される。フィルタリングされたピクチャｆＢ２は参照ピクチャであるため必ず格納される必要がある。そのため、表示領域からフィルタリングされていないピクチャＩ０が出力して開放し、ピクチャＩ０出力後の空き領域に、ピクチャｆＢ２が格納される。しかし、この時点で開放領域がないためピクチャＢ２を格納することができず、次の表示順のピクチャＢ１はまだ再構成されていない。そこで、次の表示順のピクチャＢ１を飛ばして、再構成されたピクチャＢ２が出力される。
（４）では、フィルタリングされていないピクチャＢ１が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ１は再構成されない。この時点でも開放領域がなく、また、表示順が後のピクチャＢ２が既に出力されているので、ピクチャＢ１も格納されない。
（５）では、フィルタリングされていないピクチャＢ３が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ３は再構成されない。次の表示順であるピクチャＢ２は出力済みなので、ピクチャＢ３が出力される。
（６）では、フィルタリングされたピクチャｆＰ８とフィルタリングされていないピクチャＰ８がそれぞれ再構成される。まず、表示領域からフィルタリングされていないピクチャＰ４が出力されその領域が開放される。さらに、フィルタリングされていないピクチャＰ８が表示用領域に格納され、参照領域のピクチャｆＩ０は（ピクチャＩ０が表示済のため）開放され、その領域にフィルタリングされたピクチャｆＰ８が参照領域に格納される。
（７）では、フィルタリングされたピクチャｆＢ６とフィルタリングされていないピクチャＰ６がそれぞれ再構成される。フィルタリングされたピクチャｆＢ６は参照ピクチャであるため必ず格納される必要がある。表示領域にはピクチャＢ６よりも表示順が後のＰ８が格納されているので、次の表示順のピクチャＢ５を飛ばして再構成されたピクチャＢ６が出力される。参照領域のピクチャｆＰ４は（ピクチャＰ４が表示済のため）開放され、その領域にピクチャｆＢ６が格納される。
（８）では、フィルタリングされていないピクチャＢ５が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ５は再構成されない。ピクチャＢ５よりも表示順が後のＢ６が出力済なので、再構成されたＢ５はメモリ１０１に格納されることなく出力もされない。
（９）では、フィルタリングされていないピクチャＢ７が再構成される。このピクチャは参照ピクチャではないので、フィルタリングされたピクチャｆＢ７は再構成されない。まず、フィルタリングされていないピクチャＢ７はメモリ１０１に格納されることなく出力される。
このように画像符号化装置１００は、フィルタリングされたピクチャを参照ピクチャとして参照領域に格納し、フィルタリングされていないピクチャを出力用ピクチャとして表示領域に格納する。第２の格納例よりも、メモリ領域が１つ少ないので表示領域が不足するケースが起こり得るので、ピクチャが一部出力されないことになる。一部のピクチャが出力されないというデメリットがあるが、より少ないメモリ領域で全ピクチャを正常に符号化できるというメリットがある。
＜第１のメモリ管理処理＞
図５は、制御部１１３においてメモリ１０１にピクチャを格納および出力する第１のメモリ管理処理を示すフローチャートである。なお、再構成された直後のフィルタリングされたピクチャ又はフィルタリングされていないピクチャを対象ピクチャと呼ぶ。
同図のように、まず制御部１１３は対象ピクチャが参照ピクチャであるかどうかを判定する（Ｓ５０）。
参照ピクチャであると判定された場合、制御部１１３は、参照領域に格納可能な空きメモリ領域があるかどうかを判定し（Ｓ５１）、空きメモリ領域がない場合、参照領域中で最初に格納されたピクチャを開放する（Ｓ５２）。Ｓ５１において空きメモリ領域があると判定された後、および、Ｓ５２において開放された後、制御部１１３は、その空きメモリ領域又は開放された領域に、フィルタリングされた対象ピクチャを参照ピクチャとして格納する（Ｓ５３）。
Ｓ５０において参照ピクチャでないと判定された場合、制御部１１３は、参照領域と表示用領域とを合せたメモリ領域中に空きメモリ領域があるかどうかを判定する（Ｓ５４）。空きメモリ領域がないと判定された場合、制御部１１３は、対象ピクチャが今後最初に出力（表示）すべきピクチャであるかどうかを判定し（Ｓ５５）、今後最初に出力すべきピクチャである場合は、フィルタリングされていない対象ピクチャをメモリ５０１に格納しないで出力（表示）し（Ｓ５６）、今後最初に出力すべきピクチャでない場合は領域確保処理を行う（Ｓ５７）。Ｓ５７において領域が確保された後、およびＳ５４において空きメモリ領域があると判定された後、制御部１１３は、当該領域にフィルタリングされていない対象ピクチャを格納する（Ｓ５８）。
図６は、上記Ｓ６７およびＳ６８における領域確保処理の詳細を示すフローチャートである。同図において、制御部１１４は、表示領域に格納されているピクチャが出力済（表示済)かどうかを判定し（Ｓ１００）、出力済であると判定された場合はそのメモリ領域を開放する（Ｓ１０１）。また、出力済でないと判定された場合は、制御部１１４は、メモリ５０１に格納されたピクチャおよび対象ピクチャのうち今後最初に表示すべきピクチャを選択して出力（表示）する（Ｓ１０２）。制御部１１４は、さらに対象ピクチャがＳ１０２において出力済になったか否かを判定し（Ｓ１０３）、対象ピクチャが出力済である場合は本処理を終了し、対象ピクチャが表示済でない場合は再度Ｓ１００に戻る。
このように、制御部１１４、フィルタリングして再構成されたピクチャを参照ピクチャとしてメモリ５０１に格納し、加えてフィルタリングしないで再構成されたピクチャを出力用ピクチャとしてメモリ５０１に格納する。
図５および図６に示した第１のメモリ管理処理では、参照ピクチャ（フィルタリングされた再構成ピクチャ）用にメモリ領域を最大１回開放し、かつ出力用ピクチャ（フィルタリングされていない再構成ピクチャ)用にメモリ領域が最大１回開放されることになる。
＜第２のメモリ管理処理＞
図７は、制御部１１３においてメモリ１０１にピクチャを格納および出力する第２のメモリ管理処理を示すフローチャートである。
この第２のメモリ管理処理では、参照ピクチャ（フィルタリングされた再構成ピクチャ）用にメモリ領域を最大１回開放する点は第１のメモリ管理処理と同様であるが、出力用ピクチャ（フィルタリングされていない再構成ピクチャ)用にメモリ領域が最大２回開放される点が異なっている。すなわち、第１のメモリ管理処理では参照用ピクチャの格納で１回、出力用ピクチャの格納で１回の最大合計２回の開放処理が行われるのに対し、第２のメモリ管理処理では出力用ピクチャのみで開放処理を行うため、参照用と出力用の最大２ピクチャの領域を確保するためＳ６７が最大２回起動されることになる。第２のメモリ管理処理では、この点で処理の流れに違いがあるが図２〜４のような同じ結果を得ることができる。
同図のように、まず、制御部１１３は対象ピクチャが参照ピクチャであるかどうかを判定する（Ｓ６０）。
参照ピクチャであると判定された場合、制御部１１３は、参照領域に格納可能な空きメモリ領域があるかどうかを判定し（Ｓ６１）、空きメモリ領域がない場合、参照領域中で最初に格納されたピクチャを移動する（Ｓ６２）。ここでの移動は、ピクチャをメモリ領域間で転送しないで、メモリ領域の属性を参照用から表示用に変更することである。
Ｓ６１において空きメモリ領域があると判定された後、および、Ｓ６２において移動された後、制御部１１３は、その空きメモリ領域又は移動により生じた空き領域に、フィルタリングされた対象ピクチャを参照ピクチャとして格納する（Ｓ６３）。
Ｓ６０において参照ピクチャでないと判定された場合、制御部１１３は、参照領域と表示用領域とを合せたメモリ領域中に空きメモリ領域があるかどうかを判定する（Ｓ６４）。空きメモリ領域がないと判定された場合、制御部１１３は、対象ピクチャが今後最初に出力（表示）すべきピクチャであるかどうかを判定し（Ｓ６５）、今後最初に出力すべきピクチャである場合は、フィルタリングされていない対象ピクチャをメモリ５０１に格納しないで出力（表示）し（Ｓ６６）、今後最初に出力すべきピクチャでない場合は領域確保処理を行い（Ｓ６７）、再度Ｓ６４に戻る。Ｓ６４において空きメモリ領域があると判定された後、制御部１１３は、表示領域にフィルタリングされていない対象ピクチャを格納する（Ｓ６８）。
上記Ｓ６７およびＳ６８における領域確保処理は、図６に示したフローチャートと同じでよい。
＜画像復号化装置の構成＞
図８は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。同図の画像復号化装置２００は、メモリ２０１、ピクチャ間予測部２０２、ピクチャ内予測部２０３、スイッチ２０４、逆量子化部２０９、逆直交変換部２１０、加算器２１１、フィルタ２１２および分離部２１３を備える。分離部２１３は、ストリームから、動き情報、ピクチャ内予測モード情報、画像符号列等を分離する。ピクチャ間予測部２０２は、動き情報に基づいてピクチャ間予測による予測画像を生成する。ピクチャ内予測部２０３は、ピクチャ内予測モード情報に基づいてピクチャ内予測による予測画像を生成する。スイッチ２０４、逆量子化部２０９、逆直交変換部２１０、加算器２１１、フィルタ２１２は、それぞれ図１に示した同名の構成要素と同じ機能を有する。この画像復号化装置２００における復号動作は画像符号化装置５００における復号動作（ピクチャの再構成）と同じある。
以上説明してきたように、本実施の形態における画像符号化装置および画像復号化装置によれば、フィルタリングされたピクチャが参照ピクチャに用いられ、フィルタリングされていないピクチャが出力ピクチャに用いられる。この参照ピクチャはブロックノイズとフィルムグレインが低減されているので、ブロックノイズを低減し、符号化効率を向上させるという効果がある。しかも、出力ピクチャはフィルムグレインが残るので映画の質感を損なわないという効果がある。
（実施の形態２）
実施の形態１における画像符号化装置１００および画像復号化装置２００は、図１８や図１９に示したピクチャ予測構造のように表示順と符号化順とでピクチャの並び替えを行う場合の構成を示した。本実施の形態では、並び替えを行わない予測構造の場合の画像符号化装置および画像復号化装置について説明する。
図９は、本実施の形態における画像符号化装置の構成を示すブロック図である。同図の画像符号化装置１００ａは、図１の画像符号化装置１００と比較して、フィルタリングされたピクチャとフィルタリングされていないピクチャとをメモリ１０１に格納する代わりに、フィルタリングされたピクチャのみをメモリ１０１に格納する点と、スイッチ１１４を追加した点とが異なっている。同じ点については説明を省略して、以下異なる点を中心に説明する。
メモリ１０１は、フィルタリングされたピクチャを参照ピクチャとして格納する。フィルタリングされていないピクチャはメモリ１０１には格納されない。
スイッチ１１４は、加算器１１１からの再構成ピクチャ（つまりフィルタリングされていないピクチャ）と、フィルタ１１２からの再構成ピクチャ（つまりフィルタリングされたピクチャ）とが入力され、フィルタ適用情報に従って何れかを選択的に出力する。
図１０は、本実施の形態における画像復号化装置の構成を示すブロック図である。同図の画像復号化装置２００ａは、図８の画像復号化装置２００と比較して、フィルタリングされたピクチャとフィルタリングされていないピクチャとをメモリ２０１に格納する代わりに、フィルタリングされたピクチャのみをメモリ２０１に格納する点と、スイッチ２１４を追加した点とが異なっている。画像復号化装置２００ａの復号動作については、画像符号化装置１００ａの復号動作（再構成動作）と同じであるので、説明を省略する。
以上説明してきたように本実施の形態における画像符号化装置１００ａおよび画像復号化装置２００ａによれば、参照ピクチャはフィルタリングされているのでブロックノイズおよびフィルムグレインが除去され、符号化効率を向上させることができる。加えて、例えば映画を素材とする画像の場合にはスイッチ１１４、２１４がフィルタリングされていないピクチャを選択することにより、映画の質感を損なわない画像を出力することができ、映画以外を素材とする場合には、スイッチ１１４、２１４がフィルタリングされたピクチャを選択することにより、ノイズの少ない画像を出力することができ、素材に応じて適切な画質を選択することができる。
なお、上記各実施形態において、フィルタ適用情報の内容に応じて出力ピクチャを切り替える構成としてもよい。この場合のフィルタ適用情報の一例を図１１に示す。同図において、フィルタ適用情報は、フィルタリングされたピクチャとフィルタリングされていないピクチャのどちらを出力すべきか示す番号で表される。例えば、番号０は、ストリーム中の全ピクチャについてフィルタリングされていないピクチャを出力することを意味する。番号１は、ストリーム中の全ピクチャについてフィルタリングされたピクチャを出力することを意味する。番号２は、フィルタ適用情報に特定されるピクチャについてフィルタリングされていないピクチャを出力することを意味する。番号３は、フィルタ適用情報に特定されるピクチャについてフィルタリングされたピクチャを出力することを意味する。番号４は、フィルタ適用情報に特定されるピクチャ以降のピクチャについてフィルタリングされていないピクチャを出力することを意味する。番号５は、フィルタ適用情報に特定されるピクチャ以降のピクチャについてフィルタリングされたピクチャを出力することを意味する。フィルタ適用情報は、ストリーム中の任意のピクチャに設定される。例えば、ＭＰＥＧ−４ ＡＶＣ規格における付加情報としてのＳＥＩ（Supplemental Enhancement Information）等にフィルタ適用情報を設定すればよい。
また、上記各実施の形態ではフィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャとして説明したが、従来のフィルタリングしないピクチャを参照ピクチャ、フィルタリングした再構成ピクチャを出力ピクチャとする方法をピクチャ毎に切替えても良い。
すなわち、次の（１）〜（３）の何れかをピクチャ単位で切替えても良い。
（１）フィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャとして２ピクチャを格納する。
（２）フィルタリングしないピクチャを参照ピクチャとして１ピクチャを格納する。
（３）フィルタリングした再構成ピクチャを出力ピクチャとして１ピクチャを格納する。
その場合のメモリ管理処理としては、図５および図７に示したフローをそのまま使用することができる。
更に、各ピクチャの表示順序に対応する符号ＰＯＣ(Picture Order Count)を各ピクチャに付加し、ＰＯＣによって図５および図７のフローの実装をすることも可能である。同じ復号化ピクチャのフィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャに同じＰＯＣを付加し、参照領域のピクチャが表示領域のピクチャに移動された時点で参照領域から移動したピクチャのＰＯＣが直前に出力したピクチャのＰＯＣ以下であれば出力済であると判断することができる。また、ＰＯＣが同じピクチャが参照領域と表示領域にあるかどうかを検出することで、参照領域から表示領域にピクチャを移動した時点で開放すべきピクチャ（すなわち、参照ピクチャが出力に必要か不要か）の判断を行うことも可能である。なお、同じピクチャが参照領域と表示領域にあるかどうかの検出は、復号化したピクチャにユニークな番号（但し、フィルタリングした再構成ピクチャを参照ピクチャ、フィルタリングしないピクチャを出力ピクチャとする場合は両方に同じ番号）を付与し、参照領域から表示領域にピクチャを移動した時点で同じ番号が存在した場合に参照ピクチャが出力に不要であるとの判断を行うことも可能である。
（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１２（ａ）〜（ｃ）は、上記各実施の形態の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態４）
図１３から図１６は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１４は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図１５を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図１４に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
本発明は、符号化済みのピクチャを参照して予測符号化を行う符号化方法および復号化方法に適しており、例えば、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
実施の形態１における画像符号化装置の構成を示すブロック図である。 第１の例の予測構造で符号化する場合にメモリにピクチャが格納される様子を示す説明図である。 第２の例の予測構造で符号化する場合にメモリにピクチャが格納される様子を示す説明図である。 第２の例の予測構造で符号化する場合にメモリにピクチャが格納される様子を示す説明図である。 メモリにピクチャを格納および出力する第１のメモリ管理処理を示すフローチャートである。 領域確保処理を示すフローチャートである。 メモリにピクチャを格納および出力する第２のメモリ管理処理を示すフローチャートである。 実施の形態１における画像復号化装置の構成を示すブロック図である。 実施の形態２における画像符号化装置の構成を示すブロック図である。 実施の形態２における画像復号化装置の構成を示すブロック図である。 フィルタ適用情報の一例を示す図である。 （ａ）〜（ｃ）プログラムを格納するための記録媒体についての説明図である。 コンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の外観図である。 携帯電話の構成を示すブロック図である。 ディジタル放送用システムの例を示す図である。 従来技術におけるループフィルタを有する画像符号化装置の構成を示すブロック図である。 ピクチャ予測構造の第１の例を示す説明図である。 ピクチャ予測構造の第２の例を示す説明図である。 従来技術における画像符号化装置が第１の例の予測構造で符号化する場合に、メモリにピクチャが格納される様子を示す説明図である。 従来技術における画像符号化装置が第２の例の予測構造で符号化する場合に、メモリにピクチャが格納される様子を示す説明図である。 従来技術においてメモリにピクチャを格納および出力するメモリ管理を示すフローチャートである。 従来技術における画像復号化装置の構成を示すブロック図である。 従来技術における並び替えを行わない画像符号化装置の構成を示すブロック図である。 従来技術における並び替えを行わない画像復号化装置の構成を示すブロック図である。
符号の説明
１００ 画像符号化装置
１０１ メモリ
１０２ ピクチャ間予測部
１０３ ピクチャ内予測部
１０４ スイッチ
１０５ 減算器
１０６ 直交変換部
１０７ 量子化部
１０８ 多重化部
１０９ 逆量子化部
１１０ 逆直交変換部
１１１ 加算器
１１２ フィルタ
１１３ 制御部
２００ 画像復号化装置
２０１ メモリ
２０２ ピクチャ間予測部
２０３ ピクチャ内予測部
２０４ スイッチ
２０９ 逆量子化部
２１０ 逆直交変換部
２１１ 加算器
２１２ フィルタ
２１３ 分離部
２１４ 制御部

Claims (7)

  1. ビットストリームを復号化する画像復号化方法であって、
    前記ビットストリームに含まれる符号化画像を復号化して復号化画像を生成し、
    前記復号化画像をフィルタ処理しフィルタ処理後の画像を生成し、
    前記ビットストリームから、前記復号化画像と前記フィルタ処理後画像の何れを表示画像として出力するかを示す識別情報を抽出し、
    前記復号化画像が参照画像であり前記識別情報が前記復号化画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を参照画像として参照メモリに記憶し、前記復号化画像を表示画像として出力する
    ことを特徴とする画像復号化方法。
  2. 前記画像復号化方法は、さらに、
    前記復号化画像が参照画像であり前記識別情報が前記フィルタ処理後画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を参照画像として参照メモリに記憶し、前記フィルタ処理後画像を表示画像として出力する
    ことを特徴とする請求項１記載の画像復号化方法。
  3. 前記画像復号化方法は、
    前記識別情報が所定の画像と前記所定の画像に続くおのおのの画像とに適用される
    ことを特徴とする請求項１記載の画像復号化方法。
  4. ビットストリームを復号化する画像復号化装置であって、
    前記ビットストリームに含まれる符号化画像を復号化して復号化画像を生成する復号部と、
    前記復号化画像をフィルタ処理しフィルタ処理後の画像を生成するフィルタ部と、
    前記ビットストリームから、前記復号化画像と前記フィルタ処理後画像の何れを表示画像として出力するかを示す識別情報を抽出する抽出部と、
    前記フィルタ処理後画像を参照画像として参照メモリに記憶する記憶部と、
    前記復号化画像が参照画像であり前記識別情報が前記復号化画像を表示画像として出力
    することを示している場合に、前記復号化画像を表示画像として出力する表示画像出力部と
    を備えることを特徴とする画像復号化装置。
  5. 前記表示画像出力部は、さらに、
    前記復号化画像が参照画像であり前記識別情報が前記フィルタ処理後画像を表示画像として出力することを示している場合に、前記フィルタ処理後画像を表示画像として出力する
    ことを特徴とする請求項４記載の画像復号化装置。
  6. 前記画像復号化装置において、
    前記識別情報が所定の画像と前記所定の画像に続くおのおのの画像とに適用される
    ことを特徴とする請求項４記載の画像復号化装置。
  7. 請求項１から請求項３のいずれか１つに記載の画像復号化方法をコンピュータに実行させることを特徴とするプログラム。
JP2003398981A 2003-02-21 2003-11-28 画像復号化方法、装置およびプログラム Expired - Lifetime JP4439890B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN2008100034587A CN101222632B (zh) 2003-02-21 2004-02-18 运动图像编码方法
KR1020057010319A KR101011868B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
EP04712315A EP1597918A4 (en) 2003-02-21 2004-02-18 METHOD FOR ENCODING IMAGE IN MOTION, AND METHOD AND PROGRAM FOR DECODING IMAGE IN MOTION
US10/532,845 US20070002947A1 (en) 2003-02-21 2004-02-18 Moving picture coding method, moving picture decoding method and program
KR1020117004219A KR101103184B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
CN2008100034604A CN101242533B (zh) 2003-02-21 2004-02-18 运动图像编码方法和运动图像解码方法
KR1020097002633A KR101040872B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
CN2008100034591A CN101222633B (zh) 2003-02-21 2004-02-18 图像编码方法
EP10182088A EP2268017A3 (en) 2003-02-21 2004-02-18 Moving picture coding method, moving picture decoding method and program
PCT/US2004/004647 WO2004077348A2 (en) 2003-02-21 2004-02-18 Moving picture coding method, moving picture decoding method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US44920903P 2003-02-21 2003-02-21
US10/724,317 US20040179610A1 (en) 2003-02-21 2003-11-26 Apparatus and method employing a configurable reference and loop filter for efficient video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008298829A Division JP2009044772A (ja) 2003-02-21 2008-11-21 画像符号化方法、装置、画像復号化方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2004336705A JP2004336705A (ja) 2004-11-25
JP4439890B2 true JP4439890B2 (ja) 2010-03-24

Family

ID=36606072

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003398981A Expired - Lifetime JP4439890B2 (ja) 2003-02-21 2003-11-28 画像復号化方法、装置およびプログラム
JP2008298829A Pending JP2009044772A (ja) 2003-02-21 2008-11-21 画像符号化方法、装置、画像復号化方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008298829A Pending JP2009044772A (ja) 2003-02-21 2008-11-21 画像符号化方法、装置、画像復号化方法およびプログラム

Country Status (6)

Country Link
US (2) US20040179610A1 (ja)
EP (2) EP2268017A3 (ja)
JP (2) JP4439890B2 (ja)
KR (3) KR101040872B1 (ja)
CN (4) CN100375519C (ja)
WO (1) WO2004077348A2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
NO318973B1 (no) * 2003-07-01 2005-05-30 Tandberg Telecom As Fremgangsmate for stoyreduksjon
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
DE602004010683T2 (de) * 2003-08-29 2009-01-02 Thomson Licensing Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich
WO2005039188A1 (en) 2003-10-14 2005-04-28 Thomson Licensing Technique for bit-accurate comfort noise addition
US8505064B2 (en) * 2004-01-29 2013-08-06 Ngna, Llc Method and system of providing signals
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
WO2006044260A1 (en) * 2004-10-18 2006-04-27 Thomson Licensing Film grain simulation method
US8543390B2 (en) 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US7680652B2 (en) * 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US8306821B2 (en) 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
US7949520B2 (en) * 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
JP4960877B2 (ja) * 2004-11-12 2012-06-27 トムソン ライセンシング 映像再生システムの通常再生及びトリックモード再生に関するフィルムグレインシミュレーション
CA2587201C (en) 2004-11-16 2015-10-13 Cristina Gomila Film grain simulation method based on pre-computed transform coefficients
MX2007005829A (es) 2004-11-16 2007-07-25 Thomson Licensing Insercion de mensaje sei de grano de pelicula para la simulacion exacta de bits en un sistema de video.
US9098916B2 (en) 2004-11-17 2015-08-04 Thomson Licensing Bit-accurate film grain simulation method based on pre-computed transformed coefficients
KR101208158B1 (ko) * 2004-11-22 2012-12-05 톰슨 라이센싱 필름 그레인 시뮬레이션을 위한 필름 그레인 캐시 분할방법, 장치 및 시스템
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4582648B2 (ja) * 2005-10-24 2010-11-17 キヤノン株式会社 撮像装置
WO2007069579A1 (ja) * 2005-12-12 2007-06-21 Nec Corporation 動画像復号方法、動画像復号装置、および情報処理装置のプログラム
WO2008001478A1 (en) * 2006-06-26 2008-01-03 Panasonic Corporation Format converter, format converting method, and moving image decoding system
EP2041981B1 (en) * 2006-07-18 2013-09-04 Thomson Licensing Methods and apparatus for adaptive reference filtering
JP2008035439A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd ノイズ除去装置、ノイズ除去制御方法およびノイズ除去制御プログラム
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
JP5217250B2 (ja) * 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
US8904400B2 (en) 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US20090158820A1 (en) * 2007-12-20 2009-06-25 Schlumberger Technology Corporation Method and system for downhole analysis
US8209514B2 (en) 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
WO2009133938A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 動画像符号化及び復号装置
JP5137687B2 (ja) 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
CN102292990B (zh) * 2008-11-25 2016-10-05 汤姆森特许公司 对视频编码和解码进行基于稀疏性的去伪像滤波的方法和装置
TWI422228B (zh) * 2009-01-15 2014-01-01 Silicon Integrated Sys Corp 去方塊濾波方法及影像處理裝置
US8401370B2 (en) * 2010-03-09 2013-03-19 Dolby Laboratories Licensing Corporation Application tracks in audio/video containers
CN106067982A (zh) * 2010-06-07 2016-11-02 数码士有限公司 解码高分辨率图像的方法和装置
WO2012077719A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像復号装置、および画像符号化装置
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US9210426B2 (en) * 2011-06-30 2015-12-08 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US11240515B2 (en) * 2012-09-10 2022-02-01 Apple Inc. Video display preference filtering
KR101785886B1 (ko) * 2014-02-03 2017-10-16 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2017063169A1 (zh) * 2015-10-15 2017-04-20 富士通株式会社 图像编码方法、装置以及图像处理设备
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63199589A (ja) * 1987-02-14 1988-08-18 Fujitsu Ltd フレ−ム間符号化方式
FR2703535A1 (fr) * 1993-03-31 1994-10-07 Philips Electronique Lab Procédé et dispositif pour décoder des images comprimées.
EP0915470A3 (en) * 1995-08-21 2004-03-24 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk, reproduction apparatus and method for achieving variable scene development based on interactive control
KR100203262B1 (ko) * 1996-06-11 1999-06-15 윤종용 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
JPH11136671A (ja) * 1997-10-31 1999-05-21 Fujitsu Ltd 動画像復号方法及び装置並びに動画像再生装置
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
KR100601609B1 (ko) * 1999-06-04 2006-07-14 삼성전자주식회사 동화상 복호화 장치 및 그 방법
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
EP1122940A3 (en) * 2000-01-31 2003-09-10 Canon Kabushiki Kaisha Image processing method and apparatus
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
EP1160759A3 (en) * 2000-05-31 2008-11-26 Panasonic Corporation Image output device and image output control method
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置

Also Published As

Publication number Publication date
CN101222633B (zh) 2012-10-31
EP2268017A3 (en) 2011-03-02
CN101222633A (zh) 2008-07-16
KR20050099961A (ko) 2005-10-17
EP1597918A4 (en) 2006-06-14
KR101040872B1 (ko) 2011-06-14
WO2004077348A3 (en) 2004-12-16
KR101103184B1 (ko) 2012-01-05
JP2009044772A (ja) 2009-02-26
CN101242533A (zh) 2008-08-13
CN100375519C (zh) 2008-03-12
JP2004336705A (ja) 2004-11-25
US20040179610A1 (en) 2004-09-16
KR101011868B1 (ko) 2011-01-31
CN1751512A (zh) 2006-03-22
KR20090032117A (ko) 2009-03-31
CN101222632A (zh) 2008-07-16
EP2268017A2 (en) 2010-12-29
EP1597918A2 (en) 2005-11-23
WO2004077348A2 (en) 2004-09-10
CN101242533B (zh) 2011-04-13
KR20110038147A (ko) 2011-04-13
US20070002947A1 (en) 2007-01-04
CN101222632B (zh) 2012-09-05

Similar Documents

Publication Publication Date Title
JP4439890B2 (ja) 画像復号化方法、装置およびプログラム
JP5755364B2 (ja) 画像復号化装置
JP5687787B2 (ja) 動画像復号化装置及びその方法
JP4615604B2 (ja) 動画像復号化方法および動画像復号化装置
JP4949010B2 (ja) 画像復号化方法及び画像復号化装置
KR100943563B1 (ko) 동화상 부호화 장치 및 동화상 복호화 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4439890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313135

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313135

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313135

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term