JP4908943B2 - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
JP4908943B2
JP4908943B2 JP2006174379A JP2006174379A JP4908943B2 JP 4908943 B2 JP4908943 B2 JP 4908943B2 JP 2006174379 A JP2006174379 A JP 2006174379A JP 2006174379 A JP2006174379 A JP 2006174379A JP 4908943 B2 JP4908943 B2 JP 4908943B2
Authority
JP
Japan
Prior art keywords
frame
value
image
average activity
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006174379A
Other languages
English (en)
Other versions
JP2008005337A5 (ja
JP2008005337A (ja
Inventor
悟 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006174379A priority Critical patent/JP4908943B2/ja
Priority to US11/760,397 priority patent/US8259796B2/en
Publication of JP2008005337A publication Critical patent/JP2008005337A/ja
Publication of JP2008005337A5 publication Critical patent/JP2008005337A5/ja
Application granted granted Critical
Publication of JP4908943B2 publication Critical patent/JP4908943B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は画像符号化装置及び画像符号化方法に関し、特に、フレーム間の相関が失われた時において、画像符号化装置の符号化効率を向上させるために用いて好適な技術に関する。
画像を高能率符号化するための技術として、ＭＰＥＧ２（Moving Picture Experts Group Phase ２）といった符号化方式が確立されている。各メーカーはこのＭＰＥＧ２符号化方式を利用して画像を記録することが可能なデジタルカメラやデジタルビデオカメラといった撮像装置、或いはＤＶＤレコーダーなどを開発して製品化している。そして、ユーザはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
このようなＭＰＥＧ２符号化方式では、一般的に、ビットストリームを所定のデータ量で伝送したり、蓄積したりするために所定の符号量に圧縮する符号量制御が行われている。ここで、ＭＰＥＧ２符号化方式の符号量制御についてリファレンスソフトエンコーダーであるＴＭ５の例を挙げて説明する。ＴＭ５とは、"Test Model Editing Committee： "Test Model ５"， ISO／IEC， JTC／SC29／WG11／n0400 （Apr．1993）に記載されている。
ＴＭ５の符号量制御は以下の３つのステップに分けて考えられる。
（ステップ１）の処理では、ＧＯＰ内の各ピクチャに対する割り当て符号量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられる総符号量を基に配分する。この配分処理は、ＧＯＰ内の符号化ピクチャの順に繰り返される。
（ステップ２）の処理では、ステップ１で求められた各ピクチャに対する割り当て符号量と、実際の発生符号量とを一致させるために、次のようにしている。すなわち、Ｉ，Ｐ，Ｂのピクチャ毎に独立に設定した３種類の仮想バッファ部の容量を基に、量子化スケールコードをマクロブロック単位のフィードバック制御で求めている。
（ステップ３）の処理では、視覚的に劣化の目立ち易い平坦部でより細かく量子化し、劣化の比較的目立ち難い絵柄の複雑な部分で粗く量子化するようにしている。このようにするために、ステップ２で求められた量子化スケールコードを、「１６×１６画素」のマクロブロック毎の正規化アクティビィティと呼ばれる変数によって量子化スケールを変化させて決定している。
前述の（ステップ３）の正規化アクティビティの算出方法及び量子化スケールの決定方法についてさらに詳しく説明する。
絵柄の複雑さを示す正規化アクティビティは、次のように算出される。まず、「１６×１６画素」のマクロブロックをフィールド離散コサイン変換モードにおける４つの「８×８画素ブロック」と、フレーム離散コサイン変換モードにおける４つの「８×８画素ブロック」との、合計８つのブロックに分ける。そして、それぞれのブロックにおける原画の輝度信号画素値Ｐｊの分散値ｖａｒ＿｛ｓｂｌｋ｝に基づきアクティビティを算出する。各８×８画素ブロックの分散値は、下記の式（１）で算出される。式（１）において、Ｐは８×８画素ブロックの輝度信号画素値Ｐｊの平均画素値である。
Figure 0004908943
式（１）で求めた合計８つの分散値の中で最小の分散値を見つけ、下記の式（２）に従いアクティビティを算出する。式（２）において分散値の最小値を利用するのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かく行うためである。
act＝１＋min（var＿｛sblk｝） ・・・（２）
式（２）により算出されるアクティビティａｃｔは、輝度信号画素値の分散が大きい複雑な絵柄の画像では大きい値となり、輝度信号画素値の分散が小さい平坦な画像では小さい値となる。更に、下記の式（３）により、アクティビティ値が「０．５〜２．０」の範囲に収まるように正規化を行い、正規化アクティビティN＿actを求める。
N＿act＝（2×act＋pred＿avg＿act）／（act＋２×pred＿avg＿act）・・・（３）
ＴＭ５における平均アクティビティの予測方式では、符号化対象フレームの符号化順で１フレーム前に符号化したフレームの平均アクティビティ実測値avg＿actを、符号化対象フレームの平均アクティビティの予測値pred＿avg＿actとして正規化を行う。そのため、正規化アクティビティのフレーム間における大きな変動を抑制することができる。正規化アクティビティは，アクティビティが平均アクティビティより小さい場合には，「０．５〜１．０」の値となる。また、アクティビティが平均アクティビティより大きい場合には，「１．０〜２．０」の値となる。
アクティビティによる視覚特性を考慮した量子化スケールコードＭＱＵＡＮＴは、正規化アクティビティN＿actとステップ２で得られた量子化スケールコードＱｓｃを基に次式（４）で与えられる。
MQUANT＝Qsc×N＿act ・・・（４）
すなわち、正規化アクティビティN＿actの値が小さい平坦な画像では量子化スケールコードＭＱＵＡＮＴが小さくなるため細かく量子化され、正規化アクティビティN＿actの値が大きい複雑な絵柄の画像では量子化スケールコードＭＱＵＡＮＴが大きくなるため粗く量子化される。ＴＭ５方式における符号量制御は、以上説明した処理で行われる。
このようなＭＰＥＧ２符号化方式の符号化効率を向上させるために様々な検討が行われている。例えば、正規化アクティビティを算出する式（３）で用いる平均アクティビティ予測値として、符号化対象フレーム以外の符号化済みである複数フレームの平均アクティビティ実測値から符号化対象フレームの平均アクティビティを予測する。そして、その平均アクティビティ予測値により正規化アクティビティを算出して符号化効率を向上させる技術が知られている（特許文献１）。
特開平８−１８９５２号公報
特許文献１のような従来の平均アクティビティの予測方法は、符号化対象フレーム以外の符号化済みフレームの平均アクティビティ実測値から符号化対象フレームの平均アクティビティを予測している。そのため、フラッシュ等により符号化対象フレームのみ直前直後のフレームとの相関がなくなった場合においては、平均アクティビティの予測が外れてしまうので、量子化制御が適切に動作しないといった問題があった。
本発明は前述の問題点にかんがみ、画像の変化率に応じて符号化対象フレームに適した平均アクティビティを予測するようにして、画像の相関性が失われる場合においても、量子化制御を適切に動作させることができるようにすることを目的としている。
本発明の画像符号化装置は、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化装置であって、入力画像データを量子化する量子化手段と、前記入力画像データに係る画像の変化率をフレーム毎に算出する変化率算出手段と、符号化済みフレームのアクティビティの平均を算出し、１フレーム毎に平均アクティビティの実測値を出力する実測値算出手段と、前記実測値算出手段により出力された所定の符号済みフレームに係る平均アクティビティの実測値を、前記変化率算出手段によって算出された符号化対象フレームに対する画像の変化率に応じて変更することによって、前記符号化対象フレームに適した平均アクティビティの予測値を出力する予測手段と、前記予測手段により出力された平均アクティビティの予測値を用いてアクティビティの正規化を行う正規化手段と、前記正規化手段によって正規化されたアクティビティに基いて前記量子化手段における量子化処理を制御する量子化制御手段とを有し、前記変化率算出手段は、フレーム内の画素値の分散値を算出する分散値算出手段を備え、前記分散値算出手段によって算出された前記符号化対象フレームの分散値と、前記予測手段が予測値を出力するときに参照する参照フレームの分散値とに基いて、前記画像の変化率をフレーム毎に算出することを特徴とする。
本発明の画像符号化方法は、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法であって、入力画像データを量子化する量子化工程と、前記入力画像データに係る画像の変化率をフレーム毎に算出する変化率算出工程と、符号化済みフレームのアクティビティの平均を算出し、１フレーム毎に平均アクティビティの実測値を出力する実測値算出工程と、前記実測値算出工程により出力された所定の符号済みフレームに係る平均アクティビティの実測値を、前記変化率算出工程によって算出された符号化対象フレームに対する画像の変化率に応じて変更することによって、前記符号化対象フレームに適した平均アクティビティの予測値を出力する予測工程と、前記予測工程により出力された平均アクティビティの予測値を用いてアクティビティの正規化を行う正規化工程と、前記正規化工程によって正規化されたアクティビティに基いて前記量子化工程における量子化処理を制御する量子化制御工程とを有し、前記変化率算出工程は、フレーム内の画素値の分散値を算出する分散値算出工程を備え、前記分散値算出工程によって算出された前記符号化対象フレームの分散値と、前記予測工程が予測値を出力するときに参照する参照フレームの分散値とに基いて、前記画像の変化率をフレーム毎に算出することを特徴とする。
本発明のプログラムは、入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法の各工程をコンピュータに実行させるプログラムであって、入力画像データを量子化する量子化工程と、前記入力画像データに係る画像の変化率をフレーム毎に算出する変化率算出工程と、符号化済みフレームのアクティビティの平均を算出し、１フレーム毎に平均アクティビティの実測値を出力する実測値算出工程と、前記実測値算出工程により出力された所定の符号済みフレームに係る平均アクティビティの実測値を、前記変化率算出工程によって算出された符号化対象フレームに対する画像の変化率に応じて変更することによって、前記符号化対象フレームに適した平均アクティビティの予測値を出力する予測工程と、前記予測工程により出力された平均アクティビティの予測値を用いてアクティビティの正規化を行う正規化工程と、前記正規化工程によって正規化されたアクティビティに基いて前記量子化工程における量子化処理を制御する量子化制御工程とをコンピュータに実行させ、前記変化率算出工程は、フレーム内の画素値の分散値を算出する分散値算出工程を備え、前記分散値算出工程によって算出された前記符号化対象フレームの分散値と、前記予測工程が予測値を出力するときに参照する参照フレームの分散値とに基いて、前記画像の変化率をフレーム毎に算出することを特徴とする。
本発明によれば、分散値算出手段によって算出された符号化対象フレームの分散値と、予測値を出力するときに参照する参照フレームの分散値とに基いて、画像の変化率をフレーム毎に算出するようにしたので、従来の平均アクティビティの予測方法に比べて、高画質または高能率な符号化が行うことができる。
本願発明の実施形態を説明する前に、本願発明の背景技術を詳細に説明する。
前述のように、ＴＭ５方式では、正規化アクティビティの算出方法として、符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値として使用する。そのため、正規化アクティビティのフレーム間における大きな変動を抑制することができる。しかしその反面、例えば、画像の絵柄がフレーム間で大きく変化するフラッシュやシーンチェンジ等の場合に、平均アクティビティの予測が外れるため量子化制御が適切に動作しないといった問題があった。
通常、フラッシュが発光した場合は、フレームを構成する２フィールドのうち、どちらか一方のフィールド画像のみフラッシュ発光により輝度値が変化する。アクティビティは、前述のようにフィールド離散コサイン変換モードにおける４つの８×８画素ブロックと、フレーム離散コサイン変換モードにおける４つの８×８画素ブロックとの、合計８つのブロックの最小分散値に基づき算出される。
フレーム離散コサイン変換モードにおける８×８画素ブロックのフラッシュ発光時の分散値は、フラッシュの発光によりフレームを構成するどちらか一方のフィールドの輝度値が変化しているため通常大きくなる。フラッシュが発光していなければ、８ブロックの分散値のうち最小値としてフレーム離散コサイン変換モードのブロックの分散値を選択するはずであったマクロブロックでは、フィールド離散コサイン変換モードのブロックの分散値を最小値として選択することになる。
そのため、フラッシュが発光していない場合に比べ、マクロブロック毎に算出されるアクティビティは大きくなる。その結果、フラッシュ発光フレームにおけるアクティビティの平均値である平均アクティビティ実測値は大きくなる。これにより、符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値として使用するＴＭ５予測方式では、平均アクティビティの予測が外れる可能性が高い。
シーンチェンジでは、画像の絵柄がシーンチェンジ直前フレームとシーンチェンジ直後フレームとで大きく異なる。そのため、分散値から算出されるアクティビティも大きく異なる。その結果、シーンチェンジ直前フレームとシーンチェンジ直後フレームの平均アクティビティ実測値も大きく異なる。これにより、符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値として使用するＴＭ５予測方式では、平均アクティビティの予測が外れる可能性が高い。
例えば、図１０（ｂ）に、図１０（a）のようなIピクチャとPピクチャから構成されるストリームについて説明する。この例は、Ｐ３ピクチャでフラッシュ等により１フレームだけ前後のフレームと相関がなくなった場合における実際に算出される平均アクティビティ実測値とＴＭ５予測方式による平均アクティビティ予測値の変化を示す。ただし、Ｉ０ピクチャの平均アクティビティ予測値は、所定の初期値を与えるため図示していない。
図１０（ｂ）において、Ｐ１ピクチャ及びＰ２ピクチャはそれぞれ符号化順で直前のフレームと相関があるため、ＴＭ５方式で予測した平均アクティビティ予測値と実際に算出される平均アクティビティ実測値の誤差が少ない。フラッシュ等によりＰ３ピクチャは前後フレームとの相関がなくなっているため、実際に算出される平均アクティビティ実測値はＰ３ピクチャで増加し、Ｐ４ピクチャで減少している。
しかし、ＴＭ５予測方式では符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値と使用するため、Ｐ３ピクチャとＰ４ピクチャにおいて、平均アクティビティ実測値と平均アクティビティ予測値との間に大きな誤差が発生する。
また、図１０（ｃ）に、Ｐ３ピクチャにおいてシーンチェンジ等により直前のフレームとの相関がなくなった場合における平均アクティビティ実測値とＴＭ５予測方式による平均アクティビティ予測値の変化を示す。図１０（ｂ）と同様に、Ｐ３ピクチャにおいて、実際に算出される平均アクティビティ実測値とＴＭ５予測方式の平均アクティビティ予測値に間に大きな誤差が発生する。
次に、図１１を参照しながら、この平均アクティビティ予測値の誤差による量子化制御への影響について説明する。図１１のＬ１１０１は、図１０（ｃ）のＰ３ピクチャを実際に算出した平均アクティビティ実測値（avg＿act＝２００）を用いて正規化を行った場合の正規化アクティビティの変化を示している。
図１１のＬ１１０２は、図１０（ｃ）のＰ３ピクチャをＴＭ５予測方式で平均アクティビティを予測した平均アクティビティ予測値（pred＿avg＿act＝５０）を用いて正規化を行った場合の正規化アクティビティの変化を示している。
例えば、アクティビティact＝１５０において、平均アクティビティ実測値avg＿act＝２００で正規化した（点Ａ）場合の正規化アクティビティは「１．４」である。それに対して、ＴＭ５予測方式の平均アクティビティ予測値pred＿avg＿act＝５０で正規化した（点Ｂ）場合の正規化アクティビティは「０．９」である。この２点の正規化アクティビティは大きく異なる。
つまり、本来の平均アクティビティ実測値を使ったアクティビティの正規化であれば粗く量子化されるべきブロックが、ＴＭ５方式で予測した平均アクティビティ予測値を使ったアクティビティの正規化を行うことにより細い量子化が行われてしまう。このように、ＴＭ５方式で予測した平均アクティビティ予測値を使って正規化を行うと、特に画像の相関がなくなった場合に不適切な量子化ステップが設定され、量子化制御が適切に動作しないといった問題があった。
（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
図１は、本発明の実施形態を示し、画像符号化装置の構成例を示すブロック図である。以下、本実施形態の構成例について図１を参照して説明する。
まず、画像並び替え部１０１は、少なくとも１枚のフレームをバッファリングし、入力画像を表示順から符号化順に並び替える。ブロック分割部１０２は、入力された非圧縮の画像データを例えば１６×１６画素のマクロブロックに分割する。減算器１０３は、入力画像データから予測画像データを減算し画像残差データを出力する。予測画像データの生成については後述する。
離散コサイン変換部１０４は、減算器１０３から出力された画像残差データを直交変換処理して変換係数を出力する。量子化部１０５は上記変換係数をマクロブロック毎に算出される量子化スケールに基づき量子化する。可変長符号化部１０６には、量子化部１０５で量子化された変換係数が入力され、可変長符号化部１０６はこれを可変長符号化して符号化データとする。符号化データは一旦バッファ部１０７に溜められた後で出力される。
画像変化率算出部１１５は、表示順の非圧縮映像信号を入力し、少なくとも２枚以上のフレームにおける画像の相関性を判定することにより画像の変化率を算出する。平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力された画像の変化率と後述の符号量制御部１１４より出力された符号化済みのフレームの平均アクティビティ実測値とに応じて、符号化対象フレームに適した平均アクティビティを予測する。そして、平均アクティビティ予測値を符号量制御部１１４に出力する。
平均アクティビティ予測値は、量子化スケールを算出するブロック毎に出力される。符号量制御部１１４は平均アクティビティ予測値を用いてアクティビティの正規化を行う。そして、バッファ部１０７に溜められたデータがオーバーフローやアンダーフローを起こさないよう決定された量子化スケールコードと正規化アクティビティより量子化スケールとを決定し、量子化部１０５に出力する。また、符号量制御部１１４は１フレームのアクティビティの平均を算出し、平均アクティビティ実測値として平均アクティビティ予測部１１６に出力する。
一方、量子化部１０５で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部１０８は、量子化部１０５で量子化された変換係数を逆量子化する。さらに、逆離散コサイン変換部１０９は逆量子化部１０８で逆量子化された変換係数を逆離散コサイン変換し、復号画像残差データとして出力する。
加算器１１０は、復号画像残差データと予測画像データとを加算し、再構成画像データとして出力する。再構成画像データはフレームメモリ１１１に記録される。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ１１１に暫くの期間保存される。
動き補償部１１２は、フレームメモリ１１１に記録された再構成画像データを用いて動き検出部１１３によって検出された動きベクトル情報に基づいて動き補償を行い、予測画像データを生成する。動き検出部１１３は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報を動き補償部１１２と可変長符号化部１０６へ出力する。
続いて、本発明の特徴である画像変化率算出部１１５及び平均アクティビティ予測部１１６について詳しく説明する。
まず、画像変化率算出部１１５について説明する。画像変化率算出部１１５は、少なくとも２枚のフレームの画像特徴量を比較することにより画像の変化率を算出する。画像変化率の算出は、表示順の非圧縮映像信号に対して行い、図１の前記画像並び替え部１０１により少なくとも１枚のフレームをバッファリングするため、符号化対象フレームの符号化開始前に算出することができる。画像変化率の算出は、例えば、フレーム内の画素値の分散を用いて算出される。以下、フレーム内の画素値の分散を用いた画像変化率の算出について説明する。
フレーム内画素値の分散の算出は式（５）に基づき算出される。Ｐｊはフレーム内の輝度信号画素値であり、ｖａｒはフレーム内画素値の分散値である。Ｎはフレーム内画素値の総数であり、Ｐはフレーム内画素値Ｐｊのフレームにおける平均画素値である。
Figure 0004908943
一般に、分散値が大きくなるほど画像の高域成分が多く、分散値が小さくなるほど画像の低域成分が多くなるため、おおよその絵柄を推定できる。これにより少なくとも２枚以上のフレームの分散値を比較することにより画像の変化率を算出することが可能である。例えば、フラッシュ等により１フレームだけ相関がなくなった場合について、図２を参照して説明する。
図２（ａ）は、フレーム番号３のフレームでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合の分散値の変化を表した図である。通常、フラッシュが発光した場合は、１フレームのうちどちらか一方のフィールドのみ輝度値が変化する。そのため、図２のようにフレーム番号３の分散値は直前及び直後フレームと比べて大きくなる。
また、図２（ｂ）は、フレーム番号３のフレームでシーンチェンジ等によりフレーム番号３以前のフレームとフレーム番号３以降のフレームとの相関がなくなった場合の分散値の変化を表した図である。フレーム番号３以降のフレームに高域成分が多く含まれる場合は、図２（ｂ）のように分散値がフレーム番号３以降大きくなる。逆に、図示していないが、フレーム番号３以降のフレームに低域成分が多く含まれる場合は、分散値がフレーム番号３以降小さくなる。
画像変化率算出部１１５は、このような分散値の変化より画像の変化率Xをフレーム毎に算出し、平均アクティビティ算出部１１６に出力する。例えば、フレーム番号３と２の画像変化率算出式を以下に示す。
X3,2＝ｆ（ＶＡＲ3 ，ＶＡＲ2）・・・（６）
式（６）において、ＶＡＲ3はフレーム番号３の分散値を表し、ＶＡＲ2はフレーム番号２の分散値を表している。また、X3,2はフレーム番号３と２の画像変化率を表し、フレーム番号３と２の分散値の関数として算出される。分散値を比較するフレームは符号化対象フレームと符号化順で符号化対象フレームの少なくとも１フレーム前のフレームである。この関数の例を式（７）に示す。
X3,2＝ＶＡＲ3 ／ ＶＡＲ2・・・（７）
フレーム番号３の分散値のほうがフレーム番号２の分散値よりも大きい場合の画像変化率は「１．０」よりも大きい値を取り、フレーム番号３の分散値のほうがフレーム番号２の分散値よりも小さい場合の画像変化率は「１．０」よりも小さい値を取る。分散値に変化がない場合は、画像の変化もないものとし画像変化率は「１．０」となる。
つまり、図２（ｂ）において、フレーム番号２と１の分散値ＶＡＲ2とＶＡＲ1の分散値は変化がないので画像変化率X2,1は「１．０」である。また、画像変化率が「１．０」を中心に所定範囲内（例えば、０．８〜１．２）の場合は、画像変化率の微小変化を抑制するために、画像の変化がないものとし、画像変化率を「１．０」とみなしてもよい。画像変化率の微小変化を抑制したことにより、フレーム間の相関性が大きく失われた時のみ後述する画像変化率に応じて平均アクティビティ実測値を変更し、平均アクティビティ予測値を算出することが可能となる。
なお、画像変化率の算出は、フィールド内画素値の分散に応じて算出してもよい。前述のように、フラッシュの発光により、１フレームのうちどちらか一方のフィールドの輝度値が変化する。一般的に、フラッシュが発光した場合はフラッシュが発光した１フィールドにおいて、画面の一部の輝度値が高くなる。そのため、フラッシュが発光したフィールドの分散値は直前及び直後フィールドと比べて大きくなる。
このように算出したフィールド内画素値の分散値に基づき、式（６）、（７）で前述したように、フィールド分散値の比率に従って画像変化率を算出する。この場合、フラッシュの発光フレームにおいてはどちらか一方のフィールドの分散値しか変化しないため、２つのフィールドの画像変化率のうち、どちらか大きい方をフレームの代表画像変化率としてもよい。
次に、平均アクティビティ予測部１１６について説明する。
まず、ＩピクチャとＰピクチャのみで構成されるストリームの場合における平均アクティビティ予測値の算出について図３及び図４を参照して説明する。
図３（ａ）は、ＩピクチャとＰピクチャのみで構成され、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合のストリームを表示順で表したものである。
図３（ｂ）は、図３（ａ）のような画像を符号化する場合の分散値の変化を示し、図３（ｃ）は、図３（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と実際に算出される平均アクティビティ実測値との変化を示す。ただし、Ｉ０ピクチャの平均アクティビティ予測値は、所定の初期値を与えるため図示していない。
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。
前述のように、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合はＰ３ピクチャのみ分散値が高くなる。平均アクティビティ予測部１１６は、平均アクティビティ予測値を算出する。本実施形態においては、画像変化率算出部１１５より出力されたＰ３ピクチャとＰ２ピクチャとの画像の変化率ＸP3P2と、符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴP2とを用いて算出する。これにより、以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3が算出される。
PRED＿AVG＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴP2 × ＸP3P2・・・（８）
つまり、符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値を画像の変化率に応じて変更した値を平均アクティビティ予測値とする。画像変化率が「１．０」よりも大きい値であれば、平均アクティビティ実測値よりも大きい値を平均アクティビティ予測値とする。また、画像変化率が「１．０」よりも小さい値であれば、平均アクティビティ実測値よりも小さい値を平均アクティビティ予測値とする。
そのため、本発明の予測方式では、符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値をそのまま平均アクティビティ予測値とするＴＭ５の予測方式に比べ、平均アクティビティの予測誤差が少ない。これにより、入力画像により適した平均アクティビティで正規化することができる。ただし、画像の変化率が「１．０」の場合（例えば、符号化対象フレームが図３のＰ１、Ｐ２、Ｐ５、Ｐ６の場合）において、平均アクティビティ予測値は符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値と等しくなる。
この平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴの算出を全てのフレームについて行い、符号量制御部１１４はフレーム毎に算出される平均アクティビティ予測値に従いアクティビティの正規化を行い、量子化特性を変更する。
また、図３の例のように、フラッシュの発光等により１フレームだけ直前直後のフレームとの相関がなくなる場合のＰ４ピクチャは、Ｐ３ピクチャとの分散値の差が大きく、Ｐ２ピクチャとの分散値の差が小さいためにＰ２ピクチャと相関が強いと考えられる。そのため、次の式（９）に従って平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP4を算出してもよい。
ＰＲＥＤ＿ＡＶＧ＿＿ＡＣＴP4 ＝ ＡＶＧ＿ＡＣＴP2・・・（９）
つまり、画像の変化率Ｘに応じて平均アクティビティを変更するのではなく、符号化順で２フレーム前の相関が強いＰ２ピクチャの平均アクティビティをそのまま平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴとする。
図４（ａ）は、ＩピクチャとＰピクチャのみで構成され、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合のストリームを表示順で表したものである。図４（ｂ）は、図４（ａ）のような画像を符号化する場合の分散値の変化を示し、図４（ｃ）は、図４（ａ）のような画像を符号化する場合の本発明の平均アクティビティ予測値と実際に符号化した後に算出される平均アクティビティ実測値の変化を示す。ただし、Ｉ０ピクチャの平均アクティビティ予測値は、所定の初期値を与えるため図示していない。
平均アクティビティ予測部１１６は前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。
前述のようにＰ３ピクチャでシーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合はＰ３ピクチャ以降の分散値が変化する。例えば、図４（ｂ）のように分散値が高くなる。平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＰ２ピクチャとの画像の変化率ＸP3P2と、符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴP2を用いて前述の方法と同様に平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
PRED＿AVG＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴP2 × ＸP3P2・・・（８）
つまり、符号化対象フレームより符号化順で１フレーム前のフレームの平均アクティビティ実測値を画像の変化率に応じて変更した値を平均アクティビティ予測値とする。この平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴの算出を全てのフレームについて行い、符号量制御部１１４はフレーム毎に算出される平均アクティビティ予測値に従いアクティビティの正規化を行う。
次に、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成されるストリームの場合における平均アクティビティ予測値の算出について、図５〜９を参照して説明する。前述のＩピクチャ及びＰピクチャで構成されるストリームの場合における平均アクティビティ予測値の算出と重複する説明は省略する。
図５（ａ）は、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成され、Ｂ２ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合のストリームを表示順で表したものである。
図５（ｂ）は、図５（ａ）のような画像を符号化する場合の分散値の変化を示し、図５（ｃ）は、図５（ａ）のような画像を符号化する場合の本発明の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、Ｂ２ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合において、Ｂ２ピクチャの平均アクティビティ予測値算出方法について説明する。
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＢ２ピクチャとＰ３ピクチャの画像の変化率ＸB2P3と符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴP3を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴB2を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴB2 ＝ ＡＶＧ＿ＡＣＴP3 × ＸB2P3・・・（１０）
図６（ａ）は、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成され、シーンチェンジ等によりＢ２ピクチャの前後で相関がなくなった場合のストリームを表示順で表したものである。図６（ｂ）は、図６（ａ）のような画像を符号化する場合の分散値の変化を示し、図６（ｃ）は、図６（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、シーンチェンジ等によりＢ２ピクチャの前後で相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。ここで、画像並び替え部１０１により符号化順への画像の並び替えが行われるので、図６（ｂ）のように、符号化順ではＰ３ピクチャから分散値が変化していることに注意する。
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＢ０ピクチャの画像の変化率ＸP3B0と符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴB0を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴB0 × ＸP3B0・・・（１１）
図７（ａ）は、Ｉピクチャ、Ｐピクチャ及びＢピクチャで構成され、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合のストリームを表示順で表したものである。
図７（ｂ）は、図７（ａ）のような画像を符号化する場合の分散値の変化を示し、図７（ｃ）は、図７（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
平均アクティビティ予測部１１６は、前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。例えば、Ｐ３ピクチャでフラッシュの発光等により１フレームのみ直前直後のフレームとの相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＢ０ピクチャの画像の変化率ＸP3B0と符号化対象フレームより符号化順で１フレーム前の符号化済みであるフレームの平均アクティビティ実測値ＡＶＧ＿ＡＣＴB0を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴB0 × ＸP3B0・・・（１１）
図８（ａ）はＩピクチャ、Ｐピクチャ及びＢピクチャで構成され、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合のストリームを表示順で表したものである。図８（ｂ）は、図８（ａ）のような画像を符号化する場合の分散値の変化を示し、図８（ｃ）は、図８（ａ）のような画像を符号化する場合の本実施形態の平均アクティビティ予測値と平均アクティビティ実測値の変化を示す。
平均アクティビティ予測部１１６は前述の画像変化率算出部１１５より出力された画像変化率と符号量制御部から出力された符号化済みのフレームの平均アクティビティ実測値に応じて符号化対象フレームの平均アクティビティ予測値を算出する。
例えば、シーンチェンジ等によりＰ３ピクチャの前後で相関がなくなった場合において、Ｐ３ピクチャの平均アクティビティ予測値算出方法について説明する。ここで、画像並び替え部１０１により符号化順への画像の並び替えが行われるので、図８（ｂ）のように、符号化順ではＰ３、Ｂ２、Ｐ５ピクチャにおいて分散値が変化していることに注意する。
平均アクティビティ予測部１１６は、画像変化率算出部１１５より出力されたＰ３ピクチャとＢ０ピクチャの画像の変化率ＸP3B0と符号化対象フレームより符号化順で１フレーム前のフレームの符号化済みである平均アクティビティＡＶＧ＿ＡＣＴB0を用いて以下のように平均アクティビティ予測値ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3を算出する。
ＰＲＥＤ＿ＡＶＧ＿ＡＣＴP3 ＝ ＡＶＧ＿ＡＣＴB0 × ＸP3B0・・・（１１）
このように、アクティビティの正規化を行うに当たって、ＴＭ５予測方式のように符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を平均アクティビティ予測値としてそのまま使用しない。例えば、符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を画像の変化率に応じて変更することにより、入力画像に適した平均アクティビティ予測値を使ったアクティビティの正規化が可能となる。
また、フラッシュの発光等により１フレームだけ直前直後のフレームとの相関がなくなる場合においては、フラッシュ発光フレームの直前フレームと直後フレームの相関が強い。このため、フラッシュ発光フレームの符号化順で直後のフレームに関しては、少なくとも符号化順で２フレーム前の平均アクティビティ実測値を平均アクティビティ予測値としてそのまま使用する。これにより、入力画像に適した平均アクティビティ予測値を使ってアクティビティの正規化が可能となり、量子化制御を適切に動作させることができる。
次に、本実施形態における、画像の変化率と符号化対象フレームよりも符号化順で１フレーム前のフレームの平均アクティビティ実測値に応じて平均アクティビティ値を予測する。そして、その平均アクティビティ予測値に従ってアクティビティの正規化を行う処理について、図９のフローチャートを参照して説明する。
まず、ステップＳ９０１において、非圧縮の映像信号を入力する。そして、ステップＳ９０２において画像変化率算出部１１５は前述の方法により、符号化対象フレームの分散値と参照フレームの分散値から画像の変化率を算出し、平均アクティビティ予測部１１６に出力する。
次に、ステップＳ９０３において、平均アクティビティ予測部１１６は、符号量制御部１１４から出力された符号化済みのフレームの平均アクティビティ実測値を入力する。次に、ステップＳ９０４において、画像変化率算出部１１５より出力された画像変化率及び符号量制御部１１４から出力された符号化済みのフレームの平均アクティビティ実測値に応じて前述の方法により平均アクティビティ予測値を算出する。そして、符号量制御部１１４に出力する。
次に、ステップＳ９０５において、符号量制御部１１４は、平均アクティビティ予測値に従って前述の式（３）によりアクティビティの正規化を行う。ステップＳ９０６において、ステップＳ９０１〜９０５の処理をフレーム毎に繰り返し、すべてのフレームについて正規化アクティビティを算出する。
本実施形態の画像符号化装置によれば、入力される非圧縮映像信号に基づき算出されるフレーム間における画像の相関性に応じて平均アクティビティを予測する。そして、符号化対象フレームに適した平均アクティビティ予測値を用いてアクティビティの正規化を行い、適切に量子化制御をリアルタイムに動作させることができる。そのため、特に画像の相関性が失われる場合において符号化効率を向上させることができるといった効果が得られる。
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図９に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
本発明の実施形態を示し、画像符号化装置の構成例を示すブロック図である。 （ａ）は、直前直後のフレームとの相関がなくなった場合の分散値の変化を表した図、（ｂ）はフレーム番号３以前のフレームとフレーム番号３以降のフレームとの相関がなくなった場合の分散値の変化を表した図である。 本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。 本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。 本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。 本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。 本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。 本発明の実施形態を示し、平均アクティビティ予測値の算出方法を示す図である。 本発明の実施形態を示し、平均アクティビティ予測値に従ってアクティビティの正規化を行う処理動作を示すフローチャートである。 ＴＭ５方式の平均アクティビティ予測値の算出方法を示す図である。 平均アクティビティと正規化アクティビティの関係を示す図である。
符号の説明
１０１ 画像並び替え部
１０２ ブロック分割部
１０３ 減算器
１０４ 離散コサイン変換部
１０５ 量子化部
１０６ 可変長符号化部
１０７ バッファ部
１０８ 逆量子化部
１０９ 逆離散コサイン変換部
１１０ 加算器
１１１ フレームメモリ
１１２ 動き補償部
１１３ 動き検出部
１１４ 符号量制御部
１１５ 画像変化率算出部
１１６ 平均アクティビティ予測部

Claims (11)

  1. 入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化装置であって、
    入力画像データを量子化する量子化手段と、
    前記入力画像データに係る画像の変化率をフレーム毎に算出する変化率算出手段と、
    符号化済みフレームのアクティビティの平均を算出し、１フレーム毎に平均アクティビティの実測値を出力する実測値算出手段と、
    前記実測値算出手段により出力された所定の符号済みフレームに係る平均アクティビティの実測値を、前記変化率算出手段によって算出された符号化対象フレームに対する画像の変化率に応じて変更することによって、前記符号化対象フレームに適した平均アクティビティの予測値を出力する予測手段と、
    前記予測手段により出力された平均アクティビティの予測値を用いてアクティビティの正規化を行う正規化手段と、
    前記正規化手段によって正規化されたアクティビティに基いて前記量子化手段における量子化処理を制御する量子化制御手段とを有し、
    前記変化率算出手段は、フレーム内の画素値の分散値を算出する分散値算出手段を備え、前記分散値算出手段によって算出された前記符号化対象フレームの分散値と、前記予測手段が予測値を出力するときに参照する参照フレームの分散値とに基いて、前記画像の変化率をフレーム毎に算出することを特徴とする画像符号化装置。
  2. 前記予測手段は、前記符号化対象フレームの分散値が、前記参照フレームの分散値よりも小さいときは、前記符号化対象フレームの平均アクティビティの予測値を、前記参照フレームの平均アクティビティよりも小さくすることを特徴とする請求項１に記載の画像符号化装置。
  3. 前記予測手段は、前記符号化対象フレームの分散値が、前記参照フレームの分散値よりも大きいときは、前記符号化対象フレームの平均アクティビティの予測値を、前記参照フレームの平均アクティビティよりも大きくすることを特徴とする請求項１に記載の画像符号化装置。
  4. 前記予測手段は、前記符号化対象フレームの分散値と、前記参照フレームの分散値とが同じであるときは、前記符号化対象フレームの平均アクティビティの予測値を、前記参照フレームの平均アクティビティとすることを特徴とする請求項１に記載の画像符号化装置。
  5. 前記予測手段は、画像変化率が「１．０」を中心に所定範囲内の場合は、画像の変化がないものとし、前記符号化対象フレームの平均アクティビティの予測値を、前記参照フレームの平均アクティビティとすることを特徴とする請求項４に記載の画像符号化装置。
  6. 前記予測手段は、前記符号化対象フレームと以前に入力されたフレームとの相関性に応じて、前記参照フレームを変更することを特徴とする請求項１に記載の画像符号化装置。
  7. 前記予測手段は、前記符号化対象フレームよりも符号化順で少なくとも１フレーム前の符号化済フレームの平均アクティビティに応じて、前記符号化対象フレームの平均アクティビティを予測値を出力することを特徴とする請求項６に記載の画像符号化装置。
  8. 前記予測手段は、前記符号化対象フレームよりも符号化順で１フレーム前の平均アクティビティ実測値を画像の変化率に応じて変更するとともに、１フレームだけ直前直後のフレームとの相関がなくなる場合においては、符号化順で直後のフレームに関しては、少なくとも符号化順で２フレーム前の平均アクティビティ実測値を平均アクティビティ予測値としてそのまま使用することを特徴とする請求項７に記載の画像符号化装置。
  9. 入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法であって、
    入力画像データを量子化する量子化工程と、
    前記入力画像データに係る画像の変化率をフレーム毎に算出する変化率算出工程と、
    符号化済みフレームのアクティビティの平均を算出し、１フレーム毎に平均アクティビティの実測値を出力する実測値算出工程と、
    前記実測値算出工程により出力された所定の符号済みフレームに係る平均アクティビティの実測値を、前記変化率算出工程によって算出された符号化対象フレームに対する画像の変化率に応じて変更することによって、前記符号化対象フレームに適した平均アクティビティの予測値を出力する予測工程と、
    前記予測工程により出力された平均アクティビティの予測値を用いてアクティビティの正規化を行う正規化工程と、
    前記正規化工程によって正規化されたアクティビティに基いて前記量子化工程における量子化処理を制御する量子化制御工程とを有し、
    前記変化率算出工程は、フレーム内の画素値の分散値を算出する分散値算出工程を備え、前記分散値算出工程によって算出された前記符号化対象フレームの分散値と、前記予測工程が予測値を出力するときに参照する参照フレームの分散値とに基いて、前記画像の変化率をフレーム毎に算出することを特徴とする画像符号化方法。
  10. 入力画像の絵柄の複雑さに応じて量子化特性を変更させながら符号量制御を行う画像符号化方法の各工程をコンピュータに実行させるプログラムであって、
    入力画像データを量子化する量子化工程と、
    前記入力画像データに係る画像の変化率をフレーム毎に算出する変化率算出工程と、
    符号化済みフレームのアクティビティの平均を算出し、１フレーム毎に平均アクティビティの実測値を出力する実測値算出工程と、
    前記実測値算出工程により出力された所定の符号済みフレームに係る平均アクティビティの実測値を、前記変化率算出工程によって算出された符号化対象フレームに対する画像の変化率に応じて変更することによって、前記符号化対象フレームに適した平均アクティビティの予測値を出力する予測工程と、
    前記予測工程により出力された平均アクティビティの予測値を用いてアクティビティの正規化を行う正規化工程と、
    前記正規化工程によって正規化されたアクティビティに基いて前記量子化工程における量子化処理を制御する量子化制御工程とをコンピュータに実行させ、
    前記変化率算出工程は、フレーム内の画素値の分散値を算出する分散値算出工程を備え、前記分散値算出工程によって算出された前記符号化対象フレームの分散値と、前記予測工程が予測値を出力するときに参照する参照フレームの分散値とに基いて、前記画像の変化率をフレーム毎に算出することを特徴とするプログラム。
  11. 請求項１０に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2006174379A 2006-06-23 2006-06-23 画像符号化装置及び画像符号化方法 Expired - Fee Related JP4908943B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006174379A JP4908943B2 (ja) 2006-06-23 2006-06-23 画像符号化装置及び画像符号化方法
US11/760,397 US8259796B2 (en) 2006-06-23 2007-06-08 Image coding apparatus and image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006174379A JP4908943B2 (ja) 2006-06-23 2006-06-23 画像符号化装置及び画像符号化方法

Publications (3)

Publication Number Publication Date
JP2008005337A JP2008005337A (ja) 2008-01-10
JP2008005337A5 JP2008005337A5 (ja) 2009-08-06
JP4908943B2 true JP4908943B2 (ja) 2012-04-04

Family

ID=38873550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006174379A Expired - Fee Related JP4908943B2 (ja) 2006-06-23 2006-06-23 画像符号化装置及び画像符号化方法

Country Status (2)

Country Link
US (1) US8259796B2 (ja)
JP (1) JP4908943B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725127B2 (ja) * 2005-02-16 2011-07-13 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP5363302B2 (ja) * 2009-12-24 2013-12-11 株式会社メガチップス 画像符号化装置及び画像変換装置
JP5871602B2 (ja) * 2011-12-19 2016-03-01 キヤノン株式会社 符号化装置
EP3151560B1 (en) * 2013-06-11 2019-02-27 BlackBerry Limited Intra-coding mode-dependent quantization tuning
US9787989B2 (en) 2013-06-11 2017-10-10 Blackberry Limited Intra-coding mode-dependent quantization tuning
US9930346B2 (en) * 2014-04-15 2018-03-27 Qualcomm Incorporated System and method for flatness detection for display stream compression (DSC)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06268983A (ja) * 1993-03-15 1994-09-22 Toshiba Corp 画像圧縮装置
JPH07115651A (ja) * 1993-10-18 1995-05-02 Mitsubishi Electric Corp 映像信号符号化方式
JP3200518B2 (ja) 1994-06-27 2001-08-20 日本電信電話株式会社 画像信号符号化装置
JP3755155B2 (ja) * 1994-09-30 2006-03-15 ソニー株式会社 画像符号化装置
KR100232098B1 (ko) * 1997-03-26 1999-12-01 서평원 퍼지 제어를 이용한 mpeg 영상 신호의 전송율 제어 장치
JP4171934B2 (ja) * 1997-12-26 2008-10-29 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2002247584A (ja) * 2001-02-15 2002-08-30 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法および装置、並びに、画像符号化処理用プログラム及びそのプログラムの記録媒体
JPWO2002080575A1 (ja) * 2001-03-29 2004-07-22 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
GB2387059A (en) * 2002-03-28 2003-10-01 Sony Uk Ltd Data compression using trial quantisations to determine final quantiser
JP4257655B2 (ja) 2004-11-04 2009-04-22 日本ビクター株式会社 動画像符号化装置
JP5267655B2 (ja) * 2009-03-19 2013-08-21 富士通株式会社 画像符号化装置、画像符号化制御方法および画像符号化プログラム
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter

Also Published As

Publication number Publication date
US8259796B2 (en) 2012-09-04
JP2008005337A (ja) 2008-01-10
US20070297508A1 (en) 2007-12-27

Similar Documents

Publication Publication Date Title
JP4908943B2 (ja) 画像符号化装置及び画像符号化方法
US7023914B2 (en) Video encoding apparatus and method
US9241159B2 (en) Encoding apparatus, method of controlling thereof, and computer program
US7925108B2 (en) Encoding device and dynamic image recording system having the encoding device
JP4221655B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JPWO2006101126A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP2003037843A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20060104350A1 (en) Multimedia encoder
WO2006046550A1 (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
JPWO2002080567A1 (ja) 画像信号量子化装置およびその方法
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
JPH10243397A (ja) 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
US8218626B2 (en) Encoding control apparatus, encoding control method, and storage medium
JPH11196424A (ja) 画像処理装置および方法、並びに提供媒体
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JP4478480B2 (ja) 動画像符号化装置及びその方法
JP4185413B2 (ja) フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム
JP4510696B2 (ja) 画像処理装置及び画像処理方法
JP3652889B2 (ja) 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム
JP4747109B2 (ja) 演算量調整装置
JP2007300557A (ja) 画像符号化装置及び画像符号化方法
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
JP4110345B2 (ja) 画像圧縮装置および方法、並びにプログラム格納媒体
JP4273386B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP2008098980A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4908943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees