JPWO2006098226A1 - 符号化装置および符号化装置を備えた動画像記録システム - Google Patents

符号化装置および符号化装置を備えた動画像記録システム Download PDF

Info

Publication number
JPWO2006098226A1
JPWO2006098226A1 JP2007508098A JP2007508098A JPWO2006098226A1 JP WO2006098226 A1 JPWO2006098226 A1 JP WO2006098226A1 JP 2007508098 A JP2007508098 A JP 2007508098A JP 2007508098 A JP2007508098 A JP 2007508098A JP WO2006098226 A1 JPWO2006098226 A1 JP WO2006098226A1
Authority
JP
Japan
Prior art keywords
quantization
unit
encoding
matrix
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007508098A
Other languages
English (en)
Inventor
尋紀 稲垣
尋紀 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006098226A1 publication Critical patent/JPWO2006098226A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

符号化の目標ビットレートの高低にかかわらず、常に良好な画質を維持することを可能にする。 符号化装置２１０は、動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部１０３と、動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部２１２と、決定されたマトリクスに基づいて係数の各々を量子化し、量子化値を生成する量子化部２０４と、量子化値を符号化して、動画像の符号化データを生成する符号化部１０５とを備えている。

Description

本発明は、動画像の画像データを高能率に圧縮符号化する技術に関する。
近年、マルチメディアアプリケーションの発展に伴い、あらゆるメディアの情報（たとえば画像・音声・テキスト）をデジタルデータ化し、統一的に扱うことが一般的になってきた。このうち、たとえば画像、特に動画像のデジタルデータ（画像データ）のデータ量は非常に多くなるため、蓄積・伝送のためには動画像データを高能率に圧縮する圧縮技術が必要とされている。動画像の圧縮符号化のために開発された圧縮技術として、例えばＩＳＯ（国際標準化機構）によって規格化されたＭＰＥＧ−１／２／４等の圧縮方式が知られている。
これらの圧縮方式においては、画像データを直交変換して量子化する際に、量子化マトリクスが指定される。量子化マトリクスの各要素は直交変換係数の各周波数成分に対応して設けられており、その要素値を用いて直交変換係数が量子化される。量子化マトリクスの値をどのように規定するかによって周波数空間内でのビット割当特性を制御できるため、量子化マトリクスは量子化処理の特徴（量子化特性）を示しているといえる。
量子化マトリクスは、画面内（イントラ）符号化時と、画面間予測（インターまたはノン・イントラ）符号化のそれぞれに対して設定することができる。これにより予測方法ごとに異なる周波数ビット割当特性を持たせることが可能となっている。さらにＭＰＥＧ−２規格では、輝度データおよび色差データについて、それぞれ異なる量子化マトリクスを設定することも可能である。
図１は、従来の動画像符号化装置１００の構成を示す。動画像符号化装置１００は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部１１１を備える。
量子化マトリクスを用いた量子化演算は量子化部１０４において行われる。まず量子化部１０４は、量子化マトリクスの各係数値に量子化スケールを乗じて、量子化パラメータを算出する。量子化スケールは、圧縮符号化における目標ビットレート、および、可変長符号化部１０５で生成された符号化画像データの発生符号量に基づいて、レート制御部１１１によって生成される。
そして量子化部１０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータで量子化し、その結果を量子化値として出力する。量子化のための演算処理では、主として直交変換係数を量子化パラメータで除算する処理を含む。可変長符号化部１０５はその量子化値を圧縮符号化して出力する。この結果、符号化画像データが得られる。
ＭＰＥＧ−２規格では、標準的に用いられる量子化マトリクス（デフォルトマトリクス）が規定されている（図４（ａ）および（ｂ））。たとえば図４（ａ）に示すイントラ符号化用の量子化マトリクスでは、右下の要素ほど、より大きい値（より重みがつけられた値）が設定されている。この結果、直交変換係数の高周波成分の量子化精度は粗い。一方、図４（ｂ）に示すノン・イントラ符号化用のデフォルトマトリクスでは、すべての要素が同じ値であり、重み付けの程度に差はない。よって、直交変換係数の高周波成分の量子化精度は同じである。言い換えれば、イントラ符号化用マトリクスは、低周波成分に相対的に多くのビット量が割り当てられるような周波数ビット割当特性となっているのに対し、ノン・イントラ符号化用マトリクスは、各周波数成分に均等にビット量が割り当てられるような周波数ビット割当特性となっている。
従来は、上述の例とは異なる量子化マトリクスも利用されている（図５（ａ）および（ｂ））。図５（ａ）および（ｂ）に示すマトリクスはＭＰＥＧ−２の規格化段階のテストモデルで利用され、「ＴＭ５の量子化マトリクス」と呼ばれている。図５（ａ）および（ｂ）から明らかなように、いずれのマトリクスも、高周波成分の量子化精度を粗くするように係数値が重み付けされていることである。そのため、低周波成分に割り当てられるビット量は相対的に多くなる。
ノン・イントラ符号化時の量子化スケールが同じであるとすると、高周波成分に関し、ＴＭ５の量子化マトリクスを利用した量子化値は、ＭＰＥＧ−２のデフォルトマトリクスを利用した量子化値よりも小さくなる。よって発生符号量を抑えることができる。これは、前者の方が高周波成分の情報がより多く削減されているためである。
なお、ＭＰＥＧ−２規格では、２つのタイプの量子化スケールが規定されている。図２は、量子化スケールの割り当て表を示す。左欄の量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）１〜３１のそれぞれに対して、タイプ０（ｑｓｃａｌｅ＿ｔｙｐｅ＝０）およびタイプ１（ｑｓｃａｌｅ＿ｔｙｐｅ＝１）が規定されており、いずれか一方の値が量子化スケールとして割り当てられる。
レート制御部１１１は、目標ビットレートおよび符号化画像データの発生符号量に基づいて量子化スケールの値を決定する。量子化スケールが同じであれば、周波数成分の量子化精度の粗さ、即ち周波数空間内でのビット割当特性は量子化マトリクスの係数値の大小によって決定される。
上述の説明から明らかなように、量子化マトリクスおよび量子化スケールは量子化値に大きく影響する。たとえば特許文献１は、量子化スケールに基づいて画面単位で量子化マトリクスを更新する技術を開示している。
日本国特開２００１−７８１９４号公報
しかしながら、上述したような重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い量子化マトリクスを択一的に用いると、種々の問題が生じる。
たとえば、上述の量子化マトリクスを用いると、所定の解像度の画像に対して低い目標ビットレートで圧縮符号化したときにブロックノイズ等が発生し、画質が劣化する。視覚への影響が大きい低周波成分の情報量までもが落とされるためである。より詳しくは、量子化マトリクスのみでは高周波成分の情報量を十分に落とすことができないため、量子化スケールを大きくして情報量をさらに落とす必要がある。しかし量子化スケールが大きくなると低周波成分の情報量も落ちる。
一方、上述の量子化マトリクスを用いて高い目標ビットレートで圧縮符号化したときにも、画質が劣化する。その理由は、量子化スケールが１だけ変化したときに生じる画質変動が大きく、この画質変動が画質劣化として現れるためである。目標ビットレートが高いと、レート制御の結果、量子化スケールを小さい値で推移させることが多くなり、量子化スケールが１だけ変化した場合でも周波数空間内での割当ビット量が大きく変化してしまうからである。
本発明の目的は、符号化の目標ビットレートの高低にかかわらず、常に良好な画質を維持する装置等を提供することにある。
本発明による符号化装置は、動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。
前記量子化部は、複数種類のマトリクスを保持しており、前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定してもよい。
前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせてもよい。
前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定してもよい。
前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持してもよい。
前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。
前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。
本発明による動画像記録システムは、動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、前記符号化データを記録媒体に書き込む記録部とを有している。前記符号化装置は、前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。
本発明によるコンピュータプログラムは、動画像の符号化データを出力するためのデータ処理装置またはシステムにおいて実行される。前記コンピュータプログラムは、前記コンピュータプログラムを実行した前記データ処理装置に、前記動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換するステップと、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定するステップと、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成するステップと、前記量子化値を符号化して、前記動画像の符号化データを生成するステップとを実行させる。
本発明の符号化装置によれば、圧縮符号化における目標ビットレートと解像度の情報に基づいて周波数空間内でのビット割当特性を決定し、目標とする画質ごとに適した量子化特性を用いて量子化する。これにより、常に良好な画質を維持することができる。
具体的には、所定の解像度の動画像に対して比較的低い目標ビットレートで圧縮符号化するときには、低周波成分に相対的に多くのビット量が割り当てられる。これにより、ブロックノイズ等の顕著な画質劣化を防ぐことができる。また、所定の解像度の画像に対して比較的高い目標ビットレートで圧縮符号化するときには、量子化スケールの変化に対して割当ビット量の変化幅を小さくする。これにより、細かいビット割当制御が可能となり、画質変動を抑えることができる。
従来の動画像符号化装置１００の構成を示す図である。 量子化スケールの割り当て表を示す図である。 実施形態１によるレコーダ２００の構成を示す図である。 ＭＰＥＧ−２規格のマトリクス群を示す図である。 テストモデルのマトリクス群を示す図である。 図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す図である。 複数の符号化条件の例を示す図である。 目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す図である。 符号化装置２１０における符号化処理の手順を示すフローチャートである。 予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を示す概念図である。 実施形態２による符号化装置３００の構成を示す図である。 実施形態２による複数の符号化条件の例を示す図である。 ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す図である。 決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示すフローチャートである。 実施形態３によるレコーダ２５０の構成を示す図である。 符号化装置４００の構成を示す図である。
符号の説明
１００ 従来の動画像の符号化装置
１０１ 入力画像メモリ
１０２ 減算部
１０３ 直交変換部
１０４ 量子化部
１０５ 可変長符号化部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 加算部
１０９ 参照画像メモリ
１１０ 動き検出／動き補償部
１１１ レート制御部
２００ レコーダ
２０４ 量子化部
２０５ 映像信号受信部
２１０ 実施形態１による動画像の符号化装置
２１１ レート制御部
２１２、３１２、４１２ 周波数ビット割当特性決定部
２１５−１、２１５−２ 記録部
３００ 実施形態２による動画像の符号化装置
４００ 実施形態３による動画像の符号化装置
４１３ 解像度変換部
５００ 実施形態３による動画像の復号化装置
以下、添付の図面を参照しながら、本発明によるデータ処理装置の実施形態を説明する。以下の説明においては、データ処理装置は動画像を録画するためのレコーダ、および／または、レコーダに含まれる動画像を圧縮符号化する符号化装置であるとする。
（実施形態１）
図３は、本実施形態によるレコーダ２００の構成を示す。レコーダ２００は、たとえばテレビ放送信号を受信してハードディスクや光ディスクに録画する番組の録画機として実現され、または、ユーザが被写体の映像／音声をハードディスクや光ディスクに記録するカムコーダとして実現される。
レコーダ２００は、映像信号受信部２０５と、符号化装置２１０と、記録部２１５−１および２１５−２を有している。映像信号受信部２０５は、テレビ放送のアナログ信号を受信して、その信号をデジタル信号（デジタルデータ）に変換して出力するチューナである。または、映像信号受信部２０５は、被写体の映像をデジタルデータとして出力するＣＣＤ素子である。
符号化装置２１０は、動画像のデジタルデータを圧縮符号化して、符号化画像データを生成する。符号化装置２１０は、たとえば１つの基板上に実装されてエンコーダボードとして実現される。
記録部２１５−１は、たとえばハードディスクドライブである。また、記録部２１５−２は、たとえば光ディスクドライブである。ハードディスクドライブおよび光ディスクドライブは、それぞれ、ハードディスクおよび光ディスクに、符号化された画像データ（映像データストリーム）を書き込み、書き込まれたそのデータを読み出すことができる。なお、図面の簡単化のため、記録部２１５−２は光ディスクとして示されている。
符号化装置２１０は１つの筐体として実現することもできる。このときは、レコーダ２００は、たとえばチューナとしての映像信号受信部２０５、符号化装置２１０および記録装置２１５−１／２１５−２から構成される記録システムとして捉えることができる。
次に、符号化装置２１０を詳細に説明する。符号化装置２１０は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部２０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部２１１と、周波数ビット割当特性決定部２１２とを備えている。
符号化装置２１０は、動画像を構成する画像（ピクチャ）のデータを、２つの符号化方法のいずれかにより圧縮符号化する。すなわち、画面内（イントラ）符号化、および、画面間予測（インターまたはノン・イントラ）符号化である。以下に符号化装置２１０の機能を概説する。
まず符号化装置２１０は、入力画像メモリ１０１において受け取った画像データを、直交変換部１０３において周波数成分の係数に変換する。そして、周波数ビット割当特性決定部２１２（以下「決定部２１２」と記述する）は、動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、符号化処理に利用する量子化マトリクスを決定する。
量子化部２０４は、決定されたマトリクスに基づいて周波数成分の係数の各々を量子化し、量子化値を生成する。そして可変長符号化部１０５はその量子化値を符号化して、動画像の符号化データを生成して出力する。
以下、符号化装置２１０の各構成要素を説明する。
入力画像メモリ１０１は、入力された各ピクチャの画像データを符号化時まで格納しておくためのメモリである。入力画像メモリ１０１は、符号化順序の変更による画像データの出力遅延に対して十分な記憶容量を有する。入力された各ピクチャの画像データは符号化時に複数のブロックに分割され、ブロック単位で符号化される。入力画像メモリ１０１は、ブロック単位で画像データを出力することができる。
なおＭＰＥＧ規格では、１６画素×１６画素の集合をマクロブロックと呼ぶ。そして、それより小さい単位のブロック（たとえば８画素×８画素の集合）をサブマクロブロックと呼ぶ。ただし、符号化の処理によって単位が変わるため、以下では、マクロブロックおよびサブマクロブロックを総称して「ブロック」と呼ぶこととする。
減算部１０２は、入力画像メモリ１０１から出力されたブロック単位の入力画像データを正入力端子に入力する。動き補償予測を行わないイントラ符号化の場合は、正入力端子から入力された入力画像データをそのまま出力する。一方、動き補償予測を行うノン・イントラ符号化の場合は、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データを負入力端子に入力して減算を行い、減算結果としてブロック単位の予測誤差画像データを出力する。
直交変換部１０３は、減算部１０２から出力されたブロック単位の画像データを、直交変換して周波数成分に変換する。直交変換として、たとえば離散コサイン変換が知られている。
レート制御部２１１は、圧縮符号化における目標ビットレート、可変長符号化部１０５で生成された前に処理された符号化画像データの発生符号量、および決定部２１２で決定された量子化マトリクスの情報に基づいて、量子化部２０４で使用する量子化スケールを決定する。量子化スケールタイプは一般的に固定されているが、固定されていなくてもよい。決定された量子化スケールは、図２のテーブルを参照して量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）に対応づけられる。この量子化スケールコードは、後述する可変長符号化部１０５において符号化される。
なお、目標ビットレートは、たとえばユーザによって録画開始前に直接設定される。または、ユーザによって目標ビットレートと対応付けられた録画モードが選択されることによって設定される。目標ビットレートは圧縮符号化の符号化条件である。
決定部２１２は、目標ビットレートと画像の解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。量子化マトリクスは予め複数準備されている。たとえば図４から図６の各（ａ）および（ｂ）には、決定部２１２によって決定される複数の量子化マトリクスの例が示されている。換言すれば、決定部２１２はこれらのマトリクスの中から、適切な量子化マトリクスを選択する。決定部２１２によって行われる処理の詳細は後述する。
図４から図６に示すマトリクス群を説明する。図４はＭＰＥＧ−２規格のマトリクス群を示す。図５はテストモデルのマトリクス群を示す。図６は、図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す。各図の（ａ）および（ｂ）として示す各マトリクスは、それぞれイントラ符号化時およびノン・イントラ符号化に用いられる。図６の（ａ）に示すマトリクスの要素値は、（１，１）成分を除き、図４の（ａ）に示すマトリクスの要素値の約１／２である。また、図６（ｂ）に示すマトリクスの要素値は、図４（ｂ）に示すマトリクスの要素値の１／２である。
上述の図４から図６の各（ａ）および（ｂ）として示す各マトリクスは、決定部２１２内、量子化部２０４内または図示しないＲＯＭまたはＲＡＭ内にマトリクスデータとして保持されてもよい。または、量子化部２０４内にハードウェア回路として実装されていてもよい。後者においては、決定部２１２はどのハードウェア回路を用いるかを決定し、量子化処理がそのハードウェア回路を利用して行われるように信号経路を切り替える指示を送るように機能すればよい。なお、後述の方法により、量子化マトリクスをリアルタイムに計算することもできる。
再び図３を参照する。
量子化部２０４は、決定部２１２で決定された量子化マトリクスの各要素値に、レート制御部２１１で決定された量子化スケールを乗じて量子化パラメータを算出する。量子化パラメータもまた、マトリクスとして得られる。そして量子化部２０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータ（対応するマトリクスの要素値）で量子化し、その結果を量子化値として出力する。この量子化処理は、主として直交変換係数を量子化パラメータで除算することによって行われる。
可変長符号化部１０５は、量子化部２０４から出力された量子化値を可変長符号化し、符号化画像データを出力する。ノン・イントラ符号化の場合には、可変長符号化部１０５はさらに動き検出／動き補償部１１０で求められた動きベクトル等の情報と共に量子化値を可変長符号化し、符号化画像データを出力する。
逆量子化部１０６は、量子化部２０４から出力された量子化値を、逆量子化して直交変換係数を生成する。このとき逆量子化に際しては、量子化部２０４で使用した量子化パラメータと同じ量子化パラメータが利用される。
逆直交変換部１０７は、逆量子化部１０６から出力された直交変換係数を逆直交変換して復号化画像データを生成する。このとき、減算部１０２においてイントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の入力画像データに対する復号化画像を生成する。一方、減算部１０２においてノン・イントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の予測誤差画像データに対する復号化画像を生成する。
加算部１０８は、予測誤差画像データの復号化画像と、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データとを加算し、最終的な復号化画像データを生成する。
参照画像メモリ１０９は、符号化時に使用される参照画像データを格納し保持しておくための記憶容量を有している。参照画像メモリ１０９は、イントラ符号化時には逆直交変換部１０７で生成されたブロック単位の復号化画像データをそのまま格納する。一方参照画像メモリ１０９は、ノン・イントラ符号化時には加算部１０８で生成されたブロック単位の復号化画像データを格納する。参照画像メモリ１０９に格納された復号化画像データは、以降の入力画像に対して、動き補償による画面間予測符号化を行う際の参照画像として用いられる。
動き検出部／動き補償部１１０は、入力画像メモリ１０１から出力されたブロック単位の入力画像データに対して、参照画像メモリ１０９に格納されている参照画像データの指定された範囲から類似するブロック領域を検出し、その移動量に相当する動きベクトルを決定する。さらに、参照画像メモリ１０９に格納されている画面間予測符号化用の参照画像から、動き検出によって決定された動きベクトルを用いて、ブロック単位の動き補償画像データを生成する。
次に、決定部２１２の処理を詳細に説明する。
決定部２１２に入力される目標ビットレートと解像度はいずれもレコーダ２００で用いられる符号化条件として、ユーザから指定されるパラメータである。図７は、複数の符号化条件の例を示す。目標ビットレートと解像度に応じて、符号化条件（１）〜（３）のいずれの条件に該当するかが決定され、それにより、採用すべき量子化マトリクスが決定される。なお、図７では、採用される量子化マトリクスが図番号によって示されているが、これは説明の便宜のためである。実際の処理では、対応する図番号の量子化マトリクスが採用される構成になっていればよく、実際に図７に示すテーブルが格納されていなくてもよい。後述する図８、図１２についても同様である。
なお、イントラ符号化およびノン・イントラ符号化のいずれの符号化を行うかによって、決定部２１２は各図の（ａ）または（ｂ）のいずれを選択するかを決定する。たとえばイントラ符号化処理が行われるとすると、決定部２１２は、符号化条件（１）〜（３）のいずれに該当するかを特定し、その後、図４、図５および図６の各（ａ）のうちから１つのマトリクスを選択する。
図７に示す例では、目標ビットレートに応じて符号化条件（１）〜（３）のうちの１つが特定される。解像度はいずれも「７２０ｘ４８０」の標準解像度（Ｓｔａｎｄａｒｄ Ｄｉｆｉｎｉｔｉｏｎ；ＳＤ）で固定されている。
符号化条件（１）は、解像度「７２０ｘ４８０」に対して目標ビットレートは８Ｍｂｐｓであり、比較的高い。ＭＰＥＧ−２規格のデフォルトマトリクス（図４）をそのまま用いるとレート制御で決定される量子化スケールが比較的小さい値で推移することが多くなるため、係数値の小さい量子化マトリクス（図６）を使用する。これにより、量子化スケールの値が入力画像に応じて大きく変動してもその変化に対する細かいビット割当制御が可能になり、画質変動を抑制できる。
符号化条件（２）は、「７２０ｘ４８０」に対して目標ビットレートが符号化条件（１）よりも低い４Ｍｂｐｓである。この条件はＭＰＥＧ―２の圧縮方式において標準的な符号化条件であるため、ＭＰＥＧ−２規格のデフォルトマトリクス（図４）を使用する。
符号化条件（３）は「７２０ｘ４８０」に対して目標ビットレートは２Ｍｂｐｓであり、比較的低い。一般的には、目標ビットレートに適合させるために量子化スケールが比較的大きく設定され、ブロックノイズが顕著になる傾向にある。そこでこの条件に該当するときには、高周波成分に対する係数値が大きい量子化マトリクス（図５）を使用する。これにより、量子化スケールを比較的小さくして低周波成分（特に直流成分）の再現性を高めることができる。すなわちブロックノイズを低減できる。
ここで、符号化条件の特徴を説明する。符号化条件（１）〜（３）において、圧縮符号化後のデータサイズが同じであるとすると、目標ビットレートの比に基づいて入力された動画像のシーケンスの長さは１：２：４となる。言い換えれば、符号化条件（１）はデータサイズよりも画質を優先する用途に適しており、符号化条件（３）は画質よりもデータサイズを優先する用途に適している。そのため 符号化条件（１）は「ファインモード（画質優先モード）」、符号化条件（２）は「ノーマルモード（標準モード）」、符号化条件（３）は「エコノミーモード（容量優先モード）」のように、記録モードの差異として規定することもできる。
図７に示す量子化マトリクスの決定方法によれば、解像度が同じであっても用途に応じて異なる量子化マトリクスを採用することができる。すなわち高画質が要求される用途においては、量子化スケールの変化に対して割当ビット量の変化幅が小さくなる量子化マトリクスを選択することにより、画質変動に起因する画質劣化を抑えることができる。一方、データサイズが優先される用途においては、低周波成分に相対的に多くのビット量が割り当てられる量子化マトリクスを選択することにより、ブロックノイズ等の顕著な画質劣化を抑え安定した画質を得ることができる。よって、良好なビット割当特性を有する符号化装置２１０を提供できる。
なお、図７の例では、目標ビットレートとして複数の特定の数値（８．０Ｍｂｐｓ、４．０Ｍｂｐｓおよび２．０Ｍｂｐｓ）を挙げたが、複数の数値範囲を利用してもよい。たとえば８．０Ｍｂｐｓに代えて６．０〜１０．０Ｍｂｐｓ、４．０Ｍｂｐｓに代えて４．０〜６．０Ｍｂｐｓ、２．０Ｍｂｐｓに代えて２．０〜４．０Ｍｂｐｓなどのようにしてもよい。そして、ユーザから指定された目標ビットレートが属する範囲に対応させて、符号化条件を定めてもよい。
このように複数の記録モードを持つシステムにおいては、各記録モードによって求められる画質が異なってくるため、符号化ノイズや画質変動に起因する画質劣化を考慮しながら周波数空間のビット割り当て特性を決定する必要がある。本実施形態においては、ユーザが指定する記録モードによって符号化条件（目標ビットレートおよび解像度）が決まる、すなわち符号化の難しさに関する指標である圧縮利率が決まるので、圧縮率の情報を利用意することは高画質の実現に有効であるといえる。
図７に示す例では、目標ビットレートは異なるが、動画像の解像度が同じであるときの符号化条件を示した。しかし、動画像の解像度が異なっていてもよい。
たとえば図８は、目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す。図８に示す量子化マトリクスの決定方法によれば、解像度が「７２０ｘ４８０」以外であっても対応できる。
図８のテーブルにおいて、符号化条件（４）〜（６）は図７の符号化条件（１）〜（３）と同じである。符号化条件（１）〜（３）は解像度が「１９２０ｘ１０８０」の映像、即ち高品位（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ；ＨＤ）の映像に関し、目標ビットレートに応じた量子化マトリクスを定めている。
図８に示す周波数ビット割当特性によれば、先の例と同様、目標ビットレートが高いほど量子化スケールの変化に対して割当ビット量の変化幅が小さくなり、目標ビットレートが低いほど低周波成分に相対的に多くのビット量が割り当てられる。また、符号化条件（７）および（８）は解像度「３５２ｘ４８０」が指定された場合、例えば「７２０ｘ４８０」を水平方向にダウンサンプリングしてから圧縮符号化するような場合に相当し、この場合も同様に目標ビットレートに応じて周波数ビット割当特性が決定される。
次に、符号化装置２１０の処理手順を説明する。あるピクチャについてイントラ符号化処理を行うときの処理を例に挙げる。
図９は、符号化装置２１０における符号化処理の手順を示す。ステップＳ９１において、符号化装置２１０は動画像データを受け取って、入力画像メモリ１０１に格納する。次のステップＳ９２において、入力画像メモリ１０１はピクチャの一部（ブロック）ごとの画像データを出力する。ステップＳ９３において、直交変換部１０３は、そのブロックの画像データ（画素値）を直交変換して直交変換係数を生成する。
次に、ステップＳ９４において、決定部２１２は、動画像の解像度および予め指定された目標ビットレートに基づいて量子化マトリクスを決定する。そしてステップＳ９５において、量子化部２０４は決定されたマトリクスに基づいて係数の各々を量子化し、量子化値を生成する。ステップＳ９６において、可変長符号化部１０５は、量子化値を圧縮符号化して符号化データを生成する。生成された符号化データは記録部２１５−１／２１５−２に出力される。
そしてステップＳ９７において、そのピクチャのすべてのブロックを符号化したか否かが判定される。すべてのブロックを符号化していないときはステップ９２からの処理を継続し、符号化が完了したときには処理は終了する。
図９を参照しながら符号化装置２１０の処理手順を説明したが、レコーダ２００の処理手順は、図９に対して処理ステップを追加することによって容易に実現される。具体的には、まずステップＳ９１の前に映像信号を受信するステップを追加する。次に、ステップＳ９６の後に符号化データを記録部２１５−１／２１５−２に書き込むステップを追加する。そして、ステップＳ９７からＹｅｓに進んだ後に、すべての動画像データの符号化が完了するまで処理を終了しないように、処理をループさせるステップを追加すればよい。
なお、ステップＳ９４の処理はブロック単位で実行しているが、これに限らず、ピクチャ単位で実行してもよいし、録画開始時に一回だけ実行してもよい。
なお、本実施形態においては、符号化条件を表す目標ビットレートと解像度のいくつかの組み合わせについて説明したが、その他の組み合わせに対しても種々の量子化マトリクスを対応付けて決定することが可能である。
また、本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して量子化マトリクスを対応付けているが、目標ビットレートあるいは解像度のいずれかのみを用いて量子化マトリクスを決定するようにしてもよい。
本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して、図７および図８に規定するテーブルを参照して量子化マトリクスを決定するとした。しかし、目標ビットレートあるいは解像度の情報に基づいて量子化マトリクスを決定する限り、他の方法を採用してもよい。
本実施形態においては、予め保持された３つの量子化マトリクス（図４〜図６）のうちの１つを符号化処理に適用するマトリクスとして選択し、決定していた。しかし、決定部２１２または量子化部２０４が量子化マトリクスを１つまたは２つ保持し、それらを利用して他の量子化マトリクスをリアルタイムで生成してもよい。
以下、図１０を参照しながら、量子化マトリクスを生成する処理を説明する。以下の処理は、たとえば決定部２１２がソフトウェアによって実現することができる。なお、量子化マトリクスが量子化部２０４において保持されているときには、決定部２１２が量子化部２０４からその量子化マトリクスを読み出して、処理を行えばよい。
図１０は、予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を概念的に示す。（ａ）に示す量子化マトリクスＡは、目標ビットレートＲＡ、動画像がＨＤ品質のときに採用されるとする。また、（ｂ）に示す量子化マトリクスＢは、目標ビットレートＲＢ、動画像がＨＤ品質のときに採用されるとする。
以下の説明では、目標ビットレートＲＡは符号化装置２１０において処理可能な最低ビットレート、目標ビットレートＲＢは最高ビットレートとする。ただしこれは例であり、目標ビットレートＲＡおよびＲＢは、最高ビットレートと最低ビットレートとの間に存在すればよい。
量子化マトリクスＣの（ｉ，ｊ）要素をＣｉｊなどと記述する。８画素×８画素のマクロブロック単位で符号化を行うときは、ｉおよびｊは１から８までの自然数である。
要素ｃｉｊは、量子化マトリクスＡおよびＢの対応する要素ａｉｊおよびｂｉｊ、目標ビットレートＲＡおよびＲＢの関数として規定することができる。図１０の（ｃ）は、要素ｃｉｊを求めるための関数Ｆのグラフを示している。横軸は目標ビットレート、縦軸は要素の値を示す。
たとえば関数Ｆは、始点を（ＲＡ，ａｉｊ）および終点を（ＲＢ，ｂｉｊ）とする線分（一次関数）として規定される。そしてユーザによって指定された目標ビットレートＲｃに基づいて、要素ｃｉｊを求めることができる。なお、関数は任意であり、各（ｉ，ｊ）要素ごとに任意の定めてもよい。
すべてのｉおよびｊの組について要素ｃｉｊを求めることにより、量子化マトリクスＣを得ることができる。図１０の（ｄ）は、目標ビットレートＲｃ、動画像がＨＤ品質のときに採用される量子化マトリックスＣを示す。なお、量子化マトリクスＣの要素を一括して求める必要はなく、量子化処理時に要素１ずつ求めてもよい。
上述の処理においては、２つの量子化マトリクスＡおよびＢを保持する必要があるが、１つの量子化マトリクスのみでも処理は可能である。たとえば上述の量子化マトリクスＡと、単位ビットレートあたりの要素値のステップ値（増加幅）を規定し、たとえば決定部２１２が予め保持していればよい。これにより決定部２１２は、目標ビットレートＲｃが指定されると、目標ビットレートＲＡからの差に応じて要素値を増減させて量子化マトリクスＣの要素を求めることができる。
（実施形態２）
図１１は、実施形態２による符号化装置３００の構成を示す。符号化装置３００は、実施形態１において説明した符号化装置２１０に代えて、図３のレコーダ２００の一部として実装されうる。
以下、符号化装置３００を説明する。なお、符号化装置３００の構成要素のうち、実施形態１による符号化装置２１０の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。
符号化装置３００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部３１２を備える。
周波数ビット割当特性決定部３１２（以下、「決定部３１２」と記述する。）は、圧縮符号化の符号化条件として指定された目標ビットレートと解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。さらに決定部３１２は、レート制御部２１１で決定された量子化スケールの情報に基づいてピクチャ単位で周波数ビット割当特性を補正し、量子化マトリクスを変更する。
以下、決定部３１２を詳細に説明する。
図１２は、本実施形態による複数の符号化条件の例を示す。図１２に示されるように、圧縮符号化の目標ビットレートと解像度の組み合わせに対して、２種類の量子化マトリクス（ＴＹＰＥ１およびＴＹＰＥ２）が設定されている。
量子化マトリクス（ＴＹＰＥ１）は、図７のテーブルで定められている量子化マトリクスと同じ周波数ビット割当特性を持つ。符号化開始時にはこの量子化マトリクス（ＴＹＰＥ１）が使用される。
一方、量子化マトリクス（ＴＹＰＥ２）は、所定の条件下で発生符号量を低く抑えるために用いられる。具体的には、レート制御部２１１において、実際に発生した符号量から計算される実ビットレートを目標ビットレートに抑えられないとき、または、ブロックノイズによる画質劣化が顕著であると判断したときである。
ここで量子化マトリクスの切り替え例を説明する。いま、解像度「７２０ｘ４８０」で目標ビットレートとして２Ｍｂｐｓが指定されたとする。符号化開始時は、図５に示す量子化マトリクスが使用される。この量子化マトリクスは、重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い。
その後、動きが速い動画像などの圧縮符号化が困難な入力画像が続き、レート制御で目標ビットレートに抑えられないとき、または、量子化後の低周波成分の値が所定の閾値を平均して下回るときには、図１３に示す量子化マトリクスを採用する。図１３は、ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す。（ａ）はイントラ符号化時に利用され、（ｂ）はノン・イントラ符号化時に利用される。これにより、低周波成分へ割り当てられるビット量が相対的に多くなり、画質劣化を抑えられる。
図１４は、決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示す。処理の開始時は、量子化マトリクス（ＴＹＰＥ１）が設定されている。符号化開始後は、図１４に示す処理を各ピクチャの符号化前に行う。
まずステップＳ１４１において、決定部３１２は量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ１）よりも小さいか否かを判断する。小さいときはステップＳ１４２に進み、小さくないときはステップＳ１４３に進む。
ステップＳ１４２において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ１））に設定する。このときは、所望のレート制御が実現されている。
一方、ステップＳ１４３では、決定部３１２は、量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ２）以上か否かを判断する。閾値（Ｑｔｈ２）以上のときはステップＳ１４４に進み、閾値（Ｑｔｈ２）以上でないときは、量子化マトリクスの変更に対してヒステリシスを持たせるために、直前のピクチャで用いていた量子化マトリクスをそのまま用いる。そして処理は終了する。
ステップＳ１４４において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ２））に設定する。このときは、レート制御が破綻する可能性がある、あるいはブロックノイズが顕著であることを意味する。
図１４の説明から明らかなように、閾値Ｑｔｈ１およびＱｔｈ２は、それぞれ量子化マトリクス（ＴＹＰＥ１）と量子化マトリクス（ＴＹＰＥ２）を切替えるための値である（Ｑｔｈ１≦Ｑｔｈ２とする）。一方、Ｑｓｃａｌｅはレート制御部においてピクチャ単位で決定される量子化スケールである。
上述の処理のように、レート制御で決定される量子化スケールが大きい場合、高周波成分をさらに粗く量子化するような量子化マトリクスに変更することによって量子化スケールを小さくすることができ、ブロックノイズによる画質劣化を抑えることができる。
なお、本実施形態においては、符号化開始時の量子化マトリクス（ＴＹＰＥ１）以外の量子化マトリクスとして１種類の量子化マトリクス（ＴＹＰＥ２）のみを設定しているが、２種類以上の量子化マトリクスを切替えてもかまわない。
また、本実施形態においては、量子化スケールを閾値処理して量子化マトリクスの変更に関する判定を行っているが、判定条件に用いる情報はレート制御の状態と相関のある情報であれば量子化スケールでなくてもよい。
本実施形態においては、テーブルを参照することにより、次の量子化マトリクスを決定しているが、レート制御の状態を示す情報に基づいて量子化マトリクスを決定する方法であれば他の方法でもかまわない。
（実施形態３）
図１５は、本実施形態によるレコーダ２５０の構成を示す。レコーダ２５０は、符号化装置４００と、復号化装置５００と、記録部２１５−１／２１５−２とを備えている。
レコーダ２５０は、たとえばＨＤ品質のデジタル放送番組の符号化画像データが記録部２１５−１／２１５−２に蓄積されているときにおいて、その符号化画像データをＳＤ品質に変換（ダウンサンプリング）して再圧縮符号化する際に利用される。またはレコーダ２５０は、比較的高いビットレートで圧縮符号化された符号化画像データを、ダビングのために再圧縮符号化する際に利用される。再圧縮符号化に際して、復号化装置５００は符号化画像データを一旦復号化し、符号化装置４００は復号化された画像データを再度符号化する。なお、記録部２１５−１／２１５−２に蓄積されていない符号化画像データを利用することも可能である。
図１５においては、レコーダ２５０は１つの機器として記載されている。しかし、符号化装置４００、復号化装置５００および記録部２１５−１／２１５−２を１つの機器として相互に接続することにより、動画像記録システムとして実現してもよい。
以下、まず復号化装置５００を説明する。図１５に示す復号化装置５００は、あらかじめ圧縮符号化された符号化画像データを復号化して復号化画像データを生成する。そして復号化の過程において、復号化装置５００は符号化画像データの周波数ビット割当特性、実ビットレート、その符号化画像データの解像度の情報（以下「解像度１の情報」と記述する。）を抽出する。
復号化装置５００は、符号化処理と逆の処理を行うことができればよい。したがって、たとえば符号化装置２１０（図３）の可変長符号化部１０５の逆の処理を行う復号化部、逆量子化部１０６、逆直交変換部１０７、参照画像メモリ１０９および動き検出／動き補償部１１０を設けることにより、符号化画像データの復号化が可能になる。なお、動き検出／動き補償部１１０は動き補償に関する機能のために必要とされる。
次に符号化装置４００を説明する。図１６は、符号化装置４００の構成を示す。符号化装置４００の構成要素のうち、実施形態１の符号化装置２１０または実施形態２による符号化装置３００の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。
符号化装置４００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部４１２、解像度変換部４１３を備える。
まず解像度変換部４１３は、復号化装置５００で復号化された復号化画像データに対し、復号化装置５００における復号化の過程で抽出された解像度１の情報、および、再圧縮符号化の符号化条件としてユーザから指定された解像度の情報（以下「解像度２の情報」と記述する。）に基づいて解像度を変換し、再圧縮符号化に対する入力画像データを生成する。解像度変換を行わない場合は、復号化画像をそのまま再圧縮符号化の入力画像データとして出力すればよい。
周波数ビット割当特性決定部４１２（以下「決定部４１２」と記述する）は、復号化装置５００から符号化画像データの周波数ビット割当特性、実ビットレート、解像度１の情報を取得する。さらに決定部４１２は、再圧縮符号化の符号化条件としてユーザから指定された目標ビットレートおよび解像度２の情報を受け取る。そして決定部４１２は、それらに基づいて、再圧縮符号化における周波数ビット割当特性を決定する。
決定部４１２において、周波数ビット割当特性を決定する算出式の例を数１に示す。
Figure 2006098226
ここで、Ｍ１＿ｉｊ、Ｒ１、Ｈ１、Ｖ１は、それぞれ復号化する前の符号化画像データが持つ周波数ビット割当特性、実ビットレート、水平解像度、垂直解像度を表す。また、Ｍ２＿ｉｊ、Ｒ２、Ｈ２、Ｖ２は、それぞれ再圧縮符号化における周波数ビット割当特性、目標ビットレート、水平解像度、垂直解像度を表す。なお、ここでは周波数ビット割当特性は周波数空間座標（ｉ，ｊ）に対応する形のマトリクスとして示しており、量子化時に用いられる量子化マトリクスに対応している。このように再圧縮符号化処理を行う場合に、復号化前の符号化画像データが持つ周波数ビット割当特性を用いることにより、再圧縮符号化の過程で損なわれる周波数成分の情報量を少なくすることができる。
なお、本実施形態においてＲ１は実ビットレートとしているが、Ｒ１は復号化する前の符号化データに対して管理情報等に含まれるビットレート（例えば、過去の符号化時に用いた目標ビットレート）でもかまわない。
なお、数１は例であり、周波数ビット割当特性の算出式は他の数式を用いてもよい。たとえば、量子化マトリクスの直流成分の係数値を変えずに、高周波成分の係数値を変化させるようにしてもよい。
上述の復号化装置５００および符号化装置４００における処理によって、再符号化画像データが生成されると、記録部２１５−１／２１５−２によって記録媒体に書き込まれる。これにより、画像品質の変換、動画像を構成する各ピクチャの画素数の変換、ビットレートの変換等が行われる。
上述の符号化装置および復号化装置において実行される処理は、汎用コンピュータにおいてコンピュータプログラムを実行することによって実現できる。そのようなコンピュータプログラムは、例えば図９および図１４に示すフローチャートに規定された処理を実行する命令を含んでいる。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録されて、製品として市場を流通する。またはコンピュータプログラムは、インターネットに代表される通信ネットワークを介して伝送される。
本発明にかかる動画像符号化装置は、動画像データを圧縮符号化する際の目標ビットレートの高低にかかわらず常に良好な画質を維持することができる。その実用的価値は非常に高い。このような動画像符号化装置は、１つの基板上に実装され、または、他の機器に組み込むことができるため、種々の動画像のデジタル記録機器への応用が可能である。
本発明は、動画像の画像データを高能率に圧縮符号化する技術に関する。
近年、マルチメディアアプリケーションの発展に伴い、あらゆるメディアの情報（たとえば画像・音声・テキスト）をデジタルデータ化し、統一的に扱うことが一般的になってきた。このうち、たとえば画像、特に動画像のデジタルデータ（画像データ）のデータ量は非常に多くなるため、蓄積・伝送のためには動画像データを高能率に圧縮する圧縮技術が必要とされている。動画像の圧縮符号化のために開発された圧縮技術として、例えばＩＳＯ（国際標準化機構）によって規格化されたＭＰＥＧ−１／２／４等の圧縮方式が知られている。
これらの圧縮方式においては、画像データを直交変換して量子化する際に、量子化マトリクスが指定される。量子化マトリクスの各要素は直交変換係数の各周波数成分に対応して設けられており、その要素値を用いて直交変換係数が量子化される。量子化マトリクスの値をどのように規定するかによって周波数空間内でのビット割当特性を制御できるため、量子化マトリクスは量子化処理の特徴（量子化特性）を示しているといえる。
量子化マトリクスは、画面内（イントラ）符号化時と、画面間予測（インターまたはノン・イントラ）符号化のそれぞれに対して設定することができる。これにより予測方法ごとに異なる周波数ビット割当特性を持たせることが可能となっている。さらにＭＰＥＧ−２規格では、輝度データおよび色差データについて、それぞれ異なる量子化マトリクスを設定することも可能である。
図１は、従来の動画像符号化装置１００の構成を示す。動画像符号化装置１００は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部１１１を備える。
量子化マトリクスを用いた量子化演算は量子化部１０４において行われる。まず量子化部１０４は、量子化マトリクスの各係数値に量子化スケールを乗じて、量子化パラメータを算出する。量子化スケールは、圧縮符号化における目標ビットレート、および、可変長符号化部１０５で生成された符号化画像データの発生符号量に基づいて、レート制御部１１１によって生成される。
そして量子化部１０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータで量子化し、その結果を量子化値として出力する。量子化のための演算処理では、主として直交変換係数を量子化パラメータで除算する処理を含む。可変長符号化部１０５はその量子化値を圧縮符号化して出力する。この結果、符号化画像データが得られる。
ＭＰＥＧ−２規格では、標準的に用いられる量子化マトリクス（デフォルトマトリクス）が規定されている（図４（ａ）および（ｂ））。たとえば図４（ａ）に示すイントラ符号化用の量子化マトリクスでは、右下の要素ほど、より大きい値（より重みがつけられた値）が設定されている。この結果、直交変換係数の高周波成分の量子化精度は粗い。一方、図４（ｂ）に示すノン・イントラ符号化用のデフォルトマトリクスでは、すべての要素が同じ値であり、重み付けの程度に差はない。よって、直交変換係数の高周波成分の量子化精度は同じである。言い換えれば、イントラ符号化用マトリクスは、低周波成分に相対的に多くのビット量が割り当てられるような周波数ビット割当特性となっているのに対し、ノン・イントラ符号化用マトリクスは、各周波数成分に均等にビット量が割り当てられるような周波数ビット割当特性となっている。
従来は、上述の例とは異なる量子化マトリクスも利用されている（図５（ａ）および（ｂ））。図５（ａ）および（ｂ）に示すマトリクスはＭＰＥＧ−２の規格化段階のテストモデルで利用され、「ＴＭ５の量子化マトリクス」と呼ばれている。図５（ａ）および（ｂ）から明らかなように、いずれのマトリクスも、高周波成分の量子化精度を粗くするように係数値が重み付けされていることである。そのため、低周波成分に割り当てられるビット量は相対的に多くなる。
ノン・イントラ符号化時の量子化スケールが同じであるとすると、高周波成分に関し、ＴＭ５の量子化マトリクスを利用した量子化値は、ＭＰＥＧ−２のデフォルトマトリクスを利用した量子化値よりも小さくなる。よって発生符号量を抑えることができる。これは、前者の方が高周波成分の情報がより多く削減されているためである。
なお、ＭＰＥＧ−２規格では、２つのタイプの量子化スケールが規定されている。図２は、量子化スケールの割り当て表を示す。左欄の量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）１〜３１のそれぞれに対して、タイプ０（ｑｓｃａｌｅ＿ｔｙｐｅ＝０）およびタイプ１（ｑｓｃａｌｅ＿ｔｙｐｅ＝１）が規定されており、いずれか一方の値が量子化スケールとして割り当てられる。
レート制御部１１１は、目標ビットレートおよび符号化画像データの発生符号量に基づいて量子化スケールの値を決定する。量子化スケールが同じであれば、周波数成分の量子化精度の粗さ、即ち周波数空間内でのビット割当特性は量子化マトリクスの係数値の大小によって決定される。
上述の説明から明らかなように、量子化マトリクスおよび量子化スケールは量子化値に大きく影響する。たとえば特許文献１は、量子化スケールに基づいて画面単位で量子化マトリクスを更新する技術を開示している。
特開２００１−７８１９４号公報
しかしながら、上述したような重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い量子化マトリクスを択一的に用いると、種々の問題が生じる。
たとえば、上述の量子化マトリクスを用いると、所定の解像度の画像に対して低い目標ビットレートで圧縮符号化したときにブロックノイズ等が発生し、画質が劣化する。視覚への影響が大きい低周波成分の情報量までもが落とされるためである。より詳しくは、量子化マトリクスのみでは高周波成分の情報量を十分に落とすことができないため、量子化スケールを大きくして情報量をさらに落とす必要がある。しかし量子化スケールが大きくなると低周波成分の情報量も落ちる。
一方、上述の量子化マトリクスを用いて高い目標ビットレートで圧縮符号化したときにも、画質が劣化する。その理由は、量子化スケールが１だけ変化したときに生じる画質変動が大きく、この画質変動が画質劣化として現れるためである。目標ビットレートが高いと、レート制御の結果、量子化スケールを小さい値で推移させることが多くなり、量子化スケールが１だけ変化した場合でも周波数空間内での割当ビット量が大きく変化してしまうからである。
本発明の目的は、符号化の目標ビットレートの高低にかかわらず、常に良好な画質を維持する装置等を提供することにある。
本発明による符号化装置は、動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。
前記量子化部は、複数種類のマトリクスを保持しており、前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定してもよい。
前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせてもよい。
前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定してもよい。
前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持してもよい。
前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。
前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。
本発明による動画像記録システムは、動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、前記符号化データを記録媒体に書き込む記録部とを有している。前記符号化装置は、前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。
本発明によるコンピュータプログラムは、動画像の符号化データを出力するためのデータ処理装置またはシステムにおいて実行される。前記コンピュータプログラムは、前記コンピュータプログラムを実行した前記データ処理装置に、前記動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換するステップと、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定するステップと、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成するステップと、前記量子化値を符号化して、前記動画像の符号化データを生成するステップとを実行させる。
本発明の符号化装置によれば、圧縮符号化における目標ビットレートと解像度の情報に基づいて周波数空間内でのビット割当特性を決定し、目標とする画質ごとに適した量子化特性を用いて量子化する。これにより、常に良好な画質を維持することができる。
具体的には、所定の解像度の動画像に対して比較的低い目標ビットレートで圧縮符号化するときには、低周波成分に相対的に多くのビット量が割り当てられる。これにより、ブロックノイズ等の顕著な画質劣化を防ぐことができる。また、所定の解像度の画像に対して比較的高い目標ビットレートで圧縮符号化するときには、量子化スケールの変化に対して割当ビット量の変化幅を小さくする。これにより、細かいビット割当制御が可能となり、画質変動を抑えることができる。
以下、添付の図面を参照しながら、本発明によるデータ処理装置の実施形態を説明する。以下の説明においては、データ処理装置は動画像を録画するためのレコーダ、および／または、レコーダに含まれる動画像を圧縮符号化する符号化装置であるとする。
（実施形態１）
図３は、本実施形態によるレコーダ２００の構成を示す。レコーダ２００は、たとえばテレビ放送信号を受信してハードディスクや光ディスクに録画する番組の録画機として実現され、または、ユーザが被写体の映像／音声をハードディスクや光ディスクに記録するカムコーダとして実現される。
レコーダ２００は、映像信号受信部２０５と、符号化装置２１０と、記録部２１５−１および２１５−２を有している。映像信号受信部２０５は、テレビ放送のアナログ信号を受信して、その信号をデジタル信号（デジタルデータ）に変換して出力するチューナである。または、映像信号受信部２０５は、被写体の映像をデジタルデータとして出力するＣＣＤ素子である。
符号化装置２１０は、動画像のデジタルデータを圧縮符号化して、符号化画像データを生成する。符号化装置２１０は、たとえば１つの基板上に実装されてエンコーダボードとして実現される。
記録部２１５−１は、たとえばハードディスクドライブである。また、記録部２１５−２は、たとえば光ディスクドライブである。ハードディスクドライブおよび光ディスクドライブは、それぞれ、ハードディスクおよび光ディスクに、符号化された画像データ（映像データストリーム）を書き込み、書き込まれたそのデータを読み出すことができる。なお、図面の簡単化のため、記録部２１５−２は光ディスクとして示されている。
符号化装置２１０は１つの筐体として実現することもできる。このときは、レコーダ２００は、たとえばチューナとしての映像信号受信部２０５、符号化装置２１０および記録装置２１５−１／２１５−２から構成される記録システムとして捉えることができる。
次に、符号化装置２１０を詳細に説明する。符号化装置２１０は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部２０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部２１１と、周波数ビット割当特性決定部２１２とを備えている。
符号化装置２１０は、動画像を構成する画像（ピクチャ）のデータを、２つの符号化方法のいずれかにより圧縮符号化する。すなわち、画面内（イントラ）符号化、および、画面間予測（インターまたはノン・イントラ）符号化である。以下に符号化装置２１０の機能を概説する。
まず符号化装置２１０は、入力画像メモリ１０１において受け取った画像データを、直交変換部１０３において周波数成分の係数に変換する。そして、周波数ビット割当特性決定部２１２（以下「決定部２１２」と記述する）は、動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、符号化処理に利用する量子化マトリクスを決定する。
量子化部２０４は、決定されたマトリクスに基づいて周波数成分の係数の各々を量子化し、量子化値を生成する。そして可変長符号化部１０５はその量子化値を符号化して、動画像の符号化データを生成して出力する。
以下、符号化装置２１０の各構成要素を説明する。
入力画像メモリ１０１は、入力された各ピクチャの画像データを符号化時まで格納しておくためのメモリである。入力画像メモリ１０１は、符号化順序の変更による画像データの出力遅延に対して十分な記憶容量を有する。入力された各ピクチャの画像データは符号化時に複数のブロックに分割され、ブロック単位で符号化される。入力画像メモリ１０１は、ブロック単位で画像データを出力することができる。
なおＭＰＥＧ規格では、１６画素×１６画素の集合をマクロブロックと呼ぶ。そして、それより小さい単位のブロック（たとえば８画素×８画素の集合）をサブマクロブロックと呼ぶ。ただし、符号化の処理によって単位が変わるため、以下では、マクロブロックおよびサブマクロブロックを総称して「ブロック」と呼ぶこととする。
減算部１０２は、入力画像メモリ１０１から出力されたブロック単位の入力画像データを正入力端子に入力する。動き補償予測を行わないイントラ符号化の場合は、正入力端子から入力された入力画像データをそのまま出力する。一方、動き補償予測を行うノン・イントラ符号化の場合は、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データを負入力端子に入力して減算を行い、減算結果としてブロック単位の予測誤差画像データを出力する。
直交変換部１０３は、減算部１０２から出力されたブロック単位の画像データを、直交変換して周波数成分に変換する。直交変換として、たとえば離散コサイン変換が知られている。
レート制御部２１１は、圧縮符号化における目標ビットレート、可変長符号化部１０５で生成された前に処理された符号化画像データの発生符号量、および決定部２１２で決定された量子化マトリクスの情報に基づいて、量子化部２０４で使用する量子化スケールを決定する。量子化スケールタイプは一般的に固定されているが、固定されていなくてもよい。決定された量子化スケールは、図２のテーブルを参照して量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）に対応づけられる。この量子化スケールコードは、後述する可変長符号化部１０５において符号化される。
なお、目標ビットレートは、たとえばユーザによって録画開始前に直接設定される。または、ユーザによって目標ビットレートと対応付けられた録画モードが選択されることによって設定される。目標ビットレートは圧縮符号化の符号化条件である。
決定部２１２は、目標ビットレートと画像の解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。量子化マトリクスは予め複数準備されている。たとえば図４から図６の各（ａ）および（ｂ）には、決定部２１２によって決定される複数の量子化マトリクスの例が示されている。換言すれば、決定部２１２はこれらのマトリクスの中から、適切な量子化マトリクスを選択する。決定部２１２によって行われる処理の詳細は後述する。
図４から図６に示すマトリクス群を説明する。図４はＭＰＥＧ−２規格のマトリクス群を示す。図５はテストモデルのマトリクス群を示す。図６は、図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す。各図の（ａ）および（ｂ）として示す各マトリクスは、それぞれイントラ符号化時およびノン・イントラ符号化に用いられる。図６の（ａ）に示すマトリクスの要素値は、（１，１）成分を除き、図４の（ａ）に示すマトリクスの要素値の約１／２である。また、図６（ｂ）に示すマトリクスの要素値は、図４（ｂ）に示すマトリクスの要素値の１／２である。
上述の図４から図６の各（ａ）および（ｂ）として示す各マトリクスは、決定部２１２内、量子化部２０４内または図示しないＲＯＭまたはＲＡＭ内にマトリクスデータとして保持されてもよい。または、量子化部２０４内にハードウェア回路として実装されていてもよい。後者においては、決定部２１２はどのハードウェア回路を用いるかを決定し、量子化処理がそのハードウェア回路を利用して行われるように信号経路を切り替える指示を送るように機能すればよい。なお、後述の方法により、量子化マトリクスをリアルタイムに計算することもできる。
再び図３を参照する。
量子化部２０４は、決定部２１２で決定された量子化マトリクスの各要素値に、レート制御部２１１で決定された量子化スケールを乗じて量子化パラメータを算出する。量子化パラメータもまた、マトリクスとして得られる。そして量子化部２０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータ（対応するマトリクスの要素値）で量子化し、その結果を量子化値として出力する。この量子化処理は、主として直交変換係数を量子化パラメータで除算することによって行われる。
可変長符号化部１０５は、量子化部２０４から出力された量子化値を可変長符号化し、符号化画像データを出力する。ノン・イントラ符号化の場合には、可変長符号化部１０５はさらに動き検出／動き補償部１１０で求められた動きベクトル等の情報と共に量子化値を可変長符号化し、符号化画像データを出力する。
逆量子化部１０６は、量子化部２０４から出力された量子化値を、逆量子化して直交変換係数を生成する。このとき逆量子化に際しては、量子化部２０４で使用した量子化パラメータと同じ量子化パラメータが利用される。
逆直交変換部１０７は、逆量子化部１０６から出力された直交変換係数を逆直交変換して復号化画像データを生成する。このとき、減算部１０２においてイントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の入力画像データに対する復号化画像を生成する。一方、減算部１０２においてノン・イントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の予測誤差画像データに対する復号化画像を生成する。
加算部１０８は、予測誤差画像データの復号化画像と、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データとを加算し、最終的な復号化画像データを生成する。
参照画像メモリ１０９は、符号化時に使用される参照画像データを格納し保持しておくための記憶容量を有している。参照画像メモリ１０９は、イントラ符号化時には逆直交変換部１０７で生成されたブロック単位の復号化画像データをそのまま格納する。一方参照画像メモリ１０９は、ノン・イントラ符号化時には加算部１０８で生成されたブロック単位の復号化画像データを格納する。参照画像メモリ１０９に格納された復号化画像データは、以降の入力画像に対して、動き補償による画面間予測符号化を行う際の参照画像として用いられる。
動き検出部／動き補償部１１０は、入力画像メモリ１０１から出力されたブロック単位の入力画像データに対して、参照画像メモリ１０９に格納されている参照画像データの指定された範囲から類似するブロック領域を検出し、その移動量に相当する動きベクトルを決定する。さらに、参照画像メモリ１０９に格納されている画面間予測符号化用の参照画像から、動き検出によって決定された動きベクトルを用いて、ブロック単位の動き補償画像データを生成する。
次に、決定部２１２の処理を詳細に説明する。
決定部２１２に入力される目標ビットレートと解像度はいずれもレコーダ２００で用いられる符号化条件として、ユーザから指定されるパラメータである。図７は、複数の符号化条件の例を示す。目標ビットレートと解像度に応じて、符号化条件（１）〜（３）のいずれの条件に該当するかが決定され、それにより、採用すべき量子化マトリクスが決定される。なお、図７では、採用される量子化マトリクスが図番号によって示されているが、これは説明の便宜のためである。実際の処理では、対応する図番号の量子化マトリクスが採用される構成になっていればよく、実際に図７に示すテーブルが格納されていなくてもよい。後述する図８、図１２についても同様である。
なお、イントラ符号化およびノン・イントラ符号化のいずれの符号化を行うかによって、決定部２１２は各図の（ａ）または（ｂ）のいずれを選択するかを決定する。たとえばイントラ符号化処理が行われるとすると、決定部２１２は、符号化条件（１）〜（３）のいずれに該当するかを特定し、その後、図４、図５および図６の各（ａ）のうちから１つのマトリクスを選択する。
図７に示す例では、目標ビットレートに応じて符号化条件（１）〜（３）のうちの１つが特定される。解像度はいずれも「７２０ｘ４８０」の標準解像度（Ｓｔａｎｄａｒｄ Ｄｉｆｉｎｉｔｉｏｎ；ＳＤ）で固定されている。
符号化条件（１）は、解像度「７２０ｘ４８０」に対して目標ビットレートは８Ｍｂｐｓであり、比較的高い。ＭＰＥＧ−２規格のデフォルトマトリクス（図４）をそのまま用いるとレート制御で決定される量子化スケールが比較的小さい値で推移することが多くなるため、係数値の小さい量子化マトリクス（図６）を使用する。これにより、量子化スケールの値が入力画像に応じて大きく変動してもその変化に対する細かいビット割当制御が可能になり、画質変動を抑制できる。
符号化条件（２）は、「７２０ｘ４８０」に対して目標ビットレートが符号化条件（１）よりも低い４Ｍｂｐｓである。この条件はＭＰＥＧ―２の圧縮方式において標準的な符号化条件であるため、ＭＰＥＧ−２規格のデフォルトマトリクス（図４）を使用する。
符号化条件（３）は「７２０ｘ４８０」に対して目標ビットレートは２Ｍｂｐｓであり、比較的低い。一般的には、目標ビットレートに適合させるために量子化スケールが比較的大きく設定され、ブロックノイズが顕著になる傾向にある。そこでこの条件に該当するときには、高周波成分に対する係数値が大きい量子化マトリクス（図５）を使用する。これにより、量子化スケールを比較的小さくして低周波成分（特に直流成分）の再現性を高めることができる。すなわちブロックノイズを低減できる。
ここで、符号化条件の特徴を説明する。符号化条件（１）〜（３）において、圧縮符号化後のデータサイズが同じであるとすると、目標ビットレートの比に基づいて入力された動画像のシーケンスの長さは１：２：４となる。言い換えれば、符号化条件（１）はデータサイズよりも画質を優先する用途に適しており、符号化条件（３）は画質よりもデータサイズを優先する用途に適している。そのため 符号化条件（１）は「ファインモード（画質優先モード）」、符号化条件（２）は「ノーマルモード（標準モード）」、符号化条件（３）は「エコノミーモード（容量優先モード）」のように、記録モードの差異として規定することもできる。
図７に示す量子化マトリクスの決定方法によれば、解像度が同じであっても用途に応じて異なる量子化マトリクスを採用することができる。すなわち高画質が要求される用途においては、量子化スケールの変化に対して割当ビット量の変化幅が小さくなる量子化マトリクスを選択することにより、画質変動に起因する画質劣化を抑えることができる。一方、データサイズが優先される用途においては、低周波成分に相対的に多くのビット量が割り当てられる量子化マトリクスを選択することにより、ブロックノイズ等の顕著な画質劣化を抑え安定した画質を得ることができる。よって、良好なビット割当特性を有する符号化装置２１０を提供できる。
なお、図７の例では、目標ビットレートとして複数の特定の数値（８．０Ｍｂｐｓ、４．０Ｍｂｐｓおよび２．０Ｍｂｐｓ）を挙げたが、複数の数値範囲を利用してもよい。たとえば８．０Ｍｂｐｓに代えて６．０〜１０．０Ｍｂｐｓ、４．０Ｍｂｐｓに代えて４．０〜６．０Ｍｂｐｓ、２．０Ｍｂｐｓに代えて２．０〜４．０Ｍｂｐｓなどのようにしてもよい。そして、ユーザから指定された目標ビットレートが属する範囲に対応させて、符号化条件を定めてもよい。
このように複数の記録モードを持つシステムにおいては、各記録モードによって求められる画質が異なってくるため、符号化ノイズや画質変動に起因する画質劣化を考慮しながら周波数空間のビット割り当て特性を決定する必要がある。本実施形態においては、ユーザが指定する記録モードによって符号化条件（目標ビットレートおよび解像度）が決まる、すなわち符号化の難しさに関する指標である圧縮利率が決まるので、圧縮率の情報を利用意することは高画質の実現に有効であるといえる。
図７に示す例では、目標ビットレートは異なるが、動画像の解像度が同じであるときの符号化条件を示した。しかし、動画像の解像度が異なっていてもよい。
たとえば図８は、目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す。図８に示す量子化マトリクスの決定方法によれば、解像度が「７２０ｘ４８０」以外であっても対応できる。
図８のテーブルにおいて、符号化条件（４）〜（６）は図７の符号化条件（１）〜（３）と同じである。符号化条件（１）〜（３）は解像度が「１９２０ｘ１０８０」の映像、即ち高品位（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ；ＨＤ）の映像に関し、目標ビットレートに応じた量子化マトリクスを定めている。
図８に示す周波数ビット割当特性によれば、先の例と同様、目標ビットレートが高いほど量子化スケールの変化に対して割当ビット量の変化幅が小さくなり、目標ビットレートが低いほど低周波成分に相対的に多くのビット量が割り当てられる。また、符号化条件（７）および（８）は解像度「３５２ｘ４８０」が指定された場合、例えば「７２０ｘ４８０」を水平方向にダウンサンプリングしてから圧縮符号化するような場合に相当し、この場合も同様に目標ビットレートに応じて周波数ビット割当特性が決定される。
次に、符号化装置２１０の処理手順を説明する。あるピクチャについてイントラ符号化処理を行うときの処理を例に挙げる。
図９は、符号化装置２１０における符号化処理の手順を示す。ステップＳ９１において、符号化装置２１０は動画像データを受け取って、入力画像メモリ１０１に格納する。次のステップＳ９２において、入力画像メモリ１０１はピクチャの一部（ブロック）ごとの画像データを出力する。ステップＳ９３において、直交変換部１０３は、そのブロックの画像データ（画素値）を直交変換して直交変換係数を生成する。
次に、ステップＳ９４において、決定部２１２は、動画像の解像度および予め指定された目標ビットレートに基づいて量子化マトリクスを決定する。そしてステップＳ９５において、量子化部２０４は決定されたマトリクスに基づいて係数の各々を量子化し、量子化値を生成する。ステップＳ９６において、可変長符号化部１０５は、量子化値を圧縮符号化して符号化データを生成する。生成された符号化データは記録部２１５−１／２１５−２に出力される。
そしてステップＳ９７において、そのピクチャのすべてのブロックを符号化したか否かが判定される。すべてのブロックを符号化していないときはステップ９２からの処理を継続し、符号化が完了したときには処理は終了する。
図９を参照しながら符号化装置２１０の処理手順を説明したが、レコーダ２００の処理手順は、図９に対して処理ステップを追加することによって容易に実現される。具体的には、まずステップＳ９１の前に映像信号を受信するステップを追加する。次に、ステップＳ９６の後に符号化データを記録部２１５−１／２１５−２に書き込むステップを追加する。そして、ステップＳ９７からＹｅｓに進んだ後に、すべての動画像データの符号化が完了するまで処理を終了しないように、処理をループさせるステップを追加すればよい。
なお、ステップＳ９４の処理はブロック単位で実行しているが、これに限らず、ピクチャ単位で実行してもよいし、録画開始時に一回だけ実行してもよい。
なお、本実施形態においては、符号化条件を表す目標ビットレートと解像度のいくつかの組み合わせについて説明したが、その他の組み合わせに対しても種々の量子化マトリクスを対応付けて決定することが可能である。
また、本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して量子化マトリクスを対応付けているが、目標ビットレートあるいは解像度のいずれかのみを用いて量子化マトリクスを決定するようにしてもよい。
本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して、図７および図８に規定するテーブルを参照して量子化マトリクスを決定するとした。しかし、目標ビットレートあるいは解像度の情報に基づいて量子化マトリクスを決定する限り、他の方法を採用してもよい。
本実施形態においては、予め保持された３つの量子化マトリクス（図４〜図６）のうちの１つを符号化処理に適用するマトリクスとして選択し、決定していた。しかし、決定部２１２または量子化部２０４が量子化マトリクスを１つまたは２つ保持し、それらを利用して他の量子化マトリクスをリアルタイムで生成してもよい。
以下、図１０を参照しながら、量子化マトリクスを生成する処理を説明する。以下の処理は、たとえば決定部２１２がソフトウェアによって実現することができる。なお、量子化マトリクスが量子化部２０４において保持されているときには、決定部２１２が量子化部２０４からその量子化マトリクスを読み出して、処理を行えばよい。
図１０は、予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を概念的に示す。（ａ）に示す量子化マトリクスＡは、目標ビットレートＲA、動画像がＨＤ品質のときに採用されるとする。また、（ｂ）に示す量子化マトリクスＢは、目標ビットレートＲB、動画像がＨＤ品質のときに採用されるとする。
以下の説明では、目標ビットレートＲAは符号化装置２１０において処理可能な最低ビットレート、目標ビットレートＲBは最高ビットレートとする。ただしこれは例であり、目標ビットレートＲAおよびＲBは、最高ビットレートと最低ビットレートとの間に存在すればよい。
量子化マトリクスＣの（ｉ，ｊ）要素をｃijなどと記述する。８画素×８画素のマクロブロック単位で符号化を行うときは、ｉおよびｊは１から８までの自然数である。
要素ｃijは、量子化マトリクスＡおよびＢの対応する要素ａijおよびｂij、目標ビットレートＲAおよびＲBの関数として規定することができる。図１０の（ｃ）は、要素ｃijを求めるための関数Ｆのグラフを示している。横軸は目標ビットレート、縦軸は要素の値を示す。
たとえば関数Ｆは、始点を（ＲA，ａij）および終点を（ＲB，ｂij）とする線分（一次関数）として規定される。そしてユーザによって指定された目標ビットレートＲcに基づいて、要素ｃijを求めることができる。なお、関数は任意であり、各（ｉ，ｊ）要素ごとに任意の定めてもよい。
すべてのｉおよびｊの組について要素ｃijを求めることにより、量子化マトリクスＣを得ることができる。図１０の（ｄ）は、目標ビットレートＲｃ、動画像がＨＤ品質のときに採用される量子化マトリックスＣを示す。なお、量子化マトリクスＣの要素を一括して求める必要はなく、量子化処理時に要素１ずつ求めてもよい。
上述の処理においては、２つの量子化マトリクスＡおよびＢを保持する必要があるが、１つの量子化マトリクスのみでも処理は可能である。たとえば上述の量子化マトリクスＡと、単位ビットレートあたりの要素値のステップ値（増加幅）を規定し、たとえば決定部２１２が予め保持していればよい。これにより決定部２１２は、目標ビットレートＲcが指定されると、目標ビットレートＲAからの差に応じて要素値を増減させて量子化マトリクスＣの要素を求めることができる。
（実施形態２）
図１１は、実施形態２による符号化装置３００の構成を示す。符号化装置３００は、実施形態１において説明した符号化装置２１０に代えて、図３のレコーダ２００の一部として実装されうる。
以下、符号化装置３００を説明する。なお、符号化装置３００の構成要素のうち、実施形態１による符号化装置２１０の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。
符号化装置３００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部３１２を備える。
周波数ビット割当特性決定部３１２（以下、「決定部３１２」と記述する。）は、圧縮符号化の符号化条件として指定された目標ビットレートと解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。さらに決定部３１２は、レート制御部２１１で決定された量子化スケールの情報に基づいてピクチャ単位で周波数ビット割当特性を補正し、量子化マトリクスを変更する。
以下、決定部３１２を詳細に説明する。
図１２は、本実施形態による複数の符号化条件の例を示す。図１２に示されるように、圧縮符号化の目標ビットレートと解像度の組み合わせに対して、２種類の量子化マトリクス（ＴＹＰＥ１およびＴＹＰＥ２）が設定されている。
量子化マトリクス（ＴＹＰＥ１）は、図７のテーブルで定められている量子化マトリクスと同じ周波数ビット割当特性を持つ。符号化開始時にはこの量子化マトリクス（ＴＹＰＥ１）が使用される。
一方、量子化マトリクス（ＴＹＰＥ２）は、所定の条件下で発生符号量を低く抑えるために用いられる。具体的には、レート制御部２１１において、実際に発生した符号量から計算される実ビットレートを目標ビットレートに抑えられないとき、または、ブロックノイズによる画質劣化が顕著であると判断したときである。
ここで量子化マトリクスの切り替え例を説明する。いま、解像度「７２０ｘ４８０」で目標ビットレートとして２Ｍｂｐｓが指定されたとする。符号化開始時は、図５に示す量子化マトリクスが使用される。この量子化マトリクスは、重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い。
その後、動きが速い動画像などの圧縮符号化が困難な入力画像が続き、レート制御で目標ビットレートに抑えられないとき、または、量子化後の低周波成分の値が所定の閾値を平均して下回るときには、図１３に示す量子化マトリクスを採用する。図１３は、ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す。（ａ）はイントラ符号化時に利用され、（ｂ）はノン・イントラ符号化時に利用される。これにより、低周波成分へ割り当てられるビット量が相対的に多くなり、画質劣化を抑えられる。
図１４は、決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示す。処理の開始時は、量子化マトリクス（ＴＹＰＥ１）が設定されている。符号化開始後は、図１４に示す処理を各ピクチャの符号化前に行う。
まずステップＳ１４１において、決定部３１２は量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ１）よりも小さいか否かを判断する。小さいときはステップＳ１４２に進み、小さくないときはステップＳ１４３に進む。
ステップＳ１４２において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ１））に設定する。このときは、所望のレート制御が実現されている。
一方、ステップＳ１４３では、決定部３１２は、量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ２）以上か否かを判断する。閾値（Ｑｔｈ２）以上のときはステップＳ１４４に進み、閾値（Ｑｔｈ２）以上でないときは、量子化マトリクスの変更に対してヒステリシスを持たせるために、直前のピクチャで用いていた量子化マトリクスをそのまま用いる。そして処理は終了する。
ステップＳ１４４において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ２））に設定する。このときは、レート制御が破綻する可能性がある、あるいはブロックノイズが顕著であることを意味する。
図１４の説明から明らかなように、閾値Ｑｔｈ１およびＱｔｈ２は、それぞれ量子化マトリクス（ＴＹＰＥ１）と量子化マトリクス（ＴＹＰＥ２）を切替えるための値である（Ｑｔｈ１≦Ｑｔｈ２とする）。一方、Ｑｓｃａｌｅはレート制御部においてピクチャ単位で決定される量子化スケールである。
上述の処理のように、レート制御で決定される量子化スケールが大きい場合、高周波成分をさらに粗く量子化するような量子化マトリクスに変更することによって量子化スケールを小さくすることができ、ブロックノイズによる画質劣化を抑えることができる。
なお、本実施形態においては、符号化開始時の量子化マトリクス（ＴＹＰＥ１）以外の量子化マトリクスとして１種類の量子化マトリクス（ＴＹＰＥ２）のみを設定しているが、２種類以上の量子化マトリクスを切替えてもかまわない。
また、本実施形態においては、量子化スケールを閾値処理して量子化マトリクスの変更に関する判定を行っているが、判定条件に用いる情報はレート制御の状態と相関のある情報であれば量子化スケールでなくてもよい。
本実施形態においては、テーブルを参照することにより、次の量子化マトリクスを決定しているが、レート制御の状態を示す情報に基づいて量子化マトリクスを決定する方法であれば他の方法でもかまわない。
（実施形態３）
図１５は、本実施形態によるレコーダ２５０の構成を示す。レコーダ２５０は、符号化装置４００と、復号化装置５００と、記録部２１５−１／２１５−２とを備えている。
レコーダ２５０は、たとえばＨＤ品質のデジタル放送番組の符号化画像データが記録部２１５−１／２１５−２に蓄積されているときにおいて、その符号化画像データをＳＤ品質に変換（ダウンサンプリング）して再圧縮符号化する際に利用される。またはレコーダ２５０は、比較的高いビットレートで圧縮符号化された符号化画像データを、ダビングのために再圧縮符号化する際に利用される。再圧縮符号化に際して、復号化装置５００は符号化画像データを一旦復号化し、符号化装置４００は復号化された画像データを再度符号化する。なお、記録部２１５−１／２１５−２に蓄積されていない符号化画像データを利用することも可能である。
図１５においては、レコーダ２５０は１つの機器として記載されている。しかし、符号化装置４００、復号化装置５００および記録部２１５−１／２１５−２を１つの機器として相互に接続することにより、動画像記録システムとして実現してもよい。
以下、まず復号化装置５００を説明する。図１５に示す復号化装置５００は、あらかじめ圧縮符号化された符号化画像データを復号化して復号化画像データを生成する。そして復号化の過程において、復号化装置５００は符号化画像データの周波数ビット割当特性、実ビットレート、その符号化画像データの解像度の情報（以下「解像度１の情報」と記述する。）を抽出する。
復号化装置５００は、符号化処理と逆の処理を行うことができればよい。したがって、たとえば符号化装置２１０（図３）の可変長符号化部１０５の逆の処理を行う復号化部、逆量子化部１０６、逆直交変換部１０７、参照画像メモリ１０９および動き検出／動き補償部１１０を設けることにより、符号化画像データの復号化が可能になる。なお、動き検出／動き補償部１１０は動き補償に関する機能のために必要とされる。
次に符号化装置４００を説明する。図１６は、符号化装置４００の構成を示す。符号化装置４００の構成要素のうち、実施形態１の符号化装置２１０または実施形態２による符号化装置３００の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。
符号化装置４００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部４１２、解像度変換部４１３を備える。
まず解像度変換部４１３は、復号化装置５００で復号化された復号化画像データに対し、復号化装置５００における復号化の過程で抽出された解像度１の情報、および、再圧縮符号化の符号化条件としてユーザから指定された解像度の情報（以下「解像度２の情報」と記述する。）に基づいて解像度を変換し、再圧縮符号化に対する入力画像データを生成する。解像度変換を行わない場合は、復号化画像をそのまま再圧縮符号化の入力画像データとして出力すればよい。
周波数ビット割当特性決定部４１２（以下「決定部４１２」と記述する）は、復号化装置５００から符号化画像データの周波数ビット割当特性、実ビットレート、解像度１の情報を取得する。さらに決定部４１２は、再圧縮符号化の符号化条件としてユーザから指定された目標ビットレートおよび解像度２の情報を受け取る。そして決定部４１２は、それらに基づいて、再圧縮符号化における周波数ビット割当特性を決定する。
決定部４１２において、周波数ビット割当特性を決定する算出式の例を数１に示す。
Ｍ２＿ｉｊ＝Ｍ１＿ｉｊ＊（Ｒ１＊Ｈ２＊Ｖ２）／（Ｒ２＊Ｈ１＊Ｖ１） （数１）
ここで、Ｍ１＿ｉｊ、Ｒ１、Ｈ１、Ｖ１は、それぞれ復号化する前の符号化画像データが持つ周波数ビット割当特性、実ビットレート、水平解像度、垂直解像度を表す。また、Ｍ２＿ｉｊ、Ｒ２、Ｈ２、Ｖ２は、それぞれ再圧縮符号化における周波数ビット割当特性、目標ビットレート、水平解像度、垂直解像度を表す。なお、ここでは周波数ビット割当特性は周波数空間座標（ｉ，ｊ）に対応する形のマトリクスとして示しており、量子化時に用いられる量子化マトリクスに対応している。このように再圧縮符号化処理を行う場合に、復号化前の符号化画像データが持つ周波数ビット割当特性を用いることにより、再圧縮符号化の過程で損なわれる周波数成分の情報量を少なくすることができる。
なお、本実施形態においてＲ１は実ビットレートとしているが、Ｒ１は復号化する前の符号化データに対して管理情報等に含まれるビットレート（例えば、過去の符号化時に用いた目標ビットレート）でもかまわない。
なお、数１は例であり、周波数ビット割当特性の算出式は他の数式を用いてもよい。たとえば、量子化マトリクスの直流成分の係数値を変えずに、高周波成分の係数値を変化させるようにしてもよい。
上述の復号化装置５００および符号化装置４００における処理によって、再符号化画像データが生成されると、記録部２１５−１／２１５−２によって記録媒体に書き込まれる。これにより、画像品質の変換、動画像を構成する各ピクチャの画素数の変換、ビットレートの変換等が行われる。
上述の符号化装置および復号化装置において実行される処理は、汎用コンピュータにおいてコンピュータプログラムを実行することによって実現できる。そのようなコンピュータプログラムは、例えば図９および図１４に示すフローチャートに規定された処理を実行する命令を含んでいる。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録されて、製品として市場を流通する。またはコンピュータプログラムは、インターネットに代表される通信ネットワークを介して伝送される。
本発明にかかる動画像符号化装置は、動画像データを圧縮符号化する際の目標ビットレートの高低にかかわらず常に良好な画質を維持することができる。その実用的価値は非常に高い。このような動画像符号化装置は、１つの基板上に実装され、または、他の機器に組み込むことができるため、種々の動画像のデジタル記録機器への応用が可能である。
従来の動画像符号化装置１００の構成を示す図である。 量子化スケールの割り当て表を示す図である。 実施形態１によるレコーダ２００の構成を示す図である。 ＭＰＥＧ−２規格のマトリクス群を示す図である。 テストモデルのマトリクス群を示す図である。 図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す図である。 複数の符号化条件の例を示す図である。 目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す図である。 符号化装置２１０における符号化処理の手順を示すフローチャートである。 予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を示す概念図である。 実施形態２による符号化装置３００の構成を示す図である。 実施形態２による複数の符号化条件の例を示す図である。 ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す図である。 決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示すフローチャートである。 実施形態３によるレコーダ２５０の構成を示す図である。 符号化装置４００の構成を示す図である。
符号の説明
１００ 従来の動画像の符号化装置
１０１ 入力画像メモリ
１０２ 減算部
１０３ 直交変換部
１０４ 量子化部
１０５ 可変長符号化部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 加算部
１０９ 参照画像メモリ
１１０ 動き検出／動き補償部
１１１ レート制御部
２００ レコーダ
２０４ 量子化部
２０５ 映像信号受信部
２１０ 実施形態１による動画像の符号化装置
２１１ レート制御部
２１２、３１２、４１２ 周波数ビット割当特性決定部
２１５−１、２１５−２ 記録部
３００ 実施形態２による動画像の符号化装置
４００ 実施形態３による動画像の符号化装置
４１３ 解像度変換部
５００ 実施形態３による動画像の復号化装置

Claims (8)

  1. 動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、
    前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、
    決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、
    前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部と
    を備えた符号化装置。
  2. 前記量子化部は、複数種類のマトリクスを保持しており、
    前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定する、請求項１に記載の符号化装置。
  3. 前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、
    前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせる、請求項２に記載の符号化装置。
  4. 前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定する、請求項１に記載の符号化装置。
  5. 前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持する、請求項４に記載の符号化装置。
  6. 前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、
    前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出する、請求項１に記載の符号化装置。
  7. 前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、
    前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出する、請求項１に記載の符号化装置。
  8. 動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、
    前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、
    前記符号化データを記録媒体に書き込む記録部と
    を備えた動画像記録システムであって、
    前記符号化装置は、
    前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、
    前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、
    決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、
    前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部と
    を備えた、動画像記録システム。
JP2007508098A 2005-03-14 2006-03-10 符号化装置および符号化装置を備えた動画像記録システム Pending JPWO2006098226A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005070675 2005-03-14
JP2005070675 2005-03-14
PCT/JP2006/304685 WO2006098226A1 (ja) 2005-03-14 2006-03-10 符号化装置および符号化装置を備えた動画像記録システム

Publications (1)

Publication Number Publication Date
JPWO2006098226A1 true JPWO2006098226A1 (ja) 2008-08-21

Family

ID=36991572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007508098A Pending JPWO2006098226A1 (ja) 2005-03-14 2006-03-10 符号化装置および符号化装置を備えた動画像記録システム

Country Status (6)

Country Link
US (1) US7925108B2 (ja)
EP (1) EP1860886A4 (ja)
JP (1) JPWO2006098226A1 (ja)
KR (1) KR20070110517A (ja)
CN (1) CN101107862B (ja)
WO (1) WO2006098226A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734053B2 (en) * 2005-12-06 2010-06-08 Fujitsu Limited Encoding apparatus, encoding method, and computer product
WO2009050897A1 (ja) * 2007-10-19 2009-04-23 Panasonic Corporation 符号化レート変換装置、符号化レート変換方法および集積回路
KR100930485B1 (ko) 2007-11-15 2009-12-09 (주)씨앤에스 테크놀로지 발생 비트량을 이용한 동영상 부호화기의 적응적 비트율제어 기법
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
WO2011024222A1 (ja) * 2009-08-27 2011-03-03 株式会社 東芝 画像を符号化する装置、方法およびプログラム
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
US9473792B2 (en) 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9253483B2 (en) 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9363494B2 (en) * 2012-12-05 2016-06-07 At&T Intellectual Property I, L.P. Digital video recorder that enables recording at a selected resolution
JPWO2016103542A1 (ja) * 2014-12-26 2017-10-19 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置および復号装置
US10356406B2 (en) * 2016-01-19 2019-07-16 Google Llc Real-time video encoder rate control using dynamic resolution switching
WO2018008387A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 画像処理装置および方法
US11399180B1 (en) * 2019-04-09 2022-07-26 Apple Inc. Video encoder with quantization control
WO2022213122A1 (en) * 2021-04-02 2022-10-06 Innopeak Technology, Inc. State transition for trellis quantization in video coding

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03166887A (ja) * 1989-11-27 1991-07-18 Matsushita Electric Ind Co Ltd 符号化装置
JPH05260308A (ja) * 1992-03-09 1993-10-08 Nippon Telegr & Teleph Corp <Ntt> 静止画像符号化装置
JPH07236137A (ja) * 1994-02-24 1995-09-05 Nec Corp 画像符号化制御方式
JPH09224246A (ja) * 1996-02-15 1997-08-26 Sony Corp 画像圧縮符号化および画像圧縮復号化装置
JPH10243397A (ja) * 1997-02-24 1998-09-11 Sony Corp 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
JP2000324494A (ja) * 1999-05-06 2000-11-24 Nec Corp 動画像符号化装置
JP2001078194A (ja) * 1999-06-30 2001-03-23 Media Glue Corp 動画像圧縮符号化制御方法および動画像圧縮符号化装置
JP2001309181A (ja) * 2000-04-26 2001-11-02 Canon Inc 画像処理装置および方法
JP2003189308A (ja) * 2001-12-14 2003-07-04 Victor Co Of Japan Ltd 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2721787B1 (fr) * 1994-06-22 1996-07-26 Thomson Consumer Electronics Procédé de quantification des coefficients.
JPH11285002A (ja) * 1998-02-02 1999-10-15 Sony Corp 動画像符号化装置及び動画像符号化方法
GB2393060B (en) 2002-09-12 2006-01-25 Snell & Wilcox Ltd Manipulation of video compression
JP4191592B2 (ja) * 2003-12-26 2008-12-03 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03166887A (ja) * 1989-11-27 1991-07-18 Matsushita Electric Ind Co Ltd 符号化装置
JPH05260308A (ja) * 1992-03-09 1993-10-08 Nippon Telegr & Teleph Corp <Ntt> 静止画像符号化装置
JPH07236137A (ja) * 1994-02-24 1995-09-05 Nec Corp 画像符号化制御方式
JPH09224246A (ja) * 1996-02-15 1997-08-26 Sony Corp 画像圧縮符号化および画像圧縮復号化装置
JPH10243397A (ja) * 1997-02-24 1998-09-11 Sony Corp 画像符号化方法および画像符号化装置、画像伝送方法および画像伝送装置、並びに記録媒体
JP2000324494A (ja) * 1999-05-06 2000-11-24 Nec Corp 動画像符号化装置
JP2001078194A (ja) * 1999-06-30 2001-03-23 Media Glue Corp 動画像圧縮符号化制御方法および動画像圧縮符号化装置
JP2001309181A (ja) * 2000-04-26 2001-11-02 Canon Inc 画像処理装置および方法
JP2003189308A (ja) * 2001-12-14 2003-07-04 Victor Co Of Japan Ltd 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法

Also Published As

Publication number Publication date
KR20070110517A (ko) 2007-11-19
US20090010559A1 (en) 2009-01-08
EP1860886A1 (en) 2007-11-28
CN101107862B (zh) 2010-05-26
US7925108B2 (en) 2011-04-12
EP1860886A4 (en) 2011-08-03
CN101107862A (zh) 2008-01-16
WO2006098226A1 (ja) 2006-09-21

Similar Documents

Publication Publication Date Title
JPWO2006098226A1 (ja) 符号化装置および符号化装置を備えた動画像記録システム
KR101446771B1 (ko) 영상 부호화장치 및 영상 복호화장치
US7460597B2 (en) Encoding apparatus and method
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
US8275035B2 (en) Video coding apparatus
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP4491349B2 (ja) ビデオ・データのイントラ符号化方法及び装置
US8165411B2 (en) Method of and apparatus for encoding/decoding data
US8675979B2 (en) Transcoder, method of transcoding, and digital recorder
JP2008099322A (ja) ビデオ信号圧縮装置
CN102986211A (zh) 视频编码中的速率控制
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
KR20050012782A (ko) 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템
JPWO2008065822A1 (ja) 符号化装置及び符号化方法
JP2011518527A (ja) 映像の復号化
JP4561508B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
JP2005151391A (ja) 動画像符号化方法、動画像符号化装置およびプログラム
JP5943733B2 (ja) 画像符号化装置およびその制御方法ならびにプログラム
JP2008271039A (ja) 画像符号化装置及び画像復号化装置
CN115868160A (zh) 用于视频编码的自适应量化器设计
JPH10271498A (ja) 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
JP2005151344A (ja) データ処理装置およびその方法と符号化装置
US20070297517A1 (en) Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods
TWI846680B (zh) 影像處理裝置及操作影像處理裝置之方法
JP6985899B2 (ja) 画像符号化装置及びその制御方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120403