JP3893344B2 - 画像符号化方法および画像符号化装置 - Google Patents
画像符号化方法および画像符号化装置 Download PDFInfo
- Publication number
- JP3893344B2 JP3893344B2 JP2002290947A JP2002290947A JP3893344B2 JP 3893344 B2 JP3893344 B2 JP 3893344B2 JP 2002290947 A JP2002290947 A JP 2002290947A JP 2002290947 A JP2002290947 A JP 2002290947A JP 3893344 B2 JP3893344 B2 JP 3893344B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- code data
- code
- reference image
- code amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を圧縮するための画像符号化に関するものであり、特に、民生用ビデオレコーダやビデオカメラ等で必要とされるリアルタイム符号化における、符号量制御の精度を向上させる技術に属する。
【０００２】
【従来の技術】
図１７は従来の符号量制御を含む画像符号化を示すフローチャートである。従来の符号量制御は、過去に符号化したデータの符号量に基づき今後の符号化のパラメータを決定し符号量を所定の範囲に収めるという制御を行っている（例えば、特許文献１参照）。まず、画像の最初のフレームを入力し（ＳＺ１）、予め定められた初期パラメータに従って最初のマクロブロックを符号化する（ＳＺ２）。なお、符号化はマクロブロックと呼ばれる矩形領域単位で行われる。次のマクロブロック以降は、既に符号化されたマクロブロックの符号量を計算し（ＳＺ３）、符号量が所定の目標値に比べて大きいか小さいかを判断し、大きい場合は符号量が小さくなる方に、小さい場合は符号量が大きくなる方に符号化パラメータを制御する（ＳＺ４）。次のフレームの画像が入力されると（ＳＺ５）、その前のフレームの符号量も含めて目標値との差を計算し（ＳＺ６）、今後の符号化パラメータを制御する（ＳＺ７）。最終フレームになるまで、ステップＳＺ５〜ＳＺ７を繰り返し実行する（ＳＺ８）。
【０００３】
【特許文献１】
特開平７−１０７４７３号公報
【０００４】
【発明が解決しようとする課題】
ところが、従来の方法では、過去の符号化データから今後の符号化パラメータを制御するというフィードバック方式を用いているために、常に最適な符号量が選択できるという保証はない。例えば、最初に符号量を多く与え過ぎたため、その後、本来なら多くの符号量を与えるべき画像にそれだけの符号量を与えることができなくなり、画質を著しく損なう、というような問題が発生しうる。
【０００５】
また、符号量のみを評価して符号化パラメータを制御しているため、画像の性質に応じて、与える符号量を適切に制御する、といった符号量制御を行うことは困難であった。
【０００６】
前記の問題に鑑み、本発明は、画像の符号化において、画質を考慮した符号量制御を実現することを課題とする。
【０００７】
【課題を解決するための手段】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、動画像の符号化を行う画像符号化方法として、一の画像について、符号量が互いに異なる複数の符号データを生成する第１のステップと、前記各符号データから、復号化によって、複数の参照画像を生成する第２のステップと、前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる第４のステップとを備えているものである。
【０００８】
請求項１の発明によると、一の画像について、符号量が互いに異なる複数の符号データが生成され、これら各符号データから、複数の参照画像が生成される。そして、これら各参照画像について画質評価が行われ、この画質評価の結果に基づいて、符号データの選択が行われる。すなわち、再生時に得られるものと同じ参照画像の画質評価の結果から、符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【０００９】
また、画質が最も高いと想定される，符号量が最大の符号データから得られた参照画像をリファレンス画像として定め、各参照画像について、このリファレンス画像との差分を とり、この差分から画質評価の評価値が求められる。このため、精度の高い画質評価を、簡易な方法によって実現できる。
【００１０】
請求項２の発明では、前記請求項１の第１のステップにおいて、目標符号量を複数設定し、前記一の画像について、その符号量が前記各目標符号量に収束するように符号量制御をしつつ符号化をそれぞれ行い、前記複数の符号データを生成するものとする。
【００１１】
請求項３の発明では、前記請求項２において、前記各目標符号量はフレーム単位で設定され、前記符号量制御において、マクロブロック単位で符号化パラメータを制御するものとする。
【００１２】
請求項４の発明では、前記請求項１の第１のステップにおいて、前記一の画像について、互いに異なる複数の符号化パラメータを用いて符号化をそれぞれ行い、前記複数の符号データを生成するものとする。
【００１３】
請求項５の発明では、前記請求項１において、前記一の画像はフレーム単位で与えられ、前記第４のステップにおいて、符号データの選択をフレーム単位で行うものとする。
【００１４】
請求項６の発明は、動画像の符号化を行う画像符号化方法として、フレーム単位で与えられる入力画像について、他のフレームのｎ個（ｎは２以上の整数）の参照画像を参照して、ｎ個の予測符号化画像を生成し、前記ｎ個の予測符号化画像について、符号量が互いに異なるｍ個（ｍは２以上の整数）の符号データを、それぞれ生成することによって、（ｎ×ｍ）個の符号データを生成する第１のステップと、前記（ｎ×ｍ）個の符号データから、復号化によって、（ｎ×ｍ）個の参照画像を生成する第２のステップと、前記第２のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が小さい順にｎ個の符号データを選択する第４のステップとを備え、前記ｎ個の符号データに対応するｎ個の参照画像を、他のフレーム画像の予測符号化に用いるものである。
【００１５】
請求項７の発明では、前記請求項１または６の第３のステップにおいて、前記リファレンス画像について高周波成分を画素毎に抽出し、前記評価値を求める際に、前記差分の絶対値に、当該画素における前記高周波成分が大きいほど小さくなるように設定された係数をかけ、前記係数をかけた後の前記差分の絶対値を積算したものを前記評価値とするものとする。
【００１６】
請求項７の発明によると、画像同士の差分がリファレンス画像の高周波成分に応じて変調されるので、画像の複雑度が画質評価の評価値に加味される。したがって、人間の目の特性に応じた尺度によって、精度の高い画質評価を行うことができる。
【００１７】
請求項８の発明では、前記請求項１または６において、前記差分からなる差分画像のパターンを評価し、ノイズ情報を抽出し、前記ノイズ情報を、当該参照画像に係る符号データに付加するものとする。
【００１８】
請求項８の発明によると、抽出したノイズ情報が符号データに付加されるので、符号データの再生時にノイズ除去処理を有効に機能させることができる。このため、再生時に高画質化をさらに図ることができる。
【００１９】
請求項９の発明では、前記請求項１の第３のステップにおいて、前記評価値の算出をマクロブロック単位で行い、前記第４のステップにおいて、符号データの選択をマクロブロック単位で行い、選択された複数のマクロブロック単位の符号データを組み合わせて新たな符号データを再構成するものとする。
【００２０】
請求項９の発明によると、マクロブロック単位で画質評価を行い、マクロブロック単位で符号データを選択する。これにより、フレーム内においても画質評価に基づく符号量制御が行われるので、さらに画質を向上することができる。
【００２１】
請求項１０の発明では、前記請求項９の第４のステップにおいて、新たな符号データを再構成する際に、選択された符号データのうち予測符号化された部分について、一旦復号化して、予測符号化されていない符号データに変換し、再構成した後、予測符号化を行うものとする。
【００２２】
請求項１１の発明では、前記請求項１において、前記第１のステップにおいて、入力画像と予測符号化画像のそれぞれに対して、符号量が異なるｎ個（ｎは２以上の整数）の符号データを生成し、前記第２のステップにおいて、前記第１のステップで生成された２ｎ個の符号データから、復号化によって、２ｎ個の参照画像を生成するものとする。
【００２３】
請求項１２の発明では、前記請求項６において、前記第１のステップにおいて、さらに、入力画像に対して、符号量が異なるｍ個の符号データを生成し、前記第２のステップにおいて、前記第１のステップで生成された（ｎ＋１）×ｍ個の符号データから、復号化によって、（ｎ＋１）×ｍ個の参照画像を生成するものとする。
【００２４】
請求項１１または１２の発明によると、いわゆるイントラ／インター判定も、画質評価に基づいて行われるので、画質をさらに向上させることができる。
【００２５】
請求項１３の発明は、動画像の符号化を行う画像符号化方法として、一の画像について、符号量が互いに異なる複数の符号データを生成する第１のステップと、前記各符号データから、復号化によって、複数の参照画像を生成する第２のステップと、前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるものの中から、符号量が最小となる符号データを選択する第４のステップとを備えているものである。
【００２６】
請求項１４の発明は、動画像の符号化を行う画像符号化方法として、フレーム単位で与えられる入力画像について、他のフレームのｎ個（ｎは２以上の整数）の参照画像を参照して、ｎ個の予測符号化画像を生成し、前記ｎ個の予測符号化画像について、符号量が互いに異なるｍ個（ｍは２以上の整数）の符号データを、それぞれ生成することによって、（ｎ×ｍ）個の符号データを生成する第１のステップと、前記（ｎ×ｍ）個の符号データから、復号化によって、（ｎ×ｍ）個の参照画像を生成する第２のステップと、前記第２のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるもの中から、符号量が大きい順にｎ個の符号データを選択する第４のステップとを備え、前記ｎ個の符号データに対応するｎ個の参照画像を、他のフレーム画像 の予測符号化に用いるものである。
【００２７】
請求項１３または１４の発明によると、符号データの選択が、画質評価の結果に加えて、各符号データのそれぞれの符号量に基づいて、行われる。このため、画質を重視しつつも符号量の変動を抑えた符号量制御を実現することができ、したがって、再生時の復号装置の規模を抑えることができる。
【００２８】
請求項１５の発明では、前記請求項１３または１４の第４のステップにおいて、フレーム単位に、符号量の許容範囲である符号量許容範囲を設定し、マクロブロック単位に、画質評価によって符号データを選択し、フレーム全体の符号量が前記符号量許容範囲を越えたとき、符号量が前記符号量許容範囲内に収まるように、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して行うものとする。
【００２９】
請求項１５の発明によると、フレーム全体の符号量が符号量許容範囲を超えたとき、符号データの選択変更を、画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して行うので、画質の劣化を最小限に留めつつ、符号量の変動を抑えることができる。
【００３０】
また、請求項１６の発明が講じた解決手段は、画像符号化装置として、一の画像について、符号量が互いに異なる複数の符号データを生成する画像符号化部と、前記画像符号化部によって生成された各符号データから、局所復号化によって、複数の参照画像を生成する局所復号化部と、前記局所復号化部によって生成された複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする画質評価部と、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する符号データ選択部とを備えたものである。
【００３１】
請求項１６の発明によると、画像符号化部によって、一の画像について符号量が互いに異なる複数の符号データが生成され、局所復号化部によって、これら各符号データから複数の参照画像が生成される。そして、画質評価部によって、これら各参照画像について画質評価が行われ、この画質評価の結果に基づいて、符号データの選択が符号データ選択部によって行われる。すなわち、再生時に得られるものと同じ参照画像の画質評価の結果から、符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【００３２】
請求項１７の発明では、前記請求項１６において、前記複数の符号データを格納するための第１の記憶部と、前記複数の参照画像を格納するための第２の記憶部とを備え、前記第１および第２の記憶部は、共通のメモリ素子によって構成されているものとする。
【００３３】
請求項１７の発明によると、複数の符号データを格納するための第１の記憶部と、複数の参照画像を格納するための第２の記憶部とが、共通のメモリ素子によって構成される。このため、デジタルカメラなど元来大容量メモリを備えた装置については、その既存のメモリを用いることができ、これにより、コストを低減することができる。
【００３４】
請求項１８の発明では、前記請求項１６における画像符号化部および前記局所復号化部は、時分割動作し、前記符号データおよび参照画像の組を、時列的に直列に、生成するものとする。
【００３５】
請求項１８の発明によると、画像符号化部および局所復号化部は、時分割動作し、符号データおよび参照画像の組を、時列的に直列に生成するので、複数の符号データおよび参照画像を生成するために、新たなハードウェアを設ける必要がない。すなわち、ＤＶＤレコーダなど元来高い処理能力を有する装置について、その能力をうまく利用して、例えば圧縮率が高いにもかかわらず高画質な符号データを生成させることができ、目的に応じて切り換えて用いることによって、より広いアプリケーションに適用することができる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３７】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像符号化方法における基本的な処理の流れを示すフローチャートである。図１に示すように、まず、動画像の最初のフレームを入力し（Ｓ１１）、このフレーム画像について、符号量が互いに異なるｎ個（ｎは２以上の整数）の符号データを生成する（Ｓ１２、第１のステップ）。そして、このｎ個の符号データに対してそれぞれ復号化を行い、予測符号化を行うためのｎ個の参照画像を生成する（Ｓ１３、第２のステップ）。次に、このｎ個の参照画像について、画質評価を行い（Ｓ１４、第３のステップ）、この画質評価の結果に基づいて、記録すべき最適な符号データをフレーム単位で選択する（Ｓ１５、第４のステップ）。他の符号データは記録せずに破棄する（Ｓ１６）。そして、最終フレームになるまで、ステップＳ１１〜Ｓ１６を繰り返し実行する（Ｓ１７）。
【００３８】
なお、この方法では、次のフレームの符号化において、参照画像と入力画像の差分、すなわち予測符号化画像を符号化するか、または、入力画像そのものを符号化するかの判断（これを「イントラ／インター判定」と呼ぶ）は、フレーム内でマクロブロック単位で行うものとする。すなわち、マクロブロック単位でイントラ／インター判定を行った１つの画像について、ｎ個の符号データを生成する。
【００３９】
ここで、ステップＳ１２では、ｎ個の目標符号量を設定し、フレーム画像の符号量が各目標符号量に収束するように符号量制御をしつつ、符号化をそれぞれ行うものとする。この符号量制御では、従来のフィードバック法を用いる。すなわち、フレーム単位に設定されたｎ個の目標符号量に対応して最初のマクロブロックの符号化パラメータを決定し、それに基づき符号化を行い、次のマクロブロックからは既に符号化されたデータの符号量と目標値との差を評価して符号化パラメータを決定し、最終的に、フレームの符号量が目標符号量に収束するように制御を行う。
【００４０】
なお、ステップＳ１２において、互いに異なる複数の符号化パラメータを用いて、符号化をそれぞれ行うことによって、符号量が異なる複数の符号データを生成してもかまわない。ここでの符号化パラメータは、代表的には、量子化係数または量子化ステップであるが、この他にも、ハフマンテーブルや量子化テーブルなどを用いてもよい。
【００４１】
図２は本実施形態に係る画像符号化装置の構成例を示すブロック図である。図２において、動きベクトル検出部２、予測符号化部３、ＤＣＴ処理部４、量子化ブロック５および可変長符号化ブロック６によって、画像符号化部が構成されており、逆量子化ブロック８、逆ＤＣＴ処理ブロック９および参照画像生成ブロック１０によって、局所復号化部が構成されている。なお、構成を簡易にするために、局所復号化部には、複数の符号データＣＤ１，ＣＤ２，ＣＤ３を与える代わりに、量子化ブロック５の出力を与えている。
【００４２】
入力された動画像データは、一旦入力画像バッファ１に格納される。入力画像バッファ１は、参照画像メモリ１１とともに、動きベクトル検出や予測符号化画像の生成のために必要となり、その容量はマクロブロックを形成するために必要なライン数に相当する容量となる。動きベクトル検出部２は入力画像バッファ１内の画像と参照画像との比較演算を行い、参照画像に対する入力画像の動きベクトルをマクロブロック単位で検出する。予測符号化部３は検出された動きベクトル情報に基づき、入力画像と参照画像との差分を取り、予測符号化画像を生成する。
【００４３】
予測符号化画像は、次にフレーム内符号化される。まずＤＣＴ処理部４においてＤＣＴが行われＤＣＴ係数が生成され、これが量子化ブロック５において量子化される。図２の構成では、量子化ブロック５は互いに異なる量子化係数が準備された３個の量子化部５ａ，５ｂ，５ｃを備えており、各量子化部５ａ，５ｂ，５ｃから量子化されたＤＣＴ係数が出力される。次に、それぞれのＤＣＴ係数が可変長符号化ブロック６においてハフマン符号等の可変長符号によって符号化され、これによって生成された第１〜第３符号データＣＤ１，ＣＤ２，ＣＤ３が符号データバッファ７に格納される。
【００４４】
その一方で、量子化されたＤＣＴ係数は、逆量子化ブロック８においてそれぞれ逆量子化され、さらに逆ＤＣＴブロック９において逆ＤＣＴされる。これによって、予測符号化画像まで復号される。そして、参照画像生成ブロック１０において、復号した予測符号化画像と、参照画像メモリブロック１１に格納されている前フレームの参照画像とを、動きベクトル情報に基づき加算することによって、予測符号の復号が行われる。これによって、次フレームの入力画像の予測符号化に用いる参照画像が生成され、新たに参照画像メモリブロック１１に格納される。本装置では、３種類の参照画像が生成される。
【００４５】
画質評価部１３はこの３種類の参照画像について、画質をそれぞれ評価し、その評価結果から１つの参照画像を選択する。符号データ選択部１４は第１〜第３符号データＣＤ１，ＣＤ２，ＣＤ３の中から、画質評価部１３によって選択された参照画像に対応する符号データを選択し、記録部１５に記録する。
【００４６】
＜画質評価＞
図３は画質評価ステップＳ１４における処理の一例を示すフローチャートである。図３に示すように、本実施形態における画質評価は、基本的には、符号量が最大の符号データから得られた参照画像をリファレンス画像として定め（Ｓ１４１）、各参照画像について、リファレンス画像との差分を画素毎に取り（Ｓ１４４）、その差分の絶対値を積算し、これを画質評価の評価値とする（Ｓ１４６）ものである。リファレンス画像との差分を評価尺度としたのは、この差分が、画像圧縮によって発生したノイズとみなすことができるからである。差分の絶対値の積算は、本実施形態では画質評価をフレーム単位で行うものとしているので、画面全体にわたって行うが、マクロブロック単位で画質評価を行う場合は、マクロブロック単位で積算する。ステップＳ１５では、例えば、ステップＳ１４で得られた評価値が所定の許容範囲にある参照画像を選択し、その参照画像に対応する符号データの中で、最も符号量が小さいものを選択する。
【００４７】
ここで、符号量が最大の符号データから得られた参照画像をリファレンス画像としたのは、通常、符号量が多くなるほど画質が高くなると考えられるからである。したがって、複数の符号データの生成を複数の符号化パラメータを用いて行う場合には、最も高画質となる符号化パラメータによる符号データから得た参照画像を、リファレンス画像として設定すればよい。
【００４８】
ところが、ノイズが画質に与える影響は、単に、その大きさだけで決まるわけではない。例えば、複雑な絵柄に発生したノイズと単純な絵柄に発生したノイズとを比較すると、単純な絵柄に発生したノイズの方が、画像上よく目立つため、影響が大きいといえる。
【００４９】
このため、図３の処理では、ノイズが画像上で目立つ度合が、評価値に盛り込まれるようにしている。すなわち、リファレンス画像について高周波成分を抽出し、評価値を求める際に、上述の差分を当該画素における高周波成分に応じて変調する。より具体的には、高周波成分が大きいほど、差分の絶対値が小さくなるようにする。
【００５０】
まず、リファレンス画像にハイパスフィルタ（ＨＰＦ）処理を施す（Ｓ１４２）。これにより、リファレンス画像から低周波成分が除去される。高周波成分のみの画像は正負の値を持つのでこれを絶対値化し、さらにローパスフィルタ（ＬＰＦ）処理を行う（Ｓ１４３）。このＬＰＦ処理は必ずしも必要ではないが、差分を変調する度合を緩やかにする効果がある。この処理の結果を、高周波成分含有度とする。そして、ステップＳ１４４で得られた差分の絶対値に、高周波成分含有度に応じた係数を掛ける（Ｓ１４５）。この係数は、高周波含有度が大きいほど小さくなるように設定する。最後に、係数のかかった差分の絶対値を、画面全体で、またはマクロブロック単位で、積算する（Ｓ１４６）。
【００５１】
なお、この差分を利用して、再生画像をさらに高画質にすることができる。上述のとおり、リファレンス画像との差分は、圧縮によるノイズ成分とみなせる。そこで、差分からなる差分画像のパターンを評価して、含まれているノイズパターンを示すノイズ情報を抽出し、このノイズ情報を符号データに付加するようにする。そして、再生時に、このノイズ情報が示すノイズパターンを除去するノイズリダクション処理を行うことによって、符号量が少ない符号データから画質の良い再生画像を得ることができる。すなわち、ノイズ情報が付加されているために、再生画像からノイズ成分を検知する必要がなく、精度の良いノイズ除去が可能になる。
【００５２】
（第２の実施形態）
第１の実施形態では、１フレーム毎に画質評価を行い、符号データの選択を行っている。ところが、予測符号化を行う場合には、他のフレームの参照画像を符号化に用いるため、その画質は、他のフレームにおける符号化の影響を受ける。よって、できれば、複数フレームにわたってそれぞれ複数の条件を設定して、複数の符号データを生成し、これらから得られる画像を画質評価する方が望ましい。そこで、本発明の第２の実施形態では、２フレーム単位で画質評価を行い、符号データを選択するものとする。すなわち、他のフレームの複数の参照画像を参照することによって複数の予測符号化画像を生成し、各予測符号化画像について、それぞれ、符号量が異なる符号データを生成する。
【００５３】
図４は本実施形態に係る画像符号化方法における処理の流れを示すフローチャートである。図４において、まず、動画像の最初のフレームを入力し（Ｓ２１）、このフレーム画像について、符号量が異なるｎ個（ｎは２以上の整数）の符号データを生成する（Ｓ２２）。そして、このｎ個の符号データに対してそれぞれ復号化を行い、ｎ個の参照画像を生成する（Ｓ２３）。
【００５４】
次に、次フレームの画像を入力し（Ｓ２４）、この入力画像について、ｎ個の参照画像を参照してｎ個の予測符号化画像を生成する（Ｓ２５）。そしてｎ個の予測符号化画像に対して、それぞれ、符号量が異なるｍ個（ｍは２以上の整数、通常はｍ＝ｎ）の符号データを生成し、これにより（ｎ×ｍ）個の符号データが生成される（Ｓ２６）。この各符号データを復号して（ｎ×ｍ）個の参照画像を生成する（Ｓ２８）。
【００５５】
そして、これらの参照画像について、第１の実施形態と同様に画質評価を行い（Ｓ２８）、この画質評価の結果に基づいて、記録すべき符号データを選択する（Ｓ２Ａ）。これで、２フレーム分の符号化データの組み合わせに対して画質評価が行われたことになる。また、画質評価の結果に基づいて、（ｎ×ｍ）個の参照画像の中からｎ個の参照画像を選択する（Ｓ２Ａ）。このｎ個の参照照画像は、次のフレーム画像の予測符号化のために用いられる。
【００５６】
このような処理を、最終フレームまで繰り返し実行する（Ｓ２９）。最終フレームでは、画質評価の結果に基づいて、最終的に記録する１つの符号データを選定する（Ｓ２Ｂ）。
【００５７】
（第３の実施形態）
上述の実施形態では、イントラ／インター判定はフレーム内でマクロブロック単位で行っており、例えば、イントラ符号化とインター符号化のうち、同一符号化パラメータにおいて発生符号量の小さい方を選択するようにしている。ところが、参照画像にはすでに符号化による画質劣化が含まれており、予測符号化画像を用いた符号化はさらに画質劣化するため、イントラ／インター判定についても画質評価によって行った方が望ましい。本実施形態では、イントラ／インター判定も画質評価によって行うものとする。
【００５８】
図５は図１に示す第１の実施形態に係る画像符号化に、画質評価によるイントラ／インター判定を加えた方法を示すフローチャートである。図１と異なるのは、ステップＳ３２，Ｓ３３である。ステップＳ３２において、入力画像と予測符号化画像に対して、それぞれ、符号量が異なるｎ個の符号データを生成し、ステップＳ３３において、ステップＳ３２で生成された計２ｎ個の符号データから、２ｎ個の参照画像を生成する。そして、この２ｎ個の参照画像について画質評価を行い（Ｓ１４）、符号データの選択を行う（Ｓ１５）。これにより、第１の実施形態ではフレーム内で行われていたイントラ／インター判定が、画質評価によって行われることになる。
【００５９】
図６は図４に示す第２の実施形態に係る画像符号化に、画質評価によるイントラ／インター判定を加えた方法を示すフローチャートである。図４と異なるのは、ステップＳ４６，Ｓ４７である。ステップＳ４６において、入力画像とｎ個の予測符号化画像のそれぞれに対して、符号量が異なるｍ個の符号データを生成し、ステップＳ４７において、ステップＳ４６で生成された計（ｎ＋１）×ｍ個の符号データから、（ｎ＋１）×ｍ個の参照画像を生成する。そして、この（ｎ＋１）×ｍ個の参照画像について画質評価を行い（Ｓ２８）、符号データの選択を行う（Ｓ２Ａ）。これにより、第２の実施形態ではフレーム内で行われていたイントラ／インター判定が、画質評価によって行われることになる。
【００６０】
（第４の実施形態）
上述の各実施形態では、画質評価に基づく符号データの選択は、あくまでもフレーム単位であった。また、第３の実施形態で示したイントラ／インター判定をフレーム単位の画質評価で行った場合には、マクロブロックが、全て予測符号化画像になるか、または、全て入力画像になるかのいずれかに限られてしまう。そこで、本発明の第４の実施形態では、フレーム内のマクロブロック単位の符号量制御についても、画質評価によって行うものとする。
【００６１】
図７は本発明の第４の実施形態に係る画像符号化方法における処理の流れを示すフローチャートである。図７において、まず、動画像の最初のフレームを入力し（Ｓ５１）、このフレーム画像について、符号量が異なるｎ個の符号データを生成する（Ｓ５２）。ここでは、互いに異なるｎ個の符号化パラメータを用いて、符号化をそれぞれ行うことによって、ｎ個の符号データを生成するものとする。すなわち、マクロブロック毎に異なる符号化パラメータを与える符号量制御は行わず、各符号データは、全マクロブロックが同一符号化パラメータによって符号化されたものとなる。
【００６２】
そして、このｎ個の符号データについてそれぞれ復号化を行い、ｎ個の参照画像を生成する（Ｓ５３）。次に、このｎ個の参照画像について、画質評価を行う（Ｓ５４）。画質評価はマクロブロック単位で行うものとし、したがって、最適な画像がマクロブロック単位で選択される。すなわち、マクロブロック単位で異なる参照画像が選択される場合も起こりうる。次に、マクロブロック単位に選択された参照画像に対応した符号データをｎ個の符号データから抽出し（Ｓ５５）、これらを組み合わせて新たな符号データを生成する（Ｓ５６）。そして元の符号データは破棄する（Ｓ５７）。そして、最終フレームになるまで、ステップＳ５１〜Ｓ５７を繰り返し実行する（Ｓ５８）。
【００６３】
図８は本実施形態に係る画像符号化装置の構成例を示すブロック図であり、図２と共通の構成要素には、図２と同一の符号を付しており、ここではその詳細な説明を省略する。図８の構成では、符号データ選択部１４の指示に従って、符号データバッファ７に格納された第１〜第３の符号データＣＤ１，ＣＤ２，ＣＤ３から、新たな符号データを、再構成によって生成する再構成部２１が設けられている。
【００６４】
＜符号データの再構成＞
図９は符号データ再構成ステップＳ５６における処理の一例を示すフローチャートである。ここで、もしマクロブロック単位で独立して符号化されている場合には、符号データの再構成のためには、必要なマクロブロックの符号データを単純に取り出して組み合わせるだけでよい。ところが、一部のデータは、他のマクロブロックの符号データとの差分を符号化する予測符号化（フレーム内予測符号化）がなされている場合がある。この場合は、一旦その予測符号を復号化し、必要なマクロブロックを組み合わせた後、再度予測符号化を行う。
【００６５】
図１０はフレーム内符号化を含む符号データの再構成処理を模式的に示す図である。まず、マクロブロックの符号データから、フレーム内予測符号化している部分を抽出する（Ｓ５６１）。これは、マクロブロック内の全ての符号データがフレーム内予測符号化されているわけではなく、例えばＤＣＴのＤＣ係数のような一部のデータのみがフレーム内予測符号化されているためである。続いてフレーム内予測符号を復号する（Ｓ５６２）。図１０に示すように、最初のマクロブロックのデータ（ここではＤＣ係数）はそのまま用いられる。２番目のマクロブロックのデータは最初のマクロブロックのデータとの差分なので、最初のマクロブロックのデータとの加算によって、元のデータが復号される。続いて３番目のマクロブロックのデータと復号された２番目のマクロブロックのデータとを加算することによって、３番目のマクロブロックの元のデータが復号される。このような処理を続けていくことによって、フレーム内予測符号化を用いていない符号データが得られる。
【００６６】
次に、マクロブロック単位に画質評価で選択された参照画像に対応する符号データを抽出し、組み合わせて、１つの符号データを再構成する（Ｓ５６３）。図１０では３本の符号データＣＤ１〜ＣＤ３からマクロブロック毎に符号データが抽出され、１本の新符号データが再構成されている。最後に、再構成された新符号データの中で、予測符号化を行うべき部分（ここではＤＣＴのＤＣ係数）について再度、予測符号化を行う。
【００６７】
＜符号量を加味した符号データの選択＞
画質評価のみによって符号量制御を行う場合には、画像の複雑度の変動に符号量の変動が追従するため、符号量の変動が激しくなるという問題がある。符号量に大きな変動があると、再生時の復号のために大きなバッファメモリを準備する必要があり、機器の小型化、ローコスト化という点で不利である。そこで、ここでは、画質評価に加えて、符号量も考慮して符号データの選択を行うことによって、ある程度、符号量の変動を抑える方法を説明する。
【００６８】
基本的な考え方は、符号量にも許容範囲を設け（これを「符号量許容範囲」と呼ぶ）、上述の画質許容範囲に含まれた参照画像に対応した符号データの中から、符号量許容範囲に入っているものを選び、その中から所定の規則に従って、記録すべき符号データを選択する。この処理を図１１を用いて説明する。図１１において、（ａ）は参照画像の画質を模式的に表している。縦軸が画質であり、上に行くほど画質が高いことを示している。また、（ｂ）は各参照画像に対応した符号データの符号量を模式的に表している。縦軸が符号量であり、上に行くほど符号量が多いことを示している。
【００６９】
図１１（ａ）において、最も画質が高いリファレンス画像が最も上に位置しており、その下に比較対象となる参照画像が並んでいる。そして、参照画像１〜５が画質許容範囲に含まれている。また図１１（ｂ）において、符号量が最も多いリファレンス画像の符号データが最も上に位置しており、その下に参照画像の符号データが並んでいる。この並び順は一般的には、画質の順と同様である。そして、符号データ２〜６が符号量許容範囲に含まれている。
【００７０】
この場合、符号量が符号量許容範囲に含まれており、かつ参照画像の画質が画質許容範囲に含まれている符号データは、符号データ２〜５の４個である。この中から、記録すべき符号データを選択する。例えば、第１の実施形態のように、１フレーム単位で画質評価を行う場合には、符号データ２を選択する。また第２の実施形態のように２フレーム単位で画質評価を行う場合には、例えば符号データ２〜４を選択すればよい。
【００７１】
また、図１２に示すように、画像許容範囲に含まれている参照画像の符号データが、いずれも符号量許容範囲に含まれない場合は、例えば、符号量許容範囲内で最大の符号量の符号データを選択するようにすればよい。この符号データは、符号量許容範囲内の符号データの中で、最も画質が良いと考えられるからである。なおこの場合、複数の符号データを選択する方法においても、最大符号量の符号データ１つのみを選択するのが好ましい。これは、他のデータは画質が悪いため、結果として、複数フレーム間の評価によって選択される可能性が極めて低いからである。
【００７２】
なお、この方法をフレーム単位で適用した場合、符号量の変動量が大きいため、変動幅に比べて許容範囲を小さく設定する必要があるが、この方法をマクロブロック単位で適用した場合は、変動量が小さいため、変動幅に比べて許容範囲を大きく設定しやすくなる。ところが、全てのマクロブロックにおいて符号量が同じように変動した場合、フレーム全体としては符号量が大きく変動することになり、好ましくない。
【００７３】
このため、フレーム単位で符号量許容範囲を設定して、マクロブロック単位で画質評価によって符号データを選択し、フレーム全体の符号量が符号量許容範囲を超える場合は、マクロブロック単位での符号データの選択を見直して、符号量許容範囲内に収まるようにするのが好ましい。この場合、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して、行うことによって、フレーム全体としての画質劣化を最小限に抑えた符号量制御が可能になる。
【００７４】
＜装置構成の具体例＞
本発明の具体的な構成例について説明する。まず、デジタルカメラに応用する場合について説明する。図１３は一般的なデジタルカメラの構成を示す図である。まず、レンズ３１で結像された光学像はＣＣＤイメージセンサ３２によって電気信号に変換され、アナログ前処理部３３によって前処理が施された後、Ａ／Ｄ変換部３４によってデジタル信号に変換される。デジタル信号処理部３５がこのデジタル信号について色分離や圧縮等の処理を行うが、この処理のために大容量のメモリが必要であり、デジタルカメラでは外付けのＤＲＡＭ等のメモリ３６が用いられる。そして、処理後のデジタル信号は記録媒体３７に記録される。
【００７５】
このように、デジタルカメラは元々大容量のメモリが設けられているため、本発明を適用する際にはこれを利用するのが好ましい。図１４は本発明を応用したデジタルカメラの画像符号化部４０の構成を示す。この画像符号化部４０はデジタル信号処理部３５の内部に設けられており、基本的な構成および動作は図２と同様である。メモリコントローラ４１は、各処理部からのデータの入出力を調停し、ＤＲＡＭなどのメモリ素子としての外付け大容量メモリ３６とのデータのやり取りを行う。図１４の構成では、複数の参照画像を格納するための領域４２と、複数の符号化データを格納するための領域４３とをメモリ３６に格納する。すなわち、参照画像生成部１０によって生成された参照画像はメモリコントローラ４１を介して外部メモリ３６に格納され、また符号データもメモリコントローラ４１を介して外部メモリ３６に格納される。言い換えると、図２の構成における第１の記憶部としての符号データバッファ７と第２の記憶部としての参照画像メモリブロック１１とが、共通のメモリ素子としての外部メモリ３６によって、構成されている。
【００７６】
次に、ＤＶＤレコーダ等のＭＰＥＧ−２を利用したビデオレコーダに応用した具体例について説明する。図１５はＭＰＥＧ−２でＴＶ解像度の動画像を符号化するＤＶＤレコーダの構成例である。まず、ＮＴＳＣ／ＰＡＬデコーダ＆Ａ／Ｄ部５１がＮＴＳＣまたはＰＡＬ信号について、Ｙ／Ｃ分離およびカラー復調を行うとともにＡＤ変換を行う。次にＭＰＥＧ−２エンコーダ５２がこのデジタル信号をＭＰＥＧ−２に従って符号化し符号データを生成する。次にストリームコントローラ５３が、ＤＶＤドライブ５４向けの記録・再生ストリームデータの調停および入出力制御を行う。再生時には、ＭＰＥＧ−２デコーダ５５がＭＰＥＧ−２に従って復号を行い画像信号を生成し、ＮＴＳＣ／ＰＡＬエンコーダ＆Ｄ／Ａ部５６がＮＴＳＣまたはＰＡＬ信号への変調およびＤＡ変換を行う。ＭＰＥＧ−２エンコーダ５２およびＭＰＥＧ−２デコーダ５５には、処理用の外付け大容量メモリ５７，５８が接続されている。
【００７７】
ところで、ＤＶＤレコーダは、ＴＶ画面という比較的画面サイズの大きい動画像を、高画質で記録するために用いられることが多い。このため、高い処理能力と大容量のメモリが必須であり、この条件下で、高画質を実現するために比較的圧縮率の低い符号データを生成する。ところがその一方で、小さな画面（低解像度）でかまわないが、符号量はできる限り小さい（圧縮率が高い）符号データを得たい、というニーズも存在する。このようなニーズに対しては、従来は、解像度変換を行い、小さな画面をＭＰＥＧ−２で記録するようにしていた。これに対して、本発明を適用することによって、高画質でかつ圧縮率の高い符号データを得ることができる。そして、ＤＶＤレコーダのような元来処理能力が高い画像符号化装置を、時分割動作させ、複数の符号化パラメータを用いて符号化を行うことによって、回路規模の増大を招くことなく、上述のようなニーズを容易に満たすことができる。
【００７８】
図１６は本発明を応用したＤＶＤレコーダの画像符号化部６０の構成を示す。基本的な構成は図１４とほぼ同様であるが、量子化部５Ａ、可変長符号化部６Ａ、および局所復号化部（逆量子化部８Ａ，逆ＤＣＴ処理部９Ａおよび参照画像生成部１０Ａ）がそれぞれ１つずつしかない点が異なる。また、ＤＣＴ処理部４と量子化部５Ａとの間にＤＣＴ係数を格納するためのＤＣＴメモリ６２を備えている。
【００７９】
まず、ＤＶＤレコーダとして通常の動作を行う場合には、１枚の画像に対して１個の符号データを生成する。これに対して、小画面の画像を高い圧縮率で符号化する場合には、ＤＣＴ処理部４から出力されたＤＣＴ係数がＤＣＴ係数メモリ６２に格納される。そして、この格納されたデータに対し、以降の処理を、異なる符号化パラメータを用いて複数回、時分割で行う。すなわち、まず符号化パラメータａで量子化し可変長符号化する。そして、逆量子化、逆ＤＣＴ、参照画像生成を行い、参照画像Ａを得る。次に符号化パラメータｂで量子化し可変長符号化する。そして、逆量子化、逆ＤＣＴ、参照画像生成を行い、参照画像Ｂを得る。さらに異なる符号化パラメータで行う場合も同様である。なお、これらはマクロブロック単位で行われ、１画面分の処理が終了すると、複数の符号データと参照画像が得られる。その後、上述の各実施形態と同様に、所定の条件に従って、符号データの選択を行う。
【００８０】
【発明の効果】
以上のように本発明によると、再生時に得られるものと同じ参照画像の画質評価の結果から符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態に係る画像符号化方法を示すフローチャートである。
【図２】 本発明の第１の実施形態に係る画像符号化装置の構成例を示すブロック図である。
【図３】 画質評価の処理の一例を示すフローチャートである。
【図４】 本発明の第２の実施形態に係る画像符号化方法を示すフローチャートである。
【図５】 本発明の第３の実施形態に係る画像符号化であって、第１の実施形態にイントラ／インター判定を加えた方法を示すフローチャートである。
【図６】 本発明の第３の実施形態に係る画像符号化であって、第２の実施形態にイントラ／インター判定を加えた方法を示すフローチャートである。
【図７】 本発明の第４の実施形態に係る画像符号化方法を示すフローチャートである。
【図８】 本発明の第４の実施形態に係る画像符号化装置の構成例を示すフローチャートである。
【図９】 符号データの再構成処理の一例を示すフローチャートである。
【図１０】 符号データの再構成処理を模式的に示す図である。
【図１１】 符号量を考慮した符号データ選択を模式的に示す図である。
【図１２】 符号量を考慮した符号データ選択を模式的に示す図である。
【図１３】 一般的なデジタルカメラの構成を示す図である。
【図１４】 本発明を応用したデジタルカメラの画像符号化部の構成を示す図である。
【図１５】 ＤＶＤレコーダの構成例を示す図である。
【図１６】 本発明を応用したＤＶＤレコーダの画像符号化部の構成を示す図である。
【図１７】 従来の画像符号化処理を示すフローチャートである。
【符号の説明】
Ｓ１２ 第１のステップ
Ｓ１３ 第２のステップ
Ｓ１４ 第３のステップ
Ｓ１５ 第４のステップ
Ｓ２５，Ｓ２６ 第１のステップ
Ｓ２７ 第２のステップ
Ｓ２８ 第３のステップ
Ｓ２Ａ，Ｓ２Ｂ 第４のステップ
Ｓ３２ 第１のステップ
Ｓ３３ 第２のステップ
Ｓ２５，Ｓ４６ 第１のステップ
Ｓ４７ 第２のステップ
２ 動きベクトル検出部
３ 予測符号化部
４ ＤＣＴ処理部
５ 量子化ブロック
５ａ，５ｂ，５ｃ 量子化部
６ 可変長符号化ブロック
６ａ，６ｂ，６ｃ 可変長符号化部
７ 符号化データバッファ（第１の記憶部）
８ 逆量子化ブロック
９ 逆ＤＣＴ処理ブロック
１０ 参照画像生成ブロック
１１ 参照画像メモリブロック（第２の記憶部）
１３ 画質評価部
１４ 符号データ選択部
３６ 外部メモリ（メモリ素子）
５Ａ 量子化部
６Ａ 可変長符号化部
８Ａ 逆量子化部
９Ａ 逆ＤＣＴ処理部
１０Ａ 参照画像生成部
【発明の属する技術分野】
本発明は、動画像を圧縮するための画像符号化に関するものであり、特に、民生用ビデオレコーダやビデオカメラ等で必要とされるリアルタイム符号化における、符号量制御の精度を向上させる技術に属する。
【０００２】
【従来の技術】
図１７は従来の符号量制御を含む画像符号化を示すフローチャートである。従来の符号量制御は、過去に符号化したデータの符号量に基づき今後の符号化のパラメータを決定し符号量を所定の範囲に収めるという制御を行っている（例えば、特許文献１参照）。まず、画像の最初のフレームを入力し（ＳＺ１）、予め定められた初期パラメータに従って最初のマクロブロックを符号化する（ＳＺ２）。なお、符号化はマクロブロックと呼ばれる矩形領域単位で行われる。次のマクロブロック以降は、既に符号化されたマクロブロックの符号量を計算し（ＳＺ３）、符号量が所定の目標値に比べて大きいか小さいかを判断し、大きい場合は符号量が小さくなる方に、小さい場合は符号量が大きくなる方に符号化パラメータを制御する（ＳＺ４）。次のフレームの画像が入力されると（ＳＺ５）、その前のフレームの符号量も含めて目標値との差を計算し（ＳＺ６）、今後の符号化パラメータを制御する（ＳＺ７）。最終フレームになるまで、ステップＳＺ５〜ＳＺ７を繰り返し実行する（ＳＺ８）。
【０００３】
【特許文献１】
特開平７−１０７４７３号公報
【０００４】
【発明が解決しようとする課題】
ところが、従来の方法では、過去の符号化データから今後の符号化パラメータを制御するというフィードバック方式を用いているために、常に最適な符号量が選択できるという保証はない。例えば、最初に符号量を多く与え過ぎたため、その後、本来なら多くの符号量を与えるべき画像にそれだけの符号量を与えることができなくなり、画質を著しく損なう、というような問題が発生しうる。
【０００５】
また、符号量のみを評価して符号化パラメータを制御しているため、画像の性質に応じて、与える符号量を適切に制御する、といった符号量制御を行うことは困難であった。
【０００６】
前記の問題に鑑み、本発明は、画像の符号化において、画質を考慮した符号量制御を実現することを課題とする。
【０００７】
【課題を解決するための手段】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、動画像の符号化を行う画像符号化方法として、一の画像について、符号量が互いに異なる複数の符号データを生成する第１のステップと、前記各符号データから、復号化によって、複数の参照画像を生成する第２のステップと、前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる第４のステップとを備えているものである。
【０００８】
請求項１の発明によると、一の画像について、符号量が互いに異なる複数の符号データが生成され、これら各符号データから、複数の参照画像が生成される。そして、これら各参照画像について画質評価が行われ、この画質評価の結果に基づいて、符号データの選択が行われる。すなわち、再生時に得られるものと同じ参照画像の画質評価の結果から、符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【０００９】
また、画質が最も高いと想定される，符号量が最大の符号データから得られた参照画像をリファレンス画像として定め、各参照画像について、このリファレンス画像との差分を とり、この差分から画質評価の評価値が求められる。このため、精度の高い画質評価を、簡易な方法によって実現できる。
【００１０】
請求項２の発明では、前記請求項１の第１のステップにおいて、目標符号量を複数設定し、前記一の画像について、その符号量が前記各目標符号量に収束するように符号量制御をしつつ符号化をそれぞれ行い、前記複数の符号データを生成するものとする。
【００１１】
請求項３の発明では、前記請求項２において、前記各目標符号量はフレーム単位で設定され、前記符号量制御において、マクロブロック単位で符号化パラメータを制御するものとする。
【００１２】
請求項４の発明では、前記請求項１の第１のステップにおいて、前記一の画像について、互いに異なる複数の符号化パラメータを用いて符号化をそれぞれ行い、前記複数の符号データを生成するものとする。
【００１３】
請求項５の発明では、前記請求項１において、前記一の画像はフレーム単位で与えられ、前記第４のステップにおいて、符号データの選択をフレーム単位で行うものとする。
【００１４】
請求項６の発明は、動画像の符号化を行う画像符号化方法として、フレーム単位で与えられる入力画像について、他のフレームのｎ個（ｎは２以上の整数）の参照画像を参照して、ｎ個の予測符号化画像を生成し、前記ｎ個の予測符号化画像について、符号量が互いに異なるｍ個（ｍは２以上の整数）の符号データを、それぞれ生成することによって、（ｎ×ｍ）個の符号データを生成する第１のステップと、前記（ｎ×ｍ）個の符号データから、復号化によって、（ｎ×ｍ）個の参照画像を生成する第２のステップと、前記第２のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が小さい順にｎ個の符号データを選択する第４のステップとを備え、前記ｎ個の符号データに対応するｎ個の参照画像を、他のフレーム画像の予測符号化に用いるものである。
【００１５】
請求項７の発明では、前記請求項１または６の第３のステップにおいて、前記リファレンス画像について高周波成分を画素毎に抽出し、前記評価値を求める際に、前記差分の絶対値に、当該画素における前記高周波成分が大きいほど小さくなるように設定された係数をかけ、前記係数をかけた後の前記差分の絶対値を積算したものを前記評価値とするものとする。
【００１６】
請求項７の発明によると、画像同士の差分がリファレンス画像の高周波成分に応じて変調されるので、画像の複雑度が画質評価の評価値に加味される。したがって、人間の目の特性に応じた尺度によって、精度の高い画質評価を行うことができる。
【００１７】
請求項８の発明では、前記請求項１または６において、前記差分からなる差分画像のパターンを評価し、ノイズ情報を抽出し、前記ノイズ情報を、当該参照画像に係る符号データに付加するものとする。
【００１８】
請求項８の発明によると、抽出したノイズ情報が符号データに付加されるので、符号データの再生時にノイズ除去処理を有効に機能させることができる。このため、再生時に高画質化をさらに図ることができる。
【００１９】
請求項９の発明では、前記請求項１の第３のステップにおいて、前記評価値の算出をマクロブロック単位で行い、前記第４のステップにおいて、符号データの選択をマクロブロック単位で行い、選択された複数のマクロブロック単位の符号データを組み合わせて新たな符号データを再構成するものとする。
【００２０】
請求項９の発明によると、マクロブロック単位で画質評価を行い、マクロブロック単位で符号データを選択する。これにより、フレーム内においても画質評価に基づく符号量制御が行われるので、さらに画質を向上することができる。
【００２１】
請求項１０の発明では、前記請求項９の第４のステップにおいて、新たな符号データを再構成する際に、選択された符号データのうち予測符号化された部分について、一旦復号化して、予測符号化されていない符号データに変換し、再構成した後、予測符号化を行うものとする。
【００２２】
請求項１１の発明では、前記請求項１において、前記第１のステップにおいて、入力画像と予測符号化画像のそれぞれに対して、符号量が異なるｎ個（ｎは２以上の整数）の符号データを生成し、前記第２のステップにおいて、前記第１のステップで生成された２ｎ個の符号データから、復号化によって、２ｎ個の参照画像を生成するものとする。
【００２３】
請求項１２の発明では、前記請求項６において、前記第１のステップにおいて、さらに、入力画像に対して、符号量が異なるｍ個の符号データを生成し、前記第２のステップにおいて、前記第１のステップで生成された（ｎ＋１）×ｍ個の符号データから、復号化によって、（ｎ＋１）×ｍ個の参照画像を生成するものとする。
【００２４】
請求項１１または１２の発明によると、いわゆるイントラ／インター判定も、画質評価に基づいて行われるので、画質をさらに向上させることができる。
【００２５】
請求項１３の発明は、動画像の符号化を行う画像符号化方法として、一の画像について、符号量が互いに異なる複数の符号データを生成する第１のステップと、前記各符号データから、復号化によって、複数の参照画像を生成する第２のステップと、前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるものの中から、符号量が最小となる符号データを選択する第４のステップとを備えているものである。
【００２６】
請求項１４の発明は、動画像の符号化を行う画像符号化方法として、フレーム単位で与えられる入力画像について、他のフレームのｎ個（ｎは２以上の整数）の参照画像を参照して、ｎ個の予測符号化画像を生成し、前記ｎ個の予測符号化画像について、符号量が互いに異なるｍ個（ｍは２以上の整数）の符号データを、それぞれ生成することによって、（ｎ×ｍ）個の符号データを生成する第１のステップと、前記（ｎ×ｍ）個の符号データから、復号化によって、（ｎ×ｍ）個の参照画像を生成する第２のステップと、前記第２のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるもの中から、符号量が大きい順にｎ個の符号データを選択する第４のステップとを備え、前記ｎ個の符号データに対応するｎ個の参照画像を、他のフレーム画像 の予測符号化に用いるものである。
【００２７】
請求項１３または１４の発明によると、符号データの選択が、画質評価の結果に加えて、各符号データのそれぞれの符号量に基づいて、行われる。このため、画質を重視しつつも符号量の変動を抑えた符号量制御を実現することができ、したがって、再生時の復号装置の規模を抑えることができる。
【００２８】
請求項１５の発明では、前記請求項１３または１４の第４のステップにおいて、フレーム単位に、符号量の許容範囲である符号量許容範囲を設定し、マクロブロック単位に、画質評価によって符号データを選択し、フレーム全体の符号量が前記符号量許容範囲を越えたとき、符号量が前記符号量許容範囲内に収まるように、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して行うものとする。
【００２９】
請求項１５の発明によると、フレーム全体の符号量が符号量許容範囲を超えたとき、符号データの選択変更を、画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して行うので、画質の劣化を最小限に留めつつ、符号量の変動を抑えることができる。
【００３０】
また、請求項１６の発明が講じた解決手段は、画像符号化装置として、一の画像について、符号量が互いに異なる複数の符号データを生成する画像符号化部と、前記画像符号化部によって生成された各符号データから、局所復号化によって、複数の参照画像を生成する局所復号化部と、前記局所復号化部によって生成された複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする画質評価部と、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する符号データ選択部とを備えたものである。
【００３１】
請求項１６の発明によると、画像符号化部によって、一の画像について符号量が互いに異なる複数の符号データが生成され、局所復号化部によって、これら各符号データから複数の参照画像が生成される。そして、画質評価部によって、これら各参照画像について画質評価が行われ、この画質評価の結果に基づいて、符号データの選択が符号データ選択部によって行われる。すなわち、再生時に得られるものと同じ参照画像の画質評価の結果から、符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【００３２】
請求項１７の発明では、前記請求項１６において、前記複数の符号データを格納するための第１の記憶部と、前記複数の参照画像を格納するための第２の記憶部とを備え、前記第１および第２の記憶部は、共通のメモリ素子によって構成されているものとする。
【００３３】
請求項１７の発明によると、複数の符号データを格納するための第１の記憶部と、複数の参照画像を格納するための第２の記憶部とが、共通のメモリ素子によって構成される。このため、デジタルカメラなど元来大容量メモリを備えた装置については、その既存のメモリを用いることができ、これにより、コストを低減することができる。
【００３４】
請求項１８の発明では、前記請求項１６における画像符号化部および前記局所復号化部は、時分割動作し、前記符号データおよび参照画像の組を、時列的に直列に、生成するものとする。
【００３５】
請求項１８の発明によると、画像符号化部および局所復号化部は、時分割動作し、符号データおよび参照画像の組を、時列的に直列に生成するので、複数の符号データおよび参照画像を生成するために、新たなハードウェアを設ける必要がない。すなわち、ＤＶＤレコーダなど元来高い処理能力を有する装置について、その能力をうまく利用して、例えば圧縮率が高いにもかかわらず高画質な符号データを生成させることができ、目的に応じて切り換えて用いることによって、より広いアプリケーションに適用することができる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３７】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像符号化方法における基本的な処理の流れを示すフローチャートである。図１に示すように、まず、動画像の最初のフレームを入力し（Ｓ１１）、このフレーム画像について、符号量が互いに異なるｎ個（ｎは２以上の整数）の符号データを生成する（Ｓ１２、第１のステップ）。そして、このｎ個の符号データに対してそれぞれ復号化を行い、予測符号化を行うためのｎ個の参照画像を生成する（Ｓ１３、第２のステップ）。次に、このｎ個の参照画像について、画質評価を行い（Ｓ１４、第３のステップ）、この画質評価の結果に基づいて、記録すべき最適な符号データをフレーム単位で選択する（Ｓ１５、第４のステップ）。他の符号データは記録せずに破棄する（Ｓ１６）。そして、最終フレームになるまで、ステップＳ１１〜Ｓ１６を繰り返し実行する（Ｓ１７）。
【００３８】
なお、この方法では、次のフレームの符号化において、参照画像と入力画像の差分、すなわち予測符号化画像を符号化するか、または、入力画像そのものを符号化するかの判断（これを「イントラ／インター判定」と呼ぶ）は、フレーム内でマクロブロック単位で行うものとする。すなわち、マクロブロック単位でイントラ／インター判定を行った１つの画像について、ｎ個の符号データを生成する。
【００３９】
ここで、ステップＳ１２では、ｎ個の目標符号量を設定し、フレーム画像の符号量が各目標符号量に収束するように符号量制御をしつつ、符号化をそれぞれ行うものとする。この符号量制御では、従来のフィードバック法を用いる。すなわち、フレーム単位に設定されたｎ個の目標符号量に対応して最初のマクロブロックの符号化パラメータを決定し、それに基づき符号化を行い、次のマクロブロックからは既に符号化されたデータの符号量と目標値との差を評価して符号化パラメータを決定し、最終的に、フレームの符号量が目標符号量に収束するように制御を行う。
【００４０】
なお、ステップＳ１２において、互いに異なる複数の符号化パラメータを用いて、符号化をそれぞれ行うことによって、符号量が異なる複数の符号データを生成してもかまわない。ここでの符号化パラメータは、代表的には、量子化係数または量子化ステップであるが、この他にも、ハフマンテーブルや量子化テーブルなどを用いてもよい。
【００４１】
図２は本実施形態に係る画像符号化装置の構成例を示すブロック図である。図２において、動きベクトル検出部２、予測符号化部３、ＤＣＴ処理部４、量子化ブロック５および可変長符号化ブロック６によって、画像符号化部が構成されており、逆量子化ブロック８、逆ＤＣＴ処理ブロック９および参照画像生成ブロック１０によって、局所復号化部が構成されている。なお、構成を簡易にするために、局所復号化部には、複数の符号データＣＤ１，ＣＤ２，ＣＤ３を与える代わりに、量子化ブロック５の出力を与えている。
【００４２】
入力された動画像データは、一旦入力画像バッファ１に格納される。入力画像バッファ１は、参照画像メモリ１１とともに、動きベクトル検出や予測符号化画像の生成のために必要となり、その容量はマクロブロックを形成するために必要なライン数に相当する容量となる。動きベクトル検出部２は入力画像バッファ１内の画像と参照画像との比較演算を行い、参照画像に対する入力画像の動きベクトルをマクロブロック単位で検出する。予測符号化部３は検出された動きベクトル情報に基づき、入力画像と参照画像との差分を取り、予測符号化画像を生成する。
【００４３】
予測符号化画像は、次にフレーム内符号化される。まずＤＣＴ処理部４においてＤＣＴが行われＤＣＴ係数が生成され、これが量子化ブロック５において量子化される。図２の構成では、量子化ブロック５は互いに異なる量子化係数が準備された３個の量子化部５ａ，５ｂ，５ｃを備えており、各量子化部５ａ，５ｂ，５ｃから量子化されたＤＣＴ係数が出力される。次に、それぞれのＤＣＴ係数が可変長符号化ブロック６においてハフマン符号等の可変長符号によって符号化され、これによって生成された第１〜第３符号データＣＤ１，ＣＤ２，ＣＤ３が符号データバッファ７に格納される。
【００４４】
その一方で、量子化されたＤＣＴ係数は、逆量子化ブロック８においてそれぞれ逆量子化され、さらに逆ＤＣＴブロック９において逆ＤＣＴされる。これによって、予測符号化画像まで復号される。そして、参照画像生成ブロック１０において、復号した予測符号化画像と、参照画像メモリブロック１１に格納されている前フレームの参照画像とを、動きベクトル情報に基づき加算することによって、予測符号の復号が行われる。これによって、次フレームの入力画像の予測符号化に用いる参照画像が生成され、新たに参照画像メモリブロック１１に格納される。本装置では、３種類の参照画像が生成される。
【００４５】
画質評価部１３はこの３種類の参照画像について、画質をそれぞれ評価し、その評価結果から１つの参照画像を選択する。符号データ選択部１４は第１〜第３符号データＣＤ１，ＣＤ２，ＣＤ３の中から、画質評価部１３によって選択された参照画像に対応する符号データを選択し、記録部１５に記録する。
【００４６】
＜画質評価＞
図３は画質評価ステップＳ１４における処理の一例を示すフローチャートである。図３に示すように、本実施形態における画質評価は、基本的には、符号量が最大の符号データから得られた参照画像をリファレンス画像として定め（Ｓ１４１）、各参照画像について、リファレンス画像との差分を画素毎に取り（Ｓ１４４）、その差分の絶対値を積算し、これを画質評価の評価値とする（Ｓ１４６）ものである。リファレンス画像との差分を評価尺度としたのは、この差分が、画像圧縮によって発生したノイズとみなすことができるからである。差分の絶対値の積算は、本実施形態では画質評価をフレーム単位で行うものとしているので、画面全体にわたって行うが、マクロブロック単位で画質評価を行う場合は、マクロブロック単位で積算する。ステップＳ１５では、例えば、ステップＳ１４で得られた評価値が所定の許容範囲にある参照画像を選択し、その参照画像に対応する符号データの中で、最も符号量が小さいものを選択する。
【００４７】
ここで、符号量が最大の符号データから得られた参照画像をリファレンス画像としたのは、通常、符号量が多くなるほど画質が高くなると考えられるからである。したがって、複数の符号データの生成を複数の符号化パラメータを用いて行う場合には、最も高画質となる符号化パラメータによる符号データから得た参照画像を、リファレンス画像として設定すればよい。
【００４８】
ところが、ノイズが画質に与える影響は、単に、その大きさだけで決まるわけではない。例えば、複雑な絵柄に発生したノイズと単純な絵柄に発生したノイズとを比較すると、単純な絵柄に発生したノイズの方が、画像上よく目立つため、影響が大きいといえる。
【００４９】
このため、図３の処理では、ノイズが画像上で目立つ度合が、評価値に盛り込まれるようにしている。すなわち、リファレンス画像について高周波成分を抽出し、評価値を求める際に、上述の差分を当該画素における高周波成分に応じて変調する。より具体的には、高周波成分が大きいほど、差分の絶対値が小さくなるようにする。
【００５０】
まず、リファレンス画像にハイパスフィルタ（ＨＰＦ）処理を施す（Ｓ１４２）。これにより、リファレンス画像から低周波成分が除去される。高周波成分のみの画像は正負の値を持つのでこれを絶対値化し、さらにローパスフィルタ（ＬＰＦ）処理を行う（Ｓ１４３）。このＬＰＦ処理は必ずしも必要ではないが、差分を変調する度合を緩やかにする効果がある。この処理の結果を、高周波成分含有度とする。そして、ステップＳ１４４で得られた差分の絶対値に、高周波成分含有度に応じた係数を掛ける（Ｓ１４５）。この係数は、高周波含有度が大きいほど小さくなるように設定する。最後に、係数のかかった差分の絶対値を、画面全体で、またはマクロブロック単位で、積算する（Ｓ１４６）。
【００５１】
なお、この差分を利用して、再生画像をさらに高画質にすることができる。上述のとおり、リファレンス画像との差分は、圧縮によるノイズ成分とみなせる。そこで、差分からなる差分画像のパターンを評価して、含まれているノイズパターンを示すノイズ情報を抽出し、このノイズ情報を符号データに付加するようにする。そして、再生時に、このノイズ情報が示すノイズパターンを除去するノイズリダクション処理を行うことによって、符号量が少ない符号データから画質の良い再生画像を得ることができる。すなわち、ノイズ情報が付加されているために、再生画像からノイズ成分を検知する必要がなく、精度の良いノイズ除去が可能になる。
【００５２】
（第２の実施形態）
第１の実施形態では、１フレーム毎に画質評価を行い、符号データの選択を行っている。ところが、予測符号化を行う場合には、他のフレームの参照画像を符号化に用いるため、その画質は、他のフレームにおける符号化の影響を受ける。よって、できれば、複数フレームにわたってそれぞれ複数の条件を設定して、複数の符号データを生成し、これらから得られる画像を画質評価する方が望ましい。そこで、本発明の第２の実施形態では、２フレーム単位で画質評価を行い、符号データを選択するものとする。すなわち、他のフレームの複数の参照画像を参照することによって複数の予測符号化画像を生成し、各予測符号化画像について、それぞれ、符号量が異なる符号データを生成する。
【００５３】
図４は本実施形態に係る画像符号化方法における処理の流れを示すフローチャートである。図４において、まず、動画像の最初のフレームを入力し（Ｓ２１）、このフレーム画像について、符号量が異なるｎ個（ｎは２以上の整数）の符号データを生成する（Ｓ２２）。そして、このｎ個の符号データに対してそれぞれ復号化を行い、ｎ個の参照画像を生成する（Ｓ２３）。
【００５４】
次に、次フレームの画像を入力し（Ｓ２４）、この入力画像について、ｎ個の参照画像を参照してｎ個の予測符号化画像を生成する（Ｓ２５）。そしてｎ個の予測符号化画像に対して、それぞれ、符号量が異なるｍ個（ｍは２以上の整数、通常はｍ＝ｎ）の符号データを生成し、これにより（ｎ×ｍ）個の符号データが生成される（Ｓ２６）。この各符号データを復号して（ｎ×ｍ）個の参照画像を生成する（Ｓ２８）。
【００５５】
そして、これらの参照画像について、第１の実施形態と同様に画質評価を行い（Ｓ２８）、この画質評価の結果に基づいて、記録すべき符号データを選択する（Ｓ２Ａ）。これで、２フレーム分の符号化データの組み合わせに対して画質評価が行われたことになる。また、画質評価の結果に基づいて、（ｎ×ｍ）個の参照画像の中からｎ個の参照画像を選択する（Ｓ２Ａ）。このｎ個の参照照画像は、次のフレーム画像の予測符号化のために用いられる。
【００５６】
このような処理を、最終フレームまで繰り返し実行する（Ｓ２９）。最終フレームでは、画質評価の結果に基づいて、最終的に記録する１つの符号データを選定する（Ｓ２Ｂ）。
【００５７】
（第３の実施形態）
上述の実施形態では、イントラ／インター判定はフレーム内でマクロブロック単位で行っており、例えば、イントラ符号化とインター符号化のうち、同一符号化パラメータにおいて発生符号量の小さい方を選択するようにしている。ところが、参照画像にはすでに符号化による画質劣化が含まれており、予測符号化画像を用いた符号化はさらに画質劣化するため、イントラ／インター判定についても画質評価によって行った方が望ましい。本実施形態では、イントラ／インター判定も画質評価によって行うものとする。
【００５８】
図５は図１に示す第１の実施形態に係る画像符号化に、画質評価によるイントラ／インター判定を加えた方法を示すフローチャートである。図１と異なるのは、ステップＳ３２，Ｓ３３である。ステップＳ３２において、入力画像と予測符号化画像に対して、それぞれ、符号量が異なるｎ個の符号データを生成し、ステップＳ３３において、ステップＳ３２で生成された計２ｎ個の符号データから、２ｎ個の参照画像を生成する。そして、この２ｎ個の参照画像について画質評価を行い（Ｓ１４）、符号データの選択を行う（Ｓ１５）。これにより、第１の実施形態ではフレーム内で行われていたイントラ／インター判定が、画質評価によって行われることになる。
【００５９】
図６は図４に示す第２の実施形態に係る画像符号化に、画質評価によるイントラ／インター判定を加えた方法を示すフローチャートである。図４と異なるのは、ステップＳ４６，Ｓ４７である。ステップＳ４６において、入力画像とｎ個の予測符号化画像のそれぞれに対して、符号量が異なるｍ個の符号データを生成し、ステップＳ４７において、ステップＳ４６で生成された計（ｎ＋１）×ｍ個の符号データから、（ｎ＋１）×ｍ個の参照画像を生成する。そして、この（ｎ＋１）×ｍ個の参照画像について画質評価を行い（Ｓ２８）、符号データの選択を行う（Ｓ２Ａ）。これにより、第２の実施形態ではフレーム内で行われていたイントラ／インター判定が、画質評価によって行われることになる。
【００６０】
（第４の実施形態）
上述の各実施形態では、画質評価に基づく符号データの選択は、あくまでもフレーム単位であった。また、第３の実施形態で示したイントラ／インター判定をフレーム単位の画質評価で行った場合には、マクロブロックが、全て予測符号化画像になるか、または、全て入力画像になるかのいずれかに限られてしまう。そこで、本発明の第４の実施形態では、フレーム内のマクロブロック単位の符号量制御についても、画質評価によって行うものとする。
【００６１】
図７は本発明の第４の実施形態に係る画像符号化方法における処理の流れを示すフローチャートである。図７において、まず、動画像の最初のフレームを入力し（Ｓ５１）、このフレーム画像について、符号量が異なるｎ個の符号データを生成する（Ｓ５２）。ここでは、互いに異なるｎ個の符号化パラメータを用いて、符号化をそれぞれ行うことによって、ｎ個の符号データを生成するものとする。すなわち、マクロブロック毎に異なる符号化パラメータを与える符号量制御は行わず、各符号データは、全マクロブロックが同一符号化パラメータによって符号化されたものとなる。
【００６２】
そして、このｎ個の符号データについてそれぞれ復号化を行い、ｎ個の参照画像を生成する（Ｓ５３）。次に、このｎ個の参照画像について、画質評価を行う（Ｓ５４）。画質評価はマクロブロック単位で行うものとし、したがって、最適な画像がマクロブロック単位で選択される。すなわち、マクロブロック単位で異なる参照画像が選択される場合も起こりうる。次に、マクロブロック単位に選択された参照画像に対応した符号データをｎ個の符号データから抽出し（Ｓ５５）、これらを組み合わせて新たな符号データを生成する（Ｓ５６）。そして元の符号データは破棄する（Ｓ５７）。そして、最終フレームになるまで、ステップＳ５１〜Ｓ５７を繰り返し実行する（Ｓ５８）。
【００６３】
図８は本実施形態に係る画像符号化装置の構成例を示すブロック図であり、図２と共通の構成要素には、図２と同一の符号を付しており、ここではその詳細な説明を省略する。図８の構成では、符号データ選択部１４の指示に従って、符号データバッファ７に格納された第１〜第３の符号データＣＤ１，ＣＤ２，ＣＤ３から、新たな符号データを、再構成によって生成する再構成部２１が設けられている。
【００６４】
＜符号データの再構成＞
図９は符号データ再構成ステップＳ５６における処理の一例を示すフローチャートである。ここで、もしマクロブロック単位で独立して符号化されている場合には、符号データの再構成のためには、必要なマクロブロックの符号データを単純に取り出して組み合わせるだけでよい。ところが、一部のデータは、他のマクロブロックの符号データとの差分を符号化する予測符号化（フレーム内予測符号化）がなされている場合がある。この場合は、一旦その予測符号を復号化し、必要なマクロブロックを組み合わせた後、再度予測符号化を行う。
【００６５】
図１０はフレーム内符号化を含む符号データの再構成処理を模式的に示す図である。まず、マクロブロックの符号データから、フレーム内予測符号化している部分を抽出する（Ｓ５６１）。これは、マクロブロック内の全ての符号データがフレーム内予測符号化されているわけではなく、例えばＤＣＴのＤＣ係数のような一部のデータのみがフレーム内予測符号化されているためである。続いてフレーム内予測符号を復号する（Ｓ５６２）。図１０に示すように、最初のマクロブロックのデータ（ここではＤＣ係数）はそのまま用いられる。２番目のマクロブロックのデータは最初のマクロブロックのデータとの差分なので、最初のマクロブロックのデータとの加算によって、元のデータが復号される。続いて３番目のマクロブロックのデータと復号された２番目のマクロブロックのデータとを加算することによって、３番目のマクロブロックの元のデータが復号される。このような処理を続けていくことによって、フレーム内予測符号化を用いていない符号データが得られる。
【００６６】
次に、マクロブロック単位に画質評価で選択された参照画像に対応する符号データを抽出し、組み合わせて、１つの符号データを再構成する（Ｓ５６３）。図１０では３本の符号データＣＤ１〜ＣＤ３からマクロブロック毎に符号データが抽出され、１本の新符号データが再構成されている。最後に、再構成された新符号データの中で、予測符号化を行うべき部分（ここではＤＣＴのＤＣ係数）について再度、予測符号化を行う。
【００６７】
＜符号量を加味した符号データの選択＞
画質評価のみによって符号量制御を行う場合には、画像の複雑度の変動に符号量の変動が追従するため、符号量の変動が激しくなるという問題がある。符号量に大きな変動があると、再生時の復号のために大きなバッファメモリを準備する必要があり、機器の小型化、ローコスト化という点で不利である。そこで、ここでは、画質評価に加えて、符号量も考慮して符号データの選択を行うことによって、ある程度、符号量の変動を抑える方法を説明する。
【００６８】
基本的な考え方は、符号量にも許容範囲を設け（これを「符号量許容範囲」と呼ぶ）、上述の画質許容範囲に含まれた参照画像に対応した符号データの中から、符号量許容範囲に入っているものを選び、その中から所定の規則に従って、記録すべき符号データを選択する。この処理を図１１を用いて説明する。図１１において、（ａ）は参照画像の画質を模式的に表している。縦軸が画質であり、上に行くほど画質が高いことを示している。また、（ｂ）は各参照画像に対応した符号データの符号量を模式的に表している。縦軸が符号量であり、上に行くほど符号量が多いことを示している。
【００６９】
図１１（ａ）において、最も画質が高いリファレンス画像が最も上に位置しており、その下に比較対象となる参照画像が並んでいる。そして、参照画像１〜５が画質許容範囲に含まれている。また図１１（ｂ）において、符号量が最も多いリファレンス画像の符号データが最も上に位置しており、その下に参照画像の符号データが並んでいる。この並び順は一般的には、画質の順と同様である。そして、符号データ２〜６が符号量許容範囲に含まれている。
【００７０】
この場合、符号量が符号量許容範囲に含まれており、かつ参照画像の画質が画質許容範囲に含まれている符号データは、符号データ２〜５の４個である。この中から、記録すべき符号データを選択する。例えば、第１の実施形態のように、１フレーム単位で画質評価を行う場合には、符号データ２を選択する。また第２の実施形態のように２フレーム単位で画質評価を行う場合には、例えば符号データ２〜４を選択すればよい。
【００７１】
また、図１２に示すように、画像許容範囲に含まれている参照画像の符号データが、いずれも符号量許容範囲に含まれない場合は、例えば、符号量許容範囲内で最大の符号量の符号データを選択するようにすればよい。この符号データは、符号量許容範囲内の符号データの中で、最も画質が良いと考えられるからである。なおこの場合、複数の符号データを選択する方法においても、最大符号量の符号データ１つのみを選択するのが好ましい。これは、他のデータは画質が悪いため、結果として、複数フレーム間の評価によって選択される可能性が極めて低いからである。
【００７２】
なお、この方法をフレーム単位で適用した場合、符号量の変動量が大きいため、変動幅に比べて許容範囲を小さく設定する必要があるが、この方法をマクロブロック単位で適用した場合は、変動量が小さいため、変動幅に比べて許容範囲を大きく設定しやすくなる。ところが、全てのマクロブロックにおいて符号量が同じように変動した場合、フレーム全体としては符号量が大きく変動することになり、好ましくない。
【００７３】
このため、フレーム単位で符号量許容範囲を設定して、マクロブロック単位で画質評価によって符号データを選択し、フレーム全体の符号量が符号量許容範囲を超える場合は、マクロブロック単位での符号データの選択を見直して、符号量許容範囲内に収まるようにするのが好ましい。この場合、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して、行うことによって、フレーム全体としての画質劣化を最小限に抑えた符号量制御が可能になる。
【００７４】
＜装置構成の具体例＞
本発明の具体的な構成例について説明する。まず、デジタルカメラに応用する場合について説明する。図１３は一般的なデジタルカメラの構成を示す図である。まず、レンズ３１で結像された光学像はＣＣＤイメージセンサ３２によって電気信号に変換され、アナログ前処理部３３によって前処理が施された後、Ａ／Ｄ変換部３４によってデジタル信号に変換される。デジタル信号処理部３５がこのデジタル信号について色分離や圧縮等の処理を行うが、この処理のために大容量のメモリが必要であり、デジタルカメラでは外付けのＤＲＡＭ等のメモリ３６が用いられる。そして、処理後のデジタル信号は記録媒体３７に記録される。
【００７５】
このように、デジタルカメラは元々大容量のメモリが設けられているため、本発明を適用する際にはこれを利用するのが好ましい。図１４は本発明を応用したデジタルカメラの画像符号化部４０の構成を示す。この画像符号化部４０はデジタル信号処理部３５の内部に設けられており、基本的な構成および動作は図２と同様である。メモリコントローラ４１は、各処理部からのデータの入出力を調停し、ＤＲＡＭなどのメモリ素子としての外付け大容量メモリ３６とのデータのやり取りを行う。図１４の構成では、複数の参照画像を格納するための領域４２と、複数の符号化データを格納するための領域４３とをメモリ３６に格納する。すなわち、参照画像生成部１０によって生成された参照画像はメモリコントローラ４１を介して外部メモリ３６に格納され、また符号データもメモリコントローラ４１を介して外部メモリ３６に格納される。言い換えると、図２の構成における第１の記憶部としての符号データバッファ７と第２の記憶部としての参照画像メモリブロック１１とが、共通のメモリ素子としての外部メモリ３６によって、構成されている。
【００７６】
次に、ＤＶＤレコーダ等のＭＰＥＧ−２を利用したビデオレコーダに応用した具体例について説明する。図１５はＭＰＥＧ−２でＴＶ解像度の動画像を符号化するＤＶＤレコーダの構成例である。まず、ＮＴＳＣ／ＰＡＬデコーダ＆Ａ／Ｄ部５１がＮＴＳＣまたはＰＡＬ信号について、Ｙ／Ｃ分離およびカラー復調を行うとともにＡＤ変換を行う。次にＭＰＥＧ−２エンコーダ５２がこのデジタル信号をＭＰＥＧ−２に従って符号化し符号データを生成する。次にストリームコントローラ５３が、ＤＶＤドライブ５４向けの記録・再生ストリームデータの調停および入出力制御を行う。再生時には、ＭＰＥＧ−２デコーダ５５がＭＰＥＧ−２に従って復号を行い画像信号を生成し、ＮＴＳＣ／ＰＡＬエンコーダ＆Ｄ／Ａ部５６がＮＴＳＣまたはＰＡＬ信号への変調およびＤＡ変換を行う。ＭＰＥＧ−２エンコーダ５２およびＭＰＥＧ−２デコーダ５５には、処理用の外付け大容量メモリ５７，５８が接続されている。
【００７７】
ところで、ＤＶＤレコーダは、ＴＶ画面という比較的画面サイズの大きい動画像を、高画質で記録するために用いられることが多い。このため、高い処理能力と大容量のメモリが必須であり、この条件下で、高画質を実現するために比較的圧縮率の低い符号データを生成する。ところがその一方で、小さな画面（低解像度）でかまわないが、符号量はできる限り小さい（圧縮率が高い）符号データを得たい、というニーズも存在する。このようなニーズに対しては、従来は、解像度変換を行い、小さな画面をＭＰＥＧ−２で記録するようにしていた。これに対して、本発明を適用することによって、高画質でかつ圧縮率の高い符号データを得ることができる。そして、ＤＶＤレコーダのような元来処理能力が高い画像符号化装置を、時分割動作させ、複数の符号化パラメータを用いて符号化を行うことによって、回路規模の増大を招くことなく、上述のようなニーズを容易に満たすことができる。
【００７８】
図１６は本発明を応用したＤＶＤレコーダの画像符号化部６０の構成を示す。基本的な構成は図１４とほぼ同様であるが、量子化部５Ａ、可変長符号化部６Ａ、および局所復号化部（逆量子化部８Ａ，逆ＤＣＴ処理部９Ａおよび参照画像生成部１０Ａ）がそれぞれ１つずつしかない点が異なる。また、ＤＣＴ処理部４と量子化部５Ａとの間にＤＣＴ係数を格納するためのＤＣＴメモリ６２を備えている。
【００７９】
まず、ＤＶＤレコーダとして通常の動作を行う場合には、１枚の画像に対して１個の符号データを生成する。これに対して、小画面の画像を高い圧縮率で符号化する場合には、ＤＣＴ処理部４から出力されたＤＣＴ係数がＤＣＴ係数メモリ６２に格納される。そして、この格納されたデータに対し、以降の処理を、異なる符号化パラメータを用いて複数回、時分割で行う。すなわち、まず符号化パラメータａで量子化し可変長符号化する。そして、逆量子化、逆ＤＣＴ、参照画像生成を行い、参照画像Ａを得る。次に符号化パラメータｂで量子化し可変長符号化する。そして、逆量子化、逆ＤＣＴ、参照画像生成を行い、参照画像Ｂを得る。さらに異なる符号化パラメータで行う場合も同様である。なお、これらはマクロブロック単位で行われ、１画面分の処理が終了すると、複数の符号データと参照画像が得られる。その後、上述の各実施形態と同様に、所定の条件に従って、符号データの選択を行う。
【００８０】
【発明の効果】
以上のように本発明によると、再生時に得られるものと同じ参照画像の画質評価の結果から符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態に係る画像符号化方法を示すフローチャートである。
【図２】 本発明の第１の実施形態に係る画像符号化装置の構成例を示すブロック図である。
【図３】 画質評価の処理の一例を示すフローチャートである。
【図４】 本発明の第２の実施形態に係る画像符号化方法を示すフローチャートである。
【図５】 本発明の第３の実施形態に係る画像符号化であって、第１の実施形態にイントラ／インター判定を加えた方法を示すフローチャートである。
【図６】 本発明の第３の実施形態に係る画像符号化であって、第２の実施形態にイントラ／インター判定を加えた方法を示すフローチャートである。
【図７】 本発明の第４の実施形態に係る画像符号化方法を示すフローチャートである。
【図８】 本発明の第４の実施形態に係る画像符号化装置の構成例を示すフローチャートである。
【図９】 符号データの再構成処理の一例を示すフローチャートである。
【図１０】 符号データの再構成処理を模式的に示す図である。
【図１１】 符号量を考慮した符号データ選択を模式的に示す図である。
【図１２】 符号量を考慮した符号データ選択を模式的に示す図である。
【図１３】 一般的なデジタルカメラの構成を示す図である。
【図１４】 本発明を応用したデジタルカメラの画像符号化部の構成を示す図である。
【図１５】 ＤＶＤレコーダの構成例を示す図である。
【図１６】 本発明を応用したＤＶＤレコーダの画像符号化部の構成を示す図である。
【図１７】 従来の画像符号化処理を示すフローチャートである。
【符号の説明】
Ｓ１２ 第１のステップ
Ｓ１３ 第２のステップ
Ｓ１４ 第３のステップ
Ｓ１５ 第４のステップ
Ｓ２５，Ｓ２６ 第１のステップ
Ｓ２７ 第２のステップ
Ｓ２８ 第３のステップ
Ｓ２Ａ，Ｓ２Ｂ 第４のステップ
Ｓ３２ 第１のステップ
Ｓ３３ 第２のステップ
Ｓ２５，Ｓ４６ 第１のステップ
Ｓ４７ 第２のステップ
２ 動きベクトル検出部
３ 予測符号化部
４ ＤＣＴ処理部
５ 量子化ブロック
５ａ，５ｂ，５ｃ 量子化部
６ 可変長符号化ブロック
６ａ，６ｂ，６ｃ 可変長符号化部
７ 符号化データバッファ（第１の記憶部）
８ 逆量子化ブロック
９ 逆ＤＣＴ処理ブロック
１０ 参照画像生成ブロック
１１ 参照画像メモリブロック（第２の記憶部）
１３ 画質評価部
１４ 符号データ選択部
３６ 外部メモリ（メモリ素子）
５Ａ 量子化部
６Ａ 可変長符号化部
８Ａ 逆量子化部
９Ａ 逆ＤＣＴ処理部
１０Ａ 参照画像生成部
Claims (18)
- 動画像の符号化を行う画像符号化方法であって、
一の画像について、符号量が互いに異なる複数の符号データを生成する第１のステップと、
前記各符号データから、復号化によって、複数の参照画像を生成する第２のステップと、
前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する第４のステップとを備えている
ことを特徴とする画像符号化方法。 - 請求項１において、
前記第１のステップにおいて、
目標符号量を複数設定し、
前記一の画像について、その符号量が前記各目標符号量に収束するように符号量制御をしつつ、符号化をそれぞれ行い、前記複数の符号データを生成する
ことを特徴とする画像符号化方法。 - 請求項２において、
前記各目標符号量は、フレーム単位で設定され、
前記符号量制御において、マクロブロック単位で、符号化パラメータを制御する
ことを特徴とする画像符号化方法。 - 請求項１において、
前記第１のステップにおいて、
前記一の画像について、互いに異なる複数の符号化パラメータを用いて、符号化をそれぞれ行い、前記複数の符号データを生成する
ことを特徴とする画像符号化方法。 - 請求項１において、
前記一の画像は、フレーム単位で与えられ、
前記第４のステップにおいて、符号データの選択を、フレーム単位で行う
ことを特徴とする画像符号化方法。 - 動画像の符号化を行う画像符号化方法であって、
フレーム単位で与えられる入力画像について、他のフレームのｎ個（ｎは２以上の整数）の参照画像を参照して、ｎ個の予測符号化画像を生成し、前記ｎ個の予測符号化画像について、符号量が互いに異なるｍ個（ｍは２以上の整数）の符号データを、それぞれ生成することによって、（ｎ×ｍ）個の符号データを生成する第１のステップと、
前記（ｎ×ｍ）個の符号データから、復号化によって、（ｎ×ｍ）個の参照画像を生成する第２のステップと、
前記第２のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が小さい順にｎ個の符号データを選択する第４のステップとを備え、
前記ｎ個の符号データに対応するｎ個の参照画像を、他のフレーム画像の予測符号化に用いる
ことを特徴とする画像符号化方法。 - 請求項１または６において、
前記第３のステップにおいて、
前記リファレンス画像について、高周波成分を画素毎に抽出し、
前記評価値を求める際に、前記差分の絶対値に、当該画素における前記高周波成分が大きいほど小さくなるように設定された係数をかけ、前記係数をかけた後の前記差分の絶対値を積算したものを前記評価値とする
ことを特徴とする画像符号化方法。 - 請求項１または６において、
前記差分からなる差分画像のパターンを評価し、ノイズ情報を抽出し、
前記ノイズ情報を、当該参照画像に係る符号データに、付加する
ことを特徴とする画像符号化方法。 - 請求項１において、
前記第３のステップにおいて、
前記評価値の算出を、マクロブロック単位で行い、
前記第４のステップにおいて、
符号データの選択をマクロブロック単位で行い、選択された複数のマクロブロック単位の符号データを組み合わせて、新たな符号データを再構成する
ことを特徴とする画像符号化方法。 - 請求項９において、
前記第４のステップにおいて、新たな符号データを再構成する際に、
選択された符号データのうち予測符号化された部分について、一旦復号化して、予測符号化されていない符号データに変換し、再構成した後、予測符号化を行う
ことを特徴とする画像符号化方法。 - 請求項１において、
前記第１のステップにおいて、入力画像と予測符号化画像のそれぞれに対して、符号量が異なるｎ個（ｎは２以上の整数）の符号データを生成し、
前記第２のステップにおいて、前記第１のステップで生成された２ｎ個の符号データから、復号化によって、２ｎ個の参照画像を生成する
ことを特徴とする画像符号化方法。 - 請求項６において、
前記第１のステップにおいて、さらに、入力画像に対して、符号量が異なるｍ個の符号データを生成し、
前記第２のステップにおいて、前記第１のステップで生成された（ｎ＋１）×ｍ個の符号データから、復号化によって、（ｎ＋１）×ｍ個の参照画像を生成する
ことを特徴とする画像符号化方法。 - 動画像の符号化を行う画像符号化方法であって、
一の画像について、符号量が互いに異なる複数の符号データを生成する第１のステップと、
前記各符号データから、復号化によって、複数の参照画像を生成する第２のステップと、
前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるものの中から、符号量が最小となる符号データを選択する第４のステップとを備えている
ことを特徴とする画像符号化方法。 - 動画像の符号化を行う画像符号化方法であって、
フレーム単位で与えられる入力画像について、他のフレームのｎ個（ｎは２以上の整数 ）の参照画像を参照して、ｎ個の予測符号化画像を生成し、前記ｎ個の予測符号化画像について、符号量が互いに異なるｍ個（ｍは２以上の整数）の符号データを、それぞれ生成することによって、（ｎ×ｍ）個の符号データを生成する第１のステップと、
前記（ｎ×ｍ）個の符号データから、復号化によって、（ｎ×ｍ）個の参照画像を生成する第２のステップと、
前記第２のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第３のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるもの中から、符号量が大きい順にｎ個の符号データを選択する第４のステップとを備え、
前記ｎ個の符号データに対応するｎ個の参照画像を、他のフレーム画像の予測符号化に用いる
ことを特徴とする画像符号化方法。 - 請求項１３または１４において、
前記第４のステップにおいて、
フレーム単位に、前記符号量許容範囲を設定し、
マクロブロック単位に、画質評価によって、符号データを選択し、
フレーム全体の符号量が前記符号量許容範囲を越えたとき、符号量が前記符号量許容範囲内に収まるように、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して、行う
ことを特徴とする画像符号化方法。 - 一の画像について、符号量が互いに異なる複数の符号データを生成する画像符号化部と、
前記画像符号化部によって生成された各符号データから、局所復号化によって、複数の参照画像を生成する局所復号化部と、
前記局所復号化部によって生成された複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする画質評価部と、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する符号データ選択部とを備えた
ことを特徴とする画像符号化装置。 - 請求項１６において、
前記複数の符号データを格納するための第１の記憶部と、
前記複数の参照画像を格納するための第２の記憶部とを備え、
前記第１および第２の記憶部は、共通のメモリ素子によって構成されている
ことを特徴とする画像符号化装置。 - 請求項１６において、
前記画像符号化部および前記局所復号化部は、時分割動作し、前記符号データおよび参照画像の組を、時列的に直列に、生成する
ことを特徴とする画像符号化装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002290947A JP3893344B2 (ja) | 2002-10-03 | 2002-10-03 | 画像符号化方法および画像符号化装置 |
| US10/642,223 US20040066976A1 (en) | 2002-10-03 | 2003-08-18 | Picture coding method and picture coding apparatus |
| CNB031574319A CN1229998C (zh) | 2002-10-03 | 2003-09-19 | 图像编码方法和图像编码装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002290947A JP3893344B2 (ja) | 2002-10-03 | 2002-10-03 | 画像符号化方法および画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004128941A JP2004128941A (ja) | 2004-04-22 |
| JP3893344B2 true JP3893344B2 (ja) | 2007-03-14 |
Family
ID=32040669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002290947A Expired - Fee Related JP3893344B2 (ja) | 2002-10-03 | 2002-10-03 | 画像符号化方法および画像符号化装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040066976A1 (ja) |
| JP (1) | JP3893344B2 (ja) |
| CN (1) | CN1229998C (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100587698B1 (ko) | 2004-10-22 | 2006-06-08 | 주식회사 휴맥스 | 선택적 예측 부호화/복호화 방법 및 장치 |
| US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| US8792555B2 (en) | 2006-01-31 | 2014-07-29 | Qualcomm Incorporated | Methods and systems for resizing multimedia content |
| JP4732184B2 (ja) * | 2006-02-21 | 2011-07-27 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 |
| US8249358B2 (en) * | 2006-10-19 | 2012-08-21 | Nec Corporation | Image quality evaluation method, image quality evaluation system and image quality evaluation program |
| US20090060039A1 (en) * | 2007-09-05 | 2009-03-05 | Yasuharu Tanaka | Method and apparatus for compression-encoding moving image |
| JP2012009934A (ja) * | 2010-06-22 | 2012-01-12 | Sony Corp | 画像処理装置と画像処理方法 |
| CN102984545B (zh) * | 2012-12-12 | 2016-01-20 | 北京视博云科技有限公司 | 一种视频类资源的编码方法及装置 |
| JP6084682B2 (ja) * | 2013-03-25 | 2017-02-22 | 日立マクセル株式会社 | 符号化方法および符号化装置 |
| CN104410861A (zh) * | 2014-11-24 | 2015-03-11 | 华为技术有限公司 | 视频编码方法及装置 |
| CN107820084B (zh) * | 2016-09-13 | 2020-02-07 | 北京金山云网络技术有限公司 | 一种视频感知编码方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5694170A (en) * | 1995-04-06 | 1997-12-02 | International Business Machines Corporation | Video compression using multiple computing agents |
| US6014694A (en) * | 1997-06-26 | 2000-01-11 | Citrix Systems, Inc. | System for adaptive video/audio transport over a network |
| JP3570863B2 (ja) * | 1997-08-05 | 2004-09-29 | 三菱電機株式会社 | 動画像復号化装置および動画像復号化方法 |
| US6192154B1 (en) * | 1998-01-26 | 2001-02-20 | International Business Machines Corporation | Two-pass encoding method of digital motion video sequences for constant-or variable bit rate |
| US6252905B1 (en) * | 1998-02-05 | 2001-06-26 | International Business Machines Corporation | Real-time evaluation of compressed picture quality within a digital video encoder |
-
2002
- 2002-10-03 JP JP2002290947A patent/JP3893344B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-18 US US10/642,223 patent/US20040066976A1/en not_active Abandoned
- 2003-09-19 CN CNB031574319A patent/CN1229998C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040066976A1 (en) | 2004-04-08 |
| CN1229998C (zh) | 2005-11-30 |
| JP2004128941A (ja) | 2004-04-22 |
| CN1492685A (zh) | 2004-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4123567B2 (ja) | 画像信号処理装置及び方法 | |
| KR101241662B1 (ko) | 화상 데이터 처리 장치, 화상 데이터 처리 방법 및 기록매체 | |
| US8275035B2 (en) | Video coding apparatus | |
| US8630347B2 (en) | Video decoding apparatus and video decoding method | |
| JP2006157481A (ja) | 画像符号化装置及びその方法 | |
| JP3189861B2 (ja) | 動画像符号化装置および方法 | |
| JP4875007B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| JPWO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
| JP3893344B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP7015183B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP2003304538A (ja) | 画像符号化装置、画像復号化装置及びそれらの方法 | |
| JP4643437B2 (ja) | 情報処理装置 | |
| JP5130245B2 (ja) | 撮影解像度予測型動画像符号化装置および復号装置 | |
| JP2003179921A (ja) | 符号化映像復号化装置 | |
| JP2006180195A (ja) | 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム | |
| JP5396302B2 (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
| JP3895414B2 (ja) | 映像復号化装置 | |
| JP4357560B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
| JP2008141354A (ja) | 画像符号化装置および撮像装置 | |
| JP2012019288A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2006340001A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4605183B2 (ja) | 画像信号処理装置及び方法 | |
| US12028521B2 (en) | Encoder, method, and non-transitory computer-readable storage medium | |
| KR100804338B1 (ko) | 동화상 재생 방법 및 장치와 프로그램을 기록한 컴퓨터 판독가능 기록 매체 | |
| JP3307367B2 (ja) | 可変転送レート符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |