JP3893344B2 - 画像符号化方法および画像符号化装置 - Google Patents
画像符号化方法および画像符号化装置 Download PDFInfo
- Publication number
- JP3893344B2 JP3893344B2 JP2002290947A JP2002290947A JP3893344B2 JP 3893344 B2 JP3893344 B2 JP 3893344B2 JP 2002290947 A JP2002290947 A JP 2002290947A JP 2002290947 A JP2002290947 A JP 2002290947A JP 3893344 B2 JP3893344 B2 JP 3893344B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- code data
- code
- reference image
- code amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、動画像を圧縮するための画像符号化に関するものであり、特に、民生用ビデオレコーダやビデオカメラ等で必要とされるリアルタイム符号化における、符号量制御の精度を向上させる技術に属する。
【0002】
【従来の技術】
図17は従来の符号量制御を含む画像符号化を示すフローチャートである。従来の符号量制御は、過去に符号化したデータの符号量に基づき今後の符号化のパラメータを決定し符号量を所定の範囲に収めるという制御を行っている(例えば、特許文献1参照)。まず、画像の最初のフレームを入力し(SZ1)、予め定められた初期パラメータに従って最初のマクロブロックを符号化する(SZ2)。なお、符号化はマクロブロックと呼ばれる矩形領域単位で行われる。次のマクロブロック以降は、既に符号化されたマクロブロックの符号量を計算し(SZ3)、符号量が所定の目標値に比べて大きいか小さいかを判断し、大きい場合は符号量が小さくなる方に、小さい場合は符号量が大きくなる方に符号化パラメータを制御する(SZ4)。次のフレームの画像が入力されると(SZ5)、その前のフレームの符号量も含めて目標値との差を計算し(SZ6)、今後の符号化パラメータを制御する(SZ7)。最終フレームになるまで、ステップSZ5〜SZ7を繰り返し実行する(SZ8)。
【0003】
【特許文献1】
特開平7−107473号公報
【0004】
【発明が解決しようとする課題】
ところが、従来の方法では、過去の符号化データから今後の符号化パラメータを制御するというフィードバック方式を用いているために、常に最適な符号量が選択できるという保証はない。例えば、最初に符号量を多く与え過ぎたため、その後、本来なら多くの符号量を与えるべき画像にそれだけの符号量を与えることができなくなり、画質を著しく損なう、というような問題が発生しうる。
【0005】
また、符号量のみを評価して符号化パラメータを制御しているため、画像の性質に応じて、与える符号量を適切に制御する、といった符号量制御を行うことは困難であった。
【0006】
前記の問題に鑑み、本発明は、画像の符号化において、画質を考慮した符号量制御を実現することを課題とする。
【0007】
【課題を解決するための手段】
前記の課題を解決するために、請求項1の発明が講じた解決手段は、動画像の符号化を行う画像符号化方法として、一の画像について、符号量が互いに異なる複数の符号データを生成する第1のステップと、前記各符号データから、復号化によって、複数の参照画像を生成する第2のステップと、前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる第4のステップとを備えているものである。
【0008】
請求項1の発明によると、一の画像について、符号量が互いに異なる複数の符号データが生成され、これら各符号データから、複数の参照画像が生成される。そして、これら各参照画像について画質評価が行われ、この画質評価の結果に基づいて、符号データの選択が行われる。すなわち、再生時に得られるものと同じ参照画像の画質評価の結果から、符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【0009】
また、画質が最も高いと想定される,符号量が最大の符号データから得られた参照画像をリファレンス画像として定め、各参照画像について、このリファレンス画像との差分を とり、この差分から画質評価の評価値が求められる。このため、精度の高い画質評価を、簡易な方法によって実現できる。
【0010】
請求項2の発明では、前記請求項1の第1のステップにおいて、目標符号量を複数設定し、前記一の画像について、その符号量が前記各目標符号量に収束するように符号量制御をしつつ符号化をそれぞれ行い、前記複数の符号データを生成するものとする。
【0011】
請求項3の発明では、前記請求項2において、前記各目標符号量はフレーム単位で設定され、前記符号量制御において、マクロブロック単位で符号化パラメータを制御するものとする。
【0012】
請求項4の発明では、前記請求項1の第1のステップにおいて、前記一の画像について、互いに異なる複数の符号化パラメータを用いて符号化をそれぞれ行い、前記複数の符号データを生成するものとする。
【0013】
請求項5の発明では、前記請求項1において、前記一の画像はフレーム単位で与えられ、前記第4のステップにおいて、符号データの選択をフレーム単位で行うものとする。
【0014】
請求項6の発明は、動画像の符号化を行う画像符号化方法として、フレーム単位で与えられる入力画像について、他のフレームのn個(nは2以上の整数)の参照画像を参照して、n個の予測符号化画像を生成し、前記n個の予測符号化画像について、符号量が互いに異なるm個(mは2以上の整数)の符号データを、それぞれ生成することによって、(n×m)個の符号データを生成する第1のステップと、前記(n×m)個の符号データから、復号化によって、(n×m)個の参照画像を生成する第2のステップと、前記第2のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が小さい順にn個の符号データを選択する第4のステップとを備え、前記n個の符号データに対応するn個の参照画像を、他のフレーム画像の予測符号化に用いるものである。
【0015】
請求項7の発明では、前記請求項1または6の第3のステップにおいて、前記リファレンス画像について高周波成分を画素毎に抽出し、前記評価値を求める際に、前記差分の絶対値に、当該画素における前記高周波成分が大きいほど小さくなるように設定された係数をかけ、前記係数をかけた後の前記差分の絶対値を積算したものを前記評価値とするものとする。
【0016】
請求項7の発明によると、画像同士の差分がリファレンス画像の高周波成分に応じて変調されるので、画像の複雑度が画質評価の評価値に加味される。したがって、人間の目の特性に応じた尺度によって、精度の高い画質評価を行うことができる。
【0017】
請求項8の発明では、前記請求項1または6において、前記差分からなる差分画像のパターンを評価し、ノイズ情報を抽出し、前記ノイズ情報を、当該参照画像に係る符号データに付加するものとする。
【0018】
請求項8の発明によると、抽出したノイズ情報が符号データに付加されるので、符号データの再生時にノイズ除去処理を有効に機能させることができる。このため、再生時に高画質化をさらに図ることができる。
【0019】
請求項9の発明では、前記請求項1の第3のステップにおいて、前記評価値の算出をマクロブロック単位で行い、前記第4のステップにおいて、符号データの選択をマクロブロック単位で行い、選択された複数のマクロブロック単位の符号データを組み合わせて新たな符号データを再構成するものとする。
【0020】
請求項9の発明によると、マクロブロック単位で画質評価を行い、マクロブロック単位で符号データを選択する。これにより、フレーム内においても画質評価に基づく符号量制御が行われるので、さらに画質を向上することができる。
【0021】
請求項10の発明では、前記請求項9の第4のステップにおいて、新たな符号データを再構成する際に、選択された符号データのうち予測符号化された部分について、一旦復号化して、予測符号化されていない符号データに変換し、再構成した後、予測符号化を行うものとする。
【0022】
請求項11の発明では、前記請求項1において、前記第1のステップにおいて、入力画像と予測符号化画像のそれぞれに対して、符号量が異なるn個(nは2以上の整数)の符号データを生成し、前記第2のステップにおいて、前記第1のステップで生成された2n個の符号データから、復号化によって、2n個の参照画像を生成するものとする。
【0023】
請求項12の発明では、前記請求項6において、前記第1のステップにおいて、さらに、入力画像に対して、符号量が異なるm個の符号データを生成し、前記第2のステップにおいて、前記第1のステップで生成された(n+1)×m個の符号データから、復号化によって、(n+1)×m個の参照画像を生成するものとする。
【0024】
請求項11または12の発明によると、いわゆるイントラ/インター判定も、画質評価に基づいて行われるので、画質をさらに向上させることができる。
【0025】
請求項13の発明は、動画像の符号化を行う画像符号化方法として、一の画像について、符号量が互いに異なる複数の符号データを生成する第1のステップと、前記各符号データから、復号化によって、複数の参照画像を生成する第2のステップと、前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるものの中から、符号量が最小となる符号データを選択する第4のステップとを備えているものである。
【0026】
請求項14の発明は、動画像の符号化を行う画像符号化方法として、フレーム単位で与えられる入力画像について、他のフレームのn個(nは2以上の整数)の参照画像を参照して、n個の予測符号化画像を生成し、前記n個の予測符号化画像について、符号量が互いに異なるm個(mは2以上の整数)の符号データを、それぞれ生成することによって、(n×m)個の符号データを生成する第1のステップと、前記(n×m)個の符号データから、復号化によって、(n×m)個の参照画像を生成する第2のステップと、前記第2のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるもの中から、符号量が大きい順にn個の符号データを選択する第4のステップとを備え、前記n個の符号データに対応するn個の参照画像を、他のフレーム画像 の予測符号化に用いるものである。
【0027】
請求項13または14の発明によると、符号データの選択が、画質評価の結果に加えて、各符号データのそれぞれの符号量に基づいて、行われる。このため、画質を重視しつつも符号量の変動を抑えた符号量制御を実現することができ、したがって、再生時の復号装置の規模を抑えることができる。
【0028】
請求項15の発明では、前記請求項13または14の第4のステップにおいて、フレーム単位に、符号量の許容範囲である符号量許容範囲を設定し、マクロブロック単位に、画質評価によって符号データを選択し、フレーム全体の符号量が前記符号量許容範囲を越えたとき、符号量が前記符号量許容範囲内に収まるように、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して行うものとする。
【0029】
請求項15の発明によると、フレーム全体の符号量が符号量許容範囲を超えたとき、符号データの選択変更を、画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して行うので、画質の劣化を最小限に留めつつ、符号量の変動を抑えることができる。
【0030】
また、請求項16の発明が講じた解決手段は、画像符号化装置として、一の画像について、符号量が互いに異なる複数の符号データを生成する画像符号化部と、前記画像符号化部によって生成された各符号データから、局所復号化によって、複数の参照画像を生成する局所復号化部と、前記局所復号化部によって生成された複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする画質評価部と、前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する符号データ選択部とを備えたものである。
【0031】
請求項16の発明によると、画像符号化部によって、一の画像について符号量が互いに異なる複数の符号データが生成され、局所復号化部によって、これら各符号データから複数の参照画像が生成される。そして、画質評価部によって、これら各参照画像について画質評価が行われ、この画質評価の結果に基づいて、符号データの選択が符号データ選択部によって行われる。すなわち、再生時に得られるものと同じ参照画像の画質評価の結果から、符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【0032】
請求項17の発明では、前記請求項16において、前記複数の符号データを格納するための第1の記憶部と、前記複数の参照画像を格納するための第2の記憶部とを備え、前記第1および第2の記憶部は、共通のメモリ素子によって構成されているものとする。
【0033】
請求項17の発明によると、複数の符号データを格納するための第1の記憶部と、複数の参照画像を格納するための第2の記憶部とが、共通のメモリ素子によって構成される。このため、デジタルカメラなど元来大容量メモリを備えた装置については、その既存のメモリを用いることができ、これにより、コストを低減することができる。
【0034】
請求項18の発明では、前記請求項16における画像符号化部および前記局所復号化部は、時分割動作し、前記符号データおよび参照画像の組を、時列的に直列に、生成するものとする。
【0035】
請求項18の発明によると、画像符号化部および局所復号化部は、時分割動作し、符号データおよび参照画像の組を、時列的に直列に生成するので、複数の符号データおよび参照画像を生成するために、新たなハードウェアを設ける必要がない。すなわち、DVDレコーダなど元来高い処理能力を有する装置について、その能力をうまく利用して、例えば圧縮率が高いにもかかわらず高画質な符号データを生成させることができ、目的に応じて切り換えて用いることによって、より広いアプリケーションに適用することができる。
【0036】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【0037】
(第1の実施形態)
図1は本発明の第1の実施形態に係る画像符号化方法における基本的な処理の流れを示すフローチャートである。図1に示すように、まず、動画像の最初のフレームを入力し(S11)、このフレーム画像について、符号量が互いに異なるn個(nは2以上の整数)の符号データを生成する(S12、第1のステップ)。そして、このn個の符号データに対してそれぞれ復号化を行い、予測符号化を行うためのn個の参照画像を生成する(S13、第2のステップ)。次に、このn個の参照画像について、画質評価を行い(S14、第3のステップ)、この画質評価の結果に基づいて、記録すべき最適な符号データをフレーム単位で選択する(S15、第4のステップ)。他の符号データは記録せずに破棄する(S16)。そして、最終フレームになるまで、ステップS11〜S16を繰り返し実行する(S17)。
【0038】
なお、この方法では、次のフレームの符号化において、参照画像と入力画像の差分、すなわち予測符号化画像を符号化するか、または、入力画像そのものを符号化するかの判断(これを「イントラ/インター判定」と呼ぶ)は、フレーム内でマクロブロック単位で行うものとする。すなわち、マクロブロック単位でイントラ/インター判定を行った1つの画像について、n個の符号データを生成する。
【0039】
ここで、ステップS12では、n個の目標符号量を設定し、フレーム画像の符号量が各目標符号量に収束するように符号量制御をしつつ、符号化をそれぞれ行うものとする。この符号量制御では、従来のフィードバック法を用いる。すなわち、フレーム単位に設定されたn個の目標符号量に対応して最初のマクロブロックの符号化パラメータを決定し、それに基づき符号化を行い、次のマクロブロックからは既に符号化されたデータの符号量と目標値との差を評価して符号化パラメータを決定し、最終的に、フレームの符号量が目標符号量に収束するように制御を行う。
【0040】
なお、ステップS12において、互いに異なる複数の符号化パラメータを用いて、符号化をそれぞれ行うことによって、符号量が異なる複数の符号データを生成してもかまわない。ここでの符号化パラメータは、代表的には、量子化係数または量子化ステップであるが、この他にも、ハフマンテーブルや量子化テーブルなどを用いてもよい。
【0041】
図2は本実施形態に係る画像符号化装置の構成例を示すブロック図である。図2において、動きベクトル検出部2、予測符号化部3、DCT処理部4、量子化ブロック5および可変長符号化ブロック6によって、画像符号化部が構成されており、逆量子化ブロック8、逆DCT処理ブロック9および参照画像生成ブロック10によって、局所復号化部が構成されている。なお、構成を簡易にするために、局所復号化部には、複数の符号データCD1,CD2,CD3を与える代わりに、量子化ブロック5の出力を与えている。
【0042】
入力された動画像データは、一旦入力画像バッファ1に格納される。入力画像バッファ1は、参照画像メモリ11とともに、動きベクトル検出や予測符号化画像の生成のために必要となり、その容量はマクロブロックを形成するために必要なライン数に相当する容量となる。動きベクトル検出部2は入力画像バッファ1内の画像と参照画像との比較演算を行い、参照画像に対する入力画像の動きベクトルをマクロブロック単位で検出する。予測符号化部3は検出された動きベクトル情報に基づき、入力画像と参照画像との差分を取り、予測符号化画像を生成する。
【0043】
予測符号化画像は、次にフレーム内符号化される。まずDCT処理部4においてDCTが行われDCT係数が生成され、これが量子化ブロック5において量子化される。図2の構成では、量子化ブロック5は互いに異なる量子化係数が準備された3個の量子化部5a,5b,5cを備えており、各量子化部5a,5b,5cから量子化されたDCT係数が出力される。次に、それぞれのDCT係数が可変長符号化ブロック6においてハフマン符号等の可変長符号によって符号化され、これによって生成された第1〜第3符号データCD1,CD2,CD3が符号データバッファ7に格納される。
【0044】
その一方で、量子化されたDCT係数は、逆量子化ブロック8においてそれぞれ逆量子化され、さらに逆DCTブロック9において逆DCTされる。これによって、予測符号化画像まで復号される。そして、参照画像生成ブロック10において、復号した予測符号化画像と、参照画像メモリブロック11に格納されている前フレームの参照画像とを、動きベクトル情報に基づき加算することによって、予測符号の復号が行われる。これによって、次フレームの入力画像の予測符号化に用いる参照画像が生成され、新たに参照画像メモリブロック11に格納される。本装置では、3種類の参照画像が生成される。
【0045】
画質評価部13はこの3種類の参照画像について、画質をそれぞれ評価し、その評価結果から1つの参照画像を選択する。符号データ選択部14は第1〜第3符号データCD1,CD2,CD3の中から、画質評価部13によって選択された参照画像に対応する符号データを選択し、記録部15に記録する。
【0046】
<画質評価>
図3は画質評価ステップS14における処理の一例を示すフローチャートである。図3に示すように、本実施形態における画質評価は、基本的には、符号量が最大の符号データから得られた参照画像をリファレンス画像として定め(S141)、各参照画像について、リファレンス画像との差分を画素毎に取り(S144)、その差分の絶対値を積算し、これを画質評価の評価値とする(S146)ものである。リファレンス画像との差分を評価尺度としたのは、この差分が、画像圧縮によって発生したノイズとみなすことができるからである。差分の絶対値の積算は、本実施形態では画質評価をフレーム単位で行うものとしているので、画面全体にわたって行うが、マクロブロック単位で画質評価を行う場合は、マクロブロック単位で積算する。ステップS15では、例えば、ステップS14で得られた評価値が所定の許容範囲にある参照画像を選択し、その参照画像に対応する符号データの中で、最も符号量が小さいものを選択する。
【0047】
ここで、符号量が最大の符号データから得られた参照画像をリファレンス画像としたのは、通常、符号量が多くなるほど画質が高くなると考えられるからである。したがって、複数の符号データの生成を複数の符号化パラメータを用いて行う場合には、最も高画質となる符号化パラメータによる符号データから得た参照画像を、リファレンス画像として設定すればよい。
【0048】
ところが、ノイズが画質に与える影響は、単に、その大きさだけで決まるわけではない。例えば、複雑な絵柄に発生したノイズと単純な絵柄に発生したノイズとを比較すると、単純な絵柄に発生したノイズの方が、画像上よく目立つため、影響が大きいといえる。
【0049】
このため、図3の処理では、ノイズが画像上で目立つ度合が、評価値に盛り込まれるようにしている。すなわち、リファレンス画像について高周波成分を抽出し、評価値を求める際に、上述の差分を当該画素における高周波成分に応じて変調する。より具体的には、高周波成分が大きいほど、差分の絶対値が小さくなるようにする。
【0050】
まず、リファレンス画像にハイパスフィルタ(HPF)処理を施す(S142)。これにより、リファレンス画像から低周波成分が除去される。高周波成分のみの画像は正負の値を持つのでこれを絶対値化し、さらにローパスフィルタ(LPF)処理を行う(S143)。このLPF処理は必ずしも必要ではないが、差分を変調する度合を緩やかにする効果がある。この処理の結果を、高周波成分含有度とする。そして、ステップS144で得られた差分の絶対値に、高周波成分含有度に応じた係数を掛ける(S145)。この係数は、高周波含有度が大きいほど小さくなるように設定する。最後に、係数のかかった差分の絶対値を、画面全体で、またはマクロブロック単位で、積算する(S146)。
【0051】
なお、この差分を利用して、再生画像をさらに高画質にすることができる。上述のとおり、リファレンス画像との差分は、圧縮によるノイズ成分とみなせる。そこで、差分からなる差分画像のパターンを評価して、含まれているノイズパターンを示すノイズ情報を抽出し、このノイズ情報を符号データに付加するようにする。そして、再生時に、このノイズ情報が示すノイズパターンを除去するノイズリダクション処理を行うことによって、符号量が少ない符号データから画質の良い再生画像を得ることができる。すなわち、ノイズ情報が付加されているために、再生画像からノイズ成分を検知する必要がなく、精度の良いノイズ除去が可能になる。
【0052】
(第2の実施形態)
第1の実施形態では、1フレーム毎に画質評価を行い、符号データの選択を行っている。ところが、予測符号化を行う場合には、他のフレームの参照画像を符号化に用いるため、その画質は、他のフレームにおける符号化の影響を受ける。よって、できれば、複数フレームにわたってそれぞれ複数の条件を設定して、複数の符号データを生成し、これらから得られる画像を画質評価する方が望ましい。そこで、本発明の第2の実施形態では、2フレーム単位で画質評価を行い、符号データを選択するものとする。すなわち、他のフレームの複数の参照画像を参照することによって複数の予測符号化画像を生成し、各予測符号化画像について、それぞれ、符号量が異なる符号データを生成する。
【0053】
図4は本実施形態に係る画像符号化方法における処理の流れを示すフローチャートである。図4において、まず、動画像の最初のフレームを入力し(S21)、このフレーム画像について、符号量が異なるn個(nは2以上の整数)の符号データを生成する(S22)。そして、このn個の符号データに対してそれぞれ復号化を行い、n個の参照画像を生成する(S23)。
【0054】
次に、次フレームの画像を入力し(S24)、この入力画像について、n個の参照画像を参照してn個の予測符号化画像を生成する(S25)。そしてn個の予測符号化画像に対して、それぞれ、符号量が異なるm個(mは2以上の整数、通常はm=n)の符号データを生成し、これにより(n×m)個の符号データが生成される(S26)。この各符号データを復号して(n×m)個の参照画像を生成する(S28)。
【0055】
そして、これらの参照画像について、第1の実施形態と同様に画質評価を行い(S28)、この画質評価の結果に基づいて、記録すべき符号データを選択する(S2A)。これで、2フレーム分の符号化データの組み合わせに対して画質評価が行われたことになる。また、画質評価の結果に基づいて、(n×m)個の参照画像の中からn個の参照画像を選択する(S2A)。このn個の参照照画像は、次のフレーム画像の予測符号化のために用いられる。
【0056】
このような処理を、最終フレームまで繰り返し実行する(S29)。最終フレームでは、画質評価の結果に基づいて、最終的に記録する1つの符号データを選定する(S2B)。
【0057】
(第3の実施形態)
上述の実施形態では、イントラ/インター判定はフレーム内でマクロブロック単位で行っており、例えば、イントラ符号化とインター符号化のうち、同一符号化パラメータにおいて発生符号量の小さい方を選択するようにしている。ところが、参照画像にはすでに符号化による画質劣化が含まれており、予測符号化画像を用いた符号化はさらに画質劣化するため、イントラ/インター判定についても画質評価によって行った方が望ましい。本実施形態では、イントラ/インター判定も画質評価によって行うものとする。
【0058】
図5は図1に示す第1の実施形態に係る画像符号化に、画質評価によるイントラ/インター判定を加えた方法を示すフローチャートである。図1と異なるのは、ステップS32,S33である。ステップS32において、入力画像と予測符号化画像に対して、それぞれ、符号量が異なるn個の符号データを生成し、ステップS33において、ステップS32で生成された計2n個の符号データから、2n個の参照画像を生成する。そして、この2n個の参照画像について画質評価を行い(S14)、符号データの選択を行う(S15)。これにより、第1の実施形態ではフレーム内で行われていたイントラ/インター判定が、画質評価によって行われることになる。
【0059】
図6は図4に示す第2の実施形態に係る画像符号化に、画質評価によるイントラ/インター判定を加えた方法を示すフローチャートである。図4と異なるのは、ステップS46,S47である。ステップS46において、入力画像とn個の予測符号化画像のそれぞれに対して、符号量が異なるm個の符号データを生成し、ステップS47において、ステップS46で生成された計(n+1)×m個の符号データから、(n+1)×m個の参照画像を生成する。そして、この(n+1)×m個の参照画像について画質評価を行い(S28)、符号データの選択を行う(S2A)。これにより、第2の実施形態ではフレーム内で行われていたイントラ/インター判定が、画質評価によって行われることになる。
【0060】
(第4の実施形態)
上述の各実施形態では、画質評価に基づく符号データの選択は、あくまでもフレーム単位であった。また、第3の実施形態で示したイントラ/インター判定をフレーム単位の画質評価で行った場合には、マクロブロックが、全て予測符号化画像になるか、または、全て入力画像になるかのいずれかに限られてしまう。そこで、本発明の第4の実施形態では、フレーム内のマクロブロック単位の符号量制御についても、画質評価によって行うものとする。
【0061】
図7は本発明の第4の実施形態に係る画像符号化方法における処理の流れを示すフローチャートである。図7において、まず、動画像の最初のフレームを入力し(S51)、このフレーム画像について、符号量が異なるn個の符号データを生成する(S52)。ここでは、互いに異なるn個の符号化パラメータを用いて、符号化をそれぞれ行うことによって、n個の符号データを生成するものとする。すなわち、マクロブロック毎に異なる符号化パラメータを与える符号量制御は行わず、各符号データは、全マクロブロックが同一符号化パラメータによって符号化されたものとなる。
【0062】
そして、このn個の符号データについてそれぞれ復号化を行い、n個の参照画像を生成する(S53)。次に、このn個の参照画像について、画質評価を行う(S54)。画質評価はマクロブロック単位で行うものとし、したがって、最適な画像がマクロブロック単位で選択される。すなわち、マクロブロック単位で異なる参照画像が選択される場合も起こりうる。次に、マクロブロック単位に選択された参照画像に対応した符号データをn個の符号データから抽出し(S55)、これらを組み合わせて新たな符号データを生成する(S56)。そして元の符号データは破棄する(S57)。そして、最終フレームになるまで、ステップS51〜S57を繰り返し実行する(S58)。
【0063】
図8は本実施形態に係る画像符号化装置の構成例を示すブロック図であり、図2と共通の構成要素には、図2と同一の符号を付しており、ここではその詳細な説明を省略する。図8の構成では、符号データ選択部14の指示に従って、符号データバッファ7に格納された第1〜第3の符号データCD1,CD2,CD3から、新たな符号データを、再構成によって生成する再構成部21が設けられている。
【0064】
<符号データの再構成>
図9は符号データ再構成ステップS56における処理の一例を示すフローチャートである。ここで、もしマクロブロック単位で独立して符号化されている場合には、符号データの再構成のためには、必要なマクロブロックの符号データを単純に取り出して組み合わせるだけでよい。ところが、一部のデータは、他のマクロブロックの符号データとの差分を符号化する予測符号化(フレーム内予測符号化)がなされている場合がある。この場合は、一旦その予測符号を復号化し、必要なマクロブロックを組み合わせた後、再度予測符号化を行う。
【0065】
図10はフレーム内符号化を含む符号データの再構成処理を模式的に示す図である。まず、マクロブロックの符号データから、フレーム内予測符号化している部分を抽出する(S561)。これは、マクロブロック内の全ての符号データがフレーム内予測符号化されているわけではなく、例えばDCTのDC係数のような一部のデータのみがフレーム内予測符号化されているためである。続いてフレーム内予測符号を復号する(S562)。図10に示すように、最初のマクロブロックのデータ(ここではDC係数)はそのまま用いられる。2番目のマクロブロックのデータは最初のマクロブロックのデータとの差分なので、最初のマクロブロックのデータとの加算によって、元のデータが復号される。続いて3番目のマクロブロックのデータと復号された2番目のマクロブロックのデータとを加算することによって、3番目のマクロブロックの元のデータが復号される。このような処理を続けていくことによって、フレーム内予測符号化を用いていない符号データが得られる。
【0066】
次に、マクロブロック単位に画質評価で選択された参照画像に対応する符号データを抽出し、組み合わせて、1つの符号データを再構成する(S563)。図10では3本の符号データCD1〜CD3からマクロブロック毎に符号データが抽出され、1本の新符号データが再構成されている。最後に、再構成された新符号データの中で、予測符号化を行うべき部分(ここではDCTのDC係数)について再度、予測符号化を行う。
【0067】
<符号量を加味した符号データの選択>
画質評価のみによって符号量制御を行う場合には、画像の複雑度の変動に符号量の変動が追従するため、符号量の変動が激しくなるという問題がある。符号量に大きな変動があると、再生時の復号のために大きなバッファメモリを準備する必要があり、機器の小型化、ローコスト化という点で不利である。そこで、ここでは、画質評価に加えて、符号量も考慮して符号データの選択を行うことによって、ある程度、符号量の変動を抑える方法を説明する。
【0068】
基本的な考え方は、符号量にも許容範囲を設け(これを「符号量許容範囲」と呼ぶ)、上述の画質許容範囲に含まれた参照画像に対応した符号データの中から、符号量許容範囲に入っているものを選び、その中から所定の規則に従って、記録すべき符号データを選択する。この処理を図11を用いて説明する。図11において、(a)は参照画像の画質を模式的に表している。縦軸が画質であり、上に行くほど画質が高いことを示している。また、(b)は各参照画像に対応した符号データの符号量を模式的に表している。縦軸が符号量であり、上に行くほど符号量が多いことを示している。
【0069】
図11(a)において、最も画質が高いリファレンス画像が最も上に位置しており、その下に比較対象となる参照画像が並んでいる。そして、参照画像1〜5が画質許容範囲に含まれている。また図11(b)において、符号量が最も多いリファレンス画像の符号データが最も上に位置しており、その下に参照画像の符号データが並んでいる。この並び順は一般的には、画質の順と同様である。そして、符号データ2〜6が符号量許容範囲に含まれている。
【0070】
この場合、符号量が符号量許容範囲に含まれており、かつ参照画像の画質が画質許容範囲に含まれている符号データは、符号データ2〜5の4個である。この中から、記録すべき符号データを選択する。例えば、第1の実施形態のように、1フレーム単位で画質評価を行う場合には、符号データ2を選択する。また第2の実施形態のように2フレーム単位で画質評価を行う場合には、例えば符号データ2〜4を選択すればよい。
【0071】
また、図12に示すように、画像許容範囲に含まれている参照画像の符号データが、いずれも符号量許容範囲に含まれない場合は、例えば、符号量許容範囲内で最大の符号量の符号データを選択するようにすればよい。この符号データは、符号量許容範囲内の符号データの中で、最も画質が良いと考えられるからである。なおこの場合、複数の符号データを選択する方法においても、最大符号量の符号データ1つのみを選択するのが好ましい。これは、他のデータは画質が悪いため、結果として、複数フレーム間の評価によって選択される可能性が極めて低いからである。
【0072】
なお、この方法をフレーム単位で適用した場合、符号量の変動量が大きいため、変動幅に比べて許容範囲を小さく設定する必要があるが、この方法をマクロブロック単位で適用した場合は、変動量が小さいため、変動幅に比べて許容範囲を大きく設定しやすくなる。ところが、全てのマクロブロックにおいて符号量が同じように変動した場合、フレーム全体としては符号量が大きく変動することになり、好ましくない。
【0073】
このため、フレーム単位で符号量許容範囲を設定して、マクロブロック単位で画質評価によって符号データを選択し、フレーム全体の符号量が符号量許容範囲を超える場合は、マクロブロック単位での符号データの選択を見直して、符号量許容範囲内に収まるようにするのが好ましい。この場合、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して、行うことによって、フレーム全体としての画質劣化を最小限に抑えた符号量制御が可能になる。
【0074】
<装置構成の具体例>
本発明の具体的な構成例について説明する。まず、デジタルカメラに応用する場合について説明する。図13は一般的なデジタルカメラの構成を示す図である。まず、レンズ31で結像された光学像はCCDイメージセンサ32によって電気信号に変換され、アナログ前処理部33によって前処理が施された後、A/D変換部34によってデジタル信号に変換される。デジタル信号処理部35がこのデジタル信号について色分離や圧縮等の処理を行うが、この処理のために大容量のメモリが必要であり、デジタルカメラでは外付けのDRAM等のメモリ36が用いられる。そして、処理後のデジタル信号は記録媒体37に記録される。
【0075】
このように、デジタルカメラは元々大容量のメモリが設けられているため、本発明を適用する際にはこれを利用するのが好ましい。図14は本発明を応用したデジタルカメラの画像符号化部40の構成を示す。この画像符号化部40はデジタル信号処理部35の内部に設けられており、基本的な構成および動作は図2と同様である。メモリコントローラ41は、各処理部からのデータの入出力を調停し、DRAMなどのメモリ素子としての外付け大容量メモリ36とのデータのやり取りを行う。図14の構成では、複数の参照画像を格納するための領域42と、複数の符号化データを格納するための領域43とをメモリ36に格納する。すなわち、参照画像生成部10によって生成された参照画像はメモリコントローラ41を介して外部メモリ36に格納され、また符号データもメモリコントローラ41を介して外部メモリ36に格納される。言い換えると、図2の構成における第1の記憶部としての符号データバッファ7と第2の記憶部としての参照画像メモリブロック11とが、共通のメモリ素子としての外部メモリ36によって、構成されている。
【0076】
次に、DVDレコーダ等のMPEG−2を利用したビデオレコーダに応用した具体例について説明する。図15はMPEG−2でTV解像度の動画像を符号化するDVDレコーダの構成例である。まず、NTSC/PALデコーダ&A/D部51がNTSCまたはPAL信号について、Y/C分離およびカラー復調を行うとともにAD変換を行う。次にMPEG−2エンコーダ52がこのデジタル信号をMPEG−2に従って符号化し符号データを生成する。次にストリームコントローラ53が、DVDドライブ54向けの記録・再生ストリームデータの調停および入出力制御を行う。再生時には、MPEG−2デコーダ55がMPEG−2に従って復号を行い画像信号を生成し、NTSC/PALエンコーダ&D/A部56がNTSCまたはPAL信号への変調およびDA変換を行う。MPEG−2エンコーダ52およびMPEG−2デコーダ55には、処理用の外付け大容量メモリ57,58が接続されている。
【0077】
ところで、DVDレコーダは、TV画面という比較的画面サイズの大きい動画像を、高画質で記録するために用いられることが多い。このため、高い処理能力と大容量のメモリが必須であり、この条件下で、高画質を実現するために比較的圧縮率の低い符号データを生成する。ところがその一方で、小さな画面(低解像度)でかまわないが、符号量はできる限り小さい(圧縮率が高い)符号データを得たい、というニーズも存在する。このようなニーズに対しては、従来は、解像度変換を行い、小さな画面をMPEG−2で記録するようにしていた。これに対して、本発明を適用することによって、高画質でかつ圧縮率の高い符号データを得ることができる。そして、DVDレコーダのような元来処理能力が高い画像符号化装置を、時分割動作させ、複数の符号化パラメータを用いて符号化を行うことによって、回路規模の増大を招くことなく、上述のようなニーズを容易に満たすことができる。
【0078】
図16は本発明を応用したDVDレコーダの画像符号化部60の構成を示す。基本的な構成は図14とほぼ同様であるが、量子化部5A、可変長符号化部6A、および局所復号化部(逆量子化部8A,逆DCT処理部9Aおよび参照画像生成部10A)がそれぞれ1つずつしかない点が異なる。また、DCT処理部4と量子化部5Aとの間にDCT係数を格納するためのDCTメモリ62を備えている。
【0079】
まず、DVDレコーダとして通常の動作を行う場合には、1枚の画像に対して1個の符号データを生成する。これに対して、小画面の画像を高い圧縮率で符号化する場合には、DCT処理部4から出力されたDCT係数がDCT係数メモリ62に格納される。そして、この格納されたデータに対し、以降の処理を、異なる符号化パラメータを用いて複数回、時分割で行う。すなわち、まず符号化パラメータaで量子化し可変長符号化する。そして、逆量子化、逆DCT、参照画像生成を行い、参照画像Aを得る。次に符号化パラメータbで量子化し可変長符号化する。そして、逆量子化、逆DCT、参照画像生成を行い、参照画像Bを得る。さらに異なる符号化パラメータで行う場合も同様である。なお、これらはマクロブロック単位で行われ、1画面分の処理が終了すると、複数の符号データと参照画像が得られる。その後、上述の各実施形態と同様に、所定の条件に従って、符号データの選択を行う。
【0080】
【発明の効果】
以上のように本発明によると、再生時に得られるものと同じ参照画像の画質評価の結果から符号データの選択が行われるので、画質を考慮した符号量制御が可能になり、したがって、適切な符号量で高画質の符号データを確実に得ることができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態に係る画像符号化方法を示すフローチャートである。
【図2】 本発明の第1の実施形態に係る画像符号化装置の構成例を示すブロック図である。
【図3】 画質評価の処理の一例を示すフローチャートである。
【図4】 本発明の第2の実施形態に係る画像符号化方法を示すフローチャートである。
【図5】 本発明の第3の実施形態に係る画像符号化であって、第1の実施形態にイントラ/インター判定を加えた方法を示すフローチャートである。
【図6】 本発明の第3の実施形態に係る画像符号化であって、第2の実施形態にイントラ/インター判定を加えた方法を示すフローチャートである。
【図7】 本発明の第4の実施形態に係る画像符号化方法を示すフローチャートである。
【図8】 本発明の第4の実施形態に係る画像符号化装置の構成例を示すフローチャートである。
【図9】 符号データの再構成処理の一例を示すフローチャートである。
【図10】 符号データの再構成処理を模式的に示す図である。
【図11】 符号量を考慮した符号データ選択を模式的に示す図である。
【図12】 符号量を考慮した符号データ選択を模式的に示す図である。
【図13】 一般的なデジタルカメラの構成を示す図である。
【図14】 本発明を応用したデジタルカメラの画像符号化部の構成を示す図である。
【図15】 DVDレコーダの構成例を示す図である。
【図16】 本発明を応用したDVDレコーダの画像符号化部の構成を示す図である。
【図17】 従来の画像符号化処理を示すフローチャートである。
【符号の説明】
S12 第1のステップ
S13 第2のステップ
S14 第3のステップ
S15 第4のステップ
S25,S26 第1のステップ
S27 第2のステップ
S28 第3のステップ
S2A,S2B 第4のステップ
S32 第1のステップ
S33 第2のステップ
S25,S46 第1のステップ
S47 第2のステップ
2 動きベクトル検出部
3 予測符号化部
4 DCT処理部
5 量子化ブロック
5a,5b,5c 量子化部
6 可変長符号化ブロック
6a,6b,6c 可変長符号化部
7 符号化データバッファ(第1の記憶部)
8 逆量子化ブロック
9 逆DCT処理ブロック
10 参照画像生成ブロック
11 参照画像メモリブロック(第2の記憶部)
13 画質評価部
14 符号データ選択部
36 外部メモリ(メモリ素子)
5A 量子化部
6A 可変長符号化部
8A 逆量子化部
9A 逆DCT処理部
10A 参照画像生成部
Claims (18)
- 動画像の符号化を行う画像符号化方法であって、
一の画像について、符号量が互いに異なる複数の符号データを生成する第1のステップと、
前記各符号データから、復号化によって、複数の参照画像を生成する第2のステップと、
前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する第4のステップとを備えている
ことを特徴とする画像符号化方法。 - 請求項1において、
前記第1のステップにおいて、
目標符号量を複数設定し、
前記一の画像について、その符号量が前記各目標符号量に収束するように符号量制御をしつつ、符号化をそれぞれ行い、前記複数の符号データを生成する
ことを特徴とする画像符号化方法。 - 請求項2において、
前記各目標符号量は、フレーム単位で設定され、
前記符号量制御において、マクロブロック単位で、符号化パラメータを制御する
ことを特徴とする画像符号化方法。 - 請求項1において、
前記第1のステップにおいて、
前記一の画像について、互いに異なる複数の符号化パラメータを用いて、符号化をそれぞれ行い、前記複数の符号データを生成する
ことを特徴とする画像符号化方法。 - 請求項1において、
前記一の画像は、フレーム単位で与えられ、
前記第4のステップにおいて、符号データの選択を、フレーム単位で行う
ことを特徴とする画像符号化方法。 - 動画像の符号化を行う画像符号化方法であって、
フレーム単位で与えられる入力画像について、他のフレームのn個(nは2以上の整数)の参照画像を参照して、n個の予測符号化画像を生成し、前記n個の予測符号化画像について、符号量が互いに異なるm個(mは2以上の整数)の符号データを、それぞれ生成することによって、(n×m)個の符号データを生成する第1のステップと、
前記(n×m)個の符号データから、復号化によって、(n×m)個の参照画像を生成する第2のステップと、
前記第2のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が小さい順にn個の符号データを選択する第4のステップとを備え、
前記n個の符号データに対応するn個の参照画像を、他のフレーム画像の予測符号化に用いる
ことを特徴とする画像符号化方法。 - 請求項1または6において、
前記第3のステップにおいて、
前記リファレンス画像について、高周波成分を画素毎に抽出し、
前記評価値を求める際に、前記差分の絶対値に、当該画素における前記高周波成分が大きいほど小さくなるように設定された係数をかけ、前記係数をかけた後の前記差分の絶対値を積算したものを前記評価値とする
ことを特徴とする画像符号化方法。 - 請求項1または6において、
前記差分からなる差分画像のパターンを評価し、ノイズ情報を抽出し、
前記ノイズ情報を、当該参照画像に係る符号データに、付加する
ことを特徴とする画像符号化方法。 - 請求項1において、
前記第3のステップにおいて、
前記評価値の算出を、マクロブロック単位で行い、
前記第4のステップにおいて、
符号データの選択をマクロブロック単位で行い、選択された複数のマクロブロック単位の符号データを組み合わせて、新たな符号データを再構成する
ことを特徴とする画像符号化方法。 - 請求項9において、
前記第4のステップにおいて、新たな符号データを再構成する際に、
選択された符号データのうち予測符号化された部分について、一旦復号化して、予測符号化されていない符号データに変換し、再構成した後、予測符号化を行う
ことを特徴とする画像符号化方法。 - 請求項1において、
前記第1のステップにおいて、入力画像と予測符号化画像のそれぞれに対して、符号量が異なるn個(nは2以上の整数)の符号データを生成し、
前記第2のステップにおいて、前記第1のステップで生成された2n個の符号データから、復号化によって、2n個の参照画像を生成する
ことを特徴とする画像符号化方法。 - 請求項6において、
前記第1のステップにおいて、さらに、入力画像に対して、符号量が異なるm個の符号データを生成し、
前記第2のステップにおいて、前記第1のステップで生成された(n+1)×m個の符号データから、復号化によって、(n+1)×m個の参照画像を生成する
ことを特徴とする画像符号化方法。 - 動画像の符号化を行う画像符号化方法であって、
一の画像について、符号量が互いに異なる複数の符号データを生成する第1のステップと、
前記各符号データから、復号化によって、複数の参照画像を生成する第2のステップと、
前記複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるものの中から、符号量が最小となる符号データを選択する第4のステップとを備えている
ことを特徴とする画像符号化方法。 - 動画像の符号化を行う画像符号化方法であって、
フレーム単位で与えられる入力画像について、他のフレームのn個(nは2以上の整数 )の参照画像を参照して、n個の予測符号化画像を生成し、前記n個の予測符号化画像について、符号量が互いに異なるm個(mは2以上の整数)の符号データを、それぞれ生成することによって、(n×m)個の符号データを生成する第1のステップと、
前記(n×m)個の符号データから、復号化によって、(n×m)個の参照画像を生成する第2のステップと、
前記第2のステップで生成した全ての参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする第3のステップと、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データであって、符号量が所定の符号量許容範囲に含まれるもの中から、符号量が大きい順にn個の符号データを選択する第4のステップとを備え、
前記n個の符号データに対応するn個の参照画像を、他のフレーム画像の予測符号化に用いる
ことを特徴とする画像符号化方法。 - 請求項13または14において、
前記第4のステップにおいて、
フレーム単位に、前記符号量許容範囲を設定し、
マクロブロック単位に、画質評価によって、符号データを選択し、
フレーム全体の符号量が前記符号量許容範囲を越えたとき、符号量が前記符号量許容範囲内に収まるように、符号データの選択変更を、その選択変更時に画質劣化が小さく、かつ、符号量の減少が大きいマクロブロックを優先して、行う
ことを特徴とする画像符号化方法。 - 一の画像について、符号量が互いに異なる複数の符号データを生成する画像符号化部と、
前記画像符号化部によって生成された各符号データから、局所復号化によって、複数の参照画像を生成する局所復号化部と、
前記局所復号化部によって生成された複数の参照画像のうち、符号量が最大となる符号データから得られた参照画像をリファレンス画像として定め、残りの各参照画像について、前記リファレンス画像との差分を画素毎にそれぞれ取り、この差分の絶対値に応じて定まる値を積算し、この積算値を、当該参照画像の画質評価の評価値とする画質評価部と、
前記評価値が所定の画質許容範囲にある参照画像に係る符号データの中から、符号量が最小となる符号データを選択する符号データ選択部とを備えた
ことを特徴とする画像符号化装置。 - 請求項16において、
前記複数の符号データを格納するための第1の記憶部と、
前記複数の参照画像を格納するための第2の記憶部とを備え、
前記第1および第2の記憶部は、共通のメモリ素子によって構成されている
ことを特徴とする画像符号化装置。 - 請求項16において、
前記画像符号化部および前記局所復号化部は、時分割動作し、前記符号データおよび参照画像の組を、時列的に直列に、生成する
ことを特徴とする画像符号化装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002290947A JP3893344B2 (ja) | 2002-10-03 | 2002-10-03 | 画像符号化方法および画像符号化装置 |
US10/642,223 US20040066976A1 (en) | 2002-10-03 | 2003-08-18 | Picture coding method and picture coding apparatus |
CNB031574319A CN1229998C (zh) | 2002-10-03 | 2003-09-19 | 图像编码方法和图像编码装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002290947A JP3893344B2 (ja) | 2002-10-03 | 2002-10-03 | 画像符号化方法および画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004128941A JP2004128941A (ja) | 2004-04-22 |
JP3893344B2 true JP3893344B2 (ja) | 2007-03-14 |
Family
ID=32040669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002290947A Expired - Fee Related JP3893344B2 (ja) | 2002-10-03 | 2002-10-03 | 画像符号化方法および画像符号化装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20040066976A1 (ja) |
JP (1) | JP3893344B2 (ja) |
CN (1) | CN1229998C (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100587698B1 (ko) | 2004-10-22 | 2006-06-08 | 주식회사 휴맥스 | 선택적 예측 부호화/복호화 방법 및 장치 |
US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
US8792555B2 (en) | 2006-01-31 | 2014-07-29 | Qualcomm Incorporated | Methods and systems for resizing multimedia content |
JP4732184B2 (ja) * | 2006-02-21 | 2011-07-27 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体 |
US8249358B2 (en) * | 2006-10-19 | 2012-08-21 | Nec Corporation | Image quality evaluation method, image quality evaluation system and image quality evaluation program |
US20090060039A1 (en) * | 2007-09-05 | 2009-03-05 | Yasuharu Tanaka | Method and apparatus for compression-encoding moving image |
JP2012009934A (ja) * | 2010-06-22 | 2012-01-12 | Sony Corp | 画像処理装置と画像処理方法 |
CN102984545B (zh) * | 2012-12-12 | 2016-01-20 | 北京视博云科技有限公司 | 一种视频类资源的编码方法及装置 |
JP6084682B2 (ja) * | 2013-03-25 | 2017-02-22 | 日立マクセル株式会社 | 符号化方法および符号化装置 |
CN104410861A (zh) * | 2014-11-24 | 2015-03-11 | 华为技术有限公司 | 视频编码方法及装置 |
CN107820084B (zh) * | 2016-09-13 | 2020-02-07 | 北京金山云网络技术有限公司 | 一种视频感知编码方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5694170A (en) * | 1995-04-06 | 1997-12-02 | International Business Machines Corporation | Video compression using multiple computing agents |
US6014694A (en) * | 1997-06-26 | 2000-01-11 | Citrix Systems, Inc. | System for adaptive video/audio transport over a network |
JP3570863B2 (ja) * | 1997-08-05 | 2004-09-29 | 三菱電機株式会社 | 動画像復号化装置および動画像復号化方法 |
US6192154B1 (en) * | 1998-01-26 | 2001-02-20 | International Business Machines Corporation | Two-pass encoding method of digital motion video sequences for constant-or variable bit rate |
US6252905B1 (en) * | 1998-02-05 | 2001-06-26 | International Business Machines Corporation | Real-time evaluation of compressed picture quality within a digital video encoder |
-
2002
- 2002-10-03 JP JP2002290947A patent/JP3893344B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-18 US US10/642,223 patent/US20040066976A1/en not_active Abandoned
- 2003-09-19 CN CNB031574319A patent/CN1229998C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20040066976A1 (en) | 2004-04-08 |
CN1229998C (zh) | 2005-11-30 |
JP2004128941A (ja) | 2004-04-22 |
CN1492685A (zh) | 2004-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4123567B2 (ja) | 画像信号処理装置及び方法 | |
KR101241662B1 (ko) | 화상 데이터 처리 장치, 화상 데이터 처리 방법 및 기록매체 | |
US8275035B2 (en) | Video coding apparatus | |
US8630347B2 (en) | Video decoding apparatus and video decoding method | |
JP2006157481A (ja) | 画像符号化装置及びその方法 | |
JP3189861B2 (ja) | 動画像符号化装置および方法 | |
JP4875007B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
JPWO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
JP3893344B2 (ja) | 画像符号化方法および画像符号化装置 | |
JP7015183B2 (ja) | 画像符号化装置及びその制御方法及びプログラム | |
JP2003304538A (ja) | 画像符号化装置、画像復号化装置及びそれらの方法 | |
JP4643437B2 (ja) | 情報処理装置 | |
JP5130245B2 (ja) | 撮影解像度予測型動画像符号化装置および復号装置 | |
JP2003179921A (ja) | 符号化映像復号化装置 | |
JP2006180195A (ja) | 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム | |
JP5396302B2 (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
JP3895414B2 (ja) | 映像復号化装置 | |
JP4357560B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
JP2008141354A (ja) | 画像符号化装置および撮像装置 | |
JP2012019288A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2006340001A (ja) | 画像符号化装置及び画像符号化方法 | |
JP4605183B2 (ja) | 画像信号処理装置及び方法 | |
US12028521B2 (en) | Encoder, method, and non-transitory computer-readable storage medium | |
KR100804338B1 (ko) | 동화상 재생 방법 및 장치와 프로그램을 기록한 컴퓨터 판독가능 기록 매체 | |
JP3307367B2 (ja) | 可変転送レート符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |