JP5282692B2 - 画像符号化装置と画像符号化方法 - Google Patents

画像符号化装置と画像符号化方法 Download PDF

Info

Publication number
JP5282692B2
JP5282692B2 JP2009173907A JP2009173907A JP5282692B2 JP 5282692 B2 JP5282692 B2 JP 5282692B2 JP 2009173907 A JP2009173907 A JP 2009173907A JP 2009173907 A JP2009173907 A JP 2009173907A JP 5282692 B2 JP5282692 B2 JP 5282692B2
Authority
JP
Japan
Prior art keywords
code amount
picture
unit
encoding
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009173907A
Other languages
English (en)
Other versions
JP2011029953A (ja
JP2011029953A5 (ja
Inventor
恭平 小藪
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009173907A priority Critical patent/JP5282692B2/ja
Priority to EP20100168912 priority patent/EP2282545A1/en
Priority to CN2010102339055A priority patent/CN101969554B/zh
Priority to US12/840,739 priority patent/US8483494B2/en
Publication of JP2011029953A publication Critical patent/JP2011029953A/ja
Publication of JP2011029953A5 publication Critical patent/JP2011029953A5/ja
Application granted granted Critical
Publication of JP5282692B2 publication Critical patent/JP5282692B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この発明は、画像符号化装置と画像符号化方法に関する。詳しくは、ロングＧＯＰ構造を採用して画像の符号化と復号化を繰り返しても、画質の劣化を少なくできる画像符号化装置と画像符号化方法に関する。
従来、ＭＰＥＧ(Moving Picture Experts Group)２等の画像符号化方式において、符号量を理想的に配分することは、主観的な画質を維持するための大きな課題である。
例えば、静止画における理想的な符号量配分とは、歪を均一とした状態(固定的な量子化スケール)で符号化した状態である。この歪が大きくなるような符号量になると、高周波成分や複雑部に歪を偏らせることと併せて、主観的な画質を高めることができる。
ここで、例えば特許文献１では、いわゆるフィードフォワード方式の符号量制御を採用し画質信号の局所的性質に適応した制御を可能とすることによって、復号画像の画質を向上できる画質信号の符号化方法が開示されている。フィードフォワード方式とは、等長化単位において発生する符号量を、複数の量子化スケールについて予め計算し、発生符号量が目標発生符号量を超えない範囲で、適切な量子化スケールを決定するものである。
一方、ＭＰＥＧ２でテストモデルとして提案されているＴＭ５等の符号量制御では、仮想バッファの残量と以前エンコードした際の量子化インデックスと発生符号量の関係を用いてフィードバック制御することによって、符号量制御を行っている。
また、画像の符号化と復号化を繰り返したときの画質低下を抑制するため、例えば特許文献２では、前回の符号化時に用いられた量子化パラメータや量子化マトリクスを検出することが行われている。
国際公開第ＷＯ９６／２８９３７号公報 国際公開第ＷＯ２００９／０３５１４４号公報
ところで、画像の編集処理等では、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データを符号化したときのストリーム、いわゆるロングＧＯＰ構造の符号化ストリームが用いられている。なお、参照ピクチャは、Ｉピクチャ(Intra符号化画像)とＰピクチャ(Predictive符号化画像)である。また、非参照ピクチャはＢピクチャ(Bidirectionally Predictive符号化画像）である。
このようなロングＧＯＰ構造の符号化ストリームを用いて編集処理等を行う場合、符号化ストリームの復号化を行って得られた画像データに対して種々の処理、例えばカラーコレクションやカット編集等が行われる。また、編集後の画像データは再度符号化されて符号化ストリームが生成される。このように符号化と復号化が繰り返されると、ピクチャタイプが前回の符号化と異なったとき、ピクチャタイプが等しい場合に比べて画質の劣化が顕著となってしまう場合がある。例えば、他のピクチャから参照される参照ピクチャに対して符号量を多く割り当てて参照ピクチャの画質劣化を抑えるように符号化を行えば、全体の画像で画質劣化を少なくできる。このように参照ピクチャと非参照ピクチャで画質の差を設けることで主観的な画質を向上させているとき、参照ピクチャに比べて画質の劣る非参照ピクチャが次の符号化で参照ピクチャに設定されてしまうと、全体の画像で画質劣化が大きくなってしまう。
そこで、この発明では、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ構造を採用して画像データの符号化と復号化を繰り返しても、画質の劣化を少なくできる画像符号化装置と画像符号化方法を提供することを目的とする。
この発明の第１の側面は、予め設定した量子化情報を用い、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データの符号化を行い発生符号量を算出する第１の符号化部と、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化情報の設定を行う符号量制御部と、前記画像データの各フレームの画像を参照ピクチャであるＩピクチャ(Intra符号化画像)としてＤＣＴ(Discrete Cosine Transform)係数の算出を行い、前記符号量制御部で設定された量子化情報を基準とした範囲の量子化情報を用いて前記ＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報を、前回符号化が行われたときに用いた量子化情報と判別する量子化情報判別部と、前記画像データに対して前記ＧＯＰ単位でピクチャタイプの設定を行い、該設定したピクチャタイプと前記量子化情報判別部で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させるピクチャタイプ設定部と、符号量制御部で設定された前記量子化情報を用いて、前記ピクチャタイプ設定部で設定されたピクチャタイプに基づき前記画像データの符号化を行う第２の符号化部とを有する画像符号化装置にある。
また、この発明の第２の側面は、第１の符号化部で、予め設定した量子化情報を用い、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データの符号化を行い発生符号量を算出するステップと、符号量制御部で、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化情報の設定を行うステップと、量子化情報判別部で、前記画像データの各フレームの画像を参照ピクチャであるＩピクチャ(Intra符号化画像)としてＤＣＴ(Discrete Cosine Transform)係数の算出を行い、前記符号量制御部で設定された量子化情報を基準とした範囲の量子化情報を用いて前記ＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報を、前回符号化が行われたときに用いた量子化情報と判別するステップと、前記ピクチャタイプ設定部で、前記画像データに対して前記ＧＯＰ単位でピクチャタイプの設定を行い、該設定したピクチャタイプと前記量子化情報判別部で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させるステップと、第２の符号化部で、前記符号量制御部で設定された前記量子化情報を用いて、前記ピクチャタイプ設定部で設定されたピクチャタイプに基づき前記画像データの符号化を行うステップとを有する画像符号化方法にある。
この発明においては、ロングＧＯＰ構造を採用して、画像データのプレエンコードが第１の符号化部で行われて、本エンコードが第２の符号化部で行われる。第１の符号化部では、予め設定した量子化情報を用いて符号化が行われて発生符号量が算出される。符号量制御部は、予め設定した量子化情報と発生符号量の関係から目標発生符号量を実現する量子化情報の設定が行われる。
量子化情報判別部では、画像データの各フレームの画像をＩピクチャとしてＤＣＴ係数の算出を行い、量子化情報を用いてＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報が、前回符号化が行われたときに用いた量子化情報と判別される。ここで、判別に用いられる量子化情報は、符号量制御部で設定された量子化情報を基準とした範囲の量子化情報とされるので、全ての量子化情報を用いて判別を行う必要がなく、前回符号化が行われたときに用いた量子化情報の判別が容易となる。
ピクチャタイプ設定部では、画像データに対してＧＯＰ単位でピクチャタイプの設定を行い、設定したピクチャタイプと量子化情報判別部で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させる。例えばピクチャタイプ設定部は、量子化情報判別部で判別されたＩピクチャが画像データに設定するＩピクチャよりも位相が進んでいるとき、進んでいるピクチャ数だけＩピクチャよりも前からピクチャ数を削減してＧＯＰ長の調整を行い、画像データに対して設定するピクチャタイプが前回符号化が行われたときのピクチャタイプと一致させる。また、ピクチャタイプ設定部は、量子化情報判別部で判別されたＩピクチャが画像データに設定するＩピクチャよりも位相が遅れているとき、次の１または複数のＧＯＰでピクチャ数を削減してＧＯＰ長の調整を行い、画像データに対して設定する参照ピクチャと非参照ピクチャのピクチャタイプを前回符号化が行われたときのピクチャタイプと一致させる。このようなピクチャタイプの設定がピクチャタイプ設定部で行われることから、画像データに対して前回の符号化と同じピクチャタイプを設定することが可能となる。
第２の符号化部では、符号量制御部で設定された量子化情報、すなわちプレエンコードを行って設定された例えば量子化パラメータを用いて画像データの本エンコードが行われる。また、前回符号化が行われた画像データの本エンコードが行われるとき、第２の符号化部では前回符号化が行われたときのピクチャタイプで符号化が行われる。さらに、量子化情報決定部によって、符号量制御部で設定された量子化情報が量子化情報判別部で判別された量子化情報に変更されて、第２の符号化部では、前回符号化が行われたときの量子化情報を用いて画像データの符号化が行われる。
さらに、複数の異なる量子化情報を用いて、画像データの各フレームの画像をＩピクチャとして量子化情報毎に符号化を行い発生符号量を算出する第３の符号化部が設けられたとき、符号量制御部では、第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化情報と該量子化情報を用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第３の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が目標発生符号量を実現する量子化情報の設定が行われる。このため、目標発生符号量を実現する量子化情報を精度よく判別することが可能となり、前回符号化が行われたときに用いた量子化情報の判別に用いられる量子化情報をより正しく選択できる。
この発明によれば、予め設定した量子化情報を用いて、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データの符号化が行われて発生符号量が算出される。また、算出された発生符号量に基づいて目標発生符号量を実現する量子化情報の設定が行われる。さらに、画像データの各フレームの画像をＩピクチャ(Intra符号化画像)としてＤＣＴ(Discrete Cosine Transform)係数が算出される。また、判別された量子化情報を基準とする範囲の量子化情報を用いてＤＣＴ係数の除算が行われて、剰余のピクチャ単位の総和が最小となる量子化情報が前回符号化が行われたときに用いた量子化情報と判別される。画像データに対してはＧＯＰ単位でピクチャタイプの設定が行われて、該設定したピクチャタイプと前回符号化が行われたときの量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプが一致される。さらに、判別された量子化情報を用いて、設定されたピクチャタイプに基づき画像データの符号化が行われる。
このため、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ構造を採用して画像データの符号化と復号化を繰り返しても、画質の劣化を少なくできる。
第１の実施の形態の構成を示す図である。 バックサーチ部の構成を示す図である。 量子化パラメータと剰余の総和の関係を例示した図である。 量子化パラメータと評価値の総和の関係を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 量子化情報設定処理を示すフローチャートである。 量子化パラメータと発生符号量の算出処理を説明するための図である。 １ＧＯＰ分の発生符号量の算出処理を示すフローチャートである。 ピクチャ一致処理を説明するための図（その１）である。 ピクチャ一致処理を説明するための図（その２）である。 ピクチャ一致処理を説明するための図（その３）である。 第２の実施の形態の構成を示す図である。 量子化マトリクスを例示した図である。 第２の実施の形態の動作を示すフローチャートである。 量子化パラメータと発生符号量の算出処理を説明するための図である。 Ｉピクチャの発生符号量算出処理を示すフローチャートである。 量子化マトリクスの選択動作を示すフローチャートである。 量子化マトリクスの切り換え制限処理を示すフローチャートである。 第２の発生符号量の検出処理を示すフローチャートである。 高域成分コスト演算の動作を示すフローチャートである。 量子化パラメータと発生符号量の算出処理を説明するための図である。 第２の補正係数の算出動作を示すフローチャートである。 非Ｉピクチャの発生符号量算出処理を示すフローチャートである。
以下、発明を実施するための形態について、以下の順序で説明を行う。
１．第１の実施の形態の構成
２．第１の実施の形態の動作
３．第２の実施の形態の構成
４．第２の実施の形態の動作
＜１．第１の実施の形態の構成＞
図１は、本発明の第１の実施の形態の構成を示している。画像符号化装置１０は、ピクチャタイプ設定部１１、画像並べ替え処理部１２、第１の符号化部であるプレエンコード部２０、符号量制御部４０、ディレイバッファ５０、量子化情報判別部６０、量子化情報決定部６５、第２の符号化部である本エンコード部７０を備えている。
プレエンコード部２０は、予測モード決定部２１、ＤＣＴ（Discrete Cosine Transform)部２２、量子化部２３、逆量子化部２４、ＩＤＣＴ（Inverse Discrete Cosine Transform)部２５、予測画生成部２６、符号長計算部２７を備えている。量子化情報判別部６０は、予測処理部６１、ＤＣＴ部６２、バックサーチ部６３を備えている。本エンコード部７０は、予測処理部７１、ＤＣＴ部７２、量子化部７３、逆量子化部７４、ＩＤＣＴ部７５、予測画生成部７６、可変長符号化部７７を備えている。
このような構成において、ピクチャタイプ設定部１１は、ロングＧＯＰ構造に従い、入力画像の画像データの各フレームに対して、参照画であるＩピクチャ(Intra符号化画像)とＰピクチャ(Predictive符号化画像)、及び非参照画であるＢピクチャ(Bidirectionally Predictive符号化画像）のいずれかのピクチャタイプを設定して画像並べ替え処理部１２に通知する。また、ピクチャタイプ設定部１１は、後述する量子化情報判別部６０から供給された判別信号に基づき、設定したピクチャタイプに対して、量子化情報判別部６０で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させる。
画像並べ替え処理部１２、ピクチャタイプ設定部１１で設定されたピクチャタイプに応じて、入力画像の画像データを表示順から符号化順にピクチャの順序を並べ替える。そして、画像並べ替え処理部１２は、符号化順に並べ替えた画像データを、プレエンコード部２０とディレイバッファ５０に出力する。なお、画像符号化装置１０では、各フレームの画像がいずれのピクチャタイプに設定されているか識別可能とする。例えば符号化順に並べ替えた画像データにピクチャタイプを示す情報を付加する。また、各フレームの画像がいずれのピクチャタイプであるか識別可能とする情報を、ピクチャタイプ設定部１１または画像並べ替え処理部１２から、プレエンコード部２０や本エンコード部７０等に供給して、ピクチャタイプを識別可能としてもよい。
プレエンコード部２０は、画像データを固定の量子化パラメータを用いて符号化を行ったときの発生符号量の算出を行い、算出した発生符号量を符号量制御部４０に出力する。プレエンコード部２０の予測モード決定部２１は、入力画像の画像データと後述する予測画生成部２６で生成された予測画像データを用いてマクロブロック毎に予測モードを決定する。また、予測モード決定部２１は、決定した予測モードの予測画像データを用いて、入力画像の画像データとの誤差を示す差分画像データをＤＣＴ部２２に出力する。
ＤＣＴ部２２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部２３に出力する。
量子化部２３は、予め設定された量子化情報、すなわち固定されている量子化パラメータＱＰ(p)を用いてＤＣＴ係数の量子化を行い、生成した量子化データを逆量子化部２４と符号長計算部２７に出力する。
逆量子化部２４は量子化データに対して逆量子化を行い、ＤＣＴ係数を生成してＩＤＣＴ部２５に出力する。
ＩＤＣＴ部２５は、逆量子化部２４から供給されたＤＣＴ係数の逆離散コサイン変換を行い、差分画像データを生成して予測画生成部２６に出力する。
予測画生成部２６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、予測画生成部２６は、入力画像の画像データを用いてマクロブロック単位で現フレームと時間的に隣接する次フレームとの動き推定を行う。さらに 予測画生成部２６は、動き推定結果に基づいてローカルデコード画像の動き補償を行い、ローカルデコード画像の画像データから予測画像データを生成して予測モード決定部２１に出力する。
符号長計算部２７は、量子化データに対してコンテキスト適応型可変長符号化方式（CAVLC；Context-Adaptive Variable Length Coding)またはコンテキスト適応型２値算術符号化方式（CABAC；Context-Adaptive Binary Arithmetic Coding)のいずれかで符号化を行い、マクロブロック毎に発生符号量を算出して符号量制御部４０に出力する。
ＣＡＶＬＣ符号化方式は、ＣＡＢＡＣ方式よりも処理が簡単な方式であり、ＣＡＢＡＣ符号化方式は、ＣＡＶＬＣ方式よりもデータ量を少なくできる方式である。ここで、プレエンコード部２０では処理を簡単とするために可変長符号化方式を用い、本エンコード部７０ではデータ量を少なくするため算術符号化方式を用いる場合について説明する。可変長符号化はある特定の領域の情報を効率よく符号化しており、算術符号化は領域を特定することなく効率よく符号化できる。このため、可変長符号化から算術符号化の符号量を予測すると大きく誤差がでる場合がある。しかし、ＣＡＶＬＣはコンテキストを適用的に変更することにより、一般的な可変長符号化に比べて、あまり領域を特定せずに効率よく符号化することができる。このため、誤差が少なくなり、ＣＡＢＡＣ方式を用いたときの発生符号量をＣＡＶＬＣ方式の符号化によって推測することが可能となる。したがって、符号長計算部２７でＣＡＶＬＣ方式を用いても、ＣＡＢＡＣ方式を用いる本エンコード部７０における発生符号量を推測できる。なお、符号長計算部２７は、ＣＡＶＬＣ方式を用いることで回路規模を抑えることも可能となる。
符号量制御部４０は、ビットレートとＧＯＰ構造の関係から、１ＧＯＰに割り当てられる目標発生符号量を決定する。また、符号量制御部４０は、プレエンコード部２０で算出された発生符号量の１ＧＯＰ分に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。すなわち、符号量制御部４０は、１ＧＯＰの発生符号量が目標発生符号量以下で最も目標発生符号量に近くなる量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。また、符号量制御部４０は、予測した発生符号量から目標発生符号量を実現する量子化パラメータを設定して量子化情報決定部６５に出力する。
ディレイバッファ５０は、符号量制御部４０で量子化情報の設定に要する時間だけ入力画像の画像データを遅延させて、遅延後の画像データを量子化情報判別部６０と本エンコード部７０に出力する。
量子化情報判別部６０の予測処理部６１は、ディレイバッファ５０から供給された画像データの各フレームの画像を参照ピクチャであるＩピクチャ(Intra符号化画像)として最適な予測モードを決定すると共に、画像データから予測画像の画像データを生成する。また、予測処理部６１は、ディレイバッファ５０から供給された画像データと予測画像の画像データとの差分を示す差分画像データを生成してＤＣＴ部６２に出力する。
ＤＣＴ部６２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成してバックサーチ部６３に出力する。
バックサーチ部６３は、供給されたＤＣＴ係数を用いて演算を行い、前回の符号化で用いられた量子化情報の判別を行う。量子化情報の判別では、例えば特許文献２（国際公開第ＷＯ２００９／０３５１４４号公報）に示されているように、符号化で用いるＤＣＴ係数をバックサーチ処理のためのリスケーリングファクタで除算してマクロブロック毎に剰余を求める。また、１ピクチャを構成するマクロブロックの剰余の総和が極小となるリスケーリングファクタを検出する。なお、リスケーリングファクタは、量子化情報である量子化マトリクスと量子化パラメータ、および復号化で用いるＤＣＴ係数から符号化で用いるＤＣＴ係数を得るための変換行列の関数である。このようにして検出したリスケーリングファクタを生成したときの量子化情報を、前回の符号化で用いられた量子化情報として判別する。また、剰余の総和の極小値が複数検出されたときは、大きい値を有する量子化パラメータを採用する。さらに、バックサーチ部６３は、符号量制御部４０で設定された量子化情報を基準とした範囲の量子化情報を用いて、前回の符号化で用いられた量子化情報の判別を行う。
図２は、バックサーチ部６３の構成を示している。バックサーチ部６３は、剰余計算部６３１と評価値決定部６３２と判定部６３３を有している。剰余計算部６３１は、符号量制御部４０で設定された量子化情報を基準とした範囲の量子化情報に基づくリスケーリングファクタによってＤＣＴ係数の除算を行い、得られた剰余を評価値決定部６３２に出力する。
評価値決定部６３２は、ピクチャ単位で剰余の総和を算出する。さらに、評価値決定部６３２は、剰余の総和をリスケーリングファクタで規格化して評価値とする。図３は、量子化情報例えば量子化パラメータと剰余の総和の関係を例示した図である。図３から明らかなように、剰余の総和は量子化パラメータが大きくなると増加する特性を有している。したがって、この特性の影響を受けることなく、剰余の総和が最小となる量子化パラメータを判別できるように、評価値決定部６３２は、剰余をリスケーリングファクタで規格化して評価値とする。また、評価値決定部６３２は、１ピクチャを構成するマクロブロックの評価値の総和を算出して判定部６３３に出力する。
判定部６３３は、評価値の総和が最小となるリスケーリングファクタを検出して、検出したリスケーリングファクタにおける量子化パラメータや量子化マトリクスを前回符号化が行われたときに用いた量子化情報として、量子化情報決定部６５に出力する。図４は、量子化パラメータと評価値の総和の関係を例示した図である。判定部６３３は、例えば図４の特性から評価値の総和が最小となる量子化パラメータを前回符号化が行われたときに用いた量子化情報とする。
さらに、バックサーチ部６３は、量子化情報が判別されたピクチャを示す情報信号をピクチャタイプ設定部１１に出力する。ここで、ロングＧＯＰ構造の符号化データを復号化して得られた画像データを用いてバックサーチを行った場合、バックサーチを行うピクチャがＩピクチャであるときは、前回符号化で用いた量子化情報に基づくリスケーリングファクタによってＤＣＴ係数を除算したときの剰余が小さくなる。しかし、バックサーチを行うピクチャがＰピクチャまたはＢピクチャであるときは、Ｉピクチャのように剰余が小さくならない。したがって、前回符号化で用いた量子化情報が判別されたか否かによって、前回の符号化でＩピクチャに設定されたフレームを検出することができる。バックサーチ部６３は、前回の符号化でＩピクチャに設定されていたフレームを示す情報信号を生成してピクチャタイプ設定部１１に出力する。
量子化情報決定部６５は、量子化情報判別部６０で判別された量子化情報を本エンコード部７０に出力する。また、量子化情報決定部６５は、量子化情報判別部６０で量子化情報が判別されたとき、符号量制御部４０で設定された量子化情報を量子化情報判別部６０で判別された量子化情報に変更して本エンコード部７０に出力する。したがって、入力画像の画像データが一度も符号化されていない原画像の画像データである場合、量子化情報判別部６０では量子化情報を判別できないことから、プレエンコード処理により設定した量子化情報が本エンコード部７０に出力される。また、入力画像の画像データが符号化の行われている画像データである場合、量子化情報判別部６０で判別された量子化情報が本エンコード部７０に出力される。
本エンコード部７０は、量子化情報決定部６５から供給された量子化情報を用いて画像データの符号化を行う。本エンコード部７０の予測処理部７１は、ピクチャタイプ設定部１１で設定されたピクチャタイプに基づき予測画像データを生成する。予測処理部７１は、予測画像データと入力画像の画像データとの誤差を示す差分画像データを生成してＤＣＴ部７２に出力する。
ＤＣＴ部７２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部７３に出力する。
量子化部７３は、量子化情報決定部６５から供給された量子化情報を用いてＤＣＴ係数の量子化を行い、量子化データを逆量子化部７４と可変長符号化部７７に出力する。
逆量子化部７４は、量子化データに対して逆量子化を行い、ＤＣＴ係数を生成してＩＤＣＴ部７５に出力する。
ＩＤＣＴ部７５は、逆量子化部７４から供給されたＤＣＴ係数の逆離散コサイン変換を行い、差分画像データを生成して予測画生成部７６に出力する。
予測画生成部７６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、予測画生成部７６は、ディレイバッファ５０からの画像データを用いてマクロブロック単位で現フレームと時間的に隣接する次フレームとの動き推定を行う。さらに 予測画生成部７６は、動き推定結果に基づいてローカルデコード画像の動き補償を行い、予測画像を生成して予測処理部７１に出力する。
可変長符号化部７７は、量子化データに対してＣＡＶＬＣ方式またはＣＡＢＡＣ方式で符号化を行い、符号化ストリームを生成して出力する。可変長符号化部７７は、例えばデータ量が少なくなるようにＣＡＢＡＣ方式を用いて量子化データの符号化を行い、符号化ストリームを生成する。
このように構成された画像符号化装置１０は、前回符号化が行われている画像データを符号化するとき、前回の符号化が行われたときと等しくなるようにピクチャタイプを設定して画像データの符号化を行う。また、前回の符号化で用いられた量子化情報を用いて画像データの符号化を行う。
＜２．第１の実施の形態の動作＞
次に、第１の実施の形態の動作について説明する。図５は第１の実施の形態の動作を示すフローチャートである。なお、図５では１ＧＯＰの処理を示している。
ステップＳＴ１で画像符号化装置１０は、ピクチャタイプの設定を行う。画像符号化装置１０は、画像データの各フレームに対してＧＯＰ（Group of Picture）構造に従いピクチャタイプ設定部１１でピクチャタイプを設定してステップＳＴ２に進む。
ステップＳＴ２で画像符号化装置１０は、画像の並べ替えを行う。画像符号化装置１０は、ピクチャタイプ設定部１１で設定されたピクチャタイプに基づき、画像データを表示順から符号化順に画像並べ替え処理部１２で並べ替えてステップＳＴ３に進む。
ステップＳＴ３で画像符号化装置１０は、プレエンコード処理を行う。画像符号化装置１０は、設定されたピクチャタイプで画像データの符号化をプレエンコード部２０で行い発生符号量を算出してステップＳＴ４に進む。
ステップＳＴ４で画像符号化装置１０は、発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０は、プレエンコード部２０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ７に進み、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ３に戻る。
ステップＳＴ７で画像符号化装置１０は、量子化情報設定処理を行う。画像符号化装置１０は、プレエンコード処理を行うことにより得られた発生符号量に基づいて目標発生符号量を実現する量子化情報を設定してステップＳＴ８に進む。なお、量子化情報設定処理は後述する。
ステップＳＴ８で画像符号化装置１０は、バックサーチ処理を行う。画像符号化装置１０は、ディレイバッファ５０から画像データの読み出しを行い、読み出した画像データの各フレームの画像を参照ピクチャであるＩピクチャとしてＤＣＴ係数の算出を行う。さらに、ステップＳＴ７で設定された量子化情報を基準とした範囲の量子化情報を用いてＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報を、前回の符号化で用いた量子化情報と判別してステップＳＴ９に進む。
ステップＳＴ９で画像符号化装置１０は、前回の符号化で用いた量子化情報を判別できたか否か判別する。画像符号化装置１０は、バックサーチ処理を行い量子化情報例えば量子化パラメータや量子化マトリクスを判別できた時にはステップＳＴ１０に進み、判別できなかったときはステップＳＴ１３に進む。
ステップＳＴ１０で画像符号化装置１０は、ピクチャタイプが一致するか否か判別する。画像符号化装置１０は、ピクチャタイプ設定部１１で設定したピクチャタイプと量子化情報判別部６０で量子化情報が判別されたピクチャタイプが一致していないときステップＳＴ１１に進み、一致しているときステップＳＴ１２に進む。
ステップＳＴ１１で画像符号化装置１０は、ピクチャタイプ一致処理を行う。画像符号化装置１０は、ピクチャタイプ設定部１１でその後のＧＯＰにおけるＧＯＰ長を調整して、画像データに対して設定するピクチャタイプと前回符号化が行われたときのピクチャタイプを一致させてステップＳＴ１２に進む。画像符号化装置１０は、前回符号化が行われたときのピクチャタイプが参照ピクチャであるとき画像データに対して設定するピクチャタイプを参照ピクチャとして、前回符号化が行われたときのピクチャタイプが非参照ピクチャであるとき、画像データに対して設定するピクチャタイプを非参照ピクチャとする。
ステップＳＴ１２で画像符号化装置１０は、量子化情報変更処理を行う。画像符号化装置１０は、ステップＳＴ７で設定された量子化情報をステップＳＴ８のバックサーチ処理で判別した量子化情報に変更してステップＳＴ１３に進む。例えば、ステップＳＴ７で設定された量子化パラメータをステップＳＴ８で判別した量子化パラメータに変更する。
ステップＳＴ１３で画像符号化装置１０は本エンコード処理を行う。画像符号化装置１０は、前回の符号化で用いられている量子化情報が判別されていないときはステップＳＴ７で設定された量子化情報を用いて符号化を行う。また、前回の符号化で用いられている量子化情報が判別されたときは、ステップＳＴ１２で変更された量子化情報、すなわち前回の符号化で用いられている量子化情報を用いて量子化を行う。
図６は、量子化情報設定処理を示すフローチャートを例示している。ステップＳＴ２１で符号量制御部４０は、量子化パラメータの予測を行う。符号量制御部４０は、プレエンコード部２０で算出された発生符号量に基づいて目標発生符号量を実現する量子化パラメータを予測してステップＳＴ２２に進む。
図７は量子化パラメータと後述する発生符号量の算出処理を説明するための図である。符号量制御部４０は、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線例えば予測曲線ＣＢを選択する。さらに、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータを予測する。
ステップＳＴ２２で符号量制御部４０は、１ＧＯＰ分の発生符号量の算出を行う。符号量制御部４０は、予測した量子化パラメータにおける発生符号量の１ＧＯＰ分を算出してステップＳＴ２３に進む。
ステップＳＴ２３で符号量制御部４０は、１ＧＯＰ分の発生符号量が目標発生符号量より大きいか否か判別する。符号量制御部４０は、発生符号量が目標発生符号量より大きくないときステップＳＴ２４に進み、発生符号量が目標発生符号量より大きいときステップＳＴ２５に進む。
ステップＳＴ２４で符号量制御部４０は、予測した量子化パラメータから本エンコード処理で用いる量子化パラメータを設定する。符号量制御部４０は、発生符号量と目標発生符号量との差が小さいとき、予測した量子化パラメータを本エンコード処理で用いる量子化パラメータとして処理を終了する。例えば予測した量子化パラメータの値を「１」減少させたときの発生符号量の増加分よりも小さいとき、予測した量子化パラメータを本エンコード処理で用いる量子化パラメータとして処理を終了する。また、符号量制御部４０は、発生符号量と目標発生符号量との差が大きいとき、差が小さくなるように予測した量子化パラメータの値を減少させて、本エンコード処理で用いる量子化パラメータとする。
ステップＳＴ２５で符号量制御部４０は、予測した量子化パラメータの値を増加させる。符号量制御部４０は、発生符号量と目標発生符号量との差に応じて増加量を決定して、予測した量子化パラメータの値を増加させてステップＳＴ２６に進む。
ステップＳＴ２６で符号量制御部４０は、１ＧＯＰ分の発生符号量の算出を行う。符号量制御部４０は、ステップＳＴ２５で更新された量子化パラメータを用いて、ステップＳＴ２２と同様に１ＧＯＰ分の発生符号量の算出を行ってステップＳＴ２７に進む。
ステップＳＴ２７で符号量制御部４０は、目標発生符号量を実現できるか否か判別する。符号量制御部４０は、目標発生符号量を実現できないと判別したときステップＳＴ２３に戻り、目標発生符号量を実現できると判別したとき、ステップＳＴ２５で更新した量子化パラメータを、本エンコード処理で用いる量子化パラメータとして処理を終了する。例えば、ステップＳＴ２５で更新した量子化パラメータを用いたときの発生符号量が目標発生符号量以下であるとする。また、ステップＳＴ２５で更新した量子化パラメータよりも「１」だけ小さい量子化パラメータを用いたときの発生符号量が目標発生符号量を超えるとする。このとき、符号量制御部４０は、目標発生符号量を実現できると判別して、更新した量子化パラメータを本エンコード処理で用いる量子化パラメータとする。
なお、量子化情報設定処理は、図６のフローチャートに示す処理に限られるものではない。例えば、発生符号量と目標発生符号量との差に応じて量子化パラメータの増加量や減少量を設定して再度発生符号量の算出を行う。また、発生符号量と目標発生符号量との差が少なくなったときは、量子化パラメータを「１」ずつ増加または減少させて、目標発生符号量を実現できる量子化パラメータを検索するようにしてもよい。
図８は、１ＧＯＰ分の発生符号量の算出処理を例示したフローチャートである。ステップＳＴ３１で符号量制御部４０は、予測した量子化パラメータを用いてＩピクチャの発生符号量を算出してステップＳＴ３２に進む。
ステップＳＴ３２で符号量制御部４０は、次のピクチャがＩピクチャであるか否か判別する。符号量制御部４０は、次のピクチャがＩピクチャでないときステップＳＴ３３に進み、次のピクチャがＩピクチャであるとき、１ＧＯＰ分の発生符号量の算出処理を終了する。
ステップＳＴ３３で符号量制御部４０は、予測した量子化パラメータを用いて非Ｉピクチャ、すなわちＰピクチャまたはＢピクチャの発生符号量を算出してステップＳＴ３２に戻る。
次に、ピクチャ一致処理について、図９〜図１１を用いて説明する。図９は、ピクチャタイプ設定部１１で設定したピクチャタイプよりも前回の符号化で設定したピクチャタイプの位相が進んでいる場合を示している。すなわち、ピクチャタイプ設定部１１で設定したＩピクチャよりも前のピクチャで量子化情報が判別された場合を示している。また、図１０は、ピクチャタイプ設定部１１で設定したピクチャタイプよりも前回の符号化で設定したピクチャタイプの位相が遅れており、この位相の遅れが少ない場合を示している。すなわち、ピクチャタイプ設定部１１で設定したＩピクチャよりも後のピクチャであって、このＩピクチャから僅かに離れているピクチャで量子化情報が判別された場合を示している。さらに、図１１は、ピクチャタイプ設定部１１で設定したピクチャタイプよりも前回の符号化で設定したピクチャタイプの位相が遅れており、この位相の遅れが大きい場合を示している。すなわち、ピクチャタイプ設定部１１で設定したＩピクチャよりも後のピクチャであって、このＩピクチャから大きく離れているピクチャで量子化情報が判別された場合を示している。なお、図９〜図１１において、「Ｂｒ」は、Ｈ．２６４／ＡＶＣの規格によって、参照画像として用いることができるようになったＢピクチャを示している。また、図９〜図１１は、画像並べ替え処理部１２で画像の並べ替えが行われる前の順序でピクチャタイプを示している。
ピクチャタイプ設定部１１で設定したＧＯＰにおいて、量子化情報判別部６０で量子化情報が判別されたピクチャの番号を検出ピクチャ番号ＰＮＢとする。また、検出ピクチャ番号からＩピクチャよりも前のＢピクチャの数をＢピクチャ数ＢＮとする。ピクチャタイプ設定部１１は、設定したピクチャタイプと量子化情報判別部６０で量子化情報が判別されたピクチャタイプが相違するとき、その後のＧＯＰにおけるＧＯＰ長を調整する。ピクチャタイプ設定部１１は、ＧＯＰ長を調整して、画像データに対して設定するピクチャタイプと前回符号化が行われたときのピクチャタイプを一致させる。ピクチャタイプ設定部１１は、式（１）の演算を行い、次のＧＯＰのＧＯＰ長ＧＬを設定する。
ＧＬ＝ＰＮＢ−ＢＮ ・・・（１）
図９の（Ａ）は、前回の符号化で設定されたピクチャタイプを示している。また、図９の（Ｂ）（Ｃ）は、一致処理を行ったときのピクチャタイプを示している。前回の符号化で設定されたピクチャタイプの位相が進んでいる場合、すなわち、ＧＯＰ長ＧＬがマイナスの値となる場合、マイナス値分だけ次のＧＯＰの先頭からＢピクチャを削減する。図９では、前回の符号化で設定したピクチャタイプの位相が例えば１ピクチャ分だけ進んでおり、検出ピクチャ番号ＰＮＢは「１」となる。また、Ｂピクチャ数ＢＮは「２」であることから、ＧＯＰ長ＧＬは「−１」となる。したがって、図９の（Ｂ）に示すように、例えば次のＧＯＰでＩピクチャよりも前に位置するＢピクチャから１つのピクチャ「Ｂ１」を削減する。このように、位相の進んでいるピクチャ数だけ次のＧＯＰから先頭のＢピクチャを削減すれば、ピクチャタイプ設定部１１で設定したピクチャタイプと前回の符号化で設定したピクチャタイプを一致させることができる。
また、図９の（Ｃ）に示すように、例えば次のＧＯＰのＧＯＰ長を１ピクチャだけ短くして、最後のピクチャをＰピクチャとする。このように、マイナス値分だけ次のＧＯＰ長を短くすると、このＧＯＰ長を短くしたＧＯＰの次のＧＯＰでは、ピクチャタイプ設定部１１で設定されるピクチャタイプを前回の符号化で設定されたピクチャタイプと一致させることができる。
このように、ピクチャタイプ設定部１１で設定したピクチャタイプよりも前回の符号化で設定したピクチャタイプの位相が進んでいる場合、進んでいるピクチャ数だけＩピクチャよりも前からピクチャ数を削減してＧＯＰ長の調整を行うことで、画像データに対して設定するピクチャタイプを前回符号化が行われたときのピクチャタイプと一致させることができる。例えば、画像データに対して設定するＩピクチャを前回符号化が行われたときのＩピクチャと一致させることができる。
図１０の（Ａ）は、前回の符号化で設定されたピクチャタイプを示している。また、図１０の（Ｂ）（Ｃ）（Ｄ）は、一致処理を行ったときのピクチャタイプを示している。前回の符号化で設定されたピクチャタイプの位相遅れが少ない場合、次のＧＯＰのＧＯＰ長を算出したＧＯＰ長ＧＬとする。図１０では、量子化パラメータや量子化マトリクスがピクチャ「Ｂ４」で最初に検出されており、Ｉピクチャよりも前のＢピクチャ数は「２」であることから、ＧＯＰ長ＧＬは「４−２＝２」となる。したがって、図１０の（Ｂ）に示すように、例えば次のＧＯＰのＧＯＰ長を「２」とする。このように、次のＧＯＰをＧＯＰ長ＧＬとすれば、次の次のＧＯＰでは、ピクチャタイプ設定部１１で設定されるピクチャタイプを前回の符号化で設定されているピクチャタイプと一致させることができる。
また、位相遅れが少ないとＧＯＰ長ＧＬが小さな値となって短いＧＯＰが生成されてしまう。したがって、短いＧＯＰを生じることがないように、ピクチャタイプ設定部１１は例えば次のＧＯＰと次の次のＧＯＰのピクチャタイプを調整する。ピクチャタイプ設定部１１は、その後のＧＯＰに対してピクチャタイプ設定部１１で設定されるピクチャタイプを、前回の符号化で設定されたピクチャタイプと一致させる。この場合、ＩピクチャとＰピクチャの間隔ＧＭを用いて、次のＧＯＰのＧＯＰ長を（ＧＯＰ長ＧＬ＋間隔ＧＭの整数倍）とする。
例えば、図１０において、ＩピクチャとＰピクチャの間隔ＧＭは「３」であり、ＧＯＰ長ＧＬは「２」であることから、次のＧＯＰのＧＯＰ長は図１０の（Ｃ）に示すように例えば「２＋３×２」とする。このようにすれば、次の次のＧＯＰでは、ピクチャタイプ設定部１１で設定される参照ピクチャと非参照ピクチャを前回の符号化で設定されたピクチャタイプと一致させることができる。さらに、その後のＧＯＰでは、ピクチャタイプ設定部１１で設定したピクチャタイプと前回の符号化で設定したピクチャタイプが一致する。
また、短いＧＯＰを生じることがないように、調整を最小限に抑えてピクチャタイプ設定部１１で設定されるピクチャタイプを前回の符号化で設定されたピクチャタイプと一致させてもよい。この場合、ＧＯＰ長は「通常のＧＯＰ数−（間隔ＧＭの整数倍−ＧＬ）」とする。図１０において、通常のＧＯＰ数は「１２」、間隔ＧＭは「３」、ＧＯＰ長ＧＬは「２」であることから、図１０の（Ｄ）に示すように、次のＧＯＰのＧＯＰ長は「１２−（３−２）」とする。このようにすれば、調整を最小限に抑えて、次の次のＧＯＰでは、ピクチャタイプ設定部１１で設定されるピクチャタイプを前回の符号化で設定されたピクチャタイプと一致させることが可能となり、調整を最小限に抑えて画質の劣化を少なくできる。
図１１の（Ａ）は、前回の符号化で設定したピクチャタイプを示している。また、図１１の（Ｂ）（Ｃ）は、一致処理を行ったときのピクチャタイプを示している。前回の符号化で設定したピクチャタイプの位相遅れが大きい場合、次のＧＯＰのＧＯＰ長を算出したＧＯＰ長ＧＬとする。図１１では、量子化情報がピクチャ「Ｂ１０」で最初に判別されており、Ｉピクチャよりも前のＢピクチャ数は「２」であることから、ＧＯＰ長ＧＬは「１０−２＝８」となる。したがって、図１１の（Ｂ）に示すように、例えば次のＧＯＰのＧＯＰ長を「８」とする。このように、次のＧＯＰをＧＯＰ長ＧＬとすれば、次の次のＧＯＰでは、ピクチャタイプ設定部１１で設定されるピクチャタイプを前回の符号化で設定されたピクチャタイプと一致させることができる。
また、次のＧＯＰをＧＯＰ長ＧＬとしたとき、画質の劣化が少なくなるように、次のＧＯＰにおいて前回の符号化で設定したＰピクチャがＩピクチャまたはＢピクチャと設定されるようにしてもよい。すなわちＧＯＰ長ＧＬがＩピクチャとＰピクチャの間隔ＧＭの整数倍でないとき、端数の調整を先頭側のＢピクチャで行う。図１１の（Ｂ）に示すように、例えば先頭側のＢピクチャである「Ｂ1」を削除する。
このように、ピクチャタイプ設定部１１で設定したピクチャタイプよりも前回の符号化で設定したピクチャタイプの位相が遅れている場合、図１０や図１１に示すように、次の１または複数のＧＯＰでピクチャ数を削減してＧＯＰ長の調整を行うことで、前記画像データに対して設定する参照ピクチャと非参照ピクチャのピクチャタイプを前回符号化が行われたときのピクチャタイプと一致させることができる。また、例えば図１０の（Ｂ）や図１０の（Ｃ）および図１１のようにＧＯＰ長の調整を行うことで、画像データに対して設定するＩピクチャを前回符号化が行われたときのＩピクチャと一致させることができる。
このようにピクチャ一致処理を行うと、ピクチャタイプ設定部１１では、前回の符号化で設定されているピクチャタイプと一致するようにピクチャタイプの設定を行うことができる。したがって、参照ピクチャと非参照ピクチャで画質の差を設けることで主観的な画質を向上させているとき、参照ピクチャに比べて画質の劣る非参照ピクチャが次の符号化で参照ピクチャに設定されてしまうことを防止することが可能となる。このため、画像データの符号化と復号化を繰り返しても、画質の劣化を少なくできる。
また、量子化情報判別部６０で前回の符号化で用いた量子化情報が判別されたときは、量子化情報変更処理が行われて、符号量制御部４０で設定された量子化情報が、量子化情報判別部６０で判別された量子化情報に変更される。このため、前回の符号化で用いた量子化情報が判別されたときは、判別された量子化情報を用いて本エンコード部７０で符号化が行われる。このように、前回の符号化で用いた量子化情報を用いて本エンコード部７０で符号化が行われるので、量子化歪みが繰り返し重畳されてしまうことを防止することが可能となり、画像データの符号化と復号化を繰り返しても画質の劣化を少なくできる。
さらに、量子化情報判別部６０で前回の符号化で用いた量子化情報の判別では、プレエンコード処理を行うことにより設定された量子化情報を基準として、判別を行う量子化情報の範囲が設定される。このため、全ての量子化情報を用いて演算を行わなくとも、前回の符号化で用いた量子化情報を判別することが可能となり、量子化情報判別部６０での演算量を少なくできる。
＜３．第２の実施の形態の構成＞
次に、第１の実施の形態よりも精度よく量子化情報の設定を行い、この設定された量子化情報を用いることで、量子化情報判別部６０で前回の符号化で用いた量子化情報の判別を更に容易とする場合について説明する。なお、第２の実施の形態では、符号量制御部で量子化マトリクスの設定も合わせて行う場合について説明する。
第２の実施の形態では、第３の符号化部であるイントラプレエンコード部３０を更に設けて、イントラプレエンコード部３０で算出された発生符号量を用いて量子化パラメータ等の予測精度を向上させる。
図１２は、第２の実施の形態の構成を示している。画像符号化装置１０ａは、ピクチャタイプ設定部１１、画像並べ替え処理部１２、第１の符号化部であるプレエンコード部２０、第３の符号化部であるイントラプレエンコード部３０、符号量制御部４０ａ、ディレイバッファ５０、量子化情報判別部６０、量子化情報決定部６５、第２の符号化部である本エンコード部７０を備えている。なお、図１２において、プレエンコード部２０と本エンコード部７０は、第１の実施の形態と同様な構成であり、図１２ではプレエンコード部２０と本エンコード部７０を簡略化して示している。
イントラプレエンコード部３０は、画面内予測処理部３１、ＤＣＴ部３２、量子化部３３、逆量子化部３４、ＩＤＣＴ部３５、イントラ予測画生成部３６、符号長計算部３７を備えている。また、量子化部３３は複数段の量子化部３３-1〜３３-nで構成されており、符号長計算部３７は複数段の符号長計算部３７-1〜３７-nで構成されている。
このような構成において、ピクチャタイプ設定部１１は、上述のようにロングＧＯＰ構造に従って入力画像の画像データの各フレームに対してピクチャタイプを設定する。また、設定したピクチャタイプと量子化情報判別部６０で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させる。
画像並べ替え処理部１２、ピクチャタイプ設定部１１で設定されたピクチャタイプに応じて、入力画像の画像データを表示順から符号化順にピクチャの順序を並べ替える。プレエンコード部２０は、画像データを固定の量子化パラメータを用いて符号化を行ったときの発生符号量の算出を行い、算出した発生符号量を符号量制御部４０ａに出力する。
イントラプレエンコード部３０は、画像データを全てＩピクチャとして、複数の量子化情報で符号化を行い、量子化情報毎に発生符号量を算出して符号量制御部４０ａに出力する。イントラプレエンコード部３０の画面内予測処理部３１は、入力画像の画像データと後述するイントラ予測画生成部３６で生成された予測画像データとの誤差を示す差分画像データを生成してＤＣＴ部３２に出力する。
ＤＣＴ部３２は、差分画像データに対して離散コサイン変換を行い、ＤＣＴ係数を生成して量子化部３３に出力する。
量子化部３３は、複数段例えば９段の量子化部３３-1〜３３-9で構成されている。量子化部３３-1〜３３-9は、複数の量子化情報例えば異なる３つの量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)と異なる３つの量子化マトリクスＱＭF，ＱＭN，ＱＭSを組み合わせて、９つの条件で量子化を行う。量子化部３３-1〜３３-9は、ＤＣＴ係数の量子化を行って得られた量子化データを符号長計算部３７に出力する。また、量子化部３３は量子化部３３-1〜３３-9で生成された量子化データの１つを選択して逆量子化部３４に出力する。
図１３は、量子化マトリクスＱＭF，ＱＭN，ＱＭSを例示している。図１３の（Ａ）は量子化マトリクスＱＭFを示している。量子化マトリクスＱＭFはマトリクス値が全て等しい値とされている。すなわち、量子化マトリクスＱＭFは、フラットな特性の量子化マトリクスである。図１３の（Ｂ）は量子化マトリクスＱＭNを示している。量子化マトリクスＱＭNは高域成分のマトリクス値が低域成分のマトリクス値よりも大きくされている。すなわち、量子化マトリクスＱＭNは、高域成分の削減が行われる一般的な量子化マトリクスである。図１３の（Ｃ）は量子化マトリクスＱＭSを示している。量子化マトリクスＱＭSは、量子化マトリクスＱＭNに比べて高域成分のマトリクス値がさらに大きな値とされている。すなわち、量子化マトリクスＱＭSは、量子化マトリクスＱＭNに比べて高域成分の削減をさらに多くした特性の量子化マトリクスである。
逆量子化部３４は、量子化部３３から供給された量子化データに対して逆量子化を行い、ＤＣＴ係数データを生成してＩＤＣＴ部３５に出力する。
ＩＤＣＴ部３５は、逆量子化部３４から供給されたＤＣＴ係数データの逆離散コサイン変換を行い、ローカルデコード画像の画像データを生成してイントラ予測画生成部３６に出力する。
イントラ予測画生成部３６は、差分画像データを用いてローカルデコード画像の画像データを生成する。また、イントラ予測画生成部３６は、ローカルデコード画像の画像データを予測画像データとして画面内予測処理部３１に出力する。
符号長計算部３７は、量子化部３３と対応させて複数段例えば９段の符号長計算部３７-1〜３７-9で構成されている。符号長計算部３７-1〜３７-9は、プレエンコード部２０の符号長計算部２７と等しい方式を用いて符号化を行い、マクロブロック毎に発生符号量を算出して符号量制御部４０ａに出力する。
符号量制御部４０ａは、イントラプレエンコード部３０で算出された発生符号量から高域成分が多いか否かを識別可能とする識別値を算出して、この識別値が閾値よりも大きく高域成分が多いと判別したときは、高域成分を削減する量子化マトリクスを選択する。また識別値が閾値以下で高域成分が少ないと判別したときは、高域成分の削減が少ない量子化マトリクスを選択する。
また、符号量制御部４０ａは、ビットレートとＧＯＰ構造の関係から、１ＧＯＰに割り当てられる目標発生符号量を決定する。符号量制御部４０ａは、プレエンコード部２０で算出された発生符号量の１ＧＯＰ分に基づいて目標発生符号量を実現する量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。すなわち、符号量制御部４０ａは、１ＧＯＰの発生符号量が目標発生符号量以下で最も目標発生符号量に近くなる量子化パラメータと、この量子化パラメータを用いたときの発生符号量を予測する。
また、符号量制御部４０ａは、予測した発生符号量をイントラプレエンコード部３０で算出された発生符号量に応じて補正する。さらに、符号量制御部４０ａは、補正後の発生符号量から目標発生符号量を実現する量子化パラメータと量子化マトリクスを設定する。ここで、プレエンコード部２０で用いられている量子化マトリクスと異なる量子化マトリクスを設定したとき、符号量制御部４０ａは補正係数を算出する。さらに、符号量制御部４０ａは、予測した発生符号量を、補正係数を用いて補正する。符号量制御部４０ａは、例えばイントラプレエンコード部３０で算出された発生符号量から、プレエンコード部２０で用いられている量子化マトリクスを用いたときの発生符号量ＢＴと、選択した量子化マトリクスを用いたときの発生符号量を選択する。符号量制御部４０ａは、選択した２つの発生符号量から補正係数を算出する。
ディレイバッファ５０は、符号量制御部４０ａで量子化情報の設定に要する時間だけ入力画像の画像データを遅延させて、遅延後の画像データを量子化情報判別部６０と本エンコード部７０に出力する。
量子化情報判別部６０は、画像データの各フレームの画像を参照ピクチャであるＩピクチャとしてＤＣＴ係数の算出を行う。さらに、量子化情報判別部６０は、符号量制御部４０ａで決定された量子化情報を基準とした範囲の量子化情報を用いてＤＣＴ係数の除算を行い、剰余のピクチャ単位の総和が最小となる量子化情報を、前回符号化が行われたときに用いた量子化情報と判別する。
本エンコード部７０は、符号量制御部４０ａで設定された量子化情報を用いて、ピクチャタイプ設定部１１で設定されたピクチャタイプに基づき画像データの符号化を行う。また、本エンコード部７０は、量子化情報判別部６０で量子化情報が判別されたとき、符号量制御部４０ａで設定された量子化情報が量子化情報決定部６５によって量子化情報判別部６０で判別された量子化情報に変更されたとき、この変更された量子化情報を用いて画像データの符号化を行う。
＜４．第２の実施の形態の動作＞
次に、第２の実施の形態の動作について説明する。図１４は、第２の実施の形態の動作を示すフローチャートである。なお、図５に示す画像符号化装置の動作と対応する処理は同一のステップ番号を付している。
ステップＳＴ１で画像符号化装置１０ａは、ピクチャタイプの設定を行いステップＳＴ２に進む。ステップＳＴ２で画像符号化装置１０ａは、画像の並べ替えを行う。ステップＳＴ３で画像符号化装置１０ａは、プレエンコード処理を行う。ステップＳＴ４で画像符号化装置１０ａは、プレエンコード処理で算出された発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０ａは、プレエンコード部２０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ７に進み、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ３に戻る。
ステップＳＴ５で画像符号化装置１０ａは、イントラプレエンコード処理を行う。画像符号化装置１０ａは、画像データの各フレームをＩピクチャとしてイントラプレエンコード部３０で符号化を行い発生符号量を算出してステップＳＴ６に進む。また、画像符号化装置１０ａは、イントラプレエンコード処理において、複数の量子化情報例えば異なる３つの量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)と異なる３つの量子化マトリクスＱＭF，ＱＭN，ＱＭSを組み合わせて、９つの条件で符号化を並列に行って発生符号量を算出する。
ステップＳＴ６で画像符号化装置１０ａは、発生符号量が１ＧＯＰ分となったか否か判別する。画像符号化装置１０ａは、イントラプレエンコード部３０で算出された発生符号量が１ＧＯＰ分となったときステップＳＴ７に進む。また、画像符号化装置１０ａは、算出された発生符号量が１ＧＯＰ分となっていないときステップＳＴ５に戻る。
ステップＳＴ７で画像符号化装置１０ａは、量子化情報設定処理を行う。ステップＳＴ８で画像符号化装置１０ａは、バックサーチ処理を行う。ステップＳＴ９で画像符号化装置１０ａは、前回の符号化で用いた量子化情報が得られたか否か判別する。画像符号化装置１０ａは、バックサーチ処理を行い量子化情報例えば量子化パラメータや量子化マトリクスを判別できた時にはステップＳＴ１０に進み、判別できなかったときはステップＳＴ１３に進む。ステップＳＴ１０で画像符号化装置１０ａは、ピクチャタイプが一致するか否か判別する。画像符号化装置１０ａは、ピクチャタイプ設定部１１で設定したピクチャタイプと量子化情報判別部６０で量子化情報が判別されたピクチャタイプが一致していないときステップＳＴ１１に進み、一致しているときステップＳＴ１２に進む。ステップＳＴ１１で画像符号化装置１０ａは、ピクチャタイプ一致処理を行う。ステップＳＴ１２で画像符号化装置１０ａは、量子化情報変更処理を行う。ステップＳＴ１３で画像符号化装置１０ａは本エンコード処理を行う。
さらに、画像符号化装置１０ａは図６に示す量子化情報設定処理、および図８に示す１ＧＯＰ分の発生符号量の算出処理等を行い、目標発生符号量を実現する量子化情報の設定を精度よく行う。次に、第２の実施の形態における発生符号量の算出処理について説明する。
図１５は イントラプレエンコード部３０を設けた場合における量子化パラメータと後述する発生符号量の算出処理を説明するための図である。符号量制御部４０ａは、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、上述したように、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線例えば予測曲線ＣＢを選択する。さらに、図１５に示すように、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータＱＰ(t)を予測する。この予測した量子化パラメータＱＰ(t)を用いてＩピクチャの発生符号量と非Ｉピクチャの発生符号量を予測する。
予測した量子化パラメータを用いてＩピクチャの発生符号量を予測する場合、符号量制御部４０ａは、プレエンコード処理の発生符号量に基づいて、予測した量子化パラメータを用いたときの発生符号量を予測する。この予測した発生符号量を第１の発生符号量という。また、符号量制御部４０ａは、イントラプレエンコード処理で得られた発生符号量から、予測した量子化パラメータを用いたときの発生符号量を算出する。この算出した発生符号量を第２の発生符号量という。
符号量制御部４０ａは、第１の発生符号量と第２の発生符号量から補正係数を算出する。さらに、符号量制御部４０ａは、算出した補正係数で第１の発生符号量を補正して、補正後の第１の発生符号量を、予測した量子化パラメータを用いたときのＩピクチャの発生符号量とする。また、符号量制御部４０ａは、Ｉピクチャにおける高域成分の状態を示す高域成分コストを算出して、算出した高域成分コストを用いて第１の発生符号量の補正を行う。
予測した量子化パラメータを用いて非Ｉピクチャの発生符号量を予測する場合、符号量制御部４０ａは、プレエンコード処理の発生符号量に基づいて、予測した量子化パラメータを用いたときの発生符号量を予測する。この予測した発生符号量を第３の発生符号量とする。また、符号量制御部４０ａは、非Ｉピクチャにおける補正係数を算出して、この補正係数を用いて第３の発生符号量の補正を行い、補正後の第３の発生符号量を予測した量子化パラメータを用いたときの非Ｉピクチャの発生符号量とする。
図１６は、予測した量子化パラメータを用いたときのＩピクチャの発生符号量算出処理を示すフローチャートである。
ステップＳＴ４１で符号量制御部４０ａは、第１の発生符号量を予測する。符号量制御部４０ａは、予測した量子化パラメータを用いたときの発生符号量を予測して第１の発生符号量としてステップＳＴ４２に進む。例えば、図１５に示すように、選択した予測曲線ＣＢを用いて、発生符号量が目標発生符号量ＢＴ(t)以下で最も近い値となる量子化パラメータが予測されて、この予測された量子化パラメータを用いたときの発生符号量を予測する。すなわち、予測した量子化パラメータＱＰ(t)における発生符号量ＢＴ(pt)を第１の発生符号量としてステップＳＴ４２に進む。なお、量子化パラメータＱＰ(p)は、量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量が、目標発生符号量よりも大きくなるように予め小さな値に設定しておく。このように量子化パラメータＱＰ(p)を設定すれば、発生符号量を小さくして目標発生符号量以下で最も符号量が近くなる基本量子化パラメータを設定することができるようになる。
ステップＳＴ４２で符号量制御部４０ａは、量子化マトリクスの選択動作を行う。図１７は量子化マトリクスの選択動作を示すフローチャートである。ステップＳＴ５１で符号量制御部４０ａは、プレエンコード部２０の発生符号量が上限値以上であるか否か判別する。符号量制御部４０ａは発生符号量が上限値以上でないときステップＳＴ５２に進み、上限値以上であるときステップＳＴ５４に進む。
ステップＳＴ５２で符号量制御部４０ａはプレエンコード部２０の発生符号量が下限値以下であるか否か判別する。符号量制御部４０ａは発生符号量が下限値以下でないときステップＳＴ５３に進み、下限値以下であるときステップＳＴ５６に進む。
ステップＳＴ５３で符号量制御部４０ａは、高域成分が多いか否かを判別する。符号量制御部４０ａは、イントラプレエンコード部３０の発生符号量から高域成分が多いか否かを識別可能とする識別値を算出する。符号量制御部４０ａは、例えば量子化マトリクスＱＭFを用いたときの発生符号量に対して量子化マトリクスＱＭNを用いたときの発生符号量の割合を算出して識別値とする。符号量制御部４０ａは、算出した識別値が閾値ＴＨvaよりも大きく高域成分が多いと判別したときはステップＳＴ５５に進み、閾値ＴＨva以下で高域成分が少ないと判別したときステップＳＴ５６に進む。
ステップＳＴ５４で符号量制御部４０ａは、量子化マトリクスＱＭSを選択する。符号量制御部４０ａは、プレエンコード部２０の発生符号量が上限値以上であることから、図１３の(Ｃ)に示す量子化マトリクスＱＭSを選択する。このように量子化マトリクスＱＭSを選択すれば、高域成分が大きく削減されて発生符号量が少なくなる。
ステップＳＴ５５で符号量制御部４０ａは、量子化マトリクスＱＭNを選択する。符号量制御部４０ａは、プレエンコード部２０の発生符号量が上限値と下限値の範囲内であり、高域成分が少ないと判断されていないことから、一般的に用いる図１３の(Ｂ)に示す量子化マトリクスＱＭNを選択する。
ステップＳＴ５６で符号量制御部４０ａは、量子化マトリクスＱＭFを選択する。符号量制御部４０ａは、プレエンコード部２０の発生符号量が下限値以下、または発生符号量が上限値と下限値の範囲内であっても高域成分が少ないと判断されていることから、図１３の(Ａ)に示す量子化マトリクスＱＭFを選択する。このように量子化マトリクスＱＭFを選択すれば、低域成分や高域成分が削減されてしまうことを防止できる。
符号量制御部４０ａは、このように高域成分が多いと判別したときは高域成分を削減する量子化マトリクスＱＭNを選択して、高域成分が少ないと判別したときは量子化マトリクスＱＭNよりも高域成分の削減が少ない量子化マトリクスＱＭFを選択する。したがって、例えば符号化と復号化処理が既に行われて高域成分が削減されている画像に対して、高域成分を削減する量子化マトリクスを用いた符号化が行われることがなく、画質が悪化してしまうことを防止できる。また、プレエンコード部２０で算出された発生符号量が上限値以上であるとき、量子化マトリクスＱＭNよりも高域成分の削減が多い量子化マトリクスＱＭSが選択されるので、発生符号量が少なくなる量子化マトリクスを選択することができる。
なお、図１７に示す量子化マトリクスの選択動作では、発生符号量に応じて量子化マトリクスを選択しているが、図１６のステップＳＴ４１で算出した量子化パラメータＱＰ(t)の値に応じて、発生符号量に応じて量子化マトリクスの選択を行うようにしてもよい。例えばステップＳＴ５１では、量子化パラメータＱＰ(t)の値が予め設定した第１のパラメータ値よりも小さいとき、ステップＳＴ５４で量子化マトリクスＱＭSを選択する。また、ステップＳＴ５１では、量子化パラメータＱＰ(t)のパラメータ値が予め設定した第２の値（第１の値よりも大きい値）よりも大きいとき、ステップＳＴ５６で量子化マトリクスＱＭFを選択するようにしてもよい。
符号量制御部４０ａは、図１６のステップＳＴ４２で量子化マトリクスの設定動作を行いステップＳＴ４３に進む。
ステップＳＴ４３で符号量制御部４０ａは、量子化マトリクスの切り換え制限処理を行う。符号量制御部４０ａは、例えばＧＯＰ内で似たような画像に対して異なる量子化マトリクスが選択されてしまい、量子化マトリクスの切り換えが頻繁に行われて画質が不安定となってしまうことがないように、量子化マトリクスの切り換え制限処理を行う。
図１８は、量子化マトリクスの切り換え制限処理を示すフローチャートである。ステップＳＴ６１で符号量制御部４０ａは、ＧＯＰ内の全ピクチャは同じ量子化マトリクスを選択しているか否かを判別する。符号量制御部４０ａは、ＧＯＰ内の全ピクチャが同じ量子化マトリクスでないときステップＳＴ６２に進む。また、符号量制御部４０ａは、ＧＯＰ内の全ピクチャで同じ量子化マトリクスであるとき切り換え制限処理を終了する。
ステップＳＴ６２で符号量制御部４０ａは、一番多く用いられている最多量子化マトリクスを探索する。符号量制御部４０ａは、ＧＯＰ内で一番多く用いられている量子化マトリクスを最多量子化マトリクスＱＭmxとしてステップＳＴ６３に進む。
ステップＳＴ６３で符号量制御部４０ａは、最多量子化マトリクスＱＭmxが複数であるか否かを判別する。符号量制御部４０ａは、最多量子化マトリクスＱＭmxが複数であるときステップＳＴ６４に進み、最多量子化マトリクスＱＭmxが１つであるときステップＳＴ６６に進む。
ステップＳＴ６４で符号量制御部４０ａは、最多量子化マトリクスＱＭmxに量子化マトリクスＱＭNが含まれているか判別する。符号量制御部４０ａは、最多量子化マトリクスＱＭmxに量子化マトリクスＱＭNが含まれているときステップＳＴ６５に進む。また、符号量制御部４０ａは、最多量子化マトリクスＱＭmxに量子化マトリクスＱＭNが含まれていないとき、すなわち最多量子化マトリクスＱＭmxとして量子化マトリクスＱＭFと量子化マトリクスＱＭSが選択されている場合、安定化制御動作を終了する。最多量子化マトリクスＱＭmxとして量子化マトリクスＱＭFと量子化マトリクスＱＭSが選択されている場合、量子化マトリクスＱＭFを選択したピクチャと量子化マトリクスＱＭSを選択したピクチャでは、発生符号量が全く異なり、画像が似ていないと推定される。したがって、安定化制御動作を終了する。
ステップＳＴ６５で符号量制御部４０ａは、量子化マトリクスＱＭNを最多量子化マトリクスＱＭmxに設定してステップＳＴ６６に進む。
ステップＳＴ６６で符号量制御部４０ａは、ＧＯＰの先頭から量子化マトリクスの再検査を行いステップＳＴ６７に進む。
ステップＳＴ６７で符号量制御部４０ａは、量子化マトリクスＱＭが最多量子化マトリクスＱＭmxと等しいか否か判別する。符号量制御部４０ａは、ピクチャの量子化マトリクスＱＭが最多量子化マトリクスＱＭmxと等しくないときステップＳＴ６８に進み、等しいときステップＳＴ７０に進む。
ステップＳＴ６８で符号量制御部４０ａは、量子化マトリクスＱＭと最多量子化マトリクスＱＭmxのどちらかが量子化マトリクスＱＭNであるか否か判別する。符号量制御部４０ａは、ピクチャの量子化マトリクスＱＭと最多量子化マトリクスＱＭmxのいずれかが量子化マトリクスＱＭNであるときはステップＳＴ６９に進む。また、符号量制御部４０ａは、いずれも量子化マトリクスＱＭNでないときステップＳＴ７０に進む。すなわち、符号量制御部４０ａは、量子化マトリクスＱＭと最多量子化マトリクスＱＭmxの一方が量子化マトリクスＱＭFで他方が量子化マトリクスＱＭSであるとき、上述したように画像が似ていないと推定されるのでステップＳＴ７０に進む。
ステップＳＴ６９で符号量制御部４０ａは、判定条件を変更して量子化マトリクスの再選択を行う。符号量制御部４０ａは、最多量子化マトリクスが選択された画像と似ている画像で最多量子化マトリクスが選択されるように判定条件を補正して、再度量子化マトリクスの選択を行いステップＳＴ７０に進む。符号量制御部４０ａは、図１７のステップＳＴ５１で用いた上限値またはステップＳＴ５３で用いた閾値ＴＨvaを、最多量子化マトリクスＱＭmxが選択されやすくなる方向に補正して再度量子化マトリクスの選択を行いステップＳＴ７０に進む。
ステップＳＴ７０で符号量制御部４０ａは、ＧＯＰの最後のピクチャであるか否か判別する。符号量制御部４０ａは、ＧＯＰの最後のピクチャでないときステップＳＴ６７に戻り、ＧＯＰの最後のピクチャであるとき切り換え制限処理を終了する。
このように量子化マトリクスの切り換え制限処理を行うと、ＧＯＰ内において似ている画像は同じ量子化マトリクスが選択されるので量子化マトリクスの切り換えが少なくなり、画質を安定させることができる。
図１６のステップＳＴ４４で符号量制御部４０ａは、第２の発生符号量の算出を行う。符号量制御部４０ａは、イントラプレエンコード部３０で算出された発生符号量から、量子化パラメータＱＰ(t)における発生符号量ＢＴ(it)を検出して第２の発生符号量とする。ここで、プレエンコード部２０で量子化マトリクスＱＭNが用いられている場合、符号量制御部４０ａは、量子化パラメータＱＰ(i0)〜ＱＰ(i2)と量子化マトリクスＱＭNを用いて符号化を行ったときの発生符号量ＢＴ(i0N)，ＢＴ(i1N)，ＢＴ(i2N)から、量子化パラメータＱＰ(t)における発生符号量ＢＴ(it)を検出して第２の発生符号量とする。
図１９は、第２の発生符号量の検出処理を示すフローチャートである。ステップＳＴ８１で符号量制御部４０ａは、イントラプレエンコーダ処理で用いられている量子化パラメータから、予測した量子化パラメータと一番近い量子化パラメータを検出する。符号量制御部４０ａは、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)と一番近い量子化パラメータを検出して、量子化パラメータＱＰ(ia)としてステップＳＴ８２に進む。
ステップＳＴ８２で符号量制御部４０ａは、イントラプレエンコーダ処理で用いられている量子化パラメータから、予測した量子化パラメータと二番目に近い量子化パラメータを検出する。符号量制御部４０ａは、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)に二番目に近い量子化パラメータを検出して、量子化パラメータＱＰ(ib)としてステップＳＴ８３に進む。
ステップＳＴ８３で符号量制御部４０ａは、予測した量子化パラメータを用いたときの発生符号量を算出する。符号量制御部４０ａは、量子化パラメータＱＰ(ia)と量子化マトリクスＱＭNを用いたときの発生符号量ＢＴ(iaN)と、量子化パラメータＱＰ(ib)と量子化マトリクスＱＭNを用いたときの発生符号量ＢＴ(ibN)を用いて補間処理を行う。符号量制御部４０ａは、補間処理として直線補間または曲線補間等を行い、予測した量子化パラメータＱＰ(t)の発生符号量ＢＴ(it)を算出する。
符号量制御部４０ａは、このように第２の発生符号量ＢＴ(it)を算出して、図１６のステップＳＴ４４からステップＳＴ４５に進む。
ステップＳＴ４５で符号量制御部４０ａは、第１の補正係数を算出する。符号量制御部４０ａは、プレエンコード処理結果から検出した第１の発生符号量ＢＴ(pt)と、イントラプレエンコード処理結果から検出した第２の発生符号量ＢＴ(it)を用いて式（２）の演算を行い、第１の補正係数Ｃ(i)を算出してステップＳＴ４６に進む。
Ｃ(i)＝ＢＴ(it)／ＢＴ(pt) ・・・（２）
ステップＳＴ４６で符号量制御部４０ａは、高域成分コストを算出する。符号量制御部４０ａは、Ｉピクチャにおける高域成分の状態を示す高域成分コストＨ(i)を算出する。
図２０は高域成分コスト演算の動作を示すフローチャートである。また、図２１はイントラプレエンコード部からの出力を示している。
図２０において、ステップＳＴ９１で符号量制御部４０ａは、イントラプレエンコード処理における量子化パラメータの最小値を選択する。例えば図２１に示すように、イントラプレエンコード処理で量子化パラメータＱＰ(i0)，ＱＰ(i1)，ＱＰ(i2)（ＱＰ(i0)＜ＱＰ(i1)＜ＱＰ(i2)）が用いられている場合、符号量制御部４０ａは、量子化パラメータＱＰ(i0)を選択してステップＳＴ９２に進む。
ステップＳＴ９２で符号量制御部４０ａは、最も小さい量子化パラメータと、低域から高域までの量子化ステップがフラットである量子化マトリクスを用いたときの発生符号量を選択する。例えば、量子化マトリクスＱＭFは、マトリクス値が一定値とされており低域から高域までの量子化ステップがフラットとなるマトリクスとする。量子化マトリクスＱＭNは、高域のマトリクス値が低域よりも大きな値とされており低域に比べて高域を粗く量子化するマトリクスとする。量子化マトリクスＱＭSは、高域のマトリクス値が量子化マトリクスＱＭNに比べてさらに大きな値とされており、量子化マトリクスＱＭNよりも高域の減衰がスティープな状態である量子化するマトリクスとする。この場合、符号量制御部４０ａは、最も小さい量子化パラメータとして量子化パラメータＱＰ(i0)が選択されていることから、量子化パラメータＱＰ(i0)と量子化マトリクスＱＭFを用いたときの発生符号量ＢＴ(i0F)を選択してステップＳＴ９３に進む。
ステップＳＴ９３で符号量制御部４０ａは、最も小さい量子化パラメータと、低域に比べて高域を粗く量子化する通常の量子化マトリクスを用いたときの発生符号量を選択する。例えば、符号量制御部４０ａは、量子化パラメータＱＰ(i0)と量子化マトリクスＱＭNを用いたときの発生符号量ＢＴ(i0N)を選択してステップＳＴ９４に進む。
ステップＳＴ９４で符号量制御部４０ａは、高域成分コストを算出する。符号量制御部４０ａは、式（３）の演算を行い高域成分コストＨ(i)を算出する。
Ｈ(i)＝ＢＴ(i0F)／ＢＴ(i0N) ・・・（３）
このようにして高域成分コストを算出すると、図１６のステップＳＴ４６からステップＳＴ４７に進み、符号量制御部４０ａは、第２の補正係数の算出を行う。第２の補正係数は、予測した発生符号量を本エンコード部７０で用いる量子化マトリクスを用いたときの発生符号量に補正するための補正係数である。なお、本エンコード部７０で用いる量子化マトリクスとは、ステップＳＴ４２とステップＳＴ４３によってピクチャ毎に選択した量子化マトリクスであり、量子化マトリクスＱＭＷとして以下の説明を行う。
図２２は、第２の補正係数の算出動作を示すフローチャートである。ステップＳＴ１０１で符号量制御部４０ａは、選択した量子化マトリクスＱＭＷが量子化マトリクスＱＭNであるか否か判別する。符号量制御部４０ａは、選択した量子化マトリクスＱＭＷが量子化マトリクスＱＭNでないときステップＳＴ１０２に進み、選択した量子化マトリクスＱＭＷが量子化マトリクスＱＭNであるときステップＳＴ１０８に進む。
ステップＳＴ１０２で符号量制御部４０ａは、量子化パラメータの読み込みを行う。符号量制御部４０ａは、ステップＳＴ４１で予測した量子化パラメータＱＰ(t)を読み込みステップＳＴ１０３に進む。
ステップＳＴ１０３で符号量制御部４０ａは、イントラプレエンコード部３０で用いられている量子化パラメータから最も近い量子化パラメータを選択する。符号量制御部４０ａは、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)に最も近いパラメータを選択して、量子化パラメータＱＰ(ia)としてステップＳＴ１０４に進む。
ステップＳＴ１０４で符号量制御部４０ａは、量子化パラメータＱＰ(ia)における係数Ｍaを算出する。符号量制御部４０ａは、量子化パラメータＱＰ(ia)おいて量子化マトリクスＱＭNを用いたときの発生符号量をＢＴ(iaN)とする。また、量子化パラメータＱＰ(ia)において、量子化マトリクス選択動作で選択した量子化マトリクスＱＭMを用いたときの発生符号量をＢＴ(iaM)とする。符号量制御部４０ａは、式（４）を用いて係数Ｍaを算出してステップＳＴ１０５に進む。
Ｍａ＝ＢＴ(iaN)／ＢＴ(iaM) ・・・(４)
ステップＳＴ１０５で符号量制御部４０ａは、イントラプレエンコード部３０で用いられている量子化パラメータから二番目に近い量子化パラメータを選択する。符号量制御部４０ａは、例えば量子化パラメータＱＰ(i0)〜ＱＰ(i2)のなかで量子化パラメータＱＰ(t)に二番目に近いパラメータを選択して、量子化パラメータＱＰ(ib)としてステップＳＴ１０６に進む。
ステップＳＴ１０６で符号量制御部４０ａは、量子化パラメータＱＰ(ib)における係数Ｍbを算出する。符号量制御部４０ａは、量子化パラメータＱＰ(ib)において量子化マトリクスＱＭNを用いたときの発生符号量をＢＴ(ibN)とする。また、量子化パラメータＱＰ(ib)において、量子化マトリクス選択動作で選択した量子化マトリクスＱＭMを用いたときの発生符号量をＢＴ(ibM)とする。符号量制御部４０ａは、式（５）を用いて係数Ｍbを算出してステップＳＴ１０７に進む。
Ｍｂ＝ＢＴ(ibN)／ＢＴ(ibM) ・・・（５）
ステップＳＴ１０７で符号量制御部４０ａは、係数Ｍa，Ｍbから量子化パラメータＱＰ(t)に対する第２の補正係数Ｍtを算出する。符号量制御部４０ａは、係数Ｍaと係数Ｍbを用いて補間処理例えば式（６）に示す直線補間を行い第２の補正係数Ｍtを算出する。
Ｍt＝Ｍa＋(Ｍb−Ｍa)×(ＱＰ(t)−ＱＰ(ia))
／(ＱＰ(ib)−ＱＰ(ia))・・・（６）
ステップＳＴ１０８で符号量制御部４０ａは、第２の補正係数Ｍtを「１」とする。符号量制御部４０ａは、プレエンコード部２０で用いる量子化マトリクスと本エンコード部７０で用いる量子化マトリクスが共に量子化マトリクスＱＭNであることから、第２の補正係数Ｍtを「１」として処理を終了する。
このようにして第２の補正係数を算出すると、例えば図２１に示すように量子化パラメータＱＰ(t)に最も近いパラメータが量子化パラメータＱＰ(i1)、二番目に近いパラメータが量子化パラメータＱＰ(i0)であり、量子化マトリクスＱＭSが選択された場合、ＢＴ(iaN)＝ＢＴ(i1N)，ＢＴ(iaM)＝ＢＴ(i1S)，ＢＴ(ibN)＝ＢＴ(i0N)，ＢＴ(ibN)＝ＢＴ(i0N)，ＢＴ(ibM)＝ＢＴ(i0S)，ＱＰ(ia)＝ＱＰ(i1)，ＱＰ(ib)＝ＱＰ(i0)として式（４）〜（６）の演算を行うことで、第２の補正係数Ｍtを算出できる。
このようにして、符号量制御部４０ａは、図１６のステップＳＴ４７で第２の補正係数を算出するとステップＳＴ４８に進み、第１の発生符号量の補正を行う。符号量制御部４０ａは、発生符号量ＢＴ(pt)と補正係数Ｃ(i)を用いて式（７）の演算を行い、補正された発生符号量ＢＴ(itc)を算出する。
ＢＴ(itc)＝ＢＴ(pt)×Ｃ(i)×Ｍt ・・・（７）
次に、予測した量子化パラメータを用いたときの非Ｉピクチャの発生符号量算出処理について、図２３に示すフローチャートを用いて説明する。ステップＳＴ１１１で符号量制御部４０ａは、第３の発生符号量の検出を行う。符号量制御部４０ａは、プレエンコード部２０において、固定されている量子化パラメータＱＰ(p)を用いて符号化を行ったときの発生符号量ＢＴ(p)に応じてマクロブロックをグループ分けする。また、グループ毎に予め設けられている量子化パラメータと発生符号量の関係を示す複数の予測曲線から、該当するグループの予測曲線を選択する。さらに、選択した予測曲線を用いて、既に予測されている量子化パラメータＱＰ(t)における発生符号量ＢＴ(ut)を第３の発生符号量としてステップＳＴ１１２に進む。
ステップＳＴ１１２で符号量制御部４０ａは、非Ｉピクチャにおける高域成分コストを算出する。符号量制御部４０ａは、上述の図１２に示す高域成分コスト演算と同様な処理を行い、非Ｉピクチャにおける高域成分コストＨ(u)を算出する。この場合、高域成分Ｈ(u)の算出は式（８）を用いて行う。
Ｈ(u)＝ＢＴ(i0F)／ＢＴ(i0N) ・・・（８）
なお、式（８）において、発生符号量ＢＴ(i0F)，ＢＴ(i0N)は、高域成分コストを算出する非Ｉピクチャの画像データをＩピクチャとしてイントラプレエンコード処理したときの発生符号量である。
このようにステップＳＴ１１２で高域成分コストを算出すると、符号量制御部４０ａは、ステップＳＴ１１３に進み、第１の補正係数を算出する。符号量制御部４０ａは、Ｉピクチャで算出した補正係数Ｃ(i)と高域成分コストＨ(i)およびステップＳＴ１１２で算出した高域成分コストＨ(u)を用いて式（９）の演算を行い、補正係数Ｃ(ic)を算出してステップＳＴ１１４に進む。
Ｃ(ic)＝Ｃ(i)×Ｈ(i)／Ｈ(u) ・・・（９）
ステップＳＴ１１４で符号量制御部４０ａは、第２の補正係数の算出動作を行う。符号量制御部４０ａは、非Ｉピクチャに対応するイントラプレエンコード部３０のＩピクチャで算出した発生符号量から、図２２を用いて説明した第２の補正係数の算出動作を行い、非Ｉピクチャに対応する第２の補正係数Ｍtuを算出してステップＳＴ１１５に進む。
ステップＳＴ１１５で符号量制御部４０ａは、第３の発生符号量の補正を行う。符号量制御部４０ａは、発生符号量ＢＴ(ut)と補正係数Ｃ(ic)，Ｍtuを用いて式（１０）の演算を行い、補正された発生符号量ＢＴ(utc)を算出する。なお、補正係数Ｍtuは、非Ｉピクチャの発生符号量を用いてＩピクチャと同様にして算出した補正係数である。
ＢＴ(utc)＝ＢＴ(ut)×Ｃ(ic)×Ｍtu ・・・（１０）
このようにして、非Ｉピクチャの発生符号量の補正を行う。さらに、１ＧＯＰにおける補正後の発生符号量の合計が目標発生符号量以下で最も目標発生符号量に近くなる量子化パラメータを決定する。本エンコード部７０は、符号量制御部４０ａで決定された量子化パラメータと量子化マトリクスを用いて画像データの符号化を行い符号化データを出力する。
以上のような動作を第２の実施の形態で行えば、プレエンコード処理とイントラプレエンコード処理を行うことにより、精度の良い量子化情報の設定を行うことができる。したがって、この設定された量子化情報を基準とすることで、前回の符号化で用いた量子化情報の判別を行う範囲をより最適に設定することができるようになる。
また、符号化が行われていない原画の画像データが入力されたとき、符号量制御部４０ａで設定された量子化パラメータと量子化マトリクスを用いて符号化が本エンコード部で行われる。このため、発生符号量が目標発生符号量以下であって画像の劣化の少ない符号化データを出力することができる。また、プレエンコード部２０で算出された発生符号量と、イントラプレエンコード部３０で算出された発生符号量を用いた高域成分の判別結果に基づいて、複数の異なる量子化マトリクスから量子化マトリクスが選択される。このため、量子化パラメータのみで目標発生符号量を実現する場合に比べて画質の劣化をさらに軽減できる。
また、プレエンコード処理を行い、目標発生符号量を実現する量子化パラメータを用いたときの予測した発生符号量が、イントラプレエンコード処理を行うことにより算出された発生符号量に応じて補正される。さらに、補正後の発生符号量が目標発生符号量を実現するように量子化パラメータが決定される。このため、マクロブロックの発生符号量と量子化パラメータの関係が画像に応じて変化する場合でも、発生符号量の予測を精度よく行うことができる。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータは、このようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この発明の画像符号化装置と画像符号化方法は、予め設定した量子化情報を用いて、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データの符号化が行われて発生符号量が算出される。また、算出された発生符号量に基づいて目標発生符号量を実現する量子化情報の設定が行われる。さらに、画像データの各フレームの画像を参照ピクチャであるＩピクチャ(Intra符号化画像)としてＤＣＴ(Discrete Cosine Transform)係数の算出を行い、判別された量子化情報を基準とした範囲の量子化情報を用いてＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報が前回符号化が行われたときに用いた量子化情報と判別される。画像データに対してはＧＯＰ単位でピクチャタイプの設定が行われて、該設定したピクチャタイプと前回符号化が行われたときの量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプが一致される。さらに、判別された量子化情報を用いて、設定されたピクチャタイプに基づき画像データの符号化が行われる。このため、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ構造を採用して画像データの符号化と復号化を繰り返しても、画質の劣化を少なくできるようになる。したがって、したがって、画像データの記録装置や画像データの記録再生等を行う編集装置等に適している。
１０，ｌ０ａ・・・画像符号化装置、１１・・・ピクチャタイプ設定部、１２・・・画像並べ替え処理部、２０・・・プレエンコード部、２１・・・予測モード決定部、２２，３２，６２，７２・・・ＤＣＴ部、２３，３３，３３-1〜３３-9，７３・・・量子化部、２４，３４，７４・・・逆量子化部、２５，３５，７５・・・ＩＤＣＴ部、２６，７６・・・予測画生成部、２７，３７，３７-1〜３７-9・・・符号長計算部、３０・・・イントラプレエンコード部、３１・・・画面内予測処理部、３６・・・イントラ予測画生成部、４０，４０ａ・・・符号量制御部、５０・・・ディレイバッファ、６０・・・量子化情報判別部、６１・・・予測処理部、６３・・・バックサーチ部、６５・・・量子化情報決定部、７０・・・本エンコード部、７１・・・予測処理部、７７・・・可変長符号化部、６３１・・・剰余計算部、６３２・・・評価値決定部、６３３・・・判定部、

Claims (8)

  1. 予め設定した量子化情報を用い、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データの符号化を行い発生符号量を算出する第１の符号化部と、
    前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化情報の設定を行う符号量制御部と、
    前記画像データの各フレームの画像を参照ピクチャであるＩピクチャ(Intra符号化画像)としてＤＣＴ(Discrete Cosine Transform)係数の算出を行い、前記符号量制御部で決定された量子化情報を基準とした範囲の量子化情報を用いて前記ＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報を、前回符号化が行われたときに用いた量子化情報と判別する量子化情報判別部と、
    前記画像データに対して前記ＧＯＰ単位でピクチャタイプの設定を行い、該設定したピクチャタイプと前記量子化情報判別部で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させるピクチャタイプ設定部と、
    符号量制御部で設定された前記量子化情報を用いて、前記ピクチャタイプ設定部で設定されたピクチャタイプに基づき前記画像データの符号化を行う第２の符号化部と
    を有する画像符号化装置。
  2. 前記ピクチャタイプ設定部は、ＧＯＰ長を調整して、前記画像データに対して設定するピクチャタイプと前回符号化が行われたときのピクチャタイプを一致させる
    請求項１記載の画像符号化装置。
  3. 前記ピクチャタイプ設定部は、前記量子化情報判別部で判別されたＩピクチャが前記画像データに設定するＩピクチャよりも位相が進んでいるとき、進んでいるピクチャ数だけ前記量子化情報判別部でその後に判別されるＩピクチャよりも前からピクチャ数を削減してＧＯＰ長の調整を行い、前記画像データに対して設定するピクチャタイプを前回符号化が行われたときのピクチャタイプと一致させる
    請求項２記載の画像符号化装置。
  4. 前記ピクチャタイプ設定部は、前記量子化情報判別部で判別されたＩピクチャが前記画像データに設定するＩピクチャよりも位相が遅れているとき、次の１または複数のＧＯＰでピクチャ数を削減してＧＯＰ長の調整を行い、前記画像データに対して設定する参照ピクチャと非参照ピクチャのピクチャタイプを前回符号化が行われたときのピクチャタイプと一致させる
    請求項２記載の画像符号化装置。
  5. 前記ピクチャタイプ設定部は、前記画像データに対して設定するＩピクチャを前回符号化が行われたときのＩピクチャと一致させる
    請求項２記載の画像符号化装置。
  6. 前記量子化情報判別部で前記量子化情報が判別されたとき、前記符号量制御部で設定された量子化情報を前記量子化情報判別部で判別された量子化情報に変更する量子化情報決定部を更に備え、
    前記第２の符号化部は、前記量子化情報決定部で決定された量子化情報を用いて前記画像データの符号化を行う
    請求項１記載の画像符号化装置。
  7. 複数の異なる量子化情報を用いて、前記画像データの各フレームの画像をＩピクチャとして前記量子化情報毎に符号化を行い発生符号量を算出する第３の符号化部をさらに有し、
    前記符号量制御部は、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化情報と該量子化情報を用いたときの発生符号量の予測を行い、該予測した発生符号量を前記第３の符号化部で算出された発生符号量に応じて補正して、該補正後の発生符号量が前記目標発生符号量を実現する量子化情報の設定を行う
    請求項１記載の画像符号化装置。
  8. 第１の符号化部で、予め設定した量子化情報を用い、参照ピクチャと非参照ピクチャを所定の順番で含むＧＯＰ(Group of Picture)単位で画像データの符号化を行い発生符号量を算出するステップと、
    符号量制御部で、前記第１の符号化部で算出された発生符号量に基づいて目標発生符号量を実現する量子化情報の設定を行うステップと、
    量子化情報判別部で、前記画像データの各フレームの画像を参照ピクチャであるＩピクチャ(Intra符号化画像)としてＤＣＴ(Discrete Cosine Transform)係数の算出を行い、前記符号量制御部で決定された量子化情報を基準とした範囲の量子化情報を用いて前記ＤＣＴ係数の除算したときの剰余のピクチャ単位の総和が最小となる量子化情報を、前回符号化が行われたときに用いた量子化情報と判別するステップと、
    前記ピクチャタイプ設定部で、前記画像データに対して前記ＧＯＰ単位でピクチャタイプの設定を行い、該設定したピクチャタイプと前記量子化情報判別部で量子化情報が判別されたピクチャタイプが相違するときは、その後のピクチャタイプの設定を制御してピクチャタイプを一致させるステップと、
    第２の符号化部で、前記符号量制御部で設定された前記量子化情報を用いて、前記ピクチャタイプ設定部で設定されたピクチャタイプに基づき前記画像データの符号化を行うステップと
    を具備する画像符号化方法。
JP2009173907A 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法 Expired - Fee Related JP5282692B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009173907A JP5282692B2 (ja) 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法
EP20100168912 EP2282545A1 (en) 2009-07-27 2010-07-08 Image encoding device and image encoding method
CN2010102339055A CN101969554B (zh) 2009-07-27 2010-07-20 图像编码装置和图像编码方法
US12/840,739 US8483494B2 (en) 2009-07-27 2010-07-21 Image encoding device and image encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009173907A JP5282692B2 (ja) 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法

Publications (3)

Publication Number Publication Date
JP2011029953A JP2011029953A (ja) 2011-02-10
JP2011029953A5 JP2011029953A5 (ja) 2012-08-23
JP5282692B2 true JP5282692B2 (ja) 2013-09-04

Family

ID=42710500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009173907A Expired - Fee Related JP5282692B2 (ja) 2009-07-27 2009-07-27 画像符号化装置と画像符号化方法

Country Status (4)

Country Link
US (1) US8483494B2 (ja)
EP (1) EP2282545A1 (ja)
JP (1) JP5282692B2 (ja)
CN (1) CN101969554B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029954A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置と画像符号化方法
JP5484083B2 (ja) * 2010-01-14 2014-05-07 株式会社メガチップス 画像処理装置
JP6056124B2 (ja) * 2011-09-05 2017-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5900163B2 (ja) * 2012-05-30 2016-04-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
AU2013281946B2 (en) * 2012-06-29 2017-03-02 Sony Group Corporation Decoding device, and decoding method
JP5947641B2 (ja) * 2012-07-06 2016-07-06 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム
US10496975B2 (en) * 2014-07-23 2019-12-03 Square, Inc. Point of sale system with secure and unsecure modes
WO2017107207A1 (zh) * 2015-12-25 2017-06-29 王晓光 视频软件的编码方法及***
EP3324628B1 (en) * 2016-11-18 2021-12-29 Axis AB Method and encoder system for encoding video
CN107295353B (zh) * 2017-08-15 2019-12-31 电子科技大学 视频编码参考块滤波方法
CN109819252B (zh) * 2019-03-20 2021-05-18 福州大学 一种不依赖gop结构的量化参数级联方法
CN112422964B (zh) * 2020-10-30 2024-05-17 西安万像电子科技有限公司 一种渐进式编码方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1007808A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
JPH08214313A (ja) * 1995-02-01 1996-08-20 Sony Corp 映像装置
KR100381830B1 (ko) * 1995-03-09 2003-08-02 소니 가부시끼 가이샤 화상신호의부호화방법및그장치
EP0847650A4 (en) * 1996-07-03 2000-01-05 Motorola Inc METHOD AND DEVICE FOR LIMIT-VALUE-BASED ADAPTIVE ENTROPY CODING AND DECODING
JP4114210B2 (ja) * 1996-12-12 2008-07-09 ソニー株式会社 映像データ圧縮装置およびその方法
KR100599017B1 (ko) * 1996-12-12 2006-12-13 소니 가부시끼 가이샤 영상 데이터 압축 장치 및 그 방법
GB2347039A (en) * 1999-02-19 2000-08-23 Nds Ltd Estimating encoding parameters
US6567554B1 (en) * 1999-03-12 2003-05-20 Victor Company Of Japan, Limited Data coding method and apparatus therefor
JP3951839B2 (ja) * 2002-07-15 2007-08-01 ソニー株式会社 画像データ再生装置及び方法
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
PL1709801T3 (pl) * 2004-01-30 2013-02-28 Panasonic Ip Corp America Sposób dekodowania video z wykorzystaniem adaptacyjnych macierzy kwantyzacji
JP4464719B2 (ja) * 2004-03-11 2010-05-19 株式会社日立製作所 画像データ送信システム
US7796825B2 (en) * 2007-02-16 2010-09-14 Cisco Technology, Inc. Losslessly improving compression of compressed image data
GB2447057A (en) * 2007-02-28 2008-09-03 Tandberg Television Asa Picture encoding type detection.
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
JP5212372B2 (ja) * 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US8483494B2 (en) 2013-07-09
JP2011029953A (ja) 2011-02-10
EP2282545A1 (en) 2011-02-09
US20110019930A1 (en) 2011-01-27
CN101969554B (zh) 2013-06-19
CN101969554A (zh) 2011-02-09

Similar Documents

Publication Publication Date Title
JP5282692B2 (ja) 画像符号化装置と画像符号化方法
JP2011029953A5 (ja)
JP4361613B2 (ja) 可変ビットレートビデオ符号化方法及び対応するビデオ符号化装置
JP4569840B2 (ja) 画像符号化装置、画像符号化方法
US8238423B2 (en) Image processing apparatus and method
US7688234B2 (en) Coding apparatus, coding method, program for executing the method, and recording medium storing the program
US20130177074A1 (en) Image Processing Apparatus
JP2001501430A (ja) 可変ビットレート・ビデオ符号化方法および対応するビデオ符号器
JP2003018603A (ja) 動画像符号化方法及び装置
US8861596B2 (en) Image encoding device and image encoding method
JP5900163B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20080187052A1 (en) Video coding device, video recording device, video coding method, and video coding program
JP4795223B2 (ja) 画像処理装置
JP2011029956A (ja) 画像符号化装置および画像符号化方法
US8774268B2 (en) Moving image encoding apparatus and method for controlling the same
JP2012054818A (ja) 画像処理装置と画像処理方法
JP5251774B2 (ja) 画像符号化装置および画像符号化方法
JP2005012249A (ja) 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム
JP6111556B2 (ja) 動画像再符号化装置、方法及びプログラム
WO2020137904A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP3884410B2 (ja) ディジタル信号符号化の量子化ステップサイズ決定方法およびディジタル信号符号化装置
JPH11355774A (ja) 画像符号化装置および方法
JP2002152735A (ja) 画像再符号化装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130513

LAPS Cancellation because of no payment of annual fees