JP5267655B2 - 画像符号化装置、画像符号化制御方法および画像符号化プログラム - Google Patents

画像符号化装置、画像符号化制御方法および画像符号化プログラム Download PDF

Info

Publication number
JP5267655B2
JP5267655B2 JP2011504684A JP2011504684A JP5267655B2 JP 5267655 B2 JP5267655 B2 JP 5267655B2 JP 2011504684 A JP2011504684 A JP 2011504684A JP 2011504684 A JP2011504684 A JP 2011504684A JP 5267655 B2 JP5267655 B2 JP 5267655B2
Authority
JP
Japan
Prior art keywords
encoding
encoded
unit
frame
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011504684A
Other languages
English (en)
Other versions
JPWO2010106670A1 (ja
Inventor
君彦 数井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2010106670A1 publication Critical patent/JPWO2010106670A1/ja
Application granted granted Critical
Publication of JP5267655B2 publication Critical patent/JP5267655B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像データを圧縮符号化処理する画像符号化装置、このような圧縮符号化処理を制御するための画像符号化制御方法、および画像符号化プログラムに関する。
一般に、動画像データはデータ量が大きいため、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際には、圧縮符号化処理が施されることが多い。代表的な動画像の圧縮符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）により標準化されたＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以下、単にＨ．２６４と呼ぶ）などが知られている。
これらの圧縮符号化方式では、フレーム間動き予測符号化方式が採用されている。フレーム間動き予測符号化方式は、フレーム間で相関度が高い部分を探索し、両者の位置差分（動きベクトル）および両者の画素値差分（予測誤差）を符号化するものである。一般に動画像では、フレーム間の相関度が高いため、画素差分値が元の画素値と比較して大幅に小さくなることが多い。このため、フレーム間動き予測符号化方式により高い圧縮効率が実現できる。
上記の圧縮符号化方式では、フレーム間動き予測符号化方式を実現するために、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャが規定されている。Ｉピクチャはイントラピクチャと呼ばれ、フレーム間予測符号化を行わず、フレーム内予測符号化を行うピクチャである。Ｐピクチャは前方向予測ピクチャと呼ばれ、一般的に過去のピクチャを予測ピクチャとするピクチャである。Ｂピクチャは双方向予測ピクチャと呼ばれ、一般的に過去のピクチャおよび未来のピクチャの両方を予測ピクチャとするピクチャである。
さらに、上記の圧縮符号化方式では、ランダムアクセスを容易にするための複数のピクチャ群であるＧＯＰ（Group Of Pictures）が定義されている。なお、Ｈ．２６４では、ＧＯＰは特に規格化されていないものの、これと同様の構造が利用されている。ＧＯＰにおいては、符号化順で先頭となるピクチャはＩピクチャとされ、残りの領域にＰピクチャおよびＢピクチャが現れる。通常、２つのＰピクチャの間には１〜４程度のＢピクチャが挿入されることが多い。また、Ｉ，Ｐ，Ｂのピクチャタイプは固定的に割り当てられる場合が多いが、例えば、画質改善などを目的として任意のフレームをＩフレームとするといった符号化方法も考えられている（例えば、特許文献１参照）。
さらに、ＧＯＰには、オープンＧＯＰ（Open GOP）とクローズドＧＯＰ（Closed GOP）の２種類が存在する。ここで、図１５は、オープンＧＯＰの構造について説明するための図である。また、図１６は、クローズドＧＯＰの構造について説明するための図である。
図１５および図１６のそれぞれの上側には、入力動画像におけるピクチャの順序を示しており、これらのピクチャに付された番号は、ピクチャの再生順を示している。一方、図１５および図１６のそれぞれの下側には、符号化動画像データにおけるピクチャの順序を示しており、これらのピクチャには、ピクチャタイプと、符号化対象とされた入力動画像データ内のピクチャの番号とが付されている。例えば、図１５の符号化画像におけるピクチャ“Ｉ２”は、入力動画像データにおけるピクチャ“２”を符号化したＩピクチャであることを示している。
図１５の例では、入力動画像データにおけるピクチャ“０”からピクチャ“１１”までの１２のピクチャが１つのＧＯＰを構成している。オープンＧＯＰ方式で符号化された符号化画像では、１つのＧＯＰ内のピクチャの参照先は、同一のＧＯＰのみならず他のＧＯＰ（通常は直前のＧＯＰ）となる場合がある。図１５の例では、符号化画像におけるピクチャ“Ｂ０”およびピクチャ“Ｂ１”は、直前のＧＯＰに存在するピクチャ“Ｐ−１”をともに参照している。このように、オープンＧＯＰでは、複数のＧＯＰを跨いだピクチャ参照が許容される。
一方、図１６の例では、入力動画像データにおけるピクチャ“２”からピクチャ“１１”までの１０のピクチャが１つのＧＯＰを構成している。クローズドＧＯＰ方式で符号化された符号化画像では、１つのＧＯＰ内のピクチャの参照先は、同一のＧＯＰ内のピクチャに限定される。例えば、図１６において、ＧＯＰに最初に出現するＢピクチャであるピクチャ“Ｂ３”は、同一のＧＯＰ内のピクチャ“Ｉ２”を参照している。
オープンＧＯＰとクローズドＧＯＰとを比較すると、オープンＧＯＰの方が符号化効率が高いと言える。例えば、オープンＧＯＰ方式で符号化した符号化画像よりもクローズドＧＯＰ方式で符号化した符号化画像の方が、符号化効率の高いＢピクチャの数が少なくなる。
一方、クローズドＧＯＰでは、ＧＯＰの復号処理が他のＧＯＰに依存しないことから、ＧＯＰ単位で符号化画像をつなぎ合わせて編集しても、復号処理を正常に実行できるという利点がある。オープンＧＯＰの場合、単純にＧＯＰ単位で符号化画像をつなぎ合わせると、他のＧＯＰを参照するピクチャを復号する際に参照ピクチャが存在しないことになり、正常に復号できない。
ところで、上記の圧縮符号化方式では、ＧＯＰに含まれる各フレームをどのように符号化するかという点において、多くの自由度が存在する。例えば、符号化処理の際に、Ｐピクチャが出現する間隔Ｍ、フレーム構造／フィールド構造、動きダイレクトモード（時間ダイレクト／空間ダイレクト）などのパラメータを設定可能である。これらのパラメータについての最適な値は、シーンによって変動する。これらのパラメータの最適値をより高精度に求めるには、異なるパラメータを用いて実際に符号化処理を行い、それらの符号化結果を検証して最適値を判定することが望ましい。
そこで、それぞれ異なる符号化パラメータを設定した複数の符号化部を用意し、各符号化部によって同一の動画像を並列に符号化して、得られた符号化動画像の中からシーンに応じて最適なものを選択的に出力することが考えられている。この技術では、得られた複数の動画像の中から最適なものを、ＧＯＰ単位で切り替えて出力することが考えられている（例えば、特許文献２〜４参照）。
特開平８−６０９５６号公報 特開２０００−３４１６９０号公報 特開２０００−２３１５４号公報 特開２００６−２９５４９２号公報
前述のように、クローズドＧＯＰよりオープンＧＯＰの方が、符号化効率を向上させ、同じデータ量であればより高画質の圧縮処理を行うことができる。
その一方、上記のように複数の符号化部により得られた符号化動画像データをＧＯＰ単位で選択して出力する技術は、クローズドＧＯＰ方式で符号化した場合には容易に実現可能である。これは、前述のように、クローズドＧＯＰでは、ＧＯＰの復号処理が他のＧＯＰに依存しないためである。しかしながら、オープンＧＯＰ方式で符号化する場合には、上記のように符号化動画像データをＧＯＰ単位で選択して出力すると、復号処理を正常に実行できない。
本発明はこのような点に鑑みてなされたものであり、符号化効率が高く、なおかつ高画質な符号化動画像データを生成可能な画像符号化装置、画像符号化制御方法および画像符号化プログラムを提供することを目的とする。
上記目的を達成するために、画像符号化装置が提供される。この画像符号化装置は、同一の動画像データが入力されて、それぞれ異なる符号化パラメータを用いて圧縮符号化処理を行う複数の符号化部と、前記各符号化部による符号化結果に基づき、フレーム内符号化画像を少なくとも１つ含む一定数の連続する画像を有する画像群ごとに、前記各符号化部によって符号化された符号化動画像データのうち１つを、選択すべきデータとして判定する選択判定部と、前記選択判定部による判定結果に応じて、前記各符号化部からの符号化動画像データのうち１つを選択的に出力する選択部と、前記各符号化部に、再生時刻が同一であって前記画像群内で最初に符号化されるフレーム内符号化画像に基づく局所復号画像がすべての前記符号化部で同一になるように、圧縮符号化処理を実行させる制御部と、を有する。また、前記選択部は、１つの前記符号化部からの前記符号化動画像データから他の前記符号化部からの前記符号化動画像データへ出力を切り替える際の出力切り替え位置を、前記各符号化部から出力される符号化動画像データ内の前記画像群に最初に現れる順方向フレーム間予測符号化画像の直前とする。
このような画像符号化装置では、複数の符号化部に対して同一の動画像データが入力される。これらの符号化部は、それぞれ異なる符号化パラメータを用いて、入力された動画像データを圧縮符号化処理する。また、各符号化部の圧縮符号化処理は、制御部により、再生時刻が同一であって画像群内で最初に符号化されるフレーム内符号化画像に基づく局所復号画像がすべての符号化部で同一になるように制御される。選択判定部は、各符号化部による符号化結果に基づき、各符号化部によって符号化された符号化動画像データのうち１つを、選択すべきデータとして判定する。このような判定処理は、フレーム内符号化画像を少なくとも１つ含む一定数の連続する画像を有する画像群ごとに、実行される。選択部は、選択判定部による判定結果に応じて、各符号化部からの符号化動画像データのうち１つを選択的に出力する。このとき、出力切り替え位置は、各符号化部から出力される符号化動画像データ内の画像群に最初に現れる順方向フレーム間予測符号化画像の直前とされる。
上記の画像符号化装置によれば、符号化効率が高く、なおかつ高画質な符号化動画像データを生成することができる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
第１の実施の形態に係る画像符号化装置の構成例を示す図である。 画像符号化装置における符号化動画像データの出力選択動作を説明するための図である。 符号化部の内部構成例を示す図である。 符号化動画像データに付加されたフレームナンバの例を示す図である。 制御部および符号化制御部が備える機能を示すブロック図である。 ＧＯＰの圧縮符号化処理終了時における符号化パラメータの受け渡しについて説明するための図である。 符号化動画像データの出力選択動作を説明するための図である。 符号化部の処理手順を示すフローチャートである。 制御部の処理手順を示すフローチャートである。 選択部の内部構成例を示す図である。 バッファ部の内部構成例を示す図である。 選択部における出力切り替え動作の第１の例を示す図である。 選択部における出力切り替え動作の第２の例を示す図である。 画像符号化装置の機能を実現するコンピュータのハードウェア構成例を示す図である。 オープンＧＯＰの構造について説明するための図である。 クローズドＧＯＰの構造について説明するための図である。
以下、実施の形態を図面を参照して詳細に説明する。
なお、以下の説明では、動画像を構成する個々の静止画像を“フレーム”と表現する。ただし、以下で説明する処理は、動画像データをフレーム単位で圧縮符号化する場合だけでなく、フィールド単位で圧縮符号化する場合にも適用可能である。フィールド単位で圧縮符号化が行われる場合には、以下の説明において、１フレームを単位として行われる処理が、対応するトップ／ボトムの２つのフィールドを単位として行われると考えればよい。
［第１の実施の形態］
図１は、第１の実施の形態に係る画像符号化装置の構成例を示す図である。
図１に示す画像符号化装置１００は、動画像データを所定の符号化方式に従って圧縮符号化し、符号化動画像データを出力する装置である。この画像符号化装置１００は、複数の符号化部２００＿１，２００＿２，２００＿３，……と、制御部３００と、選択部４００とを備えている。
符号化部２００＿１，２００＿２，２００＿３，……は、同一の動画像データの入力を受けて、それぞれ異なる符号化パラメータを用いて圧縮符号化処理を行う。この符号化パラメータとしては、例えば、符号化動画像データにおいて順方向フレーム間予測符号化画像の間に配置される双方向フレーム間予測符号化画像の数を示すパラメータを適用可能である。また、この他に例えば、フレーム単位またはフィールド単位のどちらで符号化するかを示すパラメータを適用することも可能である。あるいは、動きベクトルを符号化済みの他のフレームまたは同一フレーム内の符号化済みの画像領域のどちらから求めるかを示すパラメータを適用することも可能である。また、これらのパラメータのうちの２つ以上が、符号化部２００＿１，２００＿２，２００＿３，……ごとに異なるようにしてもよい。
制御部３００は、符号化部２００＿１，２００＿２，２００＿３，……および選択部４００の動作を制御する。本実施の形態では、制御部３００は、選択判定部３０１およびパラメータ設定部３０２の機能を備えている。ただし、これらの機能は、例えば、それぞれ個別のハードウェアによって実現されてもよい。
選択判定部３０１は、符号化部２００＿１，２００＿２，２００＿３，……による符号化結果に基づいて、これらの符号化部２００＿１，２００＿２，２００＿３，……から出力される符号化動画像データのうち１つを、選択すべきデータとして判定する。選択判定部３０１は、例えば、符号化部２００＿１，２００＿２，２００＿３，……から出力される符号化動画像データのうち最も符号化効率が高いデータを、選択すべきデータとして判定する。
また、選択判定部３０１は、上記の判定処理を、符号化部２００＿１，２００＿２，２００＿３，……で符号化される連続した一定数の画像を有する画像群ごとに実行する。この画像群は、フレーム内符号化画像を少なくとも１つ含むものであり、さらに、順方向フレーム間予測画像や双方向フレーム間予測画像を、所定の間隔で含むこともできる。選択判定部３０１は、例えば、ある画像群に対する符号化部２００＿１，２００＿２，２００＿３，……の符号化結果を基に、次の画像群としてどの符号化部２００＿１，２００＿２，２００＿３，……からのデータを選択出力するべきかを判定する。
パラメータ設定部３０２は、符号化部２００＿１，２００＿２，２００＿３，……に対して、処理のための各種のパラメータを設定する。パラメータ設定部３０２は、後述するように、例えば、次の画像群内で最初に符号化されるフレーム内符号化画像の圧縮符号化処理に用いられるパラメータを、すべての符号化部２００＿１，２００＿２，２００＿３，……に対して共通に設定する。この共通のパラメータは、各符号化部２００＿１，２００＿２，２００＿３，……において画像群の圧縮符号化処理が完了したとき、選択判定部３０１により選択されていた符号化動画像データに対応する符号化部での符号化処理結果に基づいて、決定される。
選択部４００は、制御部３００の選択判定部３０１による判定結果に基づき、符号化部２００＿１，２００＿２，２００＿３，……から出力される符号化動画像データのうち１つを、選択的に出力する。
ここで、圧縮符号化方式としてＭＰＥＧ−１／−２／−４を例に挙げて、上記の画像符号化装置１００の処理をより詳細に説明する。なお、これらの圧縮符号化方式では、前述の画像群は“ＧＯＰ”、フレーム内符号化画像は“Ｉフレーム”、順方向フレーム間予測符号化画像は“Ｐフレーム”、双方向フレーム間予測符号化画像は“Ｂフレーム”に対応する。
図２は、画像符号化装置における符号化動画像データの出力選択動作を説明するための図である。なお、この図２では、２つの符号化部２００＿１，２００＿２のいずれかからの出力データを、選択部４００によって選択的に出力するものとする。
図２の上側には、符号化部２００＿１，２００＿２のそれぞれから出力される符号化動画像データにおけるフレームの並び順を示している。また、その下には、制御部３００の選択判定部３０１による判定結果を示している。この判定結果は、符号化部２００＿１，２００＿２のどちらからの出力データを、選択部４００において選択すべきかを表している。さらに、その下には、選択部４００から出力される符号化動画像データのフレームの並び順を示している。
なお、フレームの並び順を示す図においては、図１５および図１６の場合と同様に、各フレームに、ピクチャタイプと、符号化対象とされた入力動画像データ内のフレームの番号とが付されている。例えば、フレーム“Ｉ３”は、入力動画像データにおけるフレーム“３”を符号化したＩフレームであることを示している。
また、選択部４００から出力される符号化動画像データは、実際には、選択部４００に設けられたバッファ（図示せず）などの作用により、符号化部２００＿１，２００＿２から出力される符号化動画像データよりも遅れて出力される。しかし、図２では、説明をわかりやすくするために、このような遅延を無視している。
図２において、符号化部２００＿１によって符号化された符号化動画像データでは、フレーム“Ｉ３”からフレーム“Ｂ１１”までの１２フレームが、１つのＧＯＰを構成している。一方、符号化部２００＿２によって符号化された符号化動画像データでは、フレーム“Ｉ３”からフレーム“Ｂ１０”までの１２フレームが、１つのＧＯＰを構成している。
ここで、符号化部２００＿１，２００＿２のそれぞれの圧縮符号化処理では、ＧＯＰの先頭に位置するＩフレームの再生（表示）時刻が同一となるように、ＧＯＰが形成されている。例えば、符号化部２００＿１，２００＿２のそれぞれからの符号化動画像データでは、フレーム“Ｉ３”はともに入力動画像データのフレーム“３”を圧縮符号化したものである。また、フレーム“Ｉ１５”はともに入力動画像データのフレーム“１５”を圧縮符号化したものである。
さらに、この図２においては、符号化部２００＿１，２００＿２は、オープンＧＯＰ方式で圧縮符号化処理を行っている。例えば、符号化部２００＿１からの符号化動画像データにおいて、フレーム“Ｂ１”の参照先は、同じＧＯＰに含まれるフレーム“Ｉ３”と、直前のＧＯＰに含まれるフレーム“Ｐ０”となる。また、符号化部２００＿２からの符号化動画像データにおいて、フレーム“Ｂ０”の参照先は、同じＧＯＰに含まれるフレーム“Ｉ３”と、直前のＧＯＰに含まれるフレーム“Ｐ−１”となる。
また、符号化部２００＿１，２００＿２のそれぞれでの圧縮符号化処理では、符号化パラメータとして、Ｐフレームが現れる間隔Ｍが異なっている。すなわち、符号化部２００＿１ではＭ＝３とされ、符号化部２００＿２ではＭ＝４とされている。
ところで、前述のように、オープンＧＯＰ方式で圧縮符号化処理を行った場合、符号化部２００＿１，２００＿２のそれぞれから出力される符号化動画像データを、単にＧＯＰ単位で切り替えて出力することはできない。これは、予測符号化の際の参照画像が他のＧＯＰに存在する画像となる場合があることから、復号の際に正しい参照画像を生成できなくなるためである。
これに対して、本実施の形態の画像符号化装置１００では、符号化部２００＿１，２００＿２のそれぞれからの符号化動画像データを選択部４００によって切り替える位置を、ＧＯＰに最初に現れるＰフレームの直前としている。ＧＯＰに最初に現れるＰフレームは、そのＧＯＰの先頭のＩフレームを参照する。図２の例では、フレーム“Ｉ３”を先頭とするＧＯＰの圧縮符号化時において、選択判定部３０１が、符号化部２００＿１による符号化動画像データから符号化部２００＿２による符号化動画像データに切り替えるように判定している。このとき、選択部４００は、符号化部２００＿１からの動画像データのうち、ＧＯＰにおいて最初に現れるＰフレームであるフレーム“Ｐ６”の直前のフレーム“Ｂ２”までを出力する。その次に、符号化部２００＿２からのＧＯＰにおいて最初に現れるＰフレームであるフレーム“Ｐ７”を先頭として、出力データを符号化部２００＿２からの符号化動画像データに切り替える。
さらに、符号化部２００＿１，２００＿２のすべてにおいて、ＧＯＰの先頭に位置するＩフレームに基づく局所復号画像のデータが全く同じになるように、圧縮符号化処理が実行される。これにより、ＧＯＰに最初に現れるＰフレームが参照する画像のデータがどの符号化部でも同一になる。このため、ＧＯＰに最初に現れるＰフレームの直前で符号化動画像データを切り替えても、選択部４００から出力された符号化動画像データを完全に正常に復号することができ、高品質な復号画像が得られる。
このような処理により、符号化効率の高いオープンＧＯＰ方式を用いながらも、複数の符号化部から出力された符号化動画像データのうち、画質などの品質が高いものを選択して出力できるようになる。従って、符号化効率が高く、なおかつ高画質な符号化動画像データを生成することが可能になる。
画像符号化装置１００では、例えば、制御部３００のパラメータ設定部３０２により、すべての符号化部２００＿１，２００＿２に対して、ＧＯＰの先頭に位置するＩフレームに基づく局所復号画像が同一となるように共通の符号化パラメータが設定される。
パラメータ設定部３０２は、例えば、このＩフレームの圧縮符号化処理に用いられる符号化レート制御用のパラメータを、すべての符号化部２００＿１，２００＿２に対して共通に設定する。この符号化レート制御用パラメータは、直前のＧＯＰに対する圧縮符号化処理が完了したとき、その時点で選択判定部３０１により選択されていた符号化動画像データを出力した符号化部での符号化結果に基づいて決定される。これにより、選択部４００から出力される符号化動画像データの復号時に、入力バッファのオーバフロー／アンダフローが防止されるなど、出力レートが適正に制御されるようになる。
［第２の実施の形態］
次に、圧縮符号化方式としてＨ．２６４を用いた場合の例について説明する。ただし、以下の第２の実施の形態での処理は、圧縮符号化処理時にフレームナンバが用いられることを除けば、ＭＰＥＧ−１／−２／−４を用いた場合でも適用可能である。
本実施の形態の画像符号化装置１００の基本的な構成は、図１に示した構成と同じであり、本実施の形態の画像符号化装置１００は、複数の符号化部２００＿１，２００＿２，２００＿３，……、制御部３００および選択部４００を備える。
図３は、符号化部の内部構成例を示す図である。なお、複数の符号化部２００＿１，２００＿２，２００＿３，……のそれぞれは同じ構成を有するため、図３では、これらを“符号化部２００”としてまとめて説明する。
符号化部２００は、マクロブロック（ＭＢ）生成部２０１、予測誤差信号生成部２０２、直交変換部２０３、量子化部２０４、エントロピー符号化部２０５、逆量子化部２０６、逆直交変換部２０７、参照画像生成部２０８、参照画像記憶部２０９、フレーム内予測部２１０、フレーム間予測部２１１、動きベクトル演算部２１２、予測画像選択部２１３および符号化制御部２２０を備えている。
マクロブロック生成部２０１は、入力画像を１６画素×１６画素のブロックであるマクロブロックに分割し、予測誤差信号生成部２０２および動きベクトル演算部２１２に出力する。以下、マクロブロック単位の画像データを“ブロックデータ”と呼ぶ。
予測誤差信号生成部２０２は、マクロブロック生成部２０１からのブロックデータと、予測画像選択部２１３からの予測画像のデータとの差分を演算することにより、予測誤差信号を生成する。直交変換部２０３は、予測誤差信号生成部２０２からの予測誤差信号を直交変換し、水平方向および垂直方向の周波数成分に分離された信号を出力する。量子化部２０４は、直交変換部２０３からの出力信号を量子化する。これにより、予測誤差信号の符号量が低減される。
エントロピー符号化部２０５は、量子化部２０４からの量子化データをエントロピー符号化し、符号化動画像データを出力する。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式を指す。
逆量子化部２０６は、量子化部２０４からの量子化データを逆量子化する。逆直交変換部２０７は、逆量子化部２０６からの出力データに逆直交変換処理を施す。これにより、符号化前の予測誤差信号と同程度の信号が得られる。
参照画像生成部２０８は、インター予測画像生成部１２１により動き補償されたブロックデータと、逆量子化部２０６および逆直交変換部２０７によって復号された予測誤差信号とを加算する。これにより、動き補償された参照画像のブロックデータ、すなわち局所復号画像のデータが生成され、参照画像記憶部２０９に格納される。
フレーム内予測部２１０は、同じピクチャにおけるすでに符号化された周辺画素から、予測画像のブロックデータを生成する。一方、フレーム間予測部２１１は、参照画像記憶部２０９から読み込んだ参照画像のデータを、動きベクトル演算部２１２から出力される動きベクトルによって動き補償することにより、動き補償された予測画像のブロックデータを生成する。
動きベクトル演算部２１２は、マクロブロック生成部２０１から出力された現画像のブロックデータと、参照画像記憶部２０９から読み込んだ参照画像のデータとを基に、動きベクトルを算出する。
予測画像選択部２１３は、フレーム内予測部２１０またはフレーム間予測部２１１のどちらか一方から出力される予測画像を選択し、予測誤差信号生成部２０２および参照画像生成部２０８に出力する。
符号化制御部２２０は、符号化部２００全体の処理を統括的に制御する。符号化制御部２２０は、例えば、エントロピー符号化部２０５での符号化結果を基に、量子化部２０４での量子化ステップを決定するなど、その後の圧縮符号化処理における符号化レートを制御する機能を備える。また、符号化制御部２２０は、符号化結果を制御部３００に通知する機能や、制御部３００から符号化パラメータを受信し、この符合化パラメータに応じて符号化部２００内の各部を制御する機能も備える。なお、この符号化制御部２２０が備える機能については、後により詳しく説明する。
ところで、Ｈ．２６４では、符号化動画像データ内のスライスヘッダに、フレームナンバ（frame＿num）と呼ばれるデータが書き込まれる。フレームナンバは、基本的に、符号化順にシーケンシャルに増加する値であり、例えば、各符号化部２００＿１，２００＿２，２００＿３，……においてカウントされて、符号化動画像データに付加される。
図４は、符号化動画像データに付加されたフレームナンバの例を示す図である。
フレームナンバは、フレーム間予測符号化画像によって参照されるフレームが新たに出現したときに、その次のフレームにおいて“１”だけ増加する。すなわち、フレームナンバは、符号化動画像データの先頭から、現在のフレームの１つ前のフレームまでに含まれる参照フレームの個数を表す。例えば、図４において、フレーム“Ｉ３”は、フレーム“Ｂ１”やフレーム“Ｂ２”によって新たに参照されるフレームであるので、その次のフレーム“Ｂ１”では、フレームナンバに“１”が加算される。
このようなフレームナンバは、Ｈ．２６４方式の復号器では、どのフレームが参照フレームかを特定するために利用される。このため、符号化器ではフレームナンバを正確に付加することが求められる。しかしながら、図２に示した処理により、複数の符号化部２００＿１，２００＿２，２００＿３，……からの符号化動画像データを切り替えて出力する場合には、出力の切り替えの際にフレームナンバが不連続になることがある。このような事態は、例えば、符号化部２００＿１，２００＿２，２００＿３，……ごとに、Ｐフレームが現れる間隔Ｍが異なっている場合に発生し得る。このような事態が発生した場合には、生成された符号化動画像データを正しく復号することができなくなる。
そこで、本実施の形態の画像符号化装置１００では、図２に示したような処理により符号化動画像データの切り替え出力が行われるとともに、フレームナンバを正しく付加できるようにする。
図５は、制御部および符号化制御部が備える機能を示すブロック図である。
図５に示すように、制御部３００は、パラメータ設定部３１１、選択判定部３１２およびフレームナンバ制御部３１３を備えている。一方、符号化部２００の符号化制御部２２０は、符号化レート制御部２２１、内部制御用カウンタ２２２および出力用カウンタ２２３を備えている。
符号化制御部２２０において、符号化レート制御部２２１は、符号化部２００での圧縮符号化処理における符号化レートを制御する。例えば、符号化制御部２２０は、復号器側の仮想的なバッファであるＶＢＶ（Video Buffer Verifier）バッファの蓄積量を管理する。そして、ＶＢＶバッファがオーバフローもアンダフローもしないように、フレームごとに割り当てる目標情報量や、量子化処理時の量子化ステップなどを演算する。
また、符号化レート制御部２２１は、必要に応じて、制御部３００のパラメータ設定部３１１から符号化パラメータを受信し、受信した符号化パラメータを基に符号化レートを制御する。さらに、符号化レート制御部２２１は、１つのＧＯＰの圧縮符号化処理が完了するたびに、その処理に応じて算出された符号化パラメータを、パラメータ設定部３１１に対して送信する。
内部制御用カウンタ２２２は、符号化部２００での圧縮符号化処理において使用されるフレームナンバをカウントする。この内部制御用カウンタ２２２は、フレーム間予測符号化画像によって参照されるフレームが新たに出現した場合に、その次のフレームに対する処理開始時に“１”だけカウントアップする。
出力用カウンタ２２３は、符号化部２００から出力される符号化動画像データに付加されるフレームナンバをカウントする。この出力用カウンタ２２３は、内部制御用カウンタ２２２が“１”だけカウントアップすると、これに同期して“１”だけカウントアップする。また、出力用カウンタ２２３のカウント値は、制御部３００のフレームナンバ制御部３１３から出力される値によって設定できるようになっている。
なお、内部制御用カウンタ２２２は、Ｈ．２６４用の既存の符号化器において、内部制御のためでなく、出力される符号化動画像データに付加するフレームナンバを生成するためにも用いられていたものに対応する。本実施の形態では、これらのうち後者の機能が、出力用カウンタ２２３によって実現される。また、符号化器としては、内部制御のためにフレームナンバを用いない構成も考えられ、そのような場合には、内部制御用カウンタ２２２を設けなくてもよい。この場合、内部制御用カウンタ２２２をカウントアップするためのタイミング信号（図示せず）が、出力用カウンタ２２３に対して直接供給されればよい。また、出力用カウンタ２２３の機能が、制御部３００に設けられてもよい。
一方、制御部３００において、パラメータ設定部３１１は、符号化部２００との間で各種の符号化パラメータを送受信する。例えば、パラメータ設定部３１１は、ＧＯＰの圧縮符号化処理が完了すると、その時点で符号化動画像データの出力元として選択されている符号化部２００の符号化レート制御部２２１から、処理の結果得られた各種の符号化パラメータを受信する。その後、次のＧＯＰの圧縮符号化処理が開始される際に、受信した符号化パラメータを基に、そのＧＯＰの先頭のＩフレームに対する符号化レート制御のためのパラメータを決定する。そして、そのパラメータを、複数の符号化部２００＿１，２００＿２，２００＿３，……に対して共通に出力する。
選択判定部３１２は、パラメータ設定部３１１が符号化レート制御部２２１から受信した符号化パラメータの一部を基に、得られたＧＯＰ単位の符号化動画像データを評価するための数値であるコストを算出する。そして、最もコストが低い符号化動画像データを出力している符号化部２００＿１，２００＿２，２００＿３，……を判定し、その符号化部を選択したことを示す選択信号ＳＥＬを、選択部４００に対して出力する。また、この選択信号ＳＥＬは、パラメータ設定部３１１およびフレームナンバ制御部３１３に対しても通知される。
フレームナンバ制御部３１３は、符号化部２００から出力される符号化動画像データに付加されるフレームナンバを制御する。具体的には、フレームナンバ制御部３１３は、ＧＯＰの圧縮符号化処理が完了すると、選択判定部３１２によって選択されている符号化部２００の出力用カウンタ２２３から、その時点でのカウント値を取得する。そして、選択判定部３１２により次に選択された符号化部２００の出力用カウンタ２２３に対して、取得したカウント値を設定する。
ところで、図５には、制御部３００と符号化部２００との間で受け渡される符号化パラメータとして、符号化制御情報Ａ１〜Ａ３、レート制御情報Ｂ１〜Ｂ６および符号化統計情報Ｃ１〜Ｃ６を示している。以下、これらの符号化パラメータについて説明する。
符号化制御情報Ａ１は、生成される符号化動画像データにおいてＰフレームが現れる間隔Ｍを指定するためのパラメータである。この符号化制御情報Ａ１は、例えば、圧縮符号化処理の開始時など、符号化部２００が初期化されたときに、パラメータ設定部３１１から符号化部２００に対して設定される。本実施の形態では、符号化部２００＿１，２００＿２，２００＿３，……ごとに、符号化制御情報Ａ１として異なる値が設定されるものとする。なお、例えば、この符号化制御情報Ａ１を用いずに、Ｐフレームが現れる間隔Ｍが、あらかじめ各符号化部２００＿１，２００＿２，２００＿３，……に設定されていてもよい。
符号化制御情報Ａ２は、選択部４００から出力される符号化動画像データ内のＧＯＰの最終フレームに付加されるフレームナンバを示す。ＧＯＰの圧縮符号化処理が完了したとき、その時点で選択判定部３１２により選択されている符号化部２００の出力用カウンタ２２３のカウント値が、符号化制御情報Ａ２として制御部３００のフレームナンバ制御部３１３に出力される。
符号化制御情報Ａ３は、次のＧＯＰの先頭に位置するＩフレームに付加されるフレームナンバを示す。この符号化制御情報Ａ３は、制御部３００のフレームナンバ制御部３１３から、すべての符号化部２００＿１，２００＿２，２００＿３，……に対して共通に出力される。そして、各符号化部２００＿１，２００＿２，２００＿３，……の出力用カウンタ２２３に対して設定される。
次に、レート制御情報Ｂ１〜Ｂ６は、符号化部２００の符号化レート制御部２２１での符号化レート制御のために、制御部３００のパラメータ設定部３１１から出力されるパラメータである。なお、これらのレート制御情報Ｂ１〜Ｂ６については、複数の符号化部２００＿１，２００＿２，２００＿３，……に対してそれぞれ共通の値が設定される。
レート制御情報Ｂ１は、その符号化部２００から出力される符号化動画像データのビットレートを示す。
レート制御情報Ｂ２は、レート制御時におけるＶＢＶバッファの容量を示す。
なお、以上のレート制御情報Ｂ１，Ｂ２は、符号化部２００が初期化されたときに、パラメータ設定部３１１から符号化レート制御部２２１に対して設定される。
レート制御情報Ｂ３は、ＧＯＰの先頭に位置するＩフレームの圧縮符号化処理を開始する時点でのＶＢＶバッファの位置を示す。
レート制御情報Ｂ４は、ＧＯＰの先頭に位置するＩフレームの目標情報量を示す。
レート制御情報Ｂ５は、ＧＯＰの先頭に位置するＩフレームの圧縮符号化処理を開始する際の初期量子化ステップを示す。
レート制御情報Ｂ６は、ＧＯＰの先頭に位置するＩフレームの圧縮符号化処理を開始する時点での初期量子化バッファの位置を示す。
なお、以上のレート制御情報Ｂ３〜Ｂ６は、ＧＯＰに対する圧縮符号化処理が開始されるごとに、パラメータ設定部３１１から符号化レート制御部２２１に対して設定される。
次に、符号化統計情報Ｃ１〜Ｃ６は、符号化部２００での符号化結果として得られるパラメータである。これらの符号化統計情報Ｃ１〜Ｃ６は、ＧＯＰに対する圧縮符号化処理が完了したときに、符号化レート制御部２２１から、制御部３００のパラメータ設定部３１１に対して出力される。
符号化統計情報Ｃ１は、ＧＯＰの最後のフレームについての圧縮符号化処理の終了時におけるＶＢＶバッファの位置を示す。
符号化統計情報Ｃ２は、ＧＯＰ内の各フレームの発生情報量を示す。
符号化統計情報Ｃ３は、各フレーム内のマクロブロックに割り当てられた量子化ステップの平均値を示す。
符号化統計情報Ｃ４は、ＧＯＰ内の各フレームの符号化歪みを示す。
符号化統計情報Ｃ５は、ＧＯＰの先頭に位置するＩフレームの圧縮符号化処理が終了したときの量子化バッファの位置を示す。
符号化統計情報Ｃ６は、次のＧＯＰの先頭に位置するＩフレームの目標情報量を示す。
ここで、図６は、ＧＯＰの圧縮符号化処理終了時における符号化パラメータの受け渡しについて説明するための図である。
前述のように、ＧＯＰの圧縮符号化処理が終了すると、各符号化部２００＿１，２００＿２，２００＿３，……から制御部３００に対して、符号化制御情報Ａ２と、符号化統計情報Ｃ１，Ｃ３，Ｃ５，Ｃ６とが出力される。このとき、制御部３００は、このＧＯＰの処理において選択判定部３１２によって選択されていた符号化部からの符号化制御情報Ａ２および符号化統計情報Ｃ１，Ｃ３，Ｃ５，Ｃ６を取得する。図６の例では、符号化部２００＿１が選択されていたものとする。
なお、符号化制御情報Ａ２と、符号化統計情報Ｃ１，Ｃ３，Ｃ５，Ｃ６は、選択判定部３１２によって選択されていた符号化部のみから、制御部３００に対して出力されるようにしてもよい。一方、制御部３００は、符号化統計情報Ｃ２，Ｃ４についてはすべての符号化部２００＿１，２００＿２，２００＿３，……から取得し、後述するように、これらの情報をコストの演算に利用する。
制御部３００のフレームナンバ制御部３１３は、選択判定部３１２によって選択されていた符号化部からの符号化制御情報Ａ２を、符号化制御情報Ａ３として、すべての符号化部２００＿１，２００＿２，２００＿３，……に出力する。さらに、制御部３００のパラメータ設定部３１１は、選択されていた符号化部からの符号化統計情報Ｃ１，Ｃ６，Ｃ３，Ｃ５を、それぞれレート制御情報Ｂ３，Ｂ４，Ｂ５，Ｂ６として、すべての符号化部２００＿１，２００＿２，２００＿３，……に出力する。
すべての符号化部２００＿１，２００＿２，２００＿３，……では、出力用カウンタ２２３のカウント値が、制御部３００からの符号化制御情報Ａ３の値に設定される。これにより、次のＧＯＰの処理においてどの符号化部２００＿１，２００＿２，２００＿３，……からの符号化動画像データが選択された場合でも、出力される符号化動画像データに対してフレームナンバが連続して付加されるようになる。
さらに、すべての符号化部２００＿１，２００＿２，２００＿３，……では、符号化レート制御部２２１に対して、制御部３００からのレート制御情報Ｂ３〜Ｂ６が設定される。これにより、すべての符号化部２００＿１，２００＿２，２００＿３，……において、次のＧＯＰの先頭に位置するＩフレームの圧縮符号化処理が、同じ符号化パラメータを用いて実行されるようになる。従って、すべての符号化部２００＿１，２００＿２，２００＿３，……から出力される符号化動画像データでは、ＧＯＰの先頭のＩフレームに基づく局所復号画像が同一になる。
図７は、符号化動画像データの出力選択動作を説明するための図である。なお、この図７では、前述の図２と同様に、２つの符号化部２００＿１，２００＿２のいずれかからの出力データを、選択部４００によって選択的に出力するものとする。また、図２と同様に、符号化部２００＿１，２００＿２のそれぞれでの圧縮符号化処理では、Ｐフレームが現れる間隔Ｍがそれぞれ“３”、“４”とされている。
図７では、基本的に、図２の場合と同様の出力選択動作が行われている。すなわち、フレーム“Ｉ３”を先頭とするＧＯＰの直前において、選択判定部３１２による選択対象が符号化部２００＿１から符号化部２００＿２に切り替えられている。選択部４００では、ＧＯＰの先頭から最初に現れるＰフレームの直前において、出力する符号化動画像データが切り替えられる。図７の例では、符号化部２００＿１からの符号化動画像データについては、ＧＯＰの先頭から最初に現れるＰフレームであるフレーム“Ｐ６”の直前フレームまでが、選択部４００から出力される。そしてその後、符号化部２００＿２からの符号化動画像データについては、ＧＯＰの先頭から最初に現れるＰフレームであるフレーム“Ｐ７”を先頭として、選択部４００から出力される。
ここで、図６で説明したように、符号化部２００＿１，２００＿２では、ＧＯＰの先頭のＩフレームに基づく局所復号画像が同一になるように圧縮符号化処理が行われている。このため、選択部４００から出力される符号化動画像データにおいては、ＧＯＰの先頭から最初に現れるＰフレームの参照画像が、出力切り替えの有無に関係なく同一の画像となる。従って、オープンＧＯＰ方式で圧縮符号化処理が行われた場合でも、選択部４００から出力される符号化動画像データは、正しく復号可能なデータとなる。
また、図７では、各フレームに対応するフレームナンバについても記載している。ここでは、内部制御用カウンタ２２２によるカウント値を“内部フレームナンバ”、出力用カウンタ２２３によるカウント値を“出力フレームナンバ”と呼ぶことにする。
図７において、フレーム“Ｉ３”を先頭とするＧＯＰの圧縮符号化処理が開始される直前のタイミングでは、選択判定部３１２により選択されていた符号化部２００＿１から、前のＧＯＰの最終フレームに付加された出力フレームナンバが制御部３００に出力される。図７の例では、この出力フレームナンバは“１０”となっている。そして、この出力フレームナンバが、符号化部２００＿２の出力用カウンタ２２３のカウント値として設定される。
符号化部２００＿２の出力用カウンタ２２３は、設定された出力フレームナンバを初期値として、以後、内部制御用カウンタ２２２と同期してカウントアップ動作を行う。そして、この出力用カウンタ２２３のカウント値が、出力される符号化動画像データに対してフレームナンバとして付加される。このような処理により、選択部４００から出力される符号化動画像データに対してフレームナンバが連続して付加され、その符号化動画像データを復号器で正常に復号できるようになる。
次に、符号化統計情報の演算方法について説明する。なお、ここでは、ＭＰＥＧ−２ ＴＭ５で規定された符号化レート制御方法を基本として説明する。
符号化部２００の符号化レート制御部２２１は、符号化レート制御のための機能の例として、フレーム単位で目標情報量を決定する機能と、マクロブロック単位で量子化ステップを決定する機能とを備えている。符号化レート制御部２２１は、圧縮符号化処理の実行時に、ＶＢＶバッファがオーバフローもアンダフローもしないように、目標情報量や量子化ステップなどを決定する。
符号化レート制御部２２１は、圧縮符号化処理の実行中に、次のフレームを符号化する際の目標情報量を、ピクチャタイプごとに演算している。Ｉフレーム、Ｐフレーム、Ｂフレームの目標情報量は、それぞれ次の式（１）〜式（３）に従って算出される。
Figure 0005267655
 なお、上記の式（１）〜式（３）において、変数ｂｉｔ＿ｒａｔｅは、符号化動画像データのビットレート（ｂｉｔｓ／ｓｅｃ）を示し、圧縮符号化処理の開始時に、レート制御情報Ｂ１として制御部３００から与えられた値である。変数ｐｉｃｔｕｒｅ＿ｒａｔｅは、フレームレート（ｆｒａｍｅｓ／ｓｅｃ）を示す。変数Ｒは、ＧＯＰ全体に対して割り当てられた情報量を示し、各フレームの圧縮符号化処理後に、そのフレームの実発生情報量分だけ減算されるものである。
変数Ｎp，Ｎbは、それぞれＧＯＰ内のＰフレーム、Ｂフレームの数を示す。変数Ｘi，Ｘp，Ｘbは、それぞれのＩフレーム、Ｐフレーム、Ｂフレームの符号化複雑度を示す。この符号化複雑度は、発生情報量と量子化ステップとの積により求められる。変数Ｋp，Ｋbは、それぞれＰフレーム、Ｂフレームに対する重みであり、これらはあらかじめ決められた固定値とされる。
符号化レート制御部２２１は、ＧＯＰの圧縮符号化処理が完了すると、次のＩフレームについての目標情報量を、符号化統計情報Ｃ６として制御部３００のパラメータ設定部３１１に出力する。さらに、符号化レート制御部２２１は、そのＧＯＰの最後のフレームに対する圧縮符号化処理の終了時におけるＶＢＶバッファの位置を、符号化統計情報Ｃ１としてパラメータ設定部３１１に出力する。
パラメータ設定部３１１は、図６で説明したように、そのＧＯＰにおいて選択判定部３１２によって選択されている符号化部２００から出力された符号化統計情報Ｃ１，Ｃ６を取得する。そして、取得した符号化統計情報Ｃ１，Ｃ６を、それぞれレート制御情報Ｂ３，Ｂ４として、すべての符号化部２００＿１，２００＿２，２００＿３，……に対して通知する。これにより、すべての符号化部２００＿１，２００＿２，２００＿３，……において、次のＧＯＰの先頭に位置するＩフレームについての目標情報量が共通に設定される。一方、ＰフレームおよびＢフレームについての目標情報量は、それぞれの符号化部２００＿１，２００＿２，２００＿３，……において個別に算出された値が利用される。
また、符号化レート制御部２２１は、マクロブロックごとの量子化ステップＱを、次の式（４）に従って算出する。
Figure 0005267655
 なお、上記の式（４）において、変数ｄXは、量子化バッファの位置を示す。ただし、Ｘはｉ，ｐ，ｂのいずれかであり、変数ｄi，ｄp，ｄbは、それぞれＩフレーム、Ｐフレーム、Ｂフレームに関する量子化バッファの位置を示す。変数ｄXは、マクロブロックごとに、次の式（５）に従って演算されて、更新される。
Figure 0005267655
 なお、上記の式（５）において、変数ｄ’Xは、フレームの先頭マクロブロックの処理開始時における量子化バッファの初期位置を示す。変数ｊは、処理中のマクロブロックの番号を示す。変数Ｂj-1は、そのフレーム中の（ｊ−１）番目のマクロブロックまでの発生情報量の総和を示す。変数ＭＢ＿ｃｎｔは、フレーム内のマクロブロックの総数を示す。
符号化レート制御部２２１は、ＧＯＰの圧縮符号化処理が完了すると、直前のＩフレームの量子化時に用いられた量子化ステップＱを基に、Ｉフレーム内の各マクロブロックの量子化ステップの平均値を算出する。そして、算出された値を、符号化統計情報Ｃ３として制御部３００のパラメータ設定部３１１に出力する。さらに、符号化レート制御部２２１は、Ｉフレームの圧縮符号化処理終了時における量子化バッファの位置を、符号化統計情報Ｃ５としてパラメータ設定部３１１に出力する。この符号化統計情報Ｃ５は、式（５）により、ｊ＝ＭＢ＿ｃｎｔのときの変数ｄiとして求められる。
パラメータ設定部３１１は、図６で説明したように、そのＧＯＰにおいて選択判定部３１２によって選択されている符号化部２００から出力された符号化統計情報Ｃ３，Ｃ５を取得する。そして、取得した符号化統計情報Ｃ３，Ｃ５を、それぞれレート制御情報Ｂ５，Ｂ６として、すべての符号化部２００＿１，２００＿２，２００＿３，……に対して通知する。すべての符号化部２００＿１，２００＿２，２００＿３，……は、このようにして通知された同一のレート制御情報Ｂ５，Ｂ６を、次のＩフレームにおける先頭マクロブロックの量子化処理時に、それぞれ式（５）の量子化ステップＱおよび変数ｄ’Xとして設定する。
以上の処理により、符号化部２００＿１，２００＿２，２００＿３，……では、次のＧＯＰの先頭のＩフレームを圧縮符号化するために用いる目標情報量と先頭マクロブロックの量子化ステップとが、同じ値に設定される。これとともに、次のＧＯＰの圧縮符号化処理におけるＶＢＶバッファの初期位置および量子化バッファの初期位置が、同じ値に設定される。そしてそれ以後、符号化部２００＿１，２００＿２，２００＿３，……のそれぞれにおいて、ＶＢＶバッファがオーバフローもアンダフローもしないように符号化レートが制御される。これにより、次にどの符号化部２００＿１，２００＿２，２００＿３，……からの符号化動画像データが切り替えて出力された場合でも、出力された符号化動画像データは、復号器において正しく復号できるようになる。
次に、符号化部２００および制御部３００での処理全体について、フローチャートを用いて説明する。
図８は、符号化部の処理手順を示すフローチャートである。この図８の処理は、フレームごとの圧縮符号化処理時に実行されるものである。
［ステップＳ１１］処理対象のフレームが、符号化動画像データ全体における先頭フレームである場合には、ステップＳ１２の処理に進む。また、それ以外の場合には、ステップＳ１３の処理に進む。
［ステップＳ１２］符号化制御部２２０は、制御部３００のパラメータ設定部３１１から出力された符号化制御情報Ａ１を受信し、符号化動画像データにおいてＰフレームが現れる間隔Ｍを設定する。本実施の形態では、この間隔Ｍとして、符号化部２００＿１，２００＿２，２００＿３，……ごとに異なる値が設定される。
なお、この間隔Ｍは、符号化部２００＿１，２００＿２，２００＿３，……のそれぞれにおいてあらかじめ設定されていてもよい。また、符号化部２００＿１，２００＿２，２００＿３，……ごとに異なる値が設定されるパラメータとしては、他に例えば、フレーム構造／フィールド構造の種別や、動きダイレクトモード（時間ダイレクト／空間ダイレクト）の種別などが適用されてもよい。
また、符号化レート制御部２２１は、制御部３００のパラメータ設定部３１１から、レート制御情報Ｂ１，Ｂ２を取得し、符号化レート制御のためのパラメータの初期値として設定する。なお、レート制御情報Ｂ１，Ｂ２としては、すべての符号化部２００＿１，２００＿２，２００＿３，……に対して同じ値が設定される。また、なお、先頭のＩフレームの目標情報量としては、例えば、ビットレートに応じて決定される初期値が適用される。
以上の処理が実行された後、ステップＳ１６の処理に進む
［ステップＳ１３］処理対象のフレームが、ＧＯＰの先頭のＩフレームである場合には、ステップＳ１５の処理に進む。また、それ以外の場合には、ステップＳ１４の処理に進む。
［ステップＳ１４］符号化レート制御部２２１は、符号化レート制御のためのパラメータを更新する。例えば、符号化レート制御部２２１は、処理対象のフレームの目標情報量を算出する。処理対象がＰフレーム、Ｂフレームの場合には、それぞれ上記の式（２）、式（３）に従って目標情報量が演算される。また、ＧＯＰ内に複数のＩフレームが存在していて、このステップでの処理対象のフレームがＩフレームである場合には、式（１）に従って目標情報量が演算される。この後、ステップＳ１６の処理に進む。
［ステップＳ１５］出力用カウンタ２２３は、制御部３００のフレームナンバ制御部３１３から符号化制御情報Ａ３を取得し、その値をカウント初期値として設定する。また、符号化レート制御部２２１は、制御部３００のパラメータ設定部３１１から、レート制御情報Ｂ３〜Ｂ６を取得し、符号化レート制御のためのパラメータとして設定する。
すなわち、符号化レート制御部２２１は、レート制御情報Ｂ３を、対象フレーム（Ｉフレーム）の圧縮符号化開始時におけるＶＢＶバッファの位置として設定する。また、レート制御情報Ｂ４を、このフレームの目標情報量として設定する。また、レート制御情報Ｂ５，Ｂ６を、マクロブロックの量子化ステップを導出するための値として設定する。また、レート制御情報Ｂ６を、このフレームの量子化開始時における量子化バッファの位置として設定する。
さらに、符号化レート制御部２２１は、このフレームを含むＧＯＰ全体の目標情報量を、次の式（６）に従って算出し、設定する。
Figure 0005267655
 なお、上記の式（６）において、変数Ｎは、ＧＯＰ中の総フレーム数を示す。変数Ｖcurrentは、Ｉフレームの圧縮符号化開始時におけるＶＢＶバッファの位置を示し、レート制御情報Ｂ３が設定される。変数Ｖfullは、ＶＢＶバッファのサイズを示し、ステップＳ１２ですでに取得されたレート制御情報Ｂ２が設定される。
この後、ステップＳ１６の処理に進む。
［ステップＳ１６］符号化部２００は、対象フレームの圧縮符号化処理を実行する。このとき、符号化レート制御部２２１は、ステップＳ１２，Ｓ１４，Ｓ１５のいずれかにおいて設定されたレート制御情報を用いて、符号化レートの制御を行う。
［ステップＳ１７］処理対象のフレームが、ＧＯＰの最終フレームであった場合には、ステップＳ１８の処理に進む。また、それ以外の場合には、このフレームの処理が終了される。
［ステップＳ１８］出力用カウンタ２２３は、現在のカウント値を、制御部３００のフレームナンバ制御部３１３に出力する。また、符号化レート制御部２２１は、符号化統計情報Ｃ１〜Ｃ６を、制御部３００のパラメータ設定部３１１に出力する。なお、ＧＯＰ内の各フレームの符号化歪みを示す符号化統計情報Ｃ４は、入力画像データと局所復号画像のデータとの間の差分絶対値和として求められる。
次に、図９は、制御部の処理手順を示すフローチャートである。この図９の処理は、フレームごとの圧縮符号化処理時に実行されるものである。
［ステップＳ２１］処理対象のフレームが、符号化動画像データ全体における先頭フレームである場合には、ステップＳ２２の処理に進む。また、それ以外の場合には、ステップＳ２３の処理に進む。
［ステップＳ２２］パラメータ設定部３１１は、符号化部２００＿１，２００＿２，２００＿３，……に対して、それぞれ異なる符号化制御情報Ａ１を出力する。また、パラメータ設定部３１１，はレート制御情報Ｂ１，Ｂ２を、すべての符号化部２００＿１，２００＿２，２００＿３，……の符号化レート制御部２２１に対して共通に出力する。以上の処理が終了すると、このフレームの処理が終了される。
［ステップＳ２３］処理対象のフレームが、ＧＯＰの先頭のＩフレームである場合には、ステップＳ２８の処理に進む。また、それ以外の場合には、ステップＳ２４の処理に進む。
［ステップＳ２４］処理対象のフレームが、ＧＯＰの最終フレームであった場合には、ステップＳ２５の処理に進む。また、それ以外の場合には、このフレームの処理が終了される。
［ステップＳ２５］パラメータ設定部３１１およびフレームナンバ制御部３１３は、選択判定部３１２からの選択信号ＳＥＬに基づき、現在選択されている符号化部を判定する。そして、パラメータ設定部３１１は、判定された符号化部から、図８のステップＳ１８の処理によって出力された符号化統計情報Ｃ１，Ｃ３，Ｃ５，Ｃ６を取得する。また、フレームナンバ制御部３１３は、判定された符号化部から、ステップＳ１８の処理によって出力された符号化制御情報Ａ２を取得する。
［ステップＳ２６］パラメータ設定部３１１は、すべての符号化部２００＿１，２００＿２，２００＿３，……から、ステップＳ１８の処理によって出力された符号化統計情報Ｃ２，Ｃ４を取得する。
［ステップＳ２７］選択判定部３１２は、ステップＳ２６においてパラメータ設定部３１１が取得した符号化統計情報Ｃ２，Ｃ４を基に、コストを算出する。そして、コストが最小となる符号化動画像データを生成した制御部を判定し、その制御部を指定するように選択信号ＳＥＬを更新して、選択部４００、パラメータ設定部３１１およびフレームナンバ制御部３１３に出力する。
コストは、次の式（７）に従って算出される。
Figure 0005267655
 なお、上記の式（７）において、変数Ｎは、ＧＯＰ中の総フレーム数を示す。変数ｄｓkは、ＧＯＰ内のｋ番目のフレームの符号化歪みを示し、符号化統計情報Ｃ４により与えられる。変数λは、発生情報量への重みを示す。変数Ｒkは、ＧＯＰ内のｋ番目のフレームの発生情報量を示し、符号化統計情報Ｃ２により与えられる。
以上の処理が実行されると、このフレームの処理が終了される。
［ステップＳ２８］フレームナンバ制御部３１３は、直前に実行されたステップＳ２５において取得した符号化制御情報Ａ２を、符号化制御情報Ａ３として、すべての符号化部２００＿１，２００＿２，２００＿３，……に出力する。また、パラメータ設定部３１１は、直前に実行されたステップＳ２５において取得した符号化統計情報Ｃ１，Ｃ６，Ｃ３，Ｃ５を、それぞれレート制御情報Ｂ３，Ｂ４，Ｂ５，Ｂ６として、すべての符号化部２００＿１，２００＿２，２００＿３，……に出力する。以上の処理が実行されると、このフレームの処理が終了される。
以上の図８および図９に示した処理により、すべての符号化部２００＿１，２００＿２，２００＿３，……から出力される符号化動画像データにおいて、ＧＯＰの先頭のＩフレームに基づく局所復号画像が同じになる。そして、符号化部２００＿１，２００＿２，２００＿３，……からの符号化動画像データが選択部４００により切り替えて出力された場合でも、出力される符号化動画像データを、復号器において正しく復号できるようになる。すなわち、出力される符号化動画像データの復号時において、入力バッファのオーバフローもアンダフローも発生せず、レート制御が正しく実行される。これとともに、符号化動画像データに付加されたフレームナンバに基づき、正しく復号処理を実行できる。
従って、上記の処理により、符号化効率の高いオープンＧＯＰ方式を用いながらも、複数の符号化部から出力された符号化動画像データのうち、コストが低いもの、すなわち品質が高いものを選択して出力できるようになる。従って、符号化効率が高く、なおかつ高画質な符号化動画像データを生成することが可能になる。
次に、選択部４００による出力切り替え動作の例について説明する。まず、図１０は、選択部の内部構成例を示す図である。
選択部４００は、複数のバッファ部４１０＿１，４１０＿２，４１０＿３，……と、バッファ選択部４２０とを備える。バッファ部４１０＿１，４１０＿２，４１０＿３，……は、符号化部２００＿１，２００＿２，２００＿３，……からそれぞれ出力される符号化動画像データを一時的に保持する機能を備える。バッファ選択部４２０は、制御部３００から選択信号ＳＥＬの入力を受ける。そして、選択信号ＳＥＬによって選択される符号化部に対応するバッファ部に対して、符号化動画像データの出力を指示するための出力指示信号を送出する。
図１１は、バッファ部の内部構成例を示す図である。なお、バッファ部４１０＿１，４１０＿２，４１０＿３，……はそれぞれ同じ構成を有するので、図１１ではこれらを“バッファ４１０”としてまとめて説明する。
バッファ部４１０は、境界判定部４１１、バッファ制御部４１２および動画像バッファ４１３を備える。
境界判定部４１１は、対応する符号化部２００から符号化動画像データの入力を受け、出力の切り替え単位となる画像群の境界を判定する。この画像群とは、ＧＯＰ内に最初に現れるＰフレームから、その次のＧＯＰ内に最初に現れるＰフレームの直前のフレームまでの複数の連続したフレームを指す。例えば、図７において、符号化部２００＿１からの符号化動画像データのうち、フレーム“Ｐ６”からフレーム“Ｂ１４”までが１つの画像群を構成する。
従って、境界判定部４１１は、ＧＯＰ内の最初のＰフレームが入力されたとき、境界を検出する。境界判定部４１１は、画像群の境界を検出したとき、境界検出信号をバッファ制御部４１２に出力する。また、境界判定部４１１に入力された符号化動画像データは、動画像バッファ４１３に一時的に格納される。
なお、ＧＯＰの先頭は、例えば、ＭＰＥＧ−２の場合にはＧＯＰヘッダから、Ｈ．２６４の場合にはＳＰＳ（Sequence Parameter Set）から判定できる。また、Ｐフレームは、ピクチャヘッダに記述されたピクチャ種別などから判定できる。また、この他に例えば、符号化部２００＿１，２００＿２，２００＿３，……のそれぞれが、出力する符号化動画像データに対して、上記の画像群の境界を示す特定の情報を付加してもよい。この場合、境界判定部４１１は、符号化動画像データからこの特定の情報を検出することで、画像群の境界を容易に検出できる。ただし、この場合には、バッファ部４１０から符号化動画像データを出力するまでの間に、この特定の情報は削除される。
バッファ制御部４１２は、境界判定部４１１からの境界検出信号の入力タイミングに基づき、動画像バッファ４１３における画像群の先頭アドレスおよび終端アドレスを認識する。そして、バッファ制御部４１２は、バッファ選択部４２０からの出力指示信号に応じて、符号化動画像データを出力させるか、あるいは削除するかを、バッファ制御部４１２に対して画像群単位で指示する。
図１２は、選択部における出力切り替え動作の第１の例を示す図である。
図１２において、“＃ｎ［ｍ］”は、符号化部２００＿ｎから出力されたｍ番目のＧＯＰを表す。また、“＃ｎ”は、選択信号ＳＥＬにより符号化部２００＿ｎからの出力が選択されたことを表す。また、“＃＃ｎ［ｍ］”は、ＧＯＰ＃ｎ［ｍ］に対応する切り替え単位の画像群を表す。すなわち、画像群＃＃ｎ［ｍ］は、ＧＯＰ＃ｎ［ｍ］に最初に現れるＰフレームを先頭とし、次のＧＯＰ＃ｎ［ｍ＋１］に最初に現れるＰフレームの直前フレームを終端とする。なお、これらの表記については、後の図１３においても同様である。
この図１２では、例えば、タイミングＴ３１において、ＧＯＰ＃１［０］，ＧＯＰ＃２［０］，ＧＯＰ＃３［０］のそれぞれから算出されたコストに基づき、選択信号ＳＥＬが符号化部２００＿２からの出力を選択するように更新されている。このとき、選択部４００に対しては、すでに次のＧＯＰの入力が開始されている。選択部４００は、選択信号ＳＥＬが更新されると、符号化部２００＿２からの次のＧＯＰ＃２［１］に対応する画像群＃＃２［１］を選択して出力する。
このような処理によれば、選択部４００の各バッファ部４１０＿１，４１０＿２，４１０＿３，……が備える動画像バッファ４１３の容量を、ＧＯＰの容量未満に抑制でき、バッファの回路規模や製造コストが抑制される。また、選択部４００からの符号化動画像データの出力の遅延量も抑制される。
図１３は、選択部における出力切り替え動作の第２の例を示す図である。
図１３に示す例では、選択部４００の各バッファ部４１０＿１，４１０＿２，４１０＿３，……が備える動画像バッファ４１３が、ＧＯＰより大きい容量を備えるものとする。従って、選択部４００への入力に対して、出力される符号化動画像データはＧＯＰの期間以上遅延される。
図１３において、例えば、タイミングＴ４１において、ＧＯＰ＃１［０］，ＧＯＰ＃２［０］，ＧＯＰ＃３［０］のそれぞれから算出されたコストに基づき、選択信号ＳＥＬが符号化部２００＿２からの出力を選択するように更新されている。このとき、選択部４００は、バッファ部４１０＿２に格納されている画像群＃＃２［０］を選択して、出力を開始する。
このような処理によれば、出力遅延が大きくなるものの、コストの算出対象とされたＧＯＰに対応する画像群が選択されて出力されるので、出力される符号化動画像データのデータ量をより抑制しつつ、その画質をより向上させることができる。
ところで、上記の各実施の形態で示した画像符号化装置の機能のすべて、あるいはその一部の機能は、例えば、次の図に示すコンピュータのような情報処理装置において、ソフトウェア処理によって実現することもできる。
図１４は、画像符号化装置の機能を実現するコンピュータのハードウェア構成例を示す図である。
図１４に示すコンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＡＭ（Random Access Memory）５０２、ＨＤＤ（Hard Disk Drive）５０３、グラフィック処理部５０４，入力Ｉ／Ｆ５０５、読み取り部５０６および通信Ｉ／Ｆ５０７を備えており、これらの各部はバス５０８によって相互に接続されている。
ＣＰＵ５０１は、ＨＤＤ５０３に記憶された各種プログラムを実行することにより、このコンピュータ５００全体を統括的に制御する。ＲＡＭ５０２は、ＣＰＵ５０１に実行させるプログラムの少なくとも一部や、このプログラムによる処理に必要な各種データを一時的に記憶する。ＨＤＤ５０３は、ＣＰＵ５０１により実行されるプログラムやその実行に必要な各種のデータなどを記憶する。
グラフィック処理部５０４には、モニタ５０４ａが接続されている。このグラフィック処理部５０４は、ＣＰＵ５０１からの命令に従って、モニタ５０４ａの画面上に画像を表示させる。入力Ｉ／Ｆ５０５には、キーボード５０５ａやマウス５０５ｂが接続されている。この入力Ｉ／Ｆ５０５は、キーボード５０５ａやマウス５０５ｂからの信号を、バス５０８を介してＣＰＵ５０１に送信する。
読み取り部５０６は、可搬型の記録媒体５０６ａからデータを読み取り、バス５０８を介してＣＰＵ５０１に送信する。記録媒体５０６ａとしては、例えば光ディスクなどを適用可能である。通信Ｉ／Ｆ５０７は、図示しないコネクタを介して外部装置と接続し、外部装置との間でデータの送受信を行う。
ここで、上記の各実施の形態で示した機能のすべて、あるいはそれらの一部がソフトウェア処理によって実現される場合には、それらの機能の処理内容を記述したプログラムが、例えばＨＤＤ５０３に記憶される。そして、そのプログラムがＣＰＵ５０１に実行されることによって、それらの機能が実現される。
また、例えば、上記の各実施の形態で示した機能のうち、符号化部２００＿１，２００＿２，２００＿３，……についてはハードウェア回路として設けられてもよい。このようなハードウェア回路は、例えば、グラフィック処理部５０４と一体に設けられてもよい。このような場合、制御部３００および選択部４００の機能のみ、ソフトウェア処理によって実現してもよい。
このように、上記の画像符号化装置が有する機能の少なくとも一部は、コンピュータによって実現することができる。その場合には、上記機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、そのプログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
 符号の説明
１００ 画像符号化装置
２００，２００＿１，２００＿２，２００＿３ 符号化部
３００ 制御部
３０１ 選択判定部
３０２ パラメータ設定部
４００ 選択部

Claims (10)

  1. 同一の動画像データが入力されて、それぞれ異なる符号化パラメータを用いて圧縮符号化処理を行う複数の符号化部と、
    前記各符号化部による符号化結果に基づき、フレーム内符号化画像を少なくとも１つ含む一定数の連続する画像を有する画像群ごとに、前記各符号化部によって符号化された符号化動画像データのうち１つを、選択すべきデータとして判定する選択判定部と、
    前記選択判定部による判定結果に応じて、前記各符号化部からの符号化動画像データのうち１つを選択的に出力する選択部と、
    前記各符号化部に、再生時刻が同一であって前記画像群内で最初に符号化されるフレーム内符号化画像に基づく局所復号画像がすべての前記符号化部で同一になるように、圧縮符号化処理を実行させる制御部と、
    を有し、
    前記選択部は、１つの前記符号化部からの前記符号化動画像データから他の前記符号化部からの前記符号化動画像データへ出力を切り替える際の出力切り替え位置を、前記各符号化部から出力される符号化動画像データ内の前記画像群に最初に現れる順方向フレーム間予測符号化画像の直前とすることを特徴とする画像符号化装置。
  2. 前記制御部は、前記各符号化部によって前記画像群に対する圧縮符号化処理が完了したとき、前記選択判定部によって選択された符号化動画像データに対応する前記符号化部での符号化処理結果に基づくパラメータであって、次の前記画像群内で最初に符号化されるフレーム内符号化画像の圧縮符号化処理に用いられる符号化レート制御用のパラメータを、すべての前記符号化部に対して共通に設定することで、当該フレーム内符号化画像に基づく局所復号画像を同一にすることを特徴とする請求の範囲第１項記載の画像符号化装置。
  3. 前記制御部は、前記各符号化部によって前記画像群に対する圧縮符号化処理が完了したとき、前記選択判定部によって選択された符号化動画像データに対応する前記符号化部において演算された、次の画像群内で最初に符号化されるフレーム内符号化画像の目標情報量を、当該符号化部から前記符号化レート制御用のパラメータとして取得し、取得した前記目標情報量を、次の前記画像群で最初に符号化されるフレーム内符号化画像の目標情報量としてすべての前記符号化部に設定することを特徴とする請求の範囲第２項記載の画像符号化装置。
  4. 前記制御部は、前記各符号化部によって前記画像群に対する圧縮符号化処理が完了したとき、前記選択判定部によって選択された符号化動画像データに対応する前記符号化部が管理している復号器側の仮想的な入力バッファのデータ量を、当該符号化部から前記符号化レート制御用のパラメータとして取得し、取得したデータ量を、次の前記画像群の圧縮符号化処理開始時における前記入力バッファのデータ量としてすべての前記符号化部に設定することを特徴とする請求の範囲第２項記載の画像符号化装置。
  5. 前記制御部は、前記各符号化部によって前記画像群に対する圧縮符号化処理が完了したとき、前記符号化レート制御用のパラメータとして、前記選択判定部によって選択された符号化動画像データに基づく量子化ステップを、次の画像群の圧縮符号化処理開始時における量子化ステップの初期値としてすべての前記符号化部に設定することを特徴とする請求の範囲第２項記載の画像符号化装置。
  6. 前記各符号化部での圧縮符号化処理で用いられる前記異なる符号化パラメータには、符号化動画像データにおいて順方向フレーム間予測符号化画像が現れる間隔を示すパラメータが含まれることを特徴とする請求の範囲第１項記載の画像符号化装置。
  7. 前記各符号化部では、１つの前記画像群内の画像をフレーム間予測符号化方式で圧縮符号化処理する際に、他の前記画像群内の画像を参照することが可能とされていることを特徴とする請求の範囲第１項記載の画像符号化装置。
  8. 前記各符号化部は、
    圧縮符号化処理中において、フレーム間予測符号化画像によって参照されるフレームが新たに出現するとカウントアップするカウント部と、
    前記カウント部によるカウント値をフレームごとに符号化動画像データに付加するデータ付加部と、
    を備え、
    前記制御部は、前記各符号化部によって前記画像群に対する圧縮符号化処理が完了したとき、前記選択判定部によって選択された符号化動画像データに対応する前記符号化部の前記カウント部からカウント値を取得し、当該カウント値によりすべての前記符号化部の前記カウント部のカウント値を置き換えるカウント値設定部を備えたことを特徴とする請求の範囲第１項記載の画像符号化装置。
  9. 画像符号化装置が、
    同一の動画像データの入力を受けて、それぞれ異なる符号化パラメータを用いて複数系統の圧縮符号化処理を行い、
    前記複数系統の圧縮符号化処理による符号化結果に基づき、フレーム内符号化画像を少なくとも１つ含む一定数の連続する画像を有する画像群ごとに、前記複数系統の圧縮符号化処理によって符号化された符号化動画像データのうち１つを、選択すべきデータとして判定し、
    前記判定の結果に応じて、前記複数系統の圧縮符号化処理によって符号化された符号化動画像データのうち１つを選択的に出力する、
    処理を含み、
    前記複数系統の圧縮符号化処理は、再生時刻が同一であって前記画像群内で最初に符号化されるフレーム内符号化画像に基づく局所復号画像が同一になるように実行され、
    前記判定の結果に応じて１つの系統の圧縮符号化処理によって符号化された符号化動画像データから他の系統の圧縮符号化処理によって符号化された符号化動画像データへ出力が切り替えられる際には、その出力切り替え位置を、前記複数系統の圧縮符号化処理によって符号化された符号化動画像データ内の前記画像群に最初に現れる順方向フレーム間予測符号化画像の直前とする、
    ことを特徴とする画像符号化制御方法。
  10. コンピュータに、
    同一の動画像データの入力を受けて、それぞれ異なる符号化パラメータを用いて複数系統の圧縮符号化処理を行い、
    前記複数系統の圧縮符号化処理による符号化結果に基づき、フレーム内符号化画像を少なくとも１つ含む一定数の連続する画像を有する画像群ごとに、前記複数系統の圧縮符号化処理によって符号化された符号化動画像データのうち１つを、選択すべきデータとして判定し、
    前記判定の結果に応じて、前記複数系統の圧縮符号化処理によって符号化された符号化動画像データのうち１つを選択的に出力する、
    処理を実行させ、
    前記複数系統の圧縮符号化処理は、再生時刻が同一であって前記画像群内で最初に符号化されるフレーム内符号化画像に基づく局所復号画像が同一になるように実行され、
    前記判定の結果に応じて１つの系統の圧縮符号化処理によって符号化された符号化動画像データから他の系統の圧縮符号化処理によって符号化された符号化動画像データへ出力が切り替えられる際には、その出力切り替え位置を、前記複数系統の圧縮符号化処理によって符号化された符号化動画像データ内の前記画像群に最初に現れる順方向フレーム間予測符号化画像の直前とする、
    ことを特徴とする画像符号化プログラム。
JP2011504684A 2009-03-19 2009-03-19 画像符号化装置、画像符号化制御方法および画像符号化プログラム Expired - Fee Related JP5267655B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/055487 WO2010106670A1 (ja) 2009-03-19 2009-03-19 画像符号化装置、画像符号化制御方法および画像符号化プログラム

Publications (2)

Publication Number Publication Date
JPWO2010106670A1 JPWO2010106670A1 (ja) 2012-09-20
JP5267655B2 true JP5267655B2 (ja) 2013-08-21

Family

ID=42739339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011504684A Expired - Fee Related JP5267655B2 (ja) 2009-03-19 2009-03-19 画像符号化装置、画像符号化制御方法および画像符号化プログラム

Country Status (4)

Country Link
US (1) US8681864B2 (ja)
EP (1) EP2410752B1 (ja)
JP (1) JP5267655B2 (ja)
WO (1) WO2010106670A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908943B2 (ja) * 2006-06-23 2012-04-04 キヤノン株式会社 画像符号化装置及び画像符号化方法
RU2012140740A (ru) 2010-04-01 2014-05-10 Сони Корпорейшн Устройство и способ обработки изображения
EP2407803A1 (en) * 2010-07-15 2012-01-18 The European Atomic Energy Community (EURATOM), represented by the European Commission Method for safely identifying moving objects
US20150117712A1 (en) * 2011-05-31 2015-04-30 Pointgrab Ltd. Computer vision based control of a device using machine learning
CN104641638B (zh) 2012-06-28 2018-08-03 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的***和方法
US9338461B2 (en) * 2013-02-04 2016-05-10 Mitsubishi Electric Research Laboratories, Inc Method and system for encoding collections of images and videos
CN104768011B (zh) 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
TWI554083B (zh) * 2015-11-16 2016-10-11 晶睿通訊股份有限公司 影像處理方法及其攝影機
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
JP2023527966A (ja) * 2020-05-26 2023-07-03 ドルビー ラボラトリーズ ライセンシング コーポレイション 可変フレームレートビデオのためのピクチャメタデータ

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114448A (ja) * 1997-06-13 1999-01-06 Sony Corp 画像信号送出装置及び画像信号送出方法
JP2000023154A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 動画像符号化装置
JP2000341690A (ja) * 1999-05-31 2000-12-08 Mitsubishi Electric Corp データ送信装置
JP2003299095A (ja) * 2002-04-02 2003-10-17 Hitachi Ltd 動画像処理装置、動画処理方法及び動画記録装置
JP2006295492A (ja) * 2005-04-08 2006-10-26 Canon Inc 画像処理装置
JP2008066851A (ja) * 2006-09-05 2008-03-21 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008236120A (ja) * 2007-03-19 2008-10-02 Matsushita Electric Ind Co Ltd 復号化装置及び符号化装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0860956A (ja) 1994-08-16 1996-03-05 Matsushita Electric Ind Co Ltd 調光装置
JPH08242452A (ja) 1995-03-02 1996-09-17 Matsushita Electric Ind Co Ltd 映像信号圧縮符号化装置
US7885340B2 (en) * 1999-04-27 2011-02-08 Realnetworks, Inc. System and method for generating multiple synchronized encoded representations of media data
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
GB2395387B (en) * 2002-11-13 2005-02-16 Motorola Inc Video streaming device and method of control for switchable video streams
US20050243922A1 (en) * 2004-04-16 2005-11-03 Modulus Video, Inc. High definition scalable array encoding system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114448A (ja) * 1997-06-13 1999-01-06 Sony Corp 画像信号送出装置及び画像信号送出方法
JP2000023154A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 動画像符号化装置
JP2000341690A (ja) * 1999-05-31 2000-12-08 Mitsubishi Electric Corp データ送信装置
JP2003299095A (ja) * 2002-04-02 2003-10-17 Hitachi Ltd 動画像処理装置、動画処理方法及び動画記録装置
JP2006295492A (ja) * 2005-04-08 2006-10-26 Canon Inc 画像処理装置
JP2008066851A (ja) * 2006-09-05 2008-03-21 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2008236120A (ja) * 2007-03-19 2008-10-02 Matsushita Electric Ind Co Ltd 復号化装置及び符号化装置

Also Published As

Publication number Publication date
US20120002725A1 (en) 2012-01-05
EP2410752A4 (en) 2013-02-27
US8681864B2 (en) 2014-03-25
JPWO2010106670A1 (ja) 2012-09-20
EP2410752B1 (en) 2017-01-25
EP2410752A1 (en) 2012-01-25
WO2010106670A1 (ja) 2010-09-23

Similar Documents

Publication Publication Date Title
JP5267655B2 (ja) 画像符号化装置、画像符号化制御方法および画像符号化プログラム
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
JP4908180B2 (ja) 動画像符号化装置
KR101362590B1 (ko) 화상 처리 장치 및 방법
KR101689997B1 (ko) 영상 복호 장치, 및 영상 복호 방법
JP2002511669A (ja) 映像データストリームの適応的符号化方法と装置
TW201112771A (en) Image encoding apparatus, image encoding method, and computer program
JP5128389B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5947641B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP4795223B2 (ja) 画像処理装置
JP2008154060A (ja) 動画像符号化装置
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
JP5649296B2 (ja) 画像符号化装置
WO2011155376A1 (ja) 符号化装置および符号化方法
JP2009027693A (ja) 動画像圧縮符号化装置
JP2007325119A (ja) 画像処理装置及び画像処理方法
JP2012253722A (ja) 画像符号化装置と画像復号装置およびその方法とプログラム
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2008079330A1 (en) Video compression with complexity throttling
WO2011122659A1 (ja) 符号化装置および復号装置
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
JP4847423B2 (ja) 動画像符号化装置、および、コンピュータプログラム
US20220345715A1 (en) Ai prediction for video compression

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees