JP4928176B2

JP4928176B2 - 映像符号化装置及び映像符号化方法

Info

Publication number: JP4928176B2
Application number: JP2006176636A
Authority: JP
Inventors: 慎吾野澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-06-27
Filing date: 2006-06-27
Publication date: 2012-05-09
Anticipated expiration: 2026-06-27
Also published as: US20090097550A1; WO2008001586A1; CN101480055B; EP2039167B1; JP2008010943A; CN101480055A; DE602007010144D1; EP2039167A1

Description

本発明は映像符号化装置及び映像符号化方法に関し、特に、映像を記録再生する記録再生装置および撮像装置に用いて好適な技術に関する。

近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率符号化し、小型記録媒体へ記録したり通信媒体を使用して伝送したりすることが可能になっている。このような技術を応用して、テレビ放送やビデオカメラの映像をストリームに変換できる映像符号化装置の開発が行われている。動画像の映像符号化方法の中では、とりわけH.264（別名MPEG4 Part10/AVC）が注目されている。

H.264ではCABAC（Context−based Adaptive Binary Arithmetic Coding）と呼ばれる算術符号化（以下、CABACと称す）と、CAVLC（Context−based Adaptive Variable length Coding）と呼ばれる可変長符号化（以下、CAVLCと称す）とが採用されている。

前記CABAC及びCAVLCに着目した先行例として、特許文献１が提案されている。特許文献１に記載された「画像情報符号化方法及び画像情報復号方法」によると、CABACへの入出力データ量を制限し、復号化器の処理時間を保証することを目的とした発明が開示されている。

具体的には、CABAC符号化器に入力される２値データの個数のカウンタと、出力されるビットデータの個数のカウンタをそれぞれ独立に有している。そして、制限監視器によって、これらカウンタのうちのどちらか一方でも、あらかじめ設定された閾値を超えてしまった場合、その符号化データは無効であることを示す信号を出力して、再符号化処理する構成が開示されている。

特開２００４―１３５２５１号公報（図１）

図５は、従来の映像符号化装置の構成例を示すブロック図である。図５において、９０１は映像入力部、９０２は変換部、９０３は量子化部、９０４はエントロピー符号化部、９０５はストリーム出力部、９０６はデータ量検出部、９０７は量子化制御部である。

前記映像入力部９０１から入力される映像信号は、変換部９０２により、縦横それぞれ１６画素から成るブロックに分割され、各ブロック毎に係数列へ変換される。前記変換部９０２は、動き予測処理や直交変換処理などを行うことによって、ブロックの視覚的な冗長性を削減する。

前記変換部９０２において直交変換された係数列は量子化部９０３に供給され、所定の量子化パラメータによって量子化される。前記量子化部９０３における量子化パラメータの大小に応じて、前記係数列の情報量は削減され、その引き換えに符号化劣化が発生する。前記量子化された係数列は、エントロピー符号化部９０４に供給される。

前記エントロピー符号化部９０４は、係数列を構成するシンボルの出現頻度に基づき、効率的な符号列へと変換し、データ圧縮する。エントロピー符号化によって生成された符号列は、ストリームとして前記ストリーム出力部９０５から出力される。前記量子化部９０３における量子化パラメータにより、ストリームのデータ量と画質とはトレードオフの関係であり、前記量子化パラメータの決定が映像符号化装置の性能に大きく影響する。また、生成されるストリームのデータ量が復号時のバッファモデルを満たすように、適切に決定されなければならない。前記バッファモデルはISO/IEC１３８１８-２規格書や、ITU-T H.264規格書によって定められており、従来の装置では以下のように制御するのが一般的である。

前記データ量検出部９０６は、前記エントロピー符号化部９０４から出力されるデータ量を検出し、検出値を量子化制御部９０７に供給する。前記量子化制御部９０７は、それまでに符号化されたピクチャ毎の発生データ量を積算し、バッファモデルが満たされるよう次に符号化するピクチャの目標符号量を算出する。

そして、ブロック単位の発生符号量を監視しながら、次のピクチャの発生符号量が目標符号量に近接するように、量子化パラメータを逐次決定し、前記量子化部９０３へ前記パラメータを供給する。すなわち、１ピクチャ符号化する毎に、発生したピクチャのデータ量を検出し、それをフィードバックして次のピクチャの符号化に使用する、という処理の流れである。

しかしながら、昨今注目されている高能率符号化方法H.264では、エントロピー符号化部９０４に二値算術符号化方式（CABAC）を使用していることに起因し、このような処理を行うことが極めて困難である。

図６に示すように、H.264におけるエントロピー符号化方式CABACは、二値化部９１０と算術符号化部９１１とから構成されている。二値化部９１０は、前記量子化部９０３から供給される係数列を「０」、「１」の二値シンボル列に変換する。前記シンボル列は算術符号化部９１１に１つずつ供給され、算術符号列へ変換することでデータ圧縮される。

この時、前記算術符号化部９１１は、１つの二値シンボル単位の処理であるため、データ処理回路は、旧来に比べて非常に多くの処理サイクルを必要としてしまう。なぜならば、旧来のエントロピー符号化部９０４では、前記量子化部９０３から供給される係数毎に処理していたのに対し、係数ひとつが複数個の二値シンボルに相当するため、数倍からワーストケースでは１０倍近くもの処理サイクルを要するのである。

前記算術符号化部９１１の処理サイクルが非常に長くなることがある。このため、１ピクチャのエントロピー符号化の処理時間も極めて長くなることになり、その結果、前述のように、１ピクチャ毎にエントロピー符号化後の発生データ量を検出してフィードバックすることが、実現し難くなっていた。

より高い処理クロックを用いた回路構成で処理速度を上げることにより、この問題を解決する符号化装置も開発されている。しかしながら、このような構成にすると回路規模や消費電力を犠牲にしなければならない問題点があった。

また、従来のエントロピー符号化と同等の符号化方式である可変長符号化CAVLCを用いて、前記問題を解決する符号化装置もあるが、CAVLCは符号化の効率がCABACよりも低く、画質を損ねてしまう問題点があった。したがって、前述した従来の特許文献１により提案されている「画像情報符号化方法及び画像情報復号方法」の場合も、前述のような問題点を解決することはできなかった。

本発明は前述の問題点にかんがみ、回路規模や消費電力を増大させることなく、符号化効率を高することができ、かつバッファモデルを適切に満たすストリームを生成することが可能な映像符号化装置を提供できるようにすることを目的としている。

本発明の映像符号化装置は、入力された映像データを量子化する量子化手段と、前記量子化手段によって量子化された映像データを二値シンボル列に変換する二値化手段と、前記二値化手段によって変換された二値シンボル列を算術符号化する算術符号化手段と、前記二値化手段から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を順次行うとともに、前記二値化手段の出力を算術符号化した前記算術符号化手段から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行う量子化制御手段とを有することを特徴とする。

本発明の映像符号化方法は、入力された映像データを量子化する量子化工程と、前記量子化工程において量子化された映像データを二値シンボル列に変換する二値化工程と、前記二値化工程において変換された二値シンボル列を算術符号化する算術符号化工程と、前記二値化工程から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を順次行うとともに、前記二値化工程の出力を算術符号化した前記算術符号化工程から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行う量子化制御工程とを有することを特徴とする。

本発明のプログラムは、入力された映像データを量子化する量子化工程と、前記量子化工程において量子化された映像データを二値シンボル列に変換する二値化工程と、前記二値化工程において変換された二値シンボル列を算術符号化する算術符号化工程と、前記二値化工程から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を順次行うとともに、前記二値化工程の出力を算術符号化した前記算術符号化工程から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行う量子化制御工程とをコンピュータに実行させることを特徴とする。

本発明によれば、量子化された映像データを二値シンボル列に変換する二値化手段から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を行い、算術符号化手段から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行うようにした。これにより、回路規模や消費電力を増大させることなく、バッファモデルを満たすストリームを適切に生成することができる。

（第１の実施形態）
以下、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態による装置の構成例を示すブロック図である。１０１は映像入力部、１０２は変換部、１０３は量子化部、１０４は二値化部、１０５は算術符号化、１０６はストリーム出力部、１０７は第１のデータ量検出部、１０８は第２のデータ量検出部、１０９は量子化制御部である。

本実施形態における装置は、H.264規格に基づき、以下の手順で高能率符号化処理を行う。
前記映像入力部１０１から入力される映像信号は、前記変換部１０２により、縦横それぞれ１６画素から成るブロックに分割され、前記ブロック毎に係数列へ変換される。前記変換部１０２は、動き予測処理や、直交変換処理などにより、ブロックにおける情報量の視覚的な冗長性を削減する。

変換部１０２における変換により得られた係数列は、量子化部１０３へ供給される。量子化部１０３は、前記係数列を量子化制御部１０９から供給される量子化パラメータによって量子化する。

前記量子化部１０３における量子化パラメータの大小に応じて、前記係数列の情報量は削減され、その引き換えとして符号化劣化が発生する。前記量子化された係数列は、二値化部１０４に供給される。

前記二値化部１０４は、各係数を０、１の二値シンボル列へ変換する。前記シンボル列は算術符号化部１０５に供給され、算術符号列へ変換することでデータ圧縮される。この時、二値化部１０４はテーブルによって各係数を二値シンボル列へ１対１に変換できるので、処理は１係数単位に実行することができる。

一方、算術符号化部１０５は、二値シンボル１つずつ処理を行う必要がある。算術符号化によって生成された符号列は、ストリームとして前記ストリーム出力部１０６より出力される。前記量子化パラメータの大小により、ストリームのデータ量と画質はトレードオフの関係にあり、前記量子化制御部１０９の処理が装置の性能に大きく影響する。

さらに、生成されるストリームのデータ量が復号時に所定のバッファモデルを満たすよう、適切に制御されねばならない。本構成例における量子化制御部１０９では、前記第１のデータ量検出部１０７および前記第２のデータ量検出部１０８の二つを用いて量子化パラメータの制御を行う。

まず、前記第１のデータ量検出部１０７は、前記二値化部１０４から出力されるデータの量、すなわち、二値シンボルのデータ量を検出し、検出値を量子化制御部１０９へ供給する。前記量子化制御部１０９は、それまでに符号化されたピクチャ毎の発生二値シンボルデータ量を積算し、バッファモデルが満たされるよう次に符号化するピクチャの目標とする二値シンボルデータ量を算出する。そして、ブロック単位の発生符号量を監視しながら、次のピクチャの発生二値シンボルデータ量が目標符号量に近接するよう、逐次、量子化パラメータを決定し、前記量子化部１０３へ前記パラメータを供給する。

この時、データ量の制御に用いる検出値、二値シンボルデータ量は、エントロピー符号化の中途段階におけるデータ量を示している。そのため、最終的に発生するデータ量よりも数割程度多い値を示していることになる。すなわち、算術符号化までを終えたにストリームのデータ量は検出値や目標値よりも少なくなる。しかし、バッファモデルを満たすという観点では、データ量が多過ぎるとバッファ容量を越えて破綻するが、少ない場合はバッファモデルに適合していると言える。

また、前記量子化制御部１０９の処理は、係数単位で更新される前記第１のデータ量検出部１０７の出力に従って行うため、処理サイクルを係数単位で進めることができる。その結果、高性能な符号化方式を用いながら、旧来の方式と同様に、ピクチャ単位、ブロック単位、あるいはブロックの集合からなるスライス単位と同期して、円滑にデータ量制御を行うことができる。

（第２の実施形態）
しかしながら、前記の処理によると、本来、バッファモデルが想定しているデータ発生量よりも常に少ない量しかデータが発生しないため、バッファモデルを破綻させることはないものの、符号化の効率という観点では、さらに工夫の余地が残っていた。

本実施形態では、第２のデータ量検出部１０８を用いることで、より正確にデータ量を見積もり、効率の高い符号化を実現する。以下に処理手順を説明する。
前記量子化制御部１０９は、前記第１のデータ量検出部１０７から得られる第１の検出値と併せて、第２のデータ量検出部１０８から第２の検出値を受け取る。前記第２の検出値は、二値シンボル単位に更新される。１つの係数が非常に長い二値シンボル列であったり、あるいは非常に短い二値シンボル列であったりするために、係数とデータ量検出値との関係が１対１ではない。そのため、ピクチャやブロック、スライスなどの入力画素列単位とも非同期な関係になる。

本実施形態の構成例では、第１の検出値を用いて暫定目標データ量を決定し、ピクチャやブロック、スライスと同期したデータ量制御を行い、逐次量子化パラメータを更新しながら、さらに非同期に第２の検出値を用いた、データ量補正を行う。

図２は、本実施形態における量子化制御部１０９の処理手順を説明するフローチャートである。
ステップＳ１は前記第１の検出値を積算し、ピクチャの暫定発生データ量を算出する。ステップＳ２は、前のステップＳ１で算出した過去のピクチャの暫定発生データ量から、次のピクチャの目標データ量を決定する。

次に、ステップＳ３は、目標データ量に基づいて各ブロックの量子化パラメータを逐次決定する。次に、ステップＳ４は前記第２の検出値を積算し、ピクチャ相当分の発生データ量が算出できたか否かを判定する。

この判定の結果、ピクチャに達していない場合は、ステップＳ１へ戻る。また、ピクチャに達している場合、ステップＳ５へ進む。ステップＳ５では、第２の検出値から算出された発生データ量と、前記暫定発生データ量とを対応するピクチャ同士で比較し、前記暫定発生データ量を補正する。以上の処理を終了条件ステップＳ０で分岐するまで続ける。

図３は、発生データ量の推移を示す特性図である。３０１は前記第１の検出値による発生データ量の推移（暫定ピクチャデータ量の積算値）である。特性図中のマーカーは、ピクチャデータ量の算出時刻を示している。図３からわかるように、第１の検出値によるデータ量の算出は、１/３０秒など所定の間隔で更新されているのがわかる。

一方、３０２に示す前記第２の検出値による発生データ量の推移は、前記算術符号化部の処理が画素数と同期しないため、変動する時刻間隔でピクチャのデータ量が算出されている。図３において３０３、３０４はそれぞれ第１の検出値と第２の検出値による発生データ量であり、ともに開始から６番目のピクチャの符号化時点に相当する積算量を示している。この積算量の差分dを算出し、前記フローチャートにおけるステップ５において、暫定発生データ量からdを減算する。

補正前の状態では、暫定発生データ量は、正しい発生データ量より多く算出されるので、バッファ制御は本来よりも厳しく制御され、規格として許される量よりも、常に少なめのデータ量が発生し、画質性能をフルに発揮できない。しかし、前述したように、差分dが確定する毎に、データ量の検出値を正しい値に補正し、適切なバッファ制御による好適な画質性能を実現することができる。

図４は、本構成例によるデコーダバッファモデルのバッファ量推移を示す特性図である。図４において、４０１は暫定発生データ量によって制御したバッファ量推移であるが、３０分の１秒単位にバッファから取り除かれるピクチャデータ量が多いため、バッファ残量が常に少なくて、バッファを十分に生かせない状態である。

６番目のピクチャに相当するマーカー４０４の時点で、前記差分dにより、マーカー４０３へ補正し、十分なバッファ残量を生かした制御を施すことが可能になる。このように、暫定発生データ量でバッファモデルを制御しながら、それを追いかけるように補正し、好適な制御を行うことができる。なお、本実施形態の説明では、第１の検出値と第２の検出値の差分によって補正を行っている例を説明したが、比率による補正を行っても同様な効果が得られ、本発明の範疇である。

このような構成により、処理サイクルの短い二値化部の出力で暫定の発生データ量を見積り、順次量子化制御を行いながら、それを追うようにして算術符号化部の出力から正確な発生データ量を検出し、適宜見積もり量の補正を行う。その結果、回路規模や消費電力を増大させることなく、適切にバッファモデルを満たすストリームを生成することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における映像符号化装置を構成する各手段、並びに映像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態を示し、映像符号化装置の構成例を示すブロック図である。実施形態における量子化制御部の処理手順を説明するフローチャートである。実施形態における発生データ量の推移を示す図である。実施形態におけるデコーダバッファモデルの推移を示す図である。従来の映像符号化装置の構成例を示すブロック図である。 H.264におけるエントロピー符号化方式の構成例を示すブロック図である。

符号の説明

１０１映像入力部
１０２変換部
１０３量子化部
１０４二値化部
１０５算術符号化部
１０６ストリーム出力部
１０７第１の検出部
１０８第２の検出部
１０９量子化制御部

Claims

入力された映像データを量子化する量子化手段と、
前記量子化手段によって量子化された映像データを二値シンボル列に変換する二値化手段と、
前記二値化手段によって変換された二値シンボル列を算術符号化する算術符号化手段と、
前記二値化手段から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を順次行うとともに、前記二値化手段の出力を算術符号化した前記算術符号化手段から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行う量子化制御手段と、
を有することを特徴とする映像符号化装置。
前記量子化制御手段は、前記暫定的に見積もった発生データ量に従って、前記次に符号化するピクチャ内の画像ブロックに対する量子化パラメータを決定することを特徴とする請求項１に記載の映像符号化装置。
前記二値化手段から出力された二値シンボル列のデータ量を検出する第１のデータ量検出手段と、
前記算術符号化手段から出力されたデータのデータ量を検出する第２のデータ量検出手段とをさらに備えることを特徴とする請求項１又は２に記載の映像符号化装置。
前記量子化制御手段は、前記第１のデータ量検出手段から出力される第１の検出値の積算を前記暫定的に見積もった発生データ量として算出し、前記暫定的に見積もった発生データ量が復号に係るバッファモデルを満たすように制御することを特徴とする請求項３に記載の映像符号化装置。
前記量子化制御手段は、前記第２のデータ量検出手段から出力される第２の検出値に基づいてピクチャ相当分の発生データ量を算出し、算出されたピクチャ相当分の発生データ量に基づいて、前記暫定的に見積もった出力データ量を、所定の周期に従って、前記バッファモデルを満たす範囲内で補正することを特徴とする請求項４に記載の映像符号化装置。
入力された映像データを量子化する量子化工程と、
前記量子化工程において量子化された映像データを二値シンボル列に変換する二値化工程と、
前記二値化工程において変換された二値シンボル列を算術符号化する算術符号化工程と、
前記二値化工程から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を順次行うとともに、前記二値化工程の出力を算術符号化した前記算術符号化工程から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行う量子化制御工程と、
を有することを特徴とする映像符号化方法。
入力された映像データを量子化する量子化工程と、
前記量子化工程において量子化された映像データを二値シンボル列に変換する二値化工程と、
前記二値化工程において変換された二値シンボル列を算術符号化する算術符号化工程と、
前記二値化工程から出力された二値シンボル列のピクチャ毎のデータ量に基づいて、次に符号化するピクチャの目標とする発生データ量を暫定的に見積もって量子化制御を順次行うとともに、前記二値化工程の出力を算術符号化した前記算術符号化工程から出力されたデータのデータ量に基づいて前記暫定的に見積もった発生データ量の補正を行う量子化制御工程とをコンピュータに実行させることを特徴とするプログラム。
請求項７に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。