JPWO2012140904A1 - 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置 - Google Patents

Abstract

色差成分の画質劣化を低減する。輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置（２００）であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部（２２０）と、前記符号量割当部（２２０）によって決定された符号量で、前記複数の成分のそれぞれを圧縮する圧縮部（２３０）とを備える。

Description

本発明は、画像圧縮装置等に関し、特に、メモリに格納するデータの容量を削減するための画像圧縮装置等に関する。

近年、ＴＶやモバイル機器に搭載されたディスプレイの高解像度化が急速に進んでいる。この１０年間で、ハイビジョン放送の開始やＢｌｕ−ｒａｙ Ｄｉｓｃの登場に伴い、ディスプレイの解像度はＳＤ（例えば、７２０ｘ４８０）からＨＤ（例えば、１３６６ｘ７６８）、Ｆｕｌｌ ＨＤ（例えば、１９２０ｘ１０８０）へと進化を遂げた。

しかしながら、ディスプレイの高解像度化が進むと、ディスプレイに出力される出力画像のデータ量も増大する。これに伴い、ディスプレイに出力画像を出力する画像処理装置において、出力画像を一時的に格納するためのフレームメモリの容量が増大し、必要なメモリ帯域も増大することになる。このようなデータ量の増加に伴い、外付けメモリの個数増加や消費電力の増加の問題はより深刻になっている。

なお、一般的なＤＴＶ（Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ）システムは、デコーダブロックと、画像信号処理ブロックとを備えている。

デコーダブロックは、ＭＰＥＧ２やＨ．２６４などの規格に沿ったストリームデータをデコードし画像（フレーム）データをメモリに書き込む。

画像信号処理ブロックは、メモリに書き込まれた画像データを読み込み、リサイズや高画質化等の画像処理を行う。また、画像信号処理ブロックは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）や複数の動画の合成処理もここで行う。画像信号処理ブロックは、画像処理や合成処理のための画像データを、一時的にメモリへ書き込み、必要になったら読み出し、全ての処理が完了した画像データを出力画像として出力する。

具体的には、解像度が１０８０ｐ（１９２０ｘ１０８０、６０ｆｐｓ）の２４ｂｉｔフルカラーの動画を扱う場合、１フレームあたりの必要帯域は約３６０ＭＢ／ｓである。さらに、上述した動画に対して、複雑な画像処理(複数動画の合成など)を行う場合には、メモリへの書き込み回数および読み出し回数が非常に増加するため、必要とされるメモリ帯域はかなり増加する。この場合、ＤＴＶシステムでは、数ＧＢ／ｓ以上の帯域を持つ高周波数のメモリが複数必要となり、コストが増大する。

このため、メモリに格納する前に画像データを圧縮処理することにより、メモリに格納する画像データの容量を削減できれば、メモリ帯域を削減することができ、コスト削減、例えば、搭載するメモリ個数の削減や、周波数の低いメモリの使用が可能になる。

従来の画像圧縮装置としては、例えば、画像データを複数の画像ブロックに分割し、画像ブロック単位で圧縮処理を行う装置であって、画像ブロックにＣＧエッジが含まれているか否かに応じて、画像ブロックのデータセット値に含まれる色差成分をサブサンプリング（間引き）し、サブサンプリング後のデータセット値を予測符号化方式により符号化しているものが開示されている（例えば、特許文献１参照）。図１１は、特許文献１に記載された従来の画像圧縮装置を示すブロック図である。

上記特許文献１に記載の画像圧縮装置は、入力された画像データの色空間を輝度成分と色差成分とに変換し、入力された画像データにおける階調変化度に応じて、複数の成分のうちの一部の成分について、解像度を低下させる解像度変換処理を実行する。特許文献１に記載の画像圧縮装置では、解像度を低下させることによる影響が少ない成分、例えば、ＹＣｂＣｒ色空間の画像データのＣｂ成分およびＣｒ成分、ＲＧＢ色空間の画像データのＢ成分について、解像度を低下させている。

特開２００７-２８３９４号公報

上述したように、特許文献１に記載の画像圧縮装置では、解像度の低下による影響が顕在化しにくい一部の成分をサブサンプリングする（つまり、間引きする、あるいは、解像度を低下させる）ことにより圧縮率を高めている。このため、例えば、デジタル放送など、輝度成分および色差成分で構成され、もともと色差成分が間引かれている画像データの場合には、解像度の低下による影響が顕在化しにくい色差成分がさらに必要以上に間引かれることになり、画像劣化を引き起こす可能性が高くなる。

本発明は、色差成分がサブサンプリングされた画像データにおいても、画像劣化のより少ない圧縮処理を行える画像圧縮装置等を提供することを目的とする。

上記の課題を解決するために、本発明に係る画像圧縮装置の一態様は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える。

本発明の画像圧縮装置等によれば、色差成分がサブサンプリングされた画像データにおいても、画像劣化のより少ない圧縮処理を行うことが可能になる。

図１は、本発明に係る映像表示装置の構成例を示すブロック図である。 図２は、映像表示装置のうち、画像信号処理部の構成例を示すブロック図である。 図３は、画像信号処理部を構成する画像圧縮部の構成例を示すブロック図である。 図４は、画像圧縮部を構成する符号量割当部の構成例を示すブロック図である。 図５は、画像圧縮部を構成する圧縮部の構成例を示すブロック図である。 図６は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮するための画像圧縮方法の各工程を示すフローチャートである。 図７は、輝度成分に対し４ビットの差分符号化と６ビットの画素符号化を行ったときの最大誤差を示すグラフである。 図８Ａは、輝度成分に４ビットを割り当てた場合の差分絶対値と最大誤差との関係を示すグラフである。 図８Ｂは、色差成分に６ビットの差分絶対値と最大誤差との関係を示すグラフである。 図９Ａは、輝度成分に６ビットを割り当てた場合の差分絶対値と最大誤差との関係を示すグラフである。 図９Ｂは、色差成分に４ビットの差分絶対値と最大誤差との関係を示すグラフである。 図１０は、ＤＴＶシステムの外観を示す外観図である。 図１１は、従来の画像圧縮装置の構成を示すブロック図である。

（発明の概要）
本開示の一態様に係る画像圧縮装置は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える。

上記構成の画像圧縮装置によれば、固定長圧縮において、輝度成分の変化が少ない場合に、他の成分（例えば、色差成分、色相成分、彩度成分）の符号量の割り当てを増やすことができる。輝度成分は、他の成分に対して劣化の影響が顕在化しやすいが、変化量が少ない場合は、符号量の割り当てを少なくしても、劣化を防止あるいは顕在化を抑えることが可能である。つまり、上記構成の画像圧縮装置では、輝度成分の変化量が少ない場合に、輝度成分の符号量の割り当てを少なくし、他の成分の符号量を増やすので、輝度成分の劣化を顕在化させることなく、他の成分の解像度の低下を押さえることが可能になる。

特許文献１に記載の画像圧縮装置では、例えば、色差成分を間引くと、特に、色グラデーションの場合は、色変化が歪になる可能性が高くなり、色エッジの場合は、画像がぼやけたりする可能性が高くなる。これに対し、上記構成の画像圧縮装置は、特に、輝度成分の変化が比較的少ない色グラデーションや色エッジでは、色差成分の符号量を増やすことができるので、良好にノイズを抑えることができる。

なお、上記構成の画像圧縮装置において、圧縮対象データとは、１フレーム分の画像データであってもよいし、１フレーム分の画像データを所定画素数のブロックに分割した画像ブロックであってもよい。

また、例えば、前記符号量割当部は、前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、前記差分算出部によって算出された前記差分絶対値の最大値に応じて、割り当てる前記符号量を決定してもよい。

また、例えば、前記符号量割当部は、さらに、前記差分算出部において算出された前記差分絶対値の最大値と、所望の閾値とを比較し、前記最大値が前記閾値以下のときは、前記輝度成分に割り当てる符号量を第１の符号量に決定し、前記閾値を上回るときは、前記輝度成分に割り当てる符号量を第２の符号量に決定する比較部を備えてもよい。

また、例えば、前記符号量割当部は、前記輝度成分に前記第１の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量が、前記輝度成分に前記第２の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量よりも大きくなるように、割り当てる前記符号量を決定してもよい。

また、例えば、前記符号量割当部は、前記輝度成分に加え、前記圧縮対象データの特性に応じて、割り当てる前記符号量を決定してもよい。

また、例えば、前記符号量割当部は、前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、前記輝度成分の前記差分絶対値が小さくなるほど前記輝度成分に割り当てる符号量が小さくなるように、且つ、前記圧縮対象データの前記輝度成分以外の成分の間引き量が大きいほど前記輝度成分に割り当てる符号量が小さくなるように、割り当てる前記符号量を決定してもよい。

また、例えば、前記圧縮部は、互いに異なる複数の符号化を実行して複数の符号化データを生成する符号化部と、前記複数の符号化データを復号して複数の復号データを生成する復号化部と、前記複数の復号データ毎に、復号データと前記圧縮対象データとの差分を求め、前記差分に基づいて、前記複数の符号化データから一つの符号化データを決定する圧縮モード判定部と、前記圧縮モード判定部によって決定された前記符号化データを選択出力する選択部とを備えてもよい。

また、例えば、前記比較部は、前記差分絶対値の最大値と、前記複数の符号化を前記輝度成分に対して適用した場合の最大誤差により決定された前記閾値とを比較して、前記輝度成分に割り当てる符号量を決定してもよい。

本開示の一態様に係る画像圧縮方法は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮するための画像圧縮方法であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む。

本開示の一態様に係る集積回路は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置のための集積回路であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える。

本開示の一態様に係るプログラムは、輝度成分を含む複数の成分で構成される圧縮対象データに対する固定長圧縮をコンピュータに実行させるためのプログラムであって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む。

本開示の一態様に係る映像表示装置は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置を備える映像表示装置であって、前記圧縮対象データを前記画像圧縮装置により固定長圧縮した後の圧縮データを格納するメモリと、前記圧縮データを復号した復号データを用いて所望の画像処理を行い、画像処理後のデータを所定の表示パネルに対して出力する画像信号処理部とを備え、前記画像圧縮装置は、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記画像信号処理部から出力された前記圧縮対象データの前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮し、前記メモリに出力する圧縮部とを有する。

以下、本発明の実施の形態を、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の望ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置および接続形態、処理、処理の順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より望ましい形態を構成する任意の構成要素として説明される。

（実施の形態）
本開示に係る画像圧縮装置の実施形態について、図１〜図５を基に説明する。なお、本実施形態では、画像圧縮装置がＤＴＶシステム（映像表示装置の一例）に搭載されている場合を例に説明する。

［ＤＴＶシステムの構成］
まず、図１のＤＴＶシステム１の構成について説明する。図１は、本実施形態に係る画像圧縮装置を採用したＤＴＶシステム１の構成例を示すブロック図である。

ＤＴＶシステム１は、図１に示すように、画像処理装置１０、フロントエンド２０、外部メモリ３０、ディスプレイ４０を備えている。

フロントエンド２０は、チューナまたは通信モジュールなどの映像入力デバイスで構成され、伝送されてくるデジタル放送波から所望のトランスポートストリーム、例えば、選局された放送局のトランスポートストリームを選択し、画像処理装置１０のストリームコントローラ１２に出力する。

外部メモリ３０は、ＲＡＭやＦＩＦＯで構成され、画像処理装置１０のメモリ制御部１５からの要求に基づいてデータの書き込みおよび読み出しを行う。

ディスプレイ４０は、ＤＴＶシステムの表示パネルであり、本実施形態では、ＤＴＶシステム１から表示データを受け付けて表示する。

画像処理装置１０は、フロントエンド２０から出力されたストリームデータを受け付けて表示データを生成するための装置であり、図１に示すように、ストリームコントローラ１２、ＣＰＵ１３、デコーダ１４、メモリ制御部１５、および、画像信号処理部１６を備えている。なお、ストリームコントローラ１２、ＣＰＵ１３、デコーダ１４、メモリ制御部１５、画像信号処理部１６は、バス１１を介して接続されている。

ストリームコントローラ１２は、デスクランブラやトランスポートデコーダを主体として構成される。フロントエンド２０から出力されたトランスポートストリームは、ストリーム暗号で暗号化されているため、ストリームコントローラ１２は、トランスポートストリームの著作権情報を基にストリーム暗号を解除する。ストリームコントローラ１２は、ストリーム暗号を解除したトランスポートストリームから所望の映像のパケット、音声のパケット、及び、番組情報等の付加情報のパケットを抽出する。

ＣＰＵ１３は、一般的に、ハードウェアであるプロセッサにより実現され、画像信号処理部１６を含むシステム全体の制御を行う。

デコーダ１４は、映像のパケット及び音声のパケットをデコードし、映像信号及び音声信号を得て、画像信号処理部１６へ出力する。

メモリ制御部１５は、バス１１を介さずに外部メモリ３０と直接接続され、ストリームコントローラ１２、ＣＰＵ１３、デコーダ１４、画像信号処理部１６が要求するメモリアクセスを処理する。

画像信号処理部１６は、デコーダ１４からの映像信号及び音声信号を受け付けて、映像信号が示す画像に対し画像処理および合成処理を実行する処理部であり、図２に示すように、画像処理・合成処理部１６１と、画像圧縮伸張部１６２とを有している。図２は、画像信号処理部１６の構成例を示すブロック図である。

画像処理・合成処理部１６１は、デコーダ１４からバス１１を介して入力された映像信号が示す画像に対して、リサイズ処理や高画質化処理等の画像処理、および、ＯＳＤや複数動画等の合成処理を行い、ディスプレイ４０に画像処理および合成処理後の映像信号を出力する。

画像圧縮伸張部１６２は、図２に示すように、画像処理・合成処理部１６１から出力された入力データに対し固定長圧縮処理を行う画像圧縮部２００と、固定長圧縮処理された圧縮データを伸張処理する画像伸張部３００とを有している。画像圧縮伸張部１６２は、図２に示すように、画像信号処理部１６のバス１１とのインタフェース部分に設けられている。本実施形態では、後述するように画像圧縮伸張部１６２において外部メモリ３０に格納される画像データを圧縮および伸張することで、バス１１上に流れるデータ量を少なくし、外部メモリ３０の帯域および容量を削減することが可能になる。

画像圧縮部２００は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する処理部であり、入力データを、ブロック単位で固定長圧縮する。ブロック単位で圧縮処理を行うことにより、ハードウェア実装するにあたっての演算量の低減が図れる。また、ブロック単位で固定長圧縮にすることで、画像全体での最悪圧縮率も保証できる。

図３は、画像圧縮部２００の構成例を示すブロック図である。より具体的には、画像圧縮部２００は、図３に示すように、入力データを所定画素数の複数の圧縮対象ブロック（圧縮対象データに相当）に分割するブロッキング部２１０と、圧縮対象ブロックを構成する複数の画素の輝度成分に基づいて、ブロック単位で成分別に符号量の割り当てを行う符号量割当部２２０と、割り当てられた符号量で成分のそれぞれを圧縮する圧縮部２３０とを有している。

符号量割当部２２０は、複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、輝度成分に応じて、複数の成分のそれぞれに割り当てる符号量を決定する処理部である。

図４は、符号量割当部２２０の構成例を示すブロック図である。符号量割当部２２０は、図４に示すように、ブロックを構成する画素の輝度値と当該画素に隣接する隣接画素の輝度値との差分絶対値を求める差分算出部２２１と、ブロックを構成する複数の画素の差分絶対値のうちの最大値をブロックの差分絶対値とし、ブロックの差分絶対値と所望の閾値とを比較して符号量の割当を決める比較部２２２とを有している。

圧縮部２３０は、画素データの成分単位で固定長圧縮処理を行うように構成されている。

図５は、圧縮部２３０の構成例を示すブロック図である。具体的には、圧縮部２３０は、図５に示すように、画素符号化部２３１と、差分符号化部２３２と、画素復号化部２３３と、差分復号化部２３４と、圧縮モード判定部２３５と、選択部２３６とを備える。

画素符号化部２３１は、ブロックを構成する複数の画素の画素値に対して固定長符号化処理を行う。差分符号化部２３２は、ブロックを構成する複数の画素の隣接画素との差分絶対値に対して固定長符号化処理を行う。画素復号化部２３３は、画素符号化部２３１で固定長圧縮処理された圧縮データに対し復号処理を行い、復号データを生成する。差分復号化部２３４は、差分符号化部２３２で固定長圧縮処理された圧縮データに対し復号処理を行い、復号データを生成する。圧縮モード判定部２３５は、画素復号化部２３３で復号された復号データと圧縮対象ブロックの対応する画素データ（入力画素データ）との誤差と、差分符号化部２３２で復号された復号データと入力画素データとの誤差とを比較し、画素符号化部２３１および差分符号化部２３２のうち、誤差が少ない復号データに対応する圧縮データを出力した符号化部を判定する。選択部２３６は、圧縮モード判定部２３５により誤差が少ないと判定された符号化部から出力された圧縮データを選択し、選択された圧縮データに対応する符号化部を示す符号化情報を付加した圧縮データをメモリ制御部１５に出力する。

画像伸張部３００は、外部メモリ３０から読み出された圧縮データを、符号化情報が示す符号化方法に対応する復号方法で復号し、画像処理・合成処理部１６１に出力する。

なお、本実施形態では、画像圧縮伸張部１６２を画像信号処理部１６のインタフェース部分に設ける構成としたが、これに限るものではない。画像圧縮伸張部１６２は、例えば、メモリ制御部１５のバス１１とのインタフェース部分など、画像処理・合成処理部１６１から出力された入力データに対し、外部メモリ３０に格納される前に、固定長圧縮処理を行うことができるように設けられていればよい。画像圧縮伸張部１６２により、外部メモリ３０に格納される前に固定長圧縮処理を行い、外部メモリ３０から読み出した固定長圧縮処理された圧縮データに対し、画像処理を行う前に伸張処理を行うことで、外部メモリ３０に記憶されるデータの容量を削減し、メモリ帯域を削減することができる。

［画像圧縮部２００の処理動作］
次に、画像圧縮部２００の処理動作について、図６を基に、詳細な数値を用いて具体的に説明する。図６は、画像圧縮部２００の処理動作を示すフローチャートである。

なお、本実施形態においては、前提条件として、圧縮対象ブロックを構成する画素の画素データが、色空間の各成分を１０ビット精度で持つ場合を例に説明する。色空間は、本実施形態では、ＹＣｂＣｒ色空間であり、画素データは、輝度成分（Ｙ）と色差成分（ＣｂおよびＣｒ）の２つの成分を持つ。各成分のデータ量が１０ビットであることから、１つの画素データのデータ量は２０ビットとなる。なお、本実施形態の画素データは、当該色空間における輝度成分（Ｙ）と色差成分（ＣｂおよびＣｒ）のサンプル比（Ｙ：Ｃｂ：Ｃｒ）が４：２：２のフォーマットで表される。

また、本実施形態では、目標圧縮率を５０％に設定している。すなわち、１つの画素データを、２０ビットから１０ビットに圧縮する。従って、本実施形態では、画像信号処理部１６の符号量割当部２２０は、輝度成分および色差成分に、全体で１０ビットとなるように符号量を割り当てる。本実施形態では、輝度成分と色差成分の符号量の割り当てを（４ビット：６ビット）、（６ビット：４ビット）とする場合について説明する。

さらに、本実施形態では、画像信号処理部１６の画像圧縮伸張部１６２は、ディスプレイ４０にＴＶ放送を表示するのに用いられるデータそのものではなく、表示データに対して画像処理を行う際に参照される処理用データを、圧縮対象データとしている。より具体的には、処理用データは、例えば、ＤＴＶシステム１の内部でのみ使用されるデータであり、イントラ予測における予測対象ブロックの周囲の隣接画素の画素データなどがあげられる。なお、圧縮対象データは、ディスプレイ４０に直接表示される画像データではないことから、ある程度画質が低下しても、ディスプレイ４０上に表示される画像への影響は少ない。このため、当該圧縮対象データをさらに固定長圧縮処理（固定長符号化）しても、ディスプレイ４０上に表示される画像への影響は少ないと考えられる。画像信号処理部１６は、このような処理用データに対し、固定長圧縮処理および伸張処理を行うことで、ディスプレイ４０上に表示される画像の画質低下を招くことなく、外部メモリ３０に格納されるデータの容量を削減できる。また、固定長圧縮処理を行うことから、圧縮方法が簡素であり、少ない処理量で圧縮処理を実行できる。

画像圧縮部２００は、圧縮対象データが入力されると、ブロッキング部２１０が、入力された圧縮対象データを、既定サイズの画素からなる複数の圧縮対象ブロックに分割し、符号量割当部２２０および圧縮部２３０に出力する（ステップＳ１１）。本実施形態では、圧縮対象ブロックは、水平４画素（４ｘ１画素単位）のブロックである場合を例に説明する。なお、圧縮対象ブロックは、水平４画素に限られるものではなく、水平８画素や水平１６画素、２×２の矩形など、任意の大きさであってよい。

符号量割当部２２０は、入力された圧縮対象ブロック単位で符号量の割り当てを行う（ステップＳ１２）。

符号量割当部２２０の差分算出部２２１は、入力された圧縮対象ブロックを構成する画素のそれぞれについて、隣接画素との差分絶対値を計算し、比較部２２２に出力する。

符号量割当部２２０の比較部２２２は、差分算出部２２１から出力された差分絶対値の中で最大値であるものを抽出し、抽出した差分絶対値と閾値とを比較することにより、輝度成分および色差成分に割り当てる符号量を決定する。

本実施形態では、閾値が１６に設定されている場合を例に説明する。また、本実施形態の比較部２２２は、差分絶対値の最大値が１６以下の場合は、輝度成分に割り当てる符号量を４ビット（第１の符号量に相当）、色差成分に割り当てる符号量を６ビットに設定し、差分絶対値の最大値が１６より大きいの場合は、輝度成分に割り当てる符号量を６ビット（第２の符号量に相当）、色差成分に割り当てる符号量を４ビットに設定し、設定した符号量を割り当て情報として圧縮部２３０に出力する。なお、割り当て情報は、圧縮部２３０の処理が固定長圧縮処理であることから、輝度成分の割り当て量のみであってもよいし、色差成分の割り当て量のみであってもよいし、両方の成分の割り当て量であってもよい。成分が３種類以上ある場合は、少なくとも２種類の成分の割り当て量の情報を含んでいればよい。

圧縮部２３０において、画素符号化部２３１は、符号量割当部２２０から出力された割り当て情報の符号量に従って、入力された圧縮対象ブロックを構成する画素の輝度成分および色差成分に対して量子化処理を実行し、輝度成分の符号化データと色差成分の符号化データとを含む画素符号化データを出力する（ステップＳ１３の一部）。量子化処理としては、例えば、１０ビットの成分を４ビットにする場合、上位５ビット目に１を足してから上位４ビットのデータのみを抽出し、下位６ビットを削除する方法などがある。

差分符号化部２３２は、隣接画素同士の成分の差分値を算出し、符号量割当部２２０から出力された割り当て情報の符号量に従って、当該差分値を符号化する（ステップＳ１３の一部）。なお、圧縮対象ブロックの１画素目については、現在の圧縮対象ブロックの直前に入力された圧縮対象ブロックの４画素目のデータを用いる。つまり、差分符号化部２３２は、圧縮対象ブロックを構成する複数の画素の複数の成分のデータに加え、差分復号化部２３４または画素復号化部２３３から圧縮モード判定部２３５を介して出力された、直前の圧縮対象ブロックの４画素目の符号化データ（圧縮データ）を復号した復号データを用いて、符号化データを生成する。

符号化方法としては、圧縮対象ブロックの１画素目は、先ず、直前のブロックで復号化した４画素目の画素データとの差分を計算して、差分値を算出する。その後、符号量割当部２２０によって決められた符号量に従ってクリップ処理を実施し、１画素目の符号化データを出力する。クリップ処理は、例えば、１０ビットの差分値を４ビットにする場合、−８以下の差分値は−８（１１１１）に、７以上の差分値は１５（０１１１）にクリッピングして行う。

圧縮対象ブロックのｎ（ｎ＝２、３、４）画素目は、圧縮対象ブロックの（ｎ−１）画素目の符号化データを復号した復号データとの差分を計算して、差分値を算出する。その後、１画素目と同様に、クリップ処理を実施し、ｎ画素目の符号化データを出力する。

画素復号化部２３３は、画素符号化データに対して逆量子化処理を実施し、画素データに復号して復号データを生成し、圧縮モード判定部２３５に出力する。逆量子化処理は、例えば、４ビットの符号化データから１０ビットの画素データに復号する場合、画素データの上位４ビットを符号化データで埋め、下位６ビットを０や１で埋める方法や、下位ビットに対して符号化データを埋める方法がある。

差分復号化部２３４は、直前に復号した画素データを保持しており、直前の画素データに、差分符号化データを復号したデータを加算して復号データを生成し、圧縮モード判定部２３５に出力する。

圧縮モード判定部２３５は、画素復号化部２３３から復号データが出力されると、圧縮部２３０に入力された圧縮対象ブロックの対応する画素の画素データ（入力画素データ）と画素復号化部２３３から出力された復号データとの第１の差分を算出する。同様に、圧縮モード判定部２３５は、差分復号化部２３４から復号データが出力されると、対応する入力画素データと差分復号化部２３４から出力された復号データとの第２の差分を算出する。圧縮モード判定部２３５は、第１の差分と第２の差分とを比較し、画素符号化部２３１および差分符号化部２３２のうち、値が小さい方の差分に対応する符号化部を決定する（ステップＳ１４）。また、決定した符号化部に対応する方の復号データを、次の画素データに対する符号化で使用するため、差分符号化部２３２に出力する。

なお、本実施形態の圧縮モード判定部２３５は、画素単位で、画素復号化部２３３から出力された復号データと入力画素データとの誤差（第１の差分）、および、差分復号化部２３４から出力された復号データと入力画素データとの誤差（第２の差分）を求め、誤差が少ない方の符号化部を判定するように構成したが、これに限るものではない。判定方法としては、例えば、圧縮対象ブロック単位で行ってもよい。この場合は、例えば、圧縮対象ブロックを構成する全ての画素について第１の差分および第２の差分を算出し、最大誤差が小さい符号化部を選択する方法や、差分値（誤差）の平均値が小さい符号化部を選択する方法などがある。

選択部２３６は、圧縮モード判定部２３５によって選択された符号化部から出力される符号化データを、バス１１を介してメモリ制御部１５に選択出力する。

［画像圧縮部２００における閾値の決定方法］
以下、画像圧縮部２００の符号量割当部２２０における閾値の決定方法について、図７を用いて説明する。なお、本実施形態では、閾値は、画像処理装置１０の製造時に、画像処理装置１０に固定的に設定される場合を例に説明するが、製造後に外部から任意に設定可能に構成してもよい。

本実施形態では、閾値は、複数の符号化方法、本実施形態では、差分符号化と画素符号化で、入力される圧縮対象ブロックを構成する画素データの輝度値と圧縮後の輝度値との最大誤差が最小になるように決定する。

より詳細には、図７に示すように、差分符号化の場合、直前の画素（隣接画素）との輝度成分の差分絶対値が、圧縮後の符号量で表すことができる最大値以下に収まる場合は、圧縮前の差分絶対値と圧縮後の差分絶対値との最大誤差は０となる（図７の差分絶対値が８以下の実線部分）。また、隣接画素との輝度成分の差分絶対値が、圧縮後の最大値以下に収まらない場合は、圧縮後の差分絶対値が圧縮後の最大値にクリップされるため、最大誤差は画素同士の輝度値が離れるほど大きくなる（図７の差分絶対値が８〜１６の実線部分と差分絶対値が１６以上の破線部分）。例えば、差分符号化において、圧縮後の符号量の割り当てが４ビットの場合、圧縮後の符号量で表すことができる最大値は−８〜７となる。従って、差分符号化における最大誤差の推移は、図７の「４ｂｉｔクリップ」のグラフ（図７の差分絶対値が１６以下の実線部分と差分絶対値が１６以上の破線部分）で示すように、差分絶対値が８ビット以下の領域では０になり、８ビット以上の領域では、差分絶対値に比例して大きくなる。

これに対し、画素符号化の場合、最大誤差は差分絶対値によらず一定になる。例えば、画像符号化において、圧縮後の符号量の割り当てが６ビットの場合、６ビット量子化では下位４ビットを丸めるため、最大誤差は８になる。つまり、画素符号化における最大誤差の推移は、図７の「６ｂｉｔ量子化」で示すグラフ（図７の差分絶対値が１６以下の破線部分と差分絶対値が１６以上の実線部分）になる。

すなわち、差分絶対値の最大値が閾値以下の場合（本実施形態では、符号量の割当量が４ビット）は、差分符号化で最大誤差が小さくなる傾向にあり、差分絶対値の最大値が閾値より大きい場合（本実施形態では、符号量の割当量が６ビット）は、画素符号化で最大誤差が小さくなる傾向にあると考えられる。従って、図７より、４ビットの符号量で差分符号化を実行したときの最大誤差を示す「４ｂｉｔクリップ」グラフと、６ビットの符号量で画素符号化を実行したときの最大誤差を示す「６ｂｉｔ量子化」グラフの交点である１６を閾値に設定する。これにより、差分絶対値が１６より小さい場合は、４ビットの符号量の割り当てで差分符号化を行うことで、最大誤差を８に抑えることができ、１６以上の場合は、６ビットの符号量の割り当てで画素符号化を行うことで、最大誤差を８に抑えることができる。

［最大誤差と差分絶対値との関係］
次に、輝度成分と色差成分の符号量の割り当てを（４ビット：６ビット）、（６ビット：４ビット）とした場合の最大誤差と差分絶対値との関係について、図８Ａ、図８Ｂ、図９Ａおよび図９Ｂを用いて説明する。

先ず、輝度成分の差分絶対値が１６以下の場合、すなわち、輝度成分と色差成分に（４ビット：６ビット）で符号量を割り当てる場合について説明する。図８Ａは、輝度成分と色差成分に（４ビット：６ビット）で符号量を割り当てた場合の輝度成分の最大誤差と差分絶対値との関係を示すグラフ（実線部分）である。なお、図８Ａにおいて、最大誤差８の横一直線の破線は、６ビットの画素符号化を行った場合の最大誤差を示すグラフである。また、差分絶対値が１６以下の領域の実線および差分絶対値が１６以上の領域の斜めの破線が、４ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。図８Ｂは、輝度成分と色差成分に（４ビット：６ビット）で符号量を割り当てた場合の色差成分の最大誤差と差分絶対値との関係を示すグラフ（実線部分）である。なお、図８Ｂにおいて、最大誤差８の横一直線の破線および実線が、６ビットの画素符号化を行った場合の最大誤差を示すグラフとなっている。また、差分絶対値が４０以下の領域の実線および差分絶対値が４０以上の領域の破線が、４ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。

図８Ａに示すように、輝度成分の最大誤差は、差分絶対値が０〜８のときは０、差分絶対値が８〜１６のときは差分絶対値に応じて大きくなる。

また、図８Ｂに示すように、色差成分の最大誤差は、６ビットの符号量で差分符号化を行った場合の「６ｂｉｔクリップ」のグラフと、６ビットの符号量で画素符号化を行った場合の「６ｂｉｔ量子化」のグラフのうち、値の小さい方になる。つまり、色差信号の差分絶対値が４０よりも小さい場合は、６ビットの差分符号化を行い、４０以上の場合は、６ビットの画素符号化を行うことで、最大誤差を８に抑えることができる。

引き続き、輝度成分の差分絶対値が１６より大きい場合、すなわち、輝度成分と色差成分に（６ビット：４ビット）で符号量を割り当てる場合について説明する。図９Ａは、輝度成分と色差成分に（６ビット：４ビット）で符号量を割り当てた場合の輝度成分の最大誤差と差分絶対値との関係を示すグラフ（実線部分）である。なお、図９Ａにおいて、最大誤差８の横一直線の破線および実線が、６ビットの画素符号化を行った場合の最大誤差を示すグラフとなっている。また、斜めの破線は、４ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。図９Ｂは、輝度成分と色差成分に（６ビット：４ビット）で符号量を割り当てた場合の色差成分の最大誤差と差分絶対値との関係を示すグラフ（実線部分）である。なお、図９Ｂにおいて、差分絶対値が３２以下の領域の実線と３２以上の領域の破線が、４ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。また、差分絶対値が３２以下の領域の破線と３２以上の領域の実線が、４ビットの画素符号化を行った場合の最大誤差を示すグラフとなっている。

図９Ａに示すように、輝度成分の最大誤差は、８となっている。

また、図９Ｂに示すように、色差成分の最大誤差は、４ビットの符号量で差分符号化を行った場合の「４ｂｉｔクリップ」のグラフと、４ビットの符号量で画素符号化を行った場合の「４ｂｉｔ量子化」のグラフのうち、値の小さい方になる。つまり、色差信号の差分絶対値が３２よりも小さい場合は、４ビットの差分符号化を行い、３２以上の場合は、４ビットの画素符号化を行うことで、最大誤差を３２に抑えることができる。

以上より、本実施形態では、輝度成分の変化が少ない場合、色差成分の符号量を増やすことで、色差成分の精度を向上させることができる。より詳細には、従来は、輝度成分に応じて符号量を割り当てず、例えば、輝度成分と色差成分の割当量は（６ビット：４ビット）に固定されていたため、色差成分の最大誤差は、輝度成分の変化量が１６以下であっても３２となっていた。これに対し、本実施形態では、上述したように、輝度成分の変化量が１６以下の場合には、色差成分の最大誤差は、８に抑えることができる。

かかる構成によれば、本実施形態の画像圧縮装置は、輝度成分の隣接画素との差分に応じて輝度成分の符号量と色差成分の符号量を適宜変更し、入力画素データを圧縮するので、動画のような色差成分がサンプリングされたデータであっても、輝度成分の差分が小さい場合には、さらなる色差成分の劣化を防ぐことができる。輝度成分の変化が少ない場合に、色差成分の符号量を増やすことで、色グラデーションや色エッジを防ぐことができる。

（別実施形態）
（１）上記実施形態では、符号量割当部２２０は、符号量の割り当てを決定する際に、輝度成分の差分絶対値の最大値と閾値とを比較していたが、これに限定されるものではなく、例えば、差分絶対値の平均値と閾値とを比較してもよい。

また、輝度成分の差分値ではなく、画素値の最大値等と閾値とを比較するように構成してもよい。

なお、輝度成分の絶対差分値の最大値等と閾値とを比較する場合、圧縮部２３０は、差分符号化部２３２を備えることが望ましい。同様に、画素値の最大値等と閾値とを比較する場合、圧縮部２３０は、画素符号化部２３１を備えることが望ましい。

（２）上記実施形態では、符号量割当部２２０は、輝度成分と色差成分の符号量の割り当てを（４ビット：６ビット）、（６ビット：４ビット）とした場合について説明したが、これに限るものではない。符号量の割り当ては、（７ビット：３ビット）など、他の種類であってもよいし、２種類ではなく、３種類以上であってもよい。

（３）上記実施形態において、符号量割当部２２０は、さらに、扱う画像の特性（種類）に応じて、割り当てモードを切り替えるように構成してもよい。

具体的には、例えば、輝度成分と色差成分の符号量の割り当てを（４ビット：６ビット）、（６ビット：４ビット）とする第１のモードと、輝度成分と色差成分の符号量の割り当てを（７ビット：３ビット）、（６ビット：４ビット）とする第２のモードとを設定し、入力データ（圧縮対象ブロック）の色差成分の間引き量が多い場合には、第１のモードを、色差成分の間引き量が少ない場合には、第２のモードを選択するように構成してもよい。

（４）また、上記実施形態では、圧縮部２３０は、２つの符号化方法、すなわち、画素符号化部２３１により量子化を用いた画素符号化方法と、差分符号化部２３２により差分値を符号化する差分符号化方法により、符号化データを作成する場合を例に説明したが、これに限定されるものではない。量子化を含む複数の画素符号化と差分符号化を組み合わせて符号化データを作成してもよいし、別の符号化方式を用いて符号化データを作成してもよい。

また、圧縮部２３０は、１つの符号化方法で符号化データを作成するように構成してもよい。

（５）上記実施形態では、色空間を構成する成分として、輝度成分と色差成分を例に説明したが、輝度成分を含む他の組み合わせであってもよい。輝度成分以外の他の成分としては、色差成分の他、例えば、色相成分や彩度成分などがある。

（６）上記実施形態では、符号量割当部２２０は、ブロッキング部２１０を備える構成としたが、ブロッキング部２１０を備えない構成としてもよい。この場合は、画像圧縮部２００に入力されたデータを圧縮対象データとする。

（７）なお、上記実施形態において、画像信号処理部１６、デコーダ１４、メモリ制御部１５等、図１に示す各機能ブロックは、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

（８）また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

（９）さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（１０）また、上記実施形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。

以上、図面を参照して本発明の実施の形態を説明したが、この発明は、上述した実施の形態に限定されない。上述した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明は、輝度成分を含む複数の成分で構成される画素データを有する圧縮対象データについて、輝度成分の変化が少ない場合に、他の成分の符号量の割り当てを増やして、色グラデーションや色エッジを防ぎつつ、固定長圧縮することができる。これにより、本発明は、データをメモリに格納する際のデータ量の削減が可能になり、高解像度の画像データを扱う画像処理装置に有用である。

１ ＤＴＶシステム
１０ 画像処理装置
１２ ストリームコントローラ
１３ ＣＰＵ
１４ デコーダ
１５ メモリ制御部
１６ 画像信号処理部
２０ フロントエンド
３０ 外部メモリ
４０ ディスプレイ
１６１ 画像処理・合成処理部
１６２ 画像圧縮伸張部
２００ 画像圧縮部
２１０ ブロッキング部
２２０ 符号量割当部
２２１ 差分算出部
２２２ 比較部
２３０ 圧縮部
２３１ 画素符号化部
２３２ 差分符号化部
２３３ 画素復号化部
２３４ 差分復号化部
２３５ 圧縮モード判定部
２３６ 選択部
３００ 画像伸張部

Claims (12)

1. 輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置であって、
   前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、
   前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える
   画像圧縮装置。
2. 前記符号量割当部は、前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、前記差分算出部によって算出された前記差分絶対値の最大値に応じて、割り当てる前記符号量を決定する
   請求項１に記載の画像圧縮装置。
3. 前記符号量割当部は、さらに、前記差分算出部において算出された前記差分絶対値の最大値と、所望の閾値とを比較し、前記最大値が前記閾値以下のときは、前記輝度成分に割り当てる符号量を第１の符号量に決定し、前記閾値を上回るときは、前記輝度成分に割り当てる符号量を第２の符号量に決定する比較部を備える
   請求項２に記載の画像圧縮装置。
4. 前記符号量割当部は、前記輝度成分に前記第１の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量が、前記輝度成分に前記第２の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量よりも大きくなるように、割り当てる前記符号量を決定する
   請求項３に記載の画像圧縮装置。
5. 前記符号量割当部は、前記輝度成分に加え、前記圧縮対象データの特性に応じて、割り当てる前記符号量を決定する
   請求項１に記載の画像圧縮装置。
6. 前記符号量割当部は、
   前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、
   前記輝度成分の前記差分絶対値が小さくなるほど前記輝度成分に割り当てる符号量が小さくなるように、且つ、前記圧縮対象データの前記輝度成分以外の成分の間引き量が大きいほど前記輝度成分に割り当てる符号量が小さくなるように、割り当てる前記符号量を決定する
   請求項５に記載の画像圧縮装置。
7. 前記圧縮部は、
   互いに異なる複数の符号化を実行して複数の符号化データを生成する符号化部と、
   前記複数の符号化データを復号して複数の復号データを生成する復号化部と、
   前記複数の復号データ毎に、復号データと前記圧縮対象データとの差分を求め、前記差分に基づいて、前記複数の符号化データから一つの符号化データを決定する圧縮モード判定部と、
   前記圧縮モード判定部によって決定された前記符号化データを選択出力する選択部とを備える
   請求項３に記載の画像圧縮装置。
8. 前記比較部は、前記差分絶対値の最大値と、前記複数の符号化を前記輝度成分に対して適用した場合の最大誤差により決定された前記閾値とを比較して、前記輝度成分に割り当てる符号量を決定する
   請求項７に記載の画像圧縮装置。
9. 輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮するための画像圧縮方法であって、
   前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、
   前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む
   画像圧縮方法。
10. 輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置のための集積回路であって、
    前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、
    前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える
    集積回路。
11. 輝度成分を含む複数の成分で構成される圧縮対象データに対する固定長圧縮をコンピュータに実行させるためのプログラムであって、
    前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、
    前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む
    プログラム。
12. 輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置を備える映像表示装置であって、
    前記圧縮対象データを前記画像圧縮装置により固定長圧縮した後の圧縮データを格納するメモリと、
    前記圧縮データを復号した復号データを用いて所望の画像処理を行い、画像処理後のデータを所定の表示パネルに対して出力する画像信号処理部とを備え、
    前記画像圧縮装置は、
    前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記画像信号処理部から出力された前記圧縮対象データの前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、
    前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮し、前記メモリに出力する圧縮部とを有する
    映像表示装置。

Images