JP4250553B2 - 画像データ処理方法及び装置 - Google Patents

Description

本発明は、画像データ処理方法及び装置に関し、特に、解像度を落として動画像を圧縮し、復号化時に解像度変換して再生する符号・復号化方法及び装置に関する。

BSデジタル放送のように、圧縮ストリームで動画像が配信されるような場合、受信した圧縮動画像を圧縮率を変えて再圧縮し、元ストリームよりも少ないデータ量で蓄積を行ないたいという要求は、蓄積媒体の容量が有限であることから、常に存在する。この要求にこたえるために、圧縮率を変えて再圧縮する圧縮手法は従来から多く提案されている。なかでも、HD（High Definition）映像ストリームをSD(Standard Definition)レベルに解像度を変更し蓄積する手法は一般的である（特許文献１、特許文献２等）。これらの手法を用いて蓄積された動画像を視聴する場合、SDレベルの動画像を解像度変換して表示する。その場合の解像度変換手法は、一般的な解像度変換を用いるものが大半である。例えば特許文献１では、拡大手法として一般的な解像度変換手法である逆離散コサイン変換法、最近接内挿法、共一次内挿法、３次畳み込み内挿法、アダマール変換を挙げている。

しかし、これらの一般的な拡大手法を用いた場合、圧縮時に縮小によって失われた情報は、復号時の拡大で用いることはできず、拡大は残された情報からのみの補間となり、情報が失われるのは明らかである。つまり、画質が劣化する。
特開平9-331529号公報 特開平2001-16589号公報

本発明は、上記問題を解決するためになされたものであり、圧縮画像を、解像度を減じて再圧縮する際に、復号時の解像度変換処理を、元信号に近い高画質な画像とすることを目的とする。

上記目的を達成するために、本発明は、ａ）入力された直交変換画像データから所定の高周波成分を削除し、縮小された直交変換画像データを得る工程と、前記縮小された直交変換画像データを復号化する際に高周波成分を復元するために用いる補間パターンを、予め用意された複数の補間パターンの中から選択する選択工程と、前記選択工程において選択された補間パターンを示すパラメタを、前記縮小された直交変換画像データに付加して、前記縮小された直交変換画像データと前記パラメタとからなる再圧縮画像データを作成する工程と、を含む再圧縮工程と、ｂ）前記再圧縮画像データから、前記パラメタを検出し、検出されたパラメタに対応する補間パターンを用いて高周波成分を取得する取得工程と、前記取得された高周波成分を前記再圧縮画像データに含まれる縮小された直交変換画像データに付加する高周波成分付加工程と、前記高周波成分が付加された縮小された直交変換画像データを逆直交変換する工程と、を含む復号化工程と、を有する画像データ処理方法である。

ここで、直交変換画像データは、直交変換が施された画像データを指す。但し、直交変換が施された後に、量子化、符号化が施された画像データ、さらに、復号化、逆量子化が施された画像データも含む。

また、本発明は、画像再圧縮部と画像復号部とを備える画像データ処理装置であって、前記画像再圧縮部は、入力された直交変換画像データから所定の高周波成分を削除し、縮小された直交変換画像データを得る画像圧縮部と、前記縮小された直交変換画像データを復号化する際に高周波成分を復元するために用いる補間パターンを、予め用意された複数の補間パターンの中から選択する選択部と、前記選択部で選択された補正パターンを示すパラメタを、前記縮小された直交変換画像データに付加して、前記縮小された直交変換画像データと前記パラメタとからなる再圧縮画像データを作成する作成部と、を有し、前記画像復号部は、前記再圧縮画像データから、前記パラメタを検出し、検出されたパラメタに対応する補間パターンを用いて高周波成分を取得する取得部と、前記取得された高周波成分を、前記再圧縮画像データに含まれる縮小された直交画像変換画像データに付加する高周波成分付加部と、前記高周波成分が付加された前記縮小された直交変換画像データを逆直交変換する逆直交変換部と、を有することを特徴とする画像データ処理装置である。

本発明によれば、圧縮画像を、解像度を減じて再圧縮する際に、復号時の解像度変換処理を元信号に近い高画質な画像とすることができる。

以下、本発明の実施の形態を図面を用いて説明する。

図１は本発明の実施形態に係る画像データ処理装置を示すブロック図である。

図１において、１０１はMPEG2Videoストリームを入力する入力部、１０２は画像再圧縮部、１０３はMPEG２ビットストリームを解析する第一のビットストリーム解析部、１０４はMPEG2Videoのマクロブロックのハフマン復号処理を行なう第一のハフマンデコード部、１０５はMPEG２ストリームの逆量子化を行なう第一の逆量子化部、１０６は逆量子化の終了したDCT係数を規格どおりにIDCTする第一のIDCT部、１０７は逆量子化の終了したDCT係数の低周波領域に対して、高周波数領域に後述するパターンを順に適用していく高周波領域パターン選択部、１０８は低周波数領域に高周波数領域パターン選択部１０７が選択したパターンを適用した高周波領域を合わせてIDCTする第二のIDCT部、１０９は、第一のIDCT部１０５の結果と、第二のIDCT部１０７の結果の相関を計算し評価するパターン評価部、１１０はDCT係数の低周波領域のみを量子化する量子化部、１１１は量子化されたDCTブロックをハフマンエンコードするハフマンエンコード部、１１２はMPEG２の規格に高周波領域パターンを加えたビットストリームを作成するビットストリーム作成部、１１３はビットストリーム作成部１１２で圧縮された再圧縮ストリームを蓄積する蓄積装置、１１４は画像復号部、１１５は再圧縮ストリームを解析する第二のビットストリーム解析部、１１６は再圧縮ストリームのマクロブロックのハフマン復号処理を行なう第二のハフマンデコード部、１１７は再圧縮ストリームの逆量子化を行なう第二の逆量子化部、１１８は逆量子化後のDCT係数と、高周波領域パターン係数から、高周波領域パターンを適用して高周波領域を補間する高周波領域補間部、１１９は規格どおりのIDCTを行なう第三のIDCT部、１２０は動きベクトルを用いて動き補償を行なう動き補償部、１２１は出力部である。

本実施の形態では、入力部１０１から入力されたMPEG2Videoストリームは、再圧縮部１０２でDCT係数の低周波数領域と、高周波数領域を推定するためのパラメタを用いて圧縮率を高めて再圧縮され、蓄積装置１１３に蓄積される。本実施形態では、再圧縮部１０２が、本発明の画像データ符号化装置を構成する。また、蓄積装置１１３は、本発明の符号化データ記憶部に相当する。再圧縮されたストリームは、高周波数領域推定パラメタが付加されており、MPEG2規格から外れた再圧縮ストリームとなる。蓄積された再圧縮ストリームは、画像復号部１１４で、復号されるDCT係数の低周波数領域と、高周波数領域推定パラメタから、元画像と同サイズ・同程度の画質で復号される。本実施形態では、画像復号部１１４が、本発明の画像データ復号化装置を構成する。

まず、再圧縮部１０２の動作の流れを説明する。

入力部１０１から入力されたMPEG2Videoストリームは、第一のビットストリーム解析部１０３で解析される。MPEG2Videoストリームの復号過程の詳細については本実施の形態では説明しない。DCT係数のまとまりであるマクロブロック、ブロックについての動作につ
いてのみ記述する事にする。

解析されたビットストリームのうち、マクロブロックの情報は第一のハフマンデコード部１０４でハフマン復号処理される。ハフマンデコードされたMPEG2Videoストリームのマクロブロックは、第一の逆量子化部１０５で逆量子化され、８×８の輝度DCT係数４つと、８×８の色差DCT係数２つが得られる。簡単のため、以後はDCT係数に関連する説明を１つの輝度DCT係数のみで行なうが、他の輝度DCT係数、色差DCT係数についてもまったく同一に扱うことができる。

逆量子化の完了したDCT係数は、第一のIDCT部１０６と、高周波領域パターン選択部１０７及び量子化部１１０に送られる。

第一のIDCT部１０６は通常のIDCTを行い、８×８の画素値もしくは動き補償用の画素差分値が得られる。

高周波領域パターン選択部１０７は、８×８のDCT係数の４×４の低周波数領域を用いて、後述する高周波領域の補間パターンを基準に高周波数領域成分を補間する。高周波領域を補間したDCT係数について、第二のIDCT部１０８で通常のIDCTを行い、高周波領域が補間されている８×８の画素値もしくは動き補償用の画素差分値が得られる。

パターン評価部１０９は、第一のIDCT部１０６の通常の結果と、高周波数領域が補間されている第二のIDCT部１０８の結果の相関を比較し、相関値を記憶する。高周波領域パターン選択部１０７からパターン評価部１０９までの一連の動作を、あらかじめ用意してある高周波領域パターンの数だけ繰り返し、もっとも相関値の高いパターンを選択する。

量子化部１１０は、第一の逆量子化部１０５の結果である１６×１６のDCT係数のうち、低周波数領域の４×４のみを量子化する。ハフマンエンコード部１１１は、量子化部１１０の出力した結果をMPEG2の規格に沿ってハフマンエンコードする。ここで、本発明の画像圧縮部は、量子化部１１０又は、量子化部１１０、ハフマンエンコード部１１１によって構成される。

ビットストリーム作成部１１２は、ハフマンエンコードされたDCT係数を、元のビットストリーム情報とあわせてMPEG２形式のビットストリームに、パターン評価部１０９の選択した高周波領域パターンを示すパラメタを付加した独自の再圧縮ビットストリームを作成する。作成された再圧縮ビットストリームは、蓄積装置１１３に蓄積される。本実施形態では、ビットストリーム生成部１１２が、本発明の選択情報付加部に相当する。また、ビットストリーム生成部１１２及びハフマンエンコード部１１１が本発明の縮小直交変換画像データ符号化部に相当する。

本実施の形態では、高周波数領域を補間するためのパターンを選択する手法が重要である。高周波領域パターン決定の過程をさらに詳細に説明する。

まず、DCT係数の低周波領域から高周波数領域を推定する手法の従来例の一つとして、係数折り返しの手法がある。この手法は、例えば図２において、４×４の低周波数領域DCT係数A0から高周波数領域A1〜A3を補間して８×８のDCT係数を作成する場合に、A1についてはA0を水平方向に折り返し、A2については垂直方向に折り返し、A3については水平及び垂直に折り返すと、良好な結果画像が得られるというものである。

この手法では、ある程度良好な結果が得られるものの、本来高周波数領域に値のないような場合でも値を入れてしまい、ノイズが発生するという問題もある。

本実施の形態では、高周波数領域の補間のパターンとして、（パターン０）0挿入、（パターン１）コピー、（パターン２）水平方向折り返し、（パターン３）垂直方向折り返し、（パターン４）水平・垂直折り返しの計５パターンを用意し、本来のDCT係数をIDCTした結果と、１〜５の手法で高周波数領域を補間したDCT係数をIDCTした結果を比較し、最もよいパターンを選択することを特徴とする。

４×４の低周波数領域に対する高周波領域補間パターンを図３に示す。

図４に高周波数領域パターン決定部の構成を示すブロック図を、図５に高周波領域パターン決定のアルゴリズムを示す。本実施形態では、高周波数領域パターン決定部、すなわち、第一のIDCT部１０６、高周波領域パターン選択部１０７、第二のIDCT部１０８、パターン評価部１０９によって本発明の高周波成分選択部が構成される。

まず、高周波領域パターン選択部１０７は、本来の８×８のDCT係数から、低周波数領域である４×４を抜き出す（S1）。このようにして抜き出されたものが、図２のA0である。次に、A1〜A3に、高周波領域パターンを適用する（S2）。高周波領域パターンの適用は、高周波領域パターンの組み合わせの数だけ実行する。本実施の形態では、パターンの組み合わせは高周波数領域パターン５つをA1〜A3の３つに適用する組み合わせで、125通りになる。

高周波領域パターン選択部１０７で高周波数領域を補間したDCT係数は、第二のIDCT部１０８でIDCTされ、輝度値となる（S３）。この工程は一般のIDCTとまったく同一である。

上述したように、第一のIDCT部１０６においては通常のIDCTを行っている（S4）。パターン評価部１０９は、第一のIDCT部１０６と第二のIDCT部１０８の結果を比較する。２つのIDCTの相関を計算する手法は任意だが、本実施の形態では輝度値の差分の合計と、差の最大値を評価値とする。本実施の形態では125通りのパターンについて順に評価する。すなわち、各パターンで差分値を合計し（S5）、最大差分値を取得する（S6）。これを繰り返す(S7、S8)。125通りの評価値の算出ができたら、パターンを選択する。第一の評価基準として、差分の合計が最小となるものを選択する（S9）。第一の評価基準で選択されたものについて、第二の評価基準として、差の最大値を調べ（S10,S11）、閾値以下であれば最良のパターンとして選択される。

このようにして決定された高周波領域パターンは、ビットストリーム作成部１１２で圧縮ビットストリームに付加される。ビットストリーム作成部１１２はMPEG2Videoの規格に沿って再圧縮を行なうが、DCT係数を示すブロックの前に、図6に示す９ビットのパラメタを付加する。パラメタを付加する部分を、C言語風に記述すると、図７のようになる。図７はISO/IEC 13818-2で記述されているマクロブロックのシンタックスに、本発明のパラメタを付加したものである。本発明のパラメタ以外の記述の内容についてはISO/IEC 13818-2に記載されている。

以上説明した手法で、圧縮ストリームが生成される。

次に、復号部１１４の動作の流れを説明する。

蓄積装置１１３から読み出された再圧縮ビットストリームは、第二のビットストリーム解析部１１５で解析される。本実施形態では、第二のビットストリーム解析部１１５が符号化データ取得部に相当する。

再圧縮ビットストリームは、高周波領域パターンを示すパラメタが付加されている以外はMPEG2と同一であるので、復号部の説明についてもマクロブロックの復号の流れ以外は省略する。再圧縮ビットストリームのマクロブロックは第二のハフマンデコード部１１６に入力され、ハフマン復号される。ハフマン復号されたマクロブロックは、逆量子化部１１７で逆量子化される。逆量子化されたマクロブロックのDCT係数は、本来の画像の低周波数領域の４×４である。再圧縮ビットストリームには高周波数領域の補間パターンを示すパラメタが付加されているので、高周波領域補間部１１８はパラメタの示す補間パターンに従い高周波数領域を復元する。この結果、８×８のDCT係数が復元され、第三のIDCT部１１９で通常のIDCTを行い、８×８の輝度値もしくは動き補償で用いる輝度差分値が得られる。動き補償が必要な場合は動き補償部１２０で動き補償を行い、出力部１２１から復号画像が出力される。本実施形態では、高周波領域補間部１１８が、本発明の、高周波成分取得部及び高周波成分付加部を構成する。また、第三のIDCT部１１９が、本発明の画像データ逆直交変換部に相当する。

復号部１１４は、再圧縮部１０２の作成した再圧縮ストリームを復号するための装置である。基本的にはMPEG２を復号する復号部だが、再圧縮部１０２が付加した高周波数領域補間パターンを示すパラメタを認識し、高周波数領域を補間してDCT係数を作成するところが特徴である。

本実施の形態では、高周波領域を補間するパターンを５種類としたが、本発明はこれに限らない。より少ないパターンで実行することも可能であるし、より多いパターンを用いてもかまわない。例えば、処理量を軽減する目的でパターン０とパターン４のみを用いても効果は得られる。また、さらに補間の精度を上げるために、各パターンに符号を付加して計１０パターンを用いることも可能である。

また、本実施の形態では、第一のIDCT部１０６の結果と第二のIDCT部１０８の結果の評価に、画素差分値の総和と最大差分値を用いた手法を説明したが、本発明はこれに限らない。第一のIDCT部１０６の結果と第二のIDCT部１０８の結果の相関をとることができる手法であれば、どのようなものでも用いることができる。

本発明に係る解像度変換装置の実施の形態を示すブロック図。 従来の高周波数領域DCT係数補間方式を説明する説明図。 図１における高周波領域パターン選択部の動作を説明する説明図。 本発明の実施形態における高周波領域パターン選択の動作を説明する説明図。 本発明の実施形態における高周波領域パターン選択の動作を説明する説明図。 図１におけるビットストリーム作成部の動作を説明する説明図。 図１におけるビットストリーム作成部の動作を説明する説明図。

符号の説明

１０１ 入力部
１０２ 画像再圧縮部
１０３ 第一のビットストリーム解析部
１０４ 第一のハフマンデコード部
１０５ 第一の逆量子化部
１０６ 第一のIDCT部
１０７ 高周波領域パターン選択部
１０８ 第二のIDCT部
１０９ パターン評価部
１１０ 量子化部
１１１ ハフマンエンコード部
１１２ ビットストリーム作成部
１１３ 蓄積装置
１１４ 画像復号部
１１５ 第二のビットストリーム解析部
１１６ 第二のハフマンデコード部
１１７ 第二の逆量子化部
１１８ 高周波領域補間部
１１９ 第三のIDCT部
１２０ 動き補償部
１２１ 出力部

Claims (4)

1. ａ）入力された直交変換画像データから所定の高周波成分を削除し、縮小された直交変換画像データを得る工程と、
   前記縮小された直交変換画像データを復号化する際に高周波成分を復元するために用いる補間パターンを、予め用意された複数の補間パターンの中から選択する選択工程と、
   前記選択工程において選択された補間パターンを示すパラメタを、前記縮小された直交変換画像データに付加して、前記縮小された直交変換画像データと前記パラメタとからなる再圧縮画像データを作成する工程と、
   を含む再圧縮工程と、
   ｂ）前記再圧縮画像データから、前記パラメタを検出し、検出されたパラメタに対応する補間パターンを用いて高周波成分を取得する取得工程と、
   前記取得された高周波成分を前記再圧縮画像データに含まれる縮小された直交変換画像データに付加する高周波成分付加工程と、
   前記高周波成分が付加された縮小された直交変換画像データを逆直交変換する工程と、を含む復号化工程と、
   を有する画像データ処理方法。
2. 前記入力された直交変換画像データの逆量子化処理を行う逆量子化工程を有し、
   前記選択工程は、
   前記逆量子化工程で逆量子化処理して得られたDCT係数をIDCT処理する第一のIDCT工程
   と、
   前記逆量子化工程で得られた前記DCT係数の中から低周波成分を抜き出し、前記DCT係数の低周波成分に対して予め用意された前記複数の補間パターンをそれぞれ適用して、補間パターン毎にDCT係数の高周波成分を補間する補間工程と、
   前記補間工程で高周波成分が補間されたDCT係数をIDCT処理する第二のIDCT工程と、
   前記第一のIDCT工程で得られた結果と前記第二のIDCT工程で得られた結果とを用いて各補間パターンを評価し、前記複数の補間パターンから１つを選択するパターン選択工程と、
   を有することを特徴とする請求項１に記載の画像データ処理方法。
3. 画像再圧縮部と画像復号部とを備える画像データ処理装置であって、
   前記画像再圧縮部は、
   入力された直交変換画像データから所定の高周波成分を削除し、縮小された直交変換画像データを得る画像圧縮部と、
   前記縮小された直交変換画像データを復号化する際に高周波成分を復元するために用いる補間パターンを、予め用意された複数の補間パターンの中から選択する選択部と、
   前記選択部で選択された補正パターンを示すパラメタを、前記縮小された直交変換画像データに付加して、前記縮小された直交変換画像データと前記パラメタとからなる再圧縮画像データを作成する作成部と、
   を有し、
   前記画像復号部は、
   前記再圧縮画像データから、前記パラメタを検出し、検出されたパラメタに対応する補間パターンを用いて高周波成分を取得する取得部と、
   前記取得された高周波成分を、前記再圧縮画像データに含まれる縮小された直交画像変換画像データに付加する高周波成分付加部と、
   前記高周波成分が付加された前記縮小された直交変換画像データを逆直交変換する逆直交変換部と、
   を有する
   ことを特徴とする画像データ処理装置。
4. 前記入力された直交変換画像データの逆量子化処理を行う逆量子化部を有し、
   前記選択部は、
   前記逆量子化部で逆量子化処理して得られたDCT係数をIDCT処理する第一のIDCT部と、
   前記逆量子化部で得られた前記DCT係数の中から低周波成分を抜き出し、前記DCT成分の低周波成分に対して予め用意された前記複数の補間パターンをそれぞれ適用して、補間パターン毎にDCT係数の高周波成分を補間し、高周波成分が補間されたDCT係数をIDCT処理する第二のIDCT部と、
   前記第一のIDCT部で得られた結果と前記第二のIDCT部で得られた結果とを用いて各補間パターンを評価し、前記複数の補間パターンから１つを選択するパターン評価部と、
   を有することを特徴とする請求項３に記載の画像データ処理装置。

Images