JP2012054791A - 符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】入力フレーム画像の画像特徴に応じて解像度を変えて符号化することにより、符号量を削減し、かつ画像劣化を防止する。
【解決手段】符号化装置は、入力フレーム画像ごとに周波数成分を解析して、低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定し、低解像度化する際の低解像度化情報を決定する低解像度化決定部（１１）と、低解像度化後に符号化すると決定されたフレーム画像を低解像度化情報に従って低解像度化して低解像度画像を生成する低解像度化部（１２）と、低解像度画像を符号化する低解像度符号化部（１３）と、元の解像度まま符号化すると決定されたフレーム画像を元の解像度のまま符号化する高解像度符号化部（１５）と、低解像度符号化部にて符号化されたデータ及び高解像度符号化部にて符号化されたデータを多重化する多重化部（１６）とを備える。
【選択図】図１

Description

本発明は、動画像を対象とした圧縮符号化処理技術に関し、特に高解像度画像を符号化する際に効率的に符号量を削減する、符号化装置、復号装置及びプログラムに関する。

動画像の圧縮符号化方式には、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ−２方式などが広く用いられている。これらの方式による動画像の圧縮符号化処理では、インター予測が用いられている。インター予測とは、既に符号化されたピクチャから現ピクチャへの動きを表す動きベクトルを推定し、この動きベクトルを用いて動き補償を行い、現ピクチャの予測信号を生成する技術である。マクロブロック単位での動き補償予測を行なう場合、各符号化対象マクロブロックの動きベクトルや、それらが参照するフレームを示すための情報を付加して符号化を行なっている。しかし、この技法では、画素数の多い画像を圧縮符号化する際に、マクロブロックの数が多いことから、各マクロブロックに対応する動きベクトルや、それらが参照するフレームを示すための情報も多く、符号量の削減が困難である。

そこで、符号量を削減するために、入力画像を符号化する際に、符号化対象フレームのピクチャタイプに応じて低解像度画像として符号化するか否かを決定し、各フレームを低解像度又は入力画像の解像度で符号化する技法が知られている（例えば、特許文献１参照）。

特開２００８−７９１５２号公報

しかし、特許文献１に記載の技法は、入力画像の画像特徴を考慮せずに低解像度画像を生成しているため、入力画像によっては復号側での高解像度化処理が効果的に働かず、劣化を含む画像、例えば折り返し成分を含む画像を出力することがあるという問題があった。

本発明の目的は、入力フレーム画像の画像特徴に応じて解像度を変えて符号化することにより、符号量を削減し、かつ画像劣化を防止することができる符号化装置、復号装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る符号化装置は、入力フレーム画像のうちの一部のフレーム画像を低解像度化した後に符号化し、他のフレーム画像は元の解像度のまま符号化する符号化装置であって、入力フレーム画像ごとに空間方向の周波数成分を解析して、低解像度化後に符号化するフレーム画像（低解像度化フレーム画像）か元の解像度のまま符号化するフレーム画像（高解像度フレーム画像）かを決定するとともに、低解像度化する際の縮小方向情報を含む低解像度化情報を決定する低解像度化決定部と、前記低解像度化後に符号化すると決定されたフレーム画像を、前記低解像度化情報に従って低解像度化して低解像度画像を生成する低解像度化部と、前記生成された低解像度画像を符号化する低解像度符号化部と、前記元の解像度まま符号化すると決定されたフレーム画像を元の解像度のまま符号化する高解像度符号化部と、前記低解像度符号化部によって符号化されたデータ、及び前記高解像度符号化部によって符号化されたデータを多重化する多重化部と、を備えることを特徴とする。

また、本発明に係る符号化装置において、前記低解像度化決定部は、入力フレーム画像に対して周波数変換処理を行い、水平周波数成分及び垂直周波数成分を算出する周波数変換部と、前記周波数変換部によって算出した入力フレーム画像の水平周波数成分及び垂直周波数成分を解析し、水平周波数成分及び垂直周波数成分がともに所定の閾値よりも高い周波数成分を含む場合には、入力フレーム画像を前記元の解像度のまま符号化するフレーム画像と決定し、水平周波数成分又は垂直周波数成分の少なくとも一方が所定の閾値よりも高い周波数成分を含まない場合には、入力フレーム画像を前記低解像度化後に符号化するフレーム画像と決定する低解像度化フレーム決定部と、前記低解像度化フレーム決定部によって決定された低解像度化するフレーム画像の前記縮小方向を、前記水平周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には水平方向と決定し、前記垂直周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には垂直方向と決定し、前記水平周波数成分及び前記垂直周波数成分が所定の閾値よりも高い周波数成分を含まない場合には水平方向及び垂直方向と決定する低解像度化手法決定部と、を備えることを特徴とする。

また、本発明に係る符号化装置において、前記低解像度化決定部は、処理対象となる入力フレーム画像に対して、該入力フレーム画像の前又は前後のフレーム画像を参照して動き補償予測を行い、該処理対象となる入力フレーム画像と動き補償予測した画像との差分である予測差分信号を生成する動き補償予測部と、前記動き補償予測部によって生成した予測差分信号に対して周波数変換処理を行い、水平周波数成分及び垂直周波数成分を算出する周波数変換部と、前記周波数変換部によって算出した入力フレーム画像の水平周波数成分及び垂直周波数成分を解析し、水平周波数成分及び垂直周波数成分がともに所定の閾値よりも高い周波数成分を含む場合には、入力フレーム画像を前記元の解像度のまま符号化するフレーム画像と決定し、水平周波数成分又は垂直周波数成分の少なくとも一方が所定の閾値よりも高い周波数成分を含まない場合には、入力フレーム画像を前記低解像度化後に符号化するフレーム画像と決定する低解像度化フレーム決定部と、前記低解像度化フレーム決定部によって決定された低解像度化するフレーム画像の前記縮小方向を、前記水平周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には水平方向と決定し、前記垂直周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には垂直方向と決定し、前記水平周波数成分及び前記垂直周波数成分が所定の閾値よりも高い周波数成分を含まない場合には水平方向及び垂直方向と決定する低解像度化手法決定部と、を備えることを特徴とする。

また、本発明に係る符号化装置において、前記低解像度化決定部は、入力フレーム画像を、前記縮小方向及び前記低解像度化手法の複数種類の組み合わせによってそれぞれ低解像度化した複数の低解像度画像を生成する低解像度化部と、前記低解像度化部によって生成した複数の低解像度画像をそれぞれ符号化し、該符号化した低解像度画像をそれぞれ復号して複数の低解像度画像を生成する低解像度符号化復号部と、前記低解像度符号化復号部によって生成した複数の低解像度画像をそれぞれ元の解像度に変換した複数の画像を生成する高解像度化部と、入力フレーム画像を、元の解像度のまま符号化し、その後復号した画像を生成する高解像度符号化復号部と、前記高解像度化部によって生成した複数の画像、及び前記高解像度符号化復号部によって生成した画像を、それぞれ入力フレーム画像と比較して劣化度を測定し、該劣化度に基づいて、前記低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定する低解像度化決定部と、を備えることを特徴とする。

また、本発明に係る符号化装置において、前記低解像度化決定部は、入力フレーム画像のピクチャタイプを判別するピクチャタイプ判定部を備え、前記低解像度化決定部は、前記ピクチャタイプ判定部が入力フレーム画像のピクチャタイプをＩピクチャと判定した場合には、入力フレーム画像を前記低解像度化しないフレーム画像と決定し、前記ピクチャタイプ判定部が入力フレーム画像のピクチャタイプをＩピクチャ以外と判定した場合についてのみ、入力フレーム画像を前記低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定することを特徴とする。

また、本発明に係る符号化装置において、前記低解像度化手法は、ニアレストネイバー法、バイリニア法、バイキュービック法のいずれかであることを特徴とする。

さらに、上記課題を解決するため、本発明に係る復号装置は、符号化装置から符号化データを受信し、該符号化データを復号する復号装置であって、入力される符号化データが高解像度画像の符号化データであるか低解像度画像の符号化データであるかを識別する符号化解像度識別部と、前記符号化解像度識別部によって識別された低解像度画像の符号化データを復号して低解像度画像を生成する低解像度復号部と、フレーム画像の低解像度化に用いた縮小方向情報を含む低解像度化情報を取得し、前記低解像度復号部によって生成した低解像度画像を、前記低解像度化情報に基づいて高解像度化する高解像度部と、前記符号化解像度識別部によって識別された高解像度画像の符号化データを復号して高解像度画像を生成する高解像度復号部と、前記低解像度復号部によって生成した低解像度画像を高解像度化した画像、及び前記高解像度復号部によって生成した高解像度画像を統合する画像統合部と、を備えることを特徴とする。

さらに、上記課題を解決するために、本発明は、入力フレーム画像のうちの一部のフレーム画像を低解像度化した後に符号化し、他のフレーム画像は元の解像度のまま符号化する符号化装置として機能するコンピュータに、（ａ）入力フレーム画像ごとに空間方向の周波数成分を解析して、低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定するとともに、低解像度化する際の縮小方向情報を含む低解像度化情報を決定するステップと、（ｂ）前記低解像度化後に符号化すると決定されたフレーム画像を、前記低解像度化情報に従って低解像度化して低解像度画像を生成するステップと、（ｃ）前記生成された低解像度画像を符号化するステップと、（ｄ）前記元の解像度まま符号化すると決定されたフレーム画像を元の解像度のまま符号化するステップと、（ｅ）前記ステップ（ｂ）にて符号化されたデータ、及び前記ステップ（ｄ）にて符号化されたデータを多重化するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、入力フレーム画像の画像特徴に応じて解像度を変えて符号化することにより、符号量を削減し、かつ画像劣化を防止することができるようになる。

本発明による実施例１の符号化装置の構成を示すブロック図である。 本発明による実施例１の符号化装置の低解像度化決定部の第１の構成を示すブロック図である。 水平周波数成分が高い画像を縮小する例を示す図である。 本発明による実施例１の符号化装置の低解像度化決定部の第２の構成を示すブロック図である。 本発明による実施例１の符号化装置の低解像度化決定部の動作を示すフローチャートである。 本発明による符号化装置の動作を示すフローチャートである。 本発明による実施例２の符号化装置の低解像度化決定部の第１の構成を示すブロック図である。 本発明による実施例２の符号化装置の低解像度化決定部の第２の構成を示すブロック図である。 本発明による実施例２の符号化装置の低解像度化決定部の動作を示すフローチャートである。 本発明による実施例３の符号化装置の低解像度化決定部の構成を示すブロック図である。 本発明による実施例３の符号化装置の低解像度化決定部の動作を示すフローチャートである。 本発明による実施例４の復号装置の構成を示すブロック図である。 本発明による実施例４の復号装置の動作を示すフローチャートである。

本発明による実施例１の符号化装置１について、図面を参照して詳細に説明する。図１は、本発明による実施例１の符号化装置１の構成を示すブロック図である。本発明による符号化装置１は、低解像度化決定部１１と、低解像度化部１２−１及び１２−２と、低解像度符号化部１３と、高解像度化部１４と、高解像度符号化部１５と、多重化部１６とを備える。

低解像度化決定部１１は、入力される入力フレーム画像ごとに空間方向の周波数成分を解析して、高解像度（元の解像度）画像のまま符号化するフレーム画像（以下、高解像度フレーム画像という）か、低解像度化処理後に符号化するフレーム画像（以下、低解像度化フレーム画像という）かを決定し、低解像度化フレーム画像と決定した場合には、さらに縮小方向及び低解像度化手法を決定する。そして、高解像度フレーム画像と決定した場合には、入力フレーム画像を高解像度符号化部１５に出力する（信号ａ）。低解像度化フレーム画像と決定した場合には、入力フレーム画像を低解像度化部１２−１及び１２−２に出力する（信号ｂ）とともに、縮小方向情報及び低解像度化手法情報からなる低解像度化情報を低解像度化部１２−１，１２−２、及び低解像度符号化部１３に出力する（信号ｃ）。

ここで、縮小方向情報とは、低解像度化する際に縮小する方向を通知する情報であり、水平方向のみの縮小、垂直方向のみの縮小、水平方向及び垂直方向の縮小の３種類がある。低解像度化手法とは、画像を水平方向及び／又は垂直方向に縮小する手法のことをいい、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法などである。低解像度化手法情報とは、いずれの低解像度化手法により縮小したかを通知する情報のことをいう。低解像度化決定部１１の詳細については後述する。

低解像度化部１２−１は、低解像度化決定部１１から入力される低解像度化フレーム画像（信号ｂ）を、低解像度化決定部１１から入力される低解像度化情報（信号ｃ）に基づいて低解像度化した低解像度画像を生成し、低解像度符号化部１３に出力する（信号ｄ）。

低解像度化部１２−２は、低解像度化フレーム画像については、低解像度化決定部１１から入力される低解像度化フレーム画像（信号ｂ）を、低解像度化決定部１１から入力される低解像度化情報（信号ｃ）に基づいて低解像度化した低解像度画像を生成し、低解像度符号化部１３に出力する（信号ｅ）。高解像度フレーム画像については、高解像度符号化部１５から入力される高解像度復号画像（信号ｊ）を低解像度化した低解像度画像を生成し、低解像度符号化部１３に出力する（信号ｅ）。低解像度化部１２−２で生成した低解像度画像は、低解像度符号化部１３で参照フレームとして用いられる。

低解像度符号化部１３は、低解像度化部１２−１から入力される低解像度画像（信号ｄ）を、低解像度化部１２−２から入力される低解像度画像（信号ｅ）を参照フレームとして用いて符号化する。また、低解像度化決定部１１から入力される低解像度化情報（信号ｃ）も符号化する。そして、生成した低解像度画像及び低解像度化情報の符号化データを、多重化部１６に出力する（信号ｆ）。さらに、当該符号化データを復号した低解像度復号画像を生成し、高解像度化部１４に出力する（信号ｇ）。なお、低解像度化情報については、データ量が少ないため符号化しなくてもよい。低解像度画像の符号化は、例えば従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ−２方式と同様に、低解像度化部１２−２から入力される低解像度画像を参照フレームとして動き補償予測処理を行い、低解像度化部１２−１から入力される低解像度画像と動き補償予測した画像との差分値に対して直交変換処理、量子化処理、及び可変長符号化処理を行う。

高解像度化部１４は、低解像度符号化部１３から入力される低解像度復号画像（信号ｇ）を、元の入力フレーム画像と同じ解像度に高解像度化した高解像度画像を生成し、高解像度符号化部１５に出力する（信号ｈ）。高解像度化部１４で生成した高解像度画像は、高解像度符号化部１５で参照フレームとして用いられる。

高解像度符号化部１５は、低解像度化決定部１１から入力される高解像度フレーム画像を（信号ａ）、高解像度化部１４から入力される高解像度画像（信号ｈ）を参照フレームとして用いて符号化し、多重化部１６に出力する（信号ｉ）。さらに、当該符号化データを復号した高解像度復号画像を、低解像度化部１２−２に出力する（信号ｊ）。高解像度画像の符号化は、例えば従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ−２方式と同様に、高解像度化部１４から入力される高解像度画像を参照フレームとして動き補償予測処理を行い、低解像度化決定部１１から入力される高解像度フレーム画像と動き補償予測した画像との差分値に対して直交変換処理、量子化処理、及び可変長符号化処理を行う。

多重化部１６は、低解像度符号化部１３から入力される低解像度画像及び低解像度化情報の符号化データ（信号ｆ）と、高解像度符号化部１５から入力される高解像度画像の符号化データ（信号ｉ）とを多重化し、外部に出力する（信号ｋ）。

図２は、符号化装置１の低解像度化決定部１１の構成を示すブロック図である。低解像度化決定部１１は、周波数変換部１１１と、低解像度化フレーム決定部１１２と、低解像度化手法決定部１１３と、切り替え部１１４とを備える。

周波数変換部１１１は、入力フレーム画像に対して、直交変換等の周波数変換処理を行い、水平周波数成分及び垂直周波数成分を算出し、低解像度化フレーム決定部１１２に出力する。

図３（ａ）は、水平周波数成分が高い画像の例として、１画素ごとに輝度の変わる縦縞模様画像を示している。この縦縞模様画像を水平方向に縮小した場合には、図３（ｂ）に示すように、縞模様が消え、元の画像とは全く異なる画像になり、元の画像の画像特性は保持されない。図３（ｂ）は、図３（ａ）の縦縞模様画像を単純に水平方向に1画素おきに間引いた画像を示している。しかし、垂直方向に縮小した場合には、図３（ｃ）に示すように縞模様が保存され、元の画像の画像特性は保持される。このことから、画像が高い水平周波数成分を含む場合には、水平方向への縮小を回避する必要があり、同様に、画像が高い垂直周波数成分を含む場合には、垂直方向への縮小を回避する必要がある。

そこで、低解像度化フレーム決定部１１２は、周波数変換部１１１から入力される水平周波数成分及び垂直周波数成分を解析し、水平周波数成分及び垂直周波数成分いずれもが高い周波数成分を含む場合には入力フレーム画像を高解像度フレーム画像と決定し、それ以外の場合には低解像度化フレーム画像と決定する。そして、入力フレーム画像が高解像度フレーム画像であるか低解像度化フレーム画像であるかを示すフラグ信号を切り替え部１１４に出力する。また、周波数成分の解析結果を低解像度化手法決定部１１３に出力する。

切り替え部１１４は、低解像度化フレーム決定部１１２から入力されるフラグ信号に基づき、入力フレーム画像を高解像度フレーム画像（信号ａ）として出力するか、低解像度化フレーム画像（信号ｂ）として出力するかを切り替える。低解像度化フレーム画像は、低解像度化手法決定部１１３にも出力される。

低解像度化手法決定部１１３は、低解像度化フレーム決定部１１２から入力される周波数成分の解析結果から縮小方向を決定する。また、低解像度化フレーム決定部１１２から入力される低解像度化フレーム画像を解析し、画像に応じて最適な低解像度化手法を決定する。例えば、低解像度化フレーム画像を複数の低解像度化手法で符号化し、最も劣化の少ない手法を選択する。そして、決定した低解像度化情報を出力する（信号ｃ）。なお、回路の実装規模や処理速度の兼ね合い等により、予め低解像度化手法を決定しておくことができるのは勿論である。

また、低解像度化決定部１１は、図４に示すように、図２の構成に対してさらにピクチャタイプ判定部１１５と、切り替え部１１６，１１７とを備える構成とすることもできる。ピクチャタイプ判定部１１５は、入力フレーム画像のピクチャタイプ（Ｉピクチャ、Ｐピクチャ又はＢピクチャ）を判定し、ピクチャタイプを示すフラグ信号を切り替え部１１６に出力する。

切り替え部１１６は、ピクチャタイプ判定部１１５から入力されるフラグ信号に基づき、Ｉピクチャの場合には入力フレーム画像を切り替え部１１７に出力し、Ｉピクチャ以外の場合には入力フレーム画像を切り替え部１１４に出力する。

切り替え部１１７は、切り替え部１１６から入力される入力フレーム画像、又は、切り替え部１１４から入力される入力フレーム画像を高解像度フレーム画像（信号ａ）として出力する。

つまり、入力フレーム画像がＩピクチャの場合には高解像度フレーム画像（信号ａ）として出力する。Ｉピクチャ以外の場合には、入力フレーム画像を周波数変換部１１１に出力し、低解像度化フレーム決定部１１２の判定結果に基づいて入力フレーム画像を高解像度フレーム画像（信号ａ）又は低解像度化フレーム画像（信号ｂ）と決定する。このように、ピクチャタイプ判定部１１５を備えることにより、特定のピクチャタイプのフレームについては固定的に高解像度で符号化を行い、それ以外のフレームについては周波数成分に応じて元の解像度のまま符号化するか低解像度化した後に符号化するかを決定することができる。

図５は、低解像度化決定部１１の動作を示すフローチャートである。低解像度化決定部１１は、図４に示すピクチャタイプ判定部１１５を備える場合には、ステップＳ１０１にて、ピクチャタイプ判定部１１５により、入力フレーム画像のピクチャタイプを判定する。Ｉピクチャであると判定した場合には、処理をステップＳ１０５に進め、Ｉピクチャではないと判定した場合には、処理をステップＳ１０２に進める。低解像度化決定部１１がピクチャタイプ判定部１１５を備えない場合には、処理をステップＳ１０２から始める。

ステップＳ１０２にて、周波数変換部１１１により、入力フレーム画像を周波数変換し、水平周波数成分及び垂直周波数成分を算出する。例えば、水平周波数成分の最大値及び垂直周波数成分の最大値を算出する。

ステップＳ１０３にて、低解像度化フレーム決定部１１２により、水平周波数成分及び垂直周波数成分を解析し、水平周波数成分及び垂直周波数成分いずれもが高い周波数成分を含むか否かを判定する。例えば、水平周波数成分の最大値及び垂直周波数成分の最大値のそれぞれが所定の閾値よりも大きい場合には処理をステップＳ１０５に進め、それ以外の場合には処理をステップＳ１０４に進める。

ステップＳ１０４にて、低解像度化フレーム決定部１１２により、入力フレーム画像を低解像度化フレーム画像と決定する。

ステップＳ１０５にて、低解像度化フレーム決定部１１２により、入力フレーム画像を高解像度フレーム画像と決定する。

ステップＳ１０６にて、低解像度化手法決定部１１３により、縮小方向情報及び低解像度化手法情報からなる低解像度化情報を決定する。縮小方向は、水平周波数成分の最大値のみが閾値よりも小さい場合には水平方向のみとし、垂直周波数成分の最大値のみが閾値よりも小さい場合には垂直方向のみとし、水平周波数成分の最大値及び垂直周波数成分の最大値のいずれもが閾値よりも小さい場合には水平方向及び垂直方向とする。

次に、符号化装置１の動作を説明する。図６は、符号化装置１の動作を説明するフローチャートである。ステップＳ２０１にて、低解像度化決定部１１により、入力フレーム画像を低解像度化フレーム画像であるか高解像度フレーム画像であるかを判定する。低解像度化フレーム画像であると判定した場合には、処理をステップＳ２０２に進め、高解像度フレーム画像であると判定した場合には、処理をステップＳ２０５に進める。

ステップＳ２０２にて、低解像度化決定部１１により、低解像度化フレーム画像を低解像度化する際に用いられる、縮小方向情報及び低解像度化手法情報からなる低解像度化情報を決定する。

ステップＳ２０３にて、低解像度化部１２−１及び１２−２により、低解像度化フレーム画像を低解像度化した低解像度画像を生成する。

ステップＳ２０４にて、低解像度符号化部１３により、ステップＳ２０３にて生成した低解像度画像、及びステップＳ２０２にて決定した低解像度化情報を符号化する。なお、低解像度化情報は情報量が少ないため、符号化は必須ではない。

ステップＳ２０５にて、高解像度化符号化部１５及び高解像度化部１４により、高解像度フレーム画像を符号化する。

ステップＳ２０６にて、多重化部１６により、ステップＳ２０４にて生成した符号化データと、ステップＳ２０５にて生成した符号化データとを多重化する。

次に、本発明による実施例２の符号化装置２について、図面を参照して詳細に説明する。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。実施例２の符号化装置２のブロック構成は、図１に示す実施例１の符号化装置１のブロック構成と同じである。ただし、実施例１の符号化装置１と比較して、低解像度化決定部１１の内部構成が相違する。実施例２では、予測差分信号について空間方向の周波数成分の解析を行なう。

図７は、符号化装置２の低解像度化決定部１１の構成を示すブロック図である。低解像度化決定部１１は、周波数変換部１１１と、低解像度化フレーム決定部１１２と、低解像度化手法決定部１１３と、切り替え部１１４と、フレームメモリ１１８と、動き補償予測部１１９とを備える。

フレームメモリ１１８は、処理対象となる入力フレーム画像の前又は前後のフレーム画像を、参照フレームとして使用するために記憶する。

動き補償予測部１１９は、処理対象となる入力フレーム画像に対して、フレームメモリ１１８に記憶されたフレーム画像を参照して動き補償予測を行い、処理対象となる入力フレーム画像と動き補償予測した画像との差分である予測差分信号を生成し、周波数変換部１１１に出力する。

周波数変換部１１１は、動き補償予測部１１９から入力される予測差分信号に対して、直交変換等の周波数変換処理を行い、水平周波数成分及び垂直周波数成分を算出し、低解像度化フレーム決定部１１２に出力する。

低解像度化フレーム決定部１１２、低解像度化手法決定部１１３、及び切り替え部１１４の処理は実施例１と同様であるため、説明を省略する。

また、符号化装置２の低解像度化決定部１１は、実施例１と同様に、図８に示すように、ピクチャタイプ判定部１１５と、切り替え部１１６，１１７とを備える構成とすることができる。

図９は、符号化装置２の低解像度化決定部１１の動作を示すフローチャートである。低解像度化決定部１１は、図８に示すピクチャタイプ判定部１１５を備える場合には、ステップＳ３０１にて、ピクチャタイプ判定部１１５により、入力フレーム画像のピクチャタイプを判定する。Ｉピクチャであると判定した場合には、処理をステップＳ３０６に進め、Ｉピクチャではないと判定した場合には、処理をステップＳ３０２に進める。低解像度化決定部１１がピクチャタイプ判定部１１５を備えない場合には、処理をステップＳ３０２から始める。

ステップＳ３０２にて、フレームメモリ１１８及び動き補償予測部１１９により、処理対象となる入力フレーム画像と動き補償予測した画像との差分である予測差分信号を生成する。

ステップＳ３０３にて、周波数変換部１１１により、ステップＳ３０２にて生成した予測差分信号を周波数変換する。ステップＳ３０４〜ステップＳ３０７における動作は、実施例１の図５におけるステップＳ１０３〜ステップＳ１０６と同様であるため、説明を省略する。

このように実施例２の符号化装置２によれば、フレーム間の画像の予測差分信号に着目して高周波数成分を含んでいるか否かを判定するため、より動画像の画像特徴を考慮した低解像度化を行うことができるようになる。

次に、本発明による実施例３の符号化装置３について、図面を参照して詳細に説明する。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。実施例３の符号化装置３のブロック構成は、図１に示す実施例１の符号化装置１のブロック構成と同じである。ただし、実施例１の符号化装置１と比較して、低解像度化決定部１１の内部構成が相違する。実施例３では、複数の手法により低解像度化した低解像度画像を生成し、画像劣化度を解析することにより、空間方向の周波数成分の解析を行なう。

図１０は、本発明による実施例３の符号化装置３の低解像度化決定部１１の構成を示すブロック図である。低解像度化決定部１１は、複数の低解像度化部１２１（１２１−１〜１２１−ｎ）と、複数の低解像度符号化復号部１２２（１２２−１〜１２２−ｎ）と、複数の高解像度化部１２３（１２３−１〜１２３−ｎ）と、高解像度符号化復号部１２４と、画質解析部１２５と、切り替え部１２６とを備える。

各低解像度化部１２１は、入力フレーム画像を、それぞれ異なる縮小方向及び低解像度化手法の組み合わせにより低解像度化した低解像度画像を生成し、低解像度符号化復号部１２２に出力する。例えば、低解像度化部を９つ設け（１２１−１〜１２１−９）、低解像度化部１２１−１はニアレストネイバー法により水平方向に縮小し、低解像度化部１２１−２はニアレストネイバー法により垂直方向に縮小し、低解像度化部１２１−３はニアレストネイバー法により水平方向及び垂直方向に縮小し、低解像度化部１２１−４はバイリニア法により水平方向に縮小し、低解像度化部１２１−５はバイリニア法により垂直方向に縮小し、低解像度化部１２１−６はバイリニア法により水平方向及び垂直方向に縮小し、低解像度化部１２１−７はバイキュービック法により水平方向に縮小し、低解像度化部１２１−８はバイキュービック法により垂直方向に縮小し、低解像度化部１２１−９はバイキュービック法により水平方向及び垂直方向に縮小する。

低解像度符号化復号部１２２は、低解像度化部１２１から入力される低解像度画像を符号化し、その後復号した低解像度画像を生成し、高解像度化部１２３に出力する。

高解像度化部１２３は、低解像度符号化復号部１２２から入力される低解像度画像を高解像度化して元の入力フレーム画像と同じ解像度にした高解像度画像を生成し、画質解析部１２５に出力する。

高解像度符号化復号部１２４は、入力フレーム画像を元の解像度のまま符号化し、その後復号した高解像度画像を生成し、画質解析部１２５に出力する。

画質解析部１２５は、各高解像度化部１２３から入力される各高解像度画像及び高解像度符号化復号部１２４から入力される高解像度画像について、入力フレーム画像に対する劣化度を測定する。劣化度は、例えば入力フレーム画像に対する差や、ＰＳＮＲ（Peak Signal to Noise Ratio）値とする。ここで、差とは、分散、差の絶対値和、差の絶対値の最小値、又は差の絶対値の積など、種々の方法によって定まる差の値の総称をいう。

劣化度の最も小さい高解像度画像が高解像度化部１２３−ｋから入力される高解像度画像である場合には、画質解析部１２５は、入力フレーム画像を低解像度化フレーム画像と決定する。一方、劣化度の最も小さい高解像度画像が高解像度化部１２４から入力される高解像度画像であり、次に劣化度の小さい高解像度画像が高解像度化部１２３−ｋから入力される高解像度画像である場合には、高解像度化部１２３−ｋから入力される高解像度画像の劣化度が閾値を超えているか判定する。閾値を超えている場合には、画質解析部１２５は、入力フレーム画像を高解像度フレーム画像と決定し、閾値を超えていない場合には、入力フレーム画像を低解像度化フレーム画像と決定する。なお、劣化度の最も小さい高解像度画像が高解像度化部１２４から入力される高解像度画像である場合に、入力フレーム画像を高解像度フレーム画像と決定することもできる。そして、画質解析部１２５は、入力フレーム画像が高解像度フレーム画像であるか低解像度化フレーム画像であるかを示すフラグ信号を切り替え部１２６に出力する。また、低解像度化フレーム画像であると決定した場合には、低解像度化部１２１−ｋで用いた縮小方向情報及び低解像度化手法情報からなる低解像度化情報を出力する（信号ｃ）。

切り替え部１２６は、画質解析部１２５から入力されるフラグ信号に基づき、入力フレーム画像を高解像度フレーム画像（信号ａ）として出力するか、入力フレーム画像を低解像度化フレーム画像（信号ｂ）として出力するかを切り替える。

なお、符号化装置３の低解像度化決定部１１も、実施例１，２と同様に、ピクチャタイプ判定部１１５を備える構成とすることもできる。

図１１は、符号化装置３の低解像度化決定部１１の動作を示すフローチャートである。ステップＳ４０１にて、低解像度化部１２１により、複数の手法（縮小方向及び低解像度化手法の異なる組み合わせ）による低解像度化を行う。

ステップＳ４０２にて、低解像度符号化復号部１２２による低解像度画像の符号化及び復号と、高解像度符号化復号部１２４による入力フレーム画像の符号化及び復号とを行う。

ステップＳ４０３にて、高解像度化部１２３により、低解像度画像を高解像度化する。

ステップＳ４０４にて、画質解析部１２５により、最も劣化度の小さい高解像度画像が、入力フレーム画像を元の解像度のまま符号化しその後復号した画像であるか否かを判定する。最も劣化度の小さい高解像度画像が、高解像度画像のまま符号化しその後復号した画像（高解像度符号化復号部１２４により生成した画像）である場合には処理をステップＳ４０５に進め、それ以外の場合には処理をステップＳ４０６に進める。

ステップＳ４０５にて、画質解析部１２５により、２番目に劣化度が小さい画像（高解像化部１２３−ｋにより生成した画像）の劣化度が閾値以下であるか否かを判定する。閾値以下である場合には処理をステップＳ４０６に進め、閾値より大きい場合には処理をステップＳ４０７に進める。

ステップＳ４０６にて、画質解析部１２５により、入力フレーム画像を低解像度化フレーム画像と決定する。

ステップＳ４０７にて、画質解析部１２５により、入力フレーム画像を高解像度フレーム画像と決定する。

ステップＳ４０８にて、画質解析部１２５により、縮小方向及び低解像度化手法を決定する。

このように、実施例３の符号化装置３によれば、複数種類の縮小方向及び低解像度化手法の組み合わせの中から最適なものを決定することができる。また、高い周波数成分を有する画像であっても、元の解像度のまま符号化するよりも低解像度化してから符号化したほうが劣化が少ない（すわなち、高解像度符号化復号部１２４で生成した画像よりも、高解像度化部１２３−ｋで生成した画像のほうが劣化が少ない）場合もあるが、実施例３の符号化装置３によれば、そのような画像を低解像度化フレームと決定することができる。

さらに、符号化装置１〜３として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、低解像度化決定部１１と、低解像度化部１２−１及び１２−２と、低解像度符号化部１３と、高解像度化部１４と、高解像度符号化部１５と、多重化部１６とを機能させるための制御部を、ＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、低解像度化決定部１１と、低解像度化部１２−１及び１２−２と、低解像度符号化部１３と、高解像度化部１４と、高解像度符号化部１５と、多重化部１６の有する機能を実現させることができる。

次に、本発明による実施例４の復号装置４について、図面を参照して詳細に説明する。図１２は、復号装置４の構成を示すブロック図である。復号装置４は、符号化解像度識別部４１と、低解像度復号部４２と、高解像度化部４３と、高解像度復号部４４と、低解像度化部４５と、画像統合部４６とを備える。

符号化解像度識別部４１は、符号化装置側から入力される符号化データ（信号ｋ）が、高解像度画像の符号化データであるか、低解像度画像の符号化データであるかを識別する。例えば、低解像度化情報が付加されていれば、低解像度画像の符号化データであると識別する。高解像度画像の符号化データである場合には、該符号化データを高解像度復号部４４に出力し（信号ｌ）、低解像度画像の符号化データである場合には、低解像度画像の符号化データ、低解像度復号部４２に出力する（信号ｍ）とともに、符号化装置側から入力される低解像度化情報（符号化されている場合にはその符号化データ）を低解像度復号部４２に出力する（信号ｎ）。

低解像度復号部４２は、符号化解像度識別部４１から入力される低解像度画像の符号化データ（信号ｍ）を低解像度化部４５から入力される低解像度画像（信号ｔ）を参照フレームとして用いて復号し、高解像度化部４３に出力する（信号ｏ）。また、低解像度化部４５から入力される低解像度化情報（信号ｎ）を、符号化されている場合には復号して高解像度化部４３に出力する（信号ｐ）。低解像度画像の符号化データの復号は、例えば従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ−２方式と同様に、符号化データを復号、逆量子化処理、及び逆直交変換処理した画像に、低解像度化部４５から入力される低解像度画像（信号ｔ）を動き補償予測した画像を加算する。

高解像度化部４３は、低解像度復号部４２から入力される低解像度画像（信号ｏ）を、低解像度復号部４２から入力される低解像度化情報（信号ｐ）に基づいて高解像度化し、高解像度復号部４４及び画像統合部４６に出力する（信号ｑ）。

高解像度復号部４４は、符号化解像度識別部４１から入力される高解像度画像の符号化データ（信号ｌ）を、低解像度化部４３から入力される高解像度画像を参照フレームとして用いて高解像度画像を復号し、画像統合部４６に出力する（信号ｒ）。高解像度画像の復号は、例えば従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ−２方式と同様に、符号化データを復号、逆量子化処理、及び逆直交変換処理した画像に、高解像度化部４３から入力される高解像度画像（信号ｑ）を動き補償予測した画像を加算する。

低解像度化部４５は、高解像度復号部４４から入力される高解像度画像（信号ｓ）を低解像度化した低解像度画像を生成し、低解像度復号部４２に出力する（信号ｔ）。

画像統合部４６は、高解像度復号部４４から入力される高解像度画像（信号ｒ）と、高解像度化部４３から入力される高解像度画像（信号ｑ）とを統合し、外部に出力する（信号ｕ）。

次に、復号装置４の動作を説明する。図１３は、復号装置４の動作を説明するフローチャートである。ステップＳ５０１にて、符号化解像度識別部４１により、符号化装置側から入力される符号化データが、高解像度画像の符号化データであるか、低解像度画像の符号化データであるかを識別する。低解像度画像の符号化データである場合には処理をステップＳ５０２に進め、高解像度画像の符号化データである場合には処理をステップＳ５０３に進める。

ステップＳ５０２にて、低解像度復号部４２及び低解像度化部４５により、低解像度画像の符号化データを復号し、低解像度画像を生成する。

ステップＳ５０３にて、高解像度復号部４４により、高解像度画像の符号化データを復号し、高解像度画像を生成する。

ステップＳ５０４にて、高解像度化部４３により、ステップＳ５０２にて生成した低解像度画像を高解像度化した高解像度画像を生成する。

ステップＳ５０５にて、画像統合部４６により、ステップＳ５０３にて生成した高解像度画像と、ステップＳ５０４にて生成した高解像度画像とを統合する。

このように、実施例４の復号装置４によれば、実施例１〜３の符号化装置１〜３によって符号化した符号化データを適切に復号することができる。

さらに、復号装置４として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、符号化解像度識別部４１と、低解像度復号部４２と、高解像度化部４３と、高解像度復号部４４と、低解像度化部４５と、画像統合部４６とを機能させるための制御部を、ＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、符号化解像度識別部４１と、低解像度復号部４２と、高解像度化部４３と、高解像度復号部４４と、低解像度化部４５と、画像統合部４６の有する機能を実現させることができる。

上述の各実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

このように、本発明によれば符号量を削減できるので、画像を符号化する任意の用途に有用である。

１，２，３ 符号化装置
４ 復号装置
１２−１，１２−２ 低解像度化部
１３ 低解像度符号化部
１４ 高解像度化部
１５ 高解像度符号化部
１６ 多重化部
４１ 符号化解像度識別部
４２ 低解像度復号部
４３ 高解像度化部
４４ 高解像度復号部
４５ 低解像度化部
４６ 画像統合部
１１ 低解像度化決定部
１１１ 周波数変換部
１１２ 低解像度化フレーム決定部
１１３ 低解像度化手法決定部
１１４，１１６，１１７，１２６ 切り替え部
１１５ ピクチャタイプ判定部
１１８ フレームメモリ
１１９ 動き補償予測部
１２１ 低解像度化部
１２２ 低解像度符号化復号部
１２３ 高解像度化部
１２４ 高解像度符号化復号部
１２５ 画質解析部

Claims (8)

1. 入力フレーム画像のうちの一部のフレーム画像を低解像度化した後に符号化し、他のフレーム画像は元の解像度のまま符号化する符号化装置であって、
   入力フレーム画像ごとに空間方向の周波数成分を解析して、低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定するとともに、低解像度化する際の縮小方向情報を含む低解像度化情報を決定する低解像度化決定部と、
   前記低解像度化後に符号化すると決定されたフレーム画像を、前記低解像度化情報に従って低解像度化して低解像度画像を生成する低解像度化部と、
   前記生成された低解像度画像を符号化する低解像度符号化部と、
   前記元の解像度まま符号化すると決定されたフレーム画像を元の解像度のまま符号化する高解像度符号化部と、
   前記低解像度符号化部によって符号化されたデータ、及び前記高解像度符号化部によって符号化されたデータを多重化する多重化部と、
   を備えることを特徴とする符号化装置。
2. 前記低解像度化決定部は、入力フレーム画像に対して周波数変換処理を行い、水平周波数成分及び垂直周波数成分を算出する周波数変換部と、
   前記周波数変換部によって算出した入力フレーム画像の水平周波数成分及び垂直周波数成分を解析し、水平周波数成分及び垂直周波数成分がともに所定の閾値よりも高い周波数成分を含む場合には、入力フレーム画像を前記元の解像度のまま符号化するフレーム画像と決定し、水平周波数成分又は垂直周波数成分の少なくとも一方が所定の閾値よりも高い周波数成分を含まない場合には、入力フレーム画像を前記低解像度化後に符号化するフレーム画像と決定する低解像度化フレーム決定部と、
   前記低解像度化フレーム決定部によって決定された低解像度化するフレーム画像の前記縮小方向を、前記水平周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には水平方向と決定し、前記垂直周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には垂直方向と決定し、前記水平周波数成分及び前記垂直周波数成分が所定の閾値よりも高い周波数成分を含まない場合には水平方向及び垂直方向と決定する低解像度化手法決定部と、
   を備えることを特徴とする、請求項１に記載の符号化装置。
3. 前記低解像度化決定部は、処理対象となる入力フレーム画像に対して、該入力フレーム画像の前又は前後のフレーム画像を参照して動き補償予測を行い、該処理対象となる入力フレーム画像と動き補償予測した画像との差分である予測差分信号を生成する動き補償予測部と、
   前記動き補償予測部によって生成した予測差分信号に対して周波数変換処理を行い、水平周波数成分及び垂直周波数成分を算出する周波数変換部と、
   前記周波数変換部によって算出した入力フレーム画像の水平周波数成分及び垂直周波数成分を解析し、水平周波数成分及び垂直周波数成分がともに所定の閾値よりも高い周波数成分を含む場合には、入力フレーム画像を前記元の解像度のまま符号化するフレーム画像と決定し、水平周波数成分又は垂直周波数成分の少なくとも一方が所定の閾値よりも高い周波数成分を含まない場合には、入力フレーム画像を前記低解像度化後に符号化するフレーム画像と決定する低解像度化フレーム決定部と、
   前記低解像度化フレーム決定部によって決定された低解像度化するフレーム画像の前記縮小方向を、前記水平周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には水平方向と決定し、前記垂直周波数成分のみが所定の閾値よりも高い周波数成分を含まない場合には垂直方向と決定し、前記水平周波数成分及び前記垂直周波数成分が所定の閾値よりも高い周波数成分を含まない場合には水平方向及び垂直方向と決定する低解像度化手法決定部と、
   を備えることを特徴とする、請求項１に記載の符号化装置。
4. 前記低解像度化決定部は、入力フレーム画像を、前記縮小方向及び前記低解像度化手法の複数種類の組み合わせによってそれぞれ低解像度化した複数の低解像度画像を生成する低解像度化部と、
   前記低解像度化部によって生成した複数の低解像度画像をそれぞれ符号化し、該符号化した低解像度画像をそれぞれ復号して複数の低解像度画像を生成する低解像度符号化復号部と、
   前記低解像度符号化復号部によって生成した複数の低解像度画像をそれぞれ元の解像度に変換した複数の画像を生成する高解像度化部と、
   入力フレーム画像を、元の解像度のまま符号化し、その後復号した画像を生成する高解像度符号化復号部と、
   前記高解像度化部によって生成した複数の画像、及び前記高解像度符号化復号部によって生成した画像を、それぞれ入力フレーム画像と比較して劣化度を測定し、該劣化度に基づいて、前記低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定する低解像度化決定部と、
   を備えることを特徴とする、請求項１に記載の符号化装置。
5. 前記低解像度化決定部は、入力フレーム画像のピクチャタイプを判別するピクチャタイプ判定部を備え、
   前記低解像度化決定部は、前記ピクチャタイプ判定部が入力フレーム画像のピクチャタイプをＩピクチャと判定した場合には、入力フレーム画像を前記低解像度化しないフレーム画像と決定し、前記ピクチャタイプ判定部が入力フレーム画像のピクチャタイプをＩピクチャ以外と判定した場合についてのみ、入力フレーム画像を前記低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定することを特徴とする、請求項１から４のいずれか一項に記載の符号化装置。
6. 前記低解像度化手法は、ニアレストネイバー法、バイリニア法、バイキュービック法のいずれかであることを特徴とする、請求項１から５のいずれか一項に記載の符号化装置。
7. 符号化装置から符号化データを受信し、該符号化データを復号する復号装置であって、
   入力される符号化データが高解像度画像の符号化データであるか低解像度画像の符号化データであるかを識別する符号化解像度識別部と、
   前記符号化解像度識別部によって識別された低解像度画像の符号化データを復号して低解像度画像を生成する低解像度復号部と、
   フレーム画像の低解像度化に用いた縮小方向情報を含む低解像度化情報を取得し、前記低解像度復号部によって生成した低解像度画像を、前記低解像度化情報に基づいて高解像度化する高解像度部と、
   前記符号化解像度識別部によって識別された高解像度画像の符号化データを復号して高解像度画像を生成する高解像度復号部と、
   前記低解像度復号部によって生成した低解像度画像を高解像度化した画像、及び前記高解像度復号部によって生成した高解像度画像を統合する画像統合部と、
   を備えることを特徴とする復号装置。
8. 入力フレーム画像のうちの一部のフレーム画像を低解像度化した後に符号化し、他のフレーム画像は元の解像度のまま符号化する符号化装置として機能するコンピュータに、
   （ａ）入力フレーム画像ごとに空間方向の周波数成分を解析して、低解像度化後に符号化するフレーム画像か元の解像度のまま符号化するフレーム画像かを決定するとともに、低解像度化する際の縮小方向情報を含む低解像度化情報を決定するステップと、
   （ｂ）前記低解像度化後に符号化すると決定されたフレーム画像を、前記低解像度化情報に従って低解像度化して低解像度画像を生成するステップと、
   （ｃ）前記生成された低解像度画像を符号化するステップと、
   （ｄ）前記元の解像度まま符号化すると決定されたフレーム画像を元の解像度のまま符号化するステップと、
   （ｅ）前記ステップ（ｂ）にて符号化されたデータ、及び前記ステップ（ｄ）にて符号化されたデータを多重化するステップと、
   を実行させるためのプログラム。

Images