JP2009010763A - 画像処理装置、及び、画像処理方法 - Google Patents

Abstract

【課題】再符号化処理後の画像信号の画質をより良好に保ちつつ高圧縮率を実現する画像処理装置の提供。
【解決手段】上記入力手段により入力された第１の符号化方式で符号化された画像信号から符号化する難しさを示す第１の難易度情報を抽出するとともに、画像信号を復号する復号処理部１０と、復号された画像信号にフィルタ処理を施すフィルタ処理部１２１と、
フィルタ処理部１２１がフィルタ処理を施した画像信号から、符号化する難しさを示す第２の難易度情報を抽出するとともに、画像信号を第２の符号化方式に基づいて符号化して出力する符号化処理部１１と、復号処理部１０が抽出した第１の難易度情報と、符号化処理部１１が抽出した第２の難易度情報とに応じて、フィルタ処理部１２１が画像信号に施すフィルタ処理の強度を制御するフィルタ制御部１２２とを備える。
【選択図】 図１

Description

本発明は、第１の符号化方式で符号化された画像信号を復号して、復号した画像信号を第１の符号化方式と異なる第２の符号化方式の画像信号に変換する画像処理装置、及び、画像処理方法に関するものである。

近年、動画像データをデジタルデータとして取り扱い、その際、効率の高い情報の伝送や蓄積を目的とし、動画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換処理と動き補償処理により画像信号を圧縮するＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の符号化方式に準拠した装置が、放送局などの情報配信、及び、一般家庭における情報受信の双方において普及しつつある。

特に、ＭＰＥＧ２方式（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用動画像符号化方式として定義されており、また、飛び越し走査画像及び順次走査画像の双方、並びに、標準解像度画像及び高精細画像を網羅しており、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。

ＭＰＥＧ２方式では、例えば７２０×４８０の画サイズの標準解像度の飛び越し走査画像であれば４〜８［Ｍｂｐｓ］のビットレートを割り当て、１９２０×１０８０の画サイズの高解像度の飛び越し走査画像であれば１８〜２２［Ｍｂｐｓ］のビットレートを割り当てることによって、画質が良好に保たれた状態で画像信号を符号化することができる。

また、ＭＰＥＧ２方式は、主に放送用など高画質の状態で符号化する画像信号を対象としていたが、ＭＰＥＧ１方式に対して、低いビットレート、すなわちより高圧縮率の符号化方式には対応していなかった。このような高圧縮率の符号化方式に対応した符号化方式として、ＭＰＥＧ４方式の標準化が行われた。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２として、この規格が国際標準方式として承認された。

以上のようなＭＰＥＧ方式よりもさらに圧縮効率の高い画像符号化方式として、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）と呼ばれる符号化方式が提案されている。

ところで、従来デジタル放送に用いられている動画像符号化方式は、主にＭＰＥＧ方式である。このようなデジタル放送を記録保存してその後再生できるようにする、いわゆるデジタルビデオレコーダなどの画像処理装置には、より高画質で長時間の記録を行えるように、ＭＰＥＧ方式で送られてきた画像信号を一旦復号して、より高圧縮率を実現できるＪＶＴ方式などの符号化方式によって再符号化するものがある。

このような再符号化の対象となる画像信号、すなわちＭＰＥＧ方式で送られてきた画像信号の復号画像には、ＭＰＥＧ方式による画像信号を符号化するときに発生してしまうブロックノイズなどの画質劣化が含まれている。このため、再符号化処理を行う画像処理装置では、このような画質劣化が含まれた画像信号を直接ＪＶＴ方式によって再符号化処理を施そうとすると、その劣化部分を再現するために余計な情報量が割かれ、圧縮効率が悪くなるだけでなく、劣化がより強調されてしまう場合があり得る。

このような画質劣化を低減するため、画像信号の再符号化処理を行う画像処理装置には、復号処理を施した画像信号に対して、ＭＰＥＧ方式などによる符号化処理を行ったときに含まれる画質劣化を弱めるため、例えばローパスフィルタ処理を施す場合がある。ここで、画像処理装置は、画像信号に対して、一様の強度でローパスフィルタ処理を施すと、符号化処理が比較的易しく画質劣化がほとんど生じていない画像領域まで必要以上にぼかしてしまうこととなるため必ずしも望ましくない。

そのため、再符号化処理には、画質劣化の度合いに応じてフィルタ処理の強度を制御することが、上述した画質劣化を低減するのに有効となる。具体的に、画像処理装置は、たとえ復号画像信号にほとんど画質劣化が見られないときでも、再符号化処理時に符号化が易しい部分と難しい部分とを判断し、易しい部分をなるべくフィルタ処理を施さずに、難しい部分の高域周波数成分のみを除去することができれば、より効率の良い再符号化が可能となる。一般的に、符号化の難しい部分は、動きの激しい部分であったり、絵柄が複雑だったりする場合が多いため、上述したようなローパスフィルタなどで画像信号の高域周波数成分を除去したとしても、視覚特性上画質劣化が分かりにくいからである。

従来の画像処理装置では、再符号化処理の前段として、画像信号に対して復号処理を施すときに得られる符号化情報に基づいて、符号化するときの難しさの度合いを評価して、フィルタ処理の強度を制御している。

また、特許文献１においては、画像信号を復号するときに得られるサブデータに基づいて、復号された画像信号を復号する情報処理装置が記載されている。

特開２００６―２０１４７号公報

しかしながら、ＭＰＥＧ方式で符号化することが難しい画像が、ＪＶＴ方式で符号化することが難しい画像になるという関係は必ずしも成立しない。例えば、画面がフェードイン又はフェードアウトするような画像信号は、ＭＰＥＧ方式によって符号化することは難しいが、フェード用に特化した符号化処理モードを有するＪＶＴ方式によって符号化することは比較的容易である。このように、復号処理で得られた符号化の難しさを示す情報は、再符号化処理における符号化の難しさと一致しない場合がある。

本発明は、このような実情に鑑みて提案されたものであり、再符号化するときに画質劣化を低減するために復号された画像信号に対して施すフィルタ処理の強度を適切に制御することによって、再符号化処理後の画像信号の画質をより良好に保ちつつ高圧縮率を実現する画像処理装置、及び、画像処理方法を提供することを目的とする。

上述した課題を解決するための手段として、本発明に係る画像処理装置は、第１の符号化方式で符号化された画像信号を入力する入力手段と、上記入力手段により入力された画像信号から上記第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度情報を抽出するとともに、該画像信号を該第１の符号化方式に基づいて復号する復号手段と、上記復号手段により復号された画像信号にフィルタ処理を施すフィルタ処理手段と、上記フィルタ処理手段がフィルタ処理を施した画像信号から、上記第１の符号化方式と異なる第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度情報を抽出するとともに、該画像信号を該第２の符号化方式に基づいて符号化して出力する符号化手段と、上記復号手段が抽出した第１の難易度情報と、上記符号化手段が抽出した第２の難易度情報とに応じて、上記フィルタ処理手段が画像信号に施すフィルタ処理の強度を制御する制御手段とを備える。

また、本発明に係る画像処理方法は、第１の符号化方式で符号化された画像信号を入力する入力工程と、上記入力工程により入力された画像信号から上記第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度情報を抽出するとともに、該画像信号を該第１の符号化方式に基づいて復号する復号工程と、上記復号工程により復号された画像信号にフィルタ処理を施すフィルタ処理工程と、上記フィルタ処理工程によりフィルタ処理を施した画像信号から、上記第１の符号化方式と異なる第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度情報を抽出するとともに、該画像信号を該第２の符号化方式に基づいて符号化して出力する符号化工程と、上記復号工程で抽出される第１の難易度情報と、上記符号化工程で抽出される第２の難易度情報とに応じて、上記フィルタ処理工程が画像信号に施すフィルタ処理の強度を制御する制御工程とを有する。

本発明では、画像信号を復号するときに抽出される第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度と、画像信号を符号化するときに抽出される第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度とに応じて、画像信号に施すフィルタ処理の強度を制御するので、復号された画像信号を再符号化するときに画質劣化を低減するために施すフィルタ処理の強度を適切に制御することができるので、画質を良好に保ちつつ高圧縮率が実現できるように画像信号を第２の符号化方式に符号化することができる。

本発明が適用された画像処理装置は、第１の符号化方式で符号化された画像信号を復号して、第１の符号化方式と異なる第２の符号化方式の画像信号に変換する、いわゆる再符号化処理を行う画像処理装置である。以下では、図１に示すような第１の実施形態に係る画像処理装置１を用いて、本発明を実施するための最良の形態について説明する。

この画像処理装置１は、例えばデジタル放送波がデジタルチューナによって復調されたＭＰＥＧ方式の符号化データをベースバンドビデオ信号に復号して、復号したベースバンド信号を、ＤＶＤや、ＢＤ（Blu-ray Disc）や、ＨＤＤＶＤ（High-Definition Digital Versatile Disc）などの高密度記録媒体の記録用データとして、ＭＰＥＧ方式よりも圧縮効率の高いＡＶＣ方式の符号化データに変換する処理を行う装置である。

具体的に、画像処理装置１は、図１に示すように、外部から入力したＭＰＥＧ２方式などの第１の符号化方式の画像信号を復号してベースバンドビデオ信号などの復号された画像信号を出力する復号処理部１０と、復号された画像信号をＭＰＥＧ２方式よりも圧縮効率の高いＡＶＣ方式などの第２の符号化方式の画像信号に符号化する符号化処理部１１と、復号処理部１０で復号された画像信号に含まれるブロック歪みノイズなどを低減する処理を行うフィルタ処理部１２１と、フィルタ処理部１２１の動作特性を制御するフィルタ制御部１２２と、再符号化処理が施された画像信号のビットストリームのビットレートをユーザによる操作入力により設定するユーザインタフェース１２３とを備える。

本実施形態に係る画像処理装置１は、後述するように復号処理部１０で画像信号を復号するときに抽出される第１の符号化方式に係る情報と、符号化処理部１１で復号された画像信号を符号化するときに抽出される第２の符号化方式に係る情報とに応じて、フィルタ制御部１２２がフィルタ処理部１２１の動作特性を制御することにより、画質を良好に保ちつつ高圧縮率が実現できるように、画像信号を第２の符号化方式で符号化するものである。

フィルタ制御部１２２の具体的な処理に関する説明に先立ち、復号処理部１０及び符号化処理部１１の構成と動作について説明する。

復号処理部１０は、バッファ１０１と、可逆復号部１０２と、逆量子化部１０３と、逆直交変換部１０４と、加算器１０５と、画面並べ替え部１０６と、フレームメモリ１０７と、動き補償部１０８とを備える。

バッファ１０１は、外部から第１の符号化方式で符号化された画像信号を入力して、入力した画像信号を一時的に記憶して、他の復号処理を行う処理部との同期を図って、順次記憶した画像信号を可逆復号部１０２に供給する。

可逆復号部１０２は、バッファ１０１から供給される画像信号に対して、第１の符号化方式に基づいて、可変長復号化や算術復号化などの処理を施して、量子化された直交変換係数を逆量子化部１０３に供給する。

また、可逆復号部１０２は、第１の符号化方式で符号化された画像信号がインター符号化されたフレーム画像データのとき、このフレーム画像データのヘッダ部に格納された動きベクトルを復号することにより抽出し、抽出した動きベクトルを動き補償部１０８に供給する。

逆量子化部１０３は、可逆復号部１０２から供給される量子化された直交変換係数に対して逆量子化処理を施して、この直交変換係数を逆直交変換部１０４に供給する。

逆直交変換部１０４は、逆量子化部１０３で生成された直交変換係数に対して逆離散コサイン変換や逆カルーネン・レーベ変換などの逆直交変換処理を施して、復号されたフレーム画像データを加算器１０５に供給する。

加算器１０５は、フレーム画像データがインター符号化されているとき、逆直交変換部１０４から供給されるフレーム画像データに、後述する動き補償部１０８によって生成された予測フレーム画像データを加算して、画面並べ替え部１０６及びフレームメモリ１０７に供給する。なお、フレーム画像データがイントラ符号化されているとき、加算器１０５は、上述した加算処理を行わずに逆直交変換部１０４から供給されたフレーム画像データを画面並べ替え部１０６に供給する。

画面並べ替え部１０６は、逆直交変換部１０４から供給されるフレーム画像データを時間軸方向に並び換える。そして、画面並べ替え部１０６は、時間軸方向に並び換えたフレーム画像データをベースバンドビデオ信号としてフィルタ処理部１２１に供給する。

フレームメモリ１０７は、逆直交変換部１０４から供給されたフレーム画像データを、インター符号化されたフレーム画像データを復号するための参照フレーム画像データとして記憶する。

動き補償部１０８は、処理対象のフレーム画像データがインター符号化されているとき、可逆復号部１０２から供給される動きベクトルと、フレームメモリ１０７に記憶された参照フレーム画像データとに応じて、予測フレーム画像データを生成して加算器１０５に供給する。

以上のような構成を有する復号処理部１０では、外部から入力した符号化データをベースバンドビデオ信号に復号して、復号したベースバンドビデオ信号をフィルタ処理部１２１に供給する。さらに、本実施形態に係る復号処理部１０では、可逆復号部１０２が、可逆復号処理時において、フレーム画像データのマクロブロックのヘッダ部に格納された量子化値と発生ビット量を、第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度として抽出してフィルタ制御部１２２に供給する。また、可逆復号部１０２は、上述した第１の難易度に加えて、画像信号の前後のフレームにシーンチェンジがあるかを示すシーンチェンジ情報と、インター符号化されたフレーム画像データに含まれる動きベクトル情報とを抽出してフィルタ制御部１２２に供給する。

また、符号化処理部１１は、復号処理部１０によって画像信号が復号される第１の符号化方式に対して、第２の符号化方式の符号化データに変換する処理を行うため、画面並べ替え部１０９と、減算器１１０と、直交変換部１１１と、量子化部１１２と、可逆符号化部１１３と、バッファ１１４と、逆量子化部１１５と、逆直交変換部１１６と、フレームメモリ１１７と、動きベクトル生成部１１８と、動き補償部１１９と、レート制御部１２０とを備える。

画面並べ替え部１０９は、後述するフィルタ処理部１２１から供給される画像信号を構成する各フレーム画像データを、第２の符号化方式に係る画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造に応じてフレーム画像データを並べ替えて減算器１１０に供給する。また、画面並べ替え部１０９は、減算器１１０に供給するフレーム画像データにインター符号化処理を施すとき、このフレーム画像データを動きベクトル生成部１１８に供給する。

減算器１１０は、フレーム画像データにインター符号化処理を施すとき、このフレーム画像データと、後述する動き補償部１１９から供給される予測フレーム画像データとの差分を示す画像データを算出して、算出した画像データを直交変換部１１１に供給する。なお、フレーム画像データにイントラ符号化処理を施すとき、減算器１１０は、画面並べ替え部１０９から供給されるフレーム画像データに上述した差分処理を施さない。

直交変換部１１１は、減算器１１０から供給されるフレーム画像データに対して、離散コサイン変換やカルーネン・レーベ変換などの直交変換処理を施して、直交変換係数を量子化部１１２に供給する。

量子化部１１２は、後述するレート制御部１２０からの制御命令に応じた量子化値で、直交変換部１１１から供給される直交変換係数を量子化して、量子化された直交変換係数を可逆符号化部１１３及び逆量子化部１１５に供給する。

可逆符号化部１１３は、後述する動きベクトル生成部１１８から供給される動きベクトルに対して可変長符号化や算術符号化などの可逆符号化処理を施す。そして、可逆符号化部１１３は、量子化部１１２から供給される量子化された直交変換係数からなる符号化データのヘッダ部に、上述した可逆符号化処理が施された動きベクトルを格納して、この符号化データをバッファ１１４に供給する。

バッファ１１４は、可逆符号化部１１３から供給される符号化データを記憶して、記憶した符号化データを連続したビットストリームとなる画像信号として外部へ出力する。また、バッファ１１４は、外部へ出力するビットストリームのビットレートに関する情報をレート制御部１２０に供給する。

逆量子化部１１５は、量子化部１１２から供給される量子化された直交変換係数に対して逆量子化処理を施し、逆量子化された直交変換係数を逆直交変換部１１６に供給する。

逆直交変換部１１６は、逆量子化部１１５から供給される直交変換係数に対して逆直交変換処理を施し、復号したフレーム画像データをフレームメモリ１１７に供給する。

フレームメモリ１１７は、逆直交変換部１１６から供給される復号したフレーム画像データを参照フレーム画像データとして記憶する。

動きベクトル生成部１１８は、画面並べ替え部１０６から供給されるフレーム画像データから動きベクトルを生成して、生成した動きベクトルを可逆符号化部１１３及び動き補償部１１９に供給する。

動き補償部１１９は、動きベクトル生成部１１８で生成された動きベクトルと、フレームメモリ１１７に記憶された参照フレーム画像データとに応じて、予測フレーム画像データを生成して、生成した予測フレーム画像データを減算器１１０に供給する。

レート制御部１２０は、バッファ１１４から供給されるビットレート情報と、ユーザインタフェース１２３から供給される設定ビットレート情報とに応じて符号化データのビットレートを制御するため、量子化部１１２で直交変換係数を量子化する量子化値を設定する。

以上のような構成からなる符号化処理部１１では、第１の符号化方式と第２の符号化方式とが互いに異なれば具体的な方式に限定されないが、特に第１の符号化方式よりも圧縮効率の高い符号化方式を第２の符号化方式として再符号化処理を画像信号に施し、ＤＶＤなどの記憶媒体に記憶することによって、記憶領域を有効に利用してより高画質の画像信号を記憶媒体に記憶させることができる。

さらに、符号化処理部１１は、量子化部１１２が直交変換係数を量子化するときの量子化値と、可逆符号化部１１３が生成する符号化データの発生ビット量とに関する情報を、第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度としてフィルタ制御部１２２に供給する。

次に、復号処理部１０で復号されたベースバンドビデオ信号などの画像信号に対して、フィルタ処理を施すフィルタ処理部１２１と、このフィルタ処理部１２１の動作特性を制御するフィルタ制御部１２２とに係る構成について、図２及び図３を参照して説明する。

フィルタ処理部１２１は、第１の符号化方式で符号化された画像信号に含まれるブロックノイズ、フレームノイズや、モスキートノイズなどを低減するため、具体的には、復号された画像信号に対して高域周波数成分を除去する処理を施すため、図３に示すように、画像信号の高域周波数成分を抽出するハイパスフィルタ１２１ａと、ハイパスフィルタ１２１ａで抽出した高域周波数成分の画像信号のゲインを調整するゲイン調整部１２１ｂと、入力した画像信号からゲイン調整部１２１ｂでゲインを調整した画像信号を加算する加算器１２１ｃとを備える。

ハイパスフィルタ１２１ａは、復号処理部１０から供給される画像信号から、高域周波数成分を抽出する処理を行う。具体的に、ハイパスフィルタ１２１ａは、画像信号を構成するフレーム画像データの注目画素の画素値と注目画素の隣接画素の画素値とから、加重平均演算をすることにより、各フレーム画像データの高域周波数成分を抽出する。そして、ハイパスフィルタ１２１ａは、高域周波数成分を抽出した画像信号をゲイン調整部１２１ｂに供給する。

ゲイン調整部１２１ｂは、例えば図４に示すように、各画素の画素値が大きくなるのに伴って負の値に単調に減少するように、ハイパスフィルタ１２１ａから供給される画像信号のゲインを調節する。すなわち、ゲイン調整部１２１ｂは、高域周波数成分の画素値を反転させた画像信号を生成する。そして、ゲイン調整部１２１ｂは、上述したようにゲインを調整した画像信号を加算器１２１ｃに供給する。

加算器１２１ｃは、復号処理部１０から供給された画像信号と、ゲイン調整部１２１ｂから供給される画像信号とを加算する。ここで、復号処理部１０から供給された画像信号は、高域周波数成分の画素値を反転させた画像信号が加算される。よって、加算器１２１ｃは、高域周波数成分が除去された画像信号を出力する。そして、加算器１２１ｃは、加算処理を施した画像信号を符号化処理部１１に供給する。

以上のような構成からなるフィルタ処理部１２１では、後述するフィルタ制御部１２２からの制御命令に従って、例えば図５に示すように１つのフレーム画像データを４×４の合計１６個の画像領域に分割して、画像領域毎に、ハイパスフィルタ１２１ａの特性とゲイン調整部１２１ｂのゲイン特性とをフィルタ係数を決定することによりフィルタ処理の強度を制御して、上述したような画像信号から高域周波数成分を除去する処理を行う。

このように複数の画像領域に分割するのは、１つの画面内において符号化の難易度や絵柄の複雑さが一様ではなく、画像領域毎に適した強度のフィルタ処理を施す必要があるからである。

ここで、隣接する画像領域のフィルタ処理の強度の差が大きいとフィルタ処理を施した画像信号に境界線が見えてしまう可能性がある。そこで、フィルタ処理部１２１は、各画像領域の境界部分に図５の点線及び斜線で示される平滑化処理を施す平滑化領域を設けて、この平滑化領域のフィルタ処理の強度を隣接画像領域のフィルタ処理の強度を用いて、境界線を視覚的に見えにくくする平滑化処理を施す。

フィルタ処理部１２１は、図５に示すような各画像領域の境界部分の縦方向と横方向とにそれぞれ１段の平滑化領域を設ける場合に限らず、例えば、図６に示すように、各画像領域の境界部分の縦方向と横方向とにそれぞれ２段階で強度の異なる平滑化領域を設けて、フィルタ処理を行うようにしてもよい。

図６に示すような平滑化領域を設けたとき、フィルタ処理部１２１は、注目画像領域Ａを合計９個に分割した部分毎にフィルタ強度を平滑化する。ここで、注目画像領域Ａは、図７に示すように、右方向に画像領域Ｂと隣接し、下方向に画像領域Ｃと隣接し、右斜め下方向に画像領域Ｄと隣接しているものとする。また、各画像領域には、垂直方向の境界線を中心軸とした第１の平滑化領域Ｘ１と、垂直方向の境界線を中心軸として第１の平滑化領域Ｘ１よりも水平方向の幅が広く第１の平滑化領域Ｘ１を除いた第２の平滑化領域Ｘ２とが設けられているものとする。さらに、各画像領域には、水平方向の境界線を中心軸とした第３の平滑化領域Ｙ１と、水平方向の境界線を中心軸として第３の平滑化領域Ｙ１よりも垂直方向に幅が広く第３の平滑化領域Ｙ１を除いた第４の平滑化領域Ｙ２とが設けられているものとする。

注目画像領域Ａは、平滑化処理を施さない部分Ａ０と、平滑化処理を施す合計８つの部分Ａ１〜Ａ８とに分けられる。部分Ａ１は、第２の平滑化領域Ｘ２にだけ該当する部分である。部分Ａ２は、第１の平滑化領域Ｘ１にだけ該当する部分である。部分Ａ３は、第４の平滑化領域Ｙ２にだけ該当する部分である。部分Ａ４は、第２の平滑化領域Ｘ２と第４の平滑化領域Ｙ２との重複部分である。部分Ａ５は、第１の平滑化領域Ｘ１と第４の平滑化領域Ｙ２との重複部分である。部分Ａ６は、第３の平滑化領域Ｙ１にだけ該当する部分である。部分Ａ７は、第２の平滑化領域Ｘ２と第３の平滑化領域Ｙ１との重複部分である。部分Ａ８は、第１の平滑化領域Ｘ１と第３の平滑化領域Ｙ１との重複部分である。

フィルタ処理部１２１は、後述するフィルタ制御部１２２によって設定された画像領域Ａ、Ｂ、Ｃ、Ｄのフィルタ処理の強度がそれぞれＳ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ）のとき、注目画像領域Ａを構成する各部分Ａ０〜Ａ８のフィルタ処理の強度Ｓ（Ａ０）〜Ａ（Ａ８）を下記式（１）〜（９）により算出する。

Ｓ（Ａ０）＝Ｓ（Ａ） ・・・式（１）
Ｓ（Ａ１）＝（３×Ｓ（Ａ）＋Ｓ（Ｂ））／４ ・・・式（２）
Ｓ（Ａ２）＝（Ｓ（Ａ）＋Ｓ（Ｂ））／２ ・・・式（３）
Ｓ（Ａ３）＝（３×Ｓ（Ａ）＋Ｓ（Ｃ））／４ ・・・式（４）
Ｓ（Ａ４）＝（９×Ｓ（Ａ）＋３×Ｓ（Ｂ）＋３×Ｓ（Ｃ）＋Ｓ（Ｄ））／１６ ・・・式（５）
Ｓ（Ａ５）＝（３×Ｓ（Ａ）＋３×Ｓ（Ｂ）＋Ｓ（Ｃ）＋Ｓ（Ｄ））／８ ・・・式（６）
Ｓ（Ａ６）＝（Ｓ（Ａ）＋Ｓ（Ｃ））／２ ・・・式（７）
Ｓ（Ａ７）＝（３×Ｓ（Ａ）＋Ｓ（Ｂ）＋３×Ｓ（Ｃ）＋Ｓ（Ｄ））／８ ・・・式（８）
Ｓ（Ａ８）＝（Ｓ（Ａ）＋Ｓ（Ｂ）＋Ｓ（Ｃ）＋Ｓ（Ｄ））／４ ・・・式（９）

このようにして、フィルタ処理部１２１は、注目画像領域のフィルタ処理の強度と、この注目画像領域に隣接する画像領域のフィルタ処理の強度とを用いて、上述した加重平均値を算出することによりフィルタ処理の強度を平滑化して、隣接する画像領域の境界線を見えにくくすることができる。

また、同じ位置に属する画像領域のフィルタ処理の強度を、例えば１フレーム毎に変化させるなど時間軸方向に急激に変化させることは、画質劣化を招くことにより望ましくない。よって、フィルタ処理部１２１は、同じ位置に属する画像領域のフィルタ処理の強度を、例えば時間軸方向に連続した複数フレーム分の平均値とする。このように時間軸方向にフィルタ処理の強度を平滑化することで、フィルタ処理部１２１は、フィルタ処理の強度を急激に変化させないようにして、フィルタ処理を施した画像信号の画質劣化を低減することができる。

以上のような構成からなるフィルタ処理部１２１の動作特性を制御するフィルタ制御部１２２は、具体的に、ハイパスフィルタ１２１ａの特性とゲイン調整部１２１ｂのゲイン特性を決定するフィルタ係数を算出する。すなわち、フィルタ制御部１２２は、フィルタ処理部１２１が行う画像信号の高域周波数成分を除去する強度を制御するため、メモリ１２２ａと、メモリ１２２ｂと、重み係数設定部１２２ｃと、乗算器１２２ｄと、乗算器１２２ｅと、加算器１２２ｆと、フィルタ係数算出部１２２ｇとを備える。

メモリ１２２ａには、復号処理部１０から供給される第１の難易度に係る情報が記憶される。具体的に、フィルタ制御部１２２は、画像領域毎に、量子化値と発生ビット量との乗算値の総和を算出して、この算出値を各画像領域の第１の難易度としてメモリ１２２ａに記憶させる。フィルタ制御部１２２は、メモリ１２２ａに記憶させた第１の難易度を画像領域毎に乗算器１２２ｄに順次供給する。

メモリ１２２ｂには、符号化処理部１１から供給される第２の難易度に係る情報が記憶される。具体的に、フィルタ制御部１２２は、画像領域毎に、量子化値と発生ビット量との乗算値の総和を算出して、この算出値を各画像領域の第２の難易度としてメモリ１２２ｂに記憶させる。フィルタ制御部１２２は、メモリ１２２ｂに記憶させた第２の難易度を画像領域毎に乗算器１２２ｅに順次供給する。

重み係数設定部１２２ｃは、復号処理部１０から供給される動きベクトルに応じて、後述する乗算器１２２ｄで第１の難易度に乗算する第１の重み係数αと、後述する乗算器１２２ｅで第２の難易度に乗算する第２の重み係数βとを設定する。

具体的に、重み係数設定部１２２ｃでは、動きベクトル情報から、上述した画像領域毎に動きベクトルの平均値や分散値を算出する。そして、重み係数設定部１２２ｃは、算出した画像領域内の動きの大きさに応じて０から１まで単調増加する値を第１の重み係数αとして設定し、画像領域内の動きの大きさに応じて１から０まで単調減少する値を第２の重み係数βとして設定する。ここで、第２の重み係数βの値は、１−αである。

このようにして、重み係数設定部１２２ｃは、動きが大きい画像領域に対して第１の重み係数αを第２の重み係数βよりも大きく設定し、動きが小さい画像領域に対して第１の重み係数αを第２の重み係数βよりも小さく設定する。そして、重み係数設定部１２２ｃは、第１の重み係数αを乗算器１２２ｄに、第２の重み係数βを乗算器１２２ｅにそれぞれ供給する。

乗算器１２２ｄは、メモリ１２２ａから供給される第１の難易度と、重み係数設定部１２２ｃから供給される第１の重み係数αとを乗算して加算器１２２ｆに供給する。

乗算器１２２ｅは、メモリ１２２ｂから供給される第２の難易度と、重み係数設定部１２２ｃから供給される第１の重み係数βとを乗算して加算器１２２ｆに供給する。

加算器１２２ｆは、乗算器１２２ｄから供給される乗算値と、乗算器１２２ｅから供給される乗算値とを加算して、重み付け処理が施された符号化難易度としてフィルタ係数算出部１２２ｇに供給する。

フィルタ係数算出部１２２ｇは、加算器１２２ｆから供給される符号化難易度と、ユーザインタフェース１２３から供給される設定ビットレートとに応じて、例えば次のようにしてフィルタ処理部１２１の特性を制御するためのフィルタ係数を算出する。

すなわち、フィルタ係数算出部１２２ｇは、予めレジスタなどの内部メモリに、図８に示すような、符号化難易度と設定ビットレートとフィルタ強度との対応関係を示すテーブルを記憶しておき、このテーブルを参照して得られるフィルタ強度に応じてフィルタ処理部１２１のフィルタ係数を算出する。

このテーブルは、符号化難易度を難易度の低い値から０〜２０の２１段階に割り当て、設定ビットレートを低い値から再符号化モードＥＰ、ＬＰ、ＳＰ、ＸＰに割り当てたものである。ここで再符号化モードＥＰは、他のモードに対して低画質であるが、再符号化した画像信号を記憶媒体に記憶するときに長時間記憶可能なモードである。また、再符号化モードＸＰは、他のモードに対して高画質であるが記録可能時間が短いモードである。

フィルタ係数算出部１２２ｇは、上述したテーブルに対して、２１分割した符号化難易度度と、４つの各再符号化モードに対応する合計８４通りの条件毎に、強度が弱いものから０〜６に分けたフィルタ強度を設定して、予めレジスタなどの内部メモリに記憶する。フィルタ係数算出部１２２ｇは、適切な強度となるようにフィルタ処理部１２１のフィルタ係数を算出するため、図８に示すように、各再符号化モードに対応する設定ビットレートの値が高くなるのに伴ってフィルタ強度の値を小さくするようにし、符号化難易度の値が大きくなるのに伴ってフィルタ強度の値を大きくするように、テーブルを設定する。なお、フィルタ係数算出部１２２ｇは、上述したように、各再符号化モードに対応する設定ビットレートの値が高くなるのに伴ってフィルタ強度の値を小さくするようにし、符号化難易度の値が大きくなるのに伴ってフィルタ強度の値を大きくするように設定したテーブルであれば、図８に示すものに限定されない。

このようなテーブルを有するフィルタ係数算出部１２２ｇは、加算器１２２ｆから供給される符号化難易度と、ユーザインタフェース１２３から供給される設定ビットレートに対応する再符号化モードから、このテーブルで対応付けられたフィルタ強度を参照してフィルタ係数を算出して、フィルタ処理部１２１に供給する。

以上のような構成からなるフィルタ制御部１２２では、図９に示すようなフローチャートに従って、フィルタ制御部１２２のフィルタ係数を算出する。

ステップＳ１において、フィルタ制御部１２２は、復号処理部１０から供給されるシーンチェンジ情報Ｄ１に基づいて、復号処理部１０から供給される画像信号のストリームにシーンチェンジがあるか否かを判断する。ここで、フィルタ制御部１２２は、シーンチェンジがないときステップＳ２に進み、シーンチェンジがあるときステップＳ４に進む。

ステップＳ２において、フィルタ制御部１２２は、復号処理部１０から供給される動きベクトル情報に応じて、重み係数設定部１２２ｃにより第１の重み係数α及び第２の重み係数βを設定する。

ステップＳ３において、フィルタ制御部１２２は、乗算器１２２ｄにより、ステップＳ２で設定した第１の重み係数αとメモリ１２２ａに記憶された第１の難易度Ｄ３とを乗算し、乗算器１２２ｅにより、ステップＳ２で設定した第２の重み係数βとメモリ１２２ｂに記憶された第２の難易度Ｄ４とを乗算し、これら２つの乗算値を加算器１２２ｆにより加算した値を、符号化難易度として算出して、ステップＳ６に進む。

ステップＳ４において、フィルタ制御部１２２は、重み係数設定部１２２ｃにより第１の重み係数αの値を１に、第２の重み係数βの値を０にそれぞれ設定する。そして、フィルタ制御部１２２は、ステップＳ５の処理工程に進む。

ステップＳ５において、フィルタ制御部１２２は、乗算器１２２ｄにより、ステップＳ４で設定した第１の重み係数αとメモリ１２２ａに記憶された第１の難易度Ｄ３とを乗算し、乗算器１２２ｅにより、ステップＳ４で設定した第２の重み係数βとメモリ１２２ｂに記憶された第２の難易度Ｄ４とを乗算し、これら２つの乗算値を加算器１２２ｆにより加算した値を、符号化難易度として算出する。ここで、フィルタ制御部１２２は、第１の重み係数αの値を１に、第２の重み係数βの値を０にそれぞれ設定しているので、メモリ１２２ａに記憶された第１の難易度Ｄ１を重み付け処理を施した符号化難易度として算出してステップＳ６に進む。

ステップＳ６において、フィルタ制御部１２２は、フィルタ係数算出部１２２ｇにより、ステップ３又はステップＳ５において算出された符号化難易度から上述したように０〜２１刻みで量子化した符号化難易度を設定してステップＳ７に進む。

ステップＳ７において、フィルタ制御部１２２は、フィルタ係数算出部１２２ｇにより、ステップＳ６で設定した符号化難易度と、ユーザインタフェース１２３から供給される設定ビットレートＤ５に対応する符号化モードとを用いて、テーブルを参照することによりフィルタ強度を選択する。そしてフィルタ制御部１２２は、フィルタ係数算出部１２２ｇにより、選択したフィルタ強度に応じたフィルタ係数Ｄ６を算出してフィルタ処理部１２１に供給して、本処理工程を終了する。

以上のような処理工程により、フィルタ制御部１２２は、復号処理部１０が画像信号を復号するときに抽出される第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度と、符号化処理部１１が画像信号を符号化するときに抽出される第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度とに応じて、フィルタ処理部１２１が画像信号に施すフィルタ処理の強度を制御するので、以下の理由によりフィルタ処理部１２１のフィルタ係数を適切に決定することができる。

第１の理由は、一般的に、時間軸方向に動きが少ない画像、すなわち、動きベクトルの値が小さい画像に対しては、第２の符号化方式で符号化する難しさの度合いが変化しないので、第１の難易度よりも第２の符号化方式と対応関係にある第２の難易度を用いてフィルタ強度を制御することが望ましいからである。また、第２の理由は、シーンチェンジや動きベクトルの値が大きい画像領域などの時間軸方向に動きが大きい画像に対しては、第２の難易度が過去に符号化処理を行ったときの符号化の難しさを示す値なので、現在処理対象の画像領域の動き情報と対応関係が精度良くとれている第１の難易度を用いてフィルタ強度を制御することが望ましいからである。

このような特性に注目して、フィルタ制御部１２２は、ステップＳ１の判断処理においてシーンチェンジがあるとき第１の難易度のみを用いてフィルタ強度を制御する。また、シーンチェンジがないとき、フィルタ制御部１２２は、ステップＳ２及びステップＳ３により、動きベクトル情報に基づく画像領域の動きの大きさに応じて、第１の難易度と第２の難易度とを加重平均した値を符号化難易度として用いてフィルタ強度を制御する。

なお、フィルタ制御部１２２は、上述した加重平均演算で得られる符号化難易度を用いてフィルタ強度を制御する場合に限定されず、例えば、次のようにしてフィルタ強度を制御するようにしてもよい。

すなわち、フィルタ制御部１２２は、各画像領域の第１の難易度の変化を過去数フレーム分に亘って検出して、この検出結果により第１の難易度の変化が所定の閾値より小さいとき、第１の難易度のみ用いてフィルタ強度を制御するというようにしてもよい。また、フィルタ制御部１２２は、各画像領域の第２の難易度の変化を過去数フレーム分に亘って検出して、この検出結果により第２の難易度の変化が所定の閾値より大きいとき、第２の難易度のみを用いてフィルタ強度を制御するというようにしてもよい。

以上のようにして、フィルタ制御部１２２は、復号処理部１０が画像信号を復号するときに抽出される動きベクトル情報と、第１の難易度と、第２の難易度とに応じて、上述したように画像信号に対して施すフィルタ処理の強度を適切に制御することができるので、画質を良好に保ちつつ高圧縮率が実現できるように画像信号を第２の符号化方式に符号化することができる。

また、フィルタ制御部１２２は、ステップＳ７において、フィルタ係数算出部１２２ｇが、ユーザインタフェース１２３から供給される設定ビットレートに応じて、フィルタ強度を制御する。具体的に、フィルタ係数算出部１２２ｇは、例えば再符号化モードＸＰのようにビットレートが比較的高いとき圧縮率を低くすることができるので、予め内部メモリに記憶しているテーブルを参照して相対的に強度の低いフィルタ強度を選択する。また、フィルタ係数算出部１２２ｇは、例えば再符号化モードＥＰのようにビットレートが比較的低いときより圧縮率を高くするために、予め内部メモリに記憶しているテーブルを参照して相対的に強度の高いフィルタ強度を選択する。このような処理をフィルタ係数算出部１２２ｇが行うことによって、フィルタ制御部１２２は、ユーザによって設定される再符号化モードに応じて画質を良好に保ちつつ高圧縮率が実現できるように画像信号を第２の符号化方式に符号化することができる。

また、上述した画像処理装置１では、復号処理部１０が画像信号を復号するときに得られる動きベクトルを用いてフィルタ強度を制御していたが、図１０に示すような第２の実施形態として、符号化処理部１１の動きベクトル生成部１１８が生成する動きベクトルをフィルタ制御部１２２に供給して、符号化処理部１１で画像信号を符号化するときに得られる動きベクトルを用いてフィルタ強度を制御するようにしてもよい。

具体的に、この第２の実施形態に係るフィルタ制御部１２２は、符号化処理部１１から供給される動きベクトルに応じて、第１の難易度と第２の難易度とを加重平均した値を符号化難易度として用いてフィルタ強度を制御する。

また、上述した第１及び第２の実施形態に係る画像処理装置１は、フィルタ制御部１２２が動きベクトル情報に応じてフィルタ強度を設定する処理を行うが、図１１に示すような第３の実施形態として、復号処理部１０又は符号化処理部１１から動きベクトルをフィルタ制御部１２２に供給せずに、フィルタ制御部１２２が、復号処理部１０から供給される第１の難易度及び符号化処理部１１から供給される第２の難易度のみを用いてフィルタ強度を制御するようにしてもよい。

この第３の実施形態に係るフィルタ制御部１２２は、例えば次のようにして、第１の難易度と第２の難易度とからフィルタ強度を制御する。

すなわち、フィルタ制御部１２２は、各画像領域の第１の難易度の変化を過去数フレーム分に亘って検出して、この検出結果により第１の難易度の変化が所定の閾値より小さいとき、第１の難易度のみ用いてフィルタ強度を制御する。また、フィルタ制御部１２２は、各画像領域の第２の難易度の変化を過去数フレーム分に亘って検出して、この検出結果により第２の難易度の変化が所定の閾値より大きいとき、第２の難易度のみ用いてフィルタ強度を制御する。

なお、フィルタ制御部１２２は、上述したように、閾値に応じた判断結果によって第１の難易度又は第２の難易度のみを用いてフィルタ強度を制御する場合に限定されるものではなく、例えば、第１の難易度及び第２の難易度の過去数フレーム分の変化に応じて、第１の難易度と第２の難易度とを加重平均演算した値である符号化難易度を用いてフィルタ強度を設定するようにしてもよい。

以上のような処理工程により、フィルタ制御部１２２は、復号処理部１０が画像信号を復号するときに抽出される第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度と、符号化処理部１１が画像信号を符号化するときに抽出される第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度とに応じて、フィルタ処理部１２１が画像信号に施すフィルタ処理の強度を制御するので、以下の理由により、再符号化処理によって生じる画質劣化を抑制しつつ高圧縮率の画像信号を第２の符号化方式に符号化することができる。

第１の理由は、一般的に時間軸方向に動きが少ない画像に対しては、第２の符号化方式で符号化する難しさの度合いが変化しないので、第１の難易度よりも第２の符号化方式と対応関係にある第２の難易度を用いてフィルタ強度を制御することが望ましいからである。また、第２の理由は、シーンチェンジや動きベクトルの値が大きい画像領域などの時間軸方向に動きが大きい画像に対しては、第２の難易度が過去に符号化処理を行ったときの符号化の難しさを示す値なので、現在処理対象の画像領域の動き情報と対応関係が精度良くとれている第１の難易度を用いてフィルタ強度を制御することが望ましいからである。

また、上述した第１から第３の実施形態に係る画像処理装置１は、少なくとも第１の難易度及び第２の難易度とを用いてフィルタ強度を制御するものであるが、図１２に示すような第４の実施形態に係る画像処理装置１は、外部から入力した第１の符号化方式で符号化されている画像信号を記憶装置に一旦記憶して、その後再符号化処理を行う装置である。

具体的に、第４の実施形態に係る画像処理装置１は、上述した第１の実施形態に係る画像処理装置１の構成に加えて、入力画像記憶部１３１と、難易度情報抽出部１３２と、難易度情報記憶部１３３と、ビットレート算出部１３４とを備える。

入力画像記憶部１３１は、例えばハードディスク等の記憶媒体からなり、外部から入力した第１の符号化方式で符号化された画像信号を記憶して、記憶した画像信号をバッファ１０１に供給する。

難易度情報抽出部１３２は、外部から入力した第１の符号化方式で符号化された画像信号のヘッダ情報を解析して、量子化値とマクロブロック単位の発生ビット量と第１の難易度情報として抽出して、難易度情報記憶部１３３に供給する。

難易度情報記憶部１３３は、難易度情報抽出部１３２から供給される第１の難易度に係る情報を、画像領域毎に、入力画像記憶部１３１に記憶されている画像信号と対応付けて記憶する。そして、難易度情報記憶部１３３は、入力画像記憶部１３１がバッファ１０１に供給する画像信号に対応する第１の難易度をフィルタ制御部１２２及びビットレート算出部１３４に供給する。このように第４の実施形態に係る画像処理装置１では、再符号化処理時において、復号処理部１０からフィルタ制御部１２２に第１の難易度に係る情報を供給することなく、予め第１の難易度に係る情報を記憶した難易度情報記憶部１３３からフィルタ制御部１２２に第１の難易度に係る情報を供給することができる。

ビットレート算出部１３４は、難易度情報記憶部１３３から第１の難易度に係る情報として供給される量子化値とマクロブロック単位の発生ビット量とから再符号化に適したビットレートを算出して、ユーザインタフェース１２３に供給する。具体的に、ビットレート算出部１３４では、量子化値とマクロブロック単位の発生ビット量とを乗算してフレーム毎にこの乗算値の総和を算出して各フレーム毎の最適ビットレート情報を算出する。

ユーザインタフェース１２３に供給されたビットレート情報は、ユーザに再符号化を行う最適なビットレートとして、表示装置などにより提示される。そして、ユーザインタフェース１２３では、ユーザに提示されたビットレート情報に応じてユーザによって設定ビットレートが設定され、設定ビットレートがレート制御部１２０に供給される。

このように第４の実施形態に係る画像処理装置１では、最適ビットレート情報をユーザに提示して、ユーザの好みに応じてより最適なビットレートを設定することができる。例えば、画像処理装置１では、画質劣化よりも長時間の記憶媒体への記録を望むユーザに対して、ユーザインタフェース１２３により、最適ビットレートよりも低いビットレートを設定ビットレートとして符号化処理部１１を制御することができる。また、画像処理装置１では、記憶媒体への記録時間よりも画質の劣化をできるだけ抑えることを望むユーザに対して、ユーザインタフェース１２３により、最適ビットレートよりも高いビットレートを設定ビットレートとして符号化処理部１１を制御することができる。

なお、ビットレート算出部１３４によって算出される最適ビットレート情報は、ユーザインタフェース１２３を介さずに符号化処理部１１のレート制御部１２０に供給されるようにしてもよい。

以上のような構成を有する第４の実施形態に係る画像処理装置１では、フィルタ制御部１２２がフィルタ強度を制御するのに用いる第１の難易度に係る情報を利用して、再符号化に適したビットレートを算出することができる。このような再符号化に適したビットレートを用いることによって、画像処理装置１では、再符号化処理によって生じる画質劣化を抑制しつつ高圧縮率の画像信号を第２の符号化方式に符号化することができる。さらに、このようにして符号化された画像信号を記録媒体に記録するときには、単位記憶領域に対してより長時間画像信号を記憶することができ、効率よく記憶領域を利用することができる。

次に、本発明に係る画像処理装置を、画像信号を複数の伝送媒体を介して伝送する通信システム２に適用した実施形態について説明する。

通信システム２は、図１３に示すように、符号化装置２０１と、伝送媒体２０２と、本発明が適用された符号化方式変換装置２０３と、伝送媒体２０４と、復号装置２０５とから構成される。

符号化装置２０１は、ベースバンドビデオ信号を第１の符号化方式で符号化した画像信号を伝送媒体２０２を介して、符号化方式変換装置２０３に供給する。

具体的に、符号化装置２０１は、図１４に示すように、Ａ／Ｄ変換部３０１と、画面並べ替え部３０２と、減算器３０３と、直交変換部３０４と、量子化部３０５と、可逆符号化部３０６と、バッファ３０７と、逆量子化部３０８と、逆直交変換部３０９と、フレームメモリ３１０と、動きベクトル生成部３１１と、動き補償部３１２と、レート制御部３１３とを備える。

Ａ／Ｄ変換部３０１は、伝送対象のアナログソースの画像信号をデジタル信号の画像信号に変換して、画面並べ替え部３０２に供給する。

画面並べ替え部３０２は、Ａ／Ｄ変換部３０１から供給される画像信号を第１の符号化方式に係る画像圧縮情報のＧＯＰ構造に応じてフレーム画像データを並べ替えて減算器３０３に供給する。

減算器３０３は、フレーム画像データにインター符号化処理を施すとき、このフレーム画像データと、後述する動き補償部３１２から供給される予測フレーム画像データとの差分を示す画像データを算出して、算出した画像データを直交変換部３０４に供給する。なお、フレーム画像データにイントラ符号化処理を施すとき、減算器３０３は、画面並べ替え部３０２から供給されるフレーム画像データに上述した差分処理を施さない。

直交変換部３０４は、減算器３０３から供給されるフレーム画像データに対して、離散コサイン変換やカルーネン・レーベ変換などの直交変換処理を施して、直交変換係数を量子化部３０５に供給する。

量子化部３０５は、後述するレート制御部３１３から供給される制御命令に応じた量子化値で、直交変換部３０４から供給される直交変換係数を量子化して、量子化された直交変換係数を可逆符号化部３０６及び逆量子化部３０８に供給する。

可逆符号化部３０６は、後述する動きベクトル生成部３１１から供給される動きベクトルに対して可変長符号化や算術符号化などの可逆符号化処理を施す。そして、可逆符号化部３０６は、量子化部３０５から供給される量子化された直交変換係数からなる符号化データのヘッダ部に、上述した可逆符号化処理が施された動きベクトルを格納して、この符号化データをバッファ３０７に供給する。

バッファ３０７は、可逆符号化部３０６から供給される符号化データを記憶して、記憶した符号化データを連続したビットストリームとなる画像信号として外部へ出力する。また、バッファ３０７は、外部へ出力するビットストリームのビットレートに関する情報をレート制御部３１３に供給する。

逆量子化部３０８は、量子化部３０５から供給される量子化された直交変換係数に対して逆量子化処理を施して、逆量子化された直交変換係数を逆直交変換部３０９に供給する。

逆直交変換部３０９は、逆量子化部３０８から供給される直交変換係数に対して逆直交変換処理を施して、復号したフレーム画像データをフレームメモリ３１０に供給する。

フレームメモリ３１０は、逆直交変換部３０９から供給される復号したフレーム画像データを参照フレーム画像データとして記憶する。

動きベクトル生成部３１１は、画面並べ替え部３０２から供給されるフレーム画像データから動きベクトルを生成して、生成した動きベクトルを可逆符号化部３０６及び動き補償部３１２に供給する。

動き補償部３１２は、動きベクトル生成部３１１で生成された動きベクトルと、フレームメモリ３１０に記憶された参照フレーム画像データとに応じて、予測フレーム画像データを生成して、生成した予測フレーム画像データを減算器３０３に供給する。

レート制御部３１３は、バッファ３０７から供給されるビットレート情報に応じて符号化データのビットレートを制御するため、量子化部３０５で直交変換係数を量子化する量子化値を制御する。

また、伝送媒体２０２は、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの放送媒体や通信媒体に加えて、光ディスク、磁気ディスク、及び半導体メモリなどの記憶媒体であってもよい。

符号化方式変換装置２０３は、伝送媒体２０２から伝送されてくる第１の符号化方式で符号化された画像信号をベースバンドビデオ信号に復号する復号装置２０３ａと、復号装置２０３ａで復号された画像信号にフィルタ処理を施すフィルタ装置２０３ｂと、フィルタ装置２０３ｂでフィルタ処理を施したベースバンドビデオ信号を第２の符号化方式で符号化して伝送媒体２０４へ出力する符号化装置２０３ｃとを備える。

符号化方式変換装置２０３の具体的な構成に係る説明は、上述した第１から第４の実施形態に係る画像処理装置１の構成のいずれかと同様なので省略する。

伝送媒体２０４は、衛星放送波、ケーブルＴＶ網、電話回線網、及び携帯電話回線網などの放送媒体や通信媒体に加えて、光ディスク、磁気ディスク、及び半導体メモリなどの記憶媒体であってもよい。

復号装置２０５は、伝送媒体２０４から伝送されてくる第２の符号化方式で符号化された画像信号を復号して、復号したベースバンドビデオ信号を例えば表示装置に表示するものである。

具体的に、復号装置２０５は、図１５に示すように、バッファ４０１と、可逆復号部４０２と、逆量子化部４０３と、逆直交変換部４０４と、加算器４０５と、画面並べ替え部４０６と、Ｄ／Ａ変換部４０７と、フレームメモリ４０８と、動き補償部４０９とを備える。

バッファ４０１は、第２の符号化方式で符号化された画像信号を一時的に記憶して、他の復号処理を行う処理部との同期を図って、順次記憶した画像信号を可逆復号部４０２に供給する。

可逆復号部４０２は、バッファ４０１から供給される画像信号に対して、第２の符号化方式に基づいて、可変長復号化や算術復号化などの処理を施して、量子化された直交変換係数を逆量子化部４０３に供給する。

また、可逆復号部４０２は、第２の符号化方式で符号化された画像信号がインター符号化されたフレーム画像データのとき、このフレーム画像データのヘッダ部に格納された動きベクトルを復号して、復号した動きベクトルを動き補償部４０９に供給する。

逆量子化部４０３は、可逆復号部４０２から供給される量子化された直交変換係数に対して逆量子化処理を施して、この直交変換係数を逆直交変換部４０４に供給する。

逆直交変換部４０４は、逆量子化部４０３で生成された直交変換係数に対して逆離散コサイン変換や逆カルーネン・レーベ変換などの逆直交変換処理を施して、復号されたフレーム画像データを加算器４０５に供給する。

加算器４０５は、フレーム画像データがインター符号化されているとき、逆直交変換部４０４から供給されるフレーム画像データに、後述する動き補償部４０９によって生成された予測フレーム画像データを加算して、画面並べ替え部４０６及びフレームメモリ４０８に供給する。なお、フレーム画像データがイントラ符号化されているとき、加算器４０５は、上述した加算処理を行わずに逆直交変換部４０４から供給されたフレーム画像データを画面並べ替え部４０６に供給する。

画面並べ替え部４０６は、逆直交変換部４０４から供給されるフレーム画像データを時間軸方向に並び換える。そして、画面並べ替え部４０６は、時間軸方向に並び換えたフレーム画像データをベースバンドビデオ信号としてＤ／Ａ変換部４０７に供給する。

Ｄ／Ａ変換部４０７は、ベースバンドビデオ信号をデジタル信号からアナログ信号に変換して、表示装置などに出力する。

フレームメモリ４０８は、逆直交変換部４０４から供給されたフレーム画像データを、インター符号化されたフレーム画像データを復号するための参照フレーム画像データとして記憶する。

動き補償部４０９は、処理対象のフレーム画像データがインター符号化されているとき、可逆復号部４０２から供給される動きベクトルと、フレームメモリ４０８に記憶された参照フレーム画像データとに応じて、予測フレーム画像データを生成して加算器４０５に供給する。

以上のような構成からなる通信システム２では、特に伝送媒体２０２から伝送されてくる第１の符号化方式で符号化された画像信号を、符号化方式変換装置２０３によって、画質を良好に保ちつつ高圧縮率が実現できるように画像信号を第２の符号化方式に変換した画像信号を伝送媒体２０４に出力することができるので、より高画質でより高い伝送効率で画像信号を伝送することができる。

第１の実施形態に係る画像処理装置の構成を示すブロック図である。 フィルタ処理部とフィルタ制御部との構成に注目した画像処理装置の全体構成を示すブロック図である。 フィルタ処理部の構成を示すブロック図である。 ゲイン調整部の入出力特性を示すグラフである。 ４×４の合計１６個の画像領域に分割して、画像領域の各境界部分に縦方向と横方向とにそれぞれ１段の平滑化領域を設けたフレーム画像を示す図である。 ４×４の合計１６個の画像領域に分割して、画像領域の各境界部分に縦方向と横方向とにそれぞれ２段の平滑化領域を設けたフレーム画像を示す図である。 注目画像領域に対する平滑化処理の説明に供する図である。 符号化難易度と再符号化モードとフィルタ強度との対応関係を示す図である。 フィルタ制御部に係る動作の説明に供するフローチャートである。 第２の実施形態に係る画像処理装置の構成を示すブロック図である。 第３の実施形態に係る画像処理装置の構成を示すブロック図である。 第４の実施形態に係る画像処理装置の構成を示すブロック図である。 通信システムの全体構成を模式的に示す図である。 復号装置の全体構成を示すブロック図である。 符号化装置の全体構成を示すブロック図である。

符号の説明

１ 画像処理装置、２ 通信システム、１０ 復号処理部、１１ 符号化処理部、１０１、１１４、３０７、４０１ バッファ、１０２、４０２ 可逆復号部、１０３、１１５、３０８、４０３ 逆量子化部、１０４、１１６、３０９、４０４ 逆直交変換部、１０５、１２１ｃ、１２２ｆ、４０５ 加算器、１０６、１０９、３０２、４０６ 画面並べ替え部、１０７、１１７、３１０、４０８ フレームメモリ、１０８、１１９、３１２、４０９ 動き補償部、１１０、３０３ 減算器、１１１、３０４ 直交変換部、１１２、３０５ 量子化部、１１３、３０６ 可逆符号化部、１１８、３１１ 動きベクトル生成部、１２０、３１３ レート制御部、１２１ フィルタ処理部、１２１ａ ハイパスフィルタ、１２１ｂ ゲイン調整部、１２２ フィルタ制御部、１２２ａ、１２２ｂ メモリ、１２２ｃ 重み係数設定部、１２２ｄ、１２２ｅ 乗算器、１２２ｇ フィルタ係数算出部、１２３ ユーザインタフェース、１３１ 入力画像記憶部、１３２ 難易度情報抽出部、１３３ 難易度情報記憶部、１３４ ビットレート算出部、２０１、２０３ｃ 符号化装置、２０２、２０４ 伝送媒体、２０３ 符号化方式変換装置、２０３ａ、２０５ 復号装置、２０３ｂ フィルタ装置、３０１ Ａ／Ｄ変換部、４０７ Ｄ／Ａ変換部、

Claims (9)

1. 第１の符号化方式で符号化された画像信号を入力する入力手段と、
   上記入力手段により入力された画像信号から上記第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度情報を抽出するとともに、該画像信号を該第１の符号化方式に基づいて復号する復号手段と、
   上記復号手段により復号された画像信号にフィルタ処理を施すフィルタ処理手段と、
   上記フィルタ処理手段がフィルタ処理を施した画像信号から、上記第１の符号化方式と異なる第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度情報を抽出するとともに、該画像信号を該第２の符号化方式に基づいて符号化して出力する符号化手段と、
   上記復号手段が抽出した第１の難易度情報と、上記符号化手段が抽出した第２の難易度情報とに応じて、上記フィルタ処理手段が画像信号に施すフィルタ処理の強度を制御する制御手段とを備える画像処理装置。
2. 上記復号手段は、上記入力手段により入力された画像信号の画像を所定の画像領域に分割し、分割した各画像領域毎に上記第１の難易度情報を抽出するとともに、該画像信号を該第１の符号化方式に基づいて復号し、
   上記フィルタ処理手段は、上記復号手段で復号された画像信号の上記各画像領域に、該各画像領域毎に設定された強度のフィルタ処理を施し、
   上記符号化手段は、上記フィルタ処理手段によりフィルタ処理を施した画像信号の画像を上記画像領域に分割して、分割した各画像領域毎の上記第２の難易度情報を抽出するとともに、該画像信号を該第２の符号化方式に基づいて符号化し、
   上記制御手段は、上記復号手段が抽出した上記各画像領域に対応する上記第１の難易度情報と、上記符号化手段が抽出した上記各画像領域に対応する上記第２の難易度情報とに応じて、上記画像領域毎に上記フィルタ処理手段が施すフィルタ処理の強度を制御することを特徴とする請求項１記載の画像処理装置。
3. 上記復号手段は、上記入力手段により入力された画像信号から上記第１の難易度情報と動きベクトルとを抽出して、該画像信号を上記第１の符号化方式に基づいて復号し、
   上記制御手段は、上記復号手段が抽出した第１の難易度情報と、上記符号化手段が抽出した第２の難易度情報と、該復号手段が抽出した動きベクトルとに応じて、上記フィルタ処理手段が画像信号に施すフィルタ処理の強度を制御することを特徴とする請求項１記載の画像処理装置。
4. 上記符号化手段は、上記フィルタ処理手段によりフィルタ処理を施した画像信号から、上記第２の難易度情報と動きベクトルとを抽出するとともに、該画像信号を該第２の符号化方式に基づいて符号化し、
   上記制御手段は、上記復号手段が抽出した第１の難易度情報と、上記符号化手段が抽出した第２の難易度情報と、該符号化手段が抽出した動きベクトルとに応じて、上記フィルタ処理手段が画像信号に施すフィルタ処理の強度を制御することを特徴とする請求項１記載の画像処理装置。
5. 上記制御手段は、上記復号手段が抽出した上記第１の難易度情報の時間軸方向の変化と、上記復号手段が抽出した第２の難易度情報の時間軸方向への変化とに応じて、上記フィルタ処理手段が画像信号に施すフィルタ処理の強度を制御することを特徴とする請求項１記載の画像処理装置。
6. 上記符号化手段によって符号化される画像信号のビットレートを設定するビットレート設定手段を更に備え、
   上記制御手段は、上記復号手段が抽出した第１の難易度情報と、上記符号化手段が抽出した第２の難易度情報と、上記ビットレート設定手段で設定されたビットレートとに応じて、上記フィルタ処理手段が画像信号に施すフィルタ処理の強度を制御することを特徴とする請求項１記載の画像処理装置。
7. 上記入力手段により入力された画像信号を記憶するとともに、記憶した画像信号を上記復号手段に読み出す第１の記憶手段と、
   上記入力手段により入力された画像信号から、該画像信号の量子化値と単位データ当たりの発生ビット量とを上記第１の難易度情報として抽出する抽出手段と、
   上記第１の記憶手段に記憶された画像信号と対応付けて、上記抽出手段により抽出された上記第１の難易度情報を記憶する第２の記憶手段と、
   上記第２の記憶手段に上記第１の難易度情報として記憶されている量子化値と発生ビット量に応じてビットレートを算出するビットレート算出手段とを更に備え、
   上記ビットレート設定手段は、上記ビットレート算出手段により算出されたビットレートを上記符号化手段によって符号化される画像信号のビットレートに設定することを特徴とする請求項６記載の画像処理装置。
8. 上記入力手段により入力された画像信号を記憶するとともに、記憶した画像信号を上記復号手段に読み出す第１の記憶手段と、
   上記入力手段により入力された画像信号から、該画像信号の量子化値と単位データ当たりの発生ビット量とを上記第１の難易度情報として抽出する抽出手段と、
   上記第１の記憶手段に記憶された画像信号と対応付けて、上記抽出手段により抽出された上記第１の難易度情報を記憶する第２の記憶手段と、
   上記第２の記憶手段に上記第１の難易度情報として記憶されている量子化値と発生ビット量に応じて上記符号化手段が符号化するときに適したビットレートを算出するビットレート算出手段とを更に備え、
   上記ビットレート設定手段は、上記ビットレート算出手段により算出されたビットレートを提示し、提示されたビットレートに応じて上記符号化手段によって符号化される画像信号のビットレートを設定することを特徴とする請求項６記載の画像処理装置。
9. 第１の符号化方式で符号化された画像信号を入力する入力工程と、
   上記入力工程により入力された画像信号から上記第１の符号化方式で画像信号を符号化する難しさを示す第１の難易度情報を抽出するとともに、該画像信号を該第１の符号化方式に基づいて復号する復号工程と、
   上記復号工程により復号された画像信号にフィルタ処理を施すフィルタ処理工程と、
   上記フィルタ処理工程によりフィルタ処理を施した画像信号から、上記第１の符号化方式と異なる第２の符号化方式で画像信号を符号化する難しさを示す第２の難易度情報を抽出するとともに、該画像信号を該第２の符号化方式に基づいて符号化して出力する符号化工程と、
   上記復号工程で抽出される第１の難易度情報と、上記符号化工程で抽出される第２の難易度情報とに応じて、上記フィルタ処理工程で画像信号に施すフィルタ処理の強度を制御する制御工程とを有する画像処理方法。

Images