JP4795208B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、符号化された映像情報を復号化し、アナログベースバンド信号又はデジタルベースバンド信号として出力する画像処理装置及び方法に関する。

従来、デジタルビデオカメラ等の撮像装置では、符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）２が、主として採用され、また、多くの映像記録機器及び映像再生機器が、ＭＰＥＧ２符号化方式に対応している。

ＭＰＥＧ２符号化方式では、一般的に、高圧縮にするほど量子化誤差等に起因する符号化ノイズが再生画像に発生し、画質劣化の原因となっている。符号化ノイズの代表的な例としては、高周波数の領域で発生する高域ノイズであるモスキートノイズやブロックノイズが挙げられる。このような符号化ノイズを除去し、再生画像の画質を向上させるために、復号画像に対してローパスフィルタ（符号化ノイズ除去フィルタ）処理を行う技術が知られている（例えば、特許文献１）。

一方で、撮像装置やＤＶＤ再生装置等の映像出力機器を映像表示装置に接続して画像を再生表示する場合、映像出力機器と映像表示装置はＳ端子又はＤ端子コネクタなどにより接続される。そして、映像出力機器は、デジタル映像信号をアナログ映像信号に変換し、アナログベースバンド信号を映像表示装置に出力するのが一般的である。

ところで、近年では、従来のアナログベースバンド信号に加え、ＨＤＭＩ（High-Definition Multimedia Interface）に代表されるデジタルベースバンド信号の伝送を可能にする接続インターフェースが普及している。

図６は、符号化された映像情報を復号化し、アナログベースバンド信号又はデジタルベースバンド信号を出力する従来の画像処理装置の概略構成ブロック図を示す。図６を参照して、従来の画像処理装置の構成と動作を説明する。

ＭＰＥＧ２方式で圧縮符号化された映像信号、いわゆる映像ストリームが、入力端子１１２を介してＭＰＥＧデコーダ１１４に入力する。ＭＰＥＧデコーダ１１４は、入力端子１１２からの圧縮符号化された映像信号を復号化することで、各フレーム又はフィールドの画像信号を復元する。

ノイズ除去装置１１６のフィルタ強度決定装置１１８は、ノイズフィルタ１２０のフィルタ強度を決定する。フィルタ強度は、例えば、ノイズフィルタ１２０の遮断周波数を示す。ノイズフィルタ１２０はデジタル処理の空間ローパスフィルタ（ＬＰＦ）等であり、フィルタ強度決定装置１１８により指定されたフィルタ強度で、ＭＰＥＧデコーダ１１４の出力画像信号の符号化ノイズを除去又は低減する。

出力方式決定装置１２４は、例えば、デジタルベースバンド信号の出力端子１２８、及び、アナログベースバンド信号の出力端子１３６へのビデオケーブル（図示せず）の接続の有無を検出する接続検出機構から構成される。出力方式決定装置１２４は、検知したビデオケーブルの接続状態に応じて、出力端子１２８又は１３６側にスイッチ１２２を切り替える。通常は、出力端子１２８，１３６の両方にビデオケーブルが接続している場合にスイッチ１２２をどちらに接続すべきは、予め決められており、ここでは、出力端子１２８を優先する。

スイッチ１２２は、ノイズフィルタ１２０からの画像データをデジタルエンコーダ１２６とＮＴＳＣエンコーダ１３０のいずれか一方に出力する。

出力方式決定装置１２４は、出力端子１２８にビデオケーブルが接続していることを検知すると、スイッチ１２２をデジタルエンコーダ１２６側に接続する。デジタルエンコーダ１２６は、ノイズフィルタ１２０から出力されるデジタル画像データをデジタルベースバンド信号形式に変換して、出力端子１２８に出力する。

一方、出力方式決定装置１２４は、出力端子１３６にビデオケーブルが接続し、且つ、出力端子１２８にはビデオケーブルが接続していないことを検知すると、スイッチ１２２をＮＴＳＣエンコーダ１３０側に接続する。ＮＴＳＣエンコーダ１３０は、ノイズフィルタ１２０から出力されるデジタル画像データをＮＴＳＣ形式のデジタルベースバンド信号に変換する。Ｄ／Ａ変換器１３２は、ＮＴＳＣエンコーダ１３０のデジタル出力信号をアナログ信号に変換し、アンチエリアジングフィルタ（ＡＡＦ）１３４に供給する。アンチエリアジングフィルタ１３４は、Ｄ／Ａ変換器１３２のアナログ出力信号からアンチエリアジングフィルタ処理として高周波成分を除去する。アンチエリアジングフィルタ１３４により処理されたアナログベースバンド信号が、出力端子１３６から外部に出力される。

アナログベースバンド信号では、エリアジングを阻止するために高周波成分を除去する必要があり、このためのアンチエリアジングフィルタ処理が、デジタルベースバンド信号とアナログベースバンド信号とで、符号化ノイズの見え方が異ならせるものにする。アンチエリアジングフィルタ１３６が、サンプリング周波数ｆｓに対して遮断周波数以下で利得が１で、遮断周波数より上で利得がゼロの理想的な周波数特性を具備する場合、出力デジタルベースバンド信号の通過帯域は、出力アナログベースバンド信号の通過帯域と一致する。しかし、そのような理想的な周波数特性のアンチエリアジングフィルタを得ることは実際上不可能である。

図７は、ＭＰＥＧデコーダ１１４から出力されるデジタル画像信号のスペクトルを示す。ＭＰＥＧデコーダ１１４から出力されるデジタル画像信号には、図７に示すように、サンプリング周波数ｆｓ毎に繰り返しスペクトルが出現する。このような繰り返しスペクトルを持つデジタル信号をアナログ信号に変換した場合に適用するアンチエリアジングフィルタの理想的な周波数特性は、図８に示すように、直流から遮断周波数ｆｓ／２までの利得が１．０で、遮断周波数ｆｓ／２以上で利得が０になるものである。即ち、周波数ｆｓ／２以上を完全にカットする周波数特性である。

しかし、このような理想的な遮断特性を得るには無限のタップ数が必要であり、現実的には不可能である。有限タップ数のアンチエリアジングフィルタの場合、図９に示すように、遮断周波数ｆｓ／２の直前部分でなだらかに利得が低下する周波数特性になる。アンチエリアジングフィルタ１３４が図９に示す周波数特性を具備する場合、アンチエリアジングフィルタ１３４から出力されるアナログベースバンド信号の通過帯域は、図１０に斜線領域で示す部分に相当する。即ち、遮断周波数ｆｓ／２の直前部分の利得が、本来の値よりも減少し、しかも、遮断周波数ｆｓ／２に近づく程に小さくなる。

符号化ノイズを除去するノイズフィルタ１２０が存在する場合、アンチエリアジングフィルタ１３４から出力されるアナログベースバンド信号のスペクトル特性は、ノイズフィルタ１２０の周波数特性にアンチエリアジングフィルタ１３４の周波数特性を重ねたものになる。図１１は、ノイズフィルタ１２０の周波数特性１５０、アンチエリアジングフィルタ１３４の周波数特性１５２、及びこれらの合成の周波数特性１５４を示す。横軸は周波数を示し、縦軸は利得を示す。

アナログベースバンド信号には、ノイズフィルタ１２０とアンチエリアジングフィルタ１３４が適用される。従って、アナログベースバンド信号には、ノイズフィルタ１２０の周波数特性１５０とアンチエリアジングフィルタ１３４の周波数特性１５２を合成した周波数特性１５４が適用される。図１２の斜線部分（特性１５４の通過部分）が、出力アナログベースバンド信号の通過帯域となる。

また、デジタルベースバンド信号には、ノイズフィルタ１２０のみが適用されるので、図１３に示す斜線部分（特性１５０の通過部分）が、出力デジタルベースバンド信号の通過帯域となる。デジタルベースバンド信号の通過帯域は、アナログベースバンド信号の通過帯域よりも広い。なお、ここでは、デジタルエンコーダ１２６の伝達関数の周波数特性はフラットであるとしている。
特開２００２−２３２８８９号公報

上述したように、従来のノイズ除去方法では、アナログ画像出力とデジタル画像出力で、符号化ノイズを除去するノイズフィルタのフィルタ強度が同一になっていた。そのため、アナログベースバンド信号とデジタルベースバンド信号の通過帯域が異なることとなり、再生画像上でノイズの見え方が異なるという問題が発生していた。

本発明は、上記の問題点を鑑みてなされたものであり、デジタル出力とアナログ出力で通過帯域を同程度に制御する画像処理装置及び方法を提示することを目的とする。

このような課題を解決するために、本発明に係る画像処理装置は、符号化画像データを復号化する復号化手段と、符号化ノイズを除去するためのフィルタによって前記復号化手段によって復号化された画像データをフィルタ処理するフィルタ処理手段と、画像データをアナログ信号に変換し、アナログ方式で出力するアナログ画像出力手段と、画像データをデジタル方式で出力するデジタル画像出力手段と、前記フィルタ処理手段によってフィルタ処理された画像データの出力方式として、前記アナログ画像出力手段によるアナログ方式、または前記デジタル画像出力手段によるデジタル方式を選択する出力方式決定手段と、前記出力決定手段による出力方式の切り替えに連動して、前記フィルタ処理手段において使用される前記フィルタの特性を切り替えるフィルタ特性制御手段とを具備し、前記フィルタ特性制御手段は、前記出力決定手段により前記デジタル方式が選択された場合、前記フィルタの通過帯域を、前記アナログ方式が選択された場合よりも狭くすることを特徴とする。

本発明に係る画像処理方法は、符号化画像データを復号化する復号化ステップと、前記復号化ステップで復号化された画像データをデジタル画像データとして出力するか、アナログ画像信号として出力するかを選択する選択ステップと、符号化ノイズを除去するためのフィルタによって前記復号化された画像データをフィルタ処理するステップであって、前記デジタル画像データの出力が選択された場合、デジタル出力用のフィルタ特性によって前記復号化された画像データをフィルタ処理し、前記アナログ画像信号の出力が選択された場合、アナログ出力用のフィルタ特性によって前記復号化された画像データをフィルタ処理するフィルタ処理ステップと、前記アナログ画像信号の出力が選択された場合に、前記フィルタ処理ステップで処理された画像データをアナログ信号に変換し、アナログ方式で出力するアナログ画像出力ステップと、前記デジタル画像データの出力が選択された場合に、前記フィルタ処理ステップで処理された画像データをデジタル方式で出力するデジタル画像出力ステップとを具備し、前記フィルタ処理ステップでは、前記デジタル画像データの出力が選択された場合、前記フィルタの通過帯域を、前記アナログ画像信号の出力が選択された場合よりも狭くすることを特徴とする。

本発明によれば、復号化手段によって復号化された画像データをフィルタ処理するフィルタ処理手段のフィルタ特性をアナログ出力かデジタル出力かに応じて変更するので、アナログ出力とデジタル出力の各再生画像上でノイズを同程度のものにすることができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、映像ストリームを復号処理するデコーダに適用した本発明の一実施例の概略構成ブロック図である。画像処理装置１０は、入力端子１２、ＭＰＥＧデコーダ１４、ノイズ除去装置１６、スイッチ（又はセレクタ）２２、出力方式決定装置２４、デジタルエンコーダ２６、ＨＤＭＩ等のデジタルベースバンド信号の出力端子２８、ＮＴＳＣエンコーダ３０、Ｄ／Ａ変換装置３２、アンチエリアジングフィルタ（ＡＡＦ）３４、及びアナログベースバンド信号の出力端子３６を具備する。ノイズ除去装置１６は、ノイズフィルタ２０と、出力方式決定装置２４により制御されてノイズフィルタ２０のフィルタ強度を制御するフィルタ強度決定装置１８とを具備する。

入力端子１２には、ＭＰＥＧ方式で圧縮された映像データ（いわゆる映像ストリーム）が図示しない装置、記憶媒体又は伝送路から入力する。ＭＰＥＧデコーダ１４は、入力端子１２からの圧縮符号化された映像信号を逆量子化処理及び逆ＤＣＴ変換処理等のＭＰＥＧデコード処理により復号化することで、各フレーム又はフィールドの画像信号を復元する。

フィルタ強度決定装置１８は、出力方式決定装置２４からの出力方式指示信号に従い、アナログ出力の場合には、通過域が高域にまで延びたアナログ出力用フィルタ強度をノイズフィルタ２０に設定する。また、デジタル出力の場合には、アナログ出力用フィルタ強度ほどには高域が延びないデジタル出力用フィルタ強度をノイズフィルタ２０に設定する。ノイズフィルタ２０は空間ローパスフィルタ（ＬＰＦ）等であり、フィルタ強度決定装置１８により設定されるフィルタ強度で、ＭＰＥＧデコーダ１４からの映像データの符号化ノイズを除去又は低減する。ここでは、フィルタ強度は、主として遮断周波数を指定するものであり、例えば、フィルタ強度が強いほど、遮断周波数が低くなる。フィルタ強度決定装置１８は、ノイズフィルタ２０のフィルタ特性を切り替えるフィルタ特性制御手段ともいえる。

出力方式決定装置２４は、例えば、デジタルベースバンド信号の出力端子２８、及び、アナログベースバンド信号の出力端子３６へのビデオケーブル（図示せず）の接続の有無を検出する接続検出機構から構成される。出力方式決定装置２４は、検知したビデオケーブルの接続状態に応じて、接続している出力端子２８又は３６側にスイッチ２２を切り替える。出力端子２８，３６の両方にビデオケーブルが接続している場合にスイッチ２２をどちらに接続すべきは、予め決められており、ここでは、出力端子２８を優先する。

スイッチ２２は、出力方式決定装置２４からの出力方式指示信号に従い、ノイズフィルタ２０からのデジタルデータをデジタルエンコーダ２６とＮＴＳＣエンコーダ３０のいずれか一方に出力する。

出力方式決定装置２４は、出力端子２８にビデオケーブルが接続していることを検知すると、スイッチ２２をデジタルエンコーダ２６側に接続する。デジタルエンコーダ２６は、ノイズフィルタ２０から出力されるデジタル画像データをデジタルベースバンド信号形式に変換して、出力端子２８に出力する。

一方、出力方式決定装置２４は、出力端子３６にビデオケーブルが接続し、且つ、出力端子２８にビデオケーブルが接続していないことを検知すると、スイッチ２２をＮＴＳＣエンコーダ３０側に接続する。ＮＴＳＣエンコーダ３０は、ノイズフィルタ２０から出力されるデジタル画像データをＮＴＳＣ形式のデジタルベースバンド信号に変換する。Ｄ／Ａ変換器３２は、ＮＴＳＣエンコーダ３０のデジタル出力信号をアナログ信号に変換し、アンチエリアジングフィルタ（ＡＡＦ）３４に供給する。アンチエリアジングフィルタ３４は、Ｄ／Ａ変換器３２のアナログ出力信号からアンチエリアジングフィルタ処理として高周波成分を除去する。アンチエリアジングフィルタ３４により処理されたアナログベースバンド信号が、出力端子３６から外部に出力される。

図２は、ノイズフィルタ２０及びアンチエリアジングフィルタ３４の周波数特性を示す。特性４０は、ノイズフィルタ２０のアナログ出力用のフィルタ特性を示す。特性４２は、ノイズフィルタ２０のデジタル出力用のフィルタ特性を示す。特性４４は、アンチエリアジングフィルタ３４のフィルタ特性を示す。

本実施例では、特性４０にアンチエリアジングフィルタ３４のフィルタ特性４４を乗算した結果の周波数特性が、特性４２に合致するように、ノイズフィルタ２０の特性４０，４２が設定される。

図３は、ノイズ除去装置１６の動作を示すフローチャートである。まず、入力端子１２からのＭＰＥＧストリームがＭＰＥＧデコーダ１４に入力する（Ｓ１）。ＭＰＥＧデコーダ１４は、入力したＭＰＥＧストリームを伸長し、非圧縮の画像データを出力する（Ｓ２）。出力方式決定装置２４は、出力端子２８，３６へのビデオケーブルの接続状態に従い、アナログ出力かデジタル出力かを決定する（Ｓ３）。

出力方式決定装置２４によって、アナログ出力が選択された場合（Ｓ３でＹ）、フィルタ強度決定装置１８は、アナログ出力用のフィルタ強度（図２のフィルタ特性４０）をノイズフィルタ２０に設定する（Ｓ４）。他方、デジタル出力が選択された場合（Ｓ３でＮ）、フィルタ強度決定装置１８は、デジタル出力用のフィルタ強度（図２のフィルタ特性４２）をノイズフィルタ２０に設定する（Ｓ５）。

ノイズフィルタ２０は、指示されたフィルタ強度に対応するフィルタ特性で、ＭＰＥＧデコーダ１４の出力画像信号をフィルタリングする（Ｓ６）。

ノイズ除去装置１６のこのような動作により、アナログ出力の場合には、ノイズフィルタ２０のフィルタ特性４０と、アンチエリアジングフィルタ３４のフィルタ特性４４が、ＭＰＥＧデコーダ１４による復元画像データに適用される。この結果、図４に示す斜線領域（特性４０，４４を重複適用した結果に対する内側帯域）が、通過帯域となる。デジタル出力の場合には、ノイズフィルタ２０のフィルタ特性４２が、ＭＰＥＧデコーダ１４による復元画像データに適用される。この結果、図５に示す斜線領域（帯域４２の内側帯域）が通過帯域となり、これは、図４に示す通過帯域と実質的に同じになる。フィルタ特性４２を、フィルタ特性４０とフィルタ特性４４を併せて適用した場合に相当する周波数特性としているので、アナログベースバンド信号出力の場合と、デジタルベースバンド信号出力の場合とで通過帯域が等しくなり、ノイズの見え方等もほぼ同様になる。

なお、本実施例では、ＭＰＥＧ符号化方式を例に説明しているが、符号化方式はこれに限ったものではなく、例えば、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）符号化方式、又はＨ．２６４（ＡＶＣ）符号化方式のような他の符号化方式でも良い。Ｈ．２６４（ＡＶＣ）符号化方式の詳細は、ＩＴＵ−Ｔ Ｈ．２６４／ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０のＩＳＯ／ＩＥＣ １４４９６−１０に記載されている。

出力方式決定装置２８は、出力端子へのビデオケーブルの接続の有無を検知する手段以外に、ユーザがマニュアルで指定する場合も含み、また、遠隔の制御装置から指示される場合も含む。

本発明の一実施例の概略構成ブロック図である。 ノイズフィルタ２０及びアンチエリアジングフィルタ３４の周波数特性を示す図である。 ノイズ除去装置１６の動作を示すフローチャートである。 アナログ出力の場合の通過帯域を示す模式図である。 デジタル出力の場合の通過帯域を示す模式図である。 従来例の概略構成ブロック図である。 ＭＰＥＧデコーダ１１４から出力されるデジタル画像信号のスペクトルである。 アンチエリアジングフィルタの理想的な周波数特性である。 アンチエリアジングフィルタの現実的な周波数特性である。 図９に示すフィルタ特性を有するアンチエリアジングフィルタから出力されるアナログベースバンド信号の通過帯域の模式図である。 ノイズフィルタ１２０の周波数特性１５０、アンチエリアジングフィルタ１３４の周波数特性１５２、及びこれらの合成の周波数特性１５４を示す周波数特性図である。 アナログベースバンド信号の通過帯域の模式図である。 デジタルベースバンド信号の通過帯域の模式図である。

符号の説明

１０，１１０ 画像処理装置
１２，１１２ 入力端子
１４，１１４ ＭＰＥＧデコーダ
１６，１１６ ノイズ除去装置
１８，１１８ フィルタ強度決定装置
２０，１２０ ノイズフィルタ
２２，１２２ スイッチ
２４，１２４ 出力方式決定装置
２６，１２６ デジタルエンコーダ
２８，１２８ 出力端子
３０，１３０ ＮＴＳＣエンコーダ
３２，１３２ Ｄ／Ａ変換装置
３４，１３４ アンチエリジングフィルタ
３６，１３６ 出力端子

Claims (6)

1. 符号化画像データを復号化する復号化手段と、
   符号化ノイズを除去するためのフィルタによって前記復号化手段によって復号化された画像データをフィルタ処理するフィルタ処理手段と、
   画像データをアナログ信号に変換し、アナログ方式で出力するアナログ画像出力手段と、
   画像データをデジタル方式で出力するデジタル画像出力手段と、
   前記フィルタ処理手段によってフィルタ処理された画像データの出力方式として、前記アナログ画像出力手段によるアナログ方式、または前記デジタル画像出力手段によるデジタル方式を選択する出力方式決定手段と、
   前記出力決定手段による出力方式の切り替えに連動して、前記フィルタ処理手段において使用される前記フィルタの特性を切り替えるフィルタ特性制御手段
   とを具備し、
   前記フィルタ特性制御手段は、前記出力決定手段により前記デジタル方式が選択された場合、前記フィルタの通過帯域を、前記アナログ方式が選択された場合よりも狭くすることを特徴とする画像処理装置。
2. 前記フィルタ特性制御手段は、前記出力決定手段による出力方式の切り替えに連動して、前記符号化ノイズ除去に対する強度を切り替えることを特徴とする請求項１に記載の画像処理装置。
3. 前記アナログ画像出力手段は、画像データをアナログ画像信号に変換するＤ／Ａ変換器と、当該Ｄ／Ａ変換器の出力画像信号をローパスフィルタ処理するローパスフィルタとを具備することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ローパスフィルタは、アンチエリアジング処理のためのフィルタであることを特徴とする請求項３に記載の画像処理装置。
5. 前記フィルタ特性制御手段は、前記ローパスフィルタの特性と、前記出力決定手段により前記アナログ方式が選択された場合の前記フィルタの周波数特性とを乗算して得られる特性が、前記出力決定手段により前記デジタル方式が選択された場合の前記フィルタの周波数特性と等しくなるように設定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 符号化画像データを復号化する復号化ステップと、
   前記復号化ステップで復号化された画像データをデジタル画像データとして出力するか、アナログ画像信号として出力するかを選択する選択ステップと、
   符号化ノイズを除去するためのフィルタによって前記復号化された画像データをフィルタ処理するステップであって、前記デジタル画像データの出力が選択された場合、デジタル出力用のフィルタ特性によって前記復号化された画像データをフィルタ処理し、前記アナログ画像信号の出力が選択された場合、アナログ出力用のフィルタ特性によって前記復号化された画像データをフィルタ処理するフィルタ処理ステップと、
   前記アナログ画像信号の出力が選択された場合に、前記フィルタ処理ステップで処理された画像データをアナログ信号に変換し、アナログ方式で出力するアナログ画像出力ステップと、
   前記デジタル画像データの出力が選択された場合に、前記フィルタ処理ステップで処理された画像データをデジタル方式で出力するデジタル画像出力ステップ
   とを具備し、
   前記フィルタ処理ステップでは、前記デジタル画像データの出力が選択された場合、前記フィルタの通過帯域を、前記アナログ画像信号の出力が選択された場合よりも狭くすることを特徴とする画像処理方法。

Images