JP5023092B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像を鮮鋭化する鮮鋭化処理を実行する画像処理装置及び画像処理方法に関する。また、本発明は、画像中のノイズ成分を低減するコアリング処理を実行する画像処理装置に関する。

近年、ＳＤ（Standard Definition）規格を超える解像度を持つパーソナルコンピュータ用ディスプレイで、映像コンテンツを視聴する機会が増加している。また、プリンタ性能も向上し、高密度な印刷も可能になってきている。さらに、ハイビジョン放送の本格化に伴い、ＨＤ（High Definition）規格対応のテレビジョン受信機も一般家庭に普及してきている。

このような高い解像度をもつ出力機器に比べて、ビデオカメラ等の撮影機器により取得された映像データやＳＤ規格対応のテレビジョン放送、ＤＶＤ等は、解像度が低い。このため、何らかの手段によって、映像データの高解像度化を図る必要がある。また、映像や画像の一部を拡大表示する場合や、ビデオカメラ使用時に、光学ズームを超えてデジタルズームによる撮影を行う場合にも、高解像度化の必要がある。

従来、高解像度化には、線形内挿や３次元畳み込み法（Cubic Convolution）による内挿が用いられていたが、十分な鮮鋭さが得られないという問題があった。そこで、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、画像データの元の解像度を超える画像を生成する超解像化技術の研究が進められている（特許文献１、特許文献２参照）。また、上述したような映像入出力機器に対して、超解像機能を組み込むための開発も進められている。

特開２００８−０６７１１０号公報 特開２００８−１４６１９０号公報

しかしながら、このような鮮鋭化処理を実際のデジタルテレビ等の出力機器に実装した場合、画像の状態によっては、この鮮鋭化処理により画質が低下することがあることがわかった。例えば、入力ソース画像にフェードイン又はフェードアウト等の急激な明るさの変化が含まれる場合に、鮮鋭化処理により画質が低下することがある。同様に、コアリング処理により画質が低下してしまうことがある。

本発明の目的は、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置及び画像処理方法を提供することにある。

本発明の一実施形態に係る画像処理装置は、画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、を備えている。

本発明の一実施形態に係る画像処理方法は、画像データに含まれた複数フレーム間の明暗変化量を検出し、前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定し、前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する。

本発明によれば、画像の変化に応じて鮮鋭化処理又はコアリング処理を制御することが可能な画像処理装置及び画像処理方法を提供できる。

本発明の一実施形態に係る画像処理装置の概略構成を示す図である。 フェードアウト時の輝度ヒストグラムの変化の一例を示す図である。 ヒストグラム分布に対する重み付け処理の一例を示す図である。 フェードイン又はフェードアウト等の急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する画質悪化防止処理の一例を示すフローチャートである。 複数フレーム間の明暗変化量（差分値）の概要を説明するための図である。 超解像コアリング処理の効果を制御するための補正パラメータを取得するための入出力変換の一例を示す図である。 画像鮮鋭化処理の効果を制御するための補正パラメータを取得するための入出力変換の一例を示す図である。 図１に示す画像処理装置が組み込まれたテレビジョン信号受信装置の概略構成を示す図である。 超解像コアリング処理モジュールの概略構成を示す図である。 垂直ノイズ低減回路（コアリング）の概略構成を示す図である。

以下、図面を参照し、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る画像処理装置の概略構成を示す図である。図１に示すように、画像処理装置は、ヒストグラム取得モジュール１０４、ヒストグラム値フレームバッファ１０５、輝度レベル遷移状態判定モジュール１０８、加算器１１０、１１７、超解像コアリング処理モジュール１２０、及び画像鮮鋭化処理モジュール１２７を備えている。

超解像コアリング処理モジュール１２０には、入力映像信号１０１（輝度：Ｙ）、１０２（色信号：Ｃｂ／Ｐｂ）、１０３（色信号：Ｃｒ／Ｐｒ）が入力される。同様に、ヒストグラム取得モジュール１０４にも、入力映像信号１０１、１０２、１０３が入力される。超解像コアリング処理モジュール１２０は、超解像コアリング処理を実行し、ここでいう超解像コアリング処理とは、超解像処理によって生じ得るノイズ成分を抑える処理を意味する。ヒストグラム取得モジュール１０４は、１フレーム単位で入力映像の画像の輝度分布を示すヒストグラムを取得する。

フェードアウトする場合は、図２に示すように、各画像のヒストグラムは、次第に暗部が強くなるように変化する。逆に、フェードインする場合は、各画像のヒストグラムは、次第に明るい部分が強くなるように変化する。

図３は、ヒストグラム分布に対する重み付け処理の一例を示す図である。図３から分かるように重み付け係数は、輝度レベルが低い値になるにしたがって、大きい値となっている。これは、フェードイン・フェードアウト時に、プレーン領域の階調差による縞模様は、輝度レベルが低い領域で目立ちやすいことに起因する。つまりプレーン領域の階調差による縞模様は、暗い側の画面において目立ちやすいから、暗い側の画面になればなるほどヒストグラム値を強調するようにしている。さらに、重み付け係数特性は、輝度レベルの高いほうは係数値が少ないので、明るい側の画面に対してはデータ量を低減していることになる。このことはデータの演算処理の負担を軽減することにもなる。

図３に示すように、ヒストグラム取得部１０４は、取得したヒストグラム分布の各々のレベルの度数に対して、各々のレベルに設定された重み付け係数を乗算し、全てのレベルの度数の和を取得し、現フレームの計算値（ヒストグラム値）としてヒストグラム値フレームバッファ１０５へ出力する。フェードアウトの場合、現フレームの計算値は前フレームの計算値より減少する。逆にフェードアウトの場合、現フレームの計算値は前フレームの計算値より増加する。得られた計算値は現フレームの計算値としてヒストグラム値フレームバッファ１０５へ出力する。

ヒストグラム値フレームバッファ１０５は、現フレームを含めた複数フレームのヒストグラム値をバッファリングし、輝度レベル遷移状態判定モジュール１０８での演算に使用する現フレームを含めた複数フレームのヒストグラム値１０７を輝度レベル遷移状態判定モジュール１０８へ送信する。

輝度レベル遷移状態判定モジュール１０８は、ヒストグラム値１０７に基づき複数フレーム間の明暗変化量（以下で説明する差分値）を検出し、明暗変化量の検出結果に基づきフェードイン又はフェードアウト区間を検出する。フェードイン又はフェードアウト区間は、複数フレーム間のヒストグラム値の差分に基づき、同じ極性（プラス又はマイナス）が連続しているか否かで検出することができる。輝度レベル遷移状態判定モジュール１０８は、フェードン又はフェードアウト区間を検出したとき、当該区間で輝度変化傾斜（明暗変化量）に応じた第１の補正パラメータ（オフセットデータ）を加算器１１０へ出力し、また、当該区間で輝度変化傾斜（明暗変化量）に応じた第２の補正パラメータ（オフセットデータ）を加算器１１７へ出力する。なお、輝度レベル遷移状態判定モジュール１０８は、第１又は第２の補正パラメータが急激あるいは頻繁に変動しないように、修正した第１又は第２の補正パラメータを出力してもよい。

加算器１１０は、超解像コアリングイニシャルパラメータ１１１と第１の補正パラメータとを加算し超解像コアリングパラメータを生成し、超解像コアリングパラメータを超解像コアリング処理モジュール１２０へ出力する。つまり、加算器１１０は、輝度変化傾斜（明暗変化量）に応じて補正された超解像コアリングパラメータを超解像コアリング処理モジュール１２０に対して設定する。

加算器１１７は、画像鮮鋭化イニシャルパラメータ１１８と第２の補正パラメータとを加算し画像鮮鋭化パラメータを生成し、画像鮮鋭化パラメータを画像鮮鋭化処理モジュール１２７へ出力する。つまり、加算器１１７は、輝度変化傾斜（明暗変化量）に応じて補正された画像鮮鋭化パラメータを画像鮮鋭化処理モジュール１２７に対して設定する。

これにより、超解像コアリング処理モジュール１２０は、輝度変化傾斜（明暗変化量）に応じて、超解像コアリング効果を制御することができる。つまり、超解像コアリング処理モジュール１２０は、フェードイン又はフェードアウト等の急な明るさの変化（一定程度以上のフェードイン又はフェードアウト）に対応して、超解像コアリング効果を強めることができる。これにより、ＭＰＥＧノイズの悪化を防止することができ、ユーザーは入力画像に最適な超解像コアリング処理が適用された映像を楽しむことができる。

また、画像鮮鋭化処理モジュール１２７も、輝度変化傾斜（明暗変化量）に応じて、画像鮮鋭化効果を制御することができる。つまり、画像鮮鋭化処理モジュール１２７も、フェードイン又はフェードアウト等の急な明るさの変化（一定程度以上のフェードイン又はフェードアウト）に対応して、画像鮮鋭化効果を制御することができる。これにより、ＭＰＥＧノイズの悪化を防止することができ、ユーザーは入力画像に最適な画像鮮鋭化処理が適用された映像を楽しむことができる。

ここで、超解像コアリング処理モジュール１２０及び画像鮮鋭化処理モジュール１２７による超解像処理について補足する。例えば、画像鮮鋭化処理モジュール１２７は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する鮮鋭化処理を行う。ここで、「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。

さらに、詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルＨＤ高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルＨＤ高解像度映像を作る。補間された画素は必ずしもオリジナル映像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。

次に、撮像モデル関数に基づき、仮のフルＨＤ高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。

ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。

つまり、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した映像を後で視聴する場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。

なお、本実施形態の超解像処理は、例えば、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報及び特開２０００−１８８６８０号公報等に開示された公知・公用の技術も含む。本実施形態の超解像処理としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いることができる。

例えば、特開２００７−３１０８３７号公報に開示された超解像処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置、及びこの第１の誤差、並びに第１の画素の周辺の第２の画素位置、及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点、及び注目画素を始点とする小数精度ベクトルを算出し、この小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル、及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。本実施形態の超解像処理は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像処理を用いることもできる。

また、本実施形態の超解像処理では、引き伸ばした映像に独自のアルゴリズムを加えることで一度低解像度映像に変換、さらにその映像をオリジナルの入力映像と比較して差分を検出して更に補正処理を施すことで、高画質処理がされてもよい。

ただし、本実施形態の超解像処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であったり、あらゆる手法を適用することができる。

以下、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する処理をさらに詳細に説明する。

図４は、フェードイン又はフェードアウト等の急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理の効果を可変制御する画質悪化防止処理の一例を示すフローチャートである。なお、本実施形態では、急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理の二つの処理を可変制御する画質悪化防止処理について説明する。しかし、本発明はこれに限定されるものではない。例えば、以下説明する画質悪化防止処理が、急な明るさの変化に応じて、超解像コアリング処理及び画像鮮鋭化処理のどちらか一方だけの効果を可変制御してもよい。また、以下説明する画質悪化防止処理は、超解像コアリング処理及び画像鮮鋭化処理以外の画像処理に対して適用することもできる。

図４に示すように、ステップＳＡ１では、ｍフレーム分のヒストグラム値（DIN(1)-DIN(ｍ)）が取得される。次に、ステップＳＡ２、ステップＳＡ３、ステップＳＡ４により、フレーム(i=1)〜フレーム(i=n)の各々のヒストグラム値に対してｄフレーム過去のヒストグラム値との差分値（ＤΔ（１〜ｎ））を取得している。なおｍ＝ｎ＋ｄ、または、ｍ＞ｎ＋ｄ、である。

図５は、バッファリングされたmフレーム分のヒストグラム値（DIN(1)-DIN(ｍ)）と、フレーム(i=1)〜フレーム(i=n)のヒストグラム値を用いて差分値（ＤΔ（１〜ｎ））が取得される様子を示している。

差分値（ＤΔ（１〜ｎ））が取得されると、図４のステップＳＡ５で、差分値の極性が連続して一致しているか否か判定される。全ての極性が一致するということは、数フレームに渡って、画面が連続して明るいほうから暗くなっている（フェードアウト）、あるいは暗いほうから明るくなっている（フェードイン）ということである。このときは、差分値（ＤΔ（１〜ｎ））の絶対値を全て加算し、加算値をＤΔａｌｌとして設定する（ステップＳＡ６）。極性が一致しない場合には、０をＤΔａｌｌとして設定する（ステップＳＡ７）。

続いて、ＤΔａｌｌに基づき、図６に示す入出力変換Ｃ１を経て、第１の補正パラメータを出力する（ステップＳＡ８）。同様に、ＤΔａｌｌに基づき、図７に示す入出力変換Ｃ２を経て、第２の補正パラメータを出力する（ステップＳＡ９）。

図６は、ステップＳＡ８の入出力変換Ｃ１の一例を示す図である。入出力変換Ｃ１では、入力−出力のスレッシュレベル（閾値）を２点とした変換関数を挙げている。図６に示すように、ＩＮ１に対してＯＵＴ１を、ＩＮ２に対してＯＵＴ２を設定する。なお、図６に示す入力スレッシュレベルと出力レベルの関係は一例であり、画質悪化防止効果を引き出すために、自由に変更することができる。

図６に示すように、ＩＮ１とＩＮ２の間のような入力値（ＩＮ１以上且つＩＮ２以下）に関しては線形補間を行うことでＯＵＴ１からＯＵＴ２へ遷移する値を出力する。入力値がＩＮ１未満の場合は、常にＯＵＴ１を出力する。また入力値がＩＮ２を超える場合は、ＯＵＴ２を常に出力する。

入出力変換Ｃ１（ステップＳＡ８）により得られた値を、超解像コアリング処理モジュール１２０への第１の補正パラメータとして加算器１１０へ出力する。加算器１１０は、超解像コアリングイニシャルパラメータ１１１と第１の補正パラメータとを加算し超解像コアリングパラメータ（超解像コアリングオフセットパラメータ）を生成し、超解像コアリングパラメータを超解像コアリング処理モジュール１２０へ出力する（ステップＳＡ１０）。

つまり、超解像コアリング処理モジュール１２０に入力される超解像コアリングパラメータは、以下のようになる。

（１）ＩＮ１未満の第１の明暗変化量の検出時には、第１のコアリング効果を得るための第１の超解像コアリングパラメータが設定される。

（２）ＩＮ２より大きい第２の明暗変化量の検出時には、第１のコアリング効果より大きい第２のコアリング効果を得るための第２の超解像コアリングパラメータが設定される。

（３）ＩＮ１以上でＩＮ２以下の第３の明暗変化量の検出に基づき、第１のコアリング効果より大きく第２のコアリング効果より小さい第３のコアリング効果を得るためのコアリングパラメータであって、且つ第３の明暗変化量の増加に応じて増加する第３のコアリング効果を得るための第３のコアリングパラメータが設定される。

これにより、超解像コアリング処理モジュール１２０は、フェードイン又はフェードアウト区間等の明るさの変化に応じて補正された超解像コアリングパラメータ（超解像コアリングオフセットパラメータ）に基づき、明るさの変化に応じた超解像コアリング処理を実行することができる（ステップＳＡ１２）。つまり、フェードイン又はフェードアウト区間等の明るさの変化に応じて、超解像コアリングの効果を強め、ＭＰＥＧノイズの悪化を防止することができる。図１に示すように、超解像コアリング処理モジュール１２０は、入力映像信号１０１、１０２、１０３に対応した超解像コアリング処理済み映像信号１０３（輝度：Ｙ’）、１０４（色信号：Ｃｂ’／Ｐｂ’）、１０５（色信号：Ｃｒ’／Ｐｒ’）を出力する。

図７は、ステップＳＡ９の入出力変換Ｃ２の一例を示す図である。入出力変換Ｃ２では、入力−出力のスレッシュレベル（閾値）を２点とした変換関数を挙げている。図７に示すように、ＩＮ１に対してＯＵＴ１を、ＩＮ２に対してＯＵＴ２を設定する。なお、図７に示す入力スレッシュレベルと出力レベルの関係は一例であり、画質悪化防止効果を引き出すために、自由に変更することができる。

図７に示すように、ＩＮ１とＩＮ２の間のような入力値（ＩＮ１以上且つＩＮ２以下）に関しては線形補間を行うことでＯＵＴ１からＯＵＴ２へ遷移する値を出力する。入力値がＩＮ１未満の場合は、常にＯＵＴ２を出力する。また入力値がＩＮ２を超える場合は、ＯＵＴ１を常に出力する。

入出力変換Ｃ２（ステップＳＡ９）により得られた値を、画像鮮鋭化処理モジュール１２７への第２の補正パラメータとして加算器１１７へ出力する。加算器１１７は、画像鮮鋭化イニシャルパラメータ１１８と第２の補正パラメータとを加算し画像鮮鋭化パラメータ（画像鮮鋭化オフセットパラメータ）を生成し、画像鮮鋭化パラメータを画像鮮鋭化処理モジュール１２７へ出力する（ステップＳＡ１１）。

つまり、画像鮮鋭化処理モジュール１２７に入力される画像鮮鋭化パラメータは、以下のようになる。

（１）ＩＮ１未満の第１の明暗変化量の検出時には、第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータが設定される。

（２）ＩＮ２より大きい第２の明暗変化量の検出時には、第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータが設定される。

（３）ＩＮ１以上でＩＮ２以下の第３の明暗変化量の検出に基づき、第１の鮮鋭化効果ゲインより小さく第２の鮮鋭化効果ゲインより大きい第３の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ第３の明暗変化量の増加に応じて減少する第３の鮮鋭化効果ゲインを得るための第３の鮮鋭化パラメータが設定される。

これにより、画像鮮鋭化処理モジュール１２７は、フェードイン又はフェードアウト区間等の明るさの変化に応じて補正された画像鮮鋭化パラメータ（画像鮮鋭化オフセットパラメータ）に基づき、明るさの変化に応じた画像鮮鋭化処理を実行することができる（ステップＳＡ１３）。つまり、フェードイン又はフェードアウト区間等の明るさの変化に応じて、画像鮮鋭化ゲインを下げて、ＭＰＥＧノイズの悪化を防止することができる。図１に示すように、画像鮮鋭化処理モジュール１２７は、超解像コアリング処理済み映像信号１０３、１０４、１０５に対応した画像鮮鋭化処理済み映像信号１２０（輝度：Ｙ’’）、１２１（色信号：Ｃｂ’’／Ｐｂ’’）、１２２（色信号：Ｃｒ’’／Ｐｒ’’）を出力する。

上記説明した画像処理装置は、ＭＰＥＧノイズが出やすい状況（フェードイン又はフェードアウト区間）を検出することができ、この検出時に超解像コアリングの効果を強め画像鮮鋭化ゲインを下げることができる。これにより、その他の画像に影響することなしに、フェードイン又はフェードアウト区間に発生するＭＰＥＧノイズを軽減できる。

上記説明した画像処理装置を適用しなければ、例えば、超解像コアリングパラメータおよび画像鮮鋭化パラメータは固定されたままとなり、ＭＰＥＧノイズが出やすい状況で、ＭＰＥＧノイズを強調してしまうことになる。

図８は、図１に示す画像処理装置が組み込まれたテレビジョン信号受信装置の概略構成を示す図である。

図８に示すようにテレビジョン信号受信装置は、信号処理モジュール３４を備え、信号処理モジュール３４は、図１に示す画像処理装置を画像処理モジュールとして含む。デジタルテレビジョン放送受信用のアンテナ２２で受信したデジタルテレビジョン放送信号は、入力端子２３を介してチューナ２４に供給される。このチューナ２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２４から出力された信号は、デコーダ２５に供給されて、ＭＰＥＧデコーダ４１等により、ＭＰＥＧ（moving picture experts group）２デコード処理される。

またチューナ２４の出力は、セレクタ２６にも供給されている。この信号から映像・音声情報などが分離され、この映像・音声情報が制御部３５を介して記憶部において記録されることも可能である。

さらに、アナログテレビジョン放送受信用のアンテナ２７で受信したアナログテレビジョン放送信号は、入力端子２８を介してチューナ２９に供給される。このチューナ２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２９から出力された信号は、Ａ／Ｄ（analog／digital）変換部３０によりデジタル化された後、上記セレクタ２６に出力される。

また、アナログ信号用の入力端子３１に供給されたアナログの映像及び音声信号は、Ａ／Ｄ変換部３２に供給されてデジタル化された後、上記セレクタ２６に出力される。さらに、デジタル信号用の入力端子３３に供給されたデジタルの映像及び音声信号は、そのまま上記セレクタ２６に供給される。

Ａ／Ｄ変換された信号が、記憶部にて記録される場合は、セレクタ２６に付随しているＭＰＥＧエンコーダ４２により、所定のフォーマット例えばＭＰＥＧ（moving picture experts group）２方式による圧縮処理が施された後、記憶部にて記録される。

上記セレクタ２６は、４箇所の入力デジタル映像及び音声信号から１つを選択して、信号処理モジュール３４に供給している。この信号処理モジュール３４は、入力されたデジタル映像信号に所定の信号処理を施して上記映像表示器１４での映像表示に供させている。この映像表示部１４としては、例えば、液晶ディスプレイやプラズマディスプレイ等でなるフラットパネルディスプレイが採用される。また、信号処理モジュール３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ１５に出力することにより、音声再生を行なっている。

ここで、このテレビジョン信号受信装置は、上記した各種の受信動作を含む種々の動作を制御部３５によって統括的に制御されている。この制御部３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサであり、操作部１６や操作子（図示せず）からの操作情報、または、上記リモートコントローラ１７から送信された操作情報を受光部１８で受けて処理することにより、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部３５は、メモリ３６を使用している。このメモリ３６は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。

次に、図９及び図１０を参照して、超解像コアリング処理について説明する。例えば、図９に示すように、超解像コアリング処理モジュール１２０は構成されている。入力映像信号は、水平ノイズ低減回路１２０２、フレーム遅延回路１２０５、フレーム間差分情報計数回路１２０６に入力される。

水平ノイズ低減回路１２０２は、例えばクロック遅延素子と係数器を用いたフィルタであり、水平方向の水平ライン上のノイズの低減処理を行う。水平ノイズ低減回路１２０２の出力は、５タップライン遅延回路１２０３に入力される。５タップライン遅延回路１２０３は、複数のライン遅延回路を用いて、水平ラインを５ライン分同時化する。この同時化されたライン信号は、垂直ノイズ低減回路１２０４に入力され、垂直方向のノイズ低減処理が行われ、出力端子に出力される。

ここで、上記した水平ノイズ低減回路１２０２、及び垂直ノイズ低減回路１２０４に対しては、そのノイズ低減量を制御するために、上記した超解像コアリングパラメータが入力されている。水平ノイズ低減回路１２０２は、超解像コアリングパラメータに基づき、ノイズ低減レベルが制御され、水平方向の高域成分のコアリング処理によりノイズを低減している。また、垂直ノイズ低減回路１２０４も、超解像コアリングパラメータに基づき、ノイズ低減レベルが制御され、垂直方向の高域成分のコアリング処理によりノイズを低減している。

図１０は、図９に示す垂直ノイズ低減回路１２０４の一例を示す図である。５タップライン遅延回路１２０３からの信号は、垂直バンドパスフィルタ１２０４ａに入力される。垂直バンドバスフィルタ１２０４ａは、入力信号を用いてフィルタリング処理を行い、ノイズ成分が含まれる垂直高域成分を抽出する。この垂直高域成分は、リミッタ１２０４ｂに入力され、超解像コアリングパラメータにより、例えば振幅制限を受けて、減算器１２０４ｃに入力される。減算器１２０４ｃでは、ライン遅延出力信号のセンタータップの信号からリミッタ１２０４ｂの出力を減算し、垂直高域成分であるノイズを低減する。これにより、減算器１２０４ｃからは、高域コアリング方式よるノイズ低減された映像信号を得ることができる。リミッタ１２０４ｃの出力の振幅の大きさが、ノイズ低減の程度となる。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１０４…ヒストグラム取得モジュール、１０５…ヒストグラム値フレームバッファ、１０８…輝度レベル遷移状態判定モジュール、１２０…超解像コアリング処理モジュール、１２７…画像鮮鋭化処理モジュール

Claims (9)

1. 画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、
   前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定する鮮鋭化制御手段と、
   前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する鮮鋭化処理手段と、
   を備え、
   前記鮮鋭化処理は、フェードイン又はフェードアウトにより画質が低下する画像処理と関連することを特徴とする画像処理装置。
2. 画像データに含まれた複数フレーム間の明暗変化量を検出する検出手段と、
   前記検出された明暗変化量に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
   前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
   を備え、
   前記コアリング処理は、フェードイン又はフェードアウトにより画質が低下する画像処理と関連することを特徴とする画像処理装置。
3. 前記検出された明暗変化量に応じて、前記画像データに対するコアリング効果を制御するコアリングパラメータを設定するコアリング制御手段と、
   前記コアリングパラメータに基づき前記画像データに対してコアリング処理を実行するコアリング処理手段と、
   を備えたことを特徴とする請求項１に記載の画像処理装置。
4. 前記鮮鋭化制御手段は、第１の明暗変化量の検出に基づき第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータを設定し、前記第１の明暗変化量より大きい第２の明暗変化量の検出に基づき前記第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータを設定し、
   前記鮮鋭化処理手段は、前記第１又は第２の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
   ことを特徴とする請求項１又は３に記載の画像処理装置。
5. 前記コアリング制御手段は、第１の明暗変化量の検出に基づき第１のコアリング効果を得るための第１のコアリングパラメータを設定し、前記第１の明暗変化量より大きい第２の明暗変化量の検出に基づき前記第１のコアリング効果より大きい第２のコアリング効果を得るための第２のコアリングパラメータを設定し、
   前記コアリング処理手段は、前記第１又は第２のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記鮮鋭化制御手段は、
   第１の閾値及びこの第１の閾値より大きい第２の閾値を設定し、
   前記第１の閾値未満の第１の明暗変化量の検出に基づき第１の鮮鋭化効果ゲインを得るための第１の鮮鋭化パラメータを設定し、
   前記第２の閾値より大きい第２の明暗変化量の検出に基づき前記第１の鮮鋭化効果ゲインより小さい第２の鮮鋭化効果ゲインを得るための第２の鮮鋭化パラメータを設定し、
   前記第１の閾値以上で前記第２の閾値以下の第３の明暗変化量の検出に基づき、前記第１の鮮鋭化効果ゲインより小さく前記第２の鮮鋭化効果ゲインより大きい第３の鮮鋭化効果ゲインを得るための鮮鋭化パラメータであって、且つ前記第３の明暗変化量の増加に応じて減少する前記第３の鮮鋭化効果ゲインを得るための第３の鮮鋭化パラメータを生成し、
   前記鮮鋭化処理手段は、
   前記第１、第２、又は第３の鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行する、
   ことを特徴とする請求項１又は３に記載の画像処理装置。
7. 前記コアリング制御手段は、
   第１の閾値及びこの第１の閾値より大きい第２の閾値を設定し、
   前記第１の閾値未満の第１の明暗変化量の検出に基づき第１のコアリング効果を得るための第１のコアリングパラメータを設定し、
   前記第２の閾値より大きい第２の明暗変化量の検出に基づき前記第１のコアリング効果より大きい第２のコアリング効果を得るための第２のコアリングパラメータを設定し、
   前記第１の閾値以上で前記第２の閾値以下の第３の明暗変化量の検出に基づき、前記第１のコアリング効果より大きく前記第２のコアリング効果より小さい第３のコアリング効果を得るためのコアリングパラメータであって、且つ前記第３の明暗変化量の増加に応じて増加する前記第３のコアリング効果を得るための第３のコアリングパラメータを生成し、
   前記コアリング処理手段は、前記第１、第２、又は第３のコアリングパラメータに基づき前記画像データに対してコアリング処理を実行する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
8. 放送信号から所望チャンネルの信号を選局する選局手段を備え、
   前記検出手段は、前記選局された信号中の画像データに含まれた複数フレーム間の明暗変化量を検出する、
   ことを特徴とする請求項１に記載の画像処理装置。
9. 画像データに含まれた複数フレーム間の明暗変化量を検出し、
   前記検出された明暗変化量に応じて、前記画像データに対する鮮鋭化効果ゲインを制御する鮮鋭化パラメータを設定し、
   前記鮮鋭化パラメータに基づき前記画像データに対して鮮鋭化処理を実行し、
   前記鮮鋭化処理は、フェードイン又はフェードアウトにより画質が低下する画像処理と関連することを特徴とする画像処理方法。

Images