JP2015033019A - 画像処理装置、画像表示装置、プログラム及び記録媒体 - Google Patents

Abstract

【課題】ノイズ成分を強調することなくディテイル感を向上できる画像処理装置を提供する。
【解決手段】フレーム間相関の小さいノイズとみなせる振幅を低減して、対象フレーム画像からノイズ低減画像を生成する第２ノイズ低減処理部（１８）と、対象フレーム画像、ノイズ低減画像、及び対象フレーム画像の各画素値と注目画素を含むブロックの最大値・最小値とに基づく高周波成分から出力フレーム画像を生成する混合処理部（２１）とを備える。
【選択図】図３

Description

本発明は、画像、及び、映像処理を行う際に、ノイズ成分を強調することなく、画像のディテイル感を向上できる画像処理装置、プログラム及び記録媒体に関する。

静止画や動画に拡大処理を施して表示を行うと、等倍表示では十分鮮鋭感のある映像品質であっても、鮮鋭感、及び、ディテイル感の損なわれたぼやけた映像品質となることがある。そこで、拡大処理を行う前に、アンシャープマスク処理などの強調処理を適用することにより鮮鋭感を改善することが可能である。しかしながら、輪郭が太くなる、あるいは、輪郭周辺にオーバーシュートやアンダーシュートが発生するため、強調処理後に拡大処理を適用すると非常に不自然な画像になってしまう。

そこで、フィルタ処理として３×３などのマスクサイズが小さなマスクを採用することにより、輪郭が太くなるのを低減することが可能である。しかしながら、マスクサイズを小さくすると、フィルタの周波数応答が単調になるため、重要な周波数帯域よりも不要な高周波成分への強調効果が強くなる。この問題について図を用いて説明する。図１８の（ａ）〜（ｃ）は、処理対象画像の周囲に負の数の係数を配置したときのフィルタ係数の例と、その周波数応答とを示す図である。なお、図１８の（ａ）に示すマスクの前の数値（１/１６）は、マスクの中の数字全てに乗算される数である。周波数応答が高くなるほどゲイン（利得）が高くなる単調増加の特性が示されている。周波数応答が単調なため、中域周波数で構成される輪郭成分への強調効果を高めると、ノイズが多く含まれる不要な高域周波成分も強調されてしまう、という問題が生じる。

一方、特許文献１には、注目画素と他の各画素との輝度値の差より標準偏差を求め、文字や線のように標準偏差が大きい領域にはハイパスフィルタによる強調処理を行い、写真や絵のように標準偏差が小さい領域にはローパスフィルタによる平滑処理を行うことで、画像のエッジを保ったままノイズ除去する方法が記載されている。特許文献１では、３つのフィルタが提案されており、いずれの場合も、標準偏差の大きい場合にハイパスフィルタとしての効果が強くなり、小さい場合にローパスフィルタとしての効果が強くなるように設計されている。そのため、画像のエッジを保ったままノイズ除去することができる。

特開２００９−２６６２３３号公報（２００９年１１月１２日公開）

しかしながら、特許文献１に開示された方法の場合、注目画素と他の各画素との輝度差を利用しており、エッジ部分の強度に基づいた処理となる。そのため、ノイズ成分と画像のディテイル成分とを分類することができない。従って、ノイズがディテイルとして残り、ディテイルがノイズとして平滑化されてしまうという問題を有する。

そこで、本発明は、上記の問題点に鑑みてなされたものであって、その目的は、ノイズ成分を強調することなくディテイル感を向上させることが可能な画像処理装置、画像表示装置、プログラム及び記録媒体を提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、映像を構成するフレーム画像に精細感をもたらすディテイル処理部を備えた画像処理装置であって、上記ディテイル処理部は、対象フレーム画像とその隣接フレーム画像とで各画素間の位置合わせを行う位置合わせ部と、上記位置合わせされたフレーム画像を用いてフレーム間相関の小さいノイズとみなせる振幅を低減し、上記対象フレーム画像からノイズ低減画像を生成するノイズ低減部と、上記対象フレーム画像の各画素について、注目画素とその周辺画素とを含む第１ブロック内の画素値の最大値及び最小値を算出する最大値・最小値算出部と、上記対象フレーム画像の各画素について、注目画素の画素値と当該注目画素について算出された上記最大値及び上記最小値とを基に高周波成分を算出する高周波成分生成部と、上記対象フレーム画像と上記ノイズ低減画像と上記高周波成分とを基に出力フレーム画像を生成する混合部と、を備えることを特徴とする。

上記構成によると、ノイズ成分を強調することなくディテイル感を向上させる画像処理を行うことができる。なお、ディテイルであるかノイズであるかの判断は、そのフレーム画像単独の情報だけでは困難である。そのため、上記構成のようにフレーム画像間での比較を行うことが有効な手段の一つである。

本発明の一実施の形態のテレビ放送受信装置の構成を示すブロック図である。 上記テレビ放送受信装置が有する映像信号処理部の構成を示すブロック図である。 上記映像信号処理部が有するディテイル感向上処理部の構成を示すブロック図である。 上記ディテイル感向上処理部が有する位置合わせ処理部の実行する位置合わせ処理の例を示す図である。 上記ディテイル感向上処理部が有する第２ノイズ低減処理部でのノイズ低減処理のフローチャートを示す図である。 ３×３画素ウインドウにおける注目画素とその周辺画素とを示す図である。 上記ディテイル感向上処理部が有する高周波成分生成処理部での高周波成分生成処理のフローチャートを示す図である。 上記高周波成分生成処理部での高周波成分生成処理を説明するための図である。 上記ディテイル感向上処理部が有する混合処理部が実行する混合処理のフローチャートを示す図である。 ダイナミックレンジRangeをアドレスとする重み係数テーブルenhanceWeight及びnoiseWeightの例を示す図である。 本発明の他の実施の形態のディテイル感向上処理部の構成を示すブロック図である。 上記他の実施の形態のディテイル感向上処理部が有する第２ノイズ低減処理部でのノイズ低減処理のフローチャートを示す図である。 本発明の別の実施の形態のディテイル感向上処理部の構成を示すブロック図である。 上記別の実施の形態のディテイル感向上処理部が有する高周波処理生成部での処理のフローチャートを示す図である。 本発明のさらに別の実施の形態のディテイル感向上処理部の構成を示すブロック図である。 本発明の他の実施の形態のモニタの構成を示すブロック図である。 本発明の別の実施の形態のマルチディスプレイを示す図である。 処理対象画像の周囲に負の数の係数を配置したときのフィルタ係数の例と、その周波数応答とを示す図である。

〔実施の形態１〕
本発明の一実施形態を図に基づき以下で具体的に説明する。本実施の形態では、本発明に係る画像表示装置として、テレビ放送受信装置１を例に用いて説明を行う。また、本発明に係る画像処理装置として、テレビ放送受信装置１が有する映像信号処理部４２を例に用いて説明する。なお、以下の実施形態では、映像とは動画像を示すものとする。

（テレビ放送受信装置）
図１は、本実施の形態のテレビ放送受信装置（画像表示装置）１の構成を示すブロック図である。テレビ放送受信装置１は、図１に示すように、インターフェース２、チューナー３、制御部４、電源ユニット５、表示部６、音声出力部７、及び、操作部８を備える。

インターフェース２は、ＴＶアンテナ２５、ＴＭＤＳ（Transition Minimized Differential Signaling）方式でシリアル通信するためのＤＶＩ（Digital Visual Interface）端子２２及びＨＤＭＩ（High - Definition multimedia Interface、登録商標）端子２３、ＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）等の通信プロトコルで通信するためのＬＡＮ端子２４、を備える。インターフェース２は、統括制御部４１からの指示に従って、ＤＶＩ端子２２、ＨＤＭＩ端子２３またはＬＡＮ端子２４に接続された外部の機器との間でデータを送受信する。

チューナー３は、ＴＶアンテナ２５と接続されており、ＴＶアンテナ２５が受信する放送信号がチューナー３に入力される。放送信号には、映像データ、音声データ等が含まれる。本実施の形態では、チューナー３は、地上波デジタルチューナー３１及びＢＳ／ＣＳデジタルチューナー３２を備えているが、これらに限定されない。

制御部４は、テレビ放送受信装置１が有する各ブロックを統括的に制御する統括制御部４１、映像信号処理部（画像処理装置）４２、音声信号処理部４３、及びパネルコントローラ４４を備える。

映像信号処理部４２は、インターフェース９を介して入力される映像データに所定の処理を施し、表示部６にて表示するための映像データ（映像信号）を生成する。

音声信号処理部４３は、インターフェース９を介して入力される音声データに所定の処理を施し音声信号を生成する。

パネルコントローラ４４は、表示部６を制御して、映像信号処理部４２が出力する映像データの映像を表示部６に表示する。

電源ユニット５は、外部から供給される電力を制御する。統括制御部４１は、操作部８が有する電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビ放送受信装置１に供給される電力が遮断される。

表示部６は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、映像信号処理部４２が出力する映像データの映像を表示する。

音声出力部７は、音声信号処理部４３で生成された音声信号を統括制御部４１の指示の下で出力する。

操作部８は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビ放送受信装置１の電源のオンとオフの切り替えを指示する操作指示を入力するためのスイッチである。切替スイッチは、テレビ放送受信装置１で受信する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部８は、電源スイッチ及び切替スイッチが押下されることに応じて、各スイッチに対応する操作指示を統括制御部４１に出力する。

なお、テレビ放送受信装置１と無線で通信することが可能なリモートコントローラに操作部８を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置１に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置１と通信する通信媒体は、有線でも無線でもよい。

（映像信号処理部）
図２は、映像信号処理部４２の構成を示すブロック図である。図２に示すように、映像信号処理部４２は、デコーダ１０、ＩＰ変換処理部１１、第１ノイズ低減処理部１２、ディテイル感向上処理部（ディテイル処理部）１３、スケーラ処理部１４、シャープネス処理部１５、及びカラー調整処理部１６、を備えている。なお、本実施の形態では、映像信号処理部４２の各処理部は、ＲＧＢ信号を処理するものとして説明するが、輝度信号を処理する構成であってもよい。

デコーダ１０は、圧縮された映像ストリームを復号して映像データを生成し、ＩＰ変換処理部１１に出力する。ＩＰ変換処理部１１は、必要に応じて、デコーダ１０から入力される映像データをインターレース方式からプログレッシブ方式に変換する。第１ノイズ低減処理部１２は、ＩＰ変換処理部１１が出力する映像データに含まれるセンサノイズや圧縮する際に生じた圧縮アーティファクツを低減（抑制）するための各種のノイズ低減処理を実行する。

ディテイル感向上処理部１３は、第１ノイズ低減処理部１２が出力する映像データに対して、拡大処理後にも精細感をもたらすためのディテイル感向上処理を施す。スケーラ処理部１４は、ディテイル感向上処理部１３が出力する映像データに対して、表示部６の画素数に応じたスケーリング処理（拡大処理）を実行する。シャープネス処理部１５は、スケーラ処理部１４が出力する映像データの映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部１６は、シャープネス処理部１５が出力する映像データに対して、コントラストや彩度等を調整するカラー調整処理を実行する。

なお、映像信号処理部４２は、図示しない記憶部に、映像信号処理部４２の各ブロックにより各種の処理が実行される際の映像データを適宣記憶させる。

ここで、映像データを構成する画像データはフレーム単位で構成されており、フレーム単位の画像をフレーム画像と称する。よって、映像は複数のフレーム画像から構成されている。本明細書では、フレーム画像を単にフレームと称する場合もある。

（ディテイル感向上処理部）
図３は、ディテイル感向上処理部１３の詳細な構成を示すブロック図である。ディテイル感向上処理部１３は、位置合わせ処理部（位置合わせ部）１７、第２ノイズ低減処理部（ノイズ低減部）１８、最大値・最小値算出処理部（最大値・最小値算出部）１９、高周波成分生成処理部（高周波成分生成部）２０、及び混合処理部（混合部）２１を備える。

位置合わせ処理部１７は、フレーム間の画素の位置合わせを行う位置合わせ処理を実行する。具体的には、位置合わせ処理部１７は、各入力画素について、処理対象フレーム（対象フレーム画像）Ｎとその前フレーム（隣接フレーム画像）Ｎ−１との間で、差分絶対値総和ＳＡＤ（Sum of Absolute Difference）が最小となる前フレームＮ−１の画素位置を探索する。差分絶対値総和ＳＡＤは、差分絶対値総和ＳＡＤの算出対象画素を中心とするＰ×Ｑ画素ウインドウにおける画素の差分絶対値総和を算出する。処理対象フレームＮの画素座標位置を（y_n,x_n）、その前フレームＮ−１の画素位置を（y_n-1,x_n-1）とすると、両者の差分絶対値総和ＳＡＤは、下記式（１）の通り算出することができる。

差分絶対値総和ＳＡＤが最小となる画素位置の探索範囲をＩ×Ｊとしたとき、画素位置（y,x）における処理対象フレームＮとその前フレームＮ−１との間の最小差分絶対値総和minSAD_N-1（y,x）は、下記式（２）の通り算出することができる。

また、上記式（２）を満たす座標（y+i,x+j）を、差分絶対値総和が最小となる座標（motY_N-1, motX_N-1）として求める。

同様にして、画素位置（y,x）における処理対象フレームＮとその後フレーム（隣接フレーム画像）Ｎ＋１との間の最小差分絶対値総和minSAD_N+1（y,x）は、下記式（３）の通り算出することができる。

また、上記式（３）を満たす座標（y+i,x+j）を、差分絶対値総和が最小となる座標（motY_N+1, motX_N+1）として求める。

図４は、位置合わせ処理の例を示す図である。差分絶対値総和ＳＡＤの算出ウインドウサイズＰ×Ｑを５×５とし、画素位置の探索範囲をＩ×Ｊを３×３としたときの、処理対象フレームＮとその前フレームＮ−１との間の差分絶対値総和ＳＡＤの算出方法を説明する図を示す。処理対象フレームＮにおいてIN_N（y,x）を中心とする５×５画素に対して、差分絶対値総和ＳＡＤが最小となる前フレームＮ−１の画素位置を３×３からなる探索範囲、すなわち、（y-1,x-1）、（y-1,x）、（y-1,x+1）、（y,x-1）、（y,x）、（y,x+1）、（y+1,x-1）、（y+1,x）、（y+1,x+1）の計９つの画素の中から探索する。図４の（ａ）は、処理対象フレームＮにおいてIN_N（y,x）を中心とする５×５画素を示し、図４（ｂ）は、前フレームＮ−１においてIN_N-1（y-1,x-1）を中心とする画素、さらにその周辺画素を示している。

第２ノイズ低減処理部１８は、位置合わせされたフレームを用いてフレーム間相関の小さい（低い）微小振幅（ノイズとみなせる振幅）をノイズとして低減するノイズ低減処理を行う。具体的には、第２ノイズ低減処理部１８は、位置合わせ処理部１７において算出された最小差分絶対値総和minSAD_N-1（y,x）、minSAD_N+1（y,x）、及び、差分絶対値総和が最小となる座標（motY_N-1, motX_N-1）、（motY_N+1, motX_N+1）を用いて、時間軸方向にフィルタ処理を行う。以上のように、位置合わせ処理部１７にて複数枚のフレーム間の位置合わせを行った後に、第２ノイズ低減処理部１８にて、フィルタ処理を行うことにより、フレーム間相関の小さい微小振幅をノイズとして低減することができる。

図５は、第２ノイズ低減処理部１８でのノイズ低減処理のフローチャートを示す図である。まず、第２ノイズ低減処理部１８は、最小差分絶対値総和minSAD_N-1（y,x）、minSAD_N+1（y,x）を用いて、時間軸方向にフィルタ処理を行うための重み係数を算出する（ステップ１、以降ではＳ１のように省略する）。前フレームＮ−１における重み係数は、処理対象フレームＮとその前フレームＮ−１との間の差分絶対値総和ＳＡＤの最小値minSAD_N-1（y,x）が大きいほど重み係数が小さくなるように算出する。例えば、前フレームＮ−１の重み係数は、下記式（４）にて算出することができる。なお、差分絶対値総和ＳＡＤの最小値が大きいほど、両フレームの差異が大きい、すなわち、フレーム間の相関が小さい。

上記式（４）では、minSAD_N-1（y,x）が閾値TH_SAD_UPLIMIT（例えば、２０４８）より小さいとき、minSAD_N-1（y,x）をWNR_NORM（例えば、２５６）で正規化して得られる値を関数ｆ（ｘ）＝１／（１＋ｘ）に適用して得られる値に、所定重み係数TH_WNR_RATIO_N-1（例えば１．０）を乗算して、重み係数wNR_N-1を得る。一方、minSAD_N-1（y,x）が閾値TH_SAD_UPLIMIT以上のときは、重み係数TH_WEIGHT_INIT（例えば０）を用いる。

処理対象フレームＮについては、下記式（５）の通り、所定の重み係数TH_WNR_RATIO_N（例えば１．０）をそのまま重み係数wNR_Nとして用いるものとする。

後フレームＮ＋１の重み係数は、前フレームＮ−１の重み係数と同様にして、処理対象フレームＮとその後フレームＮ＋１との間の差分絶対値総和ＳＡＤの最小値minSAD_N+1（y,x）を用いて、下記式（６）にて算出することができる。

次に、第２ノイズ低減処理部１８は、各フレームについて求められた重み係数を用いて、処理対象フレームＮにおける画素の座標（y,x）における画素値IN_N（y,x）と、位置合わせされた、前フレームＮ−１における画素値IN_N-1（motY_N-1,motX_N-1）及び後フレームＮ＋１における画素値IN_N+1（motY_N+1,motX_N+1）とを混合することにより、ノイズ低減処理結果（ノイズ低減画像）NR_N（y,x）を算出する時間軸フィルタ処理を実行する（Ｓ２）。ノイズ低減処理結果NR_N（y,x）の算出は、下記式（７）の通りである。

最大値・最小値算出処理部１９は、フレームにおける各画素（入力画素）について、注目画素を中心とするｍ×ｎ（例えば、３×３）画素ウインドウ（第１ブロック）における画素値（画素濃度値）の最大値及び最小値を算出する処理を行う。図６は、一例として、ｍ＝ｎ＝３の場合の注目画素とその周辺画素とを示す図である。注目画素を中心とするｍ×ｎ画素ウインドウにおける最大値maxVal_Nは、周辺画素を参照して下記式（８）の通り算出される。

ここで、IN（y,x）は、入力画像（入力画像データ）の座標（y, x）における画素の画素値（本実施の形態では、濃度値）を表す。なお、画素値は、入力画像が、例えば、８ビットで表される場合、０〜２５５で表される値である。同様にして、注目画素を中心とするｍ×ｎ画素ウインドウにおける最小値minVal_Nは、周辺画素を参照して下記式（９）の通り算出される。

高周波成分生成処理部２０は、入力画像と最大値・最小値算出処理部１９にて算出されたｍ×ｎウインドウ内の最大値及び最小値とを用いて高周波成分を生成する高周波成分生成処理を行う。図７は、高周波成分生成処理のフローチャートを示す図である。まず、高周波成分生成処理部２０は、入力画像の画素値（入力画素値）とｍ×ｎウインドウ内最大値との差分絶対値diffMaxを、下記式（１０）の通り算出する（Ｓ３）。

ただし、｜・｜は絶対値演算を意味する。

同様にして、差分絶対値diffMinを下記式（１１）の通り算出する（Ｓ４）。

次に、高周波成分生成処理部２０は、最大値との差分絶対値diffMaxと、最小値との差分絶対値diffMinに所定係数（定数）TH_RANGE（例えば、１．５）を乗算した結果とを、比較する（Ｓ５）。最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinとTH_RANGEとの乗算結果よりも大きければ（Ｓ５にてＹＥＳ）、高周波成分Enhを下記式（１２）の通り算出する（Ｓ６）。

他方、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinとTH_RANGEとの乗算結果以下であると（Ｓ５にてＮＯ）、最小値との差分絶対値diffMinと、最大値との差分絶対値diffMaxに所定係数（定数）TH_RANGE（例えば、１．５）を乗算した結果とを、比較する（Ｓ７）。最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxとTH_RANGEとの乗算結果よりも大きければ（Ｓ７にてＹＥＳ）、高周波成分Enhを下記式（１３）の通り算出する（Ｓ８）。

他方、最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxとTH_RANGEとの乗算結果以下であると（Ｓ７にてＮＯ）、下記式（１４）のように高周波成分Enhを０とする（Ｓ９）。

図８は、高周波成分生成処理を説明するための図である。図８の（ａ）は、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinとTH_RANGEとの乗算結果より大きい場合の、入力画素値、ｍ×ｎウインドウ内の最大値maxVal_N、ｍ×ｎウインドウ内最小値minVal_N、最大値との差分絶対値diffMax、最小値との差分絶対値diffMin、及び高周波成分Enhの関係を示している。同様にして、図８の（ｂ）は、最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxとTH_RANGEとの乗算結果より大きい場合の、入力画素値、ｍ×ｎウインドウ内最大値maxVal_N、ｍ×ｎウインドウ内最小値minVal_N、最大値との差分絶対値diffMax、最小値との差分絶対値diffMin、及び高周波成分Enhの関係を示している。

図８の（ａ）の場合、最小値に近い値を有する入力画素値から最大値との差分絶対値diffMaxを減算することにより高周波成分が生成され、ダイナミックレンジを広げることができるので、エッジ勾配が急になり、ディテイル感を向上させることができる。図８の（ｂ）の場合、最大値に近い値を有する入力画素値に最小値との差分絶対値diffMinを加算することにより高周波成分が生成され、ダイナミックレンジを広げることができるので、エッジ勾配が急になり、ディテイル感を向上させることができる。

他方、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinとTH_RANGEとの乗算結果以下の場合、かつ、最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxとTH_RANGEとの乗算結果以下の場合は、入力画像の画素値が最小値と最大値との中間付近の値を有している。そのため、この中間付近の値の入力画像を何れかの方向に強調してしまうと、画素値が最小値付近の画素値と最大値付近の画素値とに２極化し、精細感が損なわれてしまう。よって、精細感が損なわれてしまうのを防ぐため高周波成分Enhを０にする。

混合処理部２１は、入力画像、第２ノイズ低減処理部１８にて生成されたノイズ低減処理結果、及び高周波成分生成処理部２０にて生成された高周波成分を混合して、ディテイル感を向上させる混合処理を行う。

図９は、混合処理のフローチャートを示す図である。まず、混合処理部２１は、注目画素を中心とするＫ×Ｌ（例えば５×５）画素ウインドウ（第２ブロック）における最大値と最小値との差分値であるダイナミックレンジRangeを下記式（１５）の通り算出する（Ｓ１０）。

次に、混合処理部２１は、ダイナミックレンジRangeをアドレスとして重み係数テーブル（第１の重み係数）enhanceWeightを参照し、その返り値（enhanceWeight［Range］）と高周波成分生成処理部２０にて算出された高周波成分Enhとの乗算結果を、強調量wEnhとして算出する（Ｓ１１）。

そして、高周波成分を混合することによりノイズが強調されることを避けるために、入力画像とノイズ低減処理結果との差分値を用いて、ノイズによるペナルティ量（ノイズペナルティー、調整量）Reductionを算出する（Ｓ１２）。ペナルティ量Reductionは、処理対象フレームＮにおける入力画素値IN_N（y,x）とノイズ低減処理結果NR_N（y,x）との差分絶対値に、ダイナミックレンジRangeをアドレスとして重み係数テーブル（第２の重み係数）noiseWeightを参照し、その返り値（weightLUT［range］）を乗算して算出する。

最後に、混合処理部２１は、下記式（１７）の通り、強調量wEnhの符号を考慮してペナルティ量Reductionを加減算して、ノイズ低減処理結果NR_N（y,x）に加算することにより、最終処理結果（出力フレーム画像）Resultを算出する混合演算処理を行う（Ｓ１３）。

なお、上記式（１７）において、ノイズ低減処理結果NR_N（y,x）に加算する代わりに入力画素値IN_N（y,x）に加算してもよいし、ノイズ低減処理結果NR_N（y,x）と入力画素値IN_N（y,x）とを所定比率で混合したものに加算しても構わない。

図１０の（ａ）及び（ｂ）は、それぞれ、ダイナミックレンジRangeをアドレスとする重み係数テーブルenhanceWeight及びnoiseWeightの一例を示す図である。これらは、図示しない記憶部に格納される。enhanceWeightを図１０の（ａ）の通りに設定し、生成した高周波成分を加算することでノイズが目立ってしまうダイナミックレンジの極端に小さい画像領域を除いた、比較的ダイナミックレンジが狭い画像領域に対して重み係数が大きくなるようにすることで、高いディテイル感の向上効果を得ることができる。更に、ダイナミックレンジの広い画像領域に対して重み係数を小さくすることで、オーバーシュートやアンダーシュートを発生させることなくディテイル感のみを向上させることができる。また、noiseWeightを図１０の（ｂ）の通りに設定することで、ノイズが目立ってしまうダイナミックレンジの小さい画像領域においてフレーム間相関の小さい微小振幅がある場合、ペナルティ量を大きくすることにより、ノイズが強調されることを抑制することができる。

以上の処理により、効果的に高周波成分を作成することができ、ノイズ成分を強調することなくディテイル感を向上させることができる。なお、以上の処理は、入力画素すべてについて行われる。

ここで、スケーラ処理部１４による拡大処理前に輪郭強調処理を行うと、強調された輪郭線分がそのまま拡大される。その結果、拡大後の輪郭線分が太く見え、自然画像では不自然に見えてしまうという問題がある。一方、精細感を与えるディテイル成分については、拡大処理前に精細感を強めておかないと、拡大処理の補間演算で精細感の元となる高周波成分が失われてしまい、拡大処理後に高周波成分を強調してディテイル感を向上させることが難しくなる。そこで、本実施の形態では、拡大処理における補間演算によって高周波成分が損なわれる前に、ディテイル感向上処理を行ってディテイル感を向上しておき、拡大処理後にシャープネス処理を行うことにより、輪郭を太らせることなく鮮鋭度を向上させながら精細感を向上させることができる。

〔実施の形態２〕
本実施の形態の映像信号処理部及びテレビ放送受信装置は、図３に示す実施の形態１の映像信号処理部４２のディテイル感向上処理部１３が、図１１に示すディテイル感向上処理部（ディテイル処理部）１３ａに置き換わったものである。本実施の形態の映像信号処理部及びテレビ放送受信装置において、ディテイル感向上処理部１３ａ以外の構成は、実施の形態１の映像信号処理部４２及びテレビ放送受信装置１と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した構成及び処理については説明を省略する。

図１１に示すように、ディテイル感向上処理部１３ａは、位置合わせ処理部１７ａ、第２ノイズ低減処理部１８ａ、最大値・最小値算出処理部１９、高周波成分生成処理部２０、混合処理部２１にて構成される。ディテイル感向上処理部１３ａは、前フレームＮ−１における画素値として、前フレームＮ−１の入力画素値IN_N-1を用いる代わりに前フレームＮ−１におけるノイズ低減処理結果の画素値NR_N-1を用いる点で、実施の形態１で図３を用いて説明したディテイル感向上処理部１３と異なる。

位置合わせ処理部１７ａは、各入力画素について、前フレームＮ−１の入力画素値IN_N-1の代わりに前フレームＮ−１におけるノイズ低減処理結果NR_N-1を用いて、処理対象フレームＮとその前フレームＮ−１との間で、差分絶対値総和ＳＡＤが最小となる前フレームＮ−１の画素位置を探索する。差分絶対値総和ＳＡＤが最小となる画素位置の探索範囲をＩ×Ｊとしたとき、画素位置（y,x）における処理対象フレームＮとその前フレームＮ−１との間の最小差分絶対値総和minSAD_N-1（y,x）は、下記式（１８）の通り算出することができる。

また、上記式（１８）を満たす座標（y+i、x+j）を、差分絶対値総和が最小となる座標（motY_N-1, motX_N-1）として求める。一方、画素位置（y,x）における処理対象フレームＮとその後フレームＮ＋１との間の最小差分絶対値総和minSAD_N+1（y,x）、および、差分絶対値総和が最小となる座標（motY_N+1, motX_N+1）は、実施の形態１での算出と同じ方法で算出することができる。

第２ノイズ低減処理部１８ａは、実施の形態１の第２ノイズ低減処理部１８と同様に、位置合わせ処理部１７において算出された、処理対象フレームＮとその前フレームＮ−１との間の最小差分絶対値総和minSAD_N-1（y,x）、処理対象フレームＮとその後フレームＮ＋１との間の最小差分絶対値総和minSAD_N+1（y,x）、及び、差分絶対値総和が最小となる座標（motY_N-1, motX_N-1）、（motY_N+1, motX_N+1）を用いて、時間軸方向にフィルタ処理を行う。このように、位置合わせ処理部１７にて複数枚フレーム間の位置合わせを行った後に、第２ノイズ低減処理部１８にて、フィルタ処理を行うことにより、フレーム間相関の小さい微小振幅をノイズとして低減することができる。

図１２は、本実施の形態の第２ノイズ低減処理部１８ａでのノイズ低減処理のフローチャートを示す図である。履歴情報による重み係数更新処理を含む点で、実施の形態１にて図５を用いて説明したノイズ低減処理と異なる。まず、第２ノイズ低減処理部１８ａは、図５を用いて説明した処理と同様にして、最小差分絶対値総和minSAD_N-1（y,x）、minSAD_N+1（y,x）、を用いて、時間軸方向に画素値を足し合わせるための重み係数wNR_N-1、wNR_N、wNR_N+1を算出する（Ｓ１）。

次に、直前フレームまでの処理履歴情報を用いて、前フレームＮ−１の重み係数wNR_N-1を更新する（Ｓ２１）。最初に処理履歴情報controlNRは所定閾値TH_CONTROL_INIT（例えば１．０）に初期化されているものとし、下記式（１９）に示すように、最小差分絶対値総和minSAD_N-1（y,x）が、所定閾値TH_SAD_ACCEPT（例えば、４００）より小さければ、最小差分絶対値総和minSAD_N-1（y,x）の値に応じてcontrolNRの値が大きくなるよう更新する。逆に、最小差分絶対値総和minSAD_N-1（y,x）がTH_SAD_ACCEPT以上であれば、座標（y,x）において処理対象フレームＮと前フレームＮ−１との間に相関が無くなったものと判定し、処理履歴情報controlNR（y,x）の値をTH_CONTROL_INITにリセットする。例えば、重み係数算出処理で算出された各フレームに対する重み係数の総和と、前フレームＮ−１における重み係数との比に所定係数TH_RATIO_UPDATE（例えば、１．０）を乗算した値を履歴情報controlNRに加算して更新する。

下記式（２０）に示す通り、前フレームＮ−１の重み係数wNR_N-1に更新された履歴情報controlNR（y,x）を乗算することにより、直前フレームまでの処理履歴情報を用いて、前フレームＮ−１の重み係数wNR_N-1を更新する。

最後に、第２ノイズ低減処理部１８ａは、各フレームについて求められた重み係数を用いて、処理対象フレームＮにおける座標（y,x）における画素値IN_N（y,x）と位置合わせされた、前フレームＮ−１における画素値NR_N-1（motY_N-1,motX_N-1）、及び後フレームＮ＋１における画素値IN_N+1（motY_N+1,motX_N+1）を混合することにより、ノイズ低減処理結果NR_N（y,x）を算出する時間軸フィルタ処理を実行する（Ｓ２）。ノイズ低減処理結果NR_N（y,x）の算出は、下記式（２１）の通りである。

最大値・最小値算出処理部１９は、実施の形態１にて説明した処理と同様に、各入力画素について注目画素を中心とするｍ×ｎ（例えば、３×３）画素ウインドウにおける最大値、及び最小値を算出する。高周波成分生成処理部２０についても、実施の形態１にて説明した処理と同様に、入力画像、最大値・最小値算出処理部１９にて算出されたｍ×ｎウインドウ内の最大値、及び最小値を用いて高周波成分を生成する。混合処理部２１についても、実施の形態１にて説明した処理と同様に、入力画像、第２ノイズ低減処理部１８ａにて生成されたノイズ低減処理結果、及び、高周波成分生成処理部２０にて生成された高周波成分を混合し、ディテイル感を向上させる。

以上の処理により、本実施の形態のディテイル感向上処理は、実施の形態１のディテイル感向上処理と比べて、処理対象フレームＮの前フレームにおけるノイズ低減処理結果を反映することができるので、ノイズ低減の性能をより向上することができる。

〔実施の形態３〕
本実施の形態の映像信号処理部及びテレビ放送受信装置は、図３に示す実施の形態１の映像信号処理部４２のディテイル感向上処理部１３が、図１３に示すディテイル感向上処理部（ディテイル処理部）１３ｂに置き換わったものである。本実施の形態の映像信号処理部及びテレビ放送受信装置において、ディテイル感向上処理部１３ｂ以外の構成は、実施の形態１の映像信号処理部４２及びテレビ放送受信装置１と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した構成及び処理については説明を省略する。

図１３に示すように、ディテイル感向上処理部１３ｂは、位置合わせ処理部１７、第２ノイズ低減処理部１８、最大値・最小値算出処理部１９Ａ、高周波成分生成処理部２０ｂ、及び、混合処理部２１ｂを備える。ディテイル感向上処理部１３ｂは、処理対象フレームＮだけでなく、位置合わせされた前フレームＮ−１、及び、後フレームＮ＋１におけるｍ×ｎウインドウ内の最大値及び最小値を用いて高周波成分を生成する点で図３を用いて説明したディテイル感向上処理部１３と異なる。

位置合わせ処理部１７は、実施の形態１で説明した処理と同様に、各入力画素について、処理対象フレームＮとその前フレームＮ−１との間で、差分絶対値総和ＳＡＤの最小値と差分絶対値総和ＳＡＤが最小となる画素位置を算出する。また、処理対象フレームＮとその後フレームＮ＋１との間で、差分絶対値総和ＳＡＤの最小値と差分絶対値総和ＳＡＤが最小となる画素位置を算出する。

第２ノイズ低減処理部１８は、実施の形態１で説明した処理と同様に、位置合わせ処理部１７において算出された、処理対象フレームＮとその前フレームＮ−１との間の最小差分絶対値総和minSAD_N-1（y,x）、処理対象フレームＮとその後フレームＮ＋１との間のminSAD_N+1（y,x）、及び、差分絶対値総和が最小となる座標（motY_N-1, motX_N-1）、（motY_N+1, motX_N+1）を用いて、時間軸方向に足し合わせることにより、フレーム間相関の小さい微小振幅をノイズとして低減する。このように、位置合わせ処理部１７にて複数枚フレーム間の位置合わせを行った後に、第２ノイズ低減処理部１８にて、時間軸フィルタ処理を行うことにより、フレーム間相関の小さい微小振幅をノイズとして低減することができる。

最大値・最小値算出処理部１９Ａは、処理対象フレームＮの各画素、位置合わせされた、前フレームＮ−１および後フレームＮ＋１の各画素について、注目画素とその周辺画素とを含む第１ブロック内の画素値の最大値及び最小値を算出するブロックである。最大値・最小値算出処理部１９Ａは、処理対象フレームＮの注目画素を中心とするｍ×ｎ画素ウインドウにおける最大値及び最小値を算出する第１最大値・最小値算出処理部１９ａ、処理対象フレームＮに合わせて位置合わせされた前フレームＮ−１の注目画素を中心とするｍ×ｎ画素ウインドウにおける最大値及び最小値を算出する第２最大値・最小値算出処理部１９ｂ、および、処理対象フレームＮに合わせて位置合わせされた後フレームＮ＋１の注目画素を中心とするｍ×ｎ画素ウインドウにおける最大値及び最小値を算出する第３最大値・最小値算出処理部１９ｃを備える。

第１最大値・最小値算出処理部１９ａは、図３を用いて説明した最大値・最小値算出処理部１９と同様に、処理対象フレームＮにおける各入力画素について、注目画素を中心とするｍ×ｎ（例えば３×３）画素ウインドウにおける最大値、及び最小値を算出する。

第２最大値・最小値算出処理部１９ｂは、下記式（２２）の通り、差分絶対値総和が最小となる座標（motY_N-1, motX_N-1）を用いて位置合わせされた前フレームＮ−１における各入力画素について、注目画素を中心とするｍ×ｎ（例えば、３×３）画素ウインドウにおける最大値maxVal_N-1を算出する。

同様にして、注目画素を中心とするｍ×ｎ画素ウインドウにおける最小値minVal_N-1を、下記式（２３）の通り算出する。

第３最大値・最小値算出処理部１９ｃは、下記式（２４）の通り、差分絶対値総和が最小となる座標（motY_N+1, motX_N+1）を用いて位置合わせされた後フレームＮ＋１における各入力画素について、注目画素を中心とするｍ×ｎ（例えば、３×３）画素ウインドウにおける最大値maxVal_N+1を算出する。

同様にして、注目画素を中心とするｍ×ｎ画素ウインドウにおける最小値minVal_N+1を、下記式（２５）の通り算出する。

高周波成分生成処理部２０ｂは、入力画像、第１、第２、及び第３最大値・最小値算出処理部１９ａ，１９ｂ，１９ｃにて算出された各フレームにおけるｍ×ｎウインドウ内の最大値及び最小値を用いて高周波成分を生成する。高周波成分生成処理部２０ｂは、図１４に示すフローチャートに従って各フレームにおける高周波成分（第１高周波成分）を生成する。

まず、各フレームについて高周波成分を算出する（Ｓ３１）。処理対象フレームＮにおける高周波成分Enh_Nは、それぞれ、diffMaxとしてdiffMax_Nを、diffMinとしてdiffMin_Nを用いて、図７に示すフローチャートに従って算出することができる。最大値との差分絶対値diffMaxと、最小値との差分絶対値diffMinに所定係数TH_RANGE（例えば、１．５）を乗算した結果と、を比較し、最大値との差分絶対値diffMaxが、最小値との差分絶対値diffMinとTH_RANGEとの乗算結果よりも大きければ、高周波成分Enhを下記式（２６）の通り算出する。

一方、最大値との差分絶対値diffMaxが、差分絶対値diffMinとTH_RANGEとの乗算結果以下のとき、最小値との差分絶対値diffMinと、最大値との差分絶対値diffMaxに所定係数TH_RANGE（例えば、１．５）を乗算した結果と、を比較する。最小値との差分絶対値diffMinが、最大値との差分絶対値diffMaxとTH_RANGEとの乗算結果よりも大きければ、高周波成分Enhを、下記式（２７）の通り算出する。

一方、最小値との差分絶対値diffMinが、差分絶対値diffMaxとTH_RANGEとの乗算結果以下のとき、下記式（２８）の通り、高周波成分Enhを０とする。

前フレームＮ−１における高周波成分Enh_N-1についても、それぞれ、diffMaxとしてdiffMax_N-1を、diffMinとしてdiffMin_N-1を用いて、図７に示すフローチャートに従って算出する。また、後フレームＮ＋１における高周波成分Enh_N+1についても、それぞれ、diffMaxとしてdiffMax_N+1を、diffMinとしてdiffMin_N+1を用いて、図７に示すフローチャートに従って算出する。

次に、高周波成分生成処理部２０ｂは、各フレームの高周波成分に対する重み係数を算出する（Ｓ３２）。第２ノイズ低減処理部１８と同様にして、最小差分絶対値総和minSAD_N-1（y,x）、minSAD_N+1（y,x）を用いて、時間軸方向に高周波成分を足し合わせるための重み係数を算出する。前フレームＮ−１における重み係数は、処理対象フレームＮとその前フレームＮ−１との間の差分絶対値総和ＳＡＤの最小値minSAD_N-1（y,x）が大きいほど重み係数が小さくなるように算出する。例えば、前フレームＮ−１の重み係数は、下記式（２９）の通り算出する。

上記式（２９）では、minSAD_N-1（y,x）をWENH_NORM（例えば、２５６）で正規化して得られる値を関数ｆ（ｘ）＝１／（１＋ｘ）に適用して得られる値に、所定重み係数TH_WENH_RATIO_N-1（例えば、１．０）を乗算して、重み係数wENH_N-1を得る。処理対象フレームＮについては、下記式（３０）の通り、所定重み係数TH_WENH_RATIO_N（例えば、１．０）を、そのまま重み係数wENH_Nとして用いるものとする。

後フレームＮ＋１の重み係数は、前フレームＮ−１の重み係数と同様にして、処理対象フレームＮとその後フレームＮ＋１との間の差分絶対値総和ＳＡＤの最小値minSAD_N+1（y,x）を用いて、下記式（３１）の通り算出する。

最後に、高周波成分生成処理部２０ｂは、下記式（３２）の通り、各フレームについて求められた重み係数を用いて、各フレームにおける高周波成分と混合することにより、最終的な高周波成分（第２高周波成分）を算出する高周波成分混合処理を行う（Ｓ３３）。

混合処理部２１ｂは、実施の形態１での処理と同様に、入力画像、ノイズ低減処理結果、及び、高周波成分生成処理にて生成された高周波成分を混合する。ただし、図９に示す混合処理のフローチャートにおいて、処理対象フレームＮにおける注目画素を中心とするＫ×Ｌ（例えば、５×５）の画素ウインドウにおける最大値と最小値との差分値であるダイナミックレンジRangeを算出する代わりに、下記式（３３）の通り、処理対象フレームＮ、前フレームＮ−１、後フレームＮ＋１のうち最大となるダイナミックレンジをRangeとして算出する。この点で、図３に示す混合処理部２１と異なる。

以上の処理により、本実施の形態のディテイル感向上処理部１３ｂは、フレーム間相関を考慮して高周波成分を作成することができる。よって、フレーム間で強調量がばらつくことによるチラツキを軽減することができる。

〔実施の形態４〕
本実施の形態の映像信号処理部及びテレビ放送受信装置は、図３に示す実施の形態１の映像信号処理部４２のディテイル感向上処理部１３が、図１５に示すディテイル感向上処理部（ディテイル処理部）１３ｃに置き換わったものである。本実施の形態の映像信号処理部及びテレビ放送受信装置において、ディテイル感向上処理部１３ｃ以外の構成は、実施の形態１の映像信号処理部４２及びテレビ放送受信装置１と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した構成及び処理については説明を省略する。

本実施の形態のディテイル感向上処理部１３ｃは、図１１に示すディテイル感向上処理部１３ａと図１３に示すディテイル感向上処理部１３ｂとを組み合わせた構成である。図１５に示すように、ディテイル感向上処理部１３ｃは、位置合わせ処理部１７ａ、第２ノイズ低減処理部１８ａ、最大値・最小値算出処理部１９Ｂ、高周波成分生成処理部２０ｂ、混合処理部２１ｂを備える。最大値・最小値算出処理部１９Ｂは、第１最大値・最小値算出処理部１９ａ、第２最大値・最小値算出処理部１９ｂ’、第３最大値・最小値算出処理部１９ｃを備える。

ディテイル感向上処理部１３ｃの処理の詳細については、上記したディテイル感向上処理部１３ａ及びディテイル感向上処理部１３ｂの処理の内容と同様である。そのため、説明は省略する。なお、図１５からわかるように、第２最大値・最小値算出処理部１９ｂ’には、前フレームＮ−１における画素値として、第２最大値・最小値算出処理部１９ｂでの前フレームＮ−１の入力画素値IN_N-1の代わりに、前フレームＮ−１におけるノイズ低減処理結果の画素値NR_N-1が入力される。

以上の処理により、本実施の形態のディテイル感向上処理部１３ｃは、処理対象フレームＮの前フレームにおけるノイズ低減処理結果を反映することができる、よって、ノイズ低減性能を向上することができ、かつ、フレーム間相関を考慮して高周波成分を作成することができる。そのため、フレーム間で強調量がばらつくことによるチラツキを軽減することができる。

〔実施の形態５〕
上記の実施の形態１〜４では、本発明に係る画像処理装置を、チューナーを有するテレビ放送受信装置の映像信号処理部に適用した場合を例に説明した。本実施の形態では、本発明に係る画像処理装置を、チューナーを有していないモニタ（インフォメーションディスプレイ）の映像信号処理を実行する処理部に適用した構成について説明する。

図１６は、本実施の形態のモニタ（画像表示装置）１１０の構成を示すブロック図である。なお、実施の形態１〜４にて説明した部材と同じ構成については同じ部材番号を付し説明を省略する。

図１６に示すように、モニタ１１０は、インターフェース２００、制御部４、電源ユニット５、表示部６、音声出力部７、操作部８を備えている。インターフェース２００は、周辺機器と接続するためのものであり、Ｄ−ｓｕｂコネクタ１１１の他に、ＤＶＩ端子２２、ＨＤＭＩ端子２３、及びＬＡＮ端子２４に接続するためのインターフェースを備えるのが一般的である。制御部４は、インターフェース２００を介して入力される映像データに所定の処理を施す映像信号処理部４２、インターフェース２００を介して入力される音声データに所定の処理を施す音声信号処理部４３、機器制御を行う統括制御部４１、及び表示部６の表示を制御するパネルコントローラ４４を備えている。本発明に係る画像処理装置がモニタ１１０の映像信号処理部４２に適用されているため、モニタ１１０において、高品質に映像のディテイル感を向上させる処理を実行することができる。

〔実施の形態６〕
実施の形態１〜５では、本発明に係る画像処理装置を、表示部６を１つ有する、つまり、単体のディスプレイのテレビ放送受信装置１あるいはモニタ１１０、の映像信号処理部に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば図１７に示すように表示部６が垂直方向及び水平方向に複数台配置されたマルチディスプレイ（画像表示装置）１００の映像信号処理を実行する処理部に適用してもよい。この場合は、マルチディスプレイ１００が、本発明に係る画像表示装置である。本発明に係る画像処理装置がマルチディスプレイ１００の映像信号処理を実行する処理部に適用されているため、例えば、マルチディスプレイ１００にＦＨＤ映像を再生するような場合において、高画質に映像のディテイル感を向上させる処理を実行することができる。

〔ソフトウェアによる実現例〕
実施の形態１〜６のテレビ放送受信装置、モニタあるいはマルチディスプレイの制御部（特に映像信号処理部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、テレビ放送受信装置、モニタあるいはマルチディスプレイは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

〔まとめ〕
本発明の態様１に係る画像処理装置（映像信号処理部４２）は、映像を構成するフレーム画像に精細感をもたらすディテイル処理部を備えた画像処理装置であって、上記ディテイル処理部（ディテイル感向上処理部１３）は、対象フレーム画像とその隣接フレーム画像とで各画素間の位置合わせを行う位置合わせ部（位置合わせ処理部１７）と、上記位置合わせされたフレーム画像を用いてフレーム間相関の小さいノイズとみなせる振幅を低減し、上記対象フレーム画像からノイズ低減画像を生成するノイズ低減部（第２ノイズ低減処理部１８）と、上記対象フレーム画像の各画素について、注目画素とその周辺画素とを含む第１ブロック内の画素値の最大値及び最小値を算出する最大値・最小値算出部（最大値・最小値算出処理部１９）と、上記対象フレーム画像の各画素について、注目画素の画素値と当該注目画素について算出された上記最大値及び上記最小値とを基に高周波成分を算出する高周波成分生成部（高周波成分生成処理部２０）と、上記対象フレーム画像と上記ノイズ低減画像と上記高周波成分とを基に出力フレーム画像を生成する混合部（混合処理部２１）と、を備える。

上記構成によると、対象フレーム画像とその隣接フレーム画像とで各画素間の位置合わし、フレーム間相関の小さいノイズとみなせる振幅を低減し、対象フレーム画像からノイズ低減画像を生成する。そして、注目画素を含む複数の画素よりなる第１ブロックの中で画素の画素値の最大値と最小値とを求めて、これらを基に高周波成分を算出する。ここで、ブロックとして小さなサイズを選択すると、小さなサイズで精細感の元となる高周波成分を効果的に算出（生成）することができる。そして、高周波成分と対象フレーム画像と上記ノイズ低減画像とを用いて出力フレーム画像を生成する。

よって、上記構成によると、ノイズ成分を強調することなくディテイル感を向上させることができる。なお、ディテイルであるかノイズであるかの判断は、そのフレーム画像単独の情報だけでは困難である。そのため、上記構成のようにフレーム画像間での比較を行うことが有効な手段の一つである。

また、本発明の態様２に係る画像処理装置では、態様１に係る画像処理装置において、上記ノイズ低減部は、上記隣接フレーム画像の各画素の画素値に対しては、上記対象フレーム画像との相関が小さい程小さい重み係数を、上記対象フレーム画像の各画素の画素値に対しては、予め定められた重み係数を設定し、これらを用いて加重平均を算出して、対象フレーム画像からノイズ低減画像を生成してもよい。

また、本発明の態様３に係る画像処理装置では、態様１または２に係る画像処理装置において、上記高周波成分生成部は、（ａ）注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最大値を減算した値を、当該注目画素の上記高周波成分として、（ｂ）注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最小値を減算した値を、当該注目画素の上記高周波成分として、算出してもよい。

また、本発明の態様４に係る画像処理装置では、態様１から３のいずれか１つに係る画像処理装置において、上記混合部は、上記ノイズ低減画像の各画素の画素値と、上記高周波成分に基づく強調量と、上記対象フレーム画像と上記ノイズ低減画像とに基づく調整量と、を加算することにより、上記出力フレーム画像を生成してもよい。

また、本発明の態様５に係る画像処理装置では、態様４に係る画像処理装置において、上記混合部は、上記対象フレーム画像における注目画素とその周辺画素とを含む第２ブロック内の画素値の最大値と最小値との差に対して決定される第１の重み係数を、上記高周波成分に乗算することで、上記強調量を算出し、上記第２ブロック内の画素値の最大値と最小値との差に対して決定される第２の重み係数を、上記対象フレーム画像の画素値と上記ノイズ低減画像の画素値との差に乗算することで、上記調整量を算出してもよい。

上記構成のように、第２ブロック内の画素値の最大値と最小値との差に対して決定される第１の重み係数を、高周波成分に乗算して求まる強調量と、第２ブロック内の画素値の最大値と最小値との差に対して決定される第２の重み係数を、対象フレーム画像の画素値とノイズ低減画像の画素値との差に乗算することで求まる調整量と、をノイズ低減画像の各画素の画素値に加算することで、出力フレーム画像を生成する。よって、ノイズが目立つダイナミックレンジの極端に小さい画像領域を除いた、比較的ダイナミックレンジが狭い画像領域に対して、高周波成分への重み係数が大きくなるようにすることができる。それとともに、相関の小さい微小振幅（ノイズ）が目立つダイナミックレンジの小さい画像領域における強調処理を抑制することができる。そのため、ノイズ成分を強調することなく、ディテイル感の向上効果を得ることができる。

また、本発明の態様６に係る画像処理装置では、態様１から５のいずれか１つに係る画像処理装置において、上記ノイズ低減部は、上記隣接フレーム画像として、上記対象フレーム画像の１つ前のフレーム画像を上記ノイズ低減部にて処理した結果を用いてもよい。

上記構成によると、対象フレーム画像の１つ前のフレーム画像におけるノイズ低減処理結果を反映することができるので、ノイズ低減処理の性能を向上することができる。なお、実施の形態に記載の通り、履歴情報を用いる方法などが効果的である。

また、本発明の態様７に係る画像処理装置では、態様１に係る画像処理装置において、上記最大値・最小値算出部は、さらに、上記位置合わせされた隣接フレーム画像の各画素について、注目画素とその周辺画素とを含む第１ブロック内の画素値の最大値及び最小値を算出し、上記高周波成分生成部は、さらに、上記位置合わせされた隣接フレーム画像の各画素について、注目画素の画素値と当該注目画素について算出された上記最大値及び上記最小値とを基に高周波成分を算出し、かつ、上記対象フレーム画像の各画素の高周波成分と上記位置合わせされた隣接フレーム画像の各画素の高周波成分とを基に新たな高周波成分を算出し、上記混合部は、上記対象フレーム画像と上記ノイズ低減画像と上記新たな高周波成分とを基に上記出力フレーム画像を生成してもよい。

上記構成によると、フレーム間での強調量の差に起因するチラツキを抑制することが可能となる。また、小さなマスクサイズを用いることで、輪郭の太りを低減しながら、不要な高周波成分を強調することなく効果的に高周波成分を生成できる。よって、ノイズ成分を強調することなくディテイル感を向上させることができる。

また、本発明の態様８に係る画像処理装置では、態様７に係る画像処理装置において、上記高周波成分生成部は、上記対象フレーム画像と上記位置合わせされた隣接フレーム画像とについて、（ａ）注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最大値を減算した値を、当該注目画素の第１高周波成分として、（ｂ）注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最小値を減算した値を、当該注目画素の第１高周波成分として、算出し、上記隣接フレーム画像の各画素について算出した上記第１高周波成分に対しては、上記対象フレーム画像との相関が小さい程小さい重み係数を、上記対象フレーム画像の各画素について算出した上記第１高周波成分に対しては、予め定められた重み係数を設定し、これらを用いて加重平均を算出することで第２高周波成分を生成し、上記混合部は、上記新たな高周波成分として上記第２高周波成分を用いてもよい。

また、本発明の態様９に係る画像処理装置では、態様７または８に係る画像処理装置において、上記混合部は、上記対象フレーム画像及び上記位置合わせされた隣接フレーム画像における、注目画素とその周辺画素とを含む第２ブロック内の画素値の最大値と最小値との差のうちの最大の差である最大差に対して決定される第１の重み係数を、上記第２高周波成分に乗算することで強調量を算出し、上記最大差に対して決定される第２の重み係数を、上記対象フレーム画像と上記ノイズ低減画像との差に乗算することで調整量を算出し、上記ノイズ低減画像の各画素の画素値と上記強調量と上記調整量とを加算することにより、上記出力フレーム画像を生成してもよい。

上記構成によると、フレーム間でのダイナミックレンジの差に起因して、近接するフレーム間で強調量が変化することで発生する、チラツキを抑制することが可能となる。また、小さなマスクサイズを用いることで、効果的に高周波成分を生成することができる。

また、本発明の態様１０に係る画像処理装置は、態様１から９のいずれか１つに係る画像処理装置において、上記ディテイル処理部から出力されるフレーム画像に対して、上記映像を表示させる表示部の画素数に応じたスケーリング処理を施すスケーラ処理部と、上記スケーラ処理部から出力されるフレーム画像に対して輪郭強調処理を施すシャープネス処理部と、を備えてもよい。

上記構成によると、スケーリング処理によって損なわれる前に、ディテイル感を向上しておくことができる。また、スケーリング処理後にシャープネス処理を行うことにより、輪郭を太らせることなく、鮮鋭度を向上させながら精細感を向上することができる。

本発明の態様１１に係る画像表示装置は、態様１から１０の何れか１つの画像処理装置を備える。上記いずれかの態様の画像処理装置を備えているため、ノイズ成分を強調することなくディテイル感を向上させることができる。よって、高品質、高精細の映像を表示することができる。そのため、ユーザに高性能で快適な視認環境を提供することができる。

なお、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は、複数のフレームから構成される映像を処理する画像処理装置等に利用することができる。

１ テレビ放送受信装置（画像表示装置）
４ 制御部
６ 表示部
８ 操作部
１３，１３ａ，１３ｂ，１３ｃ ディテイル感向上処理部（ディテイル処理部）
１７，１７ａ 位置合わせ処理部（位置合わせ部）
１８，１８ａ 第２ノイズ低減処理部（ノイズ低減部）
１９，１９Ａ，１９Ｂ 最大値・最小値算出処理部（最大値・最小値算出部）
１９ａ 第１最大値・最小値算出処理部（最大値・最小値算出部）
１９ｂ，１９ｂ’ 第２最大値・最小値算出処理部（最大値・最小値算出部）
１９ｃ 第３最大値・最小値算出処理部（最大値・最小値算出部）
２０，２０ｂ 高周波成分生成処理部（高周波成分生成部）
２１，２１ｂ 混合処理部（混合部）
４２ 映像信号処理部（画像処理装置）
１００ マルチディスプレイ（画像表示装置）
１１０ モニタ（画像表示装置）

Claims (13)

1. 映像を構成するフレーム画像に精細感をもたらすディテイル処理部を備えた画像処理装置であって、上記ディテイル処理部は、
   対象フレーム画像とその隣接フレーム画像とで各画素間の位置合わせを行う位置合わせ部と、
   上記位置合わせされたフレーム画像を用いてフレーム間相関の小さいノイズとみなせる振幅を低減し、上記対象フレーム画像からノイズ低減画像を生成するノイズ低減部と、
   上記対象フレーム画像の各画素について、注目画素とその周辺画素とを含む第１ブロック内の画素値の最大値及び最小値を算出する最大値・最小値算出部と、
   上記対象フレーム画像の各画素について、注目画素の画素値と当該注目画素について算出された上記最大値及び上記最小値とを基に高周波成分を算出する高周波成分生成部と、
   上記対象フレーム画像と上記ノイズ低減画像と上記高周波成分とを基に出力フレーム画像を生成する混合部と、を備えることを特徴とする画像処理装置。
2. 上記ノイズ低減部は、上記隣接フレーム画像の各画素の画素値に対しては、上記対象フレーム画像との相関が小さい程小さい重み係数を、上記対象フレーム画像の各画素の画素値に対しては、予め定められた重み係数を設定し、これらを用いて加重平均を算出して、対象フレーム画像からノイズ低減画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 上記高周波成分生成部は、
   （ａ）注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最大値を減算した値を、当該注目画素の上記高周波成分として、
   （ｂ）注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最小値を減算した値を、当該注目画素の上記高周波成分として、
   算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 上記混合部は、上記ノイズ低減画像の各画素の画素値と、上記高周波成分に基づく強調量と、上記対象フレーム画像と上記ノイズ低減画像とに基づく調整量と、を加算することにより、上記出力フレーム画像を生成することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 上記混合部は、
   上記対象フレーム画像における注目画素とその周辺画素とを含む第２ブロック内の画素値の最大値と最小値との差に対して決定される第１の重み係数を、上記高周波成分に乗算することで、上記強調量を算出し、
   上記第２ブロック内の画素値の最大値と最小値との差に対して決定される第２の重み係数を、上記対象フレーム画像の画素値と上記ノイズ低減画像の画素値との差に乗算することで、上記調整量を算出することを特徴とする請求項４に記載の画像処理装置。
6. 上記ノイズ低減部は、上記隣接フレーム画像として、上記対象フレーム画像の１つ前のフレーム画像を上記ノイズ低減部にて処理した結果を用いることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 上記最大値・最小値算出部は、さらに、上記位置合わせされた隣接フレーム画像の各画素について、注目画素とその周辺画素とを含む第１ブロック内の画素値の最大値及び最小値を算出し、
   上記高周波成分生成部は、さらに、上記位置合わせされた隣接フレーム画像の各画素について、注目画素の画素値と当該注目画素について算出された上記最大値及び上記最小値とを基に高周波成分を算出し、かつ、上記対象フレーム画像の各画素の高周波成分と上記位置合わせされた隣接フレーム画像の各画素の高周波成分とを基に新たな高周波成分を算出し、
   上記混合部は、上記対象フレーム画像と上記ノイズ低減画像と上記新たな高周波成分とを基に上記出力フレーム画像を生成することを特徴とする請求項１に記載の画像処理装置。
8. 上記高周波成分生成部は、
   上記対象フレーム画像と上記位置合わせされた隣接フレーム画像とについて、（ａ）注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最大値を減算した値を、当該注目画素の第１高周波成分として、（ｂ）注目画素の画素値と当該注目画素について算出された上記最小値との差分絶対値が、当該注目画素の画素値と当該注目画素について算出された上記最大値との差分絶対値に定数を乗算した値よりも大きければ、当該注目画素の画素値から当該注目画素について算出された上記最小値を減算した値を、当該注目画素の第１高周波成分として、算出し、
   上記隣接フレーム画像の各画素について算出した上記第１高周波成分に対しては、上記対象フレーム画像との相関が小さい程小さい重み係数を、上記対象フレーム画像の各画素について算出した上記第１高周波成分に対しては、予め定められた重み係数を設定し、これらを用いて加重平均を算出することで第２高周波成分を生成し、
   上記混合部は、上記新たな高周波成分として上記第２高周波成分を用いることを特徴とする請求項７に記載の画像処理装置。
9. 上記混合部は、
   上記対象フレーム画像及び上記位置合わせされた隣接フレーム画像における、注目画素とその周辺画素とを含む第２ブロック内の画素値の最大値と最小値との差のうちの最大の差である最大差に対して決定される第１の重み係数を、上記第２高周波成分に乗算することで強調量を算出し、
   上記最大差に対して決定される第２の重み係数を、上記対象フレーム画像と上記ノイズ低減画像との差に乗算することで調整量を算出し、
   上記ノイズ低減画像の各画素の画素値と上記強調量と上記調整量とを加算することにより、上記出力フレーム画像を生成することを特徴とする請求項７または８に記載の画像処理装置。
10. 上記ディテイル処理部から出力されるフレーム画像に対して、上記映像を表示させる表示部の画素数に応じたスケーリング処理を施すスケーラ処理部と、
    上記スケーラ処理部から出力されるフレーム画像に対して輪郭強調処理を施すシャープネス処理部と、を備えることを特徴とする請求項１から９の何れか１項に記載の画像処理装置。
11. 請求項１から１０の何れか１項に記載の画像処理装置を備えることを特徴とする画像表示装置。
12. 請求項１から１０の何れか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images