JP2016103095A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】誤補間の発生を抑制し、かつ、画像データ中のジャギーをより好適な態様で低減する。【解決手段】入力画像データ中の各画素を注目画素として、所定のエッジ方向の候補ごとに、注目画素を含む第１のブロック中の画素と、第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、エッジ方向を判定し、当該エッジ方向の信頼度を算出するエッジ方向判定部と、注目画素に対応するエッジ方向及び信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応するエッジ方向及び信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出するフィルタ係数算出部と、注目画素ごとに算出されたフィルタ係数に基づき、入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成するフィルタ処理部と、を備えたことを特徴とする、画像処理装置。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、表示装置に対する高解像度化（即ち、高精細化）の要求はより高くなる傾向にあり、近年では、ＦＨＤ：Full High Definition（１９２０×１０８０）よりもさらに高解像度のＵＨＤ：Ultra High Definition（３８４０×２１６０）の画像の表示を実現可能な表示装置も開発されている。

また、表示装置の高解像度化に伴い、既存の低解像度の画像を、当該高解像度の表示装置に表示させるために、低解像度の画像に対して拡大処理を施すことで、より解像度の高い画像に変換する画像処理装置（所謂、アップスケーラ）も検討されている。

特開２００５−３３２１３０号公報

一方で、低解像度の画像に対して、単純な拡大処理を施すと、斜め方向に向けたエッジにおける所謂ジャギー（即ち、低解像度の画像では表現が困難であった部分）が単純に拡大され、拡大後の画像中に顕在化する場合がある。そのため、低解像度の画像を高解像度の画像に拡大する場合には、単純な拡大処理のみに限らず、例えば、対象となる画像に対して平滑化処理等の画像処理（補間処理）が施される場合がある。

例えば、特許文献１には、対象となる画像に対して画像処理を施すことで、所謂ジャギーを低減する（抑制する）技術が開示されている。特許文献１に係る技術では、画像中の輝度勾配からエッジの方向を検出し、検出されたエッジ方向に沿ってフィルタ処理を施すことで、ジャギーを低減している。

しかしながら、対象となる画像に対して画像処理を施す場合には、当該画像処理において誤補間が発生し、画像処理前の画像中には存在しない虚像（アーティファクト）が、画像処理後の画像中に顕在化する場合がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、誤補間の発生を抑制し、かつ、画像データ中のジャギーをより好適な態様で低減することが可能な画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、入力画像データ中の各画素を注目画素として、あらかじめ決められたエッジ方向の候補ごとに、前記注目画素を含む第１のブロック中の画素と、前記第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出するエッジ方向判定部と、前記注目画素に対応する前記エッジ方向及び前記信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応する前記エッジ方向及び前記信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出するフィルタ係数算出部と、前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成するフィルタ処理部と、を備えたことを特徴とする、画像処理装置が提供される。

前記第１のブロック及び前記第２のブロックは、複数の画素を含むように、前記候補ごとにあらかじめ設定され、前記エッジ方向判定部は、前記第１のブロックと、複数の前記第２のブロックそれぞれとの間で、当該第１のブロック中の画素と、当該画素にあらかじめ関連付けられた前記第２のブロック中の画素との間の画素値の差分を算出し、算出された前記差分に基づき、前記相関値を算出してもよい。

前記エッジ方向判定部は、前記第１のブロックと、複数の前記第２のブロックそれぞれとの間で算出された前記差分の平均に基づき、前記相関値を算出してもよい。

前記エッジ方向判定部は、算出された前記相関値が最小となる前記候補を、前記エッジ方向として判定してもよい。

前記エッジ方向判定部は、前記エッジ方向として判定した前記候補に対応する前記相関値に基づき、前記信頼度を算出してもよい。

前記エッジ方向判定部は、前記注目画素に対応する前記エッジ方向と、当該注目画素を基準とした所定の範囲内に含まれる周辺画素に対応する前記エッジ方向とに応じた第１の重みと、当該注目画素と当該周辺画素との間の距離に応じた第２の重みとに基づき、当該注目画素に対応する前記信頼度を補正してもよい。

前記フィルタ係数算出部は、前記注目画素に対応する前記エッジ方向と、前記タップ画素に対応する前記エッジ方向とに基づき第３の重みを算出し、算出した第３の重みと、当該注目画素に対応する前記信頼度と、当該タップ画素に対応する前記信頼度とに基づき、前記フィルタ係数を算出してもよい。

前記フィルタ係数算出部は、前記注目画素を基準として、互いに異なる方向に位置する第１のタップ画素及び第２のタップ画素それぞれについて、前記第３の重みを算出し、前記第１のタップ画素及び前記第２のタップ画素それぞれに対応する前記第３の重み及び前記信頼度と、前記注目画素に対応する前記信頼度とに基づき、前記フィルタ係数を算出してもよい。

前記フィルタ係数算出部は、前記注目画素に対応する前記信頼度をｒｅｌＴ、前記第１のタップ画素に対応する対応する前記信頼度及び前記第３の重みをｒｅｌＬ及びｗｅｉＬ、前記第２のタップ画素に対応する対応する前記信頼度及び前記第３の重みをｒｅｌＲ及びｗｅｉＲとした場合に、前記フィルタ係数として、第１のフィルタ係数ｂＴ、第２のフィルタ係数ｂＬ、及び第３のフィルタ係数ｂＲを、以下に示す計算式に基づき算出してもよい。

前記フィルタ処理部は、前記注目画素の画素値ＹＴと、前記第１のタップ画素の画素値ＹＬと、前記第２のタップ画素の画素値ＹＲと、前記第１のフィルタ係数ｂＴと、前記第２のフィルタ係数ｂＬと、前記第３のフィルタ係数ｂＲとに基づき、前記注目画素に対応する出力画像データ中の出力画素の画素値Ｙｏｕｔを、以下に示す計算式に基づき算出してもよい。

前記エッジ方向判定部は、前記第１のブロック中の画素の輝度成分と、前記第２のブロック中の画素の輝度成分との間の前記相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出し、前記フィルタ処理部は、前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データの輝度成分に対して、前記フィルタ処理を施してもよい。

前記入力画像データに対して、エッジを強調するためのエッジ強調処理を施す、エッジ強調処理部を備えてもよい。

前記フィルタ処理部は、前記エッジ強調処理部により前記エッジ強調処理が施された前記入力画像データに対して、前記フィルタ処理を施してもよい。

前記エッジ強調処理部は、前記フィルタ処理部により前記フィルタ処理が施された前記入力画像データに対して、前記エッジ強調処理を施してもよい。

前記エッジ強調処理部は、前記入力画像データの輝度成分に対して、前記エッジ強調処理を施してもよい。

第１の解像度の第１の画像データに所定の拡大処理を施すことで、前記第１の解像度よりも高い第２の解像度の第２の画像データに変換し、当該第２の画像データを前記入力画像データとして出力する拡大処理部を備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像データ中の各画素を注目画素として、あらかじめ決められたエッジ方向の候補ごとに、前記注目画素を含む第１のブロック中の画素と、前記第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出することと、前記注目画素に対応する前記エッジ方向及び前記信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応する前記エッジ方向及び前記信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出することと、前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成することと、を含むことを特徴とする、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像データ中の各画素を注目画素として、あらかじめ決められたエッジ方向の候補ごとに、前記注目画素を含む第１のブロック中の画素と、前記第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出することと、前記注目画素に対応する前記エッジ方向及び前記信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応する前記エッジ方向及び前記信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出することと、前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成することと、を実行させることを特徴とする、プログラムが提供される。

以上説明したように本発明によれば、誤補間の発生を抑制し、かつ、画像データ中のジャギーをより好適な態様で低減することが可能な画像処理装置、画像処理方法、及びプログラムが提供される。

本発明の一実施形態に係る画像処理装置の概要について説明するための説明図である。 ジャギーを低減するための画像処理の一例について説明するための説明図である。 ジャギーを低減するための画像処理の一例について説明するための説明図である。 同実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 入力画像データに対する拡大処理の一例について説明するための説明図である。 エッジ方向判定部の機能構成の一例を示したブロック図である。 エッジ方向の候補の一例を示している。 エッジ方向の判定と、エッジ方向の信頼度の算出とに係る処理の詳細について説明するための説明図である。 エッジ方向の候補ごとの注目ブロック及び参照ブロックの設定の一例を示した図である。 注目画素に対応するエッジ方向の信頼度を補正する処理の詳細について説明するための説明図である。 エッジ方向信頼度フィルタの処理に基づく、エッジ方向の差分と、エッジ方向の差分に基づく重みの間の関係の一例を示している。 フィルタ係数を算出するための処理の一例について説明するための説明図である。 フィルタ係数算出部の処理に基づく、エッジ方向の差分と、エッジ方向の差分に基づく重みの間の関係の一例を示している。 エッジ方向の候補ごとのタップ画素の設定の一例を示した図である。 変形例１に係る画像処理装置の機能構成の一例を示したブロック図である。 変形例２に係る画像処理装置の機能構成の一例を示したブロック図である。 変形例２に係る画像処理装置の機能構成の他の一例について示したブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．概要＞
まず、本開示の一実施形態に係る画像処理装置の特徴をよりわかりやすくするために、図１〜図３を参照して、本実施形態に係る画像処理装置の課題について整理する。

例えば、図１は、本実施形態に係る画像処理装置の概要について説明するための説明図である。図１に示すように、本実施形態に係る画像処理装置１０は、例えば、ＦＨＤの入力画像データを受けて、当該入力画像データに対して拡大処理を施すことで、ＵＨＤの出力画像データを生成して出力する。このとき、画像処理装置１０は、入力画像データに対して、所謂バイリニア（Bilinear）法や、バイキュービック（Bicubic）法等の補間処理に基づく拡大処理を施すとともに、所謂ジャギーを低減するための画像処理を施すことで画質を向上させる。

例えば、図２は、ジャギーを低減するための画像処理の一例について説明するための説明図である。図２に示す例では、画像を形成する画素が配列された方向に対して、斜め方向に向けて延伸するようにエッジが表示されている。図２において、入力画像データは、拡大処理が施される前の画像データを示している。また、拡大画像データは、入力画像データに対して、拡大処理が施された後の画像データを示している。また、フィルタ処理後の画像データは、拡大画像データに対して、ジャギーを低減するための画像処理が施された後の画像データを示している。

図２に示すように、入力画像データに対して所謂拡大処理を施すのみでは、斜め方向に向けたエッジにおけるジャギーが単純に拡大され、拡大画像データ中に顕在化する場合がある。そのため、図２に示す例においては、画像処理装置１０は、例えば、参照符号ｖ１１で示したエッジ方向を検出し、検出されたエッジ方向ｖ１１に向けて平滑化処理が施されるように、２次元フィルタの係数を調整することで、ジャギーを低減する補間処理を施している。

一方で、ジャギーを低減するための画像処理（例えば、フィルタ処理）が施されることで、画像処理前の画像データ中には存在しない虚像（アーティファクト）が、画像処理後の画像データ中に顕在化する場合がある。

例えば、図３は、ジャギーを低減するための画像処理の一例について説明するための説明図であり、当該画像処理により、画像処理後の画像データ中にアーティファクトが顕在化した場合の一例を示している。図３に示す例では、画像を形成する画素が配列された方向に対して、斜め方向に向けて、互いに異なる方向に延伸するよう２つのエッジが表示されており、当該２つのエッジは交差している。なお、図３における、入力画像データ、拡大画像データ、及びフィルタ処理後の画像データは、図２に示す例と同様である。

図３に示す例においては、画像処理装置１０は、例えば、参照符号ｖ２１及びｖ２３で示したエッジ方向をそれぞれ検出する。そして、画像処理装置１０は、検出されたエッジ方向ｖ２１及びｖ２３それぞれについて、当該エッジ方向に向けて平滑化処理が施されるように、２次元フィルタの係数を調整することで、ジャギーを低減する補間処理を施している。

このとき、図３に示す例では、複数のエッジが交差する箇所ｖ１３において誤補間が生じ、エッジ方向ｖ２３に向けて延伸するエッジが途切れている。このようなアーティファクトは、周辺画素との間の輝度差がより高い、エッジ方向ｖ２１に向けたエッジに対するフィルタ処理が、エッジ方向ｖ２３に向けたエッジに対するフィルタ処理よりも、より強く作用することで生じている。

本実施形態に係る画像処理装置１０は、上記問題を鑑みてなされたものであり、その目的とするところは、複数のエッジが交差する箇所における誤補間の発生を抑制し、ジャギーを低減するための画像処理を施すことが可能な仕組みを提供することにある。そこで、以降では、本実施形態に係る画像処理装置１０について、さらに詳しく説明する。

＜２．機能構成＞
まず、図４を参照して、本実施形態に係る画像処理装置１０の機能構成の一例について説明する。図４は、本実施形態に係る画像処理装置１０の機能構成の一例を示したブロック図である。

図４に示すように、本実施形態に係る画像処理装置１０は、拡大処理部１１０と、エッジ方向判定部１２０と、フィルタ係数算出部１３０と、フィルタ処理部１４０とを含む。

（拡大処理部１１０）
拡大処理部１１０は、入力画像データに対して、所謂バイリニア（Bilinear）法や、バイキュービック（Bicubic）法等の補間処理に基づく拡大処理を施すことで、当該入力画像データを、より解像度の高い拡大画像データに変換する。

ここで、図５を参照しながら、バイリニア法に基づき入力画像データを拡大する場合における、拡大後の画素値の算出方法の一例について説明する。図５は、拡大処理部１１０による、入力画像データに対する拡大処理の一例について説明するための説明図であり、入力画像データを、４倍の解像度の画像データに拡大する場合の一例について示している。図５において、入力画像データ中における参照符号Ｅで示された画素は、処理対象となる注目画素に相当する。また、入力画像データ中における参照符号Ａ〜Ｄ、Ｆ〜Ｉで示された画素は、周辺画素に相当し、注目画素に対して補間処理を施す際に画素値が参照される。また、拡大画像データ中における参照符号Ｅ１〜Ｅ４で示された画素は、入力画像データ中の注目画素Ｅに対して拡大処理を施した後の画素に相当する。

バイリニア法に基づき入力画像データを拡大する場合には、拡大画像データ中の画素Ｅ１〜Ｅ４それぞれの画素値Ｉ_Ｅ１〜Ｉ_Ｅ４は、入力画像データ中の画素Ａ〜Ｉそれぞれの画素値Ｉ_Ａ〜Ｉ_Ｉと、以下に（式１）として示した計算式とに基づき算出される。

なお、上記に示す例では、入力画像データを４倍の解像度の拡大画像データに拡大する場合を例に説明したが、拡大時の倍率は、４倍には限られないことを言うまでもない。また、入力画像データの解像度を拡大できれば、その方法は、上記に説明した、バイリニア法や、バイキュービック法等の補間処理に基づく拡大処理には限定されない。

以上のようにして、拡大処理部１１０は、入力画像データよりも解像度の高い拡大画像データを生成し、生成した拡大画像データをエッジ方向判定部１２０及びフィルタ処理部１４０に出力する。

（エッジ方向判定部１２０）
次に、エッジ方向判定部１２０について説明する。例えば、図６は、エッジ方向判定部１２０の機能構成の一例を示したブロック図である。図６に示すように、エッジ方向判定部１２０は、エッジ方向信頼度算出部１２１と、エッジ方向信頼度フィルタ１２３とを含む。

（エッジ方向信頼度算出部１２１）
エッジ方向信頼度算出部１２１は、入力として拡大画像データを拡大処理部１１０から取得する。エッジ方向信頼度算出部１２１は、取得した拡大画像データの各画素を逐次注目画素として、注目画素の画素値と、当該注目画素の周辺に位置する周辺画素の画素値とに基づき、当該注目画素を含むエッジのエッジ方向を判定し、当該エッジ方向の信頼度を算出する。以下に、エッジ方向信頼度算出部１２１による処理の内容について、具体的な例を挙げてより詳細に説明する。

エッジ方向信頼度算出部１２１は、あらかじめ決められたエッジ方向の候補の中から、対象となる注目画素を含むエッジのエッジ方向を特定する。例えば、図７は、エッジ方向の候補の一例を示している。図７に示すように、本実施形態に係る画像処理装置１０では、エッジ方向の候補として、９０度〜−７２度の間で１２方向の候補が設定されている。なお、図７に示すエッジ方向の候補はあくまで一例であり、各候補の設定や、当該候補の数が、必ずしも図７に示す例には限定されないことは言うまでもない。

次に、図８及び図９を参照して、エッジ方向信頼度算出部１２１が、対象となる注目画素を含むエッジ方向を判定し、当該エッジ方向の信頼度を算出する処理の詳細について説明する。図８及び図９は、エッジ方向信頼度算出部１２１による、エッジ方向の判定と、当該エッジ方向の信頼度の算出とに係る処理の詳細について説明するための説明図である。

エッジ方向信頼度算出部１２１は、図７に示したエッジ方向の候補それぞれについて、注目画素と、当該候補ごとにあらかじめ決められた周辺画素との、各画素間における画素値の相関値を算出する。例えば、図８は、エッジ方向信頼度算出部１２１が、エッジ方向の候補ごとに当該相関値を算出するための処理の一例について説明するための説明図であり、各候補のうち、６３度の方向を示す候補について相関値を算出する場合の一例について示している。なお、以降の説明では、エッジ方向信頼度算出部１２１による処理の内容をわかりやすくするために、注目画素の座標を（０，０）とし、周辺画素の座標を注目画素に対する相対位置に基づき規定するものとする。また、座標（ｉ，ｊ）の画素の画素値（輝度）を、Ｙ（ｉ，ｊ）と記載する場合がある。具体的な一例として、注目画素（０，０）の画素値は、Ｙ（０，０）となる。

本実施形態に係る画像処理装置１０では、エッジ方向の候補ごとに、注目画素を含む１以上の画素により構成される注目ブロックと、当該注目ブロックの周辺に位置する複数の参照ブロックとがあらかじめ設定されている。図８に示す例では、参照符号ｂ１０が、注目ブロックに相当し、参照符号ｂ１１ａ、ｂ１１ｂ、ｂ１２ａ、及びｂ１２ｂが、参照ブロックに相当する。

なお、注目ブロック及び参照ブロックは、注目画素を基準として、対象となる候補が示すエッジ方向に延伸するエッジ上に位置する画素を含むように、当該候補ごとにあらかじめ設定されている。

例えば、図８に示す例では、注目画素を（０，０）とした場合に、当該注目画素（０，０）を基準として、６３度の方向に延伸するエッジ上に位置する画素を含むように、注目ブロックｂ１０と、参照ブロックｂ１１ａ、ｂ１１ｂ、ｂ１２ａ、及びｂ１２ｂとが設定されている。

具体的には、図８に示す例の場合には、参照符号（１，０）、（２，０）で示された周辺画素は、注目画素（０，０）に対して、６３度の方向に位置している。このとき、参照ブロックｂ１１ａは、当該周辺画素（１、０）を含むように設定されている。同様に、参照ブロックｂ１２ａは、当該周辺画素（２、０）を含むように設定されている。

また、参照符号（−１，０）、（−２，０）で示された周辺画素は、注目画素（０，０）を基準として、周辺画素（１，０）、（２，０）とは逆側に位置している。このとき、参照ブロックｂ１１ｂは、当該周辺画素（−１、０）を含むように設定されている。同様に、参照ブロックｂ１２ｂは、当該周辺画素（−２、０）を含むように設定されている。

また、図８に示す例では、注目ブロックｂ１０は、注目画素（０，０）を基準として、上下方向に１画素分ずつ延伸するように設定されている。即ち、注目ブロックｂ１０は、注目画素（０，０）と、当該注目画素（０，０）の上下に隣接する周辺画素（０，１）及び（０，−１）を含む。同様に、参照ブロックｂ１１ａ及びｂ１２ａは、それぞれ周辺画素（１，０）、（２，０）を基準として、上下方向に１画素分ずつ延伸するように設定されている。また、参照ブロックｂ１１ｂ及びｂ１２ｂは、それぞれ周辺画素（−１，０）、（−２，０）を基準として、上下方向に１画素分ずつ延伸するように設定されている。

なお、以降の説明では、注目ブロックｂ１０を基準として、対象となる候補が示すエッジ方向に沿って一方側に設定された参照ブロックの数を、「ブロック数」と称する場合がある。具体的な一例として、図８に示す例では、注目ブロックｂ１０を基準として、右上方向に参照ブロックｂ１１ａ及びｂ１２ａが存在する。そのため、図８に示す例では、ブロック数＝２となる。

また、注目ブロック及び参照ブロックそれぞれの画素のうち、候補となるエッジ方向に延伸するエッジ上に位置する画素を基準として、上下方向または左右方向に延伸する画素数を、「ブロック長」と称する場合がある。具体的な一例として、図８に示す例では、注目ブロックｂ１０は、注目画素（０，０）を基準として、上下方向に１画素分ずつ延伸するように設定されている。同様に、参照ブロックｂ１１ａは、周辺画素（１，０）を基準として、上下方向に１画素分ずつ延伸するように設定されている。そのため、図８に示す例では、ブロック長＝１となる。

エッジ方向信頼度算出部１２１は、エッジ方向の候補ごとにあらかじめ設定された注目ブロック中の画素と、当該注目ブロック中の画素にあらかじめ関連付けられた各参照ブロック中の画素との間の相関値を算出する。ここで、画素（ｉ，ｊ）における画素値（輝度）をＹ（ｉ，ｊ）、ブロック数をｗ、ブロック長をｌｄとした場合に、エッジ方向の候補ごと（即ち、角度ごと）の相関値ｃｏｒ（ｄ）は、以下に示す（式２）に基づき算出される。

…（式２）

このように、エッジ方向信頼度算出部１２１は、注目ブロック中の画素と、当該注目ブロック中の画素にあらかじめ関連付けられた各参照ブロック中の画素との間の差分を算出し、算出された当該差分の平均値に基づき相関値ｃｏｒ（ｄ）を算出する。

なお、図９に、エッジ方向の候補ごと（即ち、角度ごと）の、注目ブロックと、各参照ブロックとの設定の一例を示す。図９には、ブロック数ｗ＝２、ブロック長ｌｄ＝１の場合における、エッジ方向の候補ごとの、注目ブロックと、各参照ブロックとの設定の一例が示されている。

なお、図９に示す例では、エッジ方向の各候補のうち、４５度及び−４５度の方向を示す候補については、注目ブロックと、各参照ブロックとの設定として、２通りの設定が示されている。このように、注目ブロックと、各参照ブロックとの設定として、複数通りの設定が可能な候補については、エッジ方向信頼度算出部１２１は、例えば、各設定について相関値ｃｏｒ（ｄ）を算出し、算出された相関値ｃｏｒ（ｄ）のうち、より値の小さいものを採用してもよい。

また、図９を参照するとわかるように、エッジ方向の各候補のうち、０度及び９０度の方向を示す候補については、他の候補に比べて、参照ブロックが注目ブロックのより近傍に位置することになり、相関値ｃｏｒ（ｄ）がより小さくなりやすい傾向にある。そのため、エッジ方向信頼度算出部１２１は、エッジ方向の候補ごとに算出された相関値ｃｏｒ（ｄ）に対して、当該候補ごとの注目ブロックと参照ブロックとの間の位置関係（例えば、距離）に応じて、重み付けを行ってもよい。

また、図８及び図９に示した、注目ブロック及び参照ブロックのブロック形状はあくまで一例であり、必ずしも、同形状に限定するものではない。また、ブロック数及びブロック長の設定についても、図８及び図９に示す例には限定されず、運用に応じて適宜変更されてもよい。また、エッジ方向の候補ごとに、ブロック数及びブロック長として異なる値が設定されてもよい。

以上のようにして、エッジ方向信頼度算出部１２１は、エッジ方向の候補ごと（即ち、角度ごと）に相関値ｃｏｒ（ｄ）を算出し、算出された相関値ｃｏｒ（ｄ）が最小となるエッジ方向の候補（即ち、角度）を特定する。即ち、相関値ｃｏｒ（ｄ）が最小となるエッジ方向の候補ｄｉｒは、以下に示す（式３）で表される。

…（式３）

また、相関値ｃｏｒ（ｄ）の最小値（以降では、「最小相関値」と称する場合がある）をｃｏｒＭｉｎとした場合に、最小相関値ｃｏｒＭｉｎは、以下に示す（式４）で表される。

…（式４）

そして、エッジ方向信頼度算出部１２１は、算出した最小相関値ｃｏｒＭｉｎに基づき、相関値ｃｏｒ（ｄ）が最小となるエッジ方向の候補ｄｉｒを、注目画素（０，０）に対応するエッジ方向とした場合における、当該エッジ方向の信頼度ｒｅｌを算出する。エッジ方向の信頼度ｒｅｌは、以下に（式５）として示された計算式に基づき算出される。

…（式５）

以上のようにして、エッジ方向信頼度算出部１２１は、取得した拡大画像データの各画素を逐次注目画素として、当該注目画素ごとに、エッジ方向を判定し、当該エッジ方向の信頼度を算出する。そして、エッジ方向信頼度算出部１２１は、拡大画像データ中の画素ごとに、判定したエッジ方向と算出した当該エッジ方向の信頼度とを、後段に位置するエッジ方向信頼度フィルタ１２３に出力する。

（エッジ方向信頼度フィルタ１２３）
エッジ方向信頼度フィルタ１２３は、拡大画像データ中の画素ごとに、判定されたエッジ方向と算出された当該エッジ方向の信頼度とを、エッジ方向信頼度算出部１２１から取得する。エッジ方向信頼度フィルタ１２３は、当該拡大画像データの各画素を逐次注目画素として、注目画素と、当該注目画素の周辺画素とのそれぞれに対応するエッジ方向と、注目画素と周辺画素との間の位置関係とに基づき、当該注目画素に対応するエッジ方向の信頼度を補正する。以下に、エッジ方向信頼度フィルタ１２３による処理の内容について、具体的な例を挙げてより詳細に説明する。

例えば、図１０は、注目画素に対応するエッジ方向の信頼度を補正する処理の詳細について説明するための説明図であり、注目画素及び周辺画素それぞれに対応するエッジ方向及び当該エッジ方向の信頼度の一例を示している。図１０に示す例では、注目画素を基準として、５×５のウィンドウに基づき、周辺画素を規定した場合における、注目画素及び周辺画素それぞれに対応するエッジ方向及び当該エッジ方向の信頼度の一例を示している。なお、以降の説明では、エッジ方向信頼度フィルタ１２３による処理の内容をわかりやすくするために、注目画素の座標を（０，０）とし、周辺画素の座標を注目画素に対する相対位置に基づき規定するものとする。また、座標（ｉ，ｊ）の画素に対応するエッジ方向をｄｉｒ（ｉ，ｊ）と記載し、当該エッジ方向の信頼度をｒｅｌ（ｉ，ｊ）と記載する場合がある。具体的な一例として、注目画素（０，０）に対応するエッジ方向は、ｄｉｒ（０，０）となり、エッジ方向ｄｉｒ（０，０）の信頼度は、ｒｅｌ（０，０）となる。

エッジ方向信頼度フィルタ１２３は、注目画素に対応するエッジ方向と、周辺画素に対応するエッジ方向との間の差分を、周辺画素ごとに算出する。ここで、注目画素（０，０）に対応するエッジ方向をｄｉｒ（０，０）、周辺画素（ｘ，ｙ）に対応するエッジ方向をｄｉｒ（ｘ，ｙ）とした場合に、周辺画素（ｘ，ｙ）に対応するエッジ方向の差分ｄｅｌｔａＤｉｒ（ｘ，ｙ）は、以下に示す（式６）に基づき算出される。

…（式６）

そして、エッジ方向信頼度フィルタ１２３は、周辺画素（ｘ，ｙ）について算出したエッジ方向の差分ｄｅｌｔａＤｉｒ（ｘ，ｙ）に基づき、当該周辺画素（ｘ，ｙ）に対応する、エッジ方向の差分に基づく重みｗｅｉＤ（ｘ，ｙ）を算出する。エッジ方向の差分に基づく重みｗｅｉＤ（ｘ，ｙ）は、以下に示す（式７）に基づき算出される。なお、（式７）において、ａｌｐｈａＤは、あらかじめ設定された係数を示している。

…（式７）

なお、以降の説明では、エッジ方向の差分ｄｅｌｔａＤｉｒ（ｘ，ｙ）を、全周辺画素に対して一般化する場合には、単に「ｄｅｌｔａＤｉｒ」と記載する場合がある。同様に、エッジ方向の差分に基づく重みｗｅｉＤ（ｘ，ｙ）を、全周辺画素に対して一般化する場合には、単に「ｗｅｉＤ」と記載する場合がある。

図１１に、上記に示した（式７）に基づく、エッジ方向の差分ｄｅｌｔａＤｉｒと、当該エッジ方向の差分に基づく重みｗｅｉＤとの間の関係の一例を示す。図１１において、横軸は、エッジ方向の差分ｄｅｌｔａＤｉｒを示している。また、縦軸は、エッジ方向の差分に基づく重みｗｅｉＤを示している。

また、エッジ方向信頼度フィルタ１２３は、注目画素と周辺画素との間の距離に応じた重みを、周辺画素ごとに算出する。ここで、周辺画素（ｘ，ｙ）に対応する、注目画素（０，０）と当該周辺画素（ｘ，ｙ）との間の距離に応じた重みｗｅｉＤ（ｘ，ｙ）は、以下に示す（式８）に基づき算出される。なお、（式８）において、ｓｉｇｍａＧは、あらかじめ設定された係数を示している。

…（式８）

以上のようにして、エッジ方向信頼度フィルタ１２３は、周辺画素ごとに、重みｗｅｉＤ（ｘ，ｙ）及びｗｅｉＧ（ｘ，ｙ）を算出する。そして、エッジ方向信頼度フィルタ１２３は、周辺画素ごとに算出した重みｗｅｉＤ（ｘ，ｙ）及びｗｅｉＧ（ｘ，ｙ）に基づき、注目画素（０，０）に対応するエッジ方向の信頼度ｒｅｌ（０，０）を補正する。ここで、注目画素（０，０）に対応する補正後の信頼度ｒｅｌＦｌｔ（０，０）は、以下に示す（式９）に基づき算出される。

…（式９）

以上のようにして、エッジ方向信頼度フィルタ１２３は、拡大画像データ中の各画素を逐次注目画素として、注目画素ごとに、エッジ方向の信頼度を補正する。そして、エッジ方向信頼度フィルタ１２３は、拡大画像データ中の画素ごとに、当該画素に対応するエッジ方向と、補正後の当該エッジ方向の信頼度とを、後段に位置するフィルタ係数算出部１３０に出力する。

（フィルタ係数算出部１３０）
次に、図４に示すフィルタ係数算出部１３０について説明する。フィルタ係数算出部１３０は、拡大画像データ中の画素ごとに、判別された当該画素に対応するエッジ方向と、補正後の当該エッジ方向の信頼度とを、エッジ方向信頼度フィルタ１２３から取得する。そして、フィルタ係数算出部１３０は、取得した画素ごとのエッジ方向及び当該エッジ方向の信頼度に基づき、フィルタ係数を当該画素ごとに算出する。以下に、フィルタ係数算出部１３０による、フィルタ係数の算出に係る処理の詳細について説明する。

フィルタ係数算出部１３０は、拡大画像データ中の各画素を逐次注目画素として、当該注目画素に対応するエッジ方向に基づき、当該注目画素と、当該注目画素の周辺画素とから複数のタップ画素を特定する。

本実施形態に係る画像処理装置１０では、エッジ方向の候補ごとに、注目画素を基準として、複数のタップ画素の相対的な位置関係があらかじめ決められている。例えば、図１２は、フィルタ係数算出部１３０が、フィルタ係数を算出するための処理の一例について説明するための説明図であり、エッジ方向の各候補のうち、６３度の方向を示す候補についてフィルタ係数を算出する場合の一例について示している。

例えば、図１２に示す例では、参照符号ｐ１０で示された注目画素が、複数のタップ画素のうちの一部に相当する。なお、以降の説明では、当該タップ画素ｐ１０を「タップＴ」と称する場合がある。また、参照符号ｐ１１ａ及びｐ１１ｂで示された周辺画素が、複数のタップ画素のうちの一部に相当する。なお、以降の説明では、タップ画素ｐ１１ａを「タップＬ」と称し、タップ画素ｐ１１ｂを「タップＲ」と称する場合がある。

例えば、図１２に示す例では、注目画素ｐ１０を基準として、６３度の方向に延伸するエッジ上に位置するタップ画素ｐ１１ａ及びＰ１１ｂが、タップＬ及びタップＲとして設定されている。

なお、タップＴ、タップＬ、及びタップＲそれぞれに対応するタップ画素は、注目画素を基準として、対象となる候補が示すエッジ方向に延伸するエッジ上に位置するように、当該候補ごとにあらかじめ設定されている。なお、図１２に示す例では、タップＬ及びタップＲとして、タップＴ（即ち、注目画素ｐ１０）に対して、エッジ方向に位置する画素のうち、当該タップＴの最も近くに位置する画素が設定されている。また、図１２に示すように、タップＲ（タップ画素ｐ１１ａ）及びタップＬ（タップ画素ｐ１１ｂ）は、タップＴ（注目画素ｐ１０）を基準として、互いに異なる方向に位置するように設定されている。

以上のようにして、フィルタ係数算出部１３０は、注目画素に対応する複数のタップ画素を特定したら、当該複数のタップ画素（即ち、タップＴ、タップＬ、及びタップＲ）それぞれに対応するエッジ方向及び当該エッジ方向の信頼度に基づき、当該注目画素に対応するフィルタ係数を算出する。

具体的には、まず、フィルタ係数算出部１３０は、タップＴに対応するエッジ方向と、タップＬ及びタップＲそれぞれに対応するエッジ方向との間の差分を算出する。例えば、タップＴに対応するエッジ方向をｄｉｒＴ、タップＬに対応するエッジ方向をｄｉｒＬとした場合に、タップＴとタップＬとの間におけるエッジ方向の差分ｄｅｌｔａＤｉｒＬは、以下に示す（式１０ａ）で表される。

…（式１０ａ）

同様に、タップＴに対応するエッジ方向をｄｉｒＴ、タップＲに対応するエッジ方向をｄｉｒＲとした場合に、タップＴとタップＲとの間におけるエッジ方向の差分ｄｅｌｔａＤｉｒＲは、以下に示す（式１０ｂ）で表される。

…（式１０ｂ）

次いで、フィルタ係数算出部１３０は、算出したタップＴとタップＬとの間におけるエッジ方向の差分ｄｅｌｔａＤｉｒＬに基づき、重みｗｅｉＬを、以下に示す（式１１ａ）に基づき算出する。なお、（式１１ａ）において、ａｌｐｈａは、あらかじめ設定された係数を示している。

…（式１１ａ）

同様に、フィルタ係数算出部１３０は、算出したタップＴとタップＲとの間におけるエッジ方向の差分ｄｅｌｔａＤｉｒＲに基づき、重みｗｅｉＲを、以下に示す（式１１ｂ）に基づき算出する。なお、（式１１ｂ）における、係数ａｌｐｈａは、（式１１ａ）における係数ａｌｐｈａと同様である。

…（式１１ｂ）

図１３に、上記に示した（式１１ａ）及び（式１１ｂ）に基づく、エッジ方向の差分ｄｅｌｔａＤｉｒＬと、当該エッジ方向の差分に基づく重みｗｅｉＬとの間の関係や、エッジ方向の差分ｄｅｌｔａＤｉｒＲと、当該エッジ方向の差分に基づく重みｗｅｉＲとの間の関係の一例を示す。図１３において、横軸は、エッジ方向の差分ｄｅｌｔａＤｉｒ＊を示している。また、縦軸は、エッジ方向の差分に基づく重みｗｅｉ＊を示している。なお、図１３中におけるエッジ方向の差分ｄｅｌｔａＤｉｒ＊は、ｄｅｌｔａＤｉｒＬ及びｄｅｌｔａＤｉｒＲに相当し、重みｗｅｉ＊は、ｗｅｉＬ及びｗｅｉＲに相当する。即ち、図１３に示すグラフでは、横軸がｄｅｌｔａＤｉｒＬの場合には、縦軸はｗｅｉＬとなる。同様に、横軸がｄｅｌｔａＤｉｒＲの場合には、縦軸はｗｅｉＲとなる。

そして、フィルタ係数算出部１３０は、タップＴ、タップＬ、及びタップＲそれぞれに対応するエッジ方向の信頼度と、タップＬ及びタップＲに対応して算出した重みｗｅｉＬ及びｗｅｉＲとに基づき、フィルタ係数ｂＴ、ｂＬ、及びｂＲを算出する。ここで、タップＴ、タップＬ、及びタップＲに対応するエッジ方向の信頼度を、それぞれ、ｒｅｌＴ、ｒｅｌＬ、及びｒｅｌＲとすると、フィルタ係数ｂＴ、ｂＬ、及びｂＲは、以下に示す（式１２）に基づき算出される。

…（式１２）

なお、図１４に、エッジ方向の候補ごと（即ち、角度ごと）の、タップＴ、タップＬ、及びタップＲの設定の一例を示す。図１４には、タップ数を３とした場合における、タップＴ、タップＬ、及びタップＲの設定の一例が示されている。

なお、エッジ候補のうち、０度及び９０度を示す候補については、ジャギーが発生しないため、フィルタ係数ｂＬ＝０，ｂＲ＝０とすることで、後段のフィルタ処理部１４０によるフィルタ処理を抑制してもよい。また、エッジ候補のうち、４５度及び−４５度を示す候補については、ジャギーが発生しにくい傾向にある。そのため、４５度及び−４５度を示す候補についても、０度及び９０度を示す候補と同様に、フィルタ係数ｂＬ＝０，ｂＲ＝０とすることで、後段のフィルタ処理部１４０によるフィルタ処理を抑制してもよい。

また、上記では、タップ数を３とした場合を例に説明したが、タップ数が３以上の奇数値となれば、必ずしもタップ数は３には限定されない。

以上のようにして、フィルタ係数算出部１３０は、拡大画像データ中の画素ごとに、フィルタ係数ｂＴ、ｂＬ、及びｂＲを算出する。そして、フィルタ係数算出部１３０は、拡大画像データ中の画素ごとに、算出したフィルタ係数ｂＴ、ｂＬ、及びｂＲを、後段に位置するフィルタ処理部１４０に出力する。また、このとき、フィルタ係数算出部１３０は、拡大画像データ中の画素ごとに、当該画素に対応するエッジ方向に基づき特定した複数のタップ画素（特に、タップＬ及びタップＲ）を示す情報を、フィルタ処理部１４０に通知するとよい。これにより、フィルタ処理部１４０は、拡大画像データ中の画素ごとに、特定されたタップ画素の位置を認識することが可能となる。

（フィルタ処理部１４０）
フィルタ処理部１４０は、拡大処理部１１０から出力された拡大画像データに対して、ジャギーを低減するためのフィルタ処理を施すための構成である。

フィルタ処理部１４０は、拡大処理部１１０から拡大画像データを取得する。また、フィルタ処理部１４０は、フィルタ係数算出部１３０から、当該拡大画像データの画素ごとに算出されたフィルタ係数ｂＴ、ｂＬ、及びｂＲを取得する。また、フィルタ処理部１４０は、拡大画像データ中の画素ごとに、当該画素に対応するエッジ方向に基づき特定された複数のタップ画素を示す情報を取得してもよい。

フィルタ処理部１４０は、取得した拡大画像データ中の各画素に対して、当該画素に対応するフィルタ係数ｂＴ、ｂＬ、及びｂＲに基づき、フィルタ処理を施す。ここで、処理対象となる画素の画素値（輝度）をＹＴ、当該画素のエッジ方向に基づくタップＬ及びタップＲそれぞれの画素値（輝度）をＹＬ及びＹＲとすると、取得したフィルタ係数ｂＴ、ｂＬ、及びｂＲに基づき、フィルタ処理後の画素値Ｙｏｕｔは、以下に示す（式１３）で表される。

…（式１３）

以上のようにして、フィルタ処理部１４０は、拡大画像データの各画素に対してフィルタ処理を施すことで、出力画像データを生成して出力する。

なお、上記に説明した例では、拡大処理部１１０の後段に、エッジ方向判定部１２０、フィルタ係数算出部１３０、及びフィルタ処理部１４０を設ける例について説明したが、必ずしも同構成に限定するものではない。具体的な一例として、拡大処理部１１０の前段に、エッジ方向判定部１２０、フィルタ係数算出部１３０、及びフィルタ処理部１４０を設けてもよい。

以上、図４〜図１４を参照して、本実施形態に係る画像処理装置１０の機能構成の一例について説明した。

なお、上述した一連の動作は、画像処理装置１０の各構成を動作させる装置のＣＰＵを機能させるためのプログラムによって構成することができる。このプログラムは、その装置にインストールされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して実行されるように構成してもよい。また、このプログラムは、上述した処理を実行する構成が含まれる装置が読み出し可能であれば、記憶される位置は限定されない。例えば、装置の外部から接続される記録媒体にプログラムが格納されていてもよい。この場合には、プログラムが格納された記録媒体を装置に接続することによって、その装置のＣＰＵに当該プログラムを実行させるように構成するとよい。

＜３．変形例＞
次に、本実施形態に係る画像処理装置１０の変形例について説明する。

［３．１．変形例１］
まず、図１５を参照して、変形例１に係る画像処理装置について説明する。図１５は、変形例１に係る画像処理装置の機能構成の一例を示したブロック図である。なお、以降の説明では、変形例１に係る画像処理装置を、前述した実施形態に係る画像処理装置１０と区別するために、「画像処理装置２０」と称する場合がある。また、本説明では、変形例１に係る画像処理装置２０について、前述した実施形態に係る画像処理装置１０と異なる部分に着目して説明し、当該画像処理装置１０と同様の部分については、詳細な説明は省略する。

図１５に示すように、変形例１に係る画像処理装置２０は、ＲＧＢ−ＹＣｂＣｒ変換部１５０と、ＹＣｂＣｒ−ＲＧＢ変換部１６０とを含む点で、前述した実施形態に係る画像処理装置１０と異なる。

ＲＧＢ−ＹＣｂＣｒ変換部１５０は、画像データ中の各画素のＲＧＢ成分を、輝度成分Ｙと、色差成分Ｃｂ及びＣｒとに変換するための構成である。ＲＧＢ−ＹＣｂＣｒ変換部１５０は、拡大処理部１１０から拡大画像データを取得し、当該拡大画像データ中の各画素のＲＧＢ成分を、輝度成分Ｙと、色差成分Ｃｂ及びＣｒとに変換する。そして、ＲＧＢ−ＹＣｂＣｒ変換部１５０は、画素ごとの輝度成分Ｙと色差成分Ｃｂ及びＣｒとのうち、輝度成分Ｙを、エッジ方向判定部１２０及びフィルタ処理部１４０に出力し、色差成分Ｃｂ及びＣｒについては、ＹＣｂＣｒ−ＲＧＢ変換部１６０に出力する。

変形例１に係る画像処理装置２０では、拡大画像データ中の各画素の輝度成分Ｙを対象として、エッジ方向判定部１２０が、エッジ方向の判定及び当該エッジ方向の信頼度の算出し、フィルタ係数算出部１３０が、当該エッジ方向及び当該信頼度に基づきフィルタ係数を算出する。

また、フィルタ処理部１４０は、フィルタ係数算出部１３０から拡大画像データ中の画素ごとに出力されるフィルタ係数に基づき、拡大画像データ中の各画素の輝度成分Ｙに対して、ジャギーを低減するためのフィルタ処理を施す。そして、フィルタ処理部１４０は、フィルタ処理が施された輝度成分Ｙを、ＹＣｂＣｒ−ＲＧＢ変換部１６０に出力する。

ＹＣｂＣｒ−ＲＧＢ変換部１６０は、拡大画像データ中の画素ごとの色差成分Ｃｂ及びＣｒを、ＲＧＢ−ＹＣｂＣｒ変換部１５０から取得する。また、ＹＣｂＣｒ−ＲＧＢ変換部１６０は、フィルタ処理部１４０から、ジャギーを低減するためのフィルタ処理が施された、拡大画像データ中の画素ごとの輝度成分Ｙを取得する。ＹＣｂＣｒ−ＲＧＢ変換部１６０は、拡大画像データ中の画素ごとに取得した、色差成分Ｃｂ及びＣｒと、フィルタ処理が施された輝度成分Ｙとを、ＲＧＢ成分に変換することで、出力画像データを生成して出力する。

以上、図１５を参照して変形例１に係る画像処理装置２０について説明した。以上、変形例１として説明したように、本実施形態に係る画像処理装置は、輝度成分Ｙのみを対象として、エッジ方向の判定及び当該エッジ方向の信頼度の算出と、フィルタ係数の算出と、当該フィルタ係数に基づくフィルタ処理とを実行するように構成されていてもよい。

［３．２．変形例２］
次に、変形例２に係る画像処理装置について説明する。本実施形態に係る画像処理装置１０は、フィルタ処理部１４０によるフィルタ処理により、拡大画像データ中のジャギーが低減される。その一方で、フィルタ処理部１４０によるフィルタ処理により、エッジ近傍における画素間の画素値の変化が小さくなり、当該エッジがなまる傾向にある。そこで、変形例２として、拡大画像データ中のエッジを強調する処理を追加した場合の、画像処理装置の構成の一例について説明する。

例えば、図１６は、変形例２に係る画像処理装置の機能構成の一例を示したブロック図である。なお、以降の説明では、図１６に示す画像処理装置を、前述した実施形態に係る画像処理装置１０と区別するために、「画像処理装置３０」と称する場合がある。

図１６に示すように、画像処理装置３０は、前述した変形例１に係る画像処理装置２０と同様に、輝度成分Ｙのみを対象として、エッジ方向の判定及び当該エッジ方向の信頼度の算出と、フィルタ係数の算出と、当該フィルタ係数に基づくフィルタ処理とを実行するように構成されている。一方で、画像処理装置３０は、エッジ強調処理部１７０を備える点で、前述した変形例１に係る画像処理装置２０と異なる。そのため、本説明では、図１６に示した変形例２に係る画像処理装置３０について、前述した変形例１に係る画像処理装置２０と異なる部分に着目して説明し、当該画像処理装置２０と同様の部分については、詳細な説明は省略する。

エッジ強調処理部１７０は、入力された画像データに対して、例えば、ラプラシアンフィルタ等のようにエッジを強調するためのフィルタ処理を施し、フィルタ処理後の画像データを出力するように構成されている。なお、エッジ強調処理部１７０による処理の内容は、入力された画像データ中のエッジが強調される処理であれば、必ずしもラプラシアンフィルタ等のフィルタ処理には限定されないことは言うまでもない。

図１６に示す例では、エッジ強調処理部１７０は、フィルタ処理部１４０により、ジャギーを低減するためのフィルタ処理が施された、拡大画像データの輝度成分Ｙに対して、エッジを強調するためのフィルタ処理を施している。

このような構成により、画像処理装置３０は、フィルタ処理部１４０によるフィルタ処理により、なまったエッジを、エッジ強調処理部１７０によるフィルタ処理により強調し、結果として、エッジが鮮明に表現された出力画像データを出力することが可能となる。

なお、一般的には、画像データに対してエッジを強調するためのフィルタ処理が施されると、当該画像データ中のアーティファクトもより強調されることとなる。しかしながら、本実施形態の変形例２に係る画像処理装置３０では、エッジが交差する箇所における誤補間を抑制することが可能なため、当該誤補間に伴う、エッジが途切れるといったアーティファクトの発生が抑制される。そのため、変形例２に係る画像処理装置３０に依れば、画像データに対してエッジを強調するためのフィルタ処理を施したとしても、アーティファクトがより強調されるといった事態の発生を抑制することが可能となる。

次に、図１７を参照して、変形例２に係る画像処理装置の他の一態様について説明する。図１７は、変形例２に係る画像処理装置の機能構成の他の一例について示したブロック図である。なお、以降の説明では、図１７に示す画像処理装置を、図１６に示した画像処理装置３０と区別するために、「画像処理装置４０」と称する場合がある。

図１６に示す画像処理装置３０では、フィルタ処理部１４０の後段にエッジ強調処理部１７０が設けられていた。これに対して、図１７に示す画像処理装置４０では、フィルタ処理部１４０の前段にエッジ強調処理部１７０が設けられている。

即ち、図１７に示す画像処理装置４０においては、エッジ強調処理部１７０は、ＲＧＢ−ＹＣｂＣｒ変換部１５０から出力される拡大画像データの輝度成分Ｙに対して、エッジを強調するためのフィルタ処理を施す。そして、エッジ強調処理部１７０は、エッジを強調するためのフィルタ処理が施された、拡大画像データの輝度成分Ｙを、フィルタ処理部１４０に出力する。

また、図１７に示す例では、フィルタ処理部１４０は、エッジ強調処理部１７０により、エッジを強調するためのフィルタ処理を施された、拡大画像データの輝度成分Ｙに対して、ジャギーを低減するためのフィルタ処理を施す。

このような構成により、画像処理装置４０は、エッジ強調処理部１７０により拡大画像データ中のエッジが事前に強調されるため、フィルタ処理部１４０によるフィルタ処理が施されたとしても、鮮明なエッジを維持された出力画像データを出力することが可能となる。

また、図１７に示す画像処理装置４０では、エッジ強調処理部１７０によりエッジが強調された後に、フィルタ処理部１４０によるフィルタ処理が施されるため、エッジが交差する箇所におけるアーティファクトの発生をより低減することが可能となる。

なお、上記説明では、図１５に示した変形例１に係る画像処理装置２０に対して、エッジ強調処理部１７０を追加する例について説明したが、必ずしも同構成に限定されるものではない。具体的には、図４に示した画像処理装置１０に対して、エッジ強調処理部１７０を追加する構成としてもよい。なお、この場合についても同様に、フィルタ処理部１４０の前段もしくは後段に、エッジ強調処理部１７０を設ける構成とすればよい。

以上、図１６及び図１７を参照して、変形例２に係る画像処理装置３０及び４０について説明した。以上、変形例２として説明したように、本実施形態に係る画像処理装置は、拡大画像データに対してエッジを強調するためのフィルタ処理を施すための構成（即ち、エッジ強調処理部１７０）が設けられていてもよい。

＜４．まとめ＞
以上説明したように、本実施形態に係る画像処理装置１０は、拡大画像データの各画素を逐次注目画素として、注目画素と当該注目画素の周辺画素とのそれぞれの画素値（輝度）に基づき、当該注目画素に対応するエッジ方向と当該エッジ方向の信頼度とを算出する。そして、画像処理装置１０は、拡大画像データの画素ごとに算出されたエッジ方向及び信頼度に基づき、当該画素ごとにフィルタ係数を算出し、当該フィルタ係数に基づき、拡大画像データに対してフィルタ処理を施す。

特に、本実施形態に係る画像処理装置１０は、図１０を参照して説明したように、注目画素に対応するエッジ方向と、周辺画素に対応するエッジ方向とに基づき、当該注目画素に対応するエッジ方向の信頼度を補正する。

このような構成により、図３に示すように、互いに異なる方向に延伸するエッジが交差する箇所の画素においては、図２に示すようにいずれか一方のみに向けてエッジが延伸する箇所の画素に比べて、エッジ方向の信頼度が低くなり、フィルタ係数が小さくなる。即ち、本実施形態に係る画像処理装置１０では、エッジが交差する箇所の画素では、いずれか一方のみに向けてエッジが延伸する箇所の画素に比べて、フィルタ処理の影響が弱くなる。

そのため、本実施形態に係る画像処理装置１０に依れば、図３に示すような、複数のエッジが交差する箇所ｖ１３における誤補間が抑制され、当該誤補間に伴う、エッジが途切れるといったアーティファクトの発生を抑制することが可能となる。即ち、本実施形態に係る画像処理装置１０に依れば、複数のエッジが交差する箇所ｖ１３における誤補間の発生を抑制し、かつ、画像データ中のジャギーをより好適な態様で低減することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０、２０、３０、４０ 画像処理装置
１１０ 拡大処理部
１２０ エッジ方向判定部
１２１ エッジ方向信頼度算出部
１２３ エッジ方向信頼度フィルタ
１３０ フィルタ係数算出部
１４０ フィルタ処理部
１５０ ＲＧＢ−ＹＣｂＣｒ変換部
１６０ ＹＣｂＣｒ−ＲＧＢ変換部

Claims (18)

1. 入力画像データ中の各画素を注目画素として、あらかじめ決められたエッジ方向の候補ごとに、前記注目画素を含む第１のブロック中の画素と、前記第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出するエッジ方向判定部と、
   前記注目画素に対応する前記エッジ方向及び前記信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応する前記エッジ方向及び前記信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出するフィルタ係数算出部と、
   前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成するフィルタ処理部と、
   を備えたことを特徴とする、画像処理装置。
2. 前記第１のブロック及び前記第２のブロックは、複数の画素を含むように、前記候補ごとにあらかじめ設定され、
   前記エッジ方向判定部は、前記第１のブロックと、複数の前記第２のブロックそれぞれとの間で、当該第１のブロック中の画素と、当該画素にあらかじめ関連付けられた前記第２のブロック中の画素との間の画素値の差分を算出し、算出された前記差分に基づき、前記相関値を算出することを特徴とする、請求項１に記載の画像処理装置。
3. 前記エッジ方向判定部は、前記第１のブロックと、複数の前記第２のブロックそれぞれとの間で算出された前記差分の平均に基づき、前記相関値を算出する、請求項２に記載の画像処理装置。
4. 前記エッジ方向判定部は、算出された前記相関値が最小となる前記候補を、前記エッジ方向として判定することを特徴とする、請求項１または２に記載の画像処理装置。
5. 前記エッジ方向判定部は、前記エッジ方向として判定した前記候補に対応する前記相関値に基づき、前記信頼度を算出することを特徴とする、請求項４に記載の画像処理装置。
6. 前記エッジ方向判定部は、前記注目画素に対応する前記エッジ方向と、当該注目画素を基準とした所定の範囲内に含まれる周辺画素に対応する前記エッジ方向とに応じた第１の重みと、当該注目画素と当該周辺画素との間の距離に応じた第２の重みとに基づき、当該注目画素に対応する前記信頼度を補正することを特徴とする、請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記フィルタ係数算出部は、
   前記注目画素に対応する前記エッジ方向と、前記タップ画素に対応する前記エッジ方向とに基づき第３の重みを算出し、
   算出した第３の重みと、当該注目画素に対応する前記信頼度と、当該タップ画素に対応する前記信頼度とに基づき、前記フィルタ係数を算出することを特徴とする、請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記フィルタ係数算出部は、
   前記注目画素を基準として、互いに異なる方向に位置する第１のタップ画素及び第２のタップ画素それぞれについて、前記第３の重みを算出し、
   前記第１のタップ画素及び前記第２のタップ画素それぞれに対応する前記第３の重み及び前記信頼度と、前記注目画素に対応する前記信頼度とに基づき、前記フィルタ係数を算出することを特徴とする、請求項７に記載の画像処理装置。
9. 前記フィルタ係数算出部は、前記注目画素に対応する前記信頼度をｒｅｌＴ、前記第１のタップ画素に対応する対応する前記信頼度及び前記第３の重みをｒｅｌＬ及びｗｅｉＬ、前記第２のタップ画素に対応する対応する前記信頼度及び前記第３の重みをｒｅｌＲ及びｗｅｉＲとした場合に、前記フィルタ係数として、第１のフィルタ係数ｂＴ、第２のフィルタ係数ｂＬ、及び第３のフィルタ係数ｂＲを、以下に示す計算式に基づき算出することを特徴とする、請求項８に記載の画像処理装置。
   

   
10. 前記フィルタ処理部は、前記注目画素の画素値ＹＴと、前記第１のタップ画素の画素値ＹＬと、前記第２のタップ画素の画素値ＹＲと、前記第１のフィルタ係数ｂＴと、前記第２のフィルタ係数ｂＬと、前記第３のフィルタ係数ｂＲとに基づき、前記注目画素に対応する出力画像データ中の出力画素の画素値Ｙｏｕｔを、以下に示す計算式に基づき算出することを特徴とする、請求項９に記載の画像処理装置。
    

    
11. 前記エッジ方向判定部は、前記第１のブロック中の画素の輝度成分と、前記第２のブロック中の画素の輝度成分との間の前記相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出し、
    前記フィルタ処理部は、前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データの輝度成分に対して、前記フィルタ処理を施すことを特徴とする、請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記入力画像データに対して、エッジを強調するためのエッジ強調処理を施す、エッジ強調処理部を備えることを特徴とする、請求項１〜１１のいずれか一項に記載の画像処理装置。
13. 前記フィルタ処理部は、前記エッジ強調処理部により前記エッジ強調処理が施された前記入力画像データに対して、前記フィルタ処理を施すことを特徴とする、請求項１２に記載の画像処理装置。
14. 前記エッジ強調処理部は、前記フィルタ処理部により前記フィルタ処理が施された前記入力画像データに対して、前記エッジ強調処理を施すことを特徴とする、請求項１２に記載の画像処理装置。
15. 前記エッジ強調処理部は、前記入力画像データの輝度成分に対して、前記エッジ強調処理を施すことを特徴とする、請求項１２〜１４のいずれか一項に記載の画像処理装置。
16. 第１の解像度の第１の画像データに所定の拡大処理を施すことで、前記第１の解像度よりも高い第２の解像度の第２の画像データに変換し、当該第２の画像データを前記入力画像データとして出力する拡大処理部を備えることを特徴とする、請求項１〜１５のいずれか一項に記載の画像処理装置。
17. 入力画像データ中の各画素を注目画素として、あらかじめ決められたエッジ方向の候補ごとに、前記注目画素を含む第１のブロック中の画素と、前記第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出することと、
    前記注目画素に対応する前記エッジ方向及び前記信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応する前記エッジ方向及び前記信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出することと、
    前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成することと、
    を含むことを特徴とする、画像処理方法。
18. コンピュータに、
    入力画像データ中の各画素を注目画素として、あらかじめ決められたエッジ方向の候補ごとに、前記注目画素を含む第１のブロック中の画素と、前記第１のブロックに対して当該候補に基づく方向に位置する複数の第２のブロック中の画素との間の相関値に基づき、前記エッジ方向を判定し、当該エッジ方向の信頼度を算出することと、
    前記注目画素に対応する前記エッジ方向及び前記信頼度と、当該注目画素を基準として当該エッジ方向に位置する複数のタップ画素それぞれに対応する前記エッジ方向及び前記信頼度とに基づき、当該注目画素に対応するフィルタ係数を算出することと、
    前記注目画素ごとに算出された前記フィルタ係数に基づき、前記入力画像データに対して、フィルタ処理を施すことで、出力画像データを生成することと、
    を実行させることを特徴とする、プログラム。
    
    

Images