JP2012208553A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】画像に発生するジャギーを低減させた高品質な画像を生成する。
【解決手段】画像推定部において、例えばベイズ推定によりジャギー発生画像からジャギー発生前画像を生成し、生成したジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、処理領域と類似領域に対応するジャギー発生画像の対応領域を検出し、検出した対応領域の画素値に対して、重みを適用した加重加算処理を実行して、ジャギー発生画像の処理領域の補正画素値を算出する。これらの処理により、ジャギーが低減された画像が生成される。
【選択図】図４

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像に発生するジャギーを低減させる処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

例えばカメラで撮影した画像を印刷出力あるいは表示出力した場合、出力されるオブジェクトの画像輪郭が本来のオブジェクトの輪郭と異なり、階段状のギザギザな輪郭として出力されることがある。
この階段状のギザギザは、一般にジャギーと呼ばれる。ジャギーは折り返し雑音の一種であり、このジャギーを低減させる画像処理について、従来から様々な提案がなされている。

例えば特許文献１（特開２０１０−６７２７２号公報）は、エッジ検出による方向判定を行い、よりエッジに平行な方向に平滑化成分の重みを大きくして各方向のブレンドを行うことでジャギーの低減を図る手法を開示している。。
しかし、この手法は、重心のずれた画素を用いてエッジ保存平滑化を行うと、サブピクセル単位でエッジと垂直方向にずれた画素同士の平滑化となるため、解像度が劣化してしまうという問題がある。

また、特許文献２（特開２００９−０７０１２３号公報）は、超解像度手法を用い、エッジ近傍については低解像度画像の高解像度化を行うことでジャギーの強調を抑制する手法を開示している。
しかし、一般的に超解像度手法は計算量が膨大であり、小規模な回路で実現することは難しいという問題がある。

さらに、特許文献３（特開２００４−２３４６２３号公報）は、連続撮影した画像間の位置を合わせて重ねあわせることで、ジャギーも低減された高品質な画像を生成する手法を開示している。
しかし、この手法は、位置合わせがわずかにずれるだけでエッジがぼけてしまい、解像度劣化を引き起こしてしまうという問題がある。
また、画像全体の動き情報であるグローバルモーションと、画像の一部の動き情報であるローカルモーションの両者を考慮して画像間の位置ずれを正確に算出することは非常に難しく、画像内すべての領域での解像度改善は困難であるという問題もある。

特開２０１０−６７２７２号公報 特開２００９−０７０１２３号公報 特開２００４−２３４６２３号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、ジャギーの削減を簡易な構成で実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定部と、
前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記画像推定部は、前記ジャギー発生画像から生成した輝度画像を入力してジャギー発生前推定輝度画像を生成し、前記加重加算部は、前記ジャギー発生前推定輝度画像に基づいて前記重みを算出し、前記ジャギー発生画像から生成した輝度画像を適用して、前記重みを適用した画素値の加重加算処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像推定部は、事前学習データを適用したベイズ推定処理により、ジャギー発生前推定画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像推定部は、前記ジャギー発生画像の平滑化処理によってジャギー発生前推定画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像推定部は、エッジを表現する特徴量の統計データを事前学習データとして適用したベイズ推定処理により、ジャギー発生前推定画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記加重加算部は、ＮＬ−Ｍｅａｎｓ（Ｎｏｎ Ｌｏｃａｌ−Ｍｅａｎｓ）法を適用した加重加算処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記加重加算部は、Ｊｏｉｎｔ Ｂｉｒａｔｅｒａｌ Ｆｉｌｔｅｒ法を適用した加重加算処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像を参照画像として、Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ（ＪＢＦ）を適用した相関処理を実行して補正色差情報を生成するフィルタ処理部を有する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像と、補正前のジャギー発生画像に基づいて生成されるジャギー発生輝度画像とを、画像のエッジ領域に応じた重みに従ってブレンドするブレンド処理部を有する。

さらに、本開示の第２の側面は、
画像処理装置において画像処理を実行する画像処理方法であり、
画像推定部が、ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定ステップと、
加重加算部が、前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算ステップを実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像推定部に、ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成させる画像推定ステップと、
加重加算部に、前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出させ、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、画像に発生するジャギーを低減させた高品質な画像を生成することが可能となる。
具体的には、画像推定部において、例えばベイズ推定によりジャギー発生画像からジャギー発生前画像を生成し、生成したジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、処理領域と類似領域に対応するジャギー発生画像の対応領域を検出し、検出した対応領域の画素値に対して、重みを適用した加重加算処理を実行して、ジャギー発生画像の処理領域の補正画素値を算出する。これらの処理により、ジャギーが低減された画像が生成される。

画素数削減処理における問題点について説明する図である。 画素数削減処理における問題点について説明する図である。 画素数削減処理における問題点としてのジャギーの発生について説明する図である。 画像処理装置の主要部の構成例について説明する図である。 学習用データに基づく事前学習データの生成処理例について説明する図である。 類似度に基づく加重平均によるジャギー低減画像の生成例について説明する図である。 ＬｏＧフィルタ検出値とブレンド比率との対応関係を示すグラフの例について説明する図である。 画像処理装置の一例である撮像装置の構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像におけるジャギー発生について
２．画像処理装置の構成と処理について
２−１．（処理１）ＲＧＢ画像から輝度画像とその色差情報への色変換処理
２−２．（処理２）ジャギーの発生している輝度画像からベイズ推定によってジャギー発生前の輝度画像を推定する処理
２−３．（処理３）推定された輝度画像から類似度を求め、ＮＬ−Ｍｅａｎｓによってジャギー低減を行う処理
２−４．（処理４）処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする処理
２−５．（処理５）色差画像に対してジャギー低減済み輝度画像を参照するＪＢＦによる相関処理に基づく補正色差情報の生成
２−６．（処理６）輝度色差合成処理
３．画像処理装置の構成例について
４．本開示の構成のまとめ

［１．画像におけるジャギー発生について］
先に説明したように、カメラで撮影した画像を印刷出力や表示出力した場合、出力画像に含まれるオブジェクトの画像輪郭が本来の輪郭と異なり、階段状のギザギザを持つ場合がある。このギザギザは、一般にジャギーと呼ばれる。

このジャギーは、例えば画素数が多い高解像度の撮像素子を利用した撮影画像に対して、画素の間引きや合成処理を行って、画素数を削減した出力画像を生成する場合にも発生する。

昨今の撮像装置は、高解像度の画像撮影のために、数１００万〜数１０００万画素の極めて多数の画素を持つ撮像素子を備えたものが多くなってきている。
しかし、撮像素子の有する画素数に対応する高解像度画像の出力可能な表示装置が利用されることは少なく、また、撮像素子から出力される高解像度画像をメモリにそのまま記録すると記録に必要となるメモリ容量が増大してしまい、記録可能な画像枚数が減少してしまうといった事態が発生する。

このような状況を考慮し、高画素数の撮像素子を備えた撮像装置では、撮像素子からの出力画素信号をそのままメモリに記録せず、出力画素数を間引く処理や、複数画素の加算演算などを含む合成処理によって、総画素数を削減してメモリに記録する処理が多く行われている。
しかし、このような画素数変換処理によって、出力画像にジャギーが発生するという問題が顕在化してきている。

この画素数ジャギーの削減に基づくジャギー発生について、図を参照して説明する。
図１には、
（ａ）撮像素子の画素配列（ベイヤー（Ｂａｙｅｒ）配列）、
（ｂ）出力画素の画素重心、
これらの図を示している。

図１（ａ）に示す画素配列は、撮像素子の高画素数の画素配列であり、撮影画像は、高画素数の画素情報を有している。この画素数を削減してメモリ格納画像を生成する。例えば、図１（ａ）の撮像素子の同じ色の画素４画素に基づいて、出力画像の１画素の画素値を設定し出力する。
すなわち、４画素を１画素に集約して出力して総画素数を削減する。
図１（ｂ）出力画素の画素重心は、画素数削減後の出力画素各々についての元の撮像素子における画素重心を示した図である。

例えば、図１（ｂ）のＧｂ画素３１は、図１（ａ）の３×３画素ブロック２１の４隅のＧｂ画素の画素値を均等に用いて決定される画素値である。３×３画素ブロック２１の中心位置に画素重心が設定される。この重心位置を示しているのが、図１（ｂ）のＧｂ画素３１である

図１に示す例は、（ａ）に示す８×８画素の６４画素を、（ｂ）に示す４×４＝１６画素として、出力画像の画素数を撮像素子の画素数の１／４に削減する処理を行っている例である。

この処理のために、例えば図１（ａ）に示す３×３画素のブロック２１の４隅の（Ｇｂ）画素の加算平均処理を実行して、出力画像における１つのＧｂ画素の画素値を算出している。

すなわち、図１（ａ）に示す３×３画素のブロック２１に含まれる４つのＧｂ画素に基づいて、図１（ｂ）に示すＧｂ画素３１の画素値を算出している。
この場合、出力画像におけるＧｂ画素３１の重心は、水平右方向をｘ、垂直下方向をｙとした座標軸において、（ｘ，ｙ）＝（２，２）の位置、すなわち、図１（ｂ）に示すＧｂ画素３１の位置となる。

また、図１（ａ）に示す３×３画素のブロック２２に含まれる４つのＢ画素に基づいて、図１（ｂ）に示すＢ画素３２の画素値が算出される。
この場合、出力画像におけるＢ画素３２の重心は、（ｘ，ｙ）＝（３，２）の位置、すなわち、図１（ｂ）に示すＢ画素３２の位置となる。

同様に、図１（ａ）に示す３×３画素のブロック２３に含まれる４つのＧｂ画素に基づいて、図１（ｂ）に示すＧＢ画素３３の画素値が算出される。
この場合、出力画像におけるＧｂ画素３３の重心は、（ｘ，ｙ）＝（６，２）の位置、すなわち、図１（ｂ）に示すＢ画素３３の位置となる。

また、図１（ａ）に示す３×３画素のブロック２４に含まれる４つのＢ画素に基づいて、図１（ｂ）に示すＢ画素３４の画素値が算出される。
この場合、出力画像におけるＢ画素３４の重心は、（ｘ，ｙ）＝（７，２）の位置、すなわち、図１（ｂ）に示すＢ画素３４の位置となる。

図１（ｂ）に示す計１６個の画素は、出力画像とする場合、４×４画素の画像として出力される。
すなわち、図２（ｃ）に示すような４×４画素の画像７０として出力される。
図２には、
（ｂ）出力画素の画素重心（図１（ｂ）と同じ）
（ｃ）出力画像の画素位置
これらを示している。

図２（ｃ）では左上の２×２画素、すなわちＧｂ画素３１、Ｂ画素３２を含む２×２画素のブロックを固定して考えている。この設定とした場合、その他の３つの２×２の画素プロックは、いずれも図２（ｃ）に示す矢印（α）、（β）、（γ）に従って移動させて図２（ｃ）に示す４×４画素の画像７０の構成画素として出力されることになる。

このシフト処理によって、以下のような問題が発生する。
例えば、
画素重心の位置が（ｘ，ｙ）＝（６，２）のＧｂ画素３３は、出力画像では、画素位置が（ｘ，ｙ）＝（３，２）のＧｂ画素５３として設定される。
また、
画素重心の位置が（ｘ，ｙ）＝（７，２）のＢ画素３４は、出力画像では、画素位置が（ｘ，ｙ）＝（３，３）のＢ画素５４として設定される。

ここで、縮尺率を算出する。
画素位置（ｘ，ｙ）＝（２，２）のＧＢ画素３１を固定位置とした基準画素と仮定して考える。
図２（ｂ）に示す画素位置（ｘ，ｙ）＝（６，２）のＧｂ画素３３は、基準画素であるＧｂ画素３１から４画素離れている。
これが、出力画像では、画素位置が（ｘ，ｙ）＝（３，２）のＧｂ画素５３として設定されるので、その基準画素：Ｇｂ画素３１からの距離は２画素となる。
すなわち、縮尺率は、
２画素／４画素＝１／２
となる。

一方、図２（ｂ）に示す画素位置（ｘ，ｙ）＝（７，２）のＢ画素３４は、基準画素であるＧｂ画素３１から５画素離れている。
これが、出力画像では、画素位置が（ｘ，ｙ）＝（４，２）のＢ画素５４として設定されるので、その基準画素：Ｇｂ画素３１からの距離は３画素となる。
すなわち、縮尺率は、
３画素／５画素＝３／５
となる。

このように、画素間の縮尺率がばらばらとなり、撮像素子の画素配列に対応する撮影画像の各画素の相対位置と異なる相対位置を有する出力画像が生成されてしまうことになる。
すなわち、撮像素子において撮影されたオリジナル画像の各画素の間隔が不均一に縮小されて出力画像が生成されてしまう。
このような画素間隔の不均等は画質劣化を引き起こす。
具体的には、例えば図３に示すようなジャギーの拡大などの劣化を発生させる。

図３（Ａ）のオリジナル画像は、撮像素子の撮影画像に相当する画素数の多い高解像度の画像であり、この画像はジャギーが小さい。
この図３（Ａ）のオリジナル画像に基づいて、図１〜図２を参照して説明した相対的な画素位置をばらばらにしてしまう画素数削減処理を行うと、図３（Ｂ）に示すようなジャギーの拡大した画像が生成されてしまう。
なお、ジャギーは、折り返し雑音の一種である。加算後の画素重心の間隔の不均等により、ジャギー劣化は大きくなる。
なお、この他にも、ＲＧＢの各配色の位置関係の乱れなどにより、出力画像の色もオリジナル画像と差が発生するなど、様々な画質劣化を引き起こすことになる。

本開示に係る画像処理装置では、例えばこのような画素数削減に伴って発生するジャギーの発生を抑制する処理を実現する。
なお、ジャギーの発生要因は、上述の画素数削減処理に限らず、様々な要因がある。本開示の画像処理装置は、様々な要因に基づいて発生したジャギーを低減させる処理を行う。

具体的には、例えば画像の輝度成分を抽出し、輝度成分に基づいてジャギー発生前の形状の推定を行い、この推定した形状情報を利用して、画像内から類似する画像領域を検出し、検出した類似領域の画素同士を加重平均することでジャギーの低減を図る。
この処理は、ジャギー発生要因である例えば画素加算処理や画素間引き処理の態様に依存せず、任意のジャギー発生パターンに対応可能である。また、特定の方向に依存した処理ではないため、任意角度のエッジに発生するジャギーに対して有効な処理となる。

［２．画像処理装置の構成と処理について］
本開示に係る画像処理装置の構成と処理について、図４以下を参照して説明する。
図４は、本開示に係る画像処理装置１００の主要部の構成例を示す図である。
画像処理装置１００は、例えばＲＧＢ画像等の入力画像８０を入力して、ジャギーを低減した画像である出力画像９０を生成して出力する。
画像処理装置１００は、図４に示すように、輝度色差成分分離部１０１、画像推定部（ベイズ推定部）１０２、加重加算部１０３、エッジ抽出部１０４、ブレンド処理部１０５、フィルタ処理部１０６、輝度色差成分合成部１０７を有する。

画像処理装置１００は、入力画像８０に含まれるジャギー、例えば前述した画素加算・間引き処理によって既に発生してしまったジャギーを低減する処理を実行する。
具体的には、入力画像８０の輝度成分に基づいて、一度ジャギー発生前の形状を推定し、その形状情報を利用して画像内の類似領域を探索し、類似領域の画素同士を加重平均することでジャギーの低減を図る。

この処理は画素加算・間引き処理に依存せず、任意のジャギー発生パターンに対応することが可能である。また、特定の方向に依存した処理を行っていないため、任意の角度のエッジに発生するジャギーに対して有効である。

なお、図４に示す画像処理装置１００は、画像処理装置の主要部の構成を示しており、画像処理装置１００は、この他、例えば全体の処理制御を実行する制御部、例えば所定の処理プログラムの実行機能持つＣＰＵを備えた制御部や、プログラム、画像、各種のパラメータを記憶するためのメモリ等を備えている。
画像処理装置１００は、具体的には、例えば、ＰＣや、撮像装置（カメラ）等として実現可能であり、これらの装置においては、図４に示す構成の他、それぞれの装置に応じた構成が具備されたものとなる。

画像処理装置１００の実行する処理は大きく分けて以下の６つの処理に分類される。
（処理１）ＲＧＢ画像から輝度画像とその色差へと色変換を行う。またこの逆変換を行う。［輝度色差分離部１０１、輝度色差合成部１０７の処理］
（処理２）ジャギーの発生している輝度画像からベイズ推定によってジャギー発生前の輝度画像を推定する。［画像推定部（ベイズ推定部）１０２の処理］
（処理３）推定された輝度画像から類似度を求め、ＮＬ−Ｍｅａｎｓによってジャギー低減を行う。［主に加重加算部１０３の処理］
（処理４）処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする。［エッジ抽出部１０４と、ブレンド処理部１０５の処理］
（処理５）色差画像に対してジャギー低減済み輝度画像を参照するＪＢＦによっての相関処理に基づく補正色差情報の生成。［フィルタ処理部１０６の処理］
（処理６）輝度色差合成処理。［輝度色差合成部１０７の処理］
以下、この６つの処理の詳細について順に説明する。

（２−１．（処理１）ＲＧＢ画像から輝度画像とその色差情報への色変換処理）
まず「（処理１）ＲＧＢ画像から輝度画像とその色差情報への色変換処理」について説明する。
この処理は、図４に示す画像処理装置１００の輝度色差分離部１０１において実行する処理である。
本手法ではジャギー低減処理を輝度成分に対してのみ行う。これは輝度成分がジャギーの影響を特に強く受けるためである。

図４に示す輝度色差成分分離部１０１は、ジャギーが含まれる入力画像（例えばＲＧＢ画像）１０を入力し、例えば以下の（式１）に従って、輝度色差変換を行う。

なお、上記（式１）で示す輝度色差変換処理は、一例であり、この他の様々な既存の処理を適用してもよい。例えば、一般的なＹＣｂＣｒ，Ｌａｂ方式など、輝度と色差の成分に分離できる方式であれば任意の色変換方式を利用することができる。

輝度色差成分分離部１０１は、入力画像８０の各構成画素のＲＧＢ値を入力し、上記（式１）に従って、各画素単位の、
輝度：Ｌ＝（Ｒ＋２Ｇ＋Ｂ）／４
色差：Ｃｒ＝Ｌ−Ｒ
色差：Ｃｂ＝Ｌ−Ｂ
これらを算出する。

図４に示すように、輝度色差成分分離部１０１の算出した輝度［Ｌ＝（Ｒ＋２Ｇ＋Ｂ）／４］は、画像推定部（ベイズ推定部）１０２に入力される。
また、色差［Ｃｒ＝Ｌ−Ｒ，Ｃｂ＝Ｌ−Ｂ］は、フィルタ処理部１０６に入力される。

なお、最終処理として輝度色差合成部１０７において実行される輝度色差成分からＲＧＢ成分への復元処理は、上記の（式１）をＲ，Ｇ，Ｂについて解くことで求めることができる。

（２−２．（処理２）ジャギーの発生している輝度画像からベイズ推定によってジャギー発生前の輝度画像を推定する処理）
次にベイズ推定による輝度画像推定方法について説明する。
この処理は、図１に示す画像推定部（ベイズ推定部）１０２において実行する処理である。画像推定部（ベイズ推定部）１０２は、輝度色差成分分離部１０１の算出した輝度［Ｌ＝（Ｒ＋２Ｇ＋Ｂ）／４］を入力して、この輝度情報からなる輝度画像に基づいてベイズ推定によってジャギー発生前の輝度画像を推定する。

今回の処理対象としているジャギーは、例えば画素加算・間引き処理によって発生するジャギーであるため、事前のシミュレーションでジャギー発生パターン、つまり、ある角度、コントラストのエッジ近辺でのジャギーがどのような形状で、どの程度の振幅強度で分布するかを事前に知ることが可能である。

画像推定部（ベイズ推定部）１０２ではこの条件を利用して、事前にあらゆるパターンのエッジに対して擬似的にジャギーを発生させ、ジャギー発生前後でエッジがどのように変化するかを統計的に観測しておき、その統計量を利用して確率的にジャギー発生前のエッジ形状の推定を行う。
すなわち、図４に示す事前学習データ８２を予め生成して、この事前学習データを利用して処理対象画像のジャギー発生前のエッジ形状の推定を行う。

本手法ではジャギー発生前後の輝度画像の画素値を観測し、ジャギー発生後の画素値分布から尤もらしい画素値を推定する方法を採用している。具体的な手順について説明する。

まず、事前学習データ８２の生成処理について説明する。
図５（Ａ）に示すようなエッジを含む学習用画像を用意する。
図５（Ａ）ジャギー発生前の学習用画像
である。

この画像（Ａ）に対してジャギーを発生させて、
（Ｂ）ジャギー発生後の学習用画像
を生成する。
なお、このジャギー発生処理は、実際の処理対象とする画像に対する画素加算・間引き処理と同様の処理を実行して行うことが好ましい。

次に、
（Ａ）ジャギー発生前の画像内の注目位置（ｉ，ｊ）の画素値ｘと、
（Ｂ）ジャギー発生後の画像内で位置（ｉ，ｊ）のｎ個の近傍画素の画素値ｙ１，ｙ２，…，ｙｎをそれぞれ観測する。
図５に示す例では、ｎ＝９とした例を示している。

学習用画像に含まれる画素について、同様の処理を繰り返していくと、ある画素値ｘに対してｎ個のジャギー発生後の画像における近傍画素のヒストグラムを観測することができる。ヒストグラムというのは画素値の出現頻度に他ならないため、観測したヒストグラムは確率分布と考えられる。よって、この事前観測により以下の確率が求められる。
Ｐ（ｘ）：ジャギー発生前の画像で画素値ｘが出現する確率（＝ジャギー発生前の画像のヒストグラム）、
Ｐ（ｙ１，ｙ２，…，ｙｎ｜ｘ）：ジャギー発生前の画像において、画素値ｘが出現した時に、ジャギー発生後の画像の対応画素位置のｎ個の近傍画素の画素値が順にｙ１，ｙ２，…，ｙｎとなる確率、
これらの確率が求められる。

上記の、
Ｐ（ｙ１，ｙ２，…，ｙｎ｜ｘ）
は、あるエッジ領域において発生するジャギーパターンの発生確率に相当する。この算出確率に基づいて、さらに、ベイズの定理より以下の（式２）に示す確率を求めることができる。

・・・・・（式２）

ただし、
Ｐ（ｘ）：ジャギー発生前の画像で画素値ｘが出現する確率（＝ジャギー発生前の画像のヒストグラム）、
Ｐ（ｙ１，ｙ２，…，ｙｎ）：ジャギー発生後の画像で画素値ｙ１，ｙ２，…，ｙｎのｎ個の画素ブロックが出現する確率、
Ｐ（ｙ１，ｙ２，…，ｙｎ｜ｘ）：ジャギー発生前の画像において、画素値ｘが出現した時に、ジャギー発生後の画像の対応画素位置のｎ個の近傍画素の画素値が順にｙ１，ｙ２，…，ｙｎとなる確率、
Ｐ（ｘ｜ｙ１，ｙ２，…，ｙｎ）：ジャギー発生後の画像におけるｎ個の画素ブロックの画素値が順にｙ１，ｙ２，…，ｙｎとなる場合に、ブロック中心の画素位置に対応するジャギー発生前の画像の画素位置の画素値がｘとなる確率、
である。

つまり、上記（式２）に従って、ジャギー発生後画像から選択されるｎ個の画素ブロックで、
画素値：ｙ１，ｙ２，…，ｙｎ
を観測した時に、この画素ブロックの中央の画素に対応するジャギー発生前画像の画素に画素値ｘが発生する確率を算出できる。

従って、ジャギー発生後の画像における画素ブロックの画素値を観測した時に確率Ｐ（ｘ｜ｙ１，ｙ２，…，ｙｎ）が最大となるｘを求めれば、ジャギー前の画素値を推定することが可能となる。
具体的には、以下に示す（式３）に従って、ジャギー前の画素値ｘ^＊を推定することが可能となる。なお、ここで画素値は、輝度画像の画素値であり輝度値に相当する。

・・・・・（式３）

ただし、
ｘ^＊：推定されたジャギー発生前の画素値（輝度値）
ここで、ジャギー発生後の近傍画素値、ｙ１，ｙ２，…，ｙｎを観測する確率は１つの観測領域で一意に決定されるため、上記の（式３）は以下の（式４）に示すように簡略化できる。

・・・・・（式４）

画像推定部（ベイズ推定部）１０２は、輝度色差分離部１０１から入力する入力画像（ジャギー発生画像）１０に基づいて生成された輝度画像から画素ブロックを選択し、上記（式４）を適用して、ジャギー発生前の画像における画素値（輝度値）：ｘ^＊を推定する。
この推定処理によって、ジャギー発生前推定画像、すなわちジャギー発生前の輝度画像が生成される。

なお、ここで推定した輝度画像は階調数が少なく、人工的な見た目となる傾向が強い。これは確率的に尤もらしい画素値が、全階調のうちの一部に偏っているためである。そこで、本手法の一例ではベイズ推定によって求めた輝度情報はエッジの形状情報としてのみ利用することとする。

上述の画像推定部（ベイズ推定部）１０２におけるベイズ推定処理では、注目画素とその近傍画素の画素値を利用して、ジャギー発生後画像の画素値から、ジャギー発生前の画素値を推定する処理を行っている。

この処理例以外にも、例えばエッジを表現する特徴量を用いたベイズ推定により、ジャギー発生後画像の画素値から、ジャギー発生前の画素値を推定する処理を行うことも可能である。
この場合、事前学習データとして、事前にジャギー発生前後の画像からエッジを表現する特徴量を抽出して統計量を保持しておく。
ジャギー低減処理の対象となるジャギー発生画像が入力された時に、ジャギー発生画像からエッジを表現する特徴量を抽出してベイズ推定によってジャギー発生前のエッジ特徴量を求める。この特徴量を利用するとジャギー発生前のエッジ間の類似度を求めることができるため、これに続く平均化処理で必要な類似度として利用することができる。

画像推定部（ベイズ推定部）１０２では、ジャギー発生前のエッジ形状を正確に求めるために確率的なアプローチを採用しているが、ジャギー発生画像に対して、例えば平滑化フィルタを施して平滑化した画像を生成し、平滑化画像をジャギー発生前の画像とみなす構成としてもよい。

ジャギーが見かけ上すべて低減される程度の平滑化フィルタを画像全体にかけると画像全体の解像度が劣化するが、ジャギーが特に顕著に現れるコントラストの強いエッジの構造自体は維持される。この構造を利用してエッジ近辺の類似度を算出することでベイズ推定を用いる方法の代替手法となる。

具体的にはジャギー発生後の画像に対して、例えば、次の（式５）に示すような線形フィルタを適用して平滑化を行う。

・・・・・（式５）

上記（式５）に示すフィルタのカットオフ周波数はジャギーの原因となる折り返し発生周波数でもある。すでに折り返しが発生している画像に対する平滑化のため、折り返し自身を完全に取り除くことは困難であるが、おおよそジャギー低減効果を得られるため、このようなフィルタを利用する。

（２−３．（処理３）推定された輝度画像から類似度を求め、ＮＬ−Ｍｅａｎｓによってジャギー低減を行う処理）
次に、画像推定部（ベイズ推定部）１０２において推定されたジャギー発生前推定輝度画像から類似度を求め、ＮＬ−Ｍｅａｎｓ（Ｎｏｎ Ｌｏｃａｌ−Ｍｅａｎｓ：ノンローカル手法）によってジャギー低減を行う処理について説明する。
この処理は、主に図４に示す画像処理装置１００中の加重加算部（ＮＬ−Ｍｅａｎｓ）１０３において実行される。

画像処理装置１００において低減対象としているジャギーは、多くの場合、エッジに沿って規則的なパターンとなって出現する。そのため、類似エッジ周辺画素を平均化することでジャギーをキャンセルすることができる。ただし、ジャギーが残ったままのエッジ形状ではエッジに沿って平均化することが非常に困難である。従って、上述した（処理２）で説明したエッジ形状推定結果を利用することにより、ジャギーの影響を無視して類似エッジ周辺画素の平均化を行う。本手法では平均化処理にＮＬ−Ｍｅａｎｓ法を用いる。ＮＬ−Ｍｅａｎｓ法による平均化処理は、以下の（式６）に従った処理として実行される。

・・・・・（式６）

なお、各パラメータは以下のパラメータである。
ｘ：対象画素値のｘ座標
ｙ：参照画素値のｙ座標
Ｉ：画像全体の画素の集合
ｇ（ｘ）：ＮＬ−Ｍｅａｎｓ適用後の画素値
ｆ（ｘ）：ＮＬ−Ｍｅａｎｓ適用前の画素値
ｆ（ｘ）：座標ｘの近傍画素値をベクトルで表現したもの
ｗ（ｘ，ｙ）：座標ｘ，ｙにある画素値から得られる重み
ｈ：ＮＬ−Ｍｅａｎｓの強度調整パラメータ
Ｃ（ｘ）：重みの総和

上記の（式６）に示すように、ＮＬ−Ｍｅａｎｓは、対象画素と、対象画素の近傍領域と類似している領域の中心画素値を、その類似度に応じて決まる重みを乗算して加算する、という手法である。

加重加算部（ＮＬ−Ｍｅａｎｓ）１０３は、画像推定部（ベイズ推定部）１０２において生成した推定輝度画像８３を入力して、この推定輝度画像８３に基づいて類似度を判定し、加重平均の重み算出に用いる。この処理によって、推定輝度画像８３として生成されるジャギー発生前画像において、類似するエッジ領域には大きめの重みをかけて加重平均を行うことができる。

これにより規則的なパターンとして出現するジャギーの影響を低減することが可能となる。図６を参照して、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３の実行する処理の具体例について説明する。

図６（ａ）は、画像推定部（ベイズ推定部）１０２の生成したジャギー発生前の推定輝度画像である。
例えば、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３は、この推定輝度画像から、ジャギー低減対象領域としての処理領域２０１を選択し、この処理領域２０１に対する類似領域を画像内から検出する。

例えば図６（ｂ）に示すように３つの類似領域２１１〜２１３が検出されたものとする。
次に、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３は、これらの３つの類似領域２１１〜２１３と、処理領域の類似度を判定する。例えば画素値の変化パターン等に応じた類似度を各類似領域２１１〜２１３に設定する。
さらに、各類似領域２１１〜２１３に設定した類似度に応じた重みを設定する。
処理領域２０１との類似度の高い類似領域には大きめの重みを設定し、類似度の低い類似領域には小さめの重みを設定する。

次に、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３は、図４に示す輝度色差分離部１０１の出力するジャギー低減前の輝度画像８１を入力して、この輝度画像に対する加重加算処理を行う。
図４に示す輝度色差分離部１０１の出力するジャギー低減前の輝度画像８１は、図６（ｃ）に示す画像である。

加重加算部（ＮＬ−Ｍｅａｎｓ）１０３は、図６（ｂ）に示す画像推定部（ベイズ推定部）１０２の生成したジャギー発生前の推定輝度画像に基づいて設定した処理領域２０１と検出した類似領域２１１〜２１３に対応する位置の領域を図６（ｃ）に示すジャギー低減前の輝度画像８１から選択して、各対応する類似領域の位置の画素に対して、算出済みの重みを用いて加重平均を行い、処理領域の画素値（輝度値）の補正画素値（補正輝度値）を算出する。

この処理によりジャギーの低減された輝度画像を生成することができる。
この結果画像が、図６（ｄ）に示すジャギー低減輝度画像である。

なお、上記処理例では、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３は、ＮＬ−Ｍｅａｎｓ（ノンローカル手法）によってジャギー低減を行う構成として説明したが、ＮＬ−Ｍｅａｎｓの代わりにＪｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒを利用することも可能である。ＮＬ−Ｍｅａｎｓはブロック単位で領域間の類似度を算出するが、ブロックの代わりに画素単位の類似度を利用することも可能である。Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒを適用する場合、画素単位の類似度算出に基づく処理も可能である。

（２−４．（処理４）処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする処理）
次に、処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする処理について説明する。
この処理は、図１に示す画像処理装置１００のエッジ抽出部１０４と、ブレンド処理部１０５の処理として実効される。

前述の（処理３）、すなわち、加重加算部１０３の実行する推定輝度画像から類似度を求め、ＮＬ−Ｍｅａｎｓによってジャギー低減を行う処理によってエッジ近辺のジャギーを低減することができる。

しかし、画像内のすべての領域でＮＬ−Ｍｅａｎｓを適用するとテクスチャ領域などでどうしても画像の解像度劣化が顕著となってしまう。これはテクスチャのようなランダム性の強い信号を多く含む領域では、テクスチャそのものがノイズのように扱われてＮＬ−Ｍｅａｎｓによって信号レベルが低減されてしまうためであり、ＮＬ−Ｍｅａｎｓの原理的な問題である。

そこで、処理対象画像内のジャギーの多く発生するエッジ近辺にはＮＬ−Ｍｅａｎｓの結果を積極的に利用し、それ以外の領域は原画像を積極的に用いるようなブレンド処理（マスク処理）を行う。
すなわち、ＮＬ−Ｍｅａｎｓ適用結果を利用したいのはエッジ近辺のみであり、通常のエッジ検出フィルタで反応するようなテクスチャ成分は原画像を利用するという画像特徴に応じて、それぞれの出力をブレンドする処理を行う。
このブレンド処理を実行するのが、図１に示す画像処理装置１００のブレンド処理部１０５である。
エッジ検出処理は、エッジ抽出部（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）１０４において実行される。

まず、エッジ抽出部１０４の処理について説明する。
図４に示す画像処理装置１００のエッジ抽出部１０４は、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ（ＬｏＧ）フィルタによってエッジ領域を抽出する。
ＬｏＧフィルタとはガウシアンによって平滑化をかけた画像に対して、ラプラシアンによるエッジ検出を行うフィルタであり、次の（式７）によって示される。

・・・・・（式７）

ただし、
ｉ，ｊ：フィルタの中心からの水平方向垂直方向の距離
σ：ガウシアンの分散値
である。

上記（式７）に従って、テクスチャ領域は最初のガウシアンフィルタによって高周波成分が除去された状態でラプラシアンフィルタをかけることになるため、そのままラプラシアンフィルタをかける場合よりも検出感度を抑えることができる。一方、ジャギーが特に目立つようなコントラストの強いエッジでは、ガウシアンによる平滑化がかかっても高周波成分を依然として保持しているため、ラプラシアンによる反応感度を高いレベルで維持することができる。

エッジ抽出部１０４は、上記（式７）に示すフィルタによって得られた検出値（ＬｏＧフィルタ検出値）を、図４に示す輝度高周波成分情報８４としてブレンド処理部１０５に出力する。

ブレンド処理部１０５は、エッジ抽出部１０４から入力する輝度高周波成分情報８４に対して、予め既定した上限閾値（ｔｈ_{ｕｐｐｅｒ}）と下限閾値（ｔｈ_{ｌｏｗｅｒ}）を利用して閾値間を直線的に変化するような重み（ブレンド率）分布関数に基づいて、各画素単位の輝度高周波成分情報に応じたブレンド率を算出する。

ブレンド処理部１０５は、図４に示す輝度色差分離部１０１の出力するジャギー補正前の輝度画像Ｌ，８１と、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３の出力するＮＬ−Ｍｅａｎｓの適用結果であるジャギー補正輝度画像Ｌｐ，８５とのブレンド処理を実行してブレンド済みジャギー補正輝度画像Ｌｑ，８６を生成する。

上記のブレンド率は、ブレンド処理部１０５の生成するブレンド済みジャギー補正輝度画像Ｌｑ，８６の各画素における、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３の出力するジャギー補正輝度画像Ｌｐ，８５のブレンド率に相当する。

次式（式８）はブレンド率分布関数α（ｌ）を示し、図７にその例を示す。

・・・・・（式８）

なお、上記（式８）において、各パラメータは以下のパラメータである。
ｌ：ＬｏＧフィルタ検出値
α（ｌ）：ＬｏＧフィルタ検出値がｌの時のＮＬ−Ｍｅａｎｓ結果ブレンド率
ｔｈ_{ｕｐｐｅｒ}，ｔｈ_{ｌｏｗｅｒ}：それぞれ上限、下限閾値

図４に示すブレンド処理部１０５は、
上記のブレンド率分布関数によって得られたブレンド率を適用して、図４に示す輝度色差分離部１０１の出力するジャギー補正前の輝度画像Ｌ，８１（＝ｆｏ）と、加重加算部（ＮＬ−Ｍｅａｎｓ）１０３の出力するＮＬ−Ｍｅａｎｓの適用結果であるジャギー補正輝度画像Ｌｐ，８５（＝ｆ_Ｎ）とのブレンド処理を実行してブレンド済みジャギー補正輝度画像Ｌｑ，８６を生成する。

ブレンド処理部１０５におけるブレンド処理は、以下の（式９）に従って実行する。

・・・・・（式９）

ただし、
ｆ（ｘ）：ブレンド後の輝度画像（＝図４に示すブレンド済みジャギー補正輝度画像Ｌｑ，８６）
α（ｘ）：座標ｘでのブレンド率
ｆ_Ｎ（ｘ）：ジャギー補正輝度画像Ｌｐ，８５の画素値（輝度値）
ｆｏ（ｘ）：ジャギー補正前の輝度画像Ｌ，８１の画素値（輝度値）
である。

以上により、最終出力となるジャギー補正画像の輝度成分からなる輝度画像が生成される。
すなわち、図４に示すブレンド済みジャギー補正輝度画像Ｌｑ，８６である。
ブレンド処理部１０５は、生成したジャギー補正輝度画像Ｌｑ，８６をフィルタ処理部１０６と、輝度色差合成部１０７に出力する。

（２−５．（処理５）色差画像に対してジャギー低減済み輝度画像を参照するＪＢＦによる相関処理に基づく補正色差情報の生成）
次に、色差画像に対してジャギー低減済み輝度画像を参照するＪＢＦによる相関処理に基づく補正色差情報の生成処理について説明する。

この処理は、図４に示す画像処理装置１００のフィルタ処理部１０６において実行される。
フィルタ処理部１０６は、ブレンド処理部１０５の生成したブレンド済みジャギー補正輝度画像Ｌｑ，８６を入力し、入力したブレンド済みジャギー補正輝度画像Ｌｑ，８６を参照画像として利用したＪｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ（ＪＢＦ）を適用した相関処理により補正色差情報（Ｃｒ'，Ｃｂ'）を生成する。
ＪＢＦは以下の（式１０）によって表される。

・・・・・（式１０）

ただし、上記（式１０）において、各パラメータは以下のパラメータである。
ｘ：対象画素値の座標
ｙ：参照画素値の座標
Ｎ：対象画素ｘの近傍画素の集合
ｇ（ｘ）：ＪＢＦ適用後の画素値
ｆ（ｘ）：ＪＢＦ適用前の画素値
ｒ（ｘ）：ＪＢＦで類似度を算出する参照画像
ｗ（ｘ，ｙ）：座標ｘ，ｙにある画素値から得られる重み
ｈ：ＪＢＦの強度調整パラメータ
Ｃ（ｘ）：重みの総和

なお、輝度成分を参照画像として色差成分にＪＢＦを適用する処理は、輝度と色差の相関を取る処理に他ならない。既に輝度成分は前述した各種の処理によりエッジ近辺のジャギーが既に低減されている状態である。この状態の輝度との相関を取ることで色差成分の補正を行う。この結果、補正された輝度画素に応じて各画素の色差成分が補正される。

フィルタ処理部１０６の生成する補正色差（Ｃｒ'，Ｃｂ'）は、輝度色差合成部１０７に出力される。

（２−６．（処理６）輝度色差合成処理）
次に、図４に示す画像処理装置１００の輝度色差合成部１０７の実行する輝度色差合成処理について説明する。

輝度色差合成部１０７は、
ブレンド処理部１０５の出力するブレンド済みジャギー補正輝度画像Ｌｑ，８６、
フィルタ処理部１０６の出力する補正色差（Ｃｒ'，Ｃｂ'）、
これらを入力する。

輝度色差合成部１０７は、これらの輝度色差成分からＲＧＢ変換への逆変換処理を実行してジャギー低減画像を出力画像９０として生成する。

なお、輝度色差成分からＲＧＢ変換への逆変換処理は、先に「（処理１）ＲＧＢ画像から輝度画像とその色差情報への色変換処理」において説明した（式１）に、
ブレンド処理部１０５の出力するブレンド済みジャギー補正輝度画像Ｌｑ，８６、の輝度値と、
フィルタ処理部１０６の出力する補正色差（Ｃｒ'，Ｃｂ'）を入力して、Ｒ，Ｇ，Ｂを求める処理として実効することができる。
輝度色差合成部１０７は、この逆変換処理によって、ジャギー低減画像としての出力画像９０を生成する。

なお、上述した実施例において、色差成分に前述したジャギー低減を行わないのは主に次の２つの理由からである。
第一に自然画において人間が解像度劣化を強く認知するのは輝度成分の劣化によるものであり、色差成分の高周波成分劣化は輝度成分ほどの影響を与えない。そのため、輝度成分には計算時間をかけてでも解像度劣化を極力抑えたジャギー低減処理を行い、色差成分には多少の解像度劣化が発生してしまうが比較的計算量が少ないＪＢＦを利用している。

第二に、画素加算・間引きによって発生するアーチファクトは輝度成分のジャギーだけでなく、偽色も同様に観測される。これは画素加算・間引きによるリサンプリングにより、Ｒ，Ｇ，Ｂ成分の高周波成分にそれぞれの位相で折り返しが発生してしまうためである。

偽色の低減で有効なのは、すべての色成分を輝度成分と相関を持つように補正することである。輝度成分を参照画像としたＪＢＦには強い相関を与える効果があるため、色差にＪＢＦを適用することで輝度のジャギーだけでなく偽色対策も行うことが可能である。

以上、本開示の画像処理装置の実行する一実施例について説明してきた。
なお、本開示の画像処理装置の実行するジャギー低減処理には、例えば以下の特徴がある。
・任意のジャギーパターンに対応可能
・解像度劣化が小さい
・線形フィルタで表現できないような角度のエッジでもジャギー低減可能
・偽色低減を行える

［３．画像処理装置の構成例について］
先に、図４を参照して画像処理装置１００の構成について説明したが、前述したように、図４に示す画像処理装置１００は、画像処理装置の主要部の構成であり、画像処理装置１００は、この他、例えば全体の処理制御を実行する制御部、例えば所定の処理プログラムの実行機能持つＣＰＵを備えた制御部や、プログラム、画像、各種のパラメータを記憶するためのメモリを備えている。
画像処理装置１００は、具体的には、例えば、ＰＣ、撮像装置（カメラ）として構成することが可能である。

図４に示す画像処理構成を撮像装置に組み込んだは場合の構成例を図８に示す。
図８は、撮像装置の構成例を示すブロック図である。光学レンズ３０１を介して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像素子３０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部３０３に入力される。信号処理部３０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正、デモザイク処理等、一般的なカメラにおける信号処理を行う。

さらに、信号処理部３０３は、例えば、画素加算処理や画素間引き処理等の画素数の削減処理と、上述したジャギー低減処理を実行して出力画像３２０を生成する。出力画像３２０は、例えば図示しない記憶部に格納される。あるいは表示部に出力される。

制御部３０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。
具体的には、例えば図４〜図７を参照して説明したジャギー低減処理、すなわち、
（処理１）ＲＧＢ画像から輝度画像とその色差へと色変換を行う。またこの逆変換を行う。［輝度色差分離部１０１、輝度色差合成部１０７の処理］
（処理２）ジャギーの発生している輝度画像からベイズ推定によってジャギー発生前の輝度画像を推定する。［画像推定部（ベイズ推定部）１０２の処理］
（処理３）推定された輝度画像から類似度を求め、ＮＬ−Ｍｅａｎｓによってジャギー低減を行う。［主に加重加算部１０３の処理］
（処理４）処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする。［エッジ抽出部１０４と、ブレンド処理部１０５の処理］
（処理５）色差画像に対してジャギー低減済み輝度画像を参照するＪＢＦによっての相関処理に基づく補正色差情報の生成。［フィルタ処理部１０６の処理］
（処理６）輝度色差合成処理。［輝度色差合成部１０７の処理］
これらの処理に対する制御等を行う。

［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。

（１）ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定部と、
前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算部を有する画像処理装置。

（２）前記画像推定部は、前記ジャギー発生画像から生成した輝度画像を入力してジャギー発生前推定輝度画像を生成し、前記加重加算部は、前記ジャギー発生前推定輝度画像に基づいて前記重みを算出し、前記ジャギー発生画像から生成した輝度画像を適用して、前記重みを適用した画素値の加重加算処理を実行する前記（１）に記載の画像処理装置。
（３）前記画像推定部は、事前学習データを適用したベイズ推定処理により、ジャギー発生前推定画像を生成する前記（１）または（２）に記載の画像処理装置。
（４）前記画像推定部は、前記ジャギー発生画像の平滑化処理によってジャギー発生前推定画像を生成する前記（１）〜（３）いずれかに記載の画像処理装置。

（５）前記画像推定部は、エッジを表現する特徴量の統計データを事前学習データとして適用したベイズ推定処理により、ジャギー発生前推定画像を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記加重加算部は、ＮＬ−Ｍｅａｎｓ（Ｎｏｎ Ｌｏｃａｌ−Ｍｅａｎｓ）法を適用した加重加算処理を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記加重加算部は、Ｊｏｉｎｔ Ｂｉｒａｔｅｒａｌ Ｆｉｌｔｅｒ法を適用した加重加算処理を実行する前記（１）〜（５）いずれかに記載の画像処理装置。

（８）前記画像処理装置は、さらに、前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像を参照画像として、Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ（ＪＢＦ）を適用した相関処理を実行して補正色差情報を生成するフィルタ処理部を有する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記画像処理装置は、さらに、前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像と、補正前のジャギー発生画像に基づいて生成されるジャギー発生輝度画像とを、画像のエッジ領域に応じた重みに従ってブレンドするブレンド処理部を有する前記（１）〜（８）いずれかに記載の画像処理装置。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、画像に発生するジャギーを低減させた高品質な画像を生成することが可能となる。
具体的には、画像推定部において、例えばベイズ推定によりジャギー発生画像からジャギー発生前画像を生成し、生成したジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、処理領域と類似領域に対応するジャギー発生画像の対応領域を検出し、検出した対応領域の画素値に対して、重みを適用した加重加算処理を実行して、ジャギー発生画像の処理領域の補正画素値を算出する。これらの処理により、ジャギーが低減された画像が生成される。

１００ 画像処理装置
１０１ 輝度色差成分分離部
１０２ 画像推定部（ベイズ推定部）
１０３ 加重加算部
１０４ エッジ検出部
１０５ ブレンド処理部
１０６ フィルタ処理部
１０７ 輝度色差合成部
３０１ 光学レンズ
３０２ 撮像素子
３０３ 信号処理部
３０５ 制御部
３２０ 出力画像

Claims (11)

1. ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定部と、
   前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
   前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算部を有する画像処理装置。
2. 前記画像推定部は、
   前記ジャギー発生画像から生成した輝度画像を入力してジャギー発生前推定輝度画像を生成し、
   前記加重加算部は、
   前記ジャギー発生前推定輝度画像に基づいて前記重みを算出し、
   前記ジャギー発生画像から生成した輝度画像を適用して、前記重みを適用した画素値の加重加算処理を実行する請求項１に記載の画像処理装置。
3. 前記画像推定部は、事前学習データを適用したベイズ推定処理により、ジャギー発生前推定画像を生成する請求項１に記載の画像処理装置。
4. 前記画像推定部は、前記ジャギー発生画像の平滑化処理によってジャギー発生前推定画像を生成する請求項１に記載の画像処理装置。
5. 前記画像推定部は、エッジを表現する特徴量の統計データを事前学習データとして適用したベイズ推定処理により、ジャギー発生前推定画像を生成する請求項１に記載の画像処理装置。
6. 前記加重加算部は、ＮＬ−Ｍｅａｎｓ（Ｎｏｎ Ｌｏｃａｌ−Ｍｅａｎｓ）法を適用した加重加算処理を実行する請求項１に記載の画像処理装置。
7. 前記加重加算部は、Ｊｏｉｎｔ Ｂｉｒａｔｅｒａｌ Ｆｉｌｔｅｒ法を適用した加重加算処理を実行する請求項１に記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像を参照画像として、Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ（ＪＢＦ）を適用した相関処理を実行して補正色差情報を生成するフィルタ処理部を有する請求項１に記載の画像処理装置。
9. 前記画像処理装置は、さらに、
   前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像と、補正前のジャギー発生画像に基づいて生成されるジャギー発生輝度画像とを、画像のエッジ領域に応じた重みに従ってブレンドするブレンド処理部を有する請求項１に記載の画像処理装置。
10. 画像処理装置において画像処理を実行する画像処理方法であり、
    画像推定部が、ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定ステップと、
    加重加算部が、前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
    前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算ステップを実行する画像処理方法。
11. 画像処理装置において画像処理を実行させるプログラムであり、
    画像推定部に、ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成させる画像推定ステップと、
    加重加算部に、前記ジャギー発生前推定画像におけるシャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出させ、
    前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算ステップを実行させるプログラム。