JP6619638B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、入力画像データが画像変換された変換画像データに生じるリンギングを、画像データのシャープネスを考慮しつつ抑制することが可能な画像処理装置及びプログラムに関する。

画像を変換するために、種々の画像変換処理が採用されている。しかし、画像変換処理により画像データの波長成分が変調された結果、エッジの周辺にスジが現れるいわゆるリンギングが発生する場合がある。

特許文献１には、リンギングの強調を抑え、ぼけた画像を鮮鋭化することを課題とした画像鮮鋭化装置であって、入力画像と、前記入力画像の画素値を初期値とする仮鮮鋭化画像とを記憶するための記憶部と、前記入力画像の各画素に対して、当該画素がエッジ領域に属するかを判定する判定部と、前記エッジ領域に属すると判定されたエッジ画素の周辺の前記入力画像の各画素の画素値の分布、または前記エッジ画素と対応する前記仮鮮鋭化画像の対応画素の周辺の各画素の画素値の分布、から制限範囲の画素値の上限値及び下限値を算出する、レンジ算出部と、（ａ）前記対応画素の周辺の各画素の画素値それぞれに、前記対応画素からの距離に応じた重み係数を乗じた和の試算画素値を算出し、（ｂ１）前記エッジ画素の画素値と前記試算画素値との差分量よりも、前記エッジ画素の画素値と前記対応画素の周辺の各画素の変換後の画素値で算出した場合に得られる試算画素値との差分量の方が小さくなるように、前記対応画素の周辺の各画素の変換後の画素値を求め、（ｂ２）算出された各画素の変換後の画素値が、前記制限範囲に収まるように補正した画素値を前記仮鮮鋭化画像の画素値に書き込む変換部と、を有することを特徴とする画像鮮鋭化装置が開示されている。

特開２０１０−２１２７８２号公報

特許文献１の方法によれば、エッジ周辺のリンギングを抑えながら、ぼけた画像を鮮鋭化することができるものの、画像のシャープネスを考慮したリンギング抑制処理を実行することができなかった。

本発明はこのような事情に鑑みてなされたものであり、画像変換処理された変換画像データに生じるリンギングを、画像データのシャープネスを考慮しつつ抑制することが可能な画像処理装置及びプログラムを提供するものである。

本発明によれば、入力画像データに基づいて、リンギングが発生する度合いを表すリンギング発生度を推定するリンギング発生度推定部と、前記入力画像データに基づいて、前記入力画像データが表す入力画像のシャープネスの強さを表すシャープネス強調度を推定するシャープネス推定部と、前記入力画像データが画像変換された変換画像データに対し、前記リンギング発生度及び／又は前記シャープネス強調度に基づいて、前記画像変換の度合いを抑制する調整処理を画素毎に実行する調整部と、を有する画像処理装置が提供される。

本発明者らは、入力画像データに対して画像変換処理がなされる場合、入力画像データが表す画像がぼやけていない画像（つまり、シャープネスの度合いが強い画像）であれば、画像変換処理により過剰に補正された画像を出力することになり、かかる出力画像にはリンギングが発生しやすいことに着目した。あわせて、入力画像データが表す画像がぼやけた画像（つまり、シャープネスの度合いが低い画像）であれば、画像変換処理により補正された画像を出力しても、エッジの周辺でリンギングが発生しやすいことに着目した。そして、さらなる画像の高画質化に向けて、画像データのシャープネスを考慮しつつリンギングを抑制するというコンセプトを見出し、本発明の完成に至った。

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記リンギング発生度推定部は、前記入力画像データに含まれる一の画素を注目画素とし、前記注目画素及び前記注目画素の周辺の複数の周辺画素を含む周辺画素領域における特徴量に基づいて、リンギングが発生すると推定される前記注目画素にリンギングフラグを設定するリンギングフラグ設定部を備え、前記調整部は、前記注目画素に前記リンギングフラグが設定されているか否かにより、前記注目画素に対して異なる調整処理を実行する。
好ましくは、前記調整部は、前記リンギングフラグが設定された注目画素に対して、前記リンギングフラグが設定されていない注目画素と比べて、前記画像変換の度合いをより抑制する調整処理を実行する。
好ましくは、前記調整部は、前記リンギングフラグが設定されていない前記注目画素に対して、前記シャープネス強調度に基づいて前記調整処理を実行する。
好ましくは、前記調整部は、前記リンギングフラグが設定された前記注目画素に対して、前記リンギング発生度及び前記シャープネス強調度に基づいて前記調整処理を実行する。
好ましくは、前記調整部による前記調整処理は、前記入力画像データに含まれる前記注目画素の階調値と、前記変換画像データに含まれる前記注目画素の階調値と、を所定の比率で混合することにより、出力画像データに含まれる前記注目画素の階調値を算出する。
好ましくは、前記変換画像データに含まれる前記注目画素の階調値に乗算する調整係数を算出する調整係数算出部を有し、前記調整部は、前記変換画像データに含まれる前記注目画素の階調値に前記調整係数を乗算し、前記入力画像データに含まれる前記注目画素の階調値に前記調整係数に起因する値を乗算する。
好ましくは、前記調整係数算出部は、前記シャープネス強調度、又は前記シャープネス強調度及び前記リンギング発生度に基づいて調整係数を算出する。
好ましくは、前記リンギング発生度推定部は、前記周辺画素領域のうち、前記リンギングフラグが設定された画素の数に基づいて、前記注目画素のリンギング発生度を推定する。
好ましくは、前記シャープネス推定部は、前記入力画像データをローパスフィルタで処理して得られた画像データに含まれる画素値の分散値の総和と、前記入力画像データに含まれる画素値の分散値の総和と、に基づいて、前記シャープネス強調度を推定する。
好ましくは、入力画像データに含まれる注目画素及び前記注目画素の周辺の複数の周辺画素を含む周辺画素領域における特徴量が、予め定められた第１閾値を上回る場合、前記注目画素をビッグエッジと判定するビッグエッジ判定部と、前記周辺画素領域における特徴量が、予め定められた第２閾値を下回る場合、前記注目画素を平坦画素と判定する平坦画素判定部と、前記注目画素が前記平坦画素と判定された場合、前記周辺画素領域に含まれる前記平坦画素の総和を計算する総和計算部と、前記周辺画素領域に含まれる前記平坦画素の総和が予め定められた第３閾値を上回る場合、前記注目画素の周囲は平坦部分であると判定する平坦部分判定部と、前記ビッグエッジ抽出部により前記注目画素が前記ビッグエッジと判定された場合、又は、前記平坦部分判定部により前記注目画素の周囲は平坦部分であると判定され且つ前記周囲画素領域に前記ビッグエッジが含まれる場合、前記注目画素にリンギングが発生すると推定する推定部と、を含むリンギング推定装置が提供される。
好ましくは、コンピュータを、入力画像データに基づいて、リンギングが発生する度合いを表すリンギング発生度を推定するリンギング発生度推定部、前記入力画像データに基づいて、前記入力画像データが表す入力画像のシャープネスの強さを表すシャープネス強調度を推定するシャープネス推定部、前記入力画像データが画像変換された変換画像データに対し、前記リンギング発生度及び／又は前記シャープネス強調度に基づいて、前記画像変換の度合いを抑制する調整処理を画素毎に実行する調整部、として機能させるプログラムが提供される。

本発明の一実施形態に係る画像処理装置１のブロック図である。 本発明の一実施形態に係る注目画素にリンギングフラグを設定する処理を表すフローチャートである。 本発明の一実施形態に係る注目画素にリンギングフラグを設定する処理を説明する概念図である。リンギングフラグが設定された画素はリンギングが発生すると推定され、リンギングフラグが設定されない画素はリンギングが発生しないと推定される。 本発明の一実施形態に係るリンギング推定結果を表す図である。図４では、リンギングが発生すると推定される画素を白色で表している。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

図１〜図３を用いて、本発明の一実施形態に係る画像処理装置１について説明する。本発明の一実施形態に係る画像処理装置のブロック図である。画像処理装置１は、少なくとも制御部及び記憶部（図示せず）を有するコンピュータにより実現される。制御部は、種々の演算処理を実行するものであり、例えば、ＣＰＵ等により構成される。記憶部は、種々のデータやプログラムを記憶するものであり、例えば、メモリ、ＨＤＤ又はＳＳＤにより構成される。ここで、プログラムは、画像処理装置１の出荷時点においてプリインストールされていてもよく、Ｗｅｂ上のサイトからアプリケーションとしてダウンロードしてもよく、有線又は無線通信により他の情報処理装置から転送されてもよい。

＜全体構成＞
画像処理装置１は、入力画像出力部３０と、画像変換処理部１０と、リンギング抑制部２０と、を備える。リンギング抑制部２０は、リンギング発生度推定部２１と、シャープネス推定部２２と、調整係数算出部２３と、調整部２４と、を備える。

入力画像出力部３０は、画像処理装置１に入力された画像データである入力画像データＳ１を、画像変換処理部１０及びリンギング抑制部２０に出力する。画像変換処理部１０は、入力画像出力部３０により出力された入力画像データＳ１を受信し、入力画像データＳ１に対して種々の画像変換処理を実行する。かかる画像変換処理は特に限定されないが、例えば、エッジを強調するエッジ先鋭化処理が挙げられる。具体的には、入力画像データＳ１を構成する波長成分を低周波成分と高周波成分に分離し、高周波成分を補正する画像変換処理、入力画像データＳ１を構成する高周波成分の輝度を補正する画像変換処理、スパース表現を利用した学習型の画像再構成処理等である。リンギング抑制部２０は、画像変換処理部１０により画像変換処理がなされた入力画像データ（以下、変換画像データＳ２）に対し、リンギングが発生する度合いに基づいて、又は、リンギングが発生する度合い及びシャープネスの度合いに基づいて、リンギングを抑制するための調整処理を画素毎に実行するものである。例えば、入力画像データＳ１が表す画像がぼやけていない画像（つまり、シャープネスの度合いが強い画像）であれば、画像変換処理部１０による画像変換処理における補正が過剰となり、変換画像データＳ２にリンギングが発生することがある。したがって、このような過剰な補正をリンギング抑制部２０が抑制することで、リンギングの発生を抑制する。また、入力画像データＳ１が表す画像がぼやけた画像（つまり、シャープネスの度合いが低い画像）であれば、画像変換処理部１０による画像変換処理における補正の結果、変換画像データＳ２のエッジの周辺でリンギングが発生することがある。したがって、リンギング抑制部２０が、かかるリンギングを抑制するための処理を実行する。

＜リンギング抑制部２０＞
次に、リンギング抑制部２０を構成するリンギング発生度推定部２１と、シャープネス推定部２２と、調整係数算出部２３と、調整部２４について説明する。

＜リンギング発生度推定部２１＞
リンギング発生度推定部２１は、入力画像データＳ１に含まれる注目画素及び注目画素の周辺の複数の周辺画素を含む周辺画素領域における特徴量に基づいて、リンギング発生度を推定する。まず、リンギング発生度推定部２１は、周辺画素領域における特徴量に基づいて、リンギングが発生すると推定される注目画素にリンギングフラグを設定する。そして、注目画素を中心とした周辺画素領域のうち、リンギングフラグが設定された画素の数に基づいて、注目画素のリンギング発生度を推定する。注目画素にリンギングフラグを設定する処理については、図２を用いて説明する。

図２は、本発明の一実施形態に係るリンギング発生度推定部２１が注目画素にリンギングフラグを設定する処理を表すフローチャートである。リンギング発生度推定部２１は、リンギングは、（１）ビッグエッジの周辺に存在し、（２）エッジ周辺の平坦部に目立つ、という特徴を利用して、入力画像データＳ１に含まれる注目画素にリンギングが発生する度合いを表すリンギング発生度を推定するものである。具体的には、入力画像データＳ１に含まれる注目画素及び注目画素の周辺の複数の周辺画素を含む周辺画素領域における特徴量に基づいて、リンギング発生度を推定する。ここで、周辺画素領域は、注目画素を中心とし、注目画素の周辺の複数の画素を含む領域である。例えば、周辺画素領域は、注目画素を中心とした３×３画素、５×５画素、７×７画素、９×９画素とすることができる。なお、周辺画素領域は、これらに限定されず、注目画素を中心とした複数の画素であって、主走査方向と副走査方向における画素数が異なるものであってもよい。また、画素数として任意の画素数を採用することができる。

まず、Ｓ１において、入力画像出力部３０により出力された入力画像データＳ１に含まれる一の画素を注目画素とし、注目画素の周辺画素領域における特徴量を算出する。ここで、特徴量としては、任意の量を利用することができる。例えば、注目画素を中心とした３×３画素の周辺画素領域における輝度の分散、平均又は注目画素と注目画素に隣接する隣接画素との輝度の差分を特徴量としてもよい。また、輝度に代えて、明度や彩度を利用してもよい。さらに、周辺画素領域を構成する画素数は任意の画素数とすることができる。Ｓ１における処理は、図示しない制御部により制御される特徴量算出部によって実行される。

次に、Ｓ２において、注目画素がビッグエッジであるか否かの判定がなされる。かかる判定は、注目画素の特徴量と、予め定められた第１閾値（以下、ＢＩＧ＿ＥＤＧＥ＿ＴＨ）を比較することによりなされる。ＢＩＧ＿ＥＤＧＥ＿ＴＨは、ビッグエッジの判定に用いられるものであり、値を大きくするほど注目画素にリンギングが発生すると推定されにくくなる。そして、特徴量＞ＢＩＧ＿ＥＤＧＥ＿ＴＨであれば（Ｙｅｓ）、かかる注目画素をビッグエッジと判定し、Ｓ７に進む。Ｓ７において、ビッグエッジと判定された注目画素にリンギングフラグが設定される。一方、特徴量＞ＢＩＧ＿ＥＤＧＥ＿ＴＨを満たさない場合（Ｎｏ）、かかる注目画素はビッグエッジでないと判定され、Ｓ３に進む。Ｓ２における処理は、図示しない制御部により制御されるビッグエッジ判定部によって実行される。

次に、Ｓ３において、注目画素が平坦画素であるか否かの判定がなされる。かかる判定は、注目画素の特徴量と、予め定められた第２閾値（以下、ＦＬＡＴ＿ＴＨ）を比較することによりなされる。ＦＬＡＴ＿ＴＨは、平坦画素の判定に用いられるものであり、値を小さくするほど注目画素にリンギングが発生すると推定されにくくなる。そして、特徴量＜ＦＬＡＴ＿ＴＨであれば（Ｙｅｓ）、かかる注目画素を平坦画素と判定し、Ｓ４に進む。一方、特徴量＜ＦＬＡＴ＿ＴＨを満たさない場合（Ｎｏ）、かかる注目画素は平坦画素でないと判定され、処理を終了する。Ｓ３における処理は、図示しない制御部により制御される平坦画素判定部によって実行される。

次、Ｓ４において、注目画素を中心とした周辺画素領域内における平坦画素の総和を計算する。例えば、図３（ａ）に示されるように、注目画素が平坦画素と判定されると、注目画素の周辺の周辺画素領域内の他の画素に対してそれぞれ特徴量＜ＦＬＡＴ＿ＴＨを満たすか否かを判断する。なお、他の画素の特徴量は、Ｓ１において予め算出したものを受け取るようにしてもよい。ここで、周辺画素領域を、例えば、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５の画素とすることができる。好ましくは、５×５〜１３×１３である。さらに好ましくは、７×７〜１１×１１である。なお、本実施形態では、一例として、９×９の周辺画素領域を用いて処理を実行する。なお、周辺画素領域を構成する画素数は、任意である。Ｓ４における処理は、図示しない制御部により制御される総和計算部によって実行される。

次に、Ｓ５において、注目画素の周囲が平坦部分であるか否かが判定される。かかる判定は、周辺画素領域内における平坦画素の総和と、予め定められた第３閾値（以下、ＳＵＭ＿ＦＬＡＴ＿ＴＨ）を比較することによりなされる。ＳＵＭ＿ＦＬＡＴ＿ＴＨは、注目画素の周囲が平坦部分であるか否かを判定するものであり、値を大きくするほど注目画素にリンギングが発生すると推定されにくくなる。例えば、ＳＵＭ＿ＦＬＡＴ＿ＴＨを４５とした場合、図３（ａ）の例では、周辺画素領域内における平坦画素の総和が５３（注目画素含む）である（特徴量＞ＳＵＭ＿ＦＬＡＴ＿ＴＨを満たす画素が注目画素以外に５２個存在する）ので、平坦画素の総和＞ＳＵＭ＿ＦＬＡＴ＿ＴＨを満たす。よって、かかる注目画素を中心とする周辺画素領域は平坦部分として判定され、（Ｙｅｓ）、Ｓ６に進む。一方、平坦画素の総和＞ＳＵＭ＿ＦＬＡＴ＿ＴＨを満たさない場合（Ｎｏ）、かかる注目画素を中心とする周辺画素領域は平坦部分でないと判定され、処理を終了する。Ｓ５における処理は、図示しない制御部により制御される平坦部分判定部によって実行される。

次に、Ｓ６において、注目画素の周辺の周辺画素領域内にビッグエッジが存在するか否かが判定される。具体的には、注目画素を中心とした周辺画素領域内の他の画素に、特徴量＞ＢＩＧ＿ＥＤＧＥ＿ＴＨを満たす画素（つまり、ビッグエッジと判定される画素）があるか否かを確認する。ここで、周辺画素領域を、例えば、３×３、５×５、７×７、９×９、１１×１１、１３×１３、１５×１５の画素とすることができる。好ましくは、５×５〜１３×１３である。さらに好ましくは、７×７〜１１×１１である。なお、本実施形態では、一例として、９×９の周辺画素領域を用いて処理を実行する。かかる判定は、周辺画素領域内の他の画素に対してそれぞれ、Ｓ２と同様に特徴量＞ＢＩＧ＿ＥＤＧＥ＿ＴＨを満たすか否かによりなされる。ここで、他の画素の特徴量は、Ｓ１において予め算出したものを受け取るようにしてもよい。例えば、図３（ｂ）の場合、周辺画素領域内に特徴量＞ＢＩＧ＿ＥＤＧＥ＿ＴＨを満たす画素（ビッグエッジと判定される画素）が存在する（Ｙｅｓ）ので、Ｓ７に進む。一方、周辺画素領域内にビッグエッジが存在しない場合（Ｎｏ）、処理を終了する。Ｓ６における処理は、図示しない制御部により制御される周辺画素確認部によって実行される。

次に、Ｓ７において、注目画素にリンギングフラグを設定する。Ｓ６のルートを通った注目画素については、リンギングは、（１）ビッグエッジの周辺に存在し、（２）エッジ周辺の平坦部に目立つ、という特徴を満たすものである。一方、Ｓ２のルートを通った注目画素については、ビッグエッジであると判定されたので、リンギングが発生すると推定されるため、リンギングフラグを設定する。Ｓ７における処理は、図示しない制御部により制御されるリンギングフラグ設定部によって実行される。

その後、リンギングフラグが設定された注目画素に隣接する画素に対し、繰り返し上記処理（Ｓ１〜Ｓ７）を実行し、入力画像データＳ１に含まれる全ての画素に対してリンギングフラグを設定するか否かの処理が実行される。

そして、全ての画素について上記処理が完了すると、リンギング発生度推定部２１は、注目画素を中心とする周辺画素領域内の画素に設定されたリンギングフラグの数を計算する。計算結果は周辺画素領域を構成する画素数で除算して規格化され、リンギングが発生する度合いを表すリンギング発生度として０〜１の値が算出される。例えば、周辺画素領域が７×７画素の場合、リンギングフラグが設定された画素数は０〜４９の値をとり、これを４９で除算して規格化することで、０〜１で表されるリンギング発生度が算出される。なお、周辺画素領域を構成する画素数は任意であり、例えば９×９画素としてもよい。

＜シャープネス推定部２２＞
次に、図１を用いて、シャープネス推定部２２について説明する。シャープネス推定部２２は、入力画像データＳ１のシャープネスの強さを表すシャープネス強調度を推定する。シャープネス強調度は、画像のぼやけ具合を表す指標であり、例えば画像を拡大してもぼやけない場合、かかる画像はシャープネス強調度が強く、高シャープネス画像である。一方、画像を拡大することで画像がぼやける場合、かかる画像はシャープネス強調度が弱く、低シャープネス画像である。シャープネス推定部２２によるシャープネス強調度の推定処理は特に限定されないが、例えば、入力画像データＳ１をローパスフィルタで処理して得られた画像データに含まれる画素値の分散値の総和Ｓ＿ｄｉｆｆと、入力画像データＳ１に含まれる画素値の分散値の総和Ｓ＿ｏｒｇと、に基づいて、シャープネス強調度を推定することができる。具体的には、Ｓ＿ｄｉｆｆ／Ｓ＿ｏｒｇの値をシャープネス強調度とする。なお、一般的に、ローパスフィルタで処理されて得られた画像データの方が、元の画像データと比べて画素値の分散値の総和が小さくなるので、Ｓ＿ｄｉｆｆ＜Ｓ＿ｏｒｇの関係を満たす。よって、シャープネス強調度（Ｓ＿ｄｉｆｆ／Ｓ＿ｏｒｇ）は、０〜１の範囲となる。そして、シャープネス推定部２２は、シャープネス強調度を調整係数算出部２３に出力する。なお、シャープネス強調度は、入力画像データＳ１に含まれる全ての画素で同じ値をとる。

＜調整係数算出部２３＞
次に、図１を用いて、調整係数算出部２３について説明する。調整係数算出部２３は、変換画像データに含まれる注目画素の階調値に乗算する調整係数αを算出する。αは、後述する調整処理において変換画像データＳ２に乗算される値であり、αの値が小さいほど変換画像データＳ２に対する過剰な補正が抑制される。ここで、入力画像データＳ１のシャープネス強調度を考慮しつつ適切にリンギングを抑制するために、注目画素にリンギングフラグが設定されているか否かにより、異なる方法でαを算出する。具体的には、以下の式を用いてαを算出する。

α＝（１−リンギング発生度）×（１−シャープネス強調度）（注目画素にリンギングフラグが設定されている場合）
α＝（１−シャープネス強調度）（注目画素にリンギングフラグが設定されていない場合）

ここで、リンギング発生度及びシャープネス強調度はともに０〜１の範囲であるので、（１−リンギング発生度）及び（１−シャープネス強調度）もともに０〜１の範囲となる。したがって、注目画素にリンギングフラグが設定されている場合の方が、注目画素にリンギングフラグが設定されていない場合に比べてαが小さくなる。換言すると、注目画素にリンギングフラグが設定されている場合の方が、注目画素にリンギングフラグが設定されていない場合に比べて、変換画像データＳ２に対する過剰な補正がより抑制されるようにαが算出される。また、注目画素にリンギングフラグが設定されている場合には、注目画素の周囲に存在するビッグエッジの数が多い（つまり、リンギング発生度が大きい）ときの方が、注目画素の周囲に存在するビッグエッジの数が少ない（つまり、リンギング発生度が小さい）ときよりもαが小さくなる。つまり、注目画素の周囲に存在するビッグエッジの数が多いほど、変換画像データＳ２に対する過剰な補正が抑制されることになる。このように、調整係数算出部２３は、注目画素にリンギングフラグが設定されていない場合には、シャープネス強調度に基づいてαを算出する。また、調整係数算出部２３は、注目画素にリンギングフラグが設定されている場合、リンギング発生度及びシャープネス強調度に基づいて、αを算出する。そして、調整係数算出部２３は、算出したαを調整部２４に出力する。

＜調整部２４＞
次に、図１を用いて、調整部２４について説明する。調整部２４は、注目画素にリンギングフラグが設定されているか否かにより、注目画素に対して異なる調整処理を実行する。具体的には、調整部２４は、入力画像データＳ１に含まれる注目画素の階調値と、変換画像データＳ２に含まれる注目画素の階調値と、を所定の比率で混合することにより、出力画像データＳ３に含まれる注目画素の階調値を算出する。さらに具体的には、調整部２４は、入力画像データＳ１に含まれる注目画素の階調値及び変換画像データＳ２に含まれる注目画素の階調値と、α又はαに起因する値を乗算又は除算することにより、調整処理を実行する。そして、調整処理を実行して得られた画像データを出力画像データＳ３に含まれる注目画素の階調値として後段に出力する。出力画像データＳ３に含まれる注目画素の階調値は、以下の式に基づいた調整処理により得られる。

出力画像データＳ３に含まれる注目画素の階調値＝変換画像データＳ２に含まれる注目画素の階調値×α＋入力画像データＳ１に含まれる注目画素の階調値×（１−α）

変換画像データＳ２に含まれる注目画素の階調値にαを乗算し、入力画像データＳ１に含まれる注目画素の階調値に（１−α）を乗算し、これらを足し合わせることにより、画像変換処理部１０により実行された画像変換処理において過剰になされた補正を抑制することができる。このとき、注目画素にリンギングフラグが設定されている場合には、注目画素にリンギングフラグが設定されていない場合と比べてαが小さくなるので、出力画像データＳ３に含まれる注目画素の階調値のうち変換画像データＳ２に起因する成分をより抑制することができる。また、注目画素にリンギングフラグが設定されている場合には、注目画素の周囲に存在するビッグエッジの数が多いほど、変換画像データＳ２に対する過剰な補正が抑制されることになる。なお、本実施形態では、変換画像データＳ２に含まれる注目画素の階調値にαを乗算し、入力画像データＳ１に含まれる注目画素の階調値にαを乗算することとしたが、これらに限定されない。例えば、変換画像データＳ２に含まれる注目画素の階調値又は入力画像データＳ１に含まれる注目画素の階調値をそれぞれ１／α又は１／１−αで除算してもよい。また、かかる調整処理は、入力画像データＳ１及び変換画像データＳ２をローパスフィルタ又はハイパスフィルタを用いて高周波成分と低周波成分に分離し、高周波成分に含まれる注目画素の階調値に対してのみ実行してもよい。この場合、調整処理が実行された高周波成分と、調整処理が実行されていない低周波成分と、を合成し、出力画像データＳ３に含まれる注目画素の階調値とする。

＜リンギング発生度推定部２１によるリンギング推定結果＞
次に、図４を用いてリンギング発生度推定部２１によるリンギング推定処理を実行した実際の画像について説明する。図４（ａ）は、入力画像データＳ１が表す入力画像であり、図４（ｂ）はリンギング発生度推定部２１によるリンギング推定結果を表す画像である。具体的には、リンギング発生度推定部２１が図２に示されるリンギングフラグ設定処理を実行し、リンギングフラグが設定された画素を白色で表したものである。図４（ａ）に示されるように、生物と背景（海）の境界は画素の階調値の差が大きい（つまり、境界付近にビッグエッジが存在）が、かかる境界を中心としてリンギングフラグを設定することができた。

このように、本実施形態では、画像変換処理部１０により過剰補正され、ビッグエッジ付近にリンギングが目立つ変換画像データＳ２に含まれる注目画素の階調値に対し、リンギング抑制部２０が過剰補正を抑制するためのシャープネス強調度を考慮した調整処理を実行することで、画像データのシャープネスを考慮しつつリンギングを抑制することが可能となった。

以上、種々の実施形態について説明したが、本発明はこれらに限定されない。

画像処理装置１は、ＰＣ、クラウドコンピューティング、コンピュータに接続するセットトップボックスとして提供することができる。また、画像処理装置１の機能を実装したＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＲＰ（Ｄｙｎａｍｉｃ ＲｅＣｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）として提供することもできる。また、画像処理装置１の機能を実現するプログラムを、インターネット等を介して配信することもできる。

また、図１では、リンギング抑制部２０は、リンギング発生度推定部２１、シャープネス推定部２２、調整係数算出部２３及び調整部２４を含む構成としたが、これらの一部の要素を外部に構成することができる。例えば、リンギング発生度推定部２１及びシャープネス推定部２２を外部に構成し、リンギング抑制部２０は調整係数算出部２３及び調整部２４を含むように構成することができる。

さらに、リンギング抑制部２０がリンギング発生度推定部２１及びシャープネス推定部２２を含むが、一方を停止し、他の一方を利用して調整処理を実行してもよい。この場合、リンギング発生度推定部２１を停止する場合、注目画素にリンギングフラグが設定されているときには、「α＝（１−リンギング発生度）×（１−シャープネス強調度）」に代えて、「α＝（１−定数（０〜１））×（１−シャープネス強調度）」としてもよい。逆に、シャープネス推定部２２を停止する場合、αを算出するときのシャープネス強調度を定数（０〜１）としてもよい。この場合、リンギングフラグが設定されているときの方が、リンギングフラグが設定されていないときよりも定数を小さくすることとしてもよい。

１：画像処理装置、１０：画像変換処理部、２０：リンギング抑制部、２１：リンギング発生度推定部、２２：シャープネス推定部、２３：調整係数算出部、２４：調整部、３０：入力画像出力部

Claims (12)

1. 入力画像データに基づいて、画素毎にリンギングが発生する度合いを表すリンギング発生度を推定するリンギング発生度推定部と、
   前記入力画像データに基づいて、前記入力画像データが表す入力画像のシャープネスの強さを表すシャープネス強調度を推定するシャープネス推定部と、
   前記入力画像データが画像変換された変換画像データに対し、前記リンギング発生度及び／又は前記シャープネス強調度に基づいて、前記画像変換の度合いを抑制する調整処理を画素毎に実行する調整部と、
   を有する画像処理装置。
2. 前記リンギング発生度推定部は、前記入力画像データに含まれる一の画素を注目画素とし、前記注目画素及び前記注目画素の周辺の複数の周辺画素を含む周辺画素領域における特徴量に基づいて、リンギングが発生すると推定される前記注目画素にリンギングフラグを設定するリンギングフラグ設定部を備え、
   前記調整部は、前記注目画素に前記リンギングフラグが設定されているか否かにより、前記注目画素に対して異なる調整処理を実行する、
   請求項１に記載の画像処理装置。
3. 前記調整部は、前記リンギングフラグが設定された注目画素に対して、前記リンギングフラグが設定されていない注目画素と比べて、前記画像変換の度合いをより抑制する調整処理を実行する、
   請求項２に記載の画像処理装置。
4. 前記調整部は、前記リンギングフラグが設定されていない前記注目画素に対して、前記シャープネス強調度に基づいて前記調整処理を実行する、
   請求項２又は請求項３に記載の画像処理装置。
5. 前記調整部は、前記リンギングフラグが設定された前記注目画素に対して、前記リンギング発生度及び前記シャープネス強調度に基づいて前記調整処理を実行する、
   請求項２〜請求項４のいずれか１項に記載の画像処理装置。
6. 前記調整部による前記調整処理は、
   前記入力画像データに含まれる前記注目画素の階調値と、前記変換画像データに含まれる前記注目画素の階調値と、を所定の比率で混合することにより、出力画像データに含まれる前記注目画素の階調値を算出する、
   請求項２〜請求項５のいずれか１項に記載の画像処理装置。
7. 前記変換画像データに含まれる前記注目画素の階調値に乗算する調整係数を算出する調整係数算出部を有し、
   前記調整部は、前記変換画像データに含まれる前記注目画素の階調値に前記調整係数を乗算し、前記入力画像データに含まれる前記注目画素の階調値に前記調整係数に起因する値を乗算する、
   請求項２〜請求項６のいずれか１項に記載の画像処理装置。
8. 前記調整係数算出部は、前記シャープネス強調度、又は前記シャープネス強調度及び前記リンギング発生度に基づいて調整係数を算出する、
   請求項７に記載の画像処理装置。
9. 前記リンギング発生度推定部は、前記周辺画素領域のうち、前記リンギングフラグが設定された画素の数に基づいて、前記注目画素のリンギング発生度を推定する、
   請求項２〜請求項８のいずれか１項に記載の画像処理装置。
10. 前記シャープネス推定部は、前記入力画像データをローパスフィルタで処理して得られた画像データに含まれる画素値の分散値の総和と、前記入力画像データに含まれる画素値の分散値の総和と、に基づいて、前記シャープネス強調度を推定する、
    請求項２〜請求項９のいずれか１項に記載の画像処理装置。
11. 入力画像データに含まれる注目画素及び前記注目画素の周辺の複数の周辺画素を含む周辺画素領域における特徴量が、予め定められた第１閾値を上回る場合、前記注目画素をビッグエッジと判定するビッグエッジ判定部と、
    前記周辺画素領域における特徴量が、予め定められた第２閾値を下回る場合、前記注目画素を平坦画素と判定する平坦画素判定部と、
    前記注目画素が前記平坦画素と判定された場合、前記周辺画素領域に含まれる前記平坦画素の総和を計算する総和計算部と、
    前記周辺画素領域に含まれる前記平坦画素の総和が予め定められた第３閾値を上回る場合、前記注目画素の周囲は平坦部分であると判定する平坦部分判定部と、
    前記ビッグエッジ判定部により前記注目画素が前記ビッグエッジと判定された場合、又は、前記平坦部分判定部により前記注目画素の周囲は平坦部分であると判定され且つ前記周辺画素領域に前記ビッグエッジが含まれる場合、前記注目画素にリンギングが発生すると推定する推定部と、
    を含むリンギング推定装置。
12. コンピュータを、
    入力画像データに基づいて、画素毎にリンギングが発生する度合いを表すリンギング発生度を推定するリンギング発生度推定部、
    前記入力画像データに基づいて、前記入力画像データが表す入力画像のシャープネスの強さを表すシャープネス強調度を推定するシャープネス推定部、
    前記入力画像データが画像変換された変換画像データに対し、前記リンギング発生度及び／又は前記シャープネス強調度に基づいて、前記画像変換の度合いを抑制する調整処理を画素毎に実行する調整部、
    として機能させるプログラム。