JP5289222B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、画像出力機器に起因する画質劣化を復元する画像処理に関する。

画像の入出力機器を用いて画像データを入出力する際に、入出力機器による画像の先鋭性の低下、暈けなど画像データの周波数特性の劣化を補正する処理（以下、復元処理）がある。復元処理は、一般に、フーリエ変換などを用いて周波数空間のデータに変換した画像データに復元フィルタによるフィルタリングを施す。例えば特許文献1は、ノイズの影響を考慮したWienerフィルタを用いて復元処理を行う。また、特許文献2は、フィルタにより復元処理を行う際、ユーザが復元の度合いを調整できるように調整パラメータを導入する。

しかし、入出力機器には復元処理の限界（以下、復元限界）がある場合がある。図1により画像をプリンタで印刷する場合の復元限界を説明する。図1(a)に示す輝度変化を有する画像を印刷した場合、プリンタの空間周波数伝達関数(modulation transfer function: MTF)特性により、図1(b)に示すようにコントラストが低下する。

そこで、MTFの逆関数である復元フィルタ（逆フィルタ）を用いた復元処理を行い、プリンタに供給する画像データの輝度変化を図1(c)に示す変化に補正する。しかし、8ビット画像処理の場合、値0〜255の範囲に画像データを丸め込む必要があり、範囲外のデータをクリップする。その結果、プリンタに出力する画像データの輝度変化は、図1(c)に破線で示す部分がクリップされた、実線で示す変化になる。そして、印刷時、プリンタのMTF特性による劣化が生じ、出力画像の輝度変化は図1(d)に示すようになる。つまり、図1(b)に比べてコントラストは改善されるものの、階調変化に劣化が生じる。

そこで、図1(e)に示すように、クリップが発生しない最大のコントラストを考慮して復元処理を行えば、図1(f)に示すようにコントラスト、階調変化ともに良好な出力画像を得ることができる。つまり、この最大のコントラストが復元限界の一例である。

特開2005-063000公報 特開2007-183842号公報

本発明は、復元限界を考慮して、画像出力装置に起因する画質劣化を抑制することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、画像出力装置に出力する画像の周波数特性を解析し、前記画像出力装置の空間周波数伝達関数に基づく復元フィルタ、および、前記周波数特性に基づく復元フィルタを作成し、前記空間周波数伝達関数と前記周波数特性を比較して復元限界を検出し、前記復元限界に基づき前記復元フィルタの何れかを用いて、前記画像出力装置に起因する画質劣化を復元する復元処理を前記画像に施すことを特徴とする。

また、画像の出力先の画像出力装置の空間周波数伝達関数に基づく復元フィルタ、および、視覚伝達関数に基づく復元フィルタを作成し、周波数ごとに、前記空間周波数伝達関数と前記視覚伝達関数を比較して、復元限界として前記空間周波数伝達関数または前記視覚伝達関数を設定し、前記復元限界に基づき前記復元フィルタの何れかを用いて、前記画像出力装置に起因する画質劣化を復元する復元処理を前記画像に施すことを特徴とする。

本発明によれば、復元限界を考慮して、画像出力装置に起因する画質劣化を抑制することができる。

画像をプリンタで印刷する場合の復元限界を説明する図。 実施例1の画像処理装置の構成例を説明するブロック図。 画像処理装置の復元処理を説明するフローチャート。 コントラスト低下の周波数特性の依存性を説明する図。 MTF特性の一例を示す図。 MTF測定用チャートの一例を説明する図。 MTF測定用チャートの一例を説明する図。 画像の周波数特性が画像出力機器のMTF特性により劣化する例を説明する図。 復元フィルタを説明する図。 実施例2の画像処理装置の構成例を説明するブロック図。 実施例2の画像処理装置の復元処理を説明するフローチャート。 復元限界設定部の処理を詳細に説明するフローチャート。 VTF特性を示す図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図2のブロック図により実施例1の画像処理装置100の構成例を説明する。

画像出力装置102は、インクジェットプリンタや電子写真プリンタなど、入力された画像データが表す画像を印刷するプリンタである。測定装置103は、スキャナやディジタルカメラなど、画像出力装置102が出力したチャートの濃度分布を測定する装置である。画像記憶部106は、画像出力装置102によって印刷する画像データなど様々な画像を記憶する記憶装置である。なお、ネットワークに接続されたサーバ装置などを記憶装置の代わりに利用してもよい。

画像処理装置100において、MTF特性算出部14は、測定装置103から入力したチャートの測定データを基に画像出力装置102の空間周波数伝達関数(modulation transfer function: MTF)特性を算出する。画像入力部17は、画像記憶部106が記憶する画像データを読み込む。周波数特性解析部18は、画像入力部17が読み込んだ画像データをフーリエ変換して、画像データの周波数特性を解析する。復元フィルタ作成部15は、画像出力装置102のMTF特性および画像データの周波数特性に基づき復元フィルタを作成する。

復元限界検出部19は、画像出力装置102のMTF特性および画像データの周波数特性を基に、画像出力装置102の復元限界を検出する。復元フィルタ設定部20は、復元限界検出部19が検出した画像出力装置102の復元限界に基づき、復元処理に適用する復元フィルタを設定する。

復元部21は、周波数特性解析部18のフーリエ変換によって得られた周波数空間の画像データに、復元フィルタ設定部20が設定した復元フィルタを使用する復元処理を施す。逆変換部22は、逆フーリエ変換により、復元処理された周波数空間の画像データを実空間の画像データに逆変換する。画像出力部23は、復元処理され、実空間に逆変換された画像データを、その出力先である画像出力装置102に出力する。

［復元処理］
図3のフローチャートにより画像処理装置100の復元処理を説明する。

MTF特性算出部14は、詳細は後述するが、画像出力装置102が印刷したMTF測定用のチャートの測定結果を測定装置103から入力して画像出力装置102のMTF特性を算出する(S201)。復元フィルタ作成部15は、画像出力装置102のMTF特性の逆関数および原画像の周波数特性の逆関数を算出し、復元フィルタを作成する(S202)。

次に、画像入力部17は、画像記憶部106に記憶された印刷すべき画像（以下、原画像）の画像データを読み込む(S203)。周波数特性解析部18は、原画像の画像データをフーリエ変換して、原画像の周波数特性を解析する(S204)。復元限界検出部19は、詳細は後述するが、画像出力装置102のMTF特性および原画像の周波数特性を基に、画像出力装置102の復元限界を検出する(S205)。

次に、復元フィルタ設定部20は、詳細は後述するが、復元限界検出部19が検出した画像出力装置102の復元限界に基づき、復元処理に適用する復元フィルタを設定する(S206)。復元部21は、周波数特性解析部18のフーリエ変換によって得られた、原画像の周波数空間の画像データに、設定された復元フィルタを用いる復元処理を施す(S207)。

次に、逆変換部22は、復元処理された周波数空間の画像データ（以下、復元画像の画像データ）を逆フーリエ変換する(S208)。画像出力部23は、復元画像の画像データを画像出力装置102に出力し(S209)、画像出力装置102に復元画像を印刷させる。

［MTF特性算出部］
一般に、画像出力機器によって画像を出力する場合、画像出力機器の特性により、コントラストが低下し、コントラストの低下の度合いは入力する画像の周波数特性に依存する。図4によりコントラスト低下の周波数特性の依存性を説明する。

図4(a)、図4(c)、図4(e)は振幅が同一で周波数が異なる正弦波状の輝度変化を示している。このような輝度変化を示す画像データを画像出力機器に入力すると、それぞれ図4(b)、図4(d)、図4(f)に示す出力結果が得られる。つまり、同一の振幅（同一のコントラスト）をもつ正弦波状の輝度変化でも、その周波数により、出力画像におけるコントラストの低下の度合いが異なる。

そこで、横軸を解像度（周波数）、縦軸をコントラスト比として、入力データのコントラストと出力画像のコントラストの比をプロットすると図5に示すようなMTF特性が得られる。

図6、図7によりMTF測定用チャートの一例を説明する。MTFを測定する際は、図6に示すような、正弦波状の輝度変化をもち、輝度変化の周波数を変化させた測定用のチャートを画像出力装置102に印刷させ、測定装置103によってチャートの画像データを取得する。MTF特性算出部14は、輝度変化の各周波数について、入力データのコントラストと、チャートの画像データのコントラストからコントラスト比を算出して、画像出力装置102のMTF特性を得る。

図6は横方向に輝度が変化するチャート例であるが、さらに、図7に示すような縦方向に輝度が変化するチャートを用いれば横方向と縦方向のMTF特性が得られ、斜め方向を補間して二次元のMTF特性を算出することができる。

また、画像出力機器のMTF特性が、周波数および二次元的な方向だけでなく、画像の出力位置や画像の明るさや画像データの振幅などに依存する場合は、それらに対応する測定用チャートを用意する。例えば、周波数が同一で振幅が異なる正弦波状の輝度変化を示すチャートを印刷し、画像データの特性に対応するMTF特性を選定し、復元フィルタを作成すればよい。言い替えれば、ユーザが所望する画像出力機器のMTF特性を算出することが可能であれば、その測定方法や算出方法は限定されない。

［復元フィルタの制御と設定］
図8により画像の周波数特性が画像出力機器のMTF特性により劣化する例を説明する。図8(a)は原画像の周波数特性例を示し、図8(b)は画像出力機器のMTF特性例を示す。出力画像の周波数特性は、図8(a)の特性と図8(b)の特性を掛け合わせた、図8(c)に実線で示す特性になる。

図9により復元フィルタを説明する。理想的には、図9(a)に示すような、画像出力機器のMTF特性（図8(b)）の逆関数（つまり逆フィルタ）作成する。そして、逆関数を原画像の周波数特性（図8(a)）に掛けることで、画像出力機器のMTF特性をキャンセルして、原画像と出力画像の周波数特性を一致させることができる。

しかし、図9(a)に示すように、MTF特性が零に近付く高周波数域において逆フィルタの絶対値は急激に増大する。このような逆フィルタで原画像の復元処理すれば、復元画像の画素の中には画像出力機器のデータ範囲（例えば8ビット画像の場合は0〜255）を逸脱するものが発生する。その結果、画素値を画像出力機器のデータ範囲に丸める処理（クリップ）が必要になり、期待どおりの周波数特性を有する出力画像が得られない。

そこで、画像出力機器が出力し得る最大コントラストを示すMTF特性を利用する。つまり、原画像のパワーが画像出力機器のMTF特性を超えない周波数域は原画像のパワーを復元の目標値にする。逆に、原画像のパワーが画像出力機器のMTF特性を超える周波数域はMTF特性の値を復元の目標値にする。

つまり、復元限界検出部19は、原画像のパワーが画像出力装置102のMTF特性を超える周波数νsを画像出力装置102の復元限界として検出する。そして、復元フィルタ設定部20は、周波数が復元限界以下の周波数成分の回復処理にMTF特性G(ν)の逆フィルタを適用し、周波数が復元限界を超える周波数成分の回復処理に原画像のパワーF(ν)の逆フィルタを適用する。つまり、復元フィルタは下式によって表される。
if (ν ≦ νs)
H(ν) = 1/G(ν);
else
H(ν) = 1/F(ν); …(1)
ここで、F(ν)は原画像のパワースペクトル、
G(ν)は画像出力機器のMTF特性、
νは空間周波数(cycles/degree)。

図9(b)は式(1)の復元フィルタの周波数特性を示し、この復元フィルタを原画像に掛けた復元画像を画像出力機器によって出力すれば、図9(c)に示す周波数特性の出力画像が得られる。つまり、画像出力機器によって出力し得る最良の周波数特性を有する出力画像を得ることができる。

［変形例］
実空間フィルタのコンボリューションによって復元処理を行う場合は、原画像の各画素について、復元限界の検出および復元フィルタの設定を行う。これにより、画素ごとに異なる復元限界の違いに対応することができる。

また、上記では、一台の画像出力装置102を対象に説明したが、複数の画像出力装置をタンデム運転する場合は、それら画像出力装置の固体差（製造誤差）を考慮する。つまり、最も特性が悪い装置のMTF特性を測定または推定して、何れの装置においても復元限界を超えないように復元フィルタを作成し、復元限界を検出する。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

図10のブロック図により実施例2の画像処理装置100の構成例を説明する。実施例2の画像処理装置100は、実施例1の周波数特性解析部18の代わりに、原画像の画像データをフーリエ変換するだけのフーリエ変換部25を備える。また、復元限界検出部19の代わりに、復元限界設定部26を備える。さらに、人間の視覚伝達関数(visual transfer function: VTF)特性を記憶するVTF特性記憶部24を備え、復元フィルタ作成部15は、画像出力装置102のMTF特性およびVTF特性に基づき復元フィルタを作成する。その他の構成は、実施例1の画像処理装置100と同様である。

図11のフローチャートにより実施例2の画像処理装置100の復元処理を説明する。実施例2においては、フーリエ変換部25が原画像の画像データをフーリエ変換し(S304)、復元限界設定部26が画像出力装置102のMTF特性およびVTF特性を基に復元フィルタを制御する(S305)点で、実施例1の復元処理と異なる。なお、ステップS202において、復元フィルタ作成部15が復元フィルタを作成する点は変わらないが、復元フィルタの逆関数が画像出力装置102のMTF特性とVTF特性である点で異なる。その他の処理は、実施例1と同様である。

図12のフローチャートにより復元限界設定部26の処理を詳細に説明する。

復元限界設定部26は、画像出力装置102のMTF特性を読み込み(S401)、VTF特性記憶部24が記憶するVTF特性を読み込み(S402)、注目周波数を直流成分（周波数ν=0）に設定する(S403)。

次に、復元限界設定部26は、注目周波数のMTF特性とVTF特性を比較し(S404)、値が小さい特性を当該周波数の復元限界に設定する(S405)。そして、復元限界を設定する全周波数について、復元限界を設定したか否かを判定し(S406)、未設定の周波数があれば、注目周波数を高周波数側に移動し(S407)、処理をステップS404に戻す。

このようにして、復元限界設定部26は、フーリエ変換部25が出力する周波数成分に対応する周波数の復元限界をMTF特性またはVTF特性に設定する。復元フィルタ設定部20は、復元限界設定部26が設定した復元限界に応じて復元処理に適用する復元フィルタを設定する。つまり、復元限界がMTF特性G(ν)の周波数に対応する周波数成分の復元処理に復元フィルタH(ν)=1/G(ν)を設定し、復元限界がVTF特性V(ν)の周波数に対応する周波数成分の復元処理に復元フィルタH(ν)=1/V(ν)を設定する。従って、復元部21は、復元限界設定部26が周波数ごとに設定した復元限界に応じた復元フィルタを用いる復元処理を各周波数成分に施すことになる。

［復元限界の設定］
復元限界の設定の詳細を説明する。人間の視覚の伝達関数であるVTF特性は下式によって近似することができる。
if (ν≧ 5)
VTF = 5.05e^-0.138ν(1 - e^-0.1ν);
else
VTF = 1; …(2)

式(2)によって得られるVTFの値をプロットすると図13に示す特性になる。図13に示すように、周波数が高くなるに連れ、視覚感度が低下する。つまり、人間は、VTF特性よりも小さいコントラストを知覚することができない。つまり、VTF特性に合わせて復元処理を行えば、画質劣化が改善されたと知覚される。そこで、復元限界の決定において、画像出力装置102のMTF特性とVTF特性を比較し、値が小さい方を復元限界に設定する。

［変形例］
実施例2では、画像出力機器における復元処理を説明したが、画像入力機器においても同様の復元処理が可能である。つまり、画像入力機器のMTF特性を算出し、MTF特性とVTF特性から復元フィルタを作成する。そして、MTF特性とVTF特性を比較して復元限界を何れかに設定し、設定した復元限界に応じた復元フィルタを用いる復元処理を画像入力機器から入力した原画像の周波数成分に施す。そして、復元画像を逆フーリエ変換すれば、画像入力機器に起因する画像劣化を抑制することができる。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 画像出力装置に出力する画像の周波数特性を解析する解析手段と、
   前記画像出力装置の空間周波数伝達関数に基づく復元フィルタ、および、前記周波数特性に基づく復元フィルタを作成する作成手段と、
   前記空間周波数伝達関数と前記周波数特性を比較して復元限界を検出する検出手段と、
   前記復元限界に基づき前記復元フィルタの何れかを用いて、前記画像出力装置に起因する画質劣化を復元する復元処理を前記画像に施す復元手段とを有することを特徴とする画像処理装置。
2. 前記検出手段は、前記周波数特性が示す前記画像のパワーが前記空間周波数伝達関数の値を超える周波数を前記復元限界として検出することを特徴とする請求項1に記載された画像処理装置。
3. 前記復元手段は、前記復元限界以下の周波数では前記空間周波数伝達関数に基づく復元フィルタを使用し、前記復元限界を超える周波数では前記周波数特性に基づく復元フィルタを使用することを特徴とする請求項2に記載された画像処理装置。
4. 画像の出力先の画像出力装置の空間周波数伝達関数に基づく復元フィルタ、および、視覚伝達関数に基づく復元フィルタを作成する作成手段と、
   周波数ごとに、前記空間周波数伝達関数と前記視覚伝達関数を比較して、復元限界として前記空間周波数伝達関数または前記視覚伝達関数を設定する設定手段と、
   前記復元限界に基づき前記復元フィルタの何れかを用いて、前記画像出力装置に起因する画質劣化を復元する復元処理を前記画像に施す復元手段とを有することを特徴とする画像処理装置。
5. 前記設定手段は、前記周波数ごとに、前記空間周波数伝達関数の値と前記視覚伝達関数の値を比較して、値が小さい方を前記復元限界として設定することを特徴とする請求項4に記載された画像処理装置。
6. さらに、前記画像出力装置が出力した画像から前記空間周波数伝達関数を算出する算出手段を有することを特徴とする請求項1から請求項5の何れか一項に記載された画像処理装置。
7. 画像出力装置に出力する画像の周波数特性を解析し、
   前記画像出力装置の空間周波数伝達関数に基づく復元フィルタ、および、前記周波数特性に基づく復元フィルタを作成し、
   前記空間周波数伝達関数と前記周波数特性を比較して復元限界を検出し、
   前記復元限界に基づき前記復元フィルタの何れかを用いて、前記画像出力装置に起因する画質劣化を復元する復元処理を前記画像に施すことを特徴とする画像処理方法。
8. 画像の出力先の画像出力装置の空間周波数伝達関数に基づく復元フィルタ、および、視覚伝達関数に基づく復元フィルタを作成し、
   周波数ごとに、前記空間周波数伝達関数と前記視覚伝達関数を比較して、復元限界として前記空間周波数伝達関数または前記視覚伝達関数を設定し、
   前記復元限界に基づき前記復元フィルタの何れかを用いて、前記画像出力装置に起因する画質劣化を復元する復元処理を前記画像に施すことを特徴とする画像処理方法。
9. コンピュータ装置を制御して、請求項1から請求項6の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。