JP2005332130A - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用して、高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止する。
【解決手段】 本発明は、画素値の勾配が最も大きなエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交するエッジ方向ｖ２を検出し、エッジ勾配方向ｖ１、エッジ方向ｖ２にそれぞれエッジ強調、平滑化処理して出力画像データＤ２を生成する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用することができる。本発明は、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向を検出し、エッジ勾配方向、エッジ方向にそれぞれエッジ強調、平滑化処理して出力画像データを生成することにより、高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止することができるようにする。

従来、画像処理においては、例えば線型補間処理、バイキュービック変換処理により、解像度を変換するようになされており、例えば特開２００３−２２４７１５号公報には、このような画像処理を簡易な構成により実行する方法が提案されるようになされている。

しかしながらこのような画像処理においては、エッジの部分にジャギーが発生し、ジャギーが目立たなくなるように線型補間処理の特性、バイキュービック変換処理の特性を設定すると、画像より高周波成分が失われてシャープさの欠けたぼけた画像となる問題がある。なおこのような画像のぼけは、テキスチャーの部分で著しいことにより、テキスチャーの部分でこのような処理の特性を切り換えることも考えられるが、この場合、特性の切り換え箇所で異質感、ちらつきが発生する。
特開２００３−２２４７１５号公報

本発明は以上の点を考慮してなされたもので、高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出部と、エッジ検出部の検出結果に基づいて、出力画像データの各画素毎に、エッジ方向に画像データを平滑化処理して、出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理部と、エッジ検出部の検出結果に基づいて、出力画像データの各画素毎に、エッジ方向処理部から出力される画素値をエッジ勾配方向に輪郭強調処理して、出力画像データの画素値を順次出力するエッジ勾配方向処理部とを備えるようにする。

また請求項９の発明においては、入力画像データを処理して出力画像データを出力する画像処理方法に適用して、入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップと、エッジ検出ステップによる検出結果に基づいて、出力画像データの各画素毎に、エッジ方向に画像データを平滑化処理して、出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理ステップと、エッジ検出ステップによる検出結果に基づいて、出力画像データの各画素毎に、エッジ方向処理ステップで検出された画素値をエッジ勾配方向に輪郭強調処理して、出力画像データの画素値を順次出力するエッジ勾配方向処理ステップとを備えるようにする。

また請求項１０の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップと、エッジ検出ステップによる検出結果に基づいて、出力画像データの各画素毎に、エッジ方向に画像データを平滑化処理して、出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理ステップと、エッジ検出ステップによる検出結果に基づいて、出力画像データの各画素毎に、エッジ方向処理ステップで検出された画素値をエッジ勾配方向に輪郭強調処理して、出力画像データの画素値を順次出力するエッジ勾配方向処理ステップとを備えるようにする。

また請求項１１の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体に適用して、画像処理方法のプログラムは、入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップと、エッジ検出ステップによる検出結果に基づいて、出力画像データの各画素毎に、エッジ方向に画像データを平滑化処理して、出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理ステップと、エッジ検出ステップによる検出結果に基づいて、出力画像データの各画素毎に、エッジ方向処理ステップで検出された画素値をエッジ勾配方向に輪郭強調処理して、出力画像データの画素値を順次出力するエッジ勾配方向処理ステップとを備えるようにする。

請求項１の構成により、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出部と、エッジ検出部の検出結果に基づいて、出力画像データの各画素毎に、エッジ方向に画像データを平滑化処理して、出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理部と、エッジ検出部の検出結果に基づいて、出力画像データの各画素毎に、エッジ方向処理部から出力される画素値をエッジ勾配方向に輪郭強調処理して、出力画像データの画素値を順次出力するエッジ勾配方向処理部とを備えるようにすれば、画素値の勾配が最も大きなエッジ勾配方向と、このエッジ勾配方向に直交するエッジ方向とでそれぞれエッジ強調、平滑化処理して出力画像データを生成するができ、これに高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止することができる。

これにより請求項９、請求項１０、請求項１１の構成によれば、高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止することができる画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体を提供することができる。

本発明によれば、高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１に係る画像処理装置を示す機能ブロック図である。この画像処理装置１は、演算処理手段である例えばディジタルシグナルプロセッサにより形成され、この演算処理手段により所定の処理プログラムを実行することにより、入力画像データである画像データＤ１の解像度を図示しないコントローラにより指示された解像度に変換して出力する。これによりこの画像処理装置１では、画像データＤ１による画像を拡大、縮小してなる出力画像データＤ２を生成し、表示手段等に出力するようになされている。

なおこの実施例において、この演算処理手段に係る処理プログラムにおいては、この画像処理装置にプリインストールされて提供されるようになされているものの、このような処理プログラムの提供にあっては、例えばインターネット等によるネットワークを介したダウンロードにより提供するようにしてもよく、さらには種々の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体においては、光ディスク、メモリカード、着脱可能なハードディスク装置等、種々の記録媒体に広く適用することができる。

この画像処理装置１において、エッジ検出部２は、画像データＤ１の各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向と直交するエッジ方向を検出する。すなわちエッジ検出部２において、勾配行列生成部３は、例えばラスタ走査順に順次注目画素を切り換え、図２に示すように、この注目画素を中心とした範囲Ｗにおける画素値を用いた演算処理により、次式により表される輝度勾配の行列Ｇを各画素毎に生成する。なおここで図２は、注目画素を中心にしたｘ方向及びｙ方向の±３画素をこの範囲Ｗに設定した例である。

またｗ^(i,j) は、（２）式により表されるガウス型の重みであり、ｇは、画像輝度Ｉのｘ方向の偏微分ｇ_x と、画像輝度Ｉのｙ方向の偏微分ｇ_y とにより（３）式で表される輝度勾配である。

これによりエッジ検出部２において、勾配行列生成部３は、注目画素を中心とした所定範囲Ｗについて、注目画素を基準にして重み付け処理してなる輝度勾配を検出するようになされている。

エッジ検出部２において、続く固有値、固有ベクトル検出部４は、この勾配行列生成部３で生成した輝度勾配の行列Ｇを処理することにより、図３に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。またこれらエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。

具体的に、固有値、固有ベクトル検出部４は、次式の演算処理により、エッジ勾配方向ｖ１、エッジの方向ｖ２、固有値λ１、λ２（λ１≧λ２）を検出する。

但し、ａは、次式による。

エッジ方向処理部５は、このようにしてエッジ検出部２で検出され画像データＤ１の注目画素に係るエッジ方向ｖ２に基づいて、解像度変換後の画像データＤ２に係る各画素のエッジ方向ｖｃ を計算し、このエッジ方向ｖｃ に基づく内挿処理により出力画像データＤ２の各画素Ｐｃ に対応する画素値を順次計算する。

すなわちエッジ方向処理部５は、図４に示すように、計算対象である出力画像データＤ２の画素（以下、画像データＤ２に係る注目画素と呼ぶ）Ｐｃ に隣接してなる画像データＤ１の各画素（この図４の例ではＰ３ 、Ｐ４ 、Ｐ９ 、Ｐ１０）について、次式の演算処理を実行することにより、画像データＤ１に係るこれら隣接する画素のエッジ方向ｖ２（ｖ₃、ｖ₄ 、ｖ₉ 、ｖ₁₀）を用いた内挿処理により注目画素Ｐｃ のエッジ方向ｖｃを計算する。

なおここで、ｔ_x、ｔ_yは、それぞれ画像データＤ１によるサンプリング点Ｐ３、Ｐ４、Ｐ９ 、Ｐ１０をｘ方向及びｙ方向に内分する注目画素の座標値であり、０≦ｔ_x ≦１、０≦ｔ_y ≦１である。

さらにエッジ方向処理部５は、このようにして計算される注目画素Ｐｃ のエッジ方向ｖｃ より、注目画素Ｐｃ のサンプリング点からエッジ方向ｖｃ の直線上に、画像データＤ１のサンプリングピッチによるサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２を所定個数だけ設定する。さらにこのサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２と注目画素Ｐｃとについて、画像データＤ１の画素値を用いた補間演算処理によりそれぞれ画素値を計算し、これによりエッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖｃに延長する直線上に、入力画像データＤ１の内挿処理によるエッジ方向の内挿画像データを生成する。

またこのとき後述するエッジ方向範囲の決定部６による計算結果に従って、このようにして設定するサンプリング点の数を切り換え、また続くフィルタリングの処理を切り換え、これにより注目画素のエッジ方向ｖｃ に係るエッジの信頼度に応じてフィルタリング処理のタップ数を切り換える。具体的に、例えば続くフィルタリングの処理を３タップのフィルタリングにより実行する場合、注目画素Ｐｃ については、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にして前後のサンプリング点Ｐ−１、Ｐ１については、それぞれＰ２、Ｐ３、Ｐ８、Ｐ９及びＰ４、Ｐ５、Ｐ１０、Ｐ１１を用いた線型補間により画素値を計算する。これに対して例えば続くフィルタリングの処理を５タップのフィルタリングにより実行する場合、注目画素Ｐｃ については、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にしてサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２について、画素値を計算する。

続いてエッジ方向処理部５は、このようにして計算したサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２及び注目画素Ｐｃ の画素値をフィルタリング処理により平滑化処理し、注目画素Ｐｃの画素値Ｐｃ’を決定する。すなわち３タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。

これに対して５タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。

これらによりこの実施例においては、エッジ方向の内挿画像データの平滑化処理により、出力画像データＤ２の画素に対応する画素値を計算するようになされ、これにより高周波成分の喪失を有効に回避しつつ、エッジにおけるジャギーの発生を防止するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた種々の補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、（１０）式、（１１）式について上述した演算処理に限らず、種々の重み付け係数による補間演算処理を広く適用することができる。

ところでこのように画素毎にエッジ方向を検出して画像データＤ２に係る画素値を計算する場合、エッジでは無い箇所で輝度勾配と直交する方向に平滑化処理する恐れもある。このような場合に、大きな範囲である多くのタップ数によりフィルタリング処理したのでは、却って画質を劣化することになる。しかしながらこれとは逆に、エッジの部分では、大きな範囲でフィルタリング処理して、一段と確実にジャギーの発生を防止して滑らかなエッジを形成することができる。

これによりこの実施例では、画素毎にフィルタリング処理するタップ数を切り換え、これにより画素毎にエッジ方向に平滑化処理する範囲を可変する。またこのような平滑化処理する範囲をエッジ方向ｖｃ へのエッジの信頼度により可変し、これにより平滑化処理による画質劣化を防止する。

具体的に、この実施例では、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１により、このようなエッジ方向ｖｃ へのエッジの信頼度を検出する。すなわちこの比率λ２／λ１が小さい場合には、この注目画素においては、エッジ勾配方向ｖ１の画素値の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりエッジ方向処理範囲の決定部６は、図５に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘにおいては、変数比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｐｍａｘ及び最小値ｐｍｉｎとなるパラメータｐを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｐを生成する。

またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりエッジ方向処理範囲の決定部６は、図６に示すように、所定の範囲λ１ｍｉｎ、λ１ｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λ１ｍｉｎ、λ１ｍａｘでは、それぞれ下限値ｑｍｉｎ、上限値ｑｍａｘとなるパラメータｑを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｑを生成する。

エッジ方向処理範囲の決定部６は、これら２つのパラメータｐ及びｑについて、次式により表される乗算処理を実行し、これによりエッジ方向処理に係るフィルタリング処理の範囲ｒを計算する。

なおエッジ方向処理範囲の決定部６においては、エッジ方向処理部５の処理に係る画像データＤ２のサンプリング点に対応するように、画像データＤ１のサンプリング点による固有値λ１、λ２を画像データＤ２のサンプリング点に係る固有値に変換してフィルタリング処理の範囲ｒを計算する。この場合に、画像データＤ１のサンプリング点によりフィルタリング処理の範囲ｒを計算した後、この計算結果の内挿処理により画像データＤ２のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよく、またこれとは逆に、画像データＤ１のサンプリング点に係る固有値λ１、λ２を内挿処理して画像データＤ２のサンプリング点に係る固有値λ１、λ２を計算した後、この計算結果から画像データＤ２のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよい。

しかしてエッジ方向処理部５は、このようにして計算される範囲ｒによりフィルタリング処理のタップ数を切り換えて画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。

このフィルタリングの処理において、エッジ方向処理部５は、フィルタリング結果の融合処理を実行することにより、実数値のタップ数によりフィルタリング処理を実行し、これにより整数値のタップ数によりフィルタリング処理した場合の、タップ数の切り換え時における不自然さを解消する。

すなわちエッジ方向処理部５では、次式により示される整数値によるタップ数のフィルタが定義される。なおここでこの実施例において、この整数値のタップ数は、１、３、５、……による奇数値が適用される。

ここでｆｌｏｏｒ（ｎ）は、ｎを越えない最大の整数のタップ数であり、ｃｅｉｌ（ｎ）は、ｎ以上の最小の整数のタップ数である。またｎｒｅａｌは、（１２）式により計算された範囲ｒが適用される。これによりｎ＝３．５の場合、ｆｌｏｏｒ（ｎ）はタップ数３であり、ｃｅｉｌ（ｎ）はタップ数５となる。

フィルタリング結果の融合処理は、これら２種類のフィルタリング処理結果を用いて次式の演算処理を実行することにより、実数値によるフィルタリング処理結果ｆ（ｎ）を計算して実行される。これによりエッジ方向処理部５は、フィルタリング処理の範囲ｒによりこれら２種類のタップ数によるフィルタリング処理を実行し、さらにこれら２種類のフィルタリング処理結果を用いて（１４）式の演算処理を実行することにより、画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。これによりエッジ方向処理部５は、エッジ方向へのエッジの信頼度に応じたタップ数によりフィルタリング処理して画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算するようにして、このタップ数を少数点以下の単位で可変するようになされている。

エッジ勾配方向処理部７は、このようにしてエッジ方向処理部５で計算される画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を用いて、エッジ勾配方向ｖ１に輪郭強調処理を実行する。すなわちエッジ勾配方向処理部７は、図７に示すように、エッジ方向処理部５において、画像データＤ２に係る注目画素Ｐｃでエッジ方向ｖｃを計算したと同様にして、画像データＤ１に係る隣接するサンプリング点のエッジ勾配方向ｖ１より、画像データＤ２に係る注目画素Ｐｃｃのエッジ勾配方向ｖｇを計算する。

さらにエッジ勾配方向処理部７は、このようにして計算される注目画素Ｐｃｃのエッジ勾配方向ｖｇより、注目画素Ｐｃｃのサンプリング点からエッジ勾配方向ｖｇの直線上に、画像データＤ２のサンプリングピッチによるサンプリング点Ｐｃ−１、Ｐｃ＋１を所定個数だけ設定する。さらにこのサンプリング点Ｐｃ−１、Ｐｃ＋１ と注目画素Ｐｃｃとについて、エッジ方向処理部５から出力される画素値を用いた補間演算処理によりそれぞれ画素値を計算する。これによりエッジ方向処理部５は、エッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖｇに延長する直線上に、エッジ方向処理部５から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データを生成するようになされている。

続いてエッジ方向処理部５は、このようにして計算したサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃの画素値をフィルタリング処理し、注目画素Ｐｃｃの画素値Ｐｃｃ’を決定する。しかしてこの図７の例にあっては、３タップにより注目画素Ｐｃｃの画素値Ｐｃｃ’を計算する場合であり、サンプリング点Ｐｃ−１ の画素値にあっては、周辺のサンプリング点Ｐｃ１、Ｐｃ２、Ｐｃ４、Ｐｃｃによる線型補間により生成され、またサンプリング点Ｐｃ＋１ の画素値にあっては、周辺のサンプリング点Ｐｃｃ、Ｐｃ５、Ｐｃ７、Ｐｃ８による線型補間により生成されるようになされている。これによりエッジ方向処理部５は、エッジを横切る方向に輪郭強調するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、このような隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、種々の重み付け係数による補間演算処理を広く適用することができる。

補間処理部８は、例えば線型補間処理、バイキュービック変換処理により、画像データＤ１の解像度を変換して画像データＤ２に対応するサンプリングピッチによる画素値Ｐａを出力する。

ブレンド比決定部９は、エッジ方向ｖｃへのエッジの信頼度に応じてブレンド用の重み付け係数を生成する。すなわち上述したようにエッジ方向に平滑化処理し、エッジと直交する方向に輪郭強調する場合にあっては、自然画において、不自然に輪郭強調する場合がある。このためこの実施例においては、別途、補間処理部８で従来手法により生成した画像データＤ２に係る画素値Ｐａと、エッジ勾配方向処理部７で生成される画素値Ｐｃｃ’とをブレンド処理部１０により重み付け加算して画像データＤ２を生成するようになされ、ブレンド比決定部９は、この重み付け加算処理に係る重み付け係数を可変する。またこの重み付け係数の可変を、エッジ方向へのエッジの信頼度により可変し、これにより過度なエッジに係る処理の不自然さを防止する。またこのエッジ方向へのエッジの信頼度に、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１を適用して処理する。

具体的に、この比率λ２／λ１が小さい場合には、この注目画素においては、エッジ勾配方向ｖ１の、勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりブレンド比決定部９は、図８に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、変数比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｓｍａｘ及び最小値ｓｍｉｎとなるパラメータｓを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｓを生成する。

またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりブレンド比決定部９は、図９に示すように、所定の範囲λｍｉｎ、λｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λｍｉｎ、λｍａｘでは、それぞれ下限値ｔｍｉｎ、上限値ｔｍａｘとなるパラメータｔを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｔを生成する。

ブレンド比決定部９は、これら２つのパラメータｓ及びｔについて、次式により表される乗算処理を実行し、これによりブレンド用の重み付け係数α（０≦α≦１）を計算する。

なおブレンド比決定部９においては、画像データＤ２に係るサンプリング点に対応するように、画像データＤ１のサンプリング点による固有値λ１、λ２を画像データＤ２のサンプリング点に係る固有値に変換してブレンド用の重み付け係数αを計算する。この場合に、画像データＤ１のサンプリング点によりブレンド用の重み付け係数αを計算した後、この計算結果の内挿処理により画像データＤ２のサンプリング点に係るブレンド用の重み付け係数αを計算するようにしてもよく、またこれとは逆に、画像データＤ１のサンプリング点に係る固有値λ１、λ２を内挿処理して画像データＤ２のサンプリング点に係る固有値λ１、λ２を計算した後、この計算結果から画像データＤ２のサンプリング点に係るブレンド用の重み付け係数βを計算するようにしてもよい。

ブレンド処理部１０は、次式の演算処理を実行することにより、エッジ勾配方向処理部７で計算される画素値Ｐｃｃ’による画像データＳ３と、補間処理部８で計算される画素値Ｐａ による画像データＳ１１とをブレンド比決定部９による重み付け係数αにより重み付け加算処理し、その処理結果を画像データＤ２により出力する。

（２）実施例の動作
以上の構成において、入力画像データＤ１は（図１）、エッジ検出部２に入力され、ここで各画素毎に、画素値の勾配が最も大きなエッジ勾配方向ｖ１と、このエッジ勾配方向ｖ１と直交するエッジ方向ｖ２とが順次検出される（図２及び図３）。また入力画像データＤ１は、エッジ方向処理部５に入力され、ここでエッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖ２に画像データを平滑化処理して、出力画像データＤ２の各画素に対応する画素値Ｐｃが順次計算される。またこの計算結果により画素値Ｐｃがエッジ勾配方向処理部７に入力され、ここでエッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖ１に輪郭強調処理され、出力画像データＤ２の画素値が計算される。これにより入力画像データＤ１は、エッジ方向ｖ２には平滑化処理されることにより、ジャギーの発生を有効に回避することができる。またエッジ方向ｖ２と直交する方向であるエッジ勾配方向ｖ１には、輪郭強調され、これによりエッジ方向と直交する方向については、高周波成分が強調され、これらにより高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止して画像データＤ２に変換される。

このようにして一連の処理を実行するにつき、入力画像データＤ１は、エッジ方向処理部５において（図４）、エッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖ２に延長する直線上に、入力画像データＤ１の内挿処理によるエッジ方向の内挿画像データＰｃが生成され、このようにして生成されるエッジ方向の内挿画像データＰｃのフィルタリング処理により、出力画像データＤ２の各画素に対応する画素値Ｐｃ’が順次計算される。これによりこのフィルタリング処理に係る特性の設定により、エッジ方向ｖ２について平滑化処理され、ジャギーの発生が有効に回避される。

入力画像データＤ１は、エッジ検出部２において、勾配行列生成部３で各画素毎に輝度勾配の行列Ｇが生成され、この輝度勾配の行列Ｇが続く固有値、固有ベクトル検出部４により処理されて、エッジ勾配方向ｖ１、エッジ方向ｖ２とが検出される。またこのとき併せてエッジ勾配方向ｖ１、エッジ方向ｖ２に係る画素値の勾配の分散を示す固有値λ１、λ２が計算される。

このエッジ検出部２における計算結果のうち、固有値λ１、λ２は、エッジ方向処理範囲の決定部６において、固有値λ２と固有値λ１の比率λ２／λ１が計算され、この比率λ２／λ１にあっては、エッジ勾配方向の画素勾配が支配的である場合程、値が小さくなり、これによりエッジの信頼度が検出される。これによりエッジ方向処理範囲の決定部６において、この比率λ２／λ１によりエッジの信頼度を示すパラメータｐが生成される（図５）。これによりこの実施例では、エッジ勾配方向ｖ１、エッジ方向ｖ２の計算に供する勾配行列ｇを有効に利用して、エッジの信頼度が計算される。また固有値λ１にあってはエッジの強さを示すことにより、この固有値λ１によりパラメータｐに対応するパラメータｑが生成される（図６）。またこれらパラメータｐ及びｑの乗算により、フィルタリング処理の範囲ｒが計算される。

入力画像データＤ１は、エッジ方向処理部５において、エッジ方向の内挿画像データＰｃをフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’を生成する際に、このようにしてエッジ方向処理範囲の決定部６で生成されたフィルタリング処理の範囲ｒによりフィルタリング処理のタップ数が切り換えられ、エッジの信頼度が高い場合には、広い範囲によりエッジ方向の内挿画像データＰｃをフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’が生成されるのに対し、エッジの信頼度が低い場合には、狭い範囲によりフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’が生成される。これにより入力画像データＤ１は、エッジ方向ｖ２に係るフィルタリング処理のタップ数が、エッジの信頼度により切り換えられ、エッジ以外の部位における過度の平滑化処理が防止され、画質劣化が有効に回避される。

またこのようにして平滑化処理するにつき、画像データＤ１は、エッジ方向ｖ２へのエッジの信頼度に応じて、フィルタリング処理の重み付け係数αを切り換え（（１２）式）、この重み付け係数αを用いてタップ数の異なるフィルタリング処理結果を重み付け加算（（１４）式）することにより、このようなタップ数の切り換えが小数点以下の単位により実行され、これにより整数値によるタップ数の切り換え時における不自然さが解消される。

このようにエッジ方向処理部５で計算されてなる画像データは、エッジ勾配方向処理部７において、エッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖ１に延長する直線上に、エッジ方向処理部５から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データＰｃｃが生成され（図７）、このエッジ勾配方向の内挿画像データＰｃｃのフィルタリング処理により、出力画像データＤ２の画素値Ｐｃｃ’が計算される。これによりこのフィルタリング処理に係る特性の設定により、エッジ勾配方向ｖ１について輪郭強調処理されて画像データＤ２が生成される。

しかしながらこのようにして生成されてなるエッジ勾配方向処理部７の出力データにおいては、自然画に係る画像データＤ１を処理した場合に、過度に輪郭が強調される場合もある。これにより画像データＤ１は、補間処理部８において、従来手法による補間処理により出力画像データＤ２の各画素毎に画素値Ｐａ’が計算される。しかしてこのようにして補間処理部８で従来手法により生成される画像データＳ１１は、高周波成分が失われているものの、過度には輪郭が強調されていないことになる。

画像データＤ１は、この補間処理部８からの画像データＳ１１と、エッジ勾配方向処理部７からの画像データＳ３とが、ブレンド処理部１０において、画像に応じて重み付け加算処理されて出力画像データＤ２が生成され、これにより過度に輪郭が強調されている部位については、従来手法による画素値Ｐａ’により補正されて出力画像データＤ２が生成される。これによりこの実施例では、過度な輪郭強調による画質劣化が防止される。

この実施例では、エッジ方向処理範囲の決定部６においてフィルタリング処理範囲ｒを計算した場合と同様に、固有値λ１、λ２による比率λ２／λ１によりエッジの信頼度が計算され、このエッジの信頼度によりブレンド処理部１０における重み付け加算処理の重み付け係数βが計算される（図８）。また固有値λ１によって重み付け係数βが補正される（図９）。これによりこの実施例では、このような過度の輪郭強調を防止する処理についても、エッジ勾配方向ｖ１、エッジ方向ｖ２の計算に供する勾配行列ｇを有効に利用して、エッジの信頼度が計算され、このエッジの信頼度により重み付け係数βが設定され、これらにより簡易な構成により過度の輪郭強調が防止される。

（３）実施例の効果
以上の構成によれば、画素値の勾配が最も大きなエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交するエッジ方向ｖ２を検出し、エッジ勾配方向ｖ１、エッジ方向ｖ２にそれぞれエッジ強調、平滑化処理して出力画像データＤ２を生成することにより、高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止することができる。

またこの平滑化処理に係るフィルタリング処理にあっては、エッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖ２に延長する直線上に、入力画像データＤ１の内挿処理によるエッジ方向の内挿画像データＰｃを生成した後、このエッジ方向の内挿画像データＰｃのフィルタリング処理により、出力画像データＤ２の各画素に対応する画素値Ｐｃ’を順次検出することにより、このフィルタリング処理に係る特性を種々に設定して所望の特性により平滑化処理することができる。

またエッジ方向ｖ２へのエッジの信頼度に応じて、このフィルタリング処理に供するタップ数を切り換えることにより、エッジ以外の部分における誤った平滑化処理を防止することができる。

またエッジ方向ｖ２へのエッジの信頼度に応じて、このフィルタリング処理の重み付け係数αを可変し、フィルタリング処理の重み付け係数αを用いてタップ数の異なるフィルタリング処理結果を重み付け加算することによる小数点以下の単位によるタップ数の切り換により、このタップ数の切り換えを実行することにより、整数値によるタップ数の切り換え時における不自然さを有効に回避することができる。

またこのエッジ方向ｖ２へのエッジの信頼度が、エッジ方向ｖ２に係る画素値の勾配の分散λ２とエッジ勾配方向ｖ１に係る画素値の勾配の分散λ１との比率であることにより、エッジ勾配方向ｖ１、エッジ方向ｖ２の検出に供する構成を有効に利用して、タップ数の切り換え時における不自然さを有効に回避することができる。

これに対して輪郭強調の処理にあっては、エッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖ１に延長する直線上に、エッジ方向処理部５から出力される画素値Ｐｃ’による画像データＰｃの内挿処理によるエッジ勾配方向の内挿画像データＰｃｃを生成した後、このエッジ勾配方向の内挿画像データＰｃｃのフィルタリング処理により実行することにより、このフィルタリング処理の特性を種々に設定して所望の特性により輪郭強調することができる。

また出力画像データＤ２のサンプリングピッチを入力画像データＤ１のサンプリングピッチと異ならせるようにして一連の処理を実行することにより、平滑化処理、輪郭強調処理において、併せてサンプリングピッチを変更するようにして、別途、補間処理部８により入力画像データＤ１を補間画像データＳ１１に変換すると共に、エッジ方向ｖ２へのエッジの信頼度に応じてブレンド用の重み付け係数βを可変し、このブレンド用の重み付け係数βにより、エッジ勾配方向処理部から出力される画像データＳ３と、補間画像データＳ１１とを重み付け加算処理して出力画像データＤ２を出力することにより、自然画における過度の輪郭強調を有効に回避することができる。

なお上述の実施例においては、タップ数の切り換えによりエッジ方向に係る平滑化処理範囲を可変する場合について述べたが、本発明はこれに限らず、平滑化処理に係る重み付け係数の可変により、等化的にタップ数を切り換えるようにしてもよい。

また上述の実施例においては、平滑化処理範囲、ブレンド処理部における重み付け加算処理を固有値λ２、λ１の比率、固有値λ１により可変する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、固有値λ２、λ１の比率だけで可変するようにしてもよい。またこのような固有値λ２、λ１の比率、固有値λ１によるエッジの信頼度の検出に代えて種々の輪郭検出手法を適用することもできる。またブレンド処理部の重み付け加算処理に係る過度の輪郭補正にあっては、自然画において、木の葉が密集しているような箇所で発生することにより、例えば周波数特性等により検出される画像各部の特徴により可変するようにしてもよい。

また上述の実施例においては、平滑化処理範囲、ブレンド処理部における重み付け加算処理を可変する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、これらの処理を省略するようにしてもよく、さらには画像の種類によって、これら何れかの処理、これら双方の処理を省略するようにしてもよい。

また上述の実施例においては、入力画像データＤ１のサンプリングピッチを可変して画像を拡大、縮小する場合について述べたが、本発明はこれに限らず、輪郭補正の処理にも広く適用することができる。この場合、エッジ方向処理部、エッジ勾配方向処理部においては、入力画像データのサンプリングピッチと等しい出力画像データのサンプリングピッチにより一連の処理を実行するようにし、また補間処理の構成を省略して、ブレンド処理部１０においては、エッジ勾配方向処理部７の出力データと入力画像データとを重み付け加算することにより、単に入力画像データを輪郭強調することができる。

また上述の実施例においては、演算処理手段により所定のプログラムを実行して画像データを処理する場合について述べたが、本発明はこれに限らず、ハードウエアの構成により画像データを処理する場合にも広く適用することができる。

本発明は、例えば解像度の変換に適用することができる。

本発明の実施例に係る画像処理装置の構成を示す機能ブロック図である。 画素勾配の行列の生成に供する略線図である。 エッジ勾配方向及びエッジ方向の説明に供する略線図である。 エッジ方向処理部の動作の説明に供する略線図である。 平滑化処理範囲の設定に供するパラメータを示す特性曲線図である。 平滑化処理範囲の設定に供する他のパラメータを示す特性曲線図である。 エッジ勾配方向処理部の動作の説明に供する略線図である。 ブレンド処理部の設定に供するパラメータを示す特性曲線図である。 ブレンド処理部の設定に供する他のパラメータを示す特性曲線図である。

符号の説明

１……画像処理装置、２……エッジ検出部、３……勾配行列生成部、４……固有値、固有ベクトル検出部、５……エッジ方向処理部、６……エッジ方向処理範囲の決定部、７……エッジ勾配方向処理部、８……補間処理部、９……ブレンド比決定部、１０……ブレンド処理部

Claims (11)

1. 入力画像データを処理して出力画像データを出力する画像処理装置において、
   前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、前記エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出部と、
   前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理部と、
   前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理部から出力される画素値を前記エッジ勾配方向に輪郭強調処理して、前記出力画像データの画素値を順次出力するエッジ勾配方向処理部と
   を備えることを特徴とする画像処理装置。
2. 前記エッジ方向処理部は、
   前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に延長する直線上に、前記入力画像データの内挿処理によるエッジ方向の内挿画像データを生成した後、
   前記エッジ方向の内挿画像データのフィルタリング処理により、前記出力画像データの各画素に対応する画素値を順次出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記エッジ方向処理部は、
   前記エッジ方向へのエッジの信頼度に応じて、前記フィルタリング処理に供するタップ数を切り換える
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記エッジ方向処理部における前記フィルタリング処理に供するタップ数の切り換えが、
   前記エッジ方向へのエッジの信頼度に応じて、重み付け係数を可変し、前記重み付け係数を用いてタップ数の異なるフィルタリング処理結果を重み付け加算することによる小数点以下の単位によるタップ数の切り換えである
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記エッジ方向へのエッジの信頼度が、前記エッジ方向に係る画素値の勾配の分散と前記エッジ勾配方向に係る画素値の勾配の分散との比率である
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記エッジ勾配方向処理部は、
   前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ勾配方向に延長する直線上に、前記エッジ方向処理部から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データを生成した後、
   前記エッジ勾配方向の内挿画像データのフィルタリング処理により、前記出力画像データの画素値を順次出力する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記出力画像データは、
   前記入力画像データに対してサンプリングピッチを変化させてなる画像データであり、
   前記画像処理装置は、
   前記入力画像データを補間演算処理して前記出力画像データのサンプリングピッチによる補間画像データを出力する補間処理部と、
   前記エッジ方向へのエッジの信頼度に応じてブレンド用の重み付け係数を可変するブレンド比決定部と、
   前記ブレンド用の重み付け係数により、前記エッジ勾配方向処理部から出力される画像データと、前記補間画像データとを重み付け加算処理して前記出力画像データを出力するブレンド処理部とを有する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記エッジ方向へのエッジの信頼度に応じてブレンド用の重み付け係数を可変するブレンド比決定部と、
   前記ブレンド用の重み付け係数により、前記エッジ勾配方向処理部から出力される画像データと、前記入力画像データとを重み付け加算処理して前記出力画像データを出力するブレンド処理部とを有する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 入力画像データを処理して出力画像データを出力する画像処理方法において、
   前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、前記エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップと、
   前記エッジ検出ステップによる検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理ステップと、
   前記エッジ検出ステップによる検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理ステップで検出された画素値を前記エッジ勾配方向に輪郭強調処理して、前記出力画像データの画素値を順次出力するエッジ勾配方向処理ステップと
   を備えることを特徴とする画像処理方法。
10. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、前記エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップと、
    前記エッジ検出ステップによる検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理ステップと、
    前記エッジ検出ステップによる検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理ステップで検出された画素値を前記エッジ勾配方向に輪郭強調処理して、前記出力画像データの画素値を順次出力するエッジ勾配方向処理ステップと
    を備えることを特徴とする画像処理方法のプログラム。
11. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向と、前記エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップと、
    前記エッジ検出ステップによる検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理ステップと、
    前記エッジ検出ステップによる検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理ステップで検出された画素値を前記エッジ勾配方向に輪郭強調処理して、前記出力画像データの画素値を順次出力するエッジ勾配方向処理ステップと
    を備えることを特徴とする画像処理方法のプログラムを記録した記録媒体。
    

Images