JPWO2006117919A1 - 画像処理方法および画像処理装置ならびに画像処理プログラム - Google Patents

画像処理方法および画像処理装置ならびに画像処理プログラム Download PDF

Info

Publication number
JPWO2006117919A1
JPWO2006117919A1 JP2007514476A JP2007514476A JPWO2006117919A1 JP WO2006117919 A1 JPWO2006117919 A1 JP WO2006117919A1 JP 2007514476 A JP2007514476 A JP 2007514476A JP 2007514476 A JP2007514476 A JP 2007514476A JP WO2006117919 A1 JPWO2006117919 A1 JP WO2006117919A1
Authority
JP
Japan
Prior art keywords
edge
image processing
base component
image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007514476A
Other languages
English (en)
Inventor
清 高
清 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2006117919A1 publication Critical patent/JPWO2006117919A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本発明は、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行する画像形成装置を提供することを目的としている。本発明の画像形成装置に用いられるエッジ維持フィルタは、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことにより平滑化処理を実行する。

Description

本発明は各種画像データを処理する画像処理方法および画像処理装置ならびに画像処理プログラムに関し、特に、画像データに含まれるディテール成分とベース成分とに関してエッジ維持フィルタを用いて少なくとも前記ベース成分を抽出することができる画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
画像データには、各画素の信号値が周辺画素と比較して小刻みに変化するディテール成分と、各画素の信号値が周辺画素と比較して小刻みに変化しないベース成分とが含まれている。ここで、ディテール成分とは画像の細かな変化を表しており、一方、ベース成分は画像の一定の範囲のほぼ一律な明るさの変化などを表している。
ここで、図１０に示す画像データの信号値を示す波形図において、実線は画像データの信号値、波線は上述したベース成分である。すなわち、各画素の信号値が周辺画素と比較して小刻みに変化するディテール成分と、該ディテール成分の信号値を一定量シフトさせるベース成分とが含まれている。
なお、各種の画像処理において、画像データのダイナミックレンジを圧縮するには、画像データのベース成分とディテール成分とを分離し、このベース成分だけを圧縮したあとに、再びベース成分とディテール成分とを合成するような手法が多く用いられている。
このようにすることで、信号値の振幅が大きいベース成分を圧縮しつつもディテール成分は圧縮していないため、画像の明るさなどの部分は圧縮されるものの、画像の細かな描写やニュアンスは失われないという利点がある。
なお、以上のようにベース成分とディテール成分とを分離するには、ベース成分を低周波成分であると見なすと共に、ディテール成分を高周波成分と見なして、周波数成分の違いにより分離を行うようにしている。
なお、以上のような分離を行う際には、ベース成分を抽出するには注目画素に対し、ある大きさのフィルタ（平滑化フィルタ）をかけて、周辺画素の平均値を取る手法が多い。
ここで、図１１（ａ）に示すように、ベース成分の信号値が急激に変化する部分（エッジ部分）が存在している画像データを想定する。このような場合、上述した平滑化フィルタを使用してベース成分を抽出すると、図１１（ｂ）実線に示すように、本来のベース成分（図１１（ｂ）波線）に含まれるエッジ部分、すなわちベース成分の信号値が急激に変化する部分がぼかされることになる。
そして、このようにしてエッジ部分がぼけた状態で抽出されたベース成分を圧縮し（図１１（ｂ））、ディテール成分と合成すると、図１１（ｃ）に示すように“ハロ”と呼ばれる滲みあるいは淡い偽輪郭のような成分が生じることになる。
なお、以上のハロは、本来はベース成分に含まれる高周波成分がベース成分として検出されないために圧縮されず、ディテール成分側に影響を与えてしまうことが原因であると考えられている。
そして、このように、ハロを生じないようにする解決手法としては、高周波成分をエッジ部分と認識し、このエッジ部分の高周波成分を維持しつつベース成分を抽出することが可能なフィルタ（以下、「これをエッジ維持フィルタ」と呼ぶ）を使うことが提案されている。
図１２にエッジ維持フィルタによる動作例を示す。ここで、図１２（ａ）に示すように、ベース成分の信号値が急激に変化する部分（エッジ部分）が存在している画像データを想定する。
このような場合、図１１で説明した平滑化フィルタではなく、エッジ維持フィルタを使用してベース成分を抽出すると、図１２（ｂ）実線に示すように、本来のベース成分（図１２（ｂ）波線）と同様に、すなわちベース成分の信号値が急激に変化する部分（エッジ部分）がぼかされない状態になる。
そして、このようにしてエッジ部分が維持された状態で抽出されたベース成分（図１２（ｂ））を圧縮し、ディテール成分と合成すると、図１２（ｃ）に示すように、ハロが生じていない画像データを生成することができる。
この結果、信号値の振幅が大きいベース成分を圧縮しつつもディテール成分は圧縮していないため、画像の明るさなどの部分は圧縮されるものの、画像の細かな描写は失われない状態にすることが可能になる。
なお、このようなエッジ維持フィルタについて、両側性フィルタ（bilateral filter）、εフィルタ、メディアンフィルタなど、様々な手法が提案されている。その中の一例としての両側性フィルタの詳しい内容は、以下の非特許文献１に記載されている。
また、以上のようなエッジ維持フィルタと同様な結果を得るための画像処理として、小振幅成分のみを平滑化し、大きなエッジ成分に平滑化処理を実行しないことによるベースを抽出する手法については、以下の特許文献１に記載されている。
「Fast Bilateral Filtering for the Display of High-Dynamic-Range Images」Fredo Durand and Julie Dorsey著、SIGGRAPH 2002 特許公開２００１−２７５０１５号公報（第１頁、図１）
以上の非特許文献１にあるバイラテラルフィルタ（両側性フィルタ）の計算方法は、以下の式（１）により示すことができる。
ここで、ｋ（ｓ）は正規化項、ｆ（ｐ−ｓ）はガウシャンフィルタなどの実空間上で平滑化処理を行う平滑化フィルタである。ここで、ガウシャンフィルタとは、重み関数が正規（ ガウス）分布の平滑化（ぼかし）フィルタである。
なお、この平滑化処理を行う平滑化フィルタの処理は、模式的に示せば図１３のようになる。すなわち、各画素毎に、周辺画素を含めて正規分布の重みを付けて平滑化を実行している。
また、ｇ（Ｉp−Ｉs）は影響関数と呼ばれる関数であり、周辺画素値Ｉpと注目画素値Ｉsとの差の関数であり、ここでは、差が大きいほどｇの値が小さくなるように定められている。
なお、一般のコンボリューションは、フーリエ変換で画像データとフィルタデータを周波数空間上に変換してから乗算し、逆フーリエ変換で実空間上に戻すことにより、処理を高速化することができる。
しかし、以上の式（１）では実際に計算する際にｇの値が可変にされるため、フーリエ変換を用いる手法を直接には適用できない。
そこで、画素値を等分割にいくつかをピックアップし、セット[ｉj]を作り、各値を注目画素値Ｉsとし、以下に示す式（２）を計算する。
たとえば、画素値０〜２５５を、０〜３１，３２〜６３，６４〜９５，９６〜１２７，１２８〜１５９，１６０〜１９１，１９２〜２２３，２２４〜２５５，のように、等分割する。ここでは、画素値０〜２５５の場合に、信号値幅３２で、８分割した例を示した。
これにより、ｇの値を固定することができるようになり、フーリエ変換による周波数空間上の平滑化処理が実現できるようになる。そして、最後に、画素ｓの最終出力は画素Ｉsに最も近い２つのｉjの出力値Ｊの線形補間により計算される。
しかし、フーリエ変換では回路規模が大きくなることと、処理の過程で必要になるメモリ容量が大きくなることが予測されるため、ハードウェア化が容易でない。このため、上述した非特許文献１に記載された高速両側性フィルタを、ハードウェア化して実際の装置に搭載することは、困難であるという問題がある。
本発明は以上の課題に鑑みてなされたものであって、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能な画像処理方法および画像処理装置ならびに画像処理プログラムを実現することを目的とする。
すなわち、上記の課題を解決する手段としての本願発明は以下に述べるようなものである。
（１）請求の範囲第１項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す、ことを特徴とする画像処理方法である。
（２）請求の範囲第２項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する、ことを特徴とする画像処理方法である。
（３）請求の範囲第３項に記載の発明は、前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有する、ことを特徴とする請求の範囲第１項または第２項に記載の画像処理方法である。
（４）請求の範囲第４項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、前記エッジ維持フィルタは、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことにより前記平滑化処理を実行する、ことを特徴とする画像処理装置である。
（５）請求の範囲第５項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、前記エッジ維持フィルタは、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現することにより前記平滑化処理を実行する、ことを特徴とする画像処理装置である。
（６）請求の範囲第６項に記載の発明は、前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数部ｇと、平滑化処理を実行する平滑化フィルタ部ｆとを少なくとも有する、ことを特徴とする請求の範囲第４項または第５項に記載の画像処理装置である。
（７）請求の範囲第７項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、前記平滑化処理は、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す処理であることを特徴とする画像処理プログラムである。
（８）請求の範囲第８項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、前記平滑化処理は、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する処理であることを特徴とする画像処理プログラムである。
（９）請求の範囲第９項に記載の発明は、前記エッジ維持フィルタリングルーチンは、注目画素とその周辺画素との差に関する影響関数ルーチンｇと、平滑化処理を実行する平滑化フィルタルーチンｆとを少なくとも有する、ことを特徴とする請求の範囲第７項または第８項に記載の画像処理プログラムである。
この発明では、以下のような効果を得ることができる。
（１）請求の範囲第１項に記載の画像処理方法の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。
すなわち、平滑化処理を縮小・拡大によっているため実空間で高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
（２）請求の範囲第２項に記載の画像処理方法の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する。
すなわち、周波数分解により得られた低周波成分の逆変換によって平滑化処理を実行しているため高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
（３）請求の範囲第３項に記載の画像処理方法の発明では、上記（１）または（２）において、このエッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができるようになる。また、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。
（４）請求の範囲第４項に記載の画像処理装置の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。
すなわち、平滑化処理を縮小・拡大によっているため実空間で高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
（５）請求の範囲第５項に記載の画像処理装置の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する。
すなわち、周波数分解により得られた低周波成分の逆変換によって平滑化処理を実行しているため高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
（６）請求の範囲第６項に記載の画像処理装置の発明では、上記（４）または（５）において、このエッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができるようになる。また、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。
（７）請求の範囲第７項に記載の画像処理プログラムの発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。
すなわち、平滑化処理を縮小・拡大によっているため実空間で高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
（８）請求の範囲第８項に記載の画像処理プログラムの発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する。
すなわち、周波数分解により得られた低周波成分の逆変換によって平滑化処理を実行しているため高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
（９）請求の範囲第９項に記載の画像処理プログラムの発明では、上記（７）または（８）において、このエッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができるようになる。また、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。
本発明の第１実施形態の画像処理装置の構成を示す機能ブロック図である。 本発明の実施形態の画像処理装置が適用される具体的な装置の構成を示すブロック図である。 本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）を示すフローチャートである。 本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における画像データの処理の際の計算の様子を示す説明図である。 本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における画像データの処理の様子を示すタイミングチャート（特性図）である。 本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における主要部の処理の様子を示すタイミングチャート（特性図）である。 本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における主要部の処理の様子を示すタイミングチャート（特性図）である。 本発明の第２の実施形態の画像処理装置の構成を示す機能ブロック図である。 本発明の第２の実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における画像データの処理の様子を示す説明図である。 画像データに含まれるディテール成分とベース成分との様子を模式的に示す特性図である。 従来の画像処理において平滑化フィルタを使用したベース成分の抽出の様子を示すタイミングチャート（特性図）である。 従来の画像処理においてエッジ維持フィルタを使用したベース成分の抽出の様子を示すタイミングチャート（特性図）である。 従来の画像処理においてエッジ維持フィルタで実行されるガウシャンフィルタの様子を模式的に示す説明図である。
符号の説明
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１１０ 演算部
１２０ 第１フィルタ部（エッジ維持フィルタ）
１２２ 周波数検出部
１２４ 影響関数算出部
１４０ ディテール成分抽出部
１５０ 圧縮部
１６０ 合成部
１７０ 操作部
１８０ 表示部
１９０ ＨＤＤ
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。
〈第１実施形態〉
まず、図１以降を参照して、本発明の画像処理方法および画像処理装置ならびに画像処理プログラムを画像処理装置に適用した場合の第１実施形態の電気的構成の具体例を説明する。
すなわち、本実施形態において、画像処理装置の動作は画像処理方法の処理手順であり、画像処理プログラムの実行手順は画像処理装置の動作または画像処理方法の処理手順である。
ここで、画像処理装置は以下の各手段から構成されている。なお、図１は本実施形態の画像処理装置の主要部分の機能的な構成を示す機能ブロック図、図２は画像処理装置を構成する具体的な回路や装置の一例を示すブロック図である。また、この画像処理装置の構成は、画像処理方法を実行するための実現手段であり、また、画像処理プログラムの各ルーチンでもある。
ここで、１１０は、画像処理装置１００（図２参照）内で画像処理の演算を実行する演算部である。この演算部１１０は、画像処理装置１００内にあって、画像データに含まれるディテール成分と、該ディテール成分の信号値を一定量シフトさせるベース成分とを分離して、それぞれ適した処理をした後に再び合成して画像データとする演算を行う。
なお、この演算部１１０は、画像データに含まれるベース成分におけるエッジ部分が急激な変化であっても滑らかな変化であっても、エッジ部分を正しく維持しつつ、エッジ部分を含まない状態でベース成分を抽出することが可能に構成されている。
そして、この演算部１１０は、機能的には、エッジ維持フィルタ１２０、ディテール成分抽出部１４０、圧縮部１５０、合成部１６０を少なくとも有している。
ここで、１２０は、画像のエッジ部分を維持しつつ、エッジ部分を含まない状態で平滑化処理を実行してベース成分を抽出可能なエッジ維持フィルタである。このエッジ維持フィルタ１２０は、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことで、実空間上で平滑化処理を実行する縮小拡大処理部としての平滑化処理部１２２と、注目画素と周辺画素との信号値の差（エッジか否か）に応じた値を出力する影響関数の計算を行う影響関数算出部１２４と、を備えて構成されている。
なお、このエッジ維持フィルタ１２０としては、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができる。また、影響関数ｇと、平滑化フィルタｆと、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。
１４０は、入力された画像データに含まれているベース成分を画像データから減算するか、あるいは、入力された画像データに含まれているベース成分で画像データを除算することにより、画像データに含まれるディテール成分を抽出するディテール成分抽出部である。ここで、ディテール成分とは、画像データの各画素の信号値が周辺画素と比較して小刻みに変化している成分であり、主に高周波成分によって構成されている。
１５０は、上述したエッジ維持フィルタ１２０により抽出されたベース成分の信号値を所定の割合で圧縮することで振幅（ダイナミックレンジ）を小さくする圧縮処理を実行する圧縮部である。
１６０は、圧縮されたベース成分とディテール成分とを合成する合成部である。なお、ディテール成分抽出部１４０で減算を実行した場合には、この合成部１６０ではベース成分とディテール成分との加算によって合成を行う。また、ディテール成分抽出部１４０で除算を実行した場合には、この合成部１６０ではベース成分とディテール成分とを掛け合わせることによって合成を行う。この合成部１６０からは、信号値の振幅が大きいベース成分が圧縮されつつ、ディテール成分は圧縮されていないため、画像の明るさなどの部分は圧縮されるものの、画像の細かな描写は失われない状態の画像データが出力される。
図２において、画像処理装置１００は、ハードウェアとして、以下のものを有して構成されている。
図１で機能的構成を示した演算部１１０は、各部を制御する制御手段としてのＣＰＵ１０１と、各種データや各種プログラムが格納されているＲＯＭ１０２と、画像データが展開されて処理される作業エリアとしてのＲＡＭ１０３と、を有している。
１７０は画像処理装置１００に対してオペレータ（使用者）が各種指示を入力する操作部、１８０は画像処理装置１００の各種状態を表示する表示部、１９０は画像データや各種データが格納されるＨＤＤである。
以上のような構成の画像処理装置の動作、画像処理方法の処理手順、画像処理プログラムの実行手順について、以下に説明する。
この実施形態では、エッジ維持フィルタ１２０を用いて、上述した（２）式の演算を行うようにしており、影響関数算出部１２４で影響関数ｇによって画素値の差から画像の高周波成分をエッジと認識し、このエッジを維持しつつ、平滑化処理部１２２で平滑化処理を実行してベース成分を抽出する。
すなわち、影響関数算出部１２４が影響関数ｇにより注目画素と周辺画素との画素値の差を監視しており、差が大きければエッジ部分であり、差が小さければ非エッジ部分であると判別できる。このような影響関数算出部１２４の影響関数ｇの算出結果に応じて、平滑化処理部１２２は、エッジ部分では平滑化処理を実行せず、非エッジ部分で平滑化処理を実行する。このようにして、画像のエッジを維持しつつ、非エッジ部分で平滑化処理が実行される。このような平滑化処理の際に、本実施形態では、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。
すなわち、平滑化処理部１２２による平滑化処理の部分を、従来提案されていたフーリエ変換による周波数空間上の計算の代わりに、図３に示すように、画像を一旦縮小して画素数を減じた後、また拡大して画素数を増やす（戻す）ことにより、画像をぼかし、実質上平滑化フィルタ処理と同等な処理効果が得られる。
この平滑化処理部１２２での画像の縮小手法について、画像をブロックで分割し、各ブロックの平均値を縮小画像の一画素値とする方法が挙がられる。また、平滑化処理部１２２での拡大手法について、最も近い4つの画素から線形補間するバイリニア法が挙げられる。
このように、エッジ維持フィルタ１２０での平滑化処理部１２２において、平滑処理を縮小処理・拡大処理にすることで、実空間で高速に実行できるようになる。また、平滑化処理をフーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
なお、以上の第１実施形態の処理を、上述した式（２）に適用した場合の計算の流れを示すと図４のようになる。
ここでは、画素値を等分割にいくつかをピックアップし、セット[ｉj]を作り、各値を注目画素値Ｉsとし、式（２）を計算する。
たとえば、画素値０〜２５５を、０〜３１，３２〜６３，６４〜９５，９６〜１２７，１２８〜１５９，１６０〜１９１，１９２〜２２３，２２４〜２５５，のように、等分割する。ここでは、画素値０〜２５５の場合に、信号値幅３２で、８分割した例を示すが、他の分割でもよい。
すなわち、分割された区間でＪが0〜NB_SEGMENTSの範囲で、影響関数ｇによってＧを算出し、また、正規化係数Ｋを算出し、Ｇと画素値ＩとからＨを算出し、このＨを縮小処理と拡大処理とによって平滑化処理する。さらに、この平滑化処理された値を正規化係数Ｋで正規化してＪを得る。そして、最後に、画素ｓの最終出力Ｊsは画素Ｉsに最も近い２つのｉjの出力値Ｊs jの線形補間により計算される。
なお、以上の第１実施形態の説明において、縮小処理と拡大処理とによる平滑化処理の効果は、縮小・拡大倍率に影響される。
縮小・拡大倍率を適正時よりも大きくして縮小後の画像サイズが小さくなりすぎると、図５（ｂ）に示すように、画像の平滑化値は距離の近い周辺画素の高周波成分に大きく影響され、結果として、エッジ部分がぼかされてしまうことがある。そして、この部分にハロと呼ばれる状態が発生してしまう。よって、良質な画像が得られない。
一方、縮小・拡大倍率を適正時よりも小さくして縮小後の画像サイズが大きすぎると、図６（ｂ）に示すように、広すぎる範囲で平滑化処理が実行される結果、抽出されるベース値のダイナミックレンジが小さくなる。このため、ディテール中にベース成分の変化分が残ってしまって、ディテールのダイナミックレンジが大きくなってしまい、最終的に合成された画像のレンジも大きくなってしまう（図７参照）。よって、当初の目的を達成できない。
そこで、経験値により、縮小後の画像サイズは、以下の式（３）のようにして計算することが望ましい。
α1×画像横幅／画像縦幅＜縮小サイズ＜α2×画像横幅／縦幅 …（３）
なお、ここで、α1＝0.01、α2＝0.1である。また、計算結果は整数でない場合は、最も近い0でない整数に丸める。
このようなサイズ、あるいは、倍率で縮小・拡大処理して平滑化処理を実行することで、どのような画像サイズでも、より最適なエッジ維持平滑化処理効果が得られる。
なお、変形例として、縮小・拡大手法は以上の第１実施形態に述べたものに限らず、二アレストネイバー法、バイキュービック法など、どんな方法であってもよい。この結果、処理の多様性に対応できるようになる。
〈第２実施形態〉
本発明の画像処理方法および画像処理装置ならびに画像処理プログラムを画像処理装置に適用した場合の第２実施形態を説明する。
ここで、本実施形態において、画像処理装置の動作は画像処理方法の処理手順であり、画像処理プログラムの実行手順は画像処理装置の動作または画像処理方法の処理手順である。
この第２実施形態では、以上の第１実施形態における平滑化処理部１２２での平滑化処理の部分を、従来のフーリエ変換による周波数空間上の計算の代わりに、また、第１実施形態の縮小・拡大処理の代わりに、図８に示すように、周波数分解・合成部としての平滑化処理部１２３を配置し、周波数分解手法を用いる。
ここで、平滑化処理部１２３では、図９に示すように、画像データを複数の周波数帯に分解し（図９（ａ）、（ｂ）、（ｃ））、最も低い周波数成分のみを保留し（図９（ｄ））、逆変換する（図９（ｅ））。このようにすることにより、画像をぼかし、実質上平滑化フィルタ処理と同等な処理効果が得られる。周波数分解手法については、ウェーブレット変換を用いることができる。
このように、エッジ維持フィルタ１２０での平滑化処理部１２３において、平滑処理を周波数分解・合成処理にすることで、高速に実行できるようになる。また、平滑化処理をフーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。
なお、以上の第２実施形態の説明において、周波数分解処理・合成処理による平滑化処理の効果は、周波数分解処理の分解倍率に影響される。
すなわち、周波数分解倍率を適正時よりも大きくして周波数分解後の画像サイズが小さくなりすぎると、図５（ｂ）に示すように、画像の平滑化値は距離の近い周辺画素の高周波成分に大きく影響され、結果として、エッジ部分がぼかされてしまうことがある。そして、この部分にハロと呼ばれる状態が発生してしまう。よって、良質な画像が得られない。
一方、周波数分解倍率を適正時よりも小さくして周波数分解後の画像サイズが大きすぎると、図６（ｂ）に示すように、広すぎる範囲で平滑化処理が実行される結果、抽出されるベース値のダイナミックレンジが小さくなる。このため、ディテール中にベース成分の変化分が残ってしまって、ディテールのダイナミックレンジが大きくなってしまい、最終的に合成された画像のレンジも大きくなってしまう（図７参照）。よって、当初の目的を達成できない。
そこで、経験値により、周波数分解後の画像サイズを決定づける周波数分解倍率は、以下の式（４）のようにして計算することが望ましい。ｌｏｇ2(α1×画像横幅／縦幅)＜分解レベル＜ｌｏｇ2(α2×画像横幅／縦幅)…（４），
なお、ここで、α1＝0.01、α2＝0.1である。また、ここで、計算結果が整数でない場合は、最も近い０でない整数に丸める。
このようなサイズ、あるいは、倍率で周波数分解処理と周波数合成処理とにより平滑化処理を実行することで、どのような画像サイズでも、より最適なエッジ維持平滑化処理効果が得られる。
なお、周波数分解手法で画像データを一旦複数の周波数帯に分解し、最も低い周波数成分に限らず、その他の所望な低周波成分を保留し逆変換してもよい。このようにすることで、目的の多様性に対応できるようになる。
〈その他の実施形態〉
また、以上の各実施形態は、モノクロ画像データだけでなく、カラー画像データに適用することが可能である。カラー画像データに適用する場合には、ＲＧＢあるいはＹＭＣＫなどの色別の画像データ毎に適用することが可能である。また、輝度信号・色差信号などの場合には、輝度信号のみ、あるいは、輝度信号と色差信号の両方の、いずれに適用することも可能である。

Claims (9)

  1. ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、
    画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す、ことを特徴とする画像処理方法。
  2. ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、
    画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する、ことを特徴とする画像処理方法。
  3. 前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有する、ことを特徴とする請求の範囲第１項または第２項に記載の画像処理方法。
  4. ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、
    画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、
    前記エッジ維持フィルタは、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことにより前記平滑化処理を実行する、ことを特徴とする画像処理装置。
  5. ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、
    画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、
    前記エッジ維持フィルタは、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現することにより前記平滑化処理を実行する、ことを特徴とする画像処理装置。
  6. 前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数部ｇと、平滑化処理を実行する平滑化フィルタ部ｆとを少なくとも有する、ことを特徴とする請求の範囲第４項または第５項に記載の画像処理装置。
  7. ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、
    コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、
    前記平滑化処理は、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す処理であることを特徴とする画像処理プログラム。
  8. ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、
    コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、
    前記平滑化処理は、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する処理であることを特徴とする画像処理プログラム。
  9. 前記エッジ維持フィルタリングルーチンは、注目画素とその周辺画素との差に関する影響関数ルーチンｇと、平滑化処理を実行する平滑化フィルタルーチンｆとを少なくとも有する、ことを特徴とする請求の範囲第７項または第８項に記載の画像処理プログラム。
JP2007514476A 2005-04-28 2006-02-22 画像処理方法および画像処理装置ならびに画像処理プログラム Pending JPWO2006117919A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005132029 2005-04-28
JP2005132029 2005-04-28
PCT/JP2006/303112 WO2006117919A1 (ja) 2005-04-28 2006-02-22 画像処理方法および画像処理装置ならびに画像処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2006117919A1 true JPWO2006117919A1 (ja) 2008-12-18

Family

ID=37307725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007514476A Pending JPWO2006117919A1 (ja) 2005-04-28 2006-02-22 画像処理方法および画像処理装置ならびに画像処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2006117919A1 (ja)
WO (1) WO2006117919A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置
JP5965638B2 (ja) * 2011-12-27 2016-08-10 オリンパス株式会社 画像処理システムを備えた顕微鏡システム
JP5267704B2 (ja) * 2012-06-06 2013-08-21 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
EP3944615A1 (en) * 2015-09-02 2022-01-26 Faurecia Irystec Inc. System and method for real-time tone-mapping
KR101780253B1 (ko) * 2016-03-31 2017-09-20 (주)링크글로벌21 이미지 보정 방법, 이를 수행하는 이미지 보정 서버, 및 이를 저장하는 기록매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143209B2 (ja) * 1992-05-25 2001-03-07 株式会社リコー 画像変倍装置
JP3507039B2 (ja) * 2001-03-07 2004-03-15 株式会社ナムコ プログラム、情報記憶媒体及びゲーム装置
JP2003076985A (ja) * 2001-09-06 2003-03-14 Konica Corp 画像処理方法及び装置

Also Published As

Publication number Publication date
WO2006117919A1 (ja) 2006-11-09

Similar Documents

Publication Publication Date Title
JP4661238B2 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
JP4772721B2 (ja) 画像処理装置及びその方法
JP3754933B2 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体
JP3833177B2 (ja) 画像処理装置、画象処理方法、記憶媒体及びプログラム
JP5163489B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
JP5348145B2 (ja) 画像処理装置および画像処理プログラム
KR20160102524A (ko) 이미지의 역 톤 매핑을 위한 방법
EP3186954B1 (en) Image processing apparatus, image processing method, recording medium, and program
JP5418777B2 (ja) 画像処理装置及び画像処理プログラム
JP2001057677A (ja) 画像処理方法および装置並びに記録媒体
JP2008236072A (ja) 画像処理装置及びその方法
JPWO2008105222A1 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
JPWO2002045019A1 (ja) 画像処理装置、画像処理方法、記憶媒体及びプログラム
JPWO2009107197A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPWO2006117919A1 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
KR101668829B1 (ko) 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
JPH1063839A (ja) 画像処理方法および装置
JP2007048104A (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
JPH0998293A (ja) 画像処理方法および装置
JP2002074356A (ja) 画像処理方法および装置並びに記録媒体
JP6325656B2 (ja) フォーカス評価を補助するための装置、プログラム及び方法
JP2003337942A (ja) 画像処理装置
JP7437921B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Thai et al. Image tone mapping approach using essentially non-oscillatory bi-quadratic interpolations combined with a weighting coefficients strategy
JP4235622B2 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体