JP4339611B2 - コントラスト強調方法及びコントラスト強調装置 - Google Patents

コントラスト強調方法及びコントラスト強調装置 Download PDF

Info

Publication number
JP4339611B2
JP4339611B2 JP2003049952A JP2003049952A JP4339611B2 JP 4339611 B2 JP4339611 B2 JP 4339611B2 JP 2003049952 A JP2003049952 A JP 2003049952A JP 2003049952 A JP2003049952 A JP 2003049952A JP 4339611 B2 JP4339611 B2 JP 4339611B2
Authority
JP
Japan
Prior art keywords
histogram
image
contrast
histogram equalization
equalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003049952A
Other languages
English (en)
Other versions
JP2003281527A (ja
Inventor
レイ、チューチュン
サルトル、ペイエルジョルジオ
イネスコ、ヤルシン
ワグナー、ペーター
Original Assignee
ソニー インターナショナル (ヨーロッパ) ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー インターナショナル (ヨーロッパ) ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical ソニー インターナショナル (ヨーロッパ) ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2003281527A publication Critical patent/JP2003281527A/ja
Application granted granted Critical
Publication of JP4339611B2 publication Critical patent/JP4339611B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル画像のコントラストを強調するコントラスト強調方法に関し、特にテレビジョン画像のコントラストを強調する方法に関する。更に、本発明は、デジタル画像のコントラストを向上させるコントラスト強調装置に関する。
【0002】
【従来の技術】
ヒストグラム均等化法(histogram equalization)は、単純且つ効果的な技術であるため、デジタル画像のコントラストを向上させる処理に広く用いられている。ヒストグラム均等化法は、包括的手法(global approach)と局所的手法(local approach)といった2つのカテゴリに分類される。尚、ここでは、演算負荷を考慮して、包括的ヒストグラム均等化法が好ましいと判断し、特にテレビジョン画像のコントラストの強調に包括的ヒストグラム均等化法を用いる具体例のみを説明する。
【0003】
ヒストグラム均等化法は、画像情報を最大限知覚(maximal Image information perception)するには、画像の輝度値の分布(ヒストグラム)が画像の輝度値の範囲全体に亘って均一でなくてはならないという原理に基づいている。ヒストグラム均等化変換曲線(histogram equalization transformation curve)によって画素の輝度値をマッピングすることにより、変換画像の画素の輝度値は、ダイナミックレンジ全体に亘って可能な限り均等に分布する。この「ヒストグラム均等化変換曲線」を以下「HE変換曲線」と呼ぶ。
【0004】
HE変換曲線は、オリジナル画像のヒストグラムから得ることができる。適切なHE変換曲線を生成するために、ヒストグラム値を累算することにより、累積ヒストグラム(cumulative histogram)、すなわち累積分布関数(Cumulative Distribution Function:以下、CDFともいう。)が算出される。そして、累積ヒストグラムを正規化し、輝度レベルをマッピングするために最適な変換関数を求める。
【0005】
ここで、多くの用途において、ヒストグラム均等化に基づく画像の性質の変化の度合いが好ましくない場合がある。すなわち、ヒストグラム均等化を行うと、画像の明度(brightness)が大きく変化しすぎることがある。例えば、夜間に撮像された画像が昼間に撮影された画像のように見えてしまうこともある。また、人間の顔に対応する領域における自然な印象が損なわれることもある。
【0006】
【発明が解決しようとする課題】
欧州特許EP383269A2号「部分的画像適応化法(Regionally adaptive Imaging techniques)」には、画像雑音を強調しすぎることを回避するためのヒストグラムフィルタリング法が開示されている。
【0007】
また、ワイ・ティー・キム(Y.-T.Kim.)に付与されている米国特許第5857033号「定量化された平均分離ヒストグラム均等化法を用いた画像強調方法及び回路(Method for image enhancement using quantified mean separate histogram equalization and a circuit thereof)」では、画像の平均値に基づいて画像を2つのサブ画像に分割することにより、明度が極端に変化しないようにしている。ここでは、各サブ画像は、個々にヒストグラム均等化される。
【0008】
また、ワイ・ティー・キム(Y.-T.Kim.)に付与されている米国特許第5923383号「ヒストグラム均等化を用いた画像強調方法(Image enhancement method using histogram equalization)」では、明度の極端な変化を回避する更なる手法が開示されている。ここでは、ヒストグラムを算出する際に、各輝度値の出現数が所定数を超えないように制限される。しかしながら、この文献では、異なる画像に対して、この所定数をどのように決定するかは開示されていない。更に、欧州特許EP383269A2号にも指摘されているように、この種の制限の結果、輝度値の範囲が小さくなり、画像のコントラストが劣化するという問題もある。
【0009】
コーネリアス・エー(Cornelius A.)、エム・ヤスパース(M.Jaspers)に付与されている米国特許第5537071号「入力信号を振幅セグメント信号に分割し、各振幅セグメント信号の値に基づいて各振幅セグメント信号を非線形的に処理する方法及び回路(Method and circuit for dividing an input signal into amplitude segment signals and for non-linearity processing the amplitude segment signals on the basis of the value of each amplitude segment signal)」に開示される手法によれば、ヒストグラム均等化における問題を改善することができる。この手法では、ヒストグラムを複数(例えば32個)のセグメントに分割し、これらセグメントのヒストグラムエントリからこれらの平均値を減算する。続いて、これらのセグメントに亘る積分を行う。そして、係数による重み付けを行い、積分結果を表す曲線と単位直線(unit straight line)とを混合することにより、画像コントラストが強調される。しかしながら、この手法では、実現されるヒストグラム均等化の度合いが限られている。特に、コントラストが弱い画像に対しては、強調量が、画像の性質により許容される望ましい強調量に比べて遙かに少ない。
【0010】
欧州特許EP1022679A2号には、「画像処理システム(Image processing system)」が開示されている。ここに開示される手法では、ヒストグラムは複数のクラスタに分割され、各クラスタに対してヒストグラム均等化又は伸張(stretching)が実行される。このヒストグラムの分割は、パターンマッチング法(pattern matching technique)に基づいて行われ、均一なガウス分布(Gaussian and uniform distribution)は、個々のクラスタに分割される。しかしながら、ヒストグラムパターンは、必ずしも均一なガウス分布を有するとは限らず、他の種類の分布パターンも存在する。
【0011】
そこで、本発明は上述の課題に鑑みてなされたものであり、本発明の目的は、アーティファクトの発生を回避し、変更画像がより自然に見える、ヒストグラム均等化を用いたデジタル画像のコントラスト強調方法及びコントラスト強調装置を提供することである。
【0012】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係るコントラスト強調方法は、それぞれに輝度レベルが割り当てられた複数の画素を含むデジタル画像のコントラストを強調するコントラスト強調方法において、オリジナル画像の輝度レベルの分布を示すヒストグラムを判定するステップと、オリジナル画像のコントラストの特性測定値を判定するステップと、オリジナル画像のヒストグラムを均等化し、コントラストを向上させるステップとを有する。ヒストグラムの均等化の度合いは、特性測定値の関数として変更される。
【0013】
従来の手法のように全体的なヒストグラムと均等化を行う代わりに、本発明では、部分的なヒストグラム均等化を実現することができる。ヒストグラム均等化の度合いは、ヒストグラム均等化を行わない処理から全体的なヒストグラム均等化を行う処理までの間で変更され、これにより画素の輝度値は、そのダイナミックレンジ全体に亘って可能な限り均等に分布される。本発明では、ヒストグラム均等化の度合いは、自動的に画像のコントラストに適応化される。オリジナル画像を分析することにより、画像コントラストの特性測定値が算出される。
【0014】
画像のコントラストが高い場合、ヒストグラム均等化は不要であり、この場合、ヒストグラム均等化をオフにできる。一方、画像のコントラストが低い場合、ヒストグラム均等化をオンにし、全体的なヒストグラム均等化を行うことができる。画像コントラストが中間的である場合、適正量のヒストグラム均等化が実行される。
【0015】
この方法の利点は、オリジナル画像の質が高い場合、そのオリジナル画像にはヒストグラム均等化が施されず、したがって質が高い画像を劣化させることがない点にある。更に、本発明では、コントラストの強調が適量に制限されるため、例えば人間の顔が不自然に見えてしまうような、ヒストグラム均等化に起因するアーチファクトの発生を回避することができる。すなわち、本発明により、ヒストグラム均等化は必要最小限に抑制される。したがって、ヒストグラム均等化後の画像の全体的な画質が向上する。
【0016】
ヒストグラムは、好ましくは、変更輝度レベルを算出するために、ヒストグラム均等化変換曲線に基づいて、オリジナル画像の輝度レベルを変換することにより、均等化される。ヒストグラム均等化変換曲線は、オリジナル画像の輝度レベルを変更し、コントラストが強調された画像を生成するために使用される。ヒストグラム均等化関数は、輝度値の範囲内の初期の各輝度レベルを対応するターゲット輝度レベルにマッピングするマッピング曲線とみなすことができる。ターゲット輝度レベルは、画素毎に初期の輝度レベルを対応するターゲット輝度レベルにマッピングすることにより、画像のコントラストが高まるように選択される。
【0017】
ヒストグラム均等化変換曲線は、好ましくは、ヒストグラムを積分及び換算することにより生成される。オリジナル画像の輝度レベルの分布を示すオリジナルヒストグラムの値を累積することにより、累積分布関数(Cumulative Distribution Function:以下、CDFという。)が得られる。累積分布関数のターゲット値の範囲は、輝度レベルの範囲に対応していないため、累積分布関数に対する換算を行う必要がある。累積分布関数を換算することにより、全体的なヒストグラム均等化に適切に用いることができるヒストグラム均等化変換曲線が得られる。
【0018】
ここで、特性測定値は、オリジナル画像の輝度レベルの平均値と所定の定数との差を評価することにより算出され、この差が大きいほど画像のコントラストが低いと判定する。通常、低いコントラストは、照明が不適切であるという条件に起因し、コントラストが低い画像は、明るすぎるか暗すぎるかのいずれかである。このため、コントラストが低い画像の平均輝度レベルは、通常の画像の平均輝度レベルに比べて著しく小さい又は大きい。この平均輝度値と、例えば輝度値が0〜255の範囲を取る場合は128といった定数との差は、画像コントラストの特性測定値として適しており、また、この値は容易に算出することができる。
【0019】
本発明の他の好ましい具体例においては、特性測定値は、輝度レベル0から最初の主要ヒストグラムピークまでの重み付けされた距離と、最後の主要ヒストグラムピークから最大の輝度レベルまでの重み付けされた距離との差を評価することにより算出され、この重み付けされた距離の差が大きい程画像のコントラストが低いと判定する。このような判断基準を設けることにより、画像全体が暗すぎるか、明るすぎるかを判定することができる。ヒストグラムのピークが輝度レベル範囲の中間にない場合、この画像はコントラストが低い画像であると知覚される。この場合、強いヒストグラム均等化が適切である。
【0020】
また、好ましくは、特性測定値の算出において主要ヒストグラムピーク間の空き領域の総和を考慮し、この主要ヒストグラムピーク間の空き領域の総和が大きい程画像のコントラストが高いと判定する。画像内のどの画素にも割り当てられていない全ての輝度値は、この空き領域に対応する。ヒストグラムの空き領域は、画像の特徴を区別するのに有用である。すなわち、ヒストグラムのピーク間に大きな空き領域を有する画像は、コントラストが高い画像であり、したがって、比較的弱いヒストグラム均等化を行えばよい。このような追加的な基準を考慮に入れることにより、ヒストグラム均等化の度合いを少なく維持できる。
【0021】
ここで、主要ヒストグラムピークは、好ましくは、ヒストグラム又はヒストグラム均等化変換曲線の傾きが所定の閾値をどこで超えているかを判断することにより判定される。この傾きは、隣接するヒストグラム値を減算することにより容易に求められる。この減算の結果が所定の閾値を超える場合、主要ヒストグラムピークが検出される。
【0022】
更に、好ましくは、オリジナル画像に対してエッジ検出処理を施すことによりエッジ画像を生成し、特性測定値を算出する際、オリジナル画像のコントラストと、エッジ画像のコントラストの両方を考慮する。ここでは、オリジナル画像とエッジ画像の両方についてヒストグラムを生成する。エッジ画像については、エッジ周辺の画素のみを用いてヒストグラムを生成する。したがって、画像のエッジ程多くの情報を含まない、例えば背景等の均質な領域内の画素は、ヒストグラムに大きな影響を与えない。ここでは、オリジナル画像の特性測定値とエッジ画像の特性測定値といった2つの異なる特性測定値が得られる。この場合、高いコントラストを示している方の特性測定値に基づいてヒストグラム均等化の度合いを制御するとよい。これにより、画像内の均質な部分が大きい場合にヒストグラム均等化の度合いが強くなってしまうといった問題を回避できる。
【0023】
好ましくは、ヒストグラムに対しローパスフィルタリング処理を施した後にヒストグラム均等化変換曲線を生成する。ローパスフィルタリングにより、ヒストグラムの高周波数成分が除去される。すなわち、ローパスフィルタのカットオフ周波数以下の周波数成分及び特にDC成分のみがフィルタを通過する。これにより、ヒストグラムが平滑化され、DC成分及び低い周波数成分が強調される。この平滑化されたヒストグラムを積分することにより、ヒストグラム均等化変換曲線が生成される。これにより、ヒストグラムの高周波変動に起因するヒストグラム均等化変換曲線の急激な変化を回避することができる。更に、ローパスフィルタリングにより、ヒストグラムからの外乱雑音(noise disturbance)を除去でき、したがって、ヒストグラム均等化変換曲線がこれらの外乱雑音によって歪むことがなくなる。ヒストグラムの周波数スペクトルをカットオフ周波数以下の周波数成分に制限することにより、コントラストを過剰に強調してしまうことが回避される。
【0024】
本発明の第1の具体例では、ヒストグラム均等化の度合いは、ローパスフィルタリング処理のカットオフ周波数を変化させることにより変更され、カットオフ周波数が高い程、ヒストグラム均等化の度合いが強くなる。
【0025】
ここで、ローパスフィルタのカットオフ周波数を比較的高い周波数に設定したとする。この場合、ヒストグラム内の多くの周波数成分がフィルタを通過する。すなわち、高い周波数成分は大きくは減衰されず、ヒストグラムは余り変化しない。ヒストグラム均等化変換曲線は、高周波成分を含み、したがって比較的粗く見えるこのヒストグラムを積分し換算することにより生成される。生成されたヒストグラム均等化変換関数は、オリジナル画像の輝度レベルに大きな影響を与える。このように、ローパスフィルタのカットオフ周波数を高くすると、略全体的なヒストグラム均等化が行われる。
【0026】
ここで、逆にローパスフィルタのカットオフ周波数を比較的低い周波数に設定したとする。この場合、主にヒストグラムのDC成分がフィルタを通過する。DC成分を積分し換算すると、傾きが1の線形の変換曲線が得られる。このような傾きが1の線形の変換曲線をヒストグラム均等化変換曲線として用いると、オリジナル画像の輝度レベルは全く変化しない。すなわち、カットオフ周波数を非常に低くすれば、オリジナル画像は全く変化しない。したがって、ヒストグラムの高周波成分を強く減衰させることにより、ヒストグラム均等化の度合いを低減することができる。
【0027】
特性測定値が高い画像コントラストを示している場合、カットオフ周波数はより低い周波数にシフトされ、ヒストグラムはヒストグラム均等化変換曲線を生成する前に大きく減衰され、特性測定値が低い画像コントラストを示している場合、カットオフ周波数はより高い周波数にシフトされ、ヒストグラムはヒストグラム均等化変換曲線を生成する前に小さく減衰される。本発明においては、高い特性測定値は、画像のコントラストが低いことを示している。したがって、オリジナル画像のコントラストの関数としてヒストグラム均等化の度合いを自動的に制御するためには、上述のカットオフ周波数と特性測定値との直接的な対応関係を確立すればよいことになる。
【0028】
ここで、ローパスフィルタリング処理を実行するために、例えば、フーリエ変換、好ましくは高速フーリエ変換を実行してローパスフィルタリング処理を周波数領域で行ってもよい。オリジナルヒストグラムをフーリエ変換することにより、周波数領域におけるヒストグラムのフーリエスペクトルが得られる。このフーリエスペクトルが既知になると、カットオフ周波数以上の全ての周波数成分を減衰又は除去することによりローパスフィルタリングを実行できる。この手法では、周波数領域においてフィルタ特性特にカットオフ周波数を変更できる。このようなローパスフィルタリングに代えて、例えば順方向及び逆方向IIRフィルタを用いて、順方向及び逆方向フィルタリングを実行してもよい。
【0029】
ローパスフィルタリング手段は、好ましくは、フーリエ変換されたローパスフィルタ特性が登録されているルックアップテーブルを備える。ルックアップテーブルには、特定の平滑化フィルタによるフーリエ変換の結果が登録される。これにより、例えば、ルックアップテーブルに登録されているフーリエ変換の結果を右にシフトするだけでカットオフ周波数を高めることができる。一方、ルックアップテーブルに登録されているフーリエ変換の結果を右にシフトすれば、カットオフ周波数を低めることができる。
【0030】
本発明の第2の具体例においては、ヒストグラム均等化の度合いは、ヒストグラム均等化変換曲線を生成する際、第1のカットオフ周波数に対応する第1のローパスフィルタリングされたヒストグラムと、第2のカットオフ周波数に対応する第2のローパスフィルタリングされたヒストグラムとの間を補間することにより変更される。ここでは、固定された2つのカットオフ周波数を有する2つのローパスフィルタリングが行われ、これらの処理を並列に行ってもよい。この第2の具体例によれば、カットオフ周波数をシフトさせる必要がなくなる。
【0031】
本発明の第3の具体例では、ヒストグラム均等化の度合いは、ヒストグラム均等化変換曲線と、傾きが1の線形の変換曲線との差をゲイン係数により換算することにより変更され、ゲイン係数が小さいほどヒストグラム均等化の度合いが弱くなる。この具体例では、ヒストグラム均等化変換曲線が直接変更される。ここでは、ヒストグラム又はヒストグラム均等化変換曲線を周波数領域に変換する必要がない。この手法では、ヒストグラム均等化変換曲線から傾きが1の線形の変換曲線を減算し、求められた差を換算し、換算された曲線を傾きが1の線形の変換曲線に加算するだけでよく、演算が単純である。この単純な手法により、値が0〜1の範囲をとるゲイン係数を用いて、ヒストグラム均等化の度合いを連続的に変化させることができる。
【0032】
明るさが変化してしまう問題を解決する第1の手法では、ヒストグラム均等化の前後の画像の平均輝度レベルの比に基づいて、ヒストグラム均等化後の画像の輝度レベルを換算する。この平均輝度レベルの比は、画像全体に対して1回のみ算出すればよい。
【0033】
明るさが変化してしまう問題を解決する第2の手法では、ヒストグラム均等化の前後の画像の平均輝度レベルの差に基づいて、ヒストグラム均等化後の画像の輝度レベルをシフトする。この第2の手法では、輝度レベルの適応化に加算及び減算のみを用いるため、演算負荷を著しく軽減できる。
【0034】
明るさが変化してしまう問題を解決する第3の手法では、ヒストグラム均等化により生じたヒストグラムピーク又は選択された基準点の輝度レベルのシフトに基づいて、ヒストグラム均等化後の画像の輝度レベルをシフトする。ヒストグラムの主要ピークを追跡することにより、明るさの変化の度合いを容易に検出することができる。
【0035】
均等化変換曲線は、好ましくは、輝度レベルの任意の範囲について、均等化変換曲線を傾きが1の線形の変換曲線に置換することにより均等化変換曲線を変更する。例えば大部分の領域が暗く、他の小さな領域が明るい画像に対しては、包括的なヒストグラム均等化によってもこの種の画像の暗い領域のコントラストを向上させることができるが、このとき、明るい領域の細部がある程度失われる可能性がある。したがって、この場合、暗い領域のコントラストをのみを向上させ、明るい領域の画素は、変更しない方がよい。これは、ヒストグラム均等化変換曲線のうち、明るい領域に対応する部分を傾きが1の線形の変換曲線に置換することにより実現される。これにより、明るい領域において細部が失われることが防止される。また、大部分が明るく残りの僅かな部分が暗い画像に対してもこれと同様の処理を施すことができる。
【0036】
【発明の実施の形態】
以下、本発明に係るコントラスト強調方法及びコントラスト強調装置について、図面を参照して詳細に説明する。
【0037】
図1Aは、夜間に撮像された画像とこの画像に対応するヒストグラムを示している。主要なピーク(significant peaks)は、輝度値が128以下のグレーレベルの領域内に存在する。この画像に対し、従来の全体的なヒストグラム均等化(histogram equalization)を適用すると、図1Bに示すような変更画像が得られる。この変更画像に対応するヒストグラムからわかるように、この処理により、主要なピークは、輝度の全範囲に亘って分布するようになる。ここで、図1Bに示す画像の明るさの印象は、十分に満足できるものではない。この画像は夜間に撮像されたものであるが、変更画像は、昼間に撮像された画像のように見える。
【0038】
図2Aは、他の画像を対応するヒストグラムとともに示している。この画像に従来の全体的なヒストグラム均等化を施すことにより、図2Bに示すような画像が得られる。図2Bに示す画像では、コントラストを強調しすぎたときに生じる典型的なアーティファクト(artefact)が見られる。すなわち、この女性の顔は、コントラストが誇張されているために不自然に見える。このような場合、ヒストグラム均等化の度合い(amount)を減らすことにより、より自然な結果が得られる。
【0039】
本発明では、ヒストグラム均等化の度合いを、自動的に画像のコントラストに適応させる。画像のコントラストが高い場合、ヒストグラム均等化は不要であり、したがってヒストグラム均等化をオフにすることができる。一方、コントラストが低い場合、ヒストグラム均等化をオンにし、全体的なヒストグラム均等化を行う。また、画像のコントラストが中間的である場合、ヒストグラム均等化の効果が適正な量となるように調整する。
【0040】
この方法では、まず、オリジナル画像のコントラストを分析する。コントラストが低い画像では、ヒストグラムの主要なピークは、低い輝度値の領域又は高い輝度値の領域に集中する傾向がある。これは、照明が不適切な条件下で画像が撮影されたため、画像のコントラストが低下し、画像が明るすぎる又は暗すぎることを示している。ヒストグラムピークが中間的な輝度値の範囲に分布している場合、この画像のコントラストは低くは見えない。また、ヒストグラムピークが存在しない空き領域がある場合(すなわち、その領域に対応する輝度値を有する画素がない場合)、画像のコントラストは高く見える。実際、画像のコントラストを高めるために、ヒストグラム均等化ではヒストグラムピークが存在しない空き領域が生じるために、ヒストグラム均等化は、このような視覚効果をサポートしている。
【0041】
画像コントラストの特性測定値(characteristic measure)を算出する第1の方法では、画像コントラストの特性測定値Δを以下の式に基づいて算出する。
Δ=k×max(λ,λ)−k×min(λ,λ)−k×λ (1)
ここで、λは輝度レベル0から最初の主要ヒストグラムピークまでの距離を表し、λは輝度レベル255から最後の主要ヒストグラムピークまでの距離を表し、λは主要ヒストグラムピーク間でヒストグラムピークが存在しない領域の和を表し、k、k、kは、3つの所定の係数を表す。これらの係数k、k、kは、例えば1に設定してもよく、この場合、以下の式が成り立つ。
Δ=max(λ,λ)−min(λ,λ)−λ (2)
実際には、特性測定値Δには上限及び下限を設ける必要がある。
【0042】
例えば、殆どの画素が低い輝度値の範囲に集中している場合、λは、λより大きくなり、max(λ,λ)は、λの値となり、min(λ,λ)は、λの値となる。min(λ,λ)を減算しているのは、殆どの画素が輝度の中間的な範囲に分布していることを考慮したものである。この結果、式(1)又は式(2)に基づいて算出される特性測定値Δの値は、照明が適切な条件の下ではより小さくなる。また、λを減算しているのは、ヒストグラムピークが存在しない領域を考慮したものである。λ≠0である場合、特性測定値Δはより小さくなり、したがって、ヒストグラム均等化の度合いも減らされる。このλの他に、ヒストグラム均等化の度合いは、kに大きく依存する。kを大きくする程、ヒストグラム均等化の度合いは小さくなる。
【0043】
主要ヒストグラムピークの位置は、HE変換曲線の傾斜を分析することにより求めることができる。整数フォーマットHE変換曲線(integer format HE transformation curve)の傾斜が2より小さい場合、この曲線は、オリジナルの輝度値の変更に貢献しない。したがって、傾斜が2以上である主要ピークを検出する。また、ヒストグラムから同様の基準(criterion)を得ることもできる。
【0044】
次に、画像コントラストの特性測定値Δを算出する第2の方法について説明する。コントラストが低い画像では、画像の輝度値の平均値は、通常の画像の輝度値の平均値より極端に小さく又は大きくなる。この画像の輝度値の平均値と定数、例えば8ビット量子化画像では128と間の差を画像コントラストの特性測定値として用いることができ、更にこの特性測定値を用いてヒストグラム均等化の度合いを制御することができる。
【0045】
ヒストグラムは、通常、オリジナル画像から生成される。ここで、1992年11月CVGIP:グラフィカルモデルズアンドイメージプロセッシング(Graphical Models and Image Processing)Vol.54,No.6、第497〜506頁、ジェイ・ジー・リウ(J.-G.Leu)著「エッジ画素の強度に基づいた画像コントラストの強調(Image contrast enhancement based on the intensities of edge pixels)」では、雑音増幅の抑制とコントラストの向上の観点からは、周知のエッジ検出処理によってオリジナル画像からエッジ画像を検出し、エッジ画像からヒストグラムを作成する方が効果的であることが指摘されている。この手法では、エッジ位置周辺の画素のみを用いてヒストグラムを作成している。したがって、画像のエッジ程多くの情報を含まない、例えば背景等の均質な領域内の画素は、ヒストグラムに大きな影響を与えない。このヒストグラムのエントリは、画像の構造に対応している。したがって、この手法により、ヒストグラム均等化による情報の欠落を防止することができる。更に、画像の中央領域のエッジのみを用いてヒストグラムを求めることにより、PALplusテレビジョン信号(PALplus TV signal)のブラックバー等の幾つかのコンテンツがヒストグラムに影響を与えることを防ぐことができる。
【0046】
画像のコントラストは、オリジナル画像のヒストグラム又はCDFから測定することができる。画像のコントラストを高い信頼度で測定するために、ヒストグラムを、オリジナル画像とエッジ画像の両方から算出してもよい。すなわち、オリジナル画像のヒストグラムと、エッジ画像のヒストグラムの両方に対して、特性測定値Δを算出する。ここで、2つの特性測定値Δの値が異なる場合、小さい方の値を用いてヒストグラム均等化の度合いを制御する。このように、2つの特性測定値Δの値のうちの小さい方の値を用いることにより、画像のコントラストを強調しすぎることを防止することができる。
【0047】
画像の性質が過度に変化することを回避するためには、ヒストグラム均等化の度合いを抑制する必要がある。これは、周波数領域のヒストグラムを変更することにより実現できる。
【0048】
本発明に基づき、ヒストグラム均等化の度合いを適応化する方法を図3を用いて説明する。まず、オリジナル画像1に対し、好ましくは高速フーリエ変換であるフーリエ変換2を施し、オリジナル画像1の周波数スペクトル3を求める。周波数スペクトル3は、DC成分4と、低周波数成分5と高周波数成分6とから構成される。ヒストグラム均等化の度合いを下げるには、高周波数成分6をローパスフィルタリングして減衰させる。図3には、このとき用いるローパスフィルタの周波数特性7も示されている。このローパスフィルタリングにより、カットオフ周波数f以上の全ての周波数成分が減衰され、カットオフ周波数f以下の周波数成分は変化しない。
【0049】
ヒストグラム均等化の度合いは、矢印8に示すように、カットオフ周波数fをシフトさせることにより変更することができる。高周波数成分を制限することにより、画像のコントラストを過度に強調してしまうことを避けることができる。すなわち、周波数がより高い成分をより多く減衰させることにより、ヒストグラム均等化の度合いがより少なくなる。ここで、DC成分のみを通過させるフィルタリングを行った場合、傾きが1の直線(unity straight line)が得られる。すなわち、カットオフ周波数fの値を大きくすると、ヒストグラムの減衰量が少なくなり、ヒストグラム均等化の度合いが強くなる。一方、カットオフ周波数fの値を小さくすると、ヒストグラムの減衰量が多くなり、ヒストグラム均等化の度合いが弱くなる。
【0050】
矢印9で示すローパスフィルタリングの結果、周波数スペクトル10が得られる。すなわち、このローパスフィルタリングにより、DC成分4と低周波数成分5のみが残される。そして、逆フーリエ変換11を実行することにより、フィルタリングされたヒストグラム12が得られる。フィルタリングされたヒストグラム12は、オリジナルのヒストグラム1に比べて平滑化されている。このローパスフィルタリングにより、ヒストグラム均等化は、雑音による妨害を受けづらくなる。
【0051】
これに代えて、上述したローパスフィルタリング処理を順方向及び逆方向IIRフィルタにより実行してもよく、すなわち、順方向でのフィルタリングを行った後、フィルリングされたシーケンスを逆にして、再びフィルタに戻してもよい。
【0052】
図4Aは、ある輝度レベルの分布、すなわちヒストグラムに対する累積分布関数(Cumulative Distribution Function:以下、CDFともいう。)を示している。この累積分布関数を換算(scaling)することにより、全体的なヒストグラム均等化を実行するためのHE変換関数を得ることができる。
【0053】
図4Bは、部分的なヒストグラム均等化を実行するための3つの異なるHE変換曲線13、14、15を示しており、これらは、図4Aに示す累積分布関数と同じ輝度レベル分布に対応している。曲線15は、カットオフ周波数が比較的低いローパスフィルタリングにより得られる強く減衰されたヒストグラムを積分することにより求められている。曲線15は、傾きが1の線形の変換曲線(unity straight transformation curve)に非常に近く、したがって、画像に曲線15を適用することにより得られるヒストグラム均等化の度合いは少ない。このHE変換曲線15は、コントラストが高い画像に最適である。
【0054】
一方、HE変換曲線13は、減衰量が多くないヒストグラムを積分することにより得られている。このような少ない減衰量は、カットオフ周波数が高いローパスフィルタリングに対応している。画像にHE変換曲線13を適用することにより、輝度レベルの分布は大きく変化する。すなわち、輝度値200は、より明るい輝度値である輝度値約240にシフトする。これにより、コントラストが大きく強調されるため、HE変換曲線13は、コントラストが低い画像に最適である。すなわち、曲線13を用いることにより、ヒストグラム均等化の度合いが強くなる。
【0055】
本発明をハードウェアとして実現したコントラスト強調装置の構成を図5に示す。このコントラスト強調装置は、入力画像16に対し、ヒストグラム17を算出する。ヒストグラム17は、高速フーリエ変換(fast fourier transform:以下、FFTという。)ユニット19に供給され、FFTユニット19は、ヒストグラム17の周波数スペクトルを算出して、この周波数スペクトルを乗算器20に供給する。乗算器20は、この周波数スペクトルをルックアップテーブル21に記憶されているローパスフィルタ特性に乗算する。このようにしてローパスフィルタリングされた周波数スペクトルは、逆高速フーリエ変換(inverse fast fourier transform:以下、IFFTという。)ユニット22に供給される。IFFTユニット22は、ヒストグラムを平滑化し、平滑化されたヒストグラムを積分器23に供給する。積分器23は、平滑化されたヒストグラムを積分し、これにより平滑化された累積分布関数24を生成する。累積分布関数24は、換算ユニット25において換算され、これによりHE変換曲線26が生成される。HE変換曲線26は、再マッピングユニット27において、入力画像16の再マッピングに使用される。
【0056】
ここで、カットオフ周波数fを特性測定値Δに比例させることにより、又はフィルタの次数を特性測定値Δに反比例させることにより、ヒストグラム均等化の度合いを自動的に制御することができる。すなわち、カットオフ周波数fを適応的に調整することにより、コントラストが異なる各画像に対してそれぞれ最適なヒストグラム均等化の度合いを得ることができる。
【0057】
本発明の第2の具体例では、2つの異なるカットオフ周波数fg1、fg2を用いて2つのローパスフィルタリングを行う。これにより、2つの平滑化されたヒストグラムが得られる。最も強い周波数減衰応答は、低いカットオフ周波数及び高い画像コントラストに対応し、最も弱い周波数減衰応答は、高いカットオフ周波数及び低い画像コントラストに対応する。測定された画像コントラストが中間的な値である場合、ヒストグラム均等化の度合いは、最も強い周波数減衰応答と最も弱い周波数減衰応答とを補間することにより決定される。
【0058】
本発明の第3の具体例では、オリジナルのヒストグラムを平滑化して得られたHE変換曲線から傾きが1の線形の変換曲線(unity straight transformation curve)を減算する。次に、この減算により求められた差に0〜1の範囲をとるゲイン係数を乗算し、更にこの積を傾きが1の線形の変換曲線(unity straight transformation curve)に加算する。ここで、ゲイン係数を変更すると、ヒストグラム均等化の度合いが変化し、これにより、ヒストグラム均等化の度合いを測定された画像コントラストに適応化することができる。
【0059】
上述したように、ヒストグラム均等化における問題は、ヒストグラム均等化の前後で画像の明るさが過剰に変化してしまうことである。以下では、この問題を解決する方法について説明する。
【0060】
以下、明るさが過剰に変化してしまう問題を解決するための第1の方法について説明する。まず、ヒストグラム均等化の前及び後の画像の平均値を算出する。これらの平均値は、画像の画素の輝度値の総和を求めることにより直接算出してもよく、ヒストグラムから間接的に算出してもよい。平均値をヒストグラムから間接的に算出する方法は、演算負荷の軽減の観点から優れている。ここで、ヒストグラム均等化の前後の画像の輝度値の平均値の比を用いて、ヒストグラム均等化により得られた画像の画素の輝度値を換算する。ここで、ヒストグラム均等化により得られた画像がオリジナル画像より明るい場合、ヒストグラム均等化により得られた画像の全ての画素を小さく換算(down-scaled)し、逆にヒストグラム均等化により得られた画像がオリジナル画像より暗い場合、ヒストグラム均等化により得られた画像の全ての画素を大きく換算(up-scaled)する。これにより、ヒストグラム均等化の前後の画像の明るさを略同じにすることができる。
【0061】
次に、明るさが過剰に変化してしまう問題を解決するための第2の方法について説明する。ここでは、ヒストグラム均等化の前後の画像の輝度値の平均値の比ではなく、これらの平均値間の差を求める。これにより、時間がかかる除算及び乗算処理が少なくなるため、演算負荷が軽減される。
【0062】
ヒストグラム均等化により得られた画像の平均値がオリジナル画像の平均値より大きい場合、ヒストグラム均等化により得られた画像の全ての画素の輝度値は、この差に相当する量だけ小さくされる。逆に、ヒストグラム均等化により得られた画像の平均値がオリジナル画像の平均値より小さい場合、ヒストグラム均等化により得られた画像の全ての画素の輝度値は、この差に相当する量だけ大きくされる。これにより、ヒストグラム均等化による明るさの変化の問題を加算及び減算のみで解決することができる。本願発明者らによるシミュレーションの結果、この種の加算及び減算によっては、情報の欠落は観察されなかった。これは、以下のように説明される。まず、ヒストグラム均等化の後の画像の明るさが増した場合について検討する。この場合、オリジナル画像の画素の輝度値、特に暗い画素の輝度値が増大したことになる。したがって、輝度値が増大した画素からオフセット値を減算することにより、画像の性質が維持される。一方、ヒストグラム均等化により画像の明るさが低下した場合、これはオリジナル画像の画素の輝度値、特に明るい画素の輝度値が減少したことを意味する。したがって、この場合、画素の輝度値にオフセット値を加算することが望まれる。このオフセット値は、ヒストグラム均等化の前後の画像間の輝度値の差の平均値として求められる。ここで、経験的に、比較的明るい画像が良好な画像に見えるため、この輝度値の差の平均値に正の小数点の係数(positive fractional factor)を乗算することにより、画像の印象を向上させることができる。これは、特に暗い画像に適用すると効果的である。
【0063】
次に、明るさが過剰に変化してしまう問題を解決するための第3の方法について説明する。画像の明るさの変化の問題は、ヒストグラムのピーク又は選択された基準点(reference point)を調べることによっても改善される。明るさの過剰な変化は、通常、ヒストグラムのピークにより生じる。ヒストグラムが比較的均等に分布していれば、ヒストグラム均等化により、明るさが過剰に変化することはない。したがって、ヒストグラム均等化の前後におけるヒストグラムピーク又は選択された基準点の位置シフトを検出し、この検出されたシフトによってヒストグラム均等化により得られた画像の画素の輝度を修正することができる。
【0064】
上述した3つの方法は、いずれも全ての画素の輝度値を変更するものであり、したがって画像のコントラストは変化しない。
【0065】
上述したように、ヒストグラム均等化は、例えば細部が闇に「隠された」画像等、コントラストが低い画像に対して効果を発揮する。ここで、画像には、明るい領域と暗い領域とがある場合がある。例えば大部分の領域が暗く、他の小さな領域が明るい画像があるとする。この画像のヒストグラムでは、主要な累積点(major accumulation)、すなわちピーク間に値が存在しない空間が観察される。包括的なヒストグラム均等化(global histogram equalization)によってもこの種の画像の暗い領域のコントラストを向上させることができるが、この場合、明るい領域の細部がある程度失われる可能性がある。すなわち、ここでは、暗い領域のコントラストを向上させることが目的であり、明るい領域の画素は、変更しない方がよい。
【0066】
図6は、HE変換曲線28の置換を説明する図である。ここでは、輝度レベル128〜255の領域29におけるHE変換曲線28を対応する傾きが1の直線30に置換している。これにより、HE変換曲線を平滑化した後に、この平滑化されたHE変換曲線を用いて画像の輝度レベルを変換することができる。
【0067】
これと同様の方法を大部分が明るい領域であり残りの僅かな領域が暗い画像に適用し、暗い領域において細部が失われることを防ぐこともできる。
【0068】
【発明の効果】
以上のように、本発明に係るコントラスト強調方法は、それぞれに輝度レベルが割り当てられた複数の画素を含むデジタル画像のコントラストを強調するコントラスト強調方法において、オリジナル画像の輝度レベルの分布を示すヒストグラムを判定するステップと、オリジナル画像のコントラストの特性測定値を判定するステップと、オリジナル画像のヒストグラムを均等化し、コントラストを向上させるステップとを有し、ヒストグラムの均等化の度合いは、特性測定値の関数として変更される。これにより、アーティファクトの発生を回避し、変更画像をより自然な画像にすることができる。
【0069】
また、本発明に係るコントラスト強調装置は、それぞれに輝度レベルが割り当てられた複数の画素を含むデジタル画像のコントラストを強調するコントラスト強調装置において、オリジナル画像の輝度レベルの分布を示すヒストグラムを判定するヒストグラム判定手段と、オリジナル画像のコントラストの特性測定値を判定するコントラスト判定手段と、オリジナル画像のヒストグラムを均等化し、コントラストを向上させるヒストグラム均等化手段とを備え、ヒストグラム均等化手段は、ヒストグラムの均等化の度合いを特性測定値の関数として変更する。これにより、アーティファクトの発生を回避し、変更画像をより自然な画像にすることができる。
【図面の簡単な説明】
【図1】図1Aは、夜間に撮像された画像と、ヒストグラム均等化前の対応するヒストグラムを示す図であり、図1Bは、図1Aに示す画像に対し、従来の全体的なヒストグラム均等化を行った後の画像及びヒストグラムを示す図である。
【図2】図2Aは、コントラストが高い人間の顔の画像と、ヒストグラム均等化前の対応するヒストグラムを示す図であり、図2Bは、図2Aに示す画像に対し、従来の全体的なヒストグラム均等化を行った後の画像及びヒストグラムを示す図である。
【図3】ヒストグラム均等化前の度合いを変更するためにオリジナルヒストグラムに対して行われるローパスフィルタリングを説明する図である。
【図4】図4Aは、オリジナルヒストグラムを積分することにより得られる累積分布関数の具体例を示す図であり、図4Bは、ヒストグラムを部分的に均等化する平滑化されたヒストグラム均等化変換曲線を示す図である。
【図5】ローパスフィルタを備える本発明に基づくヒストグラム均等化装置の構成例を示すブロック図である。
【図6】所定の輝度レベル範囲内のヒストグラム均等化変換曲線を傾きが1の線形の変換曲線に置換する手法を説明する図である。
【符号の説明】
1 オリジナル画像、2 フーリエ変換、3 周波数スペクトル、4 DC成分、5 低周波数成分、6 高周波数成分、7 周波数特性、8 カットオフ周波数シフト、9 ローパスフィルタリング、10 周波数スペクトル、11 逆フーリエ変換、12 フィルタリングされたヒストグラム

Claims (24)

  1. それぞれに輝度レベルが割り当てられた複数の画素を含むデジタル画像のコントラストを強調するコントラスト強調方法において、
    (a) オリジナル画像の輝度レベルの分布を示すヒストグラムを判定するステップと、
    (b) 上記オリジナル画像のコントラストを示す特性測定値を上記ヒストグラムから判定するステップと、
    (c) 上記オリジナル画像のヒストグラムを均等化し、コントラストを向上させるステップと
    を有し、
    上記ヒストグラムの均等化の度合いは、上記特性測定値の関数として変更され、
    上記(b)ステップは、オリジナル画像の輝度レベルの平均値と所定の定数との絶対差を評価することにより実行されて、該差が大きいほど画像のコントラストが低いと判定し、
    上記(c)ステップは、変更輝度レベルを算出するために、ヒストグラム均等化変換曲線に基づいて、オリジナル画像の輝度レベルを変換することにより実行され
    上記ヒストグラム均等化変換曲線は、ヒストグラムを積分及び換算することにより生成されることを特徴とするコントラスト強調方法。
  2. それぞれに輝度レベルが割り当てられた複数の画素を含むデジタル画像のコントラストを強調するコントラスト強調方法において、
    (a) オリジナル画像の輝度レベルの分布を示すヒストグラムを判定するステップと、
    (b) 上記オリジナル画像のコントラストを示す特性測定値を上記ヒストグラムから判定するステップと、
    (c) 上記オリジナル画像のヒストグラムを均等化し、コントラストを向上させるステップと
    を有し、
    上記ヒストグラムの均等化の度合いは、上記特性測定値の関数として変更され、
    上記(b)ステップは、輝度レベル0から最初の主要ヒストグラムピークまでの重み付けされた距離と、最後の主要ヒストグラムピークから最大の輝度レベルまでの重み付けされた距離との絶対差を評価することにより実行されて、該重み付けされた距離の差が大きい程画像のコントラストが低いと判定し、
    上記(c)ステップは、変更輝度レベルを算出するために、ヒストグラム均等化変換曲線に基づいて、オリジナル画像の輝度レベルを変換することにより実行され
    上記ヒストグラム均等化変換曲線は、ヒストグラムを積分及び換算することにより生成されことを特徴とするコントラスト強調方法。
  3. 上記(b)ステップの実行において、主要ヒストグラムピーク間の空き領域の総和が評価されて、該主要ヒストグラムピーク間の空き領域の総和が大きい程画像のコントラストが高いと判定することを特徴とする請求項2記載のコントラスト強調方法。
  4. 上記主要ヒストグラムピークは、ヒストグラム又はヒストグラム均等化変換曲線の傾きが所定の閾値をどこで超えているかを判断することにより判定されることを特徴とする請求項2又は3記載のコントラスト強調方法。
  5. 上記(b)ステップの実行において、エッジ画像がオリジナル画像に対してエッジ検出処理を施すことにより判定され、上記オリジナル画像の上記特性測定値と、上記エッジ画像の上記特性測定値の両方が算出され、上記算出された特性測定値のうち小さいほうの値が上記ステップ(c)において使用されることを特徴とする請求項1乃至4いずれか1項記載のコントラスト強調方法。
  6. 上記ヒストグラムに対しローパスフィルタリング処理を施した後に上記ヒストグラム均等化変換曲線を生成することを特徴とする請求項1乃至5いずれか1項記載のコントラスト強調方法。
  7. 上記(c)ステップでは、上記ヒストグラム均等化の度合いは更に、上記ローパスフィルタリング処理のカットオフ周波数を変化させることにより変更され、該カットオフ周波数が高い程、ヒストグラム均等化の度合いが強くなることを特徴とする請求項6記載のコントラスト強調方法。
  8. 上記特性測定値が高い画像コントラストを示している場合、カットオフ周波数はより低い周波数にシフトされ、上記ヒストグラムは上記ヒストグラム均等化変換曲線を生成する前に大きく減衰され、上記特性測定値が低い画像コントラストを示している場合、上記カットオフ周波数はより高い周波数にシフトされ、上記ヒストグラムは上記ヒストグラム均等化変換曲線を生成する前に小さく減衰されることを特徴とする請求項6又は7記載のコントラスト強調方法。
  9. 上記ローパスフィルタリング処理を実行するために、高速フーリエ変換を含むフーリエ変換を実行して上記ローパスフィルタリング処理を周波数領域で行い、又は順方向及び逆方向IIRフィルタリング処理を行うことを特徴とする請求項6乃至8いずれか1項記載のコントラスト強調方法。
  10. 上記(c)ステップでは、上記ヒストグラム均等化の度合いは更に、上記ヒストグラム均等化変換曲線を生成する際、第1のカットオフ周波数に対応する第1のローパスフィルタリングされたヒストグラムと、第2のカットオフ周波数に対応する第2のローパスフィルタリングされたヒストグラムとの間を補間することにより変更されることを特徴とする請求項1乃至5いずれか1項記載のコントラスト強調方法。
  11. 上記(c)ステップでは、上記ヒストグラム均等化の度合いは更に、ヒストグラム均等化変換曲線と、傾きが1の線形の変換曲線との差をゲイン係数により換算することにより変更され、該ゲイン係数が小さいほど上記ヒストグラム均等化の度合いが弱くなることを特徴とする請求項1乃至5いずれか1項記載のコントラスト強調方法。
  12. ヒストグラム均等化の前後の画像の平均輝度レベルの比に基づいて、ヒストグラム均等化後の画像の輝度レベルを換算することを特徴とする請求項1乃至11いずれか1項記載のコントラスト強調方法。
  13. ヒストグラム均等化の前後の画像の平均輝度レベルの差に基づいて、ヒストグラム均等化後の画像の輝度レベルをシフトすることを特徴とする請求項1乃至11いずれか1項記載のコントラスト強調方法。
  14. ヒストグラム均等化により生じたヒストグラムピーク又は選択された基準点の輝度レベルのシフトに基づいて、ヒストグラム均等化後の画像の輝度レベルをシフトすることを特徴とする請求項1乃至11いずれか1項記載のコントラスト強調方法。
  15. 輝度レベルの任意の範囲について、上記均等化変換曲線を傾きが1の線形の変換曲線に置換することにより該均等化変換曲線を変更することを特徴とする請求項1記載のコントラスト強調方法。
  16. それぞれに輝度レベルが割り当てられた複数の画素を含むデジタル画像のコントラストを強調するコントラスト強調装置において、
    オリジナル画像の輝度レベルの分布を示すヒストグラムを判定するヒストグラム判定手段と、
    上記オリジナル画像のコントラストを示す上記ヒストグラムから特性測定値を判定するコントラスト判定手段と、
    上記オリジナル画像のヒストグラムを均等化し、コントラストを向上させるヒストグラム均等化手段と
    を備え、
    上記ヒストグラム均等化手段は、上記ヒストグラムの均等化の度合いを上記特性測定値の関数として変更し、
    上記ヒストグラム均等化手段は、変更輝度レベルを算出するために、ヒストグラム均等化変換曲線に基づいて、オリジナル画像の輝度レベルを変換することにより、ヒストグラムを均等化し、
    上記コントラスト判定手段は、オリジナル画像に対してエッジ検出処理を施すことによりエッジ画像を生成する手段を備え、上記オリジナル画像の上記特性測定値と、上記エッジ画像の上記特性測定値の両方が算出され、上記両方の算出された特性測定値のうち値が小さい方が前記コントラスト判定手段によって前記特性測定値として考慮され、
    上記ヒストグラム均等化手段は、上記ヒストグラム均等化曲線を生成する前に上記ヒストグラムをローパスフィルタリングするローパスフィルタリング手段を備えることを特徴とするコントラスト強調装置。
  17. 前記ヒストグラム均等手段は更に、上記特性測定値に応じて変化する上記ローパスフィルタリング処理のカットオフ周波数を変化させることにより上記ヒストグラム均等化の度合いを変更、該カットオフ周波数が高い程、ヒストグラム均等化の度合いが強くなることを特徴とする請求項16記載のコントラスト強調装置。
  18. 上記ヒストグラム均等化手段は、上記ヒストグラムを周波数領域に変換するフーリエ変換手段を備え、上記ローパスフィルタリング処理を周波数領域で行い、又は上記ヒストグラム均等化手段は、IIRフィルタを備え、順方向及び逆方向IIRフィルタリング処理により上記ローパスフィルタリング処理を行うことを特徴とする請求項16又は17いずれか1項記載のコントラスト強調装置。
  19. 上記ローパスフィルタリング手段は、フーリエ変換されたローパスフィルタ特性が登録されているルックアップテーブルを備えることを特徴とする請求項16乃至18いずれか1項記載のコントラスト強調装置。
  20. 前記ヒストグラム均等手段は更に、上記ヒストグラム均等化変換曲線を生成する際、第1のカットオフ周波数に対応する第1のローパスフィルタリングされたヒストグラムと、第2のカットオフ周波数に対応する第2のローパスフィルタリングされたヒストグラムとの間を補間することにより上記ヒストグラム均等化の度合いを変更ることを特徴とする請求項16記載のコントラスト強調装置。
  21. 前記ヒストグラム均等手段は更に、ヒストグラム均等化変換曲線と、傾きが1の線形の変換曲線との差をゲイン係数により換算することにより上記ヒストグラム均等化の度合い変更、該ゲイン係数が小さいほど上記ヒストグラム均等化の度合いが弱くなることを特徴とする請求項16記載のコントラスト強調装置。
  22. ヒストグラム均等化後の画像の平均輝度レベルがオリジナル画像の平均輝度レベルに等しくなるように、ヒストグラム均等化により生じた明度の変化を補償する明度補償手段を備える請求項16乃至21いずれか1項記載のコントラスト強調装置。
  23. 輝度レベルの任意の範囲について上記輝度レベルが変化しないように該均等化変換曲線を変更する均等化変換曲線変更手段を備える請求項16乃至22いずれか1項記載のコントラスト強調装置。
  24. コンピュータ又はデジタルシグナルプロセッサにより実行されて請求項1乃至15いずれか1項記載のコントラスト強調方法を実行するコンピュータプログラムを備えるコンピュータプログラム。
JP2003049952A 2002-02-26 2003-02-26 コントラスト強調方法及びコントラスト強調装置 Expired - Fee Related JP4339611B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02004428A EP1345172A1 (en) 2002-02-26 2002-02-26 Contrast enhancement for digital images
EP02004428.5 2002-02-26

Publications (2)

Publication Number Publication Date
JP2003281527A JP2003281527A (ja) 2003-10-03
JP4339611B2 true JP4339611B2 (ja) 2009-10-07

Family

ID=27741115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003049952A Expired - Fee Related JP4339611B2 (ja) 2002-02-26 2003-02-26 コントラスト強調方法及びコントラスト強調装置

Country Status (4)

Country Link
US (1) US7102697B2 (ja)
EP (1) EP1345172A1 (ja)
JP (1) JP4339611B2 (ja)
KR (1) KR20030070845A (ja)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483083B2 (en) * 2003-04-16 2009-01-27 Intervideo, Inc. Movie enhancement
SG118191A1 (en) * 2003-06-27 2006-01-27 St Microelectronics Asia Method and system for contrast enhancement of digital video
US7110046B2 (en) * 2003-11-04 2006-09-19 Cyberlink Corp. Method for dynamically adjusting video brightness
TWI234398B (en) * 2003-11-20 2005-06-11 Sunplus Technology Co Ltd Automatic contrast limiting circuit by spatial domain infinite impulse response filter and method thereof
JP4500539B2 (ja) * 2003-12-26 2010-07-14 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
KR100638912B1 (ko) * 2004-02-20 2006-10-25 엘지전자 주식회사 영상신호 처리장치 및 방법
US8249309B2 (en) * 2004-04-02 2012-08-21 K-Nfb Reading Technology, Inc. Image evaluation for reading mode in a reading machine
KR100555755B1 (ko) * 2004-05-04 2006-03-03 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
JP4457787B2 (ja) * 2004-07-14 2010-04-28 ソニー株式会社 映像信号処理装置および方法、ならびにプログラム
US20060013503A1 (en) * 2004-07-16 2006-01-19 Samsung Electronics Co., Ltd. Methods of preventing noise boost in image contrast enhancement
US20060050084A1 (en) * 2004-09-03 2006-03-09 Eric Jeffrey Apparatus and method for histogram stretching
US8285041B2 (en) * 2004-09-14 2012-10-09 Olympus Corporation Image processing apparatus, image recording apparatus, and image processing method
US7760961B2 (en) * 2004-10-15 2010-07-20 Caba Moldvai Adaptive contrast enhancement
US7573533B2 (en) * 2004-10-15 2009-08-11 Genesis Microchip Inc. Method of generating transfer curves for adaptive contrast enhancement
US7986351B2 (en) * 2005-01-27 2011-07-26 Qualcomm Incorporated Luma adaptation for digital image processing
US7486835B2 (en) * 2005-03-17 2009-02-03 Delphi Technologies, Inc. System and method for enhancing an image
JP4504284B2 (ja) * 2005-08-30 2010-07-14 株式会社東芝 映像信号処理装置及び映像信号処理方法
US8295596B1 (en) 2005-12-07 2012-10-23 Marvell International Ltd. Adaptive histogram-based video contrast enhancement
US7602447B2 (en) * 2006-01-26 2009-10-13 Vestel Elecktronik Sanayi Ve Method and apparatus for adjusting the contrast of an image
US7738698B2 (en) * 2006-01-26 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the contrast of an image
JP4760433B2 (ja) * 2006-02-16 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4760434B2 (ja) * 2006-02-16 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP1840831A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Adaptive histogram equalization for images with strong local contrast
KR100768035B1 (ko) * 2006-05-04 2007-10-18 한양대학교 산학협력단 적응적 화질 개선 장치 및 그 방법
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP4264553B2 (ja) * 2006-06-12 2009-05-20 ソニー株式会社 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム
ES2607902T3 (es) * 2006-07-11 2017-04-04 Vestel Elektronik Sanayi Ve Ticaret A.S. Procedimiento y aparato para ajustar el contraste de una imagen
US7916219B2 (en) * 2006-07-19 2011-03-29 Wipro Limited System and method for dynamic gamma correction in digital video
KR100809347B1 (ko) * 2006-07-31 2008-03-05 삼성전자주식회사 쉐도우 영역 보상 방법 및 장치
KR100799686B1 (ko) * 2006-08-04 2008-02-01 삼성전자주식회사 콘트라스트 조정 장치 및 그 방법
JP4238902B2 (ja) 2006-09-04 2009-03-18 日本電気株式会社 文字ノイズ除去装置、文字ノイズ除去方法、文字ノイズ除去プログラム
US7865032B2 (en) * 2006-09-22 2011-01-04 Hewlett-Packard Development Company, L.P. Methods and systems for identifying an ill-exposed image
US8154663B2 (en) * 2007-01-16 2012-04-10 Sigma Designs, Inc. System and method for adaptive contrast enhancement of video signals
JP5013968B2 (ja) * 2007-02-21 2012-08-29 キヤノン株式会社 信号処理装置、プログラムおよび計測装置
US8108211B2 (en) * 2007-03-29 2012-01-31 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system
US8711249B2 (en) * 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
US20080247665A1 (en) * 2007-04-04 2008-10-09 Silicon Integrated Systems Corp. Method and apparatus for dynamic contrast enhancement
US8000554B2 (en) * 2007-04-04 2011-08-16 Xerox Corporation Automatic dynamic range adjustment in digital imaging
KR100944595B1 (ko) * 2007-04-24 2010-02-25 가부시끼가이샤 르네사스 테크놀로지 표시 장치, 표시 장치 구동 회로, 화상 표시 방법, 전자기기 및 화상 표시 장치 구동 회로
US8207931B2 (en) * 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
TWI466093B (zh) * 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
TWI479891B (zh) * 2007-06-26 2015-04-01 Apple Inc 動態背光調適
US8068668B2 (en) * 2007-07-19 2011-11-29 Nikon Corporation Device and method for estimating if an image is blurred
US7970228B2 (en) * 2007-08-30 2011-06-28 Himax Technologies Limited Image enhancement methods with consideration of the smooth region of the image and image processing apparatuses utilizing the same
US8766902B2 (en) * 2007-12-21 2014-07-01 Apple Inc. Management techniques for video playback
US8144985B2 (en) * 2007-12-21 2012-03-27 Sony Corporation Method of high dynamic range compression with detail preservation and noise constraints
US8457399B2 (en) * 2008-01-17 2013-06-04 Qualcomm Incorporated Histogram-modeling based algorithm for contrast enhancement
JP2009211313A (ja) * 2008-03-03 2009-09-17 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP5169652B2 (ja) * 2008-09-08 2013-03-27 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
JP5083138B2 (ja) * 2008-09-12 2012-11-28 株式会社ニコン 画像分類装置
US10055827B2 (en) * 2008-09-16 2018-08-21 Second Sight Medical Products, Inc. Digital image filters and related methods for image contrast enhancement
US8103120B2 (en) * 2008-09-22 2012-01-24 Solomon Systech Limited Method and apparatus of local contrast enhancement
JP4479845B2 (ja) * 2008-09-30 2010-06-09 カシオ計算機株式会社 画像補正装置、画像補正方法、画像補正プログラム
US8125569B2 (en) * 2008-12-03 2012-02-28 Sony Corporation Dynamic contrast on displays using average picture level and histogram analysis
KR101515444B1 (ko) 2008-12-12 2015-04-27 삼성전자주식회사 적응적 영상 향상 장치 및 방법
US8654140B2 (en) 2008-12-26 2014-02-18 Seiko Epson Corporation Image processor, image display device, and image processing method
JP5397079B2 (ja) * 2009-08-11 2014-01-22 ソニー株式会社 映像信号処理装置、エンハンスゲイン生成方法およびプログラム
KR20110043833A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
TWI408619B (zh) * 2009-11-16 2013-09-11 Inst Information Industry 影像對比提昇裝置及其方法
JP6282863B2 (ja) * 2010-06-25 2018-02-21 トムソン ライセンシングThomson Licensing ハイダイナミックレンジ映像をトーンマッピングするためのグラフィカルユーザインターフェース
JP5023203B2 (ja) * 2010-08-24 2012-09-12 株式会社東芝 画像補正装置及び補正パラメータ作成装置
US20120106842A1 (en) * 2010-10-29 2012-05-03 National Chiao Tung University Method for image enhancement based on histogram modification and specification
KR20120060278A (ko) * 2010-12-01 2012-06-12 한국전자통신연구원 이미지 시그널 프로세서의 자동 밝기 조절 방법 및 장치
US8712151B2 (en) * 2011-02-14 2014-04-29 Intuitive Surgical Operations, Inc. Method and structure for image local contrast enhancement
US8774553B1 (en) 2011-05-09 2014-07-08 Exelis, Inc. Advanced adaptive contrast enhancement
US8774554B1 (en) 2011-05-09 2014-07-08 Exelis, Inc. Bias and plateau limited advanced contrast enhancement
CN102750682B (zh) * 2012-07-17 2016-01-27 中国矿业大学(北京) 一种处理矿工人脸图像与煤面光照不均的图像预处理方法
US9111362B2 (en) * 2012-08-22 2015-08-18 Sony Corporation Method, system and apparatus for applying histogram equalization to an image
WO2014043005A1 (en) * 2012-09-12 2014-03-20 Dolby Laboratories Licensing Corporation Display management for images with enhanced dynamic range
KR101987764B1 (ko) * 2012-09-12 2019-06-11 삼성전자주식회사 선명도 향상 장치 및 방법
TWI571762B (zh) * 2012-11-08 2017-02-21 國立台灣科技大學 即時影像雲端系統及其管理方法
US9008458B2 (en) 2013-02-07 2015-04-14 Raytheon Company Local area processing using packed distribution functions
US20150287174A1 (en) * 2014-04-04 2015-10-08 Digital Signal Corporation System and Method for Improving an Image Characteristic of Image Frames in a Video Stream
KR101634652B1 (ko) * 2014-08-28 2016-06-29 인천대학교 산학협력단 영상의 대비 강화 방법 및 장치
WO2016165967A1 (en) * 2015-04-14 2016-10-20 Fotonation Limited Image acquisition method and apparatus
CN105184754B (zh) * 2015-09-25 2018-03-06 深圳市华星光电技术有限公司 图像对比度增强方法
CN106023175B (zh) * 2016-05-13 2018-11-23 哈尔滨工业大学(威海) 基于立体模式判别水中航行体热尾流的方法
CN107818553B (zh) * 2016-09-12 2020-04-07 京东方科技集团股份有限公司 图像灰度值调整方法和装置
US10628929B2 (en) * 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
US10762611B2 (en) * 2018-08-07 2020-09-01 Sensors Unlimited, Inc. Scaled two-band histogram process for image enhancement
US11049226B1 (en) * 2019-04-23 2021-06-29 Bae Systems Information And Electronics Systems Integration Inc. Median based frequency separation local area contrast enhancement
KR102644946B1 (ko) * 2019-05-02 2024-03-08 삼성전자주식회사 영상 처리 방법 및 장치
CN110706165B (zh) * 2019-09-12 2023-05-12 中国海洋大学 一种基于EME与Mask的水下图像匀光算法
CN111311525A (zh) * 2019-11-20 2020-06-19 重庆邮电大学 一种基于直方图概率修正的图像梯度场双区间均衡化算法
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
TWI787134B (zh) 2022-05-26 2022-12-11 國立臺灣大學 一種用於快速雜訊抑制對比度增強的資料處理方法及包含其的影像採集和處理系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2008819A1 (en) 1989-02-14 1990-08-14 Dimitris Manolakis Regionally adaptive imaging techniques
BE1007777A3 (nl) 1993-11-23 1995-10-17 Philips Electronics Nv Niet-lineaire signaalverwerking.
US6463173B1 (en) * 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
KR100207660B1 (ko) 1996-03-09 1999-07-15 윤종용 양자화된 평균 분리 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로
KR980003998A (ko) 1996-06-27 1998-03-30 김광호 제한된 분포의 히스토그램 변환을 이용한 화질 개선방법
US6049626A (en) * 1996-10-09 2000-04-11 Samsung Electronics Co., Ltd. Image enhancing method and circuit using mean separate/quantized mean separate histogram equalization and color compensation
FI104521B (fi) * 1997-01-30 2000-02-15 Nokia Multimedia Network Termi Menetelmä kuvasekvenssien kontrastin parantamiseksi
US6373533B1 (en) * 1997-03-06 2002-04-16 Matsushita Electric Industrial Co., Ltd. Image quality correction circuit for video signals
US6650774B1 (en) * 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization

Also Published As

Publication number Publication date
JP2003281527A (ja) 2003-10-03
US7102697B2 (en) 2006-09-05
US20030161549A1 (en) 2003-08-28
KR20030070845A (ko) 2003-09-02
EP1345172A1 (en) 2003-09-17

Similar Documents

Publication Publication Date Title
JP4339611B2 (ja) コントラスト強調方法及びコントラスト強調装置
EP2833317B1 (en) Image display device and/or method therefor
US8368779B2 (en) Image processing apparatus for performing gradation correction on subject image
US9153015B2 (en) Image processing device and method
JP4707830B2 (ja) テクスチャのノイズ依存制御を有するディジタル画像を改善する方法
KR100782845B1 (ko) 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템
JP4649781B2 (ja) 画像処理方法および装置
JP3375921B2 (ja) 入力映像の輝度を維持する画質改善装置及びその方法
JP4556276B2 (ja) 画像処理回路及び画像処理方法
US7778478B2 (en) Image processing device, image processing program, image processing method, and electronic camera for controlling degree of noise reduction in image data
Yun et al. Image enhancement using a fusion framework of histogram equalization and Laplacian pyramid
US8320701B2 (en) Picture processing apparatus and method
KR100771158B1 (ko) 칼라 영상의 화질 향상을 위한 방법 및 시스템
US8280162B2 (en) Image processing apparatus and recording medium recording image processing program
KR100512976B1 (ko) 화면의 콘트라스트를 향상시키는 블랙/화이트 스트레칭시스템 및 그의 스트레칭 방법
JP2005323365A (ja) デジタル映像信号フィルタリング装置及び方法
KR20070011223A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 방법의프로그램 및 화상 처리 방법의 프로그램을 기록한 기록매체
EP2372638B1 (en) A black and white stretch method for dynamic range extension
EP2024929A2 (en) Picture enhancing increasing precision smooth profiles
JP2003506925A (ja) ビデオ信号を強調する方法及び装置
JP2012108898A (ja) 画像処理装置、画像処理方法
KR20130060110A (ko) 이미지 톤 매핑 장치 및 방법
JP4277550B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
CN110874822B (zh) 利用动态视窗平滑滤波器的信号滤波方法与***
EP1465436A1 (en) Natural impression preservation for histogram equalized images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081208

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090702

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees