JP4816970B2 - 画像処理装置、表示装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像信号に対する階調拡張処理を行う画像処理装置、表示装置、画像処理方法及びプログラムに関する。

近年、より高画質で臨場感のある映像をユーザに提供できるように、薄型ディスプレイを代表とする表示装置の高解像度化及び多階調化がすすんでいる。また、表示装置に供給される画像信号はディジタル化され、一般にＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分ごとに１画素あたり６ビットから８ビットのデータが割当てられている。

表示装置で表示可能なビット数と画像信号のビット数が同じ場合、表示装置では基本的に入力信号をそのまま使用して表示する。しかしながら、表示装置で表示可能なビット数と入力される画像信号のビット数とが異なる場合も多い。表示装置は、画像信号のビット数が表示装置で表示可能なビット数よりも多い場合、画像信号の下位ビットを切り捨てる方法、ディザ（dither）法、ＦＲＣ（フレームレートコントロール）法等を用いて画像信号のビット数を削減する。

一方、画像信号のビット数が表示装置で表示可能なビット数よりも少ない場合は、下位ビットを付加することで画像信号のビット数を増大する（階調拡張処理）。この階調拡張処理は、表示装置の特性に応じて画像信号のデータ処理を表示装置内で実行する際にも用いられる。また、階調拡張処理は、表示装置で表示可能なビット数と画像信号のビット数が同じであっても演算精度を高めるために実行される。その場合、画像信号は、階調拡張処理が実行された後、上記ディザ法やＦＲＣ等を用いて表示装置で表示可能なビット数へ変換される。

さらに、階調拡張処理は、上記ディジタル信号のビット数の変換や演算精度を高める以外にも用いられる。例えば、ディジタル信号のビット数が少ないと、グラデーションのように階調が滑らかに変化する領域では、等高線状に生じる偽輪郭（本来、面内で階調が滑らかに変化しているはずが、その階調変化部分が滑らかに変化していると感じられず、輪郭線が有ると認識されてしまう）が顕在化する。これを防止するための技術としても階調拡張処理は用いられる。

一般に、階調拡張処理は、（１）全ての画像信号に同じ処理を施す方法と、（２）特定画像の画像信号を抽出し、必要な画素にだけ処理を施す方法の２種類に分けられる。

（１）全ての画像信号に同じ処理を施す方法としては、第１に、ディザノイズやランダムノイズを付加する方法が考えられる。この方法では、偽輪郭を多少抑制できるが、付加されたノイズ成分が目立つという問題がある。

また、第２に、上位ビットの値を下位ビットとして付加する方法がある。例えば６ビットの入力信号「１０１１０１」を８ビットにするために、入力信号の上位２ビットの値を下位２ビットに付加して「１０１１０１１０」に変換する。また、第３に、単純に０か１を下位ビットに付加する方法がある。これら第２、第３の方法は簡便であるが、階調変化部位にて階調差が小さくなるわけではないので偽輪郭を抑制することはできない。

それに対して、（２）特定画像の画像信号を抽出し、必要な画素にだけ処理を施す方法として、第１に、特開昭６３−１５５７６号公報（以下、特許文献１と称す）に記載された、偽輪郭領域に低域通過フィルタ（ＬＰＦ）処理を施す方法がある。この従来技術では、ディジタル画像信号にガンマ補正（画像処理）を施すことで発生する偽輪郭を抑制するために、偽輪郭が発生している領域を適応的に判断し、その領域において近傍の画素の画像信号の積分値（ＬＰＦ処理と同義）を出力している。このＬＰＦ処理によって偽輪郭が発生している領域の階調差を小さくしている。

しかしながら、この方法では、偽輪郭の発生間隔（すなわち等高線の間隔）がフィルタサイズ（近傍の画素の積分範囲）よりも大きい場合に、グラデーション領域内でフィルタ処理を行った箇所とそうでない箇所の区別がつきやすく、偽輪郭を抑制してもそれほど画質の改善につながらない。

そこで、第２の方法として、特開平４−１６５８７４号公報（以下、特許文献２と称す）に記載された、ガンマ補正（画像処理）を施すことで発生する偽輪郭を抑制するために、階調の変化がなだらかな領域（グラデーション領域）を判別したとき、その領域内の偽輪郭の等高線間の画素の階調値を、等高線上の画素の階調値を線形補間することで求める方法がある。この方法によれば、グラデーション領域内で均一な階調変化を実現できるので、第１の方法のような問題が発生しない。

以上のことから、階調拡張処理の方法としては、画素の特定の情報を検出し、検出結果に応じて線形補間を行う方法が、偽輪郭の抑制という観点から、より望ましいと考えられる。この線形補間を用いる方法は、特開２００３−３０４４００号公報（以下、特許文献３と称す）、特開２００３−３３３３４８号公報（以下、特許文献４と称す）及び特開２００４−５４２１０号公報（以下、特許文献５と称す）にも記載されている。

特許文献３〜５では、特許文献１及び特許文献２と異なり、ディジタル画像信号のビット深度が浅いために偽輪郭が発生する問題を解決する、あるいは表示装置の階調性能を最大限に引き出すために階調拡張処理を行っているが、線形補間の方法は特許文献１及び特許文献２と同じである。

特許文献３に記載された画像処理装置は、偽輪郭検出器及び画素値変換器を有する構成である。この偽輪郭検出器では、２画素以上同じ輝度レベルが水平方向に続いた後、輝度レベルが１上がった場合（条件１）と、輝度レベルが１下がった後、２画素以上同じ輝度レベルが水平方向に続いた場合（条件２）とを偽輪郭の検出条件としている。そして、検出された偽輪郭に対して画素値変換器にて線形補間を行っている。

特許文献４に記載された色信号拡張装置は、データ分布検出部及びデータ深さ拡張部を有する構成である。データ分布検出部は、階調データの分布状態から、色がなだらかに変化している領域を抽出（検出）する。具体的には、同じ階調が続く画素集団Ｋにおいて、画素の数が下限閾値Ｐ以上、上限閾値Ｑ以下であり、かつ隣接する画素集団の画素との階調差が判定閾値Ｓ以下である領域を検出する。そして、データ分布検出部は、なだらかに変化している領域に対して線形補間を行い、該領域に付加する階調値を決定する。データ深さ拡張部は、当該階調値を拡張部分に付加しつつ、当該色信号のデータ深さを拡張した拡張画像データを生成する。

特許文献５に記載された画像処理装置は、検出手段と信号拡張手段を有する構成である。検出手段は、同じ画素データが連続する最初の位置と、次の画素データが連続する最初の位置との差が、同じ画素データが連続する幅と等しいか否かを判定し、さらに同じ画素データが連続する領域の階調値が、次の画素データが連続する領域の階調値よりも１大きいかまたは１小さいかを判定することで擬似（偽）輪郭の有無を判定する。そして、擬似輪郭が発生している領域で滑らかに連続する画像が得られるように、信号拡張手段にて画像データを滑らかに、かつ線形に（線形補間を実施して）階調拡張する。

しかしながら、特許文献３〜５で開示された構成では、特許文献２に記載されているような線形補間による階調拡張処理を行っている点では問題はない。しかしながら、線形補間による階調拡張処理を行うための線形補間適用領域を検出する際に、同じ階調が連続した領域が隣接して、かつその領域の階調差が一定値以内であるという条件を用いているため、ノイズ成分による影響を受けやすく、適切な検出ができずに、望ましい階調拡張処理が行えないという問題点がある。

そこで、本発明は、緩やかなグラデーションの画像領域において、ノイズ成分の影響を受けにくく、グラデーション領域をより適切に検出して望ましい階調拡張処理を行うことができる画像処理装置、表示装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため本発明では、線形補間適用領域を検出する際に、検出部は、所定の範囲内の階調変化が検出された画素の前後の画素の階調値が同じ場合は、その階調変化がノイズ等によるものであると判定して、階調変化が検出された画素の階調値を前後の画素の階調値とみなす。

したがって、従来検出が困難であったノイズ・誤差成分を多く含む画像の偽輪郭領域をも適切に検出できることから、より望ましい、高画質な階調拡張を行うことができる。また、ノイズ・誤差成分を含む領域に階調拡張処理を行うと、そのノイズ成分を抑制することができるため、高画質な表示が得られる。

そのため、ノイズ成分の影響を受けにくく、グラデーション領域をより適切に検出して、階調拡張処理を適切に行うことができる。

図１は、階調拡張処理における従来の検出処理及び線形補間処理の一例を示す模式図である。 図２は、図１に示した画像信号にノイズ成分を加えた場合の階調拡張処理における従来の検出処理と線形補間処理の他の例を示す模式図である。 図３は、図１に示した画像信号にノイズ成分を加えた場合の階調拡張処理における本発明の検出処理と線形補間処理の一例を示す模式図である。 図４は、図１に示した画像信号にノイズ成分を加えた場合の階調拡張処理における本発明の検出処理と線形補間処理の他の例を示す模式図である。 図５は、階調拡張処理における線形補間処理の他の例を示す模式図である。 図６は、本発明の画像処理装置の第１の実施の形態の構成を示すブロック図である。 図７は、図６に示した画像処理装置が備える検出部の一構成例を示すブロック図である。 図８は、図６に示した画像処理装置が備える検出部の処理を示す模式図である。 図９は、図６に示した画像処理装置が備える拡張補正部の一構成例を示すブロック図である。 図１０は、図６に示した画像処理装置が備える拡張補正部の処理を示す模式図である。 図１１は、本発明の画像処理装置の第２の実施の形態の構成を示すブロック図である。 図１２は、本発明の表示装置の一構成例を示すブロック図である。 図１３は、本発明の画像処理方法を実現する情報処理装置の一構成例を示すブロック図である。 図１４は、本発明の画像処理方法の手順を示すフローチャートである。 図１５は、本発明の画像処理方法の手順を示すフローチャートである。 図１６は、本発明の画像処理方法の手順を示すフローチャートである。

先ず本発明について説明する前に本発明の原理について説明する。

（発明の原理）
従来の階調拡張処理では、偽輪郭が発生している領域、あるいは線形補間により階調拡張処理を行って階調変化を滑らかにすべき領域（以下、線形補間適用領域と称す）を検出する方法として、同じ階調値の画素で連続する領域が、隣接し、かつその領域どうしの階調値の差が一定範囲以内であるという検出条件を使用している。このような検出方法は、例えばＣＧ（コンピュータグラフィックス）によって人工的に形成されたグラデーションのように、検出すべき領域内で階調が単調に増加あるいは減少している場合は、その線形補間適用領域を問題なく検出できる。しかしながら、ディザノイズのような付加的ノイズあるいはＪＰＥＧのように高周波ノイズが含まれている画像信号が入力された場合、ノイズ成分の影響を受けやすく、全く異なる階調拡張処理結果が出力される。このような従来技術の問題点を、図１及び図２を用いて具体的に説明する。

図１（ａ）は処理対象となるノイズ成分がない６ビットの画像信号の一例を示し、図１（ｂ）は従来の階調拡張処理による線形補間適用領域の検出結果を示し、図１（ｃ）は８ビットに階調拡張処理（すなわち付加する２ビットを生成）した結果を示している。なお、図１（ａ）〜（ｃ）の横軸は画素の位置ｘを示し、図１の縦軸は階調値ｆ（ｘ）を示し、各画素の階調値を長方形で示している。

図１（ａ）において、処理対象となる６ビットの画像信号は、ｆ（０）からｆ（７）が（００１１００）bin（（ＸＸＸＸＸＸ）binは２進数をあらわす）であり、ｆ（８）からｆ（１５）が（００１１０１）binであり、ｆ（１６）からｆ（２３）が（００１１１０）binであり、ｆ（２４）とｆ（２５）が（００１１１１）binである。

このように画素の位置ｘが変化するにしたがって階調値ｆ（ｘ）が滑らかに変化していることから、この画素列はグラデーションを表現していると考えられる。このようなグラデーション画像では、階調がより滑らかに変化することが望ましい。

図１（ａ）に示した６ビットの画像信号を８ビットの画像信号に変換する場合、最初に輪郭及び線形補間適用領域をそれぞれ検出する。

輪郭検出処理及び線形補間適用領域の検出処理では、まず、ｘ＝０を始点Ｘｓの値として保持し、始点の階調値ｆ（０）＝（００１１００）binを始点階調値Ｔｓとして保持する。次に、Ｘｓよりも大きく、ｆ（ｘ）≠Ｔｓとなる最小の位置ｘを検出する。この例では、ｆ（８）＝（００１１０１）bin≠Ｔｓであり、かつＸｓ＜８であるので、ｘ＝８を検出点とする。また、ｆ（８）とｆ（０）の階調差は１（最小階調差）であり、線形補間適用領域と考えられる。以下、検出点を始点とし、検出点の階調値を始点階調値として、上記と同様の処理を順次実行する。その結果を図１（ｂ）に示す。この例ではｘ＝０を含めて、ｘ＝８，１６，２４が検出点として得られている。この場合、全ての検出点における階調差は１であり、かつ検出点と検出点の間は同じ階調値が連続していることから、少なくともｘ＝０から２４までの画素列は線形補間適用領域と考えられる。

次に、上記の検出結果をもとに、画像信号に対して２ビットの階調拡張処理を行う。

階調拡張処理では、図１（ｂ）の線形補間適用領域とみなした画素列（ｘ＝０から２４までの画素列）に対して補間処理を行う。

補間処理では、まず各検出点間の階調値を直線で結ぶ（図１（ｃ）の斜めの点線）。続いて、この直線に最も近い値となる、階調値に付加する２ビットの値を決定する。例えば、ｘ＝０から８までの領域では、直線の始点を始点位置Ｘｓとし、直線の終点を終点位置Ｘｅとすると、付加する２ビットの値は、（付加値）＝（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）＊４＝（ｘ−０）／（８−０）＊４の式で求めることができる（小数点以下は切捨てとする）。なお、上記式中の“＊”は、乗算を意味している。

ここで、“４”は２の（付加するビット数）乗で求められる。上記式により、付加される値はｘ＝０、１では（００）bin、ｘ＝２，３では（０１）bin、ｘ＝４、５では（１０）bin、ｘ＝６，７では（１１）binとなる。この値を６ビットの画素データ（階調値）に下位ビットとして付加することで８ビットの拡張補正データを得ることができる。なお、線形補間適用領域に含まれないｘ＝２５の画素データには（００）binを付加する。

図１（ｃ）の処理結果を見ると、画素データを８ビットに拡張することで、検出点と検出点間の階調差が４段階に変化し、階調が滑らかに変化していることがわかる。

一方、画像信号にノイズ成分を含む例を図２（ａ）に示す。図２（ａ）に示す画像信号は、ｘ＝３の階調値が（００１１００）binから（００１１０１）binになり、ｘ＝１９の階調値が（００１１０）binから（００１１０１）binになっている点で図１（ａ）に示した画像信号と異なっている。この２つの階調値がノイズ成分である。このように階調値が変化した場合も線形補間適用領域の検出にも影響する。

図２（ｂ）に輪郭及び線形補間適用領域の検出結果を示す。

図１（ｂ）に示した画像信号に対する処理結果と同様にｘ＝０を始点Ｘｓの値として保持し、始点の階調値ｆ（０）＝（００１１００）binを始点階調値Ｔｓとして保持する。この例では、最初にｆ（ｘ）≠Ｔｓとなるのはｘ＝３であり、以下、検出点を始点とし、検出点の階調値を始点階調値として同様の処理を順次実行する。その結果を図２（ｂ）に示す。この例ではｘ＝０を含めて、ｘ＝３，４，８，１６，１９，２０，２４が検出点として得られている。

次に、この検出結果をもとに線形補間適用領域を決定する。ここでは、線形補間適用領域の条件として、（１）始点位置と同じ階調値が複数画素連続し、かつ終点位置と同じ階調値が複数画素連続すること、（２）始点位置の階調変化が減少であり、かつ滑らかにすべき階調変化、あるいは終点位置の階調変化が増加であり、かつ滑らかにすべき階調変化であること、具体的には、始点位置の階調値と終点位置の階調値の差が最小階調差（例えば、階調差が１）であること、（３）始点位置がｘ＝０以外のとき、始点位置における階調変化と終点位置における階調変化が共に増加、あるいは共に減少であること、の３点を用いた場合を例に説明する。なお、検出条件についてはいくつかのバリエーションが考えられるが、階調を滑らかに変化させるために線形補間を行う領域を決定するという目的はどれも同じである。

上記（１）は、１画素毎に階調が変化している領域は階調変化を滑らかにする必要がないという条件、上記（２）は、通常の輪郭か、階調変化を滑らかにすべき偽輪郭かを判定するための条件、上記（３）は、領域内で階調を単純に増加または減少させるための補間処理を実行する領域を決定するための条件である。なお、図１に示した階調データは、画素位置ｘ＝０から２４まで上記（１）から（３）の条件を満たしている。

以上の条件により、図２（ｂ）に示すように、各画素データについてｘ＝０から順に判定していく。

Ｘｓ＝０、Ｘｅ＝３の場合、これらの位置では条件（１）を満たさない（（Ｘｅ＝３の階調値と同じ階調値が複数連続していない）ので線形補間適用領域とは判定されない。

Ｘｓ＝３、Ｘｅ＝４の場合、これらの位置では上記と同様に条件（１）を満たさない。

Ｘｓ＝４、Ｘｅ＝８の場合、これらの位置では始点位置の階調変化が減少し、終点位置の階調変化が増加するため条件（３）を満たさない。

Ｘｓ＝８，Ｘｅ＝１６の場合、これらの位置では全ての条件を満たすので線形補間領域となる。以下、順次判定していくと、Ｘｓ＝２０、Ｘｅ＝２４の場合も線形補間適用領域となることが分かる。

図２（ｃ）に画素位置ｘ＝８から１６及びｘ＝２０から２４に対して線形補間処理を実施した結果を示す。処理方法は上記図１を用いて説明した方法と同様である。図２（ｃ）に示すように、ｘ＝３及びｘ＝１９の位置で発生したノイズの影響を受けないｘ＝８から１６までの領域では線形補間処理結果が図１（ｃ）と同様となっている。一方、ｘ＝３及びｘ＝１９を含む領域では、図１（ｃ）と異なる処理結果が得られている。

このように、図１に示した例では、画像信号にノイズ成分がないため階調拡張処理によって全ての領域（位置）で滑らかな階調変化が得られている。一方、図２に示した例では、ノイズ成分による階調変化を検出点とみなし、線形補間の始点あるいは終点として検出してしまうため、図１（ｃ）とは全く異なる処理結果が得られる。なお、上述した一部の従来技術では検出しない場合もあるが、その場合でも線形補間適用領域の始点・終点はリセットされてしまうため、図１（ｃ）と同様の処理結果は得られない。このことは、従来の階調拡張処理が、１画素１階調差のように、画像の視認時にほとんど知覚されない、わずかな階調変化であっても影響を受けることを示唆している。

このようなわずかな階調変化は、階調拡張処理における線形補間適用領域の検出処理は補間処理に影響しないことが望ましい。その理由は、上記階調変化の主な発生要因にある。

一般に、自然画像を表示装置で表示する場合、その画像データは、ファイル容量を小さくするためにＪＰＥＧやＭＰＥＧフォーマットによって非可逆圧縮されている。また、階調数が制限されている画像にはディザノイズを付加することで階調表現を拡大している。これら処理された画像に共通しているのは、人間の眼の感度が高周波成分よりも低周波成分の方が高いという特性を生かして、ノイズ（誤差）成分が高周波成分として含まれている点である。このような処理によりノイズ（誤差）成分を相対的に目立たなくしている。また、通常、ノイズ・誤差成分は主成分よりもその振幅が十分に小さいと考えられる。

例えば、階調値が６ビット（０から６３）の場合、ディザ法では階調値２３と階調値２４を交互に表示することで２３．５階調の中間調を実現している。この場合、階調値２３から階調値２４の変化、及び階調値２４から階調値２３の変化は、偽輪郭あるいは通常の輪郭として検出されるべきものではない。ＪＰＥＧやＭＰＥＧ等の非可逆圧縮処理による高周波誤差も同様である。

よって、高周波成分であり、かつ振幅の小さい信号成分、具体的には１画素１階調の変化は、中間調を表現する信号、あるいは単なる非可逆圧縮伸長の誤差である場合が多い。このような理由で発生している階調変化は、階調拡張時に線形補間適用領域として検出しないことが望ましい。

図３（ａ）は処理対象となる６ビットの画像信号の一例を示し、図３（ｂ）は、１画素１階調の変化を無視した場合の、階調拡張処理による線形補間適用領域の検出結果を示し、図３（ｃ）は８ビットに階調拡張処理（すなわち付加する２ビットを生成）された結果を示している。

図３（ａ）に示す画像信号は図２（ａ）と同じ画像信号であり、その画像信号に線形補間適用領域の検出処理を行った結果が図３（ｂ）である。図３（ｂ）では１画素１階調の変化を検出していないため、検出点はｘ＝０，８，１６，２４のみとなる。これは、図１（ｂ）に示した検出処理結果と同じであり、線形補間適用領域もｘ＝０から２４となる。
この図３（ｂ）に示す処理は、上述した線形補間適用領域の検出条件（１）を「始点位置と同じ階調値が複数画素連続し、かつ終点位置と同じ階調値が複数画素連続すること、但し、１画素１階調の変化は同じ階調が連続しているものとみなす」と変更すればよい。

よって、図３（ｂ）の検出結果をもとに線形補間処理を行うと、図３（ｃ）に示す処理結果が得られる。図３（ｃ）では、ｘ＝３，１９以外の画素位置では、図１（ｃ）と同じ処理結果が得られている。

ノイズ・誤差成分である画素位置ｘ＝３，１９では、線形補間処理の結果をそのまま使用してもよいが、ここでは線形補間処理の結果と入力階調値の平均値を出力している。このようにして、図１（ｃ）と同等の処理結果が得られることがわかる。

ここまでは、同じ階調が連続しているとみなすものとして、高周波成分であり、かつ振幅の小さい信号成分として、１画素１階調の変化を例にして説明した。しかしながら、画像によっては、中間調を表現するために、あるいは非化逆圧縮伸張の誤差として、２画素１階調や３画素１階調の変化が表れる場合もある。例えば、元の画像を単純に２倍や３倍に拡大した画像がこの例に相当する。このような画像では、元の画像の１画素１階調の変化が、２画素１階調あるいは３画素１階調の変化となるため、上記条件「１画素１階調の変化は同じ階調が連続しているものとみなす」にあてはまらない。

さらに、表示装置の精細度が高い場合、１画素１階調だけでなく、２画素１階調や３画素１階調の変化も誤差として知覚しやすい場合もある。このような場合も上記条件「１画素１階調の変化は同じ階調が連続しているものとみなす」にあてはまらない。

図４に、２倍に拡大された画像が入力されたとき、２画素１階調の変化を検出せずに線形補間処理を行った例を示す。図４（ａ）は２倍に拡大した画像信号の例であり、２画素毎あるいはそれ以上の単位でしか階調変化が起こらない。このような単に拡大された画像は、図３と同様の階調拡張処理を実施することが望ましい。そこで、本発明では、線形補間適用領域の条件（１）を「始点位置と同じ階調値が複数画素連続し、かつ終点位置と同じ階調値が複数画素連続すること、但し、１画素群１階調の変化は同じ階調が連続しているものとみなす」に変更する。ここで、「画素群」とは、同じ階調値を持つ複数の画素のまとまりを指す。元の画像を単純に拡大した場合、画素群内の画素は全て同じ階調値となる。ここでは、元の画像を２倍に拡大しているため、２画素×２画素が１画素群となる。

線形補間適用領域の検出条件（１）をこのように変更したときの検出処理結果を図４（ｂ）に示す。ここでは、検出処理をｘ＝０，２，４・・・のように２画素単位で行う。このようにすることで１画素群１階調の変化を検出することができる。図４（ｂ）では１画素群１階調の変化を検出していないため、検出点はｘ＝０，８，１６，２４のみとなる。この検出結果を基に線形補間処理を行うと、図４（ｃ）に示す処理結果が得られる。ここで、ノイズ・誤差成分である画素位置ｘ＝２，３，２０，２１では、線形補間処理の結果と入力階調値の平均値を出力している。なお、検出処理として、２画素単位で行う例を示したが、「１画素毎に検出処理を行い、ｎ画素１階調の変化を無視する」ように処理しても同様の効果が得られる。

以上のことから、本発明は、ディジタル画像信号の階調拡張を行う手段として、以下の構成要素を備える。

（１）線形補間適用領域を検出するための検出部と、その検出結果に基づき階調拡張を行う拡張補正部とを有する。

（２）検出部は、ディジタル映像信号の画素列を順次走査していき、階調変化を検出する。但し、所定の範囲内の階調変化を検出し、かつその階調変化を検出した位置の次の画素の階調値が、その階調変化を検出した位置の前の画素の階調値と同じ場合は検出を行わず、上記記載の階調変化以外の階調変化を、線形補間処理を施す検出点と、それ以外の検出点とに分けて検出する。

（３）拡張補正部は、上記線形補間処理を施す検出点に線形補間処理を行うことで適切な階調拡張処理を実現する。

本発明を、以下に示す装置、方法及びプログラムに適用することで、ノイズ・誤差に強く、かつ偽輪郭を防止できる階調拡張処理を実現できる。

例えば、画像処理装置にて、画像データの線形補間適用領域を上記検出手法で検出し、その検出結果に基づいて階調拡張処理を実行することで、ノイズ・誤差に強く、偽輪郭の発生を抑制することが可能であり、良好な画質で画像を表示できる。

上記検出処理及び階調拡張処理を実行する装置は、論理回路やメモリから成るＬＳＩ等のハードウェア回路によって構成されていてもよく、プログラムにしたがって処理を実行するコンピュータ等の情報処理装置でも実現できる。その場合、検出処理をハードウェア回路（画像検出装置）で行い、階調拡張処理を階調拡張用のプログラムにしたがって実行する構成でもよく、検出処理を検出用のプログラムにしたがって実行し、階調拡張処理をハードウェア回路（階調拡張処理装置）で実行する構成であってもよい。

また、本発明は、画像処理方法、画像処理プログラム、検出処理のみを実行する画像検出装置、画像検出方法、画像検出プログラムとして実現できる。また、表示装置にて、画像データに対して上記処理を実行することでも高画質な画像を表示できる。

なお、階調拡張処理は、図３及び図４に示した方法だけではなく、その他の処理を用いてもよい。例えば、図５（ａ）〜（ｃ）に示すように、検出点における階調値の差が１／２となる点どうしを結び（図５（ｃ）中の斜めの点線）、この直線に最も近い値となるように付加するビットを決める方法も可能である。図５（ａ）に示す処理対象となる６ビットの画像データを示す図３（ａ）と同様であり、図５（ｂ）に示す線形補間適用領域の検出結果は図３（ｂ）と同様である。

また、いわゆる線形補間処理ではなく、その他の任意の補間関数を用いることも可能である。本発明では、階調変化抑制処理を実行することで、補間処理の種類に関係なく、低コストで、偽輪郭の発生を抑制できる階調拡張処理を行うことができる。

以下、上記で説明した原理に基づく本発明の実施の形態について説明する。

（第１の実施の形態）
図６は、本発明の第１の実施の形態を示す、画像処理装置の構成を示すブロック図である。図６に示す画像処理装置は、図３及び図４に示した原理に基づく本発明の処理を実行する具体的な装置である。

図６に示すように、第１の実施の形態の画像処理装置は、検出部１１、ラインバッファ１３及び拡張補正部１２を有する構成である。第１の実施の形態の画像処理装置は、６ビットの画像データが順次入力され、この６ビットの画像データを８ビットの画像データに変換して表示装置等に出力する。

検出部１１は、入力された６ビットの画像データを列毎に順次走査し、列毎に線形補間による階調拡張処理を行い、階調を滑らかに変化させる線形補間適用領域を検出する。

なお、検出部１１は、入力された画像データを列毎に順次走査する際、所定の範囲内（例えば、最小階調差）の階調変化を検出した場合は、その階調変化を検出した位置の次の位置の階調値が、その前の位置の階調値と同じ場合は、その階調変化がノイズ等であると判定し、階調変化が検出された画素の階調値を当該画素の前後の位置の画素の階調値とみなす。

ラインバッファ１３は、検出部１１にて検出処理が実行されている間、入力された６ビットの画像データを蓄積する。

拡張補正部１２は、ラインバッファ１３から出力された画像データに対して、検出部１１で得られた検出点の位置データＸと検出点の階調変化量ＦＣとを用いて階調拡張処理を行う。本実施形態の画像処理装置では、ラインバッファ１３を設けることで検出結果に基づく拡張補正が画像の適切な位置に実施される。

なお、図６では、ＲＧＢの各色成分のうちの１色に対応する構成を示しているが、本実施形態の画像処理装置は、他の２色に対しても同様の構成を並列に有する。これは、他の実施形態についても同様である。

次に、本実施形態の画像処理装置について、検出部１１と拡張補正部１２とに分けて説明する。

まず、検出部１１の具体的な構成および動作について図７及び図８を用いて説明する。

図７は図６に示した検出部の一構成例を示すブロック図であり、図８は図５に示した検出部に任意の画素列が入力されたときの処理の様子を示すグラフである。

図７に示すように、検出部１１は、判定出力部２１、始点パラメータ保持部２２及びカウンタ２３を有する構成である。カウンタ２３は順次入力される画像データが何番目の位置にあるかを相対的に把握するために使用される。入力された画像データの位置がわかるのであればカウンタ２３を備える必要はない。始点パラメータ保持部２２は、判定出力部２１の判定処理で必要なパラメータである、始点位置Ｘｓ、始点階調Ｔｓ及び始点階調変化量ＦＣｓを保持する。判定出力部２１にて新たな検出点が得られたとき、上記パラメータが変更される。

階調変化量ＦＣとは、検出された階調変化が増加方向の階調変化であるか減少方向の階調変化であるかを示すと共に、その階調変化が線形補間処理を施すべき階調変化であるか線形補間処理を施すべきでない輪郭部位であるかを示す情報である。

具体的には、階調変化量ＦＣは以下のような値となる。

ＦＣ＝００・・・線形補間処理を施すべき階調変化であり、階調変化が増加方向
ＦＣ＝０１・・・線形補間処理を施すべき階調変化であり、階調変化が減少方向
ＦＣ＝１０・・・線形補間処理を施すべきでない輪郭部位
判定出力部２１は、入力された画像データＴ（ｘ）（ここで、ｘは順次入力された画像の位置をあらわし、Ｔ（ｘ）は位置ｘの階調値をあらわす）と、始点パラメータ保持部２２で保持しているパラメータ及び予め設定されたしきい値ＴＨを基に以下の判定を行う。

（１）Ｔ（ｘ）＝Ｔｓ（始点階調と入力画像の階調が同じ場合） ｏｒ （Ｔｓ−ＴＨ＜Ｔ（ｘ）＜Ｔｓ＋ＴＨ ａｎｄ Ｔ（ｘ＋１）＝Ｔｓ）（入力画像の階調変化が始点階調±しきい値の範囲内であり、かつ位置ｘ＋１にある階調と始点階調が同じ場合：これが本発明におけるノイズ・誤差成分の除去処理に相当する）のとき、検出された階調変化を検出点としない（何も処理を行わない。出力も変更なしである）。

（２）（１）の条件を満たさず、Ｔｓ−ＴＨ＜Ｔ（ｘ）＜Ｔｓ＋ＴＨ ａｎｄ Ｔ（ｘ＋１）＝Ｔ（ｘ）（入力画像の階調変化が始点階調±しきい値の範囲内であり、かつ位置ｘ＋１と位置ｘにある階調が同じ値の場合）のとき、この階調変化を、線形補間処理を施す線形補間適用領域とする。このとき、出力位置Ｘ＝ｘ、出力階調変化量ＦＣは、Ｔｓ＜Ｔ（ｘ）の場合ＦＣ＝００、Ｔｓ＞Ｔ（ｘ）の場合ＦＣ＝０１とする。また始点パラメータ保持部２２で保持しているパラメータを、Ｘｓをｘに、ＴｓをＴ（ｘ）に、ＦＣｓをＦＣにそれぞれ変更し、次回以降の処理で使用する。

（３）（２）の条件を満たさない場合、この階調変化を輪郭領域とする。このとき、出力位置Ｘ＝ｘ、出力階調変化量ＦＣ＝１０とする。また（２）と同様に、始点パラメータ保持部２２で保持しているパラメータを、Ｘｓをｘに、ＴｓをＴ（ｘ）に、ＦＣｓをＦＣにそれぞれ変更し、次回以降の処理で使用する。

このように検出部１１では、画像信号の画素列を順次走査していき、１画素１階調の階調変化は無視して検出せず、それ以外の階調変化を、線形補間処理の対象となる検出点と、それ以外の検出点とを分けて検出する。

なお、しきい値ＴＨは、検出点における階調変化を補正で滑らかにするのか、そのまま保持するかを決めるための基準値である。しきい値ＴＨは、処理の内容や入力画像の特性等から適切な値を設定すればよい。最も簡単な値としては、最小階調差のみ階調変化を滑らかにするＴＨ＝２となる。また、入力画像（例えば１画面分）の最小階調差が２であれば、その最小階調差をもつ領域を、階調変化を滑らかにしたい領域と判断し、ＴＨ＝３とすることも可能である。

以上の処理を、図８（ａ）に示すような画素列が入力された場合を例にして確認する。ここで、しきい値ＴＨ＝２とし、画像信号はｘ＝０から順次入力されるものとする。

まず、始点パラメータ保持部２２に、パラメータを何も保持していないことを示す初期条件を設定する。例えば、ｘ＝０における階調値Ｔ（０）＝（００１１００）binが入力された場合は、Ｘｓ＝０、Ｔｓ＝Ｔ（０）、ＦＣｓ＝１０を保持する。ここで、ＦＣｓ＝１０とするのは、ｘ＝０では階調変化の有無を判定できないため（ｘ＝−１というデータがないため）である。

始点パラメータが設定されると、ｘ＝１から判定出力部２１にて検出点の検出処理を実行していく。ここでは、Ｔ（１）＝Ｔｓであるため、検出処理を実行せずに次の画素値Ｔ（２）に対する処理へ移行する。

そして、ｘ＝４になると、Ｔ（４）≠Ｔｓとなり、Ｔｓ−ＴＨ＜Ｔ（４）＜Ｔｓ＋ＴＨを満たし、かつＴ（５）＝Ｔｓとなる。したがって、条件（１）を満たすため、検出を行わない。

さらに、ｘ＝８になると、はじめてＴｓ−ＴＨ＜Ｔ（８）＜Ｔｓ＋ＴＨ、かつＴ（９）＝Ｔ（８）となり、条件（２）を満たす。したがって、Ｘ＝８、ＦＣ＝００を出力し、始点パラメータをＸｓ＝８、Ｔｓ＝（００１１０１）bin、ＦＣｓ＝００に更新する。そして、ｘ＝９からはこの更新されたパラメータを用いて検出処理を行う。

以上のような処理を繰り返し実行し（図８（ｂ））、最後まで検出処理を行った結果が図８（ｃ）である。図８（ｃ）では、検出点に矢印を付しており、黒塗りの矢印が線形補間処理を施す検出点、白抜きの矢印がそれ以外の検出点である。拡張補正部１２は、階調変化量ＦＣが００か０１の場合に、その検出点が線形補間処理を施すべき検出点であると判定し、階調変化量ＦＣが１０の場合は、その検出点が線形補間処理を施すべきでない検出点であると判定する。図８（ｃ）に示す例では、ｘ＝０から１５までの領域が、線形補間処理の対象となっていることがわかる。この領域は、従来技術では１画素１階調のノイズ・誤差成分のために、線形補間処理を行わない領域と判定されていたものである。

次に、拡張補正部１２の構成および動作について図９及び図１０を用いて説明する。

図９は図６に示した拡張補正部の一構成例を示すブロック図であり、図１０は拡張補正部に任意の画素列が入力されたときの階調拡張処理の結果を示すグラフである。

図９に示すように、拡張補正部１２は、補正処理部２４、平均化補正部２５、パラメータ抽出部２６及びパラメータバッファ２７を有する構成である。

パラメータバッファ２７は、画像の１列（ライン）毎に、検出部１１にて得られた検出位置Ｘ及び階調変化量ＦＣを蓄積する。パラメータ抽出部２６は、補正処理部２４に入力された画像の画素位置ｘに応じて、Ｘｓ＜ｘ＜ＸｅとなるＸｓ、Ｘｅとその変化量ＦＣｓ、及びＦＣｅをパラメータバッファ２７から取得する。

補正処理部２４は、ラインバッファ１３によってパイプライン遅延された画像信号Ｔ（ｘ）が入力され、この入力値とパラメータ抽出部２６から取得したＸｓ、Ｘｅ、ＦＣｓ、ＦＣｅを基に、階調拡張処理を行い、その処理結果Ｔｏｕｔ’（ｘ）と入力信号Ｔ（ｘ）を出力する。階調拡張処理では、ＦＣｓ、ＦＣｅの値に応じて、以下に示す５通りの処理のうちのいずれか１つを選択・実行する。

（１）ＦＣｓ＝００かつＦＣｅ＝０１のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｓ）−（Ｔ（Ｘｅ）−Ｔ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（２）（１）の条件を満たさず、ＦＣｓ＝０１かつＦＣｅ＝００のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｅ）−（Ｔ（Ｘｅ）−Ｔ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（３）（２）の条件を満たさず、ＦＣｓ≠０１かつＦＣｅ＝００のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｓ）＋（Ｔ（Ｘｅ）−Ｔ（Ｘｓ））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（４）（３）の条件を満たさず、 ＦＣｓ＝０１かつＦＣｅ≠００のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｓ−１）＋（Ｔ（Ｘｓ）−Ｔ（Ｘｓ−１））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（５）上記（１）から（４）の条件を満たさないとき
Ｔｏｕｔ’（ｘ）＝４＊Ｔ（ｘ）
とする。

なお、小数点以下は切り捨てる。上記（１）から（４）が線形補間処理であり、（１）及び（２）は凸部及び凹部の線形補間処理、（３）及び（４）は従来例と同様の線形補間処理である。また、（５）は固定の階調値を付加する処理であり、線形補間処理を施さない検出点に対して使用する。

第１の実施の形態では、上記補正処理を使用したが、これに限るものではなく、例えば（３）及び（４）のみを使用してもよく、その他の計算式を使用しても本発明の効果を得ることができる。

補正処理部２４で得られたＴｏｕｔ’（ｘ）は８ビットであり、そのデータとＴ（ｘ）、Ｔ（Ｘｓ）が平均化補正部２５に送られる。平均化補正部２５、はＴ（ｘ）≠Ｔ（Ｘｓ）のとき（図８（ｂ）におけるｘ＝４，６，１１がこの式を満たす。すなわち、ノイズ・誤差成分とした画素部である）、線形補間の結果と入力階調値との平均値を出力し（Ｔｏｕｔ（ｘ）＝（４＊Ｔ（ｘ）＋Ｔｏｕｔ’（ｘ））／２）、それ以外の場合は、Ｔｏｕｔ（ｘ）＝Ｔｏｕｔ’（ｘ）を出力する。

平均化補正部２５は、ディジタル画像信号Ｔ（ｘ）と、補正処理部２４から出力された画像信号Ｔｏｕｔ’（ｘ）とを入力とし、補正処理部２４から出力された、補正処理が施された画像信号Ｔｏｕｔ’（ｘ）とディジタル画像信号Ｔ（ｘ）との平均値を算出し、入力されたディジタル画像信号の階調値Ｔ（ｘ）が線形補間適用領域の始点階調Ｔ（Ｘｓ）と同じでない場合には平均値を出力し、それ以外の場合には補正処理部２４からの出力画像信号Ｔｏｕｔ’（ｘ）をそのまま出力する。

以上の処理を図８（ｃ）に示すような検出結果が得られた画素列について確認していく。図１０（ａ）は、図８（ｃ）を再掲したものであり、そのときの検出位置に矢印を付与し、矢印の上に階調変化量ＦＣの値を記載している。

補正処理についても検出処理と同様に、ｘ＝０から入力された画像データに対して順次処理を行っていく。

ｘ＝０からｘ＝７の領域には、Ｘｓ＝０、ＦＣｓ＝１０、Ｘｅ＝８、ＦＣｅ＝００である（Ｘｓ＜ｘ＜Ｘｅ）ため、（３）の補正処理（線形補間処理）が適用される。同様に、ｘ＝８から１４の領域には（３）の補正処理が適用され、ｘ＝２１から２３の領域には（４）の補正処理を適用される（図１０（ｂ））。図１０（ｂ）の点線で示している領域は線形補間処理領域である。

補正処理部２４にて階調拡張を行った後、平均化補正部２５の処理を行った結果を図１０（ｃ）に示す。図１０（ｃ）に示すように、最小階調差が多くみられるｘ＝０から１５の領域で、１画素１階調の変化に影響を受けずに、階調差が滑らかになっていることがわかる。

このように、本実施形態の画像処理装置は、線形補間適用領域を検出するための検出部１１と、その検出結果に基づき階調拡張を行う拡張補正部１２とを有し、検出部１１は、入力されたディジタル映像信号の画素列を順次走査していき、階調変化を検出する。その際、所定の範囲内の階調変化を検出し、かつその階調変化を検出した位置の次の画素の階調値が、その階調変化を検出した位置の前の画素の階調値と同じ場合は検出を行わず、上記記載の階調変化以外の階調変化を、線形補間処理を施す検出点と、それ以外の検出点とを分けて検出する。そして、上記線形補間処理を施す検出点に、拡張補正部１２によって線形補間処理を行うことで適切な階調拡張処理を実現する。

また、平均化補正部２５によって線形補間処理の結果と入力階調値の平均値を出力することで、ノイズ・誤差成分と推定される信号の変化量も小さくなり、該ノイズ・誤差成分を抑制できる。

なお、本実施形態では、検出部１１で検出位置データと検出位置の階調変化量ＦＣを決定し、そのデータを基に拡張補正部１２で補正処理を行ったが、検出部１１及び拡張補正部１２で実行する処理はどのように振り分けてもよい。例えば、検出部１１にて補正ビット（本実施形態において補正処理部１２で行う処理結果から入力画像階調を減算した値）の生成処理まで実行し、階調付加処理のみ拡張補正部１２にて実行してもよい。同様に、補正処理部１２及び階調変化抑制部１４の処理についても、これらに対してどのように振り分けて実行してもよい。

また、本実施形態では、１方向（入力画像の画像データの時系列な並び方向：Ｘ方向とする）のみ検出処理を実行する例を示したが、例えば、図６に示したラインバッファ１３として、複数ラインの画像データが蓄積可能なものを用いれば、Ｘ方向の検出・階調拡張処理だけでなく、Ｙ方向の検出・階調拡張処理を行うことも可能である。

但し、Ｙ方向の検出・階調拡張処理は、ラインバッファ１３で蓄積可能なライン数に依存するため、Ｘ方向と同様の検出・階調拡張処理を実行できない場合が多い。そこで、Ｙ方向の階調拡張処理では、階調変化を滑らかにしたい領域を検出し、ＬＰＦ（ローパスフィルタ）にその領域の画素データを通すことでノイズ・誤差成分を除去する構成が考えられる。このように、Ｘ方向とＹ方向の階調拡張処理を、バッファの制約条件等に応じて適宜変更すれば、所与の構成であっても最適な階調拡張処理を実現できる。

また、ラインバッファ１３で蓄積可能なライン数に制限がある場合のＹ方向の検出・階調拡張処理を行う他の方法としては以下の方法もある。

グラデーション等の階調変化のある領域の偽輪郭は、ＸＹ平面内の曲線として表される。すなわち、近接するライン間で検出される偽輪郭は高い相関があると考えられる。そのため、Ｙ方向の予測検出データ及び検出済のデータから階調拡張処理を行うことも可能である。予測検出データは、検出済のデータを基に随時変更していけばよい。

また、Ｙ方向の検出処理を１フレーム前の画像信号を基に実行し、その検出処理結果を現フレームの画像に適用する方法が考えられる。これは、通常、フレーム間の画像の相関性が非常に高いことを利用した方法である。但し、シーンの切り替わり時等、フレーム間の相関が低くなるときには、画質を確認し、線形補間による階調拡張処理を実行しないようにする手段を備える必要がある。

このようにコスト等の問題から蓄積容量が限られたラインバッファ１３を用いる場合でも、ラインバッファ１３で蓄積する画像データの並び方向とは異なる方向についても検出・階調拡張処理を行うことが可能であり、より適切な階調拡張処理を実現できる。

（第２の実施形態）
次に本発明の第２の実施の形態の画像処理装置について説明する。

図１１は本発明の画像処理装置の第２の実施の形態の構成を示すブロック図である。

第２の実施の形態の画像処理装置は、ラインバッファ１３に代えてフレームバッファ１４を備え、フレームバッファ１４で並び替えた画像信号を検出部１１に送出する点で図６に示した第１の実施の形態の画像処理装置と異なっている。

このような構成では、フレームバッファ１４から検出部１１に送出する信号列の並びが、第１の実施の形態の画像処理装置のように、入力画像の信号列と同じである必要はない。

例えば、入力画像がラスタ画像である場合、画面左上から横方向に画像データが順次送られてくるが、本実施形態では、ラスタ画像の信号列の並びに対して垂直方向に並ぶ画像データ等のように、連続して配列された画像データであればフレームバッファ１４から任意の配列で検出部１１に送出することができる。

また、検出部１１によって複数の方向、例えば横方向（Ｘ方向）と縦方向（Ｙ方向）の画像データを検出することで、図１１に示すように検出位置データが２次元座標（Ｘ，Ｙ）で得られ、階調変化量も２次元座標（ＦＣｘ，ＦＣｙ）で得ることができる。そのため、より精度の高い階調拡張処理を実行できる。例えば、拡張補正部１２では、Ｘ方向データとＹ方向データに対して独立して階調拡張補正処理を実行し、それらの演算結果を加算する処理、あるいは平均値を計算する処理等を実行することで、２方向の検出結果を階調拡張処理に反映させることができる。

本実施形態の画像処理装置によれば、フレームバッファ１４を備えることで、入力画像の画像データの並び方向だけでなく、任意の方向についても検出・補正処理を実行することが可能になるため、より適切な階調拡張処理を実行できる。

また、本実施形態の画像処理装置は、第１の実施の形態と同様に、平均化補正部２５によって１画素１階調のノイズ・誤差成分と推定される信号の変化量が小さくなるため、ノイズ・誤差成分を抑制することができる。

（第３の実施の形態）
次に本発明の第３の実施の形態について説明する。

第１および第２の実施の形態では、本発明の画像処理方法を画像処理装置に適用した例を示したが、第３の実施の形態は第１および第２の実施の形態で示した画像処理を表示装置に適用した例である。

図１２は本発明の表示装置の一構成例を示すブロック図である。

第３の実施の形態の表示装置は、コンピュータ等の情報処理装置から送出された８ビットの画像データから成るラスタ画像に対して検出処理を行う検出部１１と、１ライン分の画像データを蓄積するラインバッファ１３と、検出部１１から送出された検出位置データＸ及び階調変化データＦＣを基に、ラインバッファ１３から出力された画像データを１０ビットへ階調拡張する拡張補正部１２と、１０ビット表示可能な画像表示部１５とを有する構成である。

第３の実施の形態の表示装置は、画像表示部１５が付加されたこと以外は、図６に示した第１の実施の形態の画像処理装置の構成と同じである。なお、第３の実施の形態の表示装置では、検出部１１、拡張補正部１２及びラインバッファ１３によって画像処理部が構成される。

なお、本実施形態では、８ビットの画像データを１０ビットに階調拡張する場合を例にして説明しているが、６ビットの画像データを８ビットに階調拡張する場合と処理方法が異なるものではない。

また、表示装置は、主走査方向の１ライン毎に画像データを順次処理するため、ラインバッファは画像表示部のＸ方向の１ライン分の画像データが格納可能なバッファサイズであることが好ましい。画像表示部１５は、ＬＣＤ、ＰＤＰ、ＥＬ、ＣＲＴなど、画像データが表示できればどのようなものでもよい。

これにより、入力された画像データのビット数が画像表示部１５で表示可能なビット数よりも少なくても、適切な階調拡張処理を行うことができ、偽輪郭の発生を抑制でき、より高画質な表示が得られる。

また、本実施形態においても、第１及び第２の実施の形態と同様に、平均化補正部２５によって１画素１階調のノイズ・誤差成分と推定される信号の変化量が小さくなるため、ノイズ・誤差成分を抑制することができる。

（第４の実施の形態）
次に本発明の第４の実施の形態について図面を用いて説明する。

第４の実施の形態は情報処理装置を用いて本発明の画像処理方法を実現する例である。すなわち、図１３に示すように、第１の実施の形態で示した、検出部１１及び拡張補正部１２の処理をコンピュータ（ＣＰＵ３１）にて実行する。

図１４、図１５及び図１６は、本発明の画像処理方法の処理手順を示すフローチャートである。図１４〜図１６は、第１の実施の形態で示した画像処理装置の処理をＣＰＵ３１にて実行する例である。

本発明の画像処理方法は、入力された６ビットのラスタ画像に対して検出処理を行い、その検出結果を基に８ビットに拡張処理を行う。図１４に示すステップＳ２からステップＳ１２の処理は第１の実施の形態で示した検出部１１の処理（第１の画像処理）に相当し、図１５及び図１６に示すステップＳ１３からステップＳ２８の処理は第１の実施の形態で示した拡張補正部１２の処理（第２の画像処理）に相当する。

これらの処理をコンピュータが備える不図示のＲＯＭや記録媒体に格納されたプログラムにしたがってＣＰＵ３１が実行することで、上述した、検出部１１及び拡張補正部１２の機能を実現する。

まず、第１の画像処理について図１４を用いて説明する。

図１４に示すように、コンピュータにラスタ画像１の画像データＩｎ（６ビット）が入力されると、ＣＰＵ３１は入力された画像信号がどの画素の画像信号であるかを示す情報（すなわち画素のｙ値）を抽出する（ステップＳ１）。ここで、Ｉｎ（ ）は、階調値を示している。

ＣＰＵ３１は、画素のＹ座標に基づいてそのラインの画像データに検出・補正処理を行うため、入力信号位置ｘ０＝０に初期化し、予め定められたＸ方向のデータ長Ｘｍａｘを取得する（ステップＳ２）。

また、ＣＰＵ３１は検出処理開始にあたって、始点位置Ｘｓ＝０、始点前位置Ｘｓ０＝０、始点階調Ｔｓ＝Ｉｎ（０，ｙ）、始点変化ＦＣｓ＝１０及びしきい値ＴＨ＝２を設定する（ステップＳ３）。

初期条件を設定すると、検出処理は以下のような手順となる。

まず、ＣＰＵ３１は、入力信号位置ｘ０を１インクリメントする（ステップＳ４）。

続いて、ｘ０の値がＸｍａｘと等しいなら、階調変化検出処理を終了し、ステップＳ７の処理へ移行する。それ以外なら階調変化検出処理へ進む（ステップＳ５）。

（階調変化検出処理）
次に、ＣＰＵ３１は、位置ｘ０の階調データＩｎ（ｘ０，ｙ）が始点階調Ｔｓと等しい（同じ階調が連続している）、あるいはＴｓ−ＴＨ＜Ｉｎ（ｘ０，ｙ）＜Ｔｓ＋ＴＨでかつＩｎ（ｘ０＋１，ｙ）＝Ｔｓである（１画素１階調の変化である）ときは、ステップＳ４の処理に戻って階調変化の検出を続ける。それ以外のときは階調変化点とみなし、ステップＳ７の処理に移行する（ステップＳ６）。

続いて、ＣＰＵ３１は、終点位置Ｘｅ＝ｘ０と終点階調Ｔｅ＝Ｉｎ（ｘ０，ｙ）の値を保持する（ステップＳ７）。

（検出点変化量設定処理）
次に、ＣＰＵ３１は、Ｔｓ−ＴＨ＜Ｉｎ（ｘ０，ｙ）＜Ｔｓ＋ＴＨであり、かつＩｎ（ｘ０＋１，ｙ）＝Ｉｎ（ｘ０，ｙ）であるときは（線形補間適用領域であるかの判断）ステップＳ９の処理に移行し、そうでない場合はステップＳ１０の処理に進む（ステップＳ８）。

ステップＳ９では、Ｉｎ（ｘ０，ｙ）とＴｓとを比較し、線形補間適用領域における階調変化の増加または減少を判定する。階調変化が増加する場合はステップＳ１１に移行し、階調変化が減少する場合はステップＳ１２の処理へ進む。

ステップＳ１０では、終点変化Ｔｅを１０（線形補間適用領域ではない）に設定する。

ステップＳ１１では、終点変化Ｔｅを００（線形補間適用領域でその階調変化は増加）に設定する。

ステップＳ１２では、終点変化Ｔｅを０１（線形補間適用領域でその階調変化は減少）に設定する。

ＣＰＵ３１は、ステップＳ１０〜Ｓ１２で求めた各パラメータを保持しつつ、第２の画像処理である階調拡張処理に移行する。

次に第２の画像処理について図１５及び図１６を用いて説明する。

図１５に示すように、ＣＰＵ３１は、まず拡張補正用信号位置ｘをＸｓに設定する（ステップＳ１３）。

（階調拡張内容決定処理）
次に、ＣＰＵ３１は、始点階調変化ＦＣｓ及び終点階調変化ＦＣｅの値を基に、適用する階調拡張処理を決定する（ステップＳ１４からステップＳ１７）。階調拡張処理内容の決定手順は以下の（１）〜（５）のとおりである。

（１）ＦＣｓ＝００であり、かつＦＣｅ＝０１ならば、ステップＳ１８の処理を実行する（ステップＳ１４）。

（２）上記（１）の条件を満たさず、ＦＣｓ＝０１であり、かつＦＣｅ＝００ならば、ステップＳ１９の処理を実行する（ステップＳ１５）。

（３）上記（２）の条件を満たさず、ＦＣｅ＝００ならば、ステップＳ２０の処理を実行する（ステップＳ１６）。

（４）上記（３）の条件を満たさず、ＦＣｓ＝０１ならば、ステップＳ２１の処理を実行する（ステップＳ１７）。

（５）上記（４）の条件を満たさない場合、ステップＳ２２の処理を実行する（ステップＳ１７）。

（階調拡張処理）
ＣＰＵ３１は、始点位置Ｘｓ、始点階調Ｔｓ、終点位置Ｘｅ、終点階調Ｔｅ及び拡張補正信号位置ｘと、入力された画像信号とを用いて、以下に示す（１）から（５）の処理うち、いずれか１つの階調拡張処理を、ステップＳ１４からステップＳ１７の選択結果にしたがって実行する。

（１）ステップＳ１８：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｓ）−（Ｉｎ（Ｘｅ）−Ｉｎ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（２）ステップＳ１９：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｅ）−（Ｉｎ（Ｘｅ）−Ｉｎ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（３）ステップＳ２０：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｓ）＋（Ｉｎ（Ｘｅ）−Ｉｎ（Ｘｓ））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（４）ステップＳ２１：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｓ０）＋（Ｉｎ（Ｘｓ）−Ｉｎ（Ｘｓ０））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（５）ステップＳ２２（線形補間処理を行わない）：
Ｏｕｔ’（ｘ）＝４＊Ｉｎ（ｘ）
（平均化補正処理）
次に、ＣＰＵ３１は、Ｉｎ（ｘ，ｙ）とＴｓとを比較して、以下に示すどちらかの処理を実行する（ステップＳ２３）。

・Ｉｎ（ｘ）≠Ｔｓのとき：Ｏｕｔ（ｘ）＝（Ｉｎ（ｘ）＋Ｏｕｔ’（ｘ））／２
・その他： Ｏｕｔ（ｘ）＝Ｏｕｔ’（ｘ）
続いて、ＣＰＵ３１は、ｘの値を１インクリメントする（ステップＳ２４）。

そして、ｘ＜Ｘｅの場合は同じパラメータＸｓ．Ｔｓ．Ｘｅ．Ｔｅを用いて階調拡張処理を繰り返すために、ステップＳ１４の処理へ戻る。ｘ≧Ｘｅなら階調拡張処理を終了する（ステップＳ２５）。

次に、ＣＰＵ３１は、ｘ０とＸｍａｘの値を比較し（ステップＳ２６）、ｘ０＝Ｘｍａｘの場合は、ｘ＝０からＸｍａｘまでの１ライン分全ての入力信号Ｉｎ（ｘ，ｙ）に対して階調拡張処理を行っているため、ステップＳ２９の処理へ移行する。それ以外なら、残りの入力信号に対して処理を続けるためにステップＳ２７の処理へ進む。

ステップＳ２７では、ＣＰＵ３１は、始点前位置Ｘｓ０にＸｓを代入する。

続いて、始点位置ＸｓにＸｅを代入し、始点階調ＴｓにＴｅを代入し、始点変化ＦＣｓにＦＣｅを代入し（ステップＳ２８）、ステップＳ４の処理に戻って検出処理を再び開始する。

ＣＰＵ３１は、以上の処理で求めた出力画像データＯｕｔ（ｘ、ｙ）（８ビット）を出力する（ステップＳ２９）。

以上説明したように、第１の実施の形態で示した検出部１１の処理（第１の画像処理）及び拡張補正部１２の処理（第２の画像処理）をコンピュータにより実行することで、特別なハードウェアを用いなくとも第１の実施の形態の画像処理装置と同様の画像処理を実行できる。

なお、図１４〜図１６に示したフローチャートは、第１の実施の形態の画像処理装置の処理を示しているが、第２の実施の形態の画像処理装置の処理についても上記と同様にコンピュータを用いて実行することが可能である。

第４の実施の形態では、ラスタ画像のデータ容量を減少させるための処理、及び画像データを伸長して復元するための処理をプログラムにしたがってコンピュータにより実行する場合を例に説明したが、これらの処理のいずれか一方のみをコンピュータにより実行してもよい。

また、第４の実施の形態では、コンピュータを用いて第１の実施の形態の画像処理装置の機能を実現する例を示したが、上述した画像検出装置や階調拡張装置の処理についてもコンピュータで実現できることは言うまでもない。

上述した第１の実施の形態〜第４の実施の形態では、階調拡張により増える画像データのビット数を一定として説明した場合もあるが、階調拡張後に増えるビット数は任意の数にも適用可能である。

また、上記第１の実施の形態〜第４の実施の形態は本発明の好適な一例を示すものであり、本発明は第１の実施の形態〜第４の実施の形態で示した構成に限定されるものではない。例えば、階調拡張処理による色毎の画像データのビット増加量は同じである必要はない。すなわち、画像データがＲＧＢの３系統で構成され、Ｒデータが５ビット、Ｇデータが６ビット、Ｂデータが５ビットである場合、ＲデータとＢデータとを３ビット拡張し、Ｇデータを２ビット拡張することで、ＲＧＢの各画像データをそれぞれ８ビットとすることも可能である。

また、ＲＧＢの画像データのうち、一部の色のビット数のみを増加させる構成であってもよい。また、ラスタ画像は、必ずしも複数色の画像データからなるカラー画像である必要はなく、モノクローム画像であってもよい。

また、本実施形態では、１画素１階調の変化をノイズ・誤差成分として推定する例で説明したが、発明の原理で示したように、画像や表示装置の精細度に応じてｎ画素１階調の変化をノイズ・誤差成分として検出処理を実行してもよい。このように、本発明は様々な変形が可能である。

Claims (12)

1. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域である線形補間適用領域を検出するための検出部と、
   前記検出部により検出された線形補間適用領域に対して階調拡張処理を行う拡張補正部と、
   を有する画像処理装置であって、
   前記検出部は、
   入力された前記ディジタル画像信号の画素列の階調値を順次走査し、所定の範囲内の階調変化を検出した場合、該階調変化を検出した位置の次の位置の画素の階調値と前記階調変化を検出した位置の前の位置の画素の階調値とを比較し、同じ場合は同じ階調が連続していると判定し、異なる場合に前記所定の範囲内の階調変化であると判定して、前記線形補間適用領域を検出する画像処理装置。
2. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域である線形補間適用領域を検出するための検出部と、
   前記検出部により検出された線形補間適用領域に対して階調拡張処理を行う拡張補正部と、
   を有する画像処理装置であって、
   前記検出部は、
   入力された前記ディジタル画像信号の画素列の階調値を順次走査し、所定の範囲内の階調変化を検出した場合、該階調変化を検出した位置から複数個の画素で同じ階調値が連続し、その次の位置の画素の階調値と前記階調変化を検出した位置の前の位置の画素の階調値とを比較し、同じ場合は同じ階調が連続していると判定し、異なる場合に前記所定の範囲内の階調変化であると判定して、前記線形補間適用領域を検出する画像処理装置。
3. 前記拡張補正部は、
   前記検出部における検出位置データおよび階調変化量に基づいて、入力された前記ディジタル画像信号に対して補正処理を行う補正処理部と、
   前記ディジタル画像信号と、前記補正処理部からの出力画像信号とを入力とし、前記補正処理部からの補正処理が施された画像信号と前記ディジタル画像信号との平均値を算出し、前記ディジタル画像信号の階調値が線形補間適用領域の始点階調と同じでない場合は前記平均値を出力し、それ以外の場合には前記補正処理部からの出力画像信号をそのまま出力する平均化補正部と、
   を有する請求項１または２記載の画像処理装置。
4. 上記ディジタル画像信号の１ライン分の画像信号を少なくとも蓄積するラインバッファをさらに有する請求項１から３のいずれか１項記載の画像処理装置。
5. 上記ディジタル画像信号の１画面分の画像信号を少なくとも蓄積するフレームバッファをさらに有する請求項１から３のいずれか１項記載の画像処理装置。
6. 前記所定の範囲内の階調変化は、
   前記ディジタル画像信号の最小階調差の階調変化である請求項１から５のいずれか１項記載の画像処理装置。
7. 前記検出部は、
   同じ階調値が連続した領域が隣接し、かつその領域間の階調差が所定値以内にある条件を満たす領域を、前記線形補間適用領域として検出する請求項１から６のいずれか１項記載の画像処理装置。
8. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域である線形補間適用領域を検出する際に、所定の範囲内の階調変化を検出した場合、該階調変化を検出した位置の次の位置の階調値と前記階調変化を検出した位置の前の位置の画素の階調値とを比較し、同じ場合は同じ階調が連続していると判定し、異なる場合に前記所定の範囲内の階調変化であると判定して、前記線形補間適用領域を検出する検出部、及び前記検出部により検出された前記線形補間適用領域に対して階調拡張処理を行う拡張補正部を備えた画像処理部と、
   前記画像処理部の出力信号をもとに画像表示を行う表示部と、
   を有する表示装置。
9. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域である線形補間適用領域を検出する際に、所定の範囲内の階調変化を検出した場合、該階調変化を検出した位置から複数個の画素で同じ階調値が連続し、その次の位置の画素の階調値と前記階調変化を検出した位置の前の位置の画素の階調値とを比較し、同じ場合は同じ階調が連続していると判定し、異なる場合に前記所定の範囲内の階調変化であると判定して、前記線形補間適用領域を検出する検出部、及び前記検出部により検出された前記線形補間適用領域に対して階調拡張処理を行う拡張補正部を有する画像処理部と、
   前記画像処理部の出力信号をもとに画像表示を行う表示部と、
   を有する表示装置。
10. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域である線形補間適用領域を検出するステップと、検出された前記線形補間適用領域に対して階調拡張処理を行うステップとを備えた画像処理方法であって、
    前記線形補間適用領域を検出するステップは、
    入力された前記ディジタル画像信号の画素列の階調値を順次走査し、所定の範囲内の階調変化を検出した場合、該階調変化を検出した位置の次の位置の画素の階調値と前記階調変化を検出した位置の前の位置の画素の階調値とを比較し、同じ場合は同じ階調が連続していると判定し、異なる場合に前記所定の範囲内の階調変化であると判定して、前記線形補間適用領域を検出する画像処理方法。
11. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域である線形補間適用領域を検出するステップと、検出された前記線形補間適用領域に対して階調拡張処理を行うステップとを備えた画像処理方法であって、
    前記線形補間適用領域を検出するステップは、
    入力された前記ディジタル画像信号の画素列の階調値を順次走査し、所定の範囲内の階調変化を検出した場合、該階調変化を検出した位置から複数個の画素で同じ階調値が連続し、その次の位置の画素の階調値と前記階調変化を検出した位置の前の位置の画素の階調値とを比較し、同じ場合は同じ階調が連続していると判定し、異なる場合に前記所定の範囲内の階調変化であると判定して、前記線形補間適用領域を検出する画像処理方法。
12. 請求項１０または１１記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images