JP2003009178A - 画像処理方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 色信号が周波数変調され、輝度信号に重畳さ
れている複合画像信号のダイナミックレンジを圧縮する
場合において、色偽の発生を抑制し、良好な再現画像を
得ることができるようにする。 【解決手段】 圧縮用の係数Ｇ（ｘ，ｙ）を用いて平滑
化係数Ｓ（ｘ，ｙ）を算出し、この平滑化係数Ｓ（ｘ，
ｙ）に基づいて、圧縮輝度信号ＹＣ（ｘ，ｙ）および圧
縮色信号ＣＣ（ｘ，ｙ）に対して、画素ごとに平滑化の
度合いが異なる平滑化処理を行う。圧縮輝度信号ＹＣ
（ｘ，ｙ）および圧縮色信号ＣＣ（ｘ，ｙ）に対して、
色偽を除去するための平滑化処理を施すことにより、色
偽の発生が抑制される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン、ビ
デオテープレコーダー、スチルカメラ、ビデオカメラお
よびプリンタなど、各種の画像の入出力装置に好適に利
用可能なものであり、特に、色信号が周波数変調され、
輝度信号に重畳されている複合画像信号を、相対的によ
りダイナミックレンジの狭い画像の入出力装置において
再現するための画像処理方法および装置に関する。

【０００２】

【従来の技術】従来、例えば画像の階調特性の変換のた
めに、入力画像の各画素に対し、そのレベルを図１８の
実線で示すような入出力関係を持つ関数（以下、「レベ
ル変換関数」と記す。）で変換する方法（以下、「レベ
ル変換」と記す。）がある。図１８において、横軸は入
力画像の画素レベル（入力レベル）ｌを、縦軸はレベル
変換処理による出力画像の画素レベル（出力レベル）Ｔ
（ｌ）を表す。Ｌmaxは、入出力画像の各画素が取り得
る最大レベルを表す。レベル変換後の画像のコントラス
トは、レベル変換関数の傾きが大きいほど増加すること
になる。図１８の例では、入力レベルｌｂを境にして高
レベル側と入力レベルｌｓを境にして低レベル側とにお
けるレベル変換関数を示す直線の傾きが、中間レベル
（入力レベルｌｓ〜ｌｂ）の傾きに比べて小さくなって
いる。従って、図１８に示した関数を用いたレベル変換
では、高レベルおよび低レベルにおけるコントラストを
犠牲にすることで、中間レベルのコントラストを増加さ
せていることになる。

【０００３】レベル変換関数は、図１８に示したものに
限らず、例えば図１９の実線で示したものを用いること
もできる。図１９に示したレベル変換関数は、入力レベ
ルｌｋを境にして、高レベル側における直線の傾きが、
低レベル、中間レベルでの傾きに比べて小さくなってい
る。従って、図１９に示した関数を用いたレベル変換で
は、高レベルでのコントラストを犠牲にすることで、低
レベル、中間レベルでのコントラストを増加させること
ができる。また、以下の（１）式のガンマ関数や（２）
式のＬＯＧ関数等、図１８および図１９に示した関数に
比べて、より連続的なレベル変換関数が用いられること
もある。なお、（１）式におけるｇは関数の傾きを調整
するパラメータである。

【０００４】

【数１】

【０００５】

【数２】

【０００６】また、さらに別の従来例としては、入力画
像の画素レベルの頻度分布に応じて、レベル変換関数を
適応的に変化させる方法があり、その代表例としてはヒ
ストグラムイコライゼーションと呼ばれる方法が挙げら
れる。図２０（Ａ），（Ｂ）に、このヒストグラムイコ
ライゼーションの原理を示す。図２０（Ａ）において、
横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸
は度数（頻度または累積頻度）を表す。Ｆmaxは、累積
頻度の最大値であり、頻度を算出するために用いる画素
の総数である。この方法では、図２０（Ａ）に示したよ
うに、はじめに入力画像の画素レベルｌに関する頻度分
布Ｈ（ｌ）が生成され、次に以下の（３）式を用いて累
積頻度分布Ｃ（ｌ）が生成される。

【０００７】

【数３】

【０００８】この累積頻度分布Ｃ（ｌ）の縦軸を、以下
の（４）式を用いて出力画像が取り得るレベル範囲に正
規化することにより、レベル変換関数Ｔ（ｌ）が生成さ
れる（図２０（Ｂ））。この関数Ｔ（ｌ）を用いること
により、出現頻度の高いレベルによって構成される領域
（面積が大きい領域）のコントラストを増加させること
が可能となる。

【０００９】

【数４】

【００１０】入力された画像を、よりダイナミックレン
ジの小さい、すなわち画素レベルを表現するビット数が
少ない環境で利用する場合（ビット数の少ない伝送路で
伝送する場合や、表示装置に表示する場合、あるいは記
憶装置に保存する場合など）には、ダイナミックレンジ
の圧縮を行う必要がある。従来は、このような目的での
ダイナミックレンジの圧縮処理にも、上述した方法と同
様のレベル変換が用いられている。ただし、この場合に
は、レベル変換関数の出力画像の最大レベルが、入力画
像のそれよりも小さい値となる。

【００１１】一方、文献「Z. Rahman, et, alt.:"A Mul
tiscale retinex for color rendition and dynamic ra
nge compression in Applications of Digital image P
rocessing", XIX Proc. SPIE 2847 (1996)」では、空間
的に緩やかに変化する照明光の成分をローパスフィルタ
によって抽出し、これを圧縮することで全体的なダイナ
ミックレンジを圧縮する方法が提案されている（以下、
この方法を「Multiscale retinex法」と記す。）。照明
成分の抽出には帯域の狭い線形ローパスフィルタが用い
られている。この方法では、以下の（５）式に示すよう
に、入力画素の値Ｉ（ｘ，ｙ）、およびローパスフィル
タ出力ＬＰＦ（Ｉ（ｘ，ｙ））の対数値をとり、前者か
ら後者を差し引くことによりダイナミックレンジの圧縮
が行われる。

【００１２】

【数５】

【００１３】以上で説明した各圧縮方法は、主にグレー
スケール画像のダイナミックレンジを圧縮する方法であ
る。入力画像がＲ（赤），Ｇ（緑），Ｂ（青）、または
ＹＵＶなどの３つの成分で構成されるコンポーネントカ
ラー画像である場合には、例えば各成分に対して独立に
圧縮する方法や、あるいは、３つの成分のうちの主たる
１つの成分に対して上述の圧縮方法を適用し、残りの成
分は主たる成分の圧縮前後の比を積算する、という方法
がある。後者の方法において、主たる成分としては、Ｙ
ＵＶ画像の場合には輝度信号であるＹ成分が、ＲＧＢ画
像である場合には、輝度信号への寄与が最も大きいＧ成
分が用いられる。また、ＲＧＢ画像の場合には、マトリ
ックス演算によりＹＵＶに変換してから圧縮した後、さ
らに逆マトリックス演算を施すことにより、圧縮された
ＲＧＢ画像を得る方法もある。

【００１４】一方、色信号が周波数変調され、それが輝
度信号に重畳されている複合画像信号のダイナミックレ
ンジを圧縮する場合、複合画像信号そのものをグレース
ケール画像と見なしてそのまま圧縮処理を行う方法や、
ＹＣ分離により、輝度信号（Ｙ）と色信号（Ｃ）とに分
離した後、それぞれを圧縮する方法がある。

【００１５】

【発明が解決しようとする課題】ところで、上述した従
来のレベル変換方法では、不自然な画像が生成されるの
を回避するため、単調増加性を有するレベル変換関数を
用いている。このため、いずれかのレベル範囲のコント
ラスト（レベル変換関数の傾き）を増加させた場合、他
のレベル範囲では逆にコントラストが低下してしまうと
いった問題がある。

【００１６】また、Multiscale retinex法では、単調増
加性を犠牲にすることで、よりコントラストの高い画像
を再現することを可能としているが、照明条件が急激に
切り替わる場合、線形フィルタではその変化を抽出する
ことができず、主観的に好ましくないノイズが発生して
しまうという問題がある。

【００１７】例えば、図２１に示すように、照明条件の
異なる２つの領域が隣接している画像（図中、実線）に
対して線形ローパスフィルタを施すと、図中、細い破線
で示したように境界のぼけた信号がフィルタ出力として
得られる。これを照明成分と見なした場合、照明境界の
左側の領域（Ｂ領域）において、境界付近（ＢＮＢ領
域）は、境界より離れた部分（ＢＦＢ領域）よりも照明
レベルが低いことになる。上述の（５）式は入力信号を
照明成分で割り算することと等価であり、照明成分が大
きいほど大きく圧縮されることを意味するため、結果と
して再現画像（図中、太い破線）のＢＮＢ領域にはオー
バーシュートが発生する。逆に、照明境界の右側の領域
（Ｄ領域）において、境界付近（ＤＮＢ領域）は、境界
より離れた部分（ＤＦＢ）に比べて照明レベルが高いと
見なされてアンダーシュートが発生する。Multiscale r
etinex法ではこの問題を回避するためにスケールの異な
る複数の線形ローパスフィルタを用い、それぞれのロー
パスフィルタによって得られる結果を線形荷重によって
合成する方法を用いているが、各スケールに対する重み
は固定されており、上記の問題を十分に抑制できていな
い。

【００１８】カラー画像においてもこれらの問題は共通
するが、特に複合画像信号をMultiscale retinex法のよ
うに画素ごとに異なる係数を積算することによって圧縮
する場合、いわゆる“色偽”が問題となる。すなわち、
カラー画像において、例えばレベル変換関数を用いて算
出された各画素ごとの圧縮用の係数を、各画素ごとに輝
度信号と色信号とに積算するようなダイナミックレンジ
の圧縮処理を行った場合に、例えば、色信号において隣
接する画素に大きく異なる圧縮用の係数が積算される
と、色相が変化してしまうという問題が生じる。

【００１９】また、複合画像信号を構成する輝度信号と
色信号は、それらを分離する必要性から、それぞれ周波
数帯域が制限されている。このため、輝度信号と色信号
とに、空間的に変化する圧縮用の係数を積算した場合
（隣接する画素間での係数値が異なる場合）、その結果
得られる画像の周波数分布は、入力画像の周波数分布
と、係数の周波数分布の畳み込み演算を行ったものとな
り、入力信号よりも高い周波数成分が生成されることに
なる。これは、係数の周波数分布が十分に低域に制限さ
れていれば、大きな問題とはならないが、Multiscale r
etinex法における照明境界の問題を回避するためには、
境界部分における係数の解像度を高くする必要があり、
その結果、照明境界付近で色偽が発生する可能性が大き
くなる。

【００２０】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、色信号が周波数変調され、輝度信号
に重畳されている複合画像信号のダイナミックレンジを
圧縮する場合において、色偽の発生を抑制し、良好な再
現画像を得ることができる画像処理方法および装置を提
供することにある。

【００２１】

【課題を解決するための手段】本発明による画像処理方
法は、入力複合画像信号を、輝度信号および色信号に分
離するＹＣ分離過程と、分離された輝度信号に対して、
各画素ごとに異なる係数を積算して圧縮輝度信号を生成
する輝度信号圧縮過程と、分離された色信号に対して、
各画素ごとに異なる係数を積算して圧縮色信号を生成す
る色信号圧縮過程と、圧縮輝度信号および圧縮色信号に
対して、それぞれ、色偽を除去するための平滑化処理を
施し、平滑化輝度信号および平滑化色信号を生成する平
滑化過程とを含むものである。

【００２２】本発明による画像処理装置は、入力複合画
像信号を、輝度信号および色信号に分離するＹＣ分離手
段と、分離された輝度信号に対して、各画素ごとに異な
る係数を積算して圧縮輝度信号を生成する輝度信号圧縮
手段と、分離された色信号に対して、各画素ごとに異な
る係数を積算して圧縮色信号を生成する色信号圧縮手段
と、圧縮輝度信号および圧縮色信号に対して、それぞ
れ、色偽を除去するための平滑化処理を施し、平滑化輝
度信号および平滑化色信号を生成する平滑化手段とを備
えたものである。

【００２３】本発明による画像処理方法および装置で
は、入力複合画像信号が、輝度信号および色信号に分離
され、その分離された各信号に対して、それぞれ、各画
素ごとに異なる係数が積算されることにより、圧縮輝度
信号と圧縮色信号とが生成される。そして、圧縮輝度信
号および圧縮色信号に対して、それぞれ、色偽を除去す
るための平滑化処理が施される。

【００２４】平滑化処理では、例えば、輝度信号に積算
される圧縮用の係数もしくは色信号に積算される圧縮用
の係数、または、輝度信号もしくは圧縮輝度信号の空間
的変化に応じて、その平滑化の度合いを変化させる。ま
た、色信号または圧縮色信号の変調度の大きさなどに応
じて平滑化の度合いを変化させるようにしても良い。ダ
イナミックレンジの圧縮する処理を行う場合、例えば、
圧縮用の係数の空間的変化が大きいと色偽が発生してし
まうので、上記平滑化処理において、例えば圧縮用の係
数の空間的変化が大きいほど平滑化の度合いを大きくす
ることで、色偽の発生が抑制される。

【００２５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２６】［第１の実施の形態］まず、本実施の形態
に係る画像処理装置において処理される入力画像信号に
つて説明する。本画像処理装置において処理される入力
画像信号は、２次元ディジタル画像を図２に示すように
水平方向、垂直方向の順に走査して得られた時系列な画
素値の信号である。本実施の形態では、２次元画像上の
任意の位置（ｘ，ｙ）に対応する画素値をＩ（ｘ，ｙ）
と表し、これを入力画像信号として処理する。

【００２７】また、本画像処理装置において処理される
入力画像信号Ｉ（ｘ，ｙ）の種類は、色信号が周波数変
調され、輝度信号に重畳されている複合画像信号であ
る。このような複合画像信号は、例えば単板式のカラー
カメラにおいて得られる。単板式のカラーカメラは、Ｃ
ＣＤ（Charge Coupled Device）などの撮像素子の前面
に、各画素に対応して所定のパターンの色フィルタを配
置することにより、単一の撮像素子のみでカラー画像を
撮像するようになされたものである。図３は、その色フ
ィルタの一例であり、Ｙｅ（イエロー）、Ｃｙ（シア
ン）、Ｍｇ（マゼンタ）およびＧ（グリーン）の補色系
のフィルタが所定順序で配列されている。このようなカ
メラの撮像素子から出力される信号は、図４に示したよ
うな複合画像信号となる。すなわち、輝度情報を表す輝
度信号ｙに、色情報を表す周波数変調された色信号ｃが
重畳された形のものとなる。このような複合画像信号で
は、水平隣接画素の平均が輝度情報に、水平隣接画素の
差分値が色情報を表している。

【００２８】次に、本実施の形態に係る画像処理装置の
構成について説明する。本画像処理装置は、図１に示し
たように、ＹＣ分離器１０と、圧縮係数算出器１１と、
乗算器１２Ｃ，１２Ｙと、平滑化係数算出器１３と、平
滑化器１４Ｃ，１４Ｙと、ＹＣ合成器１５とを備えてい
る。

【００２９】ＹＣ分離器１０は、入力複合画像信号Ｉ
（ｘ，ｙ）を、例えば以下の（６）式によって輝度信号
Ｙ（ｘ，ｙ）と色信号Ｃ（ｘ，ｙ）とに分離する機能を
有している。分離することによって得られた輝度信号Ｙ
（ｘ，ｙ）は、圧縮係数算出器１１および第１の乗算器
１２Ｙに送られる。色信号Ｃ（ｘ，ｙ）は、第２の乗算
器１２Ｃに送られる。

【００３０】

【数６】

【００３１】圧縮係数算出器１１は、図５に示したよう
に、例えば、イプシロンフィルタ２０と変換器２１とを
有して構成されている。この圧縮係数算出器１１は、輝
度信号Ｙ（ｘ，ｙ）から、ダイナミックレンジを圧縮す
るための圧縮用の係数Ｇ（ｘ，ｙ）を各画素ごとに算出
する機能を有している。圧縮係数算出器１１によって算
出された係数Ｇ（ｘ，ｙ）は、第１の乗算器１２Ｙ、第
２の乗算器１２Ｃ、および平滑化係数算出器１３に送ら
れる。

【００３２】第１の乗算器１２Ｙは、輝度信号Ｙ（ｘ，
ｙ）に対して、圧縮係数算出器１１によって算出された
圧縮用の係数Ｇ（ｘ，ｙ）を各画素ごとに積算し、輝度
信号の圧縮を行う機能を有している。圧縮することによ
って得られた圧縮輝度信号ＹＣ（ｘ，ｙ）は、第１の平
滑化器１４Ｙに送られる。

【００３３】第２の乗算器１２Ｃは、色信号Ｃ（ｘ，
ｙ）に対して、圧縮係数算出器１１によって算出された
圧縮用の係数Ｇ（ｘ，ｙ）を各画素ごとに積算し、色信
号の圧縮を行う機能を有している。圧縮することによっ
て得られた圧縮色信号ＣＣ（ｘ，ｙ）は、第２の平滑化
器１４Ｃに送られる。

【００３４】平滑化係数算出器１３は、図９に示したよ
うに、例えば、エッジ強度算出器３０と正規化器３１と
を有して構成されている。この平滑化係数算出器１３
は、圧縮係数算出器１１によって算出された圧縮用の係
数Ｇ（ｘ，ｙ）から、後述の平滑化器１４Ｃ，１４Ｙで
行われる平滑化処理の度合いを制御するための平滑化係
数Ｓ（ｘ，ｙ）を算出する機能を有している。

【００３５】平滑化係数算出器１３によって算出される
平滑化係数Ｓ（ｘ，ｙ）の値は、例えば０．０以上１．
０以下であり、圧縮用の係数Ｇ（ｘ，ｙ）の空間的な変
化に応じてその値が変化するように設定されている。よ
り具体的には、平滑化係数Ｓ（ｘ，ｙ）は、係数Ｇ
（ｘ，ｙ）の空間的な変化が大きいほど大きな値となる
ように設定されている。この平滑化係数Ｓ（ｘ，ｙ）
は、第１の平滑化器１４Ｙおよび第２の平滑化器１４Ｃ
に送られる。

【００３６】第１の平滑化器１４Ｙは、図１０に示した
ように、例えば、ローパスフィルタ（ＬＰＦ）４０、差
分器４１、第１の乗算器４２Ａ，第２の乗算器４２Ｂお
よび加算器４３を有して構成されている。この第１の平
滑化器１４Ｙは、主として色偽を除去する目的で、圧縮
輝度信号ＹＣ（ｘ，ｙ）に対して平滑化処理を施す機能
を有している。より詳しくは、第１の平滑化器１４Ｙ
は、平滑化係数算出器１３によって算出された平滑化係
数Ｓ（ｘ，ｙ）に基づいて、圧縮輝度信号ＹＣ（ｘ，
ｙ）に対して、画素ごとに平滑化の度合いが異なる平滑
化処理を行い、平滑化輝度信号ＹＣ'（ｘ，ｙ）を生成
するようになっている。生成された平滑化輝度信号Ｙ
Ｃ'（ｘ，ｙ）は、ＹＣ合成器１５に送られる。

【００３７】第２の平滑化器１４Ｃは、扱う信号が異な
るのみで、実質的に第１の平滑化器１４Ｙと同様に構成
されている。この第２の平滑化器１４Ｃは、主として色
偽を除去する目的で、圧縮色信号ＣＣ（ｘ，ｙ）に対し
て平滑化処理を施す機能を有している。より詳しくは、
第２の平滑化器１４Ｃは、平滑化係数算出器１３によっ
て算出された平滑化係数Ｓ（ｘ，ｙ）に基づいて、圧縮
色信号ＣＣ（ｘ，ｙ）に対して、画素ごとに平滑化の度
合いが異なる平滑化処理を行い、平滑化色信号ＣＣ'
（ｘ，ｙ）を生成するようになっている。生成された平
滑化色信号ＣＣ'（ｘ，ｙ）は、ＹＣ合成器１５に送ら
れる。

【００３８】ＹＣ合成器１５は、平滑化輝度信号ＹＣ'
（ｘ，ｙ）と平滑化色信号ＣＣ'（ｘ，ｙ）とを例えば
以下の（７）式のように合成し、圧縮された複合画像信
号Ｏ（ｘ，ｙ）を生成する機能を有している。

【００３９】

【数７】

【００４０】なお、本実施の形態において、圧縮係数算
出器１１および第１の乗算器１２Ｙが、本発明における
「輝度信号圧縮手段」の一具体例に対応し、圧縮係数算
出器１１および第２の乗算器１２Ｃが、本発明における
「色信号圧縮手段」の一具体例に対応する。また、平滑
化係数算出器１３、第１の平滑化器１４Ｙおよび第２の
平滑化器１４Ｃが、本発明における「平滑化手段」の一
具体例に対応する。

【００４１】次に、以上のように構成された画像処理装
置の作用、動作を説明する。なお、以下の説明は、本実
施の形態に係る画像処理方法の説明を兼ねている。

【００４２】ＹＣ分離器１０には、例えば単板式のカラ
ーカメラにおいて得られた複合画像信号が入力される。
ＹＣ分離器１０は、入力複合画像信号Ｉ（ｘ，ｙ）を、
例えば上述の（６）式のように輝度信号Ｙ（ｘ，ｙ）と
色信号Ｃ（ｘ，ｙ）とに分離する。ＹＣ分離器１０は、
分離することによって得られた輝度信号Ｙ（ｘ，ｙ）
を、圧縮係数算出器１１および第１の乗算器１２Ｙに出
力する。色信号Ｃ（ｘ，ｙ）については、第２の乗算器
１２Ｃに出力する。

【００４３】圧縮係数算出器１１は、ＹＣ分離器１０か
ら出力された輝度信号Ｙ（ｘ，ｙ）から、ダイナミック
レンジを圧縮するための係数Ｇ（ｘ，ｙ）を各画素ごと
に算出し、それを、第１の乗算器１２Ｙ、第２の乗算器
１２Ｃ、および平滑化係数算出器１３に出力する。

【００４４】圧縮係数算出器１１における圧縮用の係数
Ｇ（ｘ，ｙ）の算出は、より詳しくは、例えば図５に示
した構成により、以下のように行われる。圧縮係数算出
器１１において、輝度信号Ｙ（ｘ，ｙ）は、図５に示し
たように、イプシロンフィルタ２０に入力される。イプ
シロンフィルタ２０は、以下の（８）式（（８Ａ），
（８Ｂ））に示すような演算を施すことにより、入力さ
れた輝度信号Ｙ（ｘ，ｙ）のエッジを保存しながら平滑
化処理を行う。

【００４５】

【数８】

【００４６】ここで、（８）式において、Ｅはしきい値
であり、イプシロンフィルタ２０による平滑化処理で
は、この値Ｅを超えるような大きなエッジ成分が保存さ
れる。また、ＮＢはフィルタの近傍領域（処理の対象と
なる注目画素の近傍領域）を表す相対座標の集合であ
る。ｈ（ｄｘ，ｄｙ）は、線形ローパスフィルタを構成
するためのフィルタ係数であり、例えば図６に示すよう
なものを用いることができる。イプシロンフィルタ２０
は、平滑化することによって得られた画像信号Ｒ（ｘ，
ｙ）を、変換器２１に出力する。

【００４７】変換器２１では、イプシロンフィルタ２０
によって平滑化された画像信号 Ｒ（ｘ，ｙ）から、例
えば図７の実線に示すような係数算出関数Ｆ（ｌ）を用
い、輝度信号Ｙ（ｘ，ｙ）および色信号Ｃ（ｘ，ｙ）を
圧縮するための係数Ｇ（ｘ，ｙ）を算出する。すなわ
ち、以下の（９）式に示すように係数Ｇ（ｘ，ｙ）を算
出する。なお、図７において、Ｃminは、係数算出関数
Ｆ（ｌ）の最小値を示す。

【００４８】

【数９】

【００４９】ところで、通常の画像における画素の値
は、それを撮像した画像入力装置への入射光の強度を反
映しているが、その入射光強度は物体の表面反射率に照
明光の強度が積算されたものと考えられる。一般に、単
一照明の空間的な強度変化は物体の反射率の変化に比べ
て緩やかであり、また入射光の大きな強度変化は照明条
件の変化によって生じることが多い。従って、イプシロ
ンフィルタ２０において、大きなエッジを保存しながら
平滑化された信号Ｒ（ｘ，ｙ）は、近似的に画像に含ま
れる照明成分を表しているものと考えられる。

【００５０】また、上述の（９）式における係数算出関
数Ｆ（ｌ）は、例えば図８に示すようなレベル変換関数
Ｔ（ｌ）から、以下の（１０）式によって得ることがで
きる。図８において、Ｌmax，Ｍmaxは、それぞれ入力レ
ベル、出力レベルの最大値を示す。

【００５１】

【数１０】

【００５２】レベル変換関数Ｔ（ｌ）は、従来、画像の
階調特性の変換に用いられてきたが、［従来の技術］の
項でも述べたとおり、出力レベルのダイナミックレンジ
を入力レベルのそれよりも小さく設定する（Ｍmax＜Ｌm
ax）ことで、ダイナミックレンジの圧縮処理にも適用で
きる。この場合、図７における係数の最小値Ｃminは、
Ｍmax／Ｌmaxで与えられることになる。（１０）式は、
このレベル変換関数Ｔ（ｌ）によるダイナミックレンジ
の圧縮前後の画素値の比として、係数算出関数Ｆ（ｌ）
が与えられることを表している。すなわち、（９）式で
算出される係数Ｇ（ｘ，ｙ）は、照明成分を表す信号Ｒ
（ｘ，ｙ）をレベル変換関数Ｔ（ｌ）で圧縮した場合の
圧縮率を表している。また、係数Ｇ（ｘ，ｙ）を輝度信
号Ｙ（ｘ，ｙ）および色信号Ｃ（ｘ，ｙ）に積算するこ
とは、画像に含まれる照明成分を表す信号Ｒ（ｘ，ｙ）
を圧縮することで、全体のダイナミックレンジを圧縮す
ることに相当する。

【００５３】以上のようにして算出された圧縮用の係数
Ｇ（ｘ，ｙ）は、第１の乗算器１２Ｙ、第２の乗算器１
２Ｃ、および平滑化係数算出器１３（図１）に送られ、
そこで以下のような所定の処理に用いられる。

【００５４】すなわち、第１の乗算器１２Ｙでは、輝度
信号Ｙ（ｘ，ｙ）に対して、圧縮係数算出器１１によっ
て算出された圧縮用の係数Ｇ（ｘ，ｙ）を各画素ごとに
積算し、すなわち各画素ごとに異なる係数を積算するこ
とにより、輝度信号の圧縮を行う。そして、その結果で
ある圧縮輝度信号ＹＣ（ｘ，ｙ）を、第１の平滑化器１
４Ｙに出力する。

【００５５】第２の乗算器１２Ｃでは、色信号Ｃ（ｘ，
ｙ）に対して、圧縮係数算出器１１によって算出された
圧縮用の係数Ｇ（ｘ，ｙ）を各画素ごとに積算し、すな
わち各画素ごとに異なる係数を積算することにより、色
信号の圧縮を行う。そして、その結果である圧縮色信号
ＣＣ（ｘ，ｙ）を、第２の平滑化器１４Ｃに出力する。

【００５６】平滑化係数算出器１３では、圧縮係数算出
器１１によって算出された圧縮用の係数Ｇ（ｘ，ｙ）か
ら、後述の平滑化器１４Ｃ，１４Ｙで行われる平滑化処
理の度合いを制御するための平滑化係数Ｓ（ｘ，ｙ）を
算出し、それを第１の平滑化器１４Ｙおよび第２の平滑
化器１４Ｃに出力する。

【００５７】平滑化係数算出器１３における平滑化係数
Ｓ（ｘ，ｙ）の算出は、より詳しくは、例えば図９に示
した構成により、以下のように行われる。平滑化係数算
出器１３において、圧縮係数算出器１１から出力された
係数Ｇ（ｘ，ｙ）は、図９に示したように、エッジ強度
算出器３０に入力される。エッジ強度算出器３０は、例
えば以下の（１１）式のように、係数Ｇ（ｘ，ｙ）の空
間的な１次微分の絶対値を、エッジ強度信号ＧＥ（ｘ，
ｙ）として算出する。

【００５８】

【数１１】

【００５９】あるいは、エッジ強度算出器３０におい
て、以下の（１２）式のように、１次微分の絶対値と２
次微分の絶対値との荷重和を、エッジ強度信号ＧＥ
（ｘ，ｙ）として算出することもできる。

【００６０】

【数１２】

【００６１】ここで、（１２）式において、ａ，ｂは、
それぞれ１次微分と２次微分の重み係数である。エッジ
強度算出器３０は、このようにして算出されたエッジ強
度信号ＧＥ（ｘ，ｙ）を、正規化器３１に出力する。

【００６２】正規化器３１では、エッジ強度信号ＧＥ
（ｘ，ｙ）を、例えば以下の（１３）式のように正規化
し、平滑化係数Ｓ（ｘ，ｙ）を算出する。（１３）式に
おいて、ＧＥmin，ＧＥmaxは正規化のためにあらかじめ
設定された定数である。

【００６３】

【数１３】

【００６４】このように正規化器３１で算出された平滑
化係数Ｓ（ｘ，ｙ）は、エッジ強度信号ＧＥ（ｘ，ｙ）
が大きいほど大きな値となり、かつ、０．０以上１．０
以下の係数となる。すなわち、平滑化係数Ｓ（ｘ，ｙ）
の値は、圧縮用の係数Ｇ（ｘ，ｙ）の空間的な変化に応
じてその値が変化し、圧縮用の係数Ｇ（ｘ，ｙ）の空間
的な変化が大きいほど大きな値となる。

【００６５】以上のようにして算出された平滑化係数Ｓ
（ｘ，ｙ）は、第１の平滑化器１４Ｙおよび第２の平滑
化器１４Ｃ（図１）に送られ、そこで以下のように、色
偽を除去するための平滑化処理に用いられる。

【００６６】すなわち、第１の平滑化器１４Ｙでは、平
滑化係数Ｓ（ｘ，ｙ）に基づいて、圧縮輝度信号ＹＣ
（ｘ，ｙ）に対して、画素ごとに平滑化の度合いが異な
る平滑化処理を行い、平滑化輝度信号ＹＣ'（ｘ，ｙ）
を生成する。また、第２の平滑化器１４Ｃでは、平滑化
係数Ｓ（ｘ，ｙ）に基づいて、圧縮色信号ＣＣ（ｘ，
ｙ）に対して、画素ごとに平滑化の度合いが異なる平滑
化処理を行い、平滑化色信号ＣＣ'（ｘ，ｙ）を生成す
る。

【００６７】第１の平滑化器１４Ｙにおける平滑化処理
は、より詳しくは、例えば図１０に示した構成により、
以下のように行われる。なお、第２の平滑化器１４Ｃに
おける平滑化処理についても、平滑化の対象となる信号
が異なるのみで、その処理の内容は実質的に、以下で説
明する第１の平滑化器１４Ｙでの処理と同様である。

【００６８】第１の平滑化器１４Ｙにおいて、圧縮輝度
信号ＹＣ（ｘ，ｙ）は、図１０に示したように、ローパ
スフィルタ４０と第２の乗算器４２Ｂとに入力される。
また、平滑化係数Ｓ（ｘ，ｙ）は、差分器４１と第１の
乗算器４２Ａとに入力される。

【００６９】ローパスフィルタ４０は、圧縮輝度信号Ｙ
Ｃ（ｘ，ｙ）の平滑化処理を行う。ここで用いるローパ
スフィルタ４０としては、例えば図１１に示すような水
平１次元のローパスフィルタを用いることができる。ロ
ーパスフィルタ４０によって平滑化された信号は、第１
の乗算器４２Ａに送られ、そこで平滑化係数Ｓ（ｘ，
ｙ）が積算された後、さらに加算器４３に送られる。

【００７０】差分器４１は、あらかじめ設定された値
（例えば１．０）から、平滑化係数Ｓ（ｘ，ｙ）を引き
算し、その結果を第２の乗算器４２Ｂに出力する。第２
の乗算器４２Ｂでは、差分器４１から出力された値と圧
縮輝度信号ＹＣ（ｘ，ｙ）とを積算した後、その結果を
加算器４３に出力する。

【００７１】加算器４３では、第１の乗算器４２Ａから
の出力と第２の乗算器４２Ｂからの出力とを加算し、平
滑化輝度信号ＹＣ'（ｘ，ｙ）を生成する。この平滑化
輝度信号ＹＣ'（ｘ，ｙ）がＹＣ合成器１５に出力され
る。

【００７２】すなわち、第１の平滑化器１４Ｙでは、以
下の（１４）式に示すように、圧縮輝度信号ＹＣ（ｘ，
ｙ）と、それを平滑化した信号ＬＰＦ（ＹＣ（ｘ，
ｙ））との荷重和が計算されることになる。

【００７３】

【数１４】

【００７４】（１４）式では、平滑化係数Ｓ（ｘ，ｙ）
が大きいほど、すなわち圧縮用の係数Ｇ（ｘ，ｙ）の空
間的な変化が大きいほど、平滑化信号の重みが大きくな
り、より平滑化された信号が出力されることになる。こ
れにより、圧縮用の係数Ｇ（ｘ，ｙ）の空間的変化が大
きい画素があったとしても、それに起因して生ずる色偽
の発生が抑制される。

【００７５】以上のようにして平滑化を行うことによっ
て生成された平滑化輝度信号ＹＣ'（ｘ，ｙ）および平
滑化色信号ＣＣ'（ｘ，ｙ）が、ＹＣ合成器１５におい
て、例えば上述の（７）式のように合成され、これによ
り、圧縮された複合画像信号Ｏ（ｘ，ｙ）が生成され
る。

【００７６】ＹＣ合成器１５から出力された複合画像信
号Ｏ（ｘ，ｙ）は、入力複合画像信号Ｉ（ｘ，ｙ）より
もダイナミックレンジの小さい、すなわち画素レベルを
表現するビット数が少ない環境（ビット数の少ない伝送
路で伝送する場合や、表示装置に表示する場合、あるい
は記憶装置に保存する場合など）に利用される。

【００７７】以上説明したように、本実施の形態によれ
ば、圧縮輝度信号ＹＣ（ｘ，ｙ）および圧縮色信号ＣＣ
（ｘ，ｙ）に対して、色偽を除去するための平滑化処理
を施すようにしたので、色偽の発生を抑制し、良好な再
現画像を得ることができる。このとき、圧縮用の係数Ｇ
（ｘ，ｙ）の空間的な変化が大きいほど大きな値となる
ように設定された平滑化係数Ｓ（ｘ，ｙ）に基づいて、
平滑化処理を行うようにしたので、色偽の発生しやすい
部分、すなわち圧縮用の係数Ｇ（ｘ，ｙ）の空間的な変
化が大きい部分に対してのみ選択的に平滑化処理が施さ
れ、全体的な解像感を落とすことなく、特に垂直エッジ
周辺に発生する色偽を効果的に抑制することが可能とな
る。

【００７８】なお、本実施の形態では、従来法に対して
図２１で示した問題点を回避するために、圧縮係数算出
器１１において（８）式に示したようなイプシロンフィ
ルタ２０（図５）を用いたが、エッジを保存できる平滑
化処理を実現できるものであれば、メディアンフィルタ
など、他の非線形フィルタを用いることも可能である。
また、線形フィルタを用いることも可能である。さら
に、照明成分を抽出することのできるほかの方法を用い
ることもできる。

【００７９】また、本実施の形態では、平滑化の度合い
を制御するためのエッジ強度の算出法として、（１１）
式、および（１２）式の例を挙げたが、空間的な変化の
大きさを表現できるものであれば他の算出法を用いるこ
ともできる。

【００８０】さらに、本実施の形態では、圧縮輝度信号
ＹＣ（ｘ，ｙ）と圧縮色信号ＣＣ（ｘ，ｙ）とに対し
て、同じ平滑化係数Ｓ（ｘ，ｙ）を適用しているが、平
滑化係数算出器１３において異なる２種類の平滑化係数
ＳＹ（ｘ，ｙ），ＳＣ（ｘ，ｙ）を算出し、それぞれを
各信号ＹＣ（ｘ，ｙ），ＣＣ（ｘ，ｙ）に適用するよう
にしても良い。

【００８１】また、本実施の形態では、輝度信号Ｙ
（ｘ，ｙ）と色信号Ｃ（ｘ，ｙ）とに共通の圧縮用の係
数Ｇ（ｘ，ｙ）を積算して、圧縮輝度信号ＹＣ（ｘ，
ｙ）と圧縮色信号ＣＣ（ｘ，ｙ）とを生成しているが、
輝度信号Ｙ（ｘ，ｙ）と色信号Ｃ（ｘ，ｙ）とに別々の
圧縮用の係数を積算するようにしても良い。この場合、
色偽を除去するための平滑化処理は、輝度信号用の係数
または色信号用の係数の空間的変化に応じて、その空間
的変化が大きいほど、平滑化の度合いを大きくするよう
行う。

【００８２】また、本実施の形態では、ダイナミックレ
ンジの圧縮処理と色偽抑制処理とが施された平滑化輝度
信号ＹＣ'（ｘ，ｙ）と平滑化色信号ＣＣ'（ｘ，ｙ）と
を合成し、複合画像信号Ｏ（ｘ，ｙ）を生成している
が、これは、信号Ｏ（ｘ，ｙ）を例えば通常のカメラか
らの出力信号と見なし、既存のカメラ信号処理用装置に
直接入力することを可能とするためである。しかしなが
ら、後段の系において、輝度信号と色信号とを分離した
まま処理することが可能な場合には、ＹＣ合成器１５は
不要となる。またこの場合、ダイナミックレンジ圧縮処
理によって生じた輝度信号の高周波数成分が、ＹＣ合成
後、再度分離する際に色信号に引き込まれ色偽の原因と
なる、というようなことはなくなるので、輝度信号Ｙ
（ｘ，ｙ）に対する水平方向の平滑化処理は省略するこ
ともできる。

【００８３】また、（６）式に示したＹＣ分離の手法
も、１つの例に過ぎず、他のＹＣ分離法を用いたとして
も、本実施の形態で述べたのものと同等の効果が得られ
ることは言うまでもない。

【００８４】［第２の実施の形態］次に、本発明の第２
の実施の形態について説明する。なお、以下の説明で
は、上記第１の実施の形態における構成要素と実質的に
同一の機能を有する部分には同一の符号を付し、適宜説
明を省略する。

【００８５】図１２は，本発明の第２の実施の形態に係
る画像処理装置の構成を示している。本実施の形態に係
る画像処理装置の構成は、上記第１の実施の形態（図
１）とほぼ同じであるが、平滑化係数算出器１３におい
て、平滑化係数Ｓ（ｘ，ｙ）を、圧縮輝度信号ＹＣ
（ｘ，ｙ）から算出している点が異なる。

【００８６】すなわち、上記第１の実施の形態では、平
滑化係数算出器１３に、圧縮係数算出器１１から出力さ
れた係数Ｇ（ｘ，ｙ）が入力されていたが、本実施の形
態では、平滑化係数算出器１３に、第１の乗算器１２Ｙ
から出力された圧縮輝度信号ＹＣ（ｘ，ｙ）が入力さ
れ、その値を基に平滑化係数Ｓ（ｘ，ｙ）が算出され
る。入力される信号が圧縮用の係数Ｇ（ｘ，ｙ）の代わ
りに圧縮輝度信号ＹＣ（ｘ，ｙ）となるだけであるか
ら、平滑化係数算出器１３の構成は、図９に示した構成
と同じものを用いることができる。すなわち、正規化器
３１では、入力信号の変更に対応して適当に設定された
定数ＧＥmin，ＧＥmaxを用いて、（１３）式と同様の正
規化処理を行う。

【００８７】本実施の形態では、平滑化係数Ｓ（ｘ，
ｙ）の値は、圧縮輝度信号ＹＣ（ｘ，ｙ）の空間的な変
化に応じてその値が変化するように設定される。より具
体的には、平滑化係数Ｓ（ｘ，ｙ）は、圧縮輝度信号Ｙ
Ｃ（ｘ，ｙ）の空間的な変化が大きいほど大きな値とな
るように設定される。従って、本実施の形態では、各平
滑化器１４Ｙ，１４Ｃにおいて、各圧縮信号ＹＣ（ｘ，
ｙ），ＣＣ（ｘ，ｙ）に対して、圧縮輝度信号ＹＣ
（ｘ，ｙ）の空間的な変化に応じて、圧縮輝度信号ＹＣ
（ｘ，ｙ）の空間的な変化が大きいほど、より平滑化の
度合いが大きくなるような平滑化処理がなされる。

【００８８】ところで、本画像処理装置では、ダイナミ
ックレンジの圧縮を目的とし、照明条件の境界部分を保
存する必要があるため、特に大きな輝度変化の部分にお
いてのみ圧縮用の係数Ｇ（ｘ，ｙ）が大きく変化するこ
とを許容している。従って、色偽が発生しやすいのは非
常に大きな輝度エッジ近傍と考えられる。

【００８９】本実施の形態によれば、平滑化係数算出器
１３において、圧縮輝度信号ＹＣ（ｘ，ｙ）に基づい
て、圧縮輝度信号ＹＣ（ｘ，ｙ）の空間的な変化が大き
いほど大きな値となるように設定された平滑化係数Ｓ
（ｘ，ｙ）を算出し、それを用いて各平滑化器１４Ｃ，
１４Ｙにおいて平滑化処理を行うようにしたので、上述
したように大きな輝度変化がある部分に対してのみ選択
的に平滑化処理が施され、全体的な解像感を落とすこと
なく、特に垂直エッジ周辺に発生する色偽を効果的に抑
制することが可能となる。

【００９０】なお、本実施の形態において、圧縮輝度信
号ＹＣ（ｘ，ｙ）に代えて圧縮前の輝度信号Ｙ（ｘ，
ｙ）を平滑化係数算出器１３に入力し、それに基づい
て、平滑化係数Ｓ（ｘ，ｙ）を算出するようにしても良
い。

【００９１】［第３の実施の形態］次に、本発明の第３
の実施の形態について説明する。なお、以下の説明で
は、上記第１の実施の形態または上記第２の実施の形態
における構成要素と実質的に同一の機能を有する部分に
は同一の符号を付し、適宜説明を省略する。

【００９２】図１３は，本発明の第３の実施の形態に係
る画像処理装置の構成を示している。本実施の形態に係
る画像処理装置の構成は、上記第２の実施の形態（図１
２）とほぼ同じであるが、平滑化係数Ｓ（ｘ，ｙ）を、
圧縮色信号ＣＣ（ｘ，ｙ）から算出している点が異な
る。

【００９３】すなわち、本実施の形態における平滑化係
数算出器１３Ａには、第２の乗算器１２Ｃから出力され
た圧縮色信号ＣＣ（ｘ，ｙ）が入力され、その値を基に
平滑化係数Ｓ（ｘ，ｙ）が算出される。

【００９４】図１４は、本実施の形態における平滑化係
数算出器１３Ａの構成を示している。この平滑化係数算
出器１３Ａでは、上記第１および第２の実施の形態にお
ける平滑化係数算出器１３（図９）の構成に対して、エ
ッジ強度算出器３０の代わりに変調度算出器３２が設け
られている。変調度算出器３２には、圧縮色信号ＣＣ
（ｘ，ｙ）が入力される。変調度算出器３２は、圧縮色
信号ＣＣ（ｘ，ｙ）から、例えば以下の（１５）式によ
って変調度ＣＥ（ｘ，ｙ）を算出する。算出された変調
度ＣＥ（ｘ，ｙ）は、正規化器３１に送られる。

【００９５】

【数１５】

【００９６】正規化器３１は、図９に示した上記第１の
実施の形態と同じものを用いることができる。すなわ
ち、正規化器３１では、変調度ＣＥ（ｘ，ｙ）の正規化
のために適当に設定された定数ＧＥmin，ＧＥmaxを用い
て、（１３）式と同様の正規化処理を行い、平滑化係数
Ｓ（ｘ，ｙ）を算出する。

【００９７】このように算出された平滑化係数Ｓ（ｘ，
ｙ）の値は、圧縮色信号ＣＣ（ｘ，ｙ）の変調度ＣＥ
（ｘ，ｙ）の大きさに応じてその値が変化することにな
る。より具体的には、平滑化係数Ｓ（ｘ，ｙ）は、圧縮
色信号ＣＣ（ｘ，ｙ）の変調度ＣＥ（ｘ，ｙ）が大きい
ほど大きな値となるように設定される。従って、本実施
の形態では、各平滑化器１４Ｙ，１４Ｃにおいて、各圧
縮信号ＹＣ（ｘ，ｙ），ＣＣ（ｘ，ｙ）に対して、圧縮
色信号ＣＣ（ｘ，ｙ）の変調度ＣＥ（ｘ，ｙ）の大きさ
に応じて、その変調度ＣＥ（ｘ，ｙ）が大きいほど、よ
り平滑化の度合いが大きくなるような平滑化処理がなさ
れる。

【００９８】ここで、色の変調度ＣＥ（ｘ，ｙ）によっ
て平滑化係数Ｓ（ｘ，ｙ）を制御し、平滑化処理を行う
ことによる効果について説明する。本実施の形態では
（６）式に示すように、隣接画素の差として色信号Ｃ
（ｘ，ｙ）を抽出する例を示したが、これによって得ら
れる色信号Ｃ（ｘ，ｙ）には、本来の色の情報のみでは
なく、輝度の変化成分も含まれている。従って、色偽が
問題となる大きな輝度エッジ近傍では、色信号Ｃ（ｘ，
ｙ）も大きな値となる。

【００９９】さらに、図３および図４からもわかるよう
に、色信号Ｃ（ｘ，ｙ）において、輝度信号の変化が小
さく、本来の色信号のみが表現されている部分では、水
平方向に見た場合、画素ごとに極性が反転する。いま、
図３に示す色フィルタを用いた撮像素子の出力をＩ
（ｘ，ｙ）とすると、各画素では、例えば以下の（１
６）式のような色フィルタの組み合わせが出力されるこ
とになる。

【０１００】

【数１６】

【０１０１】従って、この信号に（６）式のＹＣ分離を
行うことにより分離される色信号Ｃ（ｘ，ｙ）は、以下
の（１７）式のように与えられることになる。

【０１０２】

【数１７】

【０１０３】ここで、（１７）式右辺の第１行目と第２
行目、あるいは第３行目と第４行目は、それぞれ水平ｘ
方向の偶数ライン、奇数ラインにあたるが、これらは同
一ライン上では、画素ごとにＣ（ｘ，ｙ）の極性が反転
することを示している。

【０１０４】従って、輝度信号が平坦な部分では水平方
向隣接画素の平均値はゼロに近い値となる。しかし、基
本的には単調増加、あるいは単調減少をする輝度エッジ
に起因している部分では、このような極性の反転は発生
せず、隣接画素を平均しても大きな値が保存されること
になる。

【０１０５】色が大きく変化する色エッジにおいても極
性の反転が生じない可能性はあるが、色エッジと輝度エ
ッジは同時に発生する可能性が高く、またここで問題と
なるような非常に大きな輝度エッジに起因するＣ（ｘ，
ｙ）あるいはその隣接画素の平均値は、色エッジによる
ものよりもはるかに大きいと考えられる。

【０１０６】以上のような色信号の性質に基づき、本実
施の形態では（１５）式によって算出される色の変調度
ＣＥ（ｘ，ｙ）によって、平滑化係数Ｓ（ｘ，ｙ）を制
御している。ここで、 （１５）式において圧縮色信号
ＣＣ（ｘ，ｙ）を用いているのは、ダイナミックレンジ
の広い色信号Ｃ（ｘ，ｙ）を用いるよりも少ない演算量
で同等の効果が期待できることによる。

【０１０７】ただし、本実施の形態において、圧縮色信
号ＣＣ（ｘ，ｙ）に代えて圧縮前の色信号Ｃ（ｘ，ｙ）
を平滑化係数算出器１３Ａに入力し、それに基づいて、
平滑化係数Ｓ（ｘ，ｙ）を算出するようにしても良い。

【０１０８】以上説明したように、本実施の形態によれ
ば、平滑化係数算出器１３Ａにおいて、圧縮色信号ＣＣ
（ｘ，ｙ）の変調度に基づいて、平滑化係数Ｓ（ｘ，
ｙ）を算出し、それを用いて各平滑化器１４Ｃ，１４Ｙ
において平滑化処理を行うようにしたので、簡単な構成
のＹＣ分離器を用いた場合にも、色偽の発生しやすい部
分を正確に検出することが可能となり、このような部分
に対してのみ選択的に平滑化処理が施されるため、全体
的な解像感を落とすことなく、特に垂直エッジ周辺に発
生する色偽を効果的に抑制することが可能となる。

【０１０９】［第４の実施の形態］次に、本発明の第４
の実施の形態について説明する。なお、以下の説明で
は、上記第１〜第３の実施の形態における構成要素と実
質的に同一の機能を有する部分には同一の符号を付し、
適宜説明を省略する。

【０１１０】図１５は，本発明の第４の実施の形態に係
る画像処理装置の構成を示している。本実施の形態に係
る画像処理装置の構成は、上記第３の実施の形態（図１
３）とほぼ同じであるが、水平方向のエッジによる色偽
も抑制するために、垂直平滑化係数算出器１６、減衰器
１７および垂直平滑化器１８が設置されている点が異な
る。

【０１１１】本実施の形態において、平滑化係数算出器
１３Ａ、第１の平滑化器１４Ｙおよび第２の平滑化器１
４Ｃに加えて、垂直平滑化係数算出器１６、減衰器１７
および垂直平滑化器１８が、本発明における「平滑化手
段」の一具体例に対応する。

【０１１２】本実施の形態における平滑化係数算出器１
３Ａの構成は、上記第３の実施の形態（図１４）と同様
である。すなわち、本実施の形態において、平滑化係数
算出器１３Ａは、垂直方向のエッジによる色偽を抑制す
るために、（１５）式によって算出される色信号Ｃ
（ｘ，ｙ）の変調度ＣＥ（ｘ，ｙ）を用いて平滑化係数
Ｓ（ｘ，ｙ）を制御する。

【０１１３】垂直平滑化係数算出器１６には、第１の乗
算器１２Ｙからの圧縮輝度信号ＹＣ（ｘ，ｙ）が入力さ
れる。垂直平滑化係数算出器１６は、図１７に示したよ
うに、例えば、垂直エッジ強度算出器５０と正規化器５
１とを有して構成されている。この垂直平滑化係数算出
器１６では、圧縮輝度信号ＹＣ（ｘ，ｙ）に基づいて、
垂直平滑化係数Ｐ（ｘ，ｙ）を算出し、それを減衰器１
７および垂直平滑化器１８に出力する。垂直平滑化係数
Ｐ（ｘ，ｙ）は、第１の平滑化器１４Ｙによって水平方
向に平滑化された平滑化輝度信号ＹＣ'（ｘ，ｙ）を、
さらに垂直方向に平滑化すると共に、第２の平滑化器１
４Ｃによって水平方向に平滑化された平滑化色信号Ｃ
Ｃ'（ｘ，ｙ）を、さらに減衰させるためのものであ
る。

【０１１４】減衰器１７には、第２の平滑化器１４Ｃか
ら出力された平滑化色信号ＣＣ'（ｘ，ｙ）と、垂直平
滑化係数算出器１６から出力された垂直平滑化係数Ｐ
（ｘ，ｙ）とが入力される。減衰器１７は、平滑化色信
号ＣＣ'（ｘ，ｙ）に垂直平滑化係数Ｐ（ｘ，ｙ）を積
算することにより、平滑化色信号ＣＣ'（ｘ，ｙ）を減
衰させ、その結果の色信号ＣＣ''（ｘ，ｙ）をＹＣ合成
器１５に出力する。

【０１１５】垂直平滑化器１８には、以上のようにして
第１の平滑化器１４Ｙから出力された平滑化輝度信号Ｙ
Ｃ'（ｘ，ｙ）と、垂直平滑化係数算出器１６から出力
された垂直平滑化係数Ｐ（ｘ，ｙ）とが入力される。垂
直平滑化器１８では、平滑化輝度信号ＹＣ'（ｘ，ｙ）
に対して、例えば以下の（１８）式により垂直平滑化係
数Ｐ（ｘ，ｙ）に応じた適応的な平滑化処理を行い、そ
の結果である平滑化輝度信号ＹＣ''（ｘ，ｙ）をＹＣ合
成器１５に出力する。

【０１１６】

【数１８】

【０１１７】（１８）式は、水平方向の平滑化を行うた
めの（１４）式と類似しているが、ここで用いる輝度信
号ＹＣ'（ｘ，ｙ）に対するローパスフィルタＬＰＦと
しては、例えば図１６に示すような垂直方向の平滑化処
理を行うものを用いる。

【０１１８】ＹＣ合成器１５には、減衰器１７から出力
された色信号ＣＣ''（ｘ，ｙ）と、垂直平滑化器１８か
ら出力された平滑化輝度信号ＹＣ''（ｘ，ｙ）とが入力
される。ＹＣ合成器１５では、色信号ＣＣ''（ｘ，ｙ）
と平滑化輝度信号ＹＣ''（ｘ，ｙ）とを、上記第１の実
施の形態と同様に、例えば上述の（７）式のように合成
し、圧縮された複合画像信号Ｏ（ｘ，ｙ）を生成する。

【０１１９】ところで、垂直平滑化係数算出器１６にお
ける垂直平滑化係数Ｐ（ｘ，ｙ）の算出は、より詳しく
は、例えば図１７に示した構成により、以下のように行
われる。垂直平滑化係数算出器１６において、第１の乗
算器１２Ｙからの圧縮輝度信号ＹＣ（ｘ，ｙ）は、垂直
エッジ強度算出器５０に入力される。垂直エッジ強度算
出器５０は、圧縮輝度信号ＹＣ（ｘ，ｙ）に基づいて、
例えば以下の（１９）式のように垂直方向のエッジ強度
ＶＥ（ｘ，ｙ）を算出する。

【０１２０】

【数１９】

【０１２１】正規化器５１では、垂直エッジ強度信号Ｖ
Ｅ（ｘ，ｙ）を、例えば以下の（２０）式のように正規
化し、垂直平滑化係数Ｐ（ｘ，ｙ）を算出する。（２
０）式において、ＶＥmin，ＶＥmaxは、正規化のために
あらかじめ設定された定数である。

【０１２２】

【数２０】

【０１２３】この（２０）式によって算出される垂直平
滑化係数Ｐ（ｘ，ｙ）は、垂直エッジ強度信号ＶＥ
（ｘ，ｙ）が大きいほど小さな値となり、かつ、０．０
以上１．０以下の係数となる。この垂直平滑化係数Ｐ
（ｘ，ｙ）が、減衰器１７および垂直平滑化器１８に送
られる。

【０１２４】減衰器１７では、すでに述べたように圧縮
された色信号ＣＣ'（ｘ，ｙ）にこの垂直平滑化係数Ｐ
（ｘ，ｙ）が積算されるため、結果として、圧縮輝度信
号ＹＣ（ｘ，ｙ）の垂直方向の空間的な変化が大きく、
垂直エッジ強度ＶＥ（ｘ，ｙ）が大きいほど、すなわち
大きな水平方向のエッジほど、平滑化色信号ＣＣ'
（ｘ，ｙ）が大きく減衰されることになる。また、垂直
平滑化器１８では、（１８）式に示すように、この垂直
平滑化係数Ｐ（ｘ，ｙ）が大きいほど、平滑化の度合い
が大きくなるため、結果として垂直エッジ強度ＶＥ
（ｘ，ｙ）が大きいほど平滑化輝度信号ＹＣ'（ｘ，
ｙ）がさらに垂直方向に平滑化されることになる。

【０１２５】ところで、本実施の形態では、垂直エッジ
による色偽を抑制するための構成は上記第３の実施の形
態とまったく同じである。すなわち、平滑化係数算出器
１３Ａによって算出された平滑化係数Ｓ（ｘ，ｙ）を用
いて、平滑化器１４Ｃ，１４Ｙにおいて、水平方向に平
滑化処理を施し、垂直エッジによる色偽を抑制してい
る。一方、水平エッジによる色偽の抑制には異なる構成
を用いている。これは、図３に示すような色フィルタを
用いた単板式カラーカメラの出力信号を、（６）式など
によってＹＣ分離することにより得られた色信号Ｃ
（ｘ，ｙ）では、通常、１ラインごとに異なる色の情報
を表現していることに起因している。例えば、（１７）
式に示した例では、色信号Ｃ（ｘ，ｙ）の偶数ラインは
（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）、あるいはその逆相とな
るが、Ｙｅ，Ｍｇ，Ｃｙを、以下の（２１）式のように
３原色Ｒ，Ｇ，Ｂで大まかに表すと、２Ｒ−Ｇあるいは
その逆相となる。一方、同様の計算により奇数ラインは
Ｇ−２Ｂあるいはその逆相となる。

【０１２６】

【数２１】

【０１２７】このように、１ラインごとに表現している
色情報が異なるため、垂直方向に対しては、隣接画素間
の演算によるエッジ検出や、平滑化処理は意味を持たな
くなってしまう。そこで、本実施の形態では、色偽の発
生しやすい水平方向のエッジの大きさを、圧縮輝度信号
ＹＣ（ｘ，ｙ）の垂直微分に基づいて算出する一方、色
偽の抑制を、そのエッジの大きさに応じて各色信号を減
衰することによって実現している。

【０１２８】以上説明したように、本実施の形態によれ
ば、大きな水平方向のエッジほど、色信号を大きく減衰
させると共に、輝度信号を垂直方向に大きく平滑化する
ようにしたので、水平方向のエッジ近傍に発生する色偽
も効果的に抑制することが可能となる。

【０１２９】なお、本実施の形態では、（１９）式で計
算される垂直方向の１次微分によってエッジ強度を算出
する例を説明したが、上記第１の実施の形態で述べた
（１２）式と同様に、１次微分と２次微分との荷重和で
エッジ強度を算出することもできる。

【０１３０】また、本実施の形態では、上記第３の実施
の形態と同様、垂直エッジによる色偽を抑制するため
に、色の変調度ＣＥ（ｘ，ｙ）によって平滑化係数Ｓ
（ｘ，ｙ）を制御する例について説明したが、これに限
らず、上記第１の実施の形態で述べた圧縮用の係数Ｇ
（ｘ，ｙ）によって制御する方法、あるいは上記第２の
実施の形態で述べた圧縮輝度信号ＹＣ（ｘ，ｙ）によっ
て制御する方法を用いることも可能なことは言うまでも
ない。

【０１３１】また、本実施の形態では、水平エッジによ
る色偽を抑制するための垂直平滑化係数Ｐ（ｘ，ｙ）
を、圧縮輝度信号ＹＣ（ｘ，ｙ）に基づいて算出するよ
うにしたが、他の信号、例えば輝度信号Ｙ（ｘ，ｙ）、
輝度信号に積算される圧縮用の係数Ｇ（ｘ，ｙ）、また
は平滑化輝度信号ＹＣ'（ｘ，ｙ）に基づいて垂直平滑
化係数Ｐ（ｘ，ｙ）を算出し、それら他の信号の垂直方
向の空間的変化に応じて、その空間的変化が大きいほ
ど、平滑化色信号ＣＣ'（ｘ，ｙ）を減衰させるような
制御を行うようにしても良い。

【０１３２】

【発明の効果】以上説明したように、請求項１ないし９
のいずれか１項に記載の画像処理方法または請求項１０
ないし１８のいずれか１項に記載の画像処理装置によれ
ば、各画素ごとに異なる係数を積算することによって生
成された圧縮輝度信号と圧縮色信号とに対して、それぞ
れ、色偽を除去するための平滑化処理を施すようにした
ので、色信号が周波数変調され、輝度信号に重畳されて
いる複合画像信号のダイナミックレンジを圧縮する場合
において、色偽の発生を抑制し、良好な再現画像を得る
ことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理装置
の構成を示すブロック図である。

【図２】画像の走査方向を示す説明図である。

【図３】単板式カラーカメラの色フィルタの配列を示す
構成図である。

【図４】復号画像信号の例について示す信号波形図であ
る。

【図５】図１に示した画像処理装置における圧縮係数算
出器の構成を示すブロック図である。

【図６】図５に示した圧縮係数算出器におけるイプシロ
ンフィルタで用いられる線形ローパスフィルタの例につ
いて示す説明図である。

【図７】図５に示した圧縮係数算出器における変換器で
用いられる係数算出関数の例について示す説明図であ
る。

【図８】図７に示した係数算出関数を得るためのレベル
変換関数の例について示す説明図である。

【図９】図１に示した画像処理装置における平滑化係数
算出器の構成を示すブロック図である。

【図１０】図１に示した画像処理装置における平滑化器
の構成を示すブロック図である。

【図１１】図１０に示した平滑化器におけるローパスフ
ィルタで用いられる水平１次元ローパスフィルタの例に
ついて示す説明図である。

【図１２】本発明の第２の実施の形態に係る画像処理装
置の構成を示すブロック図である。

【図１３】本発明の第３の実施の形態に係る画像処理装
置の構成を示すブロック図である。

【図１４】図１３に示した画像処理装置における平滑化
係数算出器の構成を示すブロック図である。

【図１５】本発明の第４の実施の形態に係る画像処理装
置の構成を示すブロック図である。

【図１６】図１５に示した画像処理装置における垂直平
滑化器で用いられる垂直ローパスフィルタの例を示す説
明図である。

【図１７】図１５に示した画像処理装置における垂直平
滑化係数算出器の構成を示すブロック図である。

【図１８】レベル変換関数の例について示す説明図であ
る。

【図１９】他のレベル変換関数の例について示す説明図
である。

【図２０】ヒストグラムイコライゼーションの原理につ
いて示す説明図である。

【図２１】Multiscale retinex法の問題点について説明
するための図である。

【符号の説明】

１０…ＹＣ分離器、１１…圧縮係数算出器、１２Ｃ，１
２Ｙ，４２Ａ，４２Ｂ…乗算器、１３…平滑化係数算出
器、１４Ｃ，１４Ｙ…平滑化器、１５…ＹＣ合成器、１
６…垂直平滑化係数算出器、１７…減衰器、１８…垂直
平滑化器、２０…イプシロンフィルタ、２１…変換器、
３０…エッジ強度算出器、３１，５１…正規化器、３２
…変調度算出器、４０…ローパスフィルタ（ＬＰＦ）、
４１…差分器、４３…加算器、５０…垂直エッジ強度算
出器。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/60 Ｈ０４Ｎ 1/40 Ｄ 9/64 １０１Ｃ // Ｈ０４Ｎ 101:00 1/46 Ｚ Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE05 CE06 CE17 CH08 5C057 AA11 BA01 DA16 DC01 EA01 EA07 EC01 EC02 EC03 GC01 GE01 GJ01 GJ03 5C066 AA01 BA01 CA05 CA09 DB01 DC06 EA05 EA11 EC05 EC12 GA02 GA04 GA05 GB01 JA01 KE02 KE03 KF01 5C077 LL19 MP08 PP02 PP10 PP33 PP34 PP37 PQ12 SS06 TT02 5C079 HB02 HB04 LB01 MA11 MA17 NA03 PA03 PA05

Claims (18)

【特許請求の範囲】
1. 【請求項１】 色信号が周波数変調され、輝度信号に重
   畳されている複合画像信号のダイナミックレンジを圧縮
   するための画像処理方法であって、 入力複合画像信号を、輝度信号および色信号に分離する
   ＹＣ分離過程と、 分離された前記輝度信号に対して、各画素ごとに異なる
   係数を積算して圧縮輝度信号を生成する輝度信号圧縮過
   程と、 分離された前記色信号に対して、各画素ごとに異なる係
   数を積算して圧縮色信号を生成する色信号圧縮過程と、 前記圧縮輝度信号および前記圧縮色信号に対して、それ
   ぞれ、色偽を除去するための平滑化処理を施し、平滑化
   輝度信号および平滑化色信号を生成する平滑化過程とを
   含むことを特徴とする画像処理方法。
2. 【請求項２】 前記平滑化過程において、前記輝度信号
   に積算される圧縮用の係数または前記色信号に積算され
   る圧縮用の係数の空間的変化に応じて、平滑化の度合い
   を変化させることを特徴とする請求項１記載の画像処理
   方法。
3. 【請求項３】 前記平滑化過程において、前記輝度信号
   に積算される圧縮用の係数または前記色信号に積算され
   る圧縮用の係数の空間的変化が大きいほど平滑化の度合
   いを大きくすることを特徴とする請求項２記載の画像処
   理方法。
4. 【請求項４】 前記平滑化過程において、前記輝度信号
   または前記圧縮輝度信号の空間的変化に応じて平滑化の
   度合いを変化させることを特徴とする請求項１記載の画
   像処理方法。
5. 【請求項５】 前記平滑化過程において、前記輝度信号
   または前記圧縮輝度信号の空間的変化が大きいほど平滑
   化の度合いを大きくすることを特徴とする請求項４記載
   の画像処理方法。
6. 【請求項６】 前記平滑化過程において、前記色信号ま
   たは前記圧縮色信号の変調度の大きさに応じて平滑化の
   度合いを変化させることを特徴とする請求項１記載の画
   像処理方法。
7. 【請求項７】 前記平滑化過程において、前記色信号ま
   たは前記圧縮色信号の変調度が大きいほど平滑化の度合
   いを大きくすることを特徴とする請求項６記載の画像処
   理方法。
8. 【請求項８】 前記平滑化過程において、前記平滑化輝
   度信号と前記平滑化色信号とを生成した後、前記輝度信
   号、前記輝度信号に積算される圧縮用の係数、前記圧縮
   輝度信号、または前記平滑化輝度信号の垂直方向の空間
   的変化に応じて前記平滑化色信号を減衰させることを特
   徴とする請求項１記載の画像処理方法。
9. 【請求項９】 前記平滑化過程において、前記平滑化輝
   度信号と前記平滑化色信号とを生成した後、前記輝度信
   号、前記輝度信号に積算される圧縮用の係数、前記圧縮
   輝度信号、または前記平滑化輝度信号の垂直方向の空間
   的変化が大きいほど、前記平滑化色信号を大きく減衰さ
   せることを特徴とする請求項８記載の画像処理方法。
10. 【請求項１０】 色信号が周波数変調され、輝度信号に
    重畳されている複合画像信号のダイナミックレンジを圧
    縮するための画像処理装置であって、 入力複合画像信号を、輝度信号および色信号に分離する
    ＹＣ分離手段と、 分離された前記輝度信号に対して、各画素ごとに異なる
    係数を積算して圧縮輝度信号を生成する輝度信号圧縮手
    段と、 分離された前記色信号に対して、各画素ごとに異なる係
    数を積算して圧縮色信号を生成する色信号圧縮手段と、 前記圧縮輝度信号および前記圧縮色信号に対して、それ
    ぞれ、色偽を除去するための平滑化処理を施し、平滑化
    輝度信号および平滑化色信号を生成する平滑化手段とを
    備えたことを特徴とする画像処理装置。
11. 【請求項１１】 前記平滑化手段は、前記輝度信号に積
    算される圧縮用の係数または前記色信号に積算される圧
    縮用の係数の空間的変化に応じて、平滑化の度合いを変
    化させることを特徴とする請求項１０記載の画像処理装
    置。
12. 【請求項１２】 前記平滑化手段は、前記輝度信号に積
    算される圧縮用の係数または前記色信号に積算される圧
    縮用の係数の空間的変化が大きいほど平滑化の度合いを
    大きくさせることを特徴とする請求項１１記載の画像処
    理装置。
13. 【請求項１３】 前記平滑化手段は、前記輝度信号また
    は前記圧縮輝度信号の空間的変化に応じて平滑化の度合
    いを変化させることを特徴とする請求項１０記載の画像
    処理装置。
14. 【請求項１４】 前記平滑化手段は、前記輝度信号また
    は前記圧縮輝度信号の空間的変化が大きいほど平滑化の
    度合いを大きくさせることを特徴とする請求項１３記載
    の画像処理装置。
15. 【請求項１５】 前記平滑化手段は、前記色信号または
    前記圧縮色信号の変調度の大きさに応じて平滑化の度合
    いを変化させることを特徴とする請求項１０記載の画像
    処理装置。
16. 【請求項１６】 前記平滑化手段は、前記色信号または
    前記圧縮色信号の変調度が大きいほど平滑化の度合いを
    大きくさせることを特徴とする請求項１５記載の画像処
    理装置。
17. 【請求項１７】 前記平滑化手段は、前記平滑化輝度信
    号と前記平滑化色信号とを生成した後、前記輝度信号、
    前記輝度信号に積算される圧縮用の係数、前記圧縮輝度
    信号、または前記平滑化輝度信号の垂直方向の空間的変
    化に応じて前記平滑化色信号を減衰させることを特徴と
    する請求項１０記載の画像処理装置。
18. 【請求項１８】 前記平滑化手段は、前記平滑化輝度信
    号と前記平滑化色信号とを生成した後、前記輝度信号、
    前記輝度信号に積算される圧縮用の係数、前記圧縮輝度
    信号、または前記平滑化輝度信号の垂直方向の空間的変
    化が大きいほど、前記平滑化色信号を大きく減衰させる
    ことを特徴とする請求項１７記載の画像処理装置。