JP2001051672A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 複雑な演算処理を行うことなく空間周波数特
性を高速で調整する。 【解決手段】 サブマトリクス２１に対して、サブマト
リクス内の１つ以上の画素からなる複数の画素群Ｇ₀〜
Ｇ₃を予め設定しておくとともに、これら各画素群に対
応してサブフィルタ３０〜３３を設け、これら各サブフ
ィルタにおいて、各画素群に含まれる各画素の輝度値の
和と、所望の空間周波数調整用フィルタ特性に応じた所
定係数とを並列的に積算し、これら積算結果を合算器で
合算した後、加算器で中心画素の元の輝度値に加算し、
中心画素Ｖ₀の新たな輝度値として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置に関
し、特に電子カメラ装置などで撮影された２次元画像の
空間周波数特性を調整する画像処理装置に関するもので
ある。

【０００２】

【従来の技術】カラーＣＣＤなどの撮像部を用いて撮影
を行う電子カメラ装置（Digital Still Camera）等の撮
像装置では、得られた２次元の画像に対して、空間周波
数特性の調整処理が行われる。例えば、単板式のカラー
フィルタ付きＣＣＤを利用した撮像装置では、得られた
画像がＲＧＢなどの異なる色成分の輝度値を有する多数
の画素から構成されている。

【０００３】したがって、同一色成分の画素が市松模様
のように配置された状態となり、画素数に対して実質的
な解像度は低下している。一般的な電子カメラ装置では
画像処理装置を設け、このような解像度の低下を救済す
るための入力画像のエッジ強調や、他の画像処理を施す
ことを目的として、入力画像の空間周波数特性を調整す
る処理を行っている。

【０００４】図１４に示すように、従来の画像処理装置
１１０では、ＤＳＰ（ディジタル演算処理装置）１２０
を用いて、ソフトウェアによるコンボリューション演算
によって、空間周波数特性の調整が行われている。ま
ず、撮像部（ＣＣＤ）１０で得られた画像信号は、信号
変換部１１でＡ／Ｄ変換された後、入力画像としてメモ
リ１２に格納される。

【０００５】メモリ１２から取り出された入力画像１３
は、Ｍ×Ｍ画素（Ｍは３以上の奇数）のサブマトリクス
ごとにＤＳＰ１２０で処理されて、その中心画素の新た
な輝度値１３０が算出され、その空間周波数特性が調整
された出力画像１９が得られる。通常、空間周波数特性
を調整するための空間フィルタ処理では、Ｍ×Ｍ個の各
画素ごとに、その画素の輝度値とその画素に対応する所
定の係数とを積算した後、これら各画素の積算結果の総
和を求めるという、いわゆる積和演算処理が必要となる
ため、ＤＳＰ１２０などの高速演算器が用いられる。

【０００６】また、空間周波数特性の調整に用いるフィ
ルタ係数を複数用意しておき、所定領域の画素パターン
に基づき、これらフィルタ係数を適応的に選択して用い
るもの（例えば、ＵＳＰ５６８４６００号など参照）
や、中心画素とその隣接画素に対する係数を変数ｋの関
数で表現し、中心画素の輝度値に基づきｋを選択するこ
とにより適応的に空間周波数特性調整の強さを切り換え
るもの（例えば、ＵＳＰ５８５４８５９号など参照）な
どが提案されている。

【０００７】

【発明が解決しようとする課題】しかしながら従来の画
像処理装置では、ソフトウェアによる積和演算を行って
いるため、空間周波数特性の調整における自由度は大き
いが、大きなサブマトリクスを対象としたり、高域強調
度を適応的に行うなどの複雑な処理をする場合、その処
理量と複雑さに応じて演算所要時間が増加し、さらに所
定条件に応じて異なる処理を行わねばならないため、高
速でのリアルタイムな処理に適応できないという問題点
があった。

【０００８】一方、空間周波数特性の調整をハードウェ
アで行う場合、リアルタイムの処理は可能であるが、回
路規模や処理時間および消費電力の増加をできるだけ押
さえるため、サブマトリクスの大きさが縮小されてしま
い、空間周波数特性の調整における自由度が限定される
という問題点があった。

【０００９】最近では２百万画素を超えるような高解像
度の撮像素子も使われるようになり、収録画像数を増や
すため撮像素子の持つ画素数よりも少ない低解像度モー
ドを持つなどのため、複数の解像度の画像を処理しなけ
ればならないこともあり、光学系の特性などによるばか
りでなく、より柔軟な空間周波数特性の調整が求められ
ている。本発明はこのような課題を解決するためのもの
であり、複雑な演算処理を行うことなく空間周波数特性
を高速で調整できる画像処理装置を提供することを目的
としている。

【００１０】

【課題を解決するための手段】このような目的を達成す
るために、本発明による画像処理装置は、サブマトリク
ス内の１つ以上の画素からなる複数の画素群ごとに並列
的に設けられ、対応する画素群に含まれる各画素の輝度
値の和と、所望の空間周波数調整用フィルタ特性に応じ
た所定係数とを積算して出力する複数のサブフィルタ
と、これらサブフィルタからの出力を合算しその合算結
果を空間周波数特性の調整量として出力する合算手段
と、加算手段とを備え、この加算手段において、合算手
段で得られた調整量をその中心画素の元の輝度値に加算
し中心画素の新たな輝度値として出力するようにしたも
のである。

【００１１】また、各画素群として、中心画素からなる
中心画素群と、中心画素に対して点対称に位置する４つ
以上の画素からなる複数の周辺画素群と用いるようにし
たものである。また、各周辺画素群として、中心画素を
中心とするｍ×ｍ（ｍは３〜Ｍの奇数）画素の範囲に位
置する中心画素以外の画素、または中心画素の上下左右
に隣接する４つの画素から構成したものである。

【００１２】また、各画素群に対応する係数として、２
の累乗の和あるいはその負数を用いるようにしたもので
ある。また、各画素群に対応する係数として、中心画素
またはその周辺画素から得られた２つの色差信号の大き
さに応じた係数を用いるようにしたものである。

【００１３】また、各サブフィルタにおいて、入力画像
を構成する画素をＭ画素ライン数分だけ並列して同一画
素列ごとに画素ブロックとして順次取り込み、かつこれ
ら連続して取り込まれたＭ個の画素ブロックからなるサ
ブマトリクスに含まれる各画素の輝度値を用いて、対応
する画素群に含まれる各輝度値の和と所望の空間周波数
調整用フィルタ特性に応じた所定係数とを順次積算して
出力するようにしたものである。

【００１４】また、合算手段と加算手段との間に設けら
れ、合算手段からの調整量を補正して出力する補正手段
を備え、加算手段において、この補正手段から出力され
た補正後の調整量を中心画素の元の輝度値に加算し中心
画素の新たな輝度値として出力するようにしたものであ
る。

【００１５】また、補正手段において、所定の入出力特
性を有するルックアップテーブルを備え、合算手段から
の調整量に基づきルックアップテーブルを参照し、ルッ
クアップテーブルから得られた出力値を補正後の調整量
として出力するようにしたものである。また、補正手段
において、合算手段からの調整量を量子化した値に基づ
きルックアップテーブルを参照するようにしたものであ
る。

【００１６】また、補正手段において、サブマトリクス
内のいずれかの画素群を構成する各画素の輝度値から算
出した所定の統計量に基づき、ルックアップテーブルか
ら得られた出力値を再補正し、再補正した出力値を補正
後の調整量として出力するようにしたものである。

【００１７】また、補正手段において、合算手段からの
調整量を量子化した値に基づきルックアップテーブルを
参照するとともに、その調整量のうちルックアップテー
ブルの参照に用いなかった切り捨て分に基づき、ルック
アップテーブルから得られた出力値を補間し、補間した
出力値を補正後の調整量として出力するようにしたもの
である。

【００１８】

【発明の実施の形態】次に、本発明について図面を参照
して説明する。図１は本発明の第１の実施の形態である
画像処理装置のブロック図である。同図において、１０
はＣＣＤなどの撮像素子からなる撮像部、１１は撮像部
１０で得られた画像信号をＡ／Ｄ変換しメモリ１２に格
納する信号変換部、１はメモリ１２から入力画像１３を
順次取り出し、所定のフィルタ係数２０に基づき空間周
波数特性が調整された出力画像１９を出力する画像処理
装置である。なお、入力画像１３については、メモリ１
２へ格納する際あるいは格納後に、色変換あるいはガン
マ変換などの画像処理を施しておいてもよい。

【００１９】画像処理装置１には、入力画像１３内のＭ
画素×Ｍ画素（Ｍは３以上の奇数）からなるサブマトリ
クスごとに、フィルタ係数２０を用いてそのサブマトリ
クスの中心画素における空間周波数特性の調整量を算出
しフィルタ出力１４として出力する空間フィルタ２と、
この空間フィルタ２からのフィルタ出力１４をそのフィ
ルタ出力１４が得られたサブマトリクスの中心画素の元
の輝度値Ｖ₀へ加算し、中心画素の新たな輝度値を算出
し出力画像１９として出力する加算器９とが設けられて
いる。

【００２０】さらに、空間フィルタ２には、入力画像１
３内のＭ画素×Ｍ画素からなるサブマトリクスについ
て、そのサブマトリクス内の１つ以上の画素からなる複
数の画素群ごとに、対応する画素群に含まれる各画素の
輝度値の和と、所望の空間周波数調整用フィルタ特性に
応じた所定係数Ｒ₀〜Ｒ_Nとを積算して出力する複数のサ
ブフィルタ３０〜３Ｎと、これらサブフィルタからの出
力４０〜４Ｎを合算しフィルタ出力１４として出力する
合算器６とが設けられている。

【００２１】図２は各サブフィルタの構成例を示すブロ
ック図である。各サブフィルタ３ｋ（ｋは０〜Ｎの整
数）には、そのサブフィルタ３ｋに対応する画素群に含
まれる１つ以上の画素の輝度値を合計する加算器３ｋＡ
と、そのサブフィルタ３ｋに対応する係数Ｒ_kを加算器
３ｋＡの出力３ｋＳに積算し、その積算結果を出力４ｋ
として出力する積算器３ｋＢとが設けられている。な
お、画素群を構成する画素が１つの場合は、加算器３ｋ
Ａを省いてもよい。

【００２２】次に、図３を参照して、本発明の第１の実
施の形態による動作について説明する。図３は第１の実
施の形態による動作を示す説明図であり、（ａ）はサブ
マトリクスおよびフィルタ係数の構成、（ｂ）はサブフ
ィルタでの処理を示している。以下では、Ｍ＝５のサブ
マトリクスを用いて空間周波数特性を調整する場合につ
いて説明する。

【００２３】図３（ａ）に示すように、Ｍ＝５の場合、
画素ライン方向ｉおよび画素列方向ｊにそれぞれ５つ並
んだ５×５の画素Ｖ₁₁〜Ｖ₅₅から、サブマトリクス２１
が構成される。このサブマトリクス２１内で空間周波数
特性を調整する場合、実際にはサブマトリクス２１の中
心に位置する画素Ｖ₃₃すなわち中心画素Ｖ₀の輝度値
を、サブマトリクス２１内の各画素Ｖ₁₁〜Ｖ₅₅の画素値
とそれに対応するフィルタ係数Ｒ ₁₁〜Ｒ₅₅との積の和を
用いて補正する演算が行われる。

【００２４】ここでは、図３（ｂ）に示すように、サブ
マトリクス２１を構成する画素のうち、中心画素Ｖ₀か
らなる中心画素群Ｇ₀と、中心画素Ｖ₀を中心として点対
称に位置する４つ以上の周辺画素（中心画素以外の画
素）からなる周辺画素群Ｇ₁〜Ｇ₃が、サブマトリクス２
１に対して予め設定されている。

【００２５】特に、周辺画素群Ｇ₁〜Ｇ₃を構成する各画
素は、それぞれ中心画素Ｖ₀からｍ×ｍ画素（ｍは３〜
Ｍ）の範囲に位置しており、中心画素Ｖ₀からそれぞれ
任意の半径を有する同心円状の帯内に位置する周辺画素
が、同一周辺画素群に属するように設定されている。

【００２６】したがって、各周辺画素群Ｇ₁〜Ｇ₃に対し
て個別の係数を設定することにより、空間周波数特性を
調整する場合、中心画素Ｖ₀に対する各周辺画素の寄与
度を中心画素Ｖ₀からの大まかな距離に基づき選択する
ことができ、複雑な演算を行うことなく、所望の空間周
波数特性を具体的な係数として容易に設定できる。

【００２７】図４は空間周波数特性の一例を示す説明図
である。ここでは、図３（ｂ）の各画素群に対する係数
として、図４（ａ）に示すＲ₀＝２⁴＋２³＝２４、Ｒ₁＝
０、Ｒ₂＝−１、Ｒ₃＝０を用いた場合が示されており、
各画素に対応する係数は図４（ｂ）のようになる。これ
により、図４（ｃ）に示すように、広い範囲の周辺画素
に対して平均的に寄与度が設定されており、中高域のゲ
インがもっとも高くなるような比較的緩やかな空間周波
数特性が得られている。

【００２８】また、図５は空間周波数特性の他例を示す
説明図である。ここでは、図３（ｂ）の各画素群に対す
る係数として、図５（ａ）に示すＲ₀＝２⁶＋２⁵＝９
６、Ｒ₁＝−１×（２²＋２⁰）＝−５、Ｒ₂＝−１、Ｒ₃
＝２³＝８を用いた場合が示されていおり、各画素に対
応する係数は図５（ｂ）のようになる。これにより、図
５（ｃ）に示すように、中心画素Ｖ₀に近い画素ほど高
い寄与度が設定されており、図４に比べて高域のゲイン
がかなり高くなる比較的急峻な空間周波数特性が得られ
ている。

【００２９】このようにして、入力画像１３から取り込
まれたサブマトリクス２１に対して、中心画素群Ｇ₀と
各周辺画素群Ｇ₁〜Ｇ₃を割り当て、各画素群に含まれる
画素の画素値の和と、その画素群に対応する係数Ｒ₀〜
Ｒ₃とを、各サブフィルタ３０〜３４で並列的に積算処
理する。続いて、各画素群ごとに得られた積算結果を合
算器６で合算し、空間周波数特性の調整量すなわちフィ
ルタ出力１４を得る。

【００３０】そして、加算器９で中心画素Ｖ₀にそのフ
ィルタ出力１４を加え、空間周波数特性が調整された中
心画素の新たな輝度値Ｖ₀'を得ている。このような処理
を入力画像１３の各画素について繰り返し実行すること
により、すなわち入力画像１３上でサブマトリクス２１
を順次走査して、その中心画素Ｖ₀の新たな画素値Ｖ₀'
を算出することにより、所望の空間周波数特性を有する
出力画像１９が得られる。

【００３１】本発明は、このように、サブマトリクス２
１に対して、サブマトリクス内の１つ以上の画素からな
る複数の画素群Ｇ₀〜Ｇ₃を予め設定しておくとともに、
これら各画素群に対応してサブフィルタを設け、これら
各サブフィルタにおいて、各画素群に含まれる各画素の
輝度値の和と、所望の空間周波数特性調整用のフィルタ
特性に応じた所定係数とを並列的にそれぞれ積算して合
算器６で合算し、得られたフィルタ出力１４を加算器９
で元の中心画素Ｖ₀の輝度値に加算することにより、新
たな輝度値Ｖ₀'として出力するようにしたものである。

【００３２】したがって、サブフィルタ３０〜３４にお
ける演算、合算器６における合算および加算器９におけ
る加算という比較的簡素な演算処理により、複雑な演算
処理を行うことなく、大きな自由度を持って空間周波数
特性を調整できる。また、各サブフィルタ３０〜３４で
は、加算と積算がそれぞれ１回のみとなり、比較的簡素
な演算処理だけで実現されるとともに、サブフィルタ３
０〜３４における演算が並列的に実行されるため、従来
のようにＤＳＰを用いて個々の画素ごとに所定の係数を
用いた積和演算を行う場合と比較して、より高速にリア
ルタイムで空間周波数特性を調整できる。

【００３３】なお、図４および図５では、各画素に積算
される係数Ｒ₁₁〜Ｒ₅₅の総和が０となるように、係数Ｒ
₀〜Ｒ₃を設定した場合について説明したが、各画素に積
算される係数Ｒ₁₁〜Ｒ₅₅の総和が１となるように、係数
Ｒ₀〜Ｒ₃を設定してもよい。この場合、得られた空間周
波数特性の調整量を元の中心画素Ｖ₀の輝度値に加える
処理が合算器６で行われることになり、加算器９が不要
となる。

【００３４】また、最終的なフィルタのゲインは各係数
の取り方により変わるので、合算器６で得られたフィル
タ出力１４を、適当な値、例えばＲ₀あるいはＲ₀に近い
２の累乗値で除算して補正するようにしてもよい。これ
により、空間周波数特性を調整した後の輝度値を、ビッ
トシフト演算のみによりある程度正規化できるので、各
係数の組み合わせに起因する高域強調度の変化を容易に
抑制できる。もちろん、他の方法でフィルタ出力１４を
補正して、正規化を行うようにしてもよい。

【００３５】次に、図６を参照して、本発明の第２の実
施の形態について説明する。前述した第１の実施の形態
では、各サブフィルタ３０〜３Ｎが入力画像１３から、
それぞれ必要な画素の画素値を直接取り込む場合につい
て説明したが、本実施の形態では、図６に示すように、
これらサブフィルタ３０〜３Ｎの前段に分配部５を設け
て入力画像１３を取り込んで前処理し、各サブフィルタ
３０〜３Ｎへ分配するようにしたものである。

【００３６】図７を参照して、分配部５の動作について
説明する。図７は分配部の動作を示す説明図であり、
（ａ）は入力画の２次元平面画像、（ｂ）はサブマトリ
クス、（ｃ）はサブマトリクスに設定された画素領域
例、（ｄ）は各サブフィルタの画素群との関係式を示し
ている。分配部５では、図７（ａ）に示すように、入力
画像１３を構成する各画素値をサブマトリクス２１の画
素ライン数分（ｊ方向）、ここではＭ＝５画素ライン分
だけ並列して同一画素列ごとに画素ブロック２２として
順次取り込む。

【００３７】そして、図７（ｂ）に示すように、これら
連続して取り込んだＭ＝５画素列分の画素ブロック２２
からサブマトリクス２１を構成している。これにより、
サブマトリクス２１が、２次元平面画像上をｉ方向に１
画素分ずつシフトしていくことになる。

【００３８】分配部５では、各画素ブロック２２につい
て、図７（ｃ）に示すように、予め設定されている各画
素領域Ａ〜Ｃごとに、その画素領域に属する画素の画素
値の和を算出する。そして、Ｍ画素ブロック分の各領域
値Ａ（ｉ）〜Ｃ（ｉ）のうち、必要に応じて所定の領域
値を保持し並列出力する。

【００３９】サブフィルタ３０〜３Ｎでは、これら並列
出力される各領域値を選択的に用いて、図７（ｄ）に示
すように、対応するサブマトリクス２１の各画素群の和
３０Ｓ〜３３Ｓを算出している。なお、各画素領域は、
後段の各サブフィルタ３０〜３３で用いる画素群の構成
に基づき設定すればよく、図７（ｃ）には、第１の実施
の形態で説明した図３（ｂ）の各画素群Ｇ₀〜Ｇ₃に適用
する場合の画素領域Ａ〜Ｃが示されている。

【００４０】以下では、画素領域としてＡ〜Ｃが設定さ
れている場合を例として説明する。図８は分配部の構成
例を示すブロック図である。図８において、５０Ａ，５
０Ｂは画素ブロック２２の各画素値Ｖ_i1〜Ｖ_i5から領域
値Ａ（ｉ），Ｃ（ｉ）を算出する加算器である。なお、
領域値Ｂ（ｉ）はＶ_i3だけを用いるため、対応する加算
器は省かれている。

【００４１】５００，５１０，５２０は、それぞれ直列
接続された複数の１ピクセルクロックディレイ５０１〜
５０４，５１１〜５１３，５２１〜５２３からなるシフ
トレジスタであり、それぞれ各領域値Ａ（ｉ）〜Ｃ
（ｉ）ごとに並列的に設けられている。なお、１ピクセ
ルクロックディレイ（以下、ディレイという）とは、画
素ライン方向（ｉ方向）のクロック信号に同期して、入
力された画素値を遅延出力するラッチ回路である。

【００４２】したがって、連続する５つの画素ブロック
２２が分配部５に順次取り込まれた場合、シフトレジス
タ５００〜５２０の各ディレイの出力が、サブフィルタ
３１〜３３の加算器３１Ａ〜３３Ａへ選択的に分配され
る。また、中心画素Ｖ₀に相当するディレイ５１２の出
力が、インバータ５３０により負数に変換され、サブフ
ィルタ３１〜３３の加算器３１Ａ〜３３Ａへ分配され
る。

【００４３】これにより、各サブフィルタ３１〜３３の
加算器３１Ａ〜３３Ａにおいて、対応する画素群に含ま
れる画素の画素値の和３１Ｓ〜３３Ｓが算出され、各積
算器３１Ｂ〜３３Ｂにおいて対応する係数Ｒ₁〜Ｒ₃が積
算されてサブフィルタ出力４１〜４３として出力され
る。なお、サブフィルタ３０では、分配されたディレイ
出力を画素群Ｇ₀の和３０Ｓと見なし、積算器３０Ｂに
おいて対応する係数Ｒ₀が積算されてサブフィルタ出力
４０として出力される。

【００４４】このように、本実施の形態では、分配部５
を設けて、画素ブロック２２上に予め設定されている各
画素領域ごとに、その画素領域に属する画素の画素値の
和を領域値Ａ〜Ｃとして算出するとともに、これら各領
域値を画素ブロック２２の取り込みに同期して並列出力
し、サブフィルタ３０〜３３において、これら並列出力
される各領域値を選択的に用いて、対応する画素群Ｇ₀
〜Ｇ₃における輝度値の和３０Ｓ〜３３Ｓを順次算出出
力するようにしたものである。

【００４５】したがって、画素ブロック２２の取り込み
に同期して、サブマトリクス２１が入力画像１３の２次
元平面画像上をシフトしていくとともに、そのサブマト
リクスの中心画素の新たな輝度値が得られ、結果として
画素ブロック２２の取り込みに同期したパイプライン処
理が実現できる。これにより、ＤＳＰなどを用いて数値
演算することにより空間周波数特性の調整処理を行う場
合と比較して、より高速に十分な画質の画像を出力でき
る。

【００４６】また、サブフィルタ３０〜３Ｎで用いる各
係数として、２の累乗値あるいは２の累乗値の和を選択
してもよく、これにより各サブフィルタで用いる積算器
３０Ｂ〜３ＮＢをビットシフト回路で構成することがで
き、回路構成の大幅な簡略化を実現できる。さらに、サ
ブフィルタ３０〜３Ｎで用いる各係数を可変設定可能な
構成にしてもよい。

【００４７】図９はサブフィルタの他の構成例を示すブ
ロック図である。同図において、３０１は加算器出力３
ｋＳに対して２の累乗値（正または負）を積算する複数
の積算器からなる積算部であり、各積算器が互いに並列
接続されている。３０２は係数Ｒ_kに基づき積算部３０
１の各積算器の出力のうちの１つ以上を選択的に加算あ
るいは０を出力する加算器である。

【００４８】したがって、係数Ｒ_kを任意に選択入力す
ることにより、任意の空間周波数特性が得られる。ま
た、積算部３０１として、２の累乗値を積算する複数の
積算器で構成するようにしたので、簡素な回路構成で任
意の係数Ｒ_kを加算器出力３ｋＳに積算できる。

【００４９】次に、図１０を参照して、本発明の第３の
実施の形態について説明する。図１０は第３の実施の形
態による画像処理装置の構成例を示すブロック図であ
る。本実施の形態では、Ｍ×Ｍ空間フィルタ２と加算器
９との間にルックアップテーブル８を有する補正部７を
設けて、Ｍ×Ｍ空間フィルタ２で得られた空間周波数特
性の調整量すなわちフィルタ出力１４をさらに補正する
ようにしたものである。

【００５０】同図において、補正部７では、Ｍ×Ｍ空間
フィルタ２のフィルタ出力１４（ディジタル値）を入力
として、予め所定の入出力特性が設定されているルック
アップテーブル８が参照されて、その入力に対応する出
力値が得られ、これが補正後の調整量すなわち出力１５
として出力される。また、加算器９では、補正部７から
の出力１５が、その出力１５の得られた元のサブマトリ
クス２１の中心画素Ｖ₀の輝度値に加算され、新たな輝
度値Ｖ₀'として出力される。

【００５１】これにより、Ｍ×Ｍ空間フィルタ２の出力
１４、すなわち空間周波数成分の大きさ（パワー）に応
じて、中心画素Ｖ₀に加えられる量すなわち調整量を変
更できる。図１１はルックアップテーブルの入出力特性
例を示す説明図であり、横軸が入力値、縦軸が出力値を
示している。

【００５２】図１１（ａ）の入出力特性例によれば、出
力１４の大きさ（絶対値）が比較的小さい範囲（例えば
−６４〜６４）では、その出力１４が強調されて入力さ
れた値よりも大きな値として出力される。また出力１４
の大きさ（絶対値）が比較的大きい範囲（例えば−１２
８〜−６４や６４〜１２８）では、その出力１４が減衰
されて入力された値よりも小さな値が出力される。

【００５３】例えば、出力１４の絶対値が大きい場合、
もともと輝度値の高い中心画素については白とびが起き
やすく、反対に輝度値の低い中心画素については黒つぶ
れが起きやすい。このように出力１４の大きさが比較的
大きい場合も、中心画素Ｖ₀を調整する量を小さくする
ことにより、白つぶれや黒つぶれの発生を抑制できる。

【００５４】一方、入力画像１３のうちノイズなどでざ
らついた部分ではかなり高い空間周波数成分を含んでい
るが、Ｍ×Ｍ空間フィルタ２の出力１４の大きさ（パワ
ー）自体が小さい。このような場合は、図１１（ｂ）の
特性８１のような入出力特性を用いて、出力１４の大き
さが比較的小さい場合は、中心画素Ｖ₀を調整する量を
小さくすることにより、ざらつき感の強調を抑制でき
る。

【００５５】あるいは、入出力特性が自由に変えられる
特性を利用して、一部のサブフィルタの係数の符号を反
転させることにより、高域部分は減衰、低域部分は強調
といった組み合わせで合成フィルタを作ることも容易に
実現できる。例えば、図１１（ｂ）の特性８２のよう
に、出力１４の極性（正負）を反転して、出力１４が正
の時は絶対値が同じ負の数を出力するようにしてもよ
い。これにより、その入力範囲の合成フィルタ出力に対
しては、高域強調ではなく高域減衰フィルタとして動作
させることもできる。

【００５６】図１２はルックアップテーブルによる空間
周波数特性の変化を示す説明図である。図１２からもわ
かるように、Ｍ×Ｍ空間フィルタ２の出力１４の大きさ
（パワー）すなわち中心画素Ｖ₀に対する強調量に応じ
て、Ｍ×Ｍ空間フィルタ２の空間周波数特性を大きく変
化させることができる。

【００５７】ここでは、出力１４自体は中心画素と周辺
画素の輝度値によりプラスにもマイナスにもなる。ま
た、フィルタ係数２０の変化に対して出力１４を正規化
していない場合は、中心画素Ｖ₀に対する係数Ｒ₀の大き
さにより、フィルタ出力１４の分布範囲（分散）が異な
る。

【００５８】これは、特性の違うフィルタによってどの
ようにゲインを調整するかという時に問題となる。すな
わち、微妙な特性を簡単な演算で適応的に処理すること
は非常に困難であり、特にフィルタ出力１４の分散が小
さくなり、０付近に集中するような場合は演算精度を上
げる必要もあり、なおさらである。これに対して、本実
施の形態によれば、このような場合でも、ルックアップ
テーブル８の入出力特性を加減することにより極めて微
妙な調整が可能となる。

【００５９】なお、補正部７において、前述のようにＲ
₀あるいはＲ₀に近い２の累乗値などで予め出力１４を除
算し、所定範囲の値に量子化（正規化）した後、ルック
アップテーブル８へ入力するようにしてもよい。これに
より、入力範囲を狭めることができるので、ルックアッ
プテーブル８の回路規模も小さくできる。特に、２の累
乗値による除算なら極めて簡単な構成のビットシフト回
路で実現できる。

【００６０】また、補正部７において、前記のような除
算処理でさらに入力範囲が小さくなるように出力１４を
量子化して、量子化後の出力１４とその隣接値とに基づ
きルックアップテーブル８から得られた２つの出力値を
読み出し、この量子化による切り捨て分（除算により失
われた低位のビット）を使って、２つの出力値を補間
（直線補間）して出力するようにしてもよい。

【００６１】これにより、補正誤差を大きくすることな
く、ルックアップテーブル８の回路規模をさらに小さく
できる。このことは、回路規模の削減のため量子化を行
わない場合や、ルックアップテーブル８（の入力範囲）
が小さくてルックアップテーブル８のある範囲で入出力
特性が急峻に変化するような場合に有効である。

【００６２】次に、図１３を参照して、第４の実施の形
態について説明する。図１３は第４の実施の形態による
画像処理装置の構成例を示すブロック図である。本実施
の形態では、補正部７において、Ｍ×Ｍ空間フィルタ２
で得られる所定の統計量に基づきルックアップテーブル
８の出力値をさらに補正して加算器９へ出力するように
したものである。

【００６３】ここでは、サブフィルタ３０〜３Ｎの係数
Ｒ₀〜Ｒ_Nとして、その総和が０となる係数Ｒ₀〜Ｒ_Nを用
いる場合、ルックアップテーブル８の出力値を中心画素
Ｖ₀に加算する前に、所定の処理対象画素あるいは処理
対象範囲から得られた統計量に応じて、ルックアップテ
ーブル８の出力値を補正することにより、フィルタの強
調度（減衰度）を変えている。

【００６４】例えば、入力画像１３のうち非常に明るい
画素範囲に高域強調フィルタをかけても、そのような範
囲では高い空間周波数成分が少ないため、Ｍ×Ｍ空間フ
ィルタ２の出力１４（すなわちルックアップテーブル８
の入力）は小さい。したがって、図１１（ｂ）に示した
ような、入力の小さい時に出力も小さい入力特性８１や
反転しているような入出力特性８２のルックアップテー
ブル８を用いた場合は、ルックアップテーブル８の出力
値すなわち強調量が小さくなったり減衰してしまい、こ
のような範囲では鮮明度が上がらない。

【００６５】そこで、このような場合には、その画素範
囲の明るさ、例えばサブフィルタ３０の出力４０などに
応じた補正係数１６を、補正部７においてルックアップ
テーブル８の出力値に積算すればよい。これにより、図
１１（ｂ）の入出力特性のような場合にも、上記のよう
な問題点を解決できる。

【００６６】なお、中心画素の輝度値に変えてサブフィ
ルタ３１の平均輝度などの統計量を用いてもよく、１画
素の輝度値よりもバランスよく調整できる場合が多い。
さらに、補正部７で用いる補正係数１６を設定する際、
前記と同様にルックアップテーブル８を使用してもよ
く、より柔軟な強調特性が得られる。

【００６７】また、処理中の画素あるいはその画素周辺
の所定範囲画素の色差信号の強さにより、強調特性を切
り替えてもよい。例えば、人の顔などであまり高周波成
分を強調しないようにして、ざらつきを押さえるように
することができる。肌の部分などでは実際よりむしろ滑
らかに見えた方が使用者に好まれることもあるので、強
調するよりもむしろ高周波成分を減衰させてより滑らか
にするといったことも可能である。

【００６８】また、このような色差信号と輝度信号の強
さとを組み合わせ、それを元にして強調度を変えるよう
にしてもよい。これにより、例えば明るくて青成分の多
いところを青空と判断して、ざらつきを押さえるため強
調度を落とすといった処理が可能になる。

【００６９】したがって、処理対象となるサブマトリク
スの空間周波数、選択された空間周波数特性で得られる
高い空間周波数成分の大きさ、サブマトリクスにおける
輝度値等あるいは色（色差信号）等による統計値の３つ
あるいは４つをパラメータとして空間周波数特性の調整
が行える。

【００７０】なお、以上の説明において、輝度値に対し
て空間周波数特性を調整する例について述べてきたが、
色差信号に対して同様の処理を行ってもよい。この場
合、輝度値に対するフィルタ特性とは異なる特性を用い
ることにより、クロマ抑制を行ったりすることも可能で
ある。また、画像圧縮処理を行う画像処理装置の場合に
は、２次元直交変換部で更なるフィルタ処理を行うこと
も可能である。

【００７１】例えば、特願平１１−１３１９７６号（本
発明と同一出願人）に開示されているデジタルカメラの
ような撮像装置では、通常、画像圧縮のための２次元直
交変換は８×８の領域に対して行われる。このことは、
Ｍ＜８の場合には、周波数特性をさらに細かく調整でき
るということであり、特にＭ×Ｍ空間フィルタ２で空間
周波数の高域部のゲインを高く設定しているような場合
でも、最高周波数近傍領域のみを減衰させるような調整
が可能である。

【００７２】このような２次元直交変換後（あるいは変
換中）に高い空間周波数領域のみにフィルタ処理を行う
場合には、２次元直行変換後の量子化処理を経て復元さ
れる場合でも、いわゆるブロックノイズも目立ちにく
く、また、原画像に含まれ必要以上に強調されてしまっ
たノイズ成分などを目立たなくさせることにも有効であ
る。

【００７３】

【発明の効果】以上説明したように、本発明によれば、
サブマトリクス内の１つ以上の画素からなる複数の画素
群ごとにサブフィルタを設けて、対応する画素群に含ま
れる各画素の輝度値の和と、所望の空間周波数調整用フ
ィルタ特性に応じた所定係数とを並列的に積算し、これ
らサブフィルタからの出力を合算した後、元の中心画素
の画素値に加算して中心画素の新たな輝度値として出力
するようにしたので、各サブフィルタにおける比較的簡
単な演算およびその後段での合算および加算という大き
なサブマトリクスに対しても比較的演算量が増えない処
理により、複雑な演算処理を行うことなく、大きな自由
度を持って空間周波数特性を調整できる。また、サブフ
ィルタごとにそれぞれ１つの和算と積算という比較的簡
素な演算処理だけで実現されるとともに、サブフィルタ
における演算が並列的に実行されるため、より高速にリ
アルタイムで空間周波数特性を調整できる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態による画像処理装
置のブロック図である。

【図２】 各サブフィルタの構成例を示すブロック図で
ある。

【図３】 第１の実施の形態による動作を示す説明図で
ある。

【図４】 空間周波数特性の一例を示す説明図である。

【図５】 空間周波数特性の他例を示す説明図である。

【図６】 第２の実施の形態による空間フィルタの構成
例を示すブロック図である。

【図７】 分配部の動作を示す説明図である。

【図８】 分配部の構成例を示すブロック図である。

【図９】 サブフィルタの他の構成例を示すブロック図
である。

【図１０】 第３の実施の形態による画像処理装置の構
成例を示すブロック図である。

【図１１】 ルックアップテーブルの入出力特性例を示
す説明図である。

【図１２】 ルックアップテーブルによる空間周波数特
性の変化を示す説明図である。

【図１３】 第４の実施の形態による画像処理装置の構
成例を示すブロック図である。

【図１４】 従来の画像処理装置を示すブロック図であ
る。

【符号の説明】

１，１Ａ，１Ｂ…画像処理装置、２…Ｍ×Ｍ空間フィル
タ、２０…フィルタ係数、２１…サブマトリクス、２２
…画素ブロック、２３〜２５…画素領域、３０〜３Ｎ…
サブフィルタ、４０〜４Ｎ…サブフィルタ出力、５…分
配部、５０Ａ，５０Ｃ…加算器、５００，５１０，５２
０…シフトレジスタ、６…合算器、７…補正部、８…ル
ックアップテーブル、９…加算器、１０…撮像部、１１
…信号変換部、１２…メモリ、１３…入力画像、１４…
Ｍ×Ｍ空間フィルタ出力、１５…補正出力、１６…補正
係数、１９…出力画像（空間周波数調整後）、Ｇ₁〜Ｇ₄
…画素群、Ａ〜Ｃ…領域値、Ｒ₀〜Ｒ_N…サブフィルタ係
数。

フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE06 CH07 CH09 DA20 DB02 DB06 DB09 5C082 AA27 BA14 BA20 BB26 BB51 CA21 CA81 CB01 DA01 EA02 MM02

Claims (11)

【特許請求の範囲】
1. 【請求項１】 マトリクス状に配置された多数の画素か
   らなり、かつ各画素がそれぞれの位置における輝度値を
   示す２次元の入力画像について、この入力画像を構成す
   る各画素を中心とするＭ×Ｍ（Ｍは３以上の奇数）画素
   からなる各サブマトリクスごとにその中心画素の新たな
   輝度値をそれぞれ算出することにより、入力画像の空間
   周波数特性を調整する画像処理装置において、 サブマトリクス内の１つ以上の画素からなる複数の画素
   群ごとに並列的に設けられ、対応する画素群に含まれる
   各画素の輝度値の和と、所望の空間周波数調整用フィル
   タ特性に応じた所定係数とを積算して出力する複数のサ
   ブフィルタと、 これらサブフィルタからの出力を合算しその合算結果を
   空間周波数特性の調整量として出力する合算手段と、 この合算手段で得られた調整量をその中心画素の元の輝
   度値に加算し中心画素の新たな輝度値として出力する加
   算手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 請求項１記載の画像処理装置において、 各画素群は、 中心画素からなる中心画素群と、 中心画素に対して点対称に位置する４つ以上の画素から
   なる複数の周辺画素群とからなることを特徴とする画像
   処理装置。
3. 【請求項３】 請求項１記載の画像処理装置において、 各周辺画素群は、 中心画素を中心とするｍ×ｍ（ｍは３〜Ｍの奇数）画素
   の範囲に位置する中心画素以外の画素、または中心画素
   の上下左右に隣接する４つの画素からなることを特徴と
   する画像処理装置。
4. 【請求項４】 請求項１記載の画像処理装置において、 各画素群に対応する係数として、２の累乗の和あるいは
   その負数を用いることを特徴とする画像処理装置。
5. 【請求項５】 請求項１記載の画像処理装置において、 各画素群に対応する係数として、中心画素またはその周
   辺画素から得られた２つの色差信号の大きさに応じた係
   数を用いることを特徴とする画像処理装置。
6. 【請求項６】 請求項１記載の画像処理装置において、 各サブフィルタは、 入力画像を構成する画素をＭ画素ライン数分だけ並列し
   て同一画素列ごとに画素ブロックとして順次取り込ま
   れ、かつこれら連続して取り込まれたＭ個の画素ブロッ
   クからなるサブマトリクスに含まれる各画素の輝度値を
   用いて、対応する画素群に含まれる各輝度値の和と所望
   の空間周波数調整用フィルタ特性に応じた所定係数とを
   順次積算して出力することを特徴とする画像処理装置。
7. 【請求項７】 請求項１記載の画像処理装置において、 合算手段と加算手段との間に設けられ、合算手段からの
   調整量を補正して出力する補正手段を備え、 加算手段は、この補正手段から出力された補正後の調整
   量を中心画素の元の輝度値に加算し中心画素の新たな輝
   度値として出力することを特徴とする画像処理装置。
8. 【請求項８】 請求項７記載の画像処理装置において、 補正手段は、 所定の入出力特性を有するルックアップテーブルを備
   え、 合算手段からの調整量に基づきそのルックアップテーブ
   ルを参照し、ルックアップテーブルから得られた出力値
   を補正後の調整量として出力することを特徴とする画像
   処理装置。
9. 【請求項９】 請求項８記載の画像処理装置において、 補正手段は、 合算手段からの調整量を量子化した値に基づきルックア
   ップテーブルを参照することを特徴とする画像処理装
   置。
10. 【請求項１０】 請求項８記載の画像処理装置におい
    て、 補正手段は、 前記サブマトリクス内の所定の画素群を構成する各画素
    の輝度値から算出した所定の統計量に基づき、ルックア
    ップテーブルから得られた出力値を再補正し、再補正し
    た出力値を補正後の調整量として出力することを特徴と
    する画像処理装置。
11. 【請求項１１】 請求項８記載の画像処理装置におい
    て、 補正手段は、 合算手段からの調整量を量子化した値に基づきルックア
    ップテーブルを参照するとともに、その調整量のうちル
    ックアップテーブルの参照に用いなかった切り捨て分に
    基づき、ルックアップテーブルから得られた出力値を補
    間し、補間した出力値を補正後の調整量として出力する
    ことを特徴とする画像処理装置。