JP4212741B2

JP4212741B2 - 画像処理装置

Info

Publication number: JP4212741B2
Application number: JP35084499A
Authority: JP
Inventors: 寿昭中平
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-12-09
Filing date: 1999-12-09
Publication date: 2009-01-21
Anticipated expiration: 2019-12-09
Also published as: JP2001167263A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の画像処理装置における画像データ入力時にシェーディング補正を行うと共に輪郭を強調する画像処理装置に関し、特に、シェーディング補正処理と輪郭強調処理とを共に実行する場合の画質劣化を改善することができる画像処理装置に関する。
【０００２】
【従来の技術】
画像処理装置の入力画像には、被写体を照らす太陽光あるいは照明装置の配光によりシェーディング（輝度むら）が発生する。シェーディングは、照明装置等により被写体を均一に照らすことにより除去できるが、そのためには特殊な照明装置を使用したり補助装置を使用する必要があり、しかも、その照明装置や補助装置の調整は非常に難しかった。したがって、一般的なデジタルカメラ等の画像処理装置により被写体を撮影する場合には、シェーディングは必ず発生している。
このシェーディングを補正するためにデジタルカメラ等では、撮影した画像データに対してシェーディング補正処理を行っている。シェーディング補正処理の方法については既に数多くの方法が知られている。例えば、差分法は、以下のようにしてシェーディング補正を行う。無彩色のサンプル板を撮影して得られた基準画像データに基づいて各画素についての輝度目標値との差の値を演算し、演算結果の値を各画素毎の補正データとして記憶する。次に通常の被写体を撮影した各画素毎の輝度情報に対して、前記各画素毎の補正データを加減算することによりシェーディング補正を行う。また、濃度変換法では、無彩色のサンプル板を撮影して得られた基準画像データに基づいて、各画素についての基準画像データから輝度目標値を得るための変換率を演算し、基準画像データと演算結果の変換率とから濃度変換テーブルを作成して記憶する。次に通常の被写体を撮影した各画素毎の輝度情報に対して、濃度変換テーブルから選出した変換率に基づいて前記各画素毎の輝度情報を変換（乗算）することによりシェーディング補正を行う。また、シェーディング補正の内容は、大きく分類して、輝度が高すぎる部分を低下させる黒シェーディング補正と、逆に、輝度が低すぎる部分を上昇させる白シェーディング補正とに分類される。
白シェーディング補正は、主にデジタルカメラのレンズ特性によって発生する「レンズの中心部分に比べ周辺部分の画像データ出力が低下する」という現象を例えば乗算機（主にゲインアップ）を用いて補正する。
上記の白シェーディング補正をより精度良く実施するために、例えば、特開平６−３１９０４２号公報では、被写体の画像データを記録する前に、複数のエリアに分割した校正板の基準画像データから各エリア毎の画素の輝度平均値を求めておき、その輝度平均値により被写体の画像データをシェーディング補正してから記録している。この公報の例では、被写体の画像データを複数のエリアに分割して各エリア毎の輝度平均値を求めておき、輝度平均値により被写体の画像データをシェーディング補正して記録しているので、基準画像データに混入するランダムノイズや校正板の表面テクスチャーの影響を受けず、シェーディング補正が容易になる。
【０００３】
一方、画像処理装置の出力画像においては、細かい文字や細かい模様等の線が途切れたり、かすれたりすることがある。この問題を解決するためには、線や文字等の輪郭（エッジ）を強調する輪郭強調処理が行われる。輪郭強調処理では、文字のシャープさやコントラストを改善するために、白から黒に変わる画素間の濃度変化を急峻にすることにより、線や文字の輪郭を強調する。すなわち、例えば、輪郭部（白から黒に変化する部分）の白側画素部分のゲインを増加させ、黒側画素部分との濃度差を大きくする。
ところが、例えば、特開平６−３１９０４２号公報に記載された技術のように複数のエリア毎にシェーディング補正処理を実施した後に上記の輪郭補正処理を実施する場合、複数のエリア毎にゲインが切り替わるため各エリアの境界線がエッジ（輪郭）状になって強調される。この各エリアの境界線部分が強調される場合、再生画像上に線状のノイズとして現れることになる。
上記のシェーディング補正処理後の輪郭強調処理によるノイズを除去する画像処理装置としては、例えば、特公平７−４０２９９号公報に記載された画像処理装置がある。この公報の画像処理装置は、シェーディング補正手段と輪郭強調処理を行なう処理手段とを備え、輪郭強調処理をシェーディング補正処理の前に行なうようにしている。また、輪郭強調処理後のシェーディング補正処理では、予め主走査方向に複数の画素からなるブロックを設けてブロック毎の輝度平均値を算出し、その輝度平均値を用いてシェーディング補正を実行している。したがって、この公報の例では、輪郭強調処理をシェーディング補正処理の前に行うようにすることで、シェーディング補正用のエリア境界に起因して再生画像上に線状ノイズが発生することを防止することにより画質が劣化しないようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特公平７−４０２９９号公報に記載された画像処理装置では、シェーディング補正用のエリア境界に起因する固定パターンノイズ（Fixed Pattern Noise：以下ＦＰＮと記載する）を防止しているだけであり、例えば、不規則に発生するランダムノイズを防止する技術については開示されていない。また、本公報の画像処理装置を用いてＦＰＮを防止する技術は、上記した差分法等により各エリア毎の補正データを加減算することによりシェーディング補正を行う場合に限られている。もし、上記した濃度変換法等により乗算機を用いてシェーディング補正を実施する場合には、上記公報に記載されたようにシェーディング補正手段と輪郭強調処理手段の構成順番を変えてもＦＰＮは発生してしまうからである。更に、上記公報の画像処理装置を用いて加減算機により白シェーディング補正をした場合は、ホワイトバランスが崩れたり、色の飽和度が補正を施さないブロックに比べ下がる等の問題が発生する。また、上記公報の画像処理装置にて濃度変換法等により乗算機を用いてシェーディング補正を実施する場合には、ランダムノイズ成分が強調されてしまう。
また、上記した特開平６−３１９０４２号公報の画像処理装置では、シェーディング補正値を算出する際の精度を上げているのみであるので、シェーディング補正処理後の画像に対するノイズを防止する技術については何ら開示されていない。従って、ランダムノイズ等の高周波ノイズに対するシグナル（Ｓ）／ノイズ（Ｎ）比を向上させる技術については全く示唆も開示もされていない。
ところが、一般的に、上記したようなシェーディング補正処理や輪郭強調処理等のために入力画像データに対するゲインを増加させると、ランダムノイズ成分もゲインが増加されてノイズレベルが上昇する。ランダムノイズがシェーディング補正が実行されるエリアに発生し、そのランダムノイズに対して輪郭強調処理が実施されると、ランダムノイズのレベルが再生画像上の線になって現れ、Ｓ／Ｎ比が低下する。
また、デジタルカメラ等の画像処理装置には、入射光量を調節できる絞りや、倍率を調整できるズーム等を有しているものがあり、そのような画像処理装置では、絞り量やズーミング倍率等の撮影条件によりシェーディング補正を実施するための係数が変わる。例えば、１個のデジタルカメラを用いて絞りを絞って撮影した場合には、各エリア毎のシェーディングはあまり顕著に発生しないことから、補正する為のゲインも少なくなり、画質の劣化が発生することはないが、同じデジタルカメラを用いて絞りを開放して撮影した場合には、シェーディングが非常に顕著に発生し、補正する為のゲインも大きくなる結果、輪郭強調処理により画質の劣化が発生することがある。
本発明は、上述した如き従来の問題を解決するためになされたものであって、シェーディング補正処理と共に輪郭強調処理を実行する場合であっても、ランダムノイズ等の高周波ノイズに対してＳ／Ｎ比の低下を抑えることができる画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述の目的を達成するため、請求項１の本発明の画像処理装置は、被写体からの入射光を焦点位置に結像させる撮像レンズと、入射光を入力画像データに変換する受光手段と、１画面全体の輝度が均一な被写体を撮影したときに発生する輝度むらを補正するシェーディング補正を行なうシェーディング補正手段と、入力画像データに対して輪郭を強調して設定する輪郭強調手段と、を有する画像処理装置において、前記シェーディング補正手段は、１画面を複数エリアに分割したエリア毎に定められているゲイン量で、当該エリア毎のシェーディング補正処理を行い、前記輪郭強調手段は、前記シェーディング補正手段が補正するエリア毎に、前記ゲイン量に対応させて、該ゲイン量が大きい場合に輪郭強調量を小さくするように設定して輪郭強調処理を行うことを特徴とする。請求項２の本発明は、請求項１に記載した画像処理装置において、被写体からの入射光の倍率を変更させるために撮像レンズの配置位置を変更可能なズーム手段と、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。請求項３の本発明は、請求項１に記載した画像処理装置において、入射光が通過可能な開口面積を変更することにより入射光の光量を調整する絞り手段と、絞り手段の開口面積に対応する絞り値の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記絞り手段の絞り値の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。請求項４の本発明は、請求項１に記載した画像処理装置において、被写体までの距離に対応して撮像レンズの配置位置を変更可能な合焦手段と、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。請求項５の本発明は、請求項１に記載した画像処理装置において、被写体画像に向けて補助光を照射する補助光照射手段と、前記補助光照射手段の配光特性の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記補助光照射手段を用いる場合に、前記シェーディング補正手段は、前記配光特性の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする。
【０００６】
請求項６の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、前記各エリア内を更に周波数領域毎に複数の領域に分割した各領域毎に輪郭強調量を設定可能であり、前記シェーディング補正手段のゲイン量に対応させた輪郭強調量を、各周波数領域毎に異なる画像の空間的周波数に基づいて変化させることを特徴とする。
請求項７の本発明は、請求項１に記載した画像処理装置において、被写体画像からの入射倍率を変更させるために撮像レンズの配置位置を変更可能なズーム手段と、入射光が通過可能な開口面積を変更することにより入射光の光量を調整する絞り手段と、被写体までの距離に対応して撮像レンズの配置位置を変更可能な合焦手段と、請求項２乃至４に記載した各シェーディング補正係数を各々独立した状態にて格納する記憶手段と、を備え、前記シェーディング補正手段は、前記ズーム手段、絞り手段、合焦手段の各状態に基づいて前記各シェーディング補正係数を掛け合わせて前記ゲイン量を決定することを特徴とする。
請求項８の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調量を可変制御することを特徴とする。
請求項９の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調処理が実行されない入力信号のレベル幅を可変制御することにより、前記輪郭強調量を可変制御することを特徴とする。
請求項１０の本発明は、請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調信号の出力レベルが一定である入力レベル範囲を可変制御することにより、前記輪郭強調量を可変制御することを特徴とする。
【０００７】
【発明の実施の形態】
以下、本発明を図示した実施形態に基づいて説明する。
図１は、本発明の一実施形態の画像処理装置の全体構成を示すブロック図である。
図１に示す様に、本実施形態の画像処理装置５０は、例えば、デジタルカメラ等であり、被写体からの入射光を焦点位置に結像させる撮像レンズ１と、入射光の光量を調節する絞り手段であると共に撮影画像を決定するシャッタ機能を備える絞り・シャッタ２と、入射光に含まれる被写体画像の光信号を電気信号（入力画像データ）に変換する受光手段であるＣＣＤ（電荷結合素子）３と、撮像レンズ１を移動させることにより入射光の倍率を変更するズーミングを行うズーム手段であるズームモータ４と、絞り・シャッタ２を駆動する絞り・シャッタモータ５と、撮像レンズ１を移動させることにより合焦させる合焦手段であるフォーカスモータ６と、タイミング信号を発生するＴＧ回路７と、ズームモータ４、絞り・シャッタモータ５、および、フォーカスモータ６を駆動するモータドライバ８と、ＣＣＤ３から入力した電気信号（画像信号）を相関二重サンプリングするＣＤＳ回路９と、画像信号のゲイン（増幅度）を自動調整するＡＧＣ回路１０と、アナログ信号の画像信号をデジタル信号に変換するＡ／Ｄ回路１１と、入力した画像信号に対して様々な画像処理を施す信号処理部２４と、信号処理部２４にて画像処理された画像信号を一時的に格納するフレームバッファ２５と、モータドライバ８、ＡＧＣ回路１０、信号処理部２４等を制御するマイクロプロセッサ等からなるＣＰＵ２９と、画像処理が施された画像信号に対して信号圧縮等の処理を実施して格納する記憶媒体３０と、各種設定値等を格納する記憶手段であるフラッシュＲＯＭ３１と、被写体に対する補助光照射手段であるストロボ装置４０と、から構成される。
【０００８】
また、ＣＤＳ回路９、ＡＧＣ回路１０、及び、Ａ／Ｄ回路１１としては、一般的に、1個のＩＣ内に一体化されたＣＤＳ・Ａ／Ｄ１２と呼ばれるＩＣが使用される。信号処理部２４中には、入力した画像信号に対してシェーディング補正処理を実施するシェーディング補正手段であるシェーディング補正回路１３と、現信号と合わせて５水平（Ｈ）ライン分の画像信号を格納できるバッファである４Ｈメモリ１４と、Ｒ、Ｇ、Ｂの３色の色信号に分離する色分離回路１５と、色信号が不十分なアドレスの信号を周囲の色信号量を参照して補完する信号補間回路１６と、画像信号に対して白色補正を実施するホワイトバランス（ＷＢ）補正回路１７と、画像信号に対してγ補正を実施するγ補正回路１８と、ＲＧＢの色信号パラメータを輝度信号と色差信号に変換する色差マトリックス回路１９と、画像信号に対して信号圧縮を実施するＪＰＥＧ回路２０と、文字あるいは線等の画像の輪郭を強調する輪郭強調手段であるアパーチャー補正回路２１と、同期信号を発生するＳＳＧ回路２２と、フレームバッファ２５及び記憶媒体３０への画像信号の書き込み及び読み出しを制御するメモリコントローラ２３と、を備えている。ＣＰＵ２９中には、内蔵された揮発性の記憶装置であるＲＡＭ２８を有しており、ＲＡＭ２８中には、シェーディング補正回路１３にて用いられる１画面中の各エリアにて使用されるシェーディング補正係数を含むシェーディング補正ルックアップテーブル２６とアパーチャー設定ルックアップテーブル２７が格納される。
【０００９】
また、図１に示した画像処理装置５０は以下のように動作する。
撮像レンズ１と、絞り・シャッタ２とを通過した光は、ＣＣＤ３によって光電変換されて電気信号（画像信号）になり、ＣＤＳ回路９に送出される。ＣＤＳ回路９では、ＣＣＤ３から受信した画像信号を順次サンプルホールドし、ＡＧＣ回路１０は、画像信号に一定のゲインを与える。ＡＧＣ回路１０を通過した画像信号は、順次、Ａ／Ｄ回路１１に送出されて１０ｂｉｔのデジタルデータに変換された後、信号処理部２４に送出される。
信号処理部２４に入力した画像信号は、シェーディング補正回路１３にて、シェーディング補正ルックアップテーブル２６から読み込まれたエリア毎に予め定められているシェーディング補正係数が乗算される。ＣＰＵ２９内のＲＡＭ２８に格納されたシェーディング補正ルックアップテーブル２６は、例えば、フラッシュＲＯＭ３１から電源投入時等に読み出されてＲＡＭ２８内に格納される。シェーディング補正ルックアップテーブル２６の書き込み／読み出しのタイミングはＳＳＧ回路２２からの同期信号に基づいて実施される。シェーディング補正が実施された画像信号は、メモリーコントローラー２３を経由してフレームバッファー２５に書き込まれる。
【００１０】
ここで、予め定められているシェーディング補正係数について説明する。
図２は、図１に示したシェーディング補正ルックアップテーブル２６の一例を示す図である。
シェーディング補正係数とは、例えば、図２のシェーディング補正ルックアップテーブル２６中の各エリアに示すような値であり、シェーディング補正のために画像信号に乗算するエリア毎の係数である。つまりｎ×ｍ画素からなる1エリア（ブロック）ごとにシェーディング補正するための係数を定め、更に、そのブロックを縦横に並べ（本実施形態では８ブロック×６ブロック）、１画面分のシェーディング補正データとしたテーブルである。このシェーディング補正係数は、１画面全体の輝度が均一な被写体を撮影し、その被写体の輝度分布を中心を１とした時の各エリアの比の値の逆数から求めたものである。
シェーディング補正係数は、ズーム付きのカメラにおける撮像レンズ１のズーム位置により変わり、多段階の絞りを有するカメラにおいてはその絞り・シャッタ２の絞り値により変わり、焦点調節機能付きのカメラにおいてはその焦点位置により変わり、更に、ストロボ装置４０付きのカメラにおいてはそのストロボ装置の発光の有無及び発光時の配光特性により変わる。従って、シェーディング補正ルックアップテーブル２６は、上記の撮像レンズ１のズーム位置毎、絞り・シャッタ２の絞り値毎、撮像レンズ１の焦点位置毎、ストロボ装置４０の配光特性を含んで発光の有無毎、に独立したテーブルとしてフラッシュＲＯＭ３１に予め格納しておく。このシェーディング補正ルックアップテーブル２６中のデータの形態としては、上記したズーム位置、絞り値、焦点位置、発光の有無等の各記録状態の全ての組み合わせ結果について補正値（シェーディング補正係数）を予め格納しておく方法も考えられるが、本実施形態では、ズーム位置、絞り値、焦点位置、発光の有無等に対して個別の状態毎に補正値を演算してシェーディング補正ルックアップテーブル２６を作成し、フラッシュＲＯＭ３１に格納した。従って、本実施形態では、画像信号を記録する時に、カメラの上記各記録状態によってそれぞれ必要なテーブルをフラッシュＲＯＭ３１から読み出し、それぞれの記録状態に対応する係数を掛け合わせて、ＣＰＵ２９内蔵のＲＡＭ２８に掛け合わせた結果を、図１中のシェーディング補正ルックアップテーブル２６に書き込む方法を用いる。
【００１１】
各記録状態の全ての組み合わせ結果について補正値をフラッシュＲＯＭ３１に予め格納しておく方法では、画像信号が入力された場合に、それぞれの記録状態に対応する係数（パラメータ）を掛け合わせる手間が無い為、高速でシェーディング用の補正係数を導き出すことができるが、ズーム倍率のステップ数が多いカメラや合焦のステップ数が多いカメラの場合は、全てのパラメータを掛け合わせた数のシェーディング補正ルックアップテーブル２６が必要になる為、フラッシュＲＯＭ３１に予め格納するシェーディング補正ルックアップテーブル２６が多数になってしまう。従って、シェーディング補正ルックアップテーブル２６を格納するためのフラッシュＲＯＭ３１のメモリー量も大きくなってしまう。一方、本実施形態のようにズーム位置、絞り値、焦点位置、発光の有無等の各記録状態毎に個別のシェーディング補正ルックアップテーブル２６を作成する場合には、ズーム倍率のステップ数や合焦のステップ数がのみをフラッシュＲＯＭ３１に格納するので、シェーディング補正ルックアップテーブル２６を格納する為のメモリー量を小さくすることができる。その結果、本実施形態では、使用するメモリー素子を減らせるため、カメラの小型化およびメモリーコストが減少することによるコストダウンが可能となる。
このシェーディング補正係数を導き出した際、そのシェーディング補正値に対応したアパーチャーの補正値（輪郭強調量）を、アパーチャー設定ルックアップテーブル２７に格納する。格納する輪郭強調量の設定方法については、図５を用いて後述する。
【００１２】
また、ＣＰＵ２９に内蔵されたＲＡＭ２８では、信号処理部２４内のＳＳＧ回路２２から画像信号に対する水平方向および垂直方向の同期信号を受信し、各エリア毎に必要となるシェーディング補正係数、及び、アパーチャー補正係数を各々の係数が対応する補正回路１３、２１に送出する。
本実施形態では、上記のシェーディング補正ルックアップテーブル２６を用いて画像信号に対するシェーディング補正を実施する。
メモリーコントローラー２３から読み出されたデータは４Ｈメモリー１４に送られる。４Ｈメモリー１４とは、現信号と合せて５水平ライン分の画像信号のデータを蓄えることのできるバッファーメモリのことある。４Ｈメモリー１４では、蓄えたデータを、３ラインによる高周波成分と、５ラインによる低周波成分とに分けて、アパーチャー（輪郭）成分の抽出を行う。本実施形態では、以下、３ラインによる高周波成分を高域アパーチャー成分と呼び、５ラインによる低周波成分を低域アパーチャー成分と呼ぶこととする。なお、１ライン分のバッファーメモリの記憶容量を拡大することにより、低周波と高周波の２領域よりも細かい周波数領域に分けることも可能である。４Ｈメモリー１４により分けられた高域および低域のアパーチャー成分は、アパーチャー補正回路２１に送出され、ここで予め定められたアパーチャー設定ルックアップテーブル２７中の各補正値（アパーチャー補正係数）に基づいて補正される。
【００１３】
ここで、予め定められているアパーチャー補正係数について説明する。
図３は、図１に示したアパーチャー補正ルックアップテーブル２７の一例を示す図である。なお、実際の図３のテーブル中の空白部分には所定のアパーチャー補正係数が格納されるが、本実施形態では空白部分のアパーチャー補正係数については用いないため、図面が煩雑にならないよう空白部分の記載を省略した。
アパーチャー補正係数とは、例えば、図３のアパーチャー補正ルックアップテーブル２７中の各エリアに示すような値であり、アパーチャー補正のために画像信号に乗算するエリア毎の係数である。また、エリアの設定は上記したシェーディング補正ルックアップテーブル２６の場合と同様である。このアパーチャー補正係数は、例えば、輝度信号（Ｙ）から連続する画素間の濃度差が一定値以上である場合を検出してその部分を輪郭部であると判断し、その部分の画像信号に対して所定のゲインを与えるものである。従来は、１画面の全てのエリアに対して均一にアパーチャー補正係数が乗算されていた。本実施形態では、１画面中の各エリア毎にアパーチャー補正係数を設定できるようにした。この各エリア毎のアパーチャー補正係数はテーブルとしてフラッシュＲＯＭ３１に予め格納される。また、本実施形態では、画像信号を記録する時に、アパーチャー補正ルックアップテーブル２７をフラッシュＲＯＭ３１から読み出し、ＣＰＵ２９内蔵のＲＡＭ２８中に書き込む。
本実施形態では、上記のアパーチャー補正ルックアップテーブル２７を用いて画像信号に対するアパーチャー補正を実施する。
一方、シェーディング補正回路１３にてシェーディング補正された後、４Ｈメモリー１４を通過した画像信号には、ホワイトバランス（ＷＢ）補正回路１７によるホワイトバランス補正処理やγ補正回路１８によるγ補正処理等の信号処理が施される。４Ｈメモリーを通過した画像信号は、まず、色分離回路１５にて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の色信号に分離される。次に、各色信号は、信号補間回路１６において、例えば、Ｒのプレーン画像であれば、現信号ではＧ、Ｂの信号が入っていたアドレスについての情報を周りのＲ信号に基づいて補間することにより、全面Ｒ信号のべたのプレーン画像を作成する。Ｇ、Ｂについても同様に補間してプレーン画像を作成する。このようにしてできたＲ、Ｇ、Ｂのべたプレーン画像には、ホワイトバランス補正回路１７にて各色毎に所定のゲインが加えられ、さらに、γ補正回路１８にてγ補正され、色差マトリックス回路１９にて、Ｒ、Ｇ、Ｂ等の色信号からＹ、Ｃｂ、Ｃｒ等の輝度・色差信号への変換が実施される。輝度・色差信号に変換された画像信号では、前述のアパーチャー補正回路２１で補正されたアパーチャー成分がＹ信号に付加され、メモリーコントローラー２３を経由して再度フレームバッファー２５に書き込まれる。その後、フレームバッファー２５から読み出された画像信号は、所定のデータサイズになるようＪＰＥＧ回路２０にてＪＰＥＧ圧縮され、記録媒体３０に記録される。
本実施形態では、以上のように画像信号が流れる。次に、本実施形態の特徴的な動作および効果について説明する。
【００１４】
図４は、図２あるいは図３に示した１画面分のテーブル中のＡ−Ａ'間の１水平ラインについて、画像信号の輝度分布を示した図であり、（イ）が補正前の輝度分布を示し、（ロ）がシェーディング補正された輝度分布を示し、（ハ）がシェーディング補正後更に全エリア同一値のアパーチャー補正係数を用いてアパーチャー補正された輝度分布を示している。
なお、図４では図示の簡略化のために、被写体を照射する光源は均一光源であり、且つ、Ｒ、Ｇ、Ｂ各色の出力が１：１：１になるような被写体を写した場合を前提とする。また、本実施形態では、図４（イ）に示したようにＡ／Ｄ回路１１の出力（画像信号）が全体的になだらかな弧を描く弓型になって、１画面の両端部９１、９２の輝度が後述する不感領域よりも低下する状態をシェーディングとしている。さらに、図４中の弓形の輝度分布中の各所にランダムに発生している凸凹に突出するランダムノイズ９３等は、ＣＣＤ３中の欠陥画素、或いは、ＣＣＤ３の受光面を被覆するシールガラスに付着したゴミ等により、Ａ／Ｄ回路１１の出力が部分的に上昇、下降する状態を示している。
また、図４（イ）〜図４（ハ）中の補正目標レベルの上下の点線により挟まれた領域は、不感領域と称し、画像の輝度を上昇させる（明るくする）か低下させる（暗くする）場合に、一般的に人が不快に感じない輝度の領域を示している。不感領域内では、輝度の変動があっても、人は不快に感じないが、不感領域を越えて輝度が上昇あるいは低下すると人は不快に感じる。なお、図４の輝度分布では、各補正段階毎の相違がわかりやすいように、各補正による各部の輝度の変化量を誇張して表現している。
【００１５】
図４（イ）の補正が施されない輝度分布では、１画面中の両端部９１、９２については輝度分布が不感領域以下になっており、人は画像を暗いと認知し不快に感ずる。また、ランダムノイズ９３は不感領域内であるので、人が不快に感じない。
図４（ロ）のシェーディング補正が施された輝度分布では、シェーディング補正されたことにより、各エリア毎の平均輝度レベルは、中心エリア（図２中のｄ４及びｄ５）の平均輝度レベルである図中の補正目標レベルに合せ込まれる。また、各エリア内の輝度分布は全て不感領域内に入っている。また、ランダムノイズ９３ａも不感領域内であるので、人が不快に感じない。
図４（ハ）のシェーディング補正後に更に画面全体（全エリア）に同一値のアパーチャー補正係数によりアパーチャー補正が施された輝度分布では、輝度分布中のランダムノイズ９３ｂ（図中左側の凸の部分）が不感領域から突出している。これは、補正前の図４（イ）におけるランダムノイズ９３等の凸凹のレベルが同程度あり、また、アパーチャー補正処理によりランダムノイズ９３ｂおよび他の濃度差発生部に付加される輪郭強調量は各エリア共同一であっても、アパーチャー補正される前のシェーディング補正量が周辺部分の輝度信号ほど大きいため、そのシェーディング補正用のゲインによりランダムノイズ９３ｂの突出量が他のランダムノイズの突出量よりも大きくなるためである。すなわち、ランダムノイズ９３ｂは、他のランダムノイズよりもシェーディング補正によるゲインが多いためランダムノイズ９３ｂの突出量も他のランダムノイズよりも大きくなり、更に、その上に全エリアに同一レベルの輪郭強調量が付加されたため、ランダムノイズ９３ｂのみ不感領域から突出してしまったものである。
本実施形態では、図４（ハ）に示したようなランダムノイズ９３ｂが不感領域から突出する事態を防止するために、図３に示したようにアパーチャー補正ルックアップテーブル２７を用いて画像信号に対するアパーチャー補正（輪郭強調量）をエリア毎に可変制御する。
また、本実施形態では、図３のアパーチャー補正ルックアップテーブル２７中に示したように、シェーディング補正係数が大きい場合、即ち、シェーディング補正のゲイン量が多い場合には、ランダムノイズ９３ａ等が不感領域から突出しないように、アパーチャー補正係数を小さくしている。図３中のエリアｄ１およびエリアｄ８では、シェーディング補正のゲイン量が多いため、アパーチャー補正係数が他のエリアｄ２〜エリアｄ７の１．３に比べて１．１と小さくなっている。このように、各エリア毎にシェーディング補正する際のゲイン量に対応させてアパーチャー補正係数（輪郭強調量）を設定することによりランダムノイズ９３等が不感領域から突出しないように画像信号（輝度信号）を補正することができる。
【００１６】
ここで、輪郭強調量の設定方法について図５を用いて説明する。
図５は、輪郭部の輝度信号（アパーチャー信号）の入力レベルと出力レベルをの関係を示す図であり、横軸（ｘ軸）がアパーチャー信号の入力レベルを示し、縦軸（y軸）がアパーチャー信号の出力レベルを示している。
コアリングレベル６０は、入力アパーチャー信号に対してどこから輪郭強調を施すかを決める範囲、逆に見れば、輪郭強調処理が実行されない入力レベル範囲の幅を示している。本実施形態では、例えば、このコアリングレベル６０を広げるように可変制御することにより、輪郭強調量を可変制御して設定し、ランダムノイズ９３ａ等が不感領域から突出しないようにそのエリアのアパーチャー補正係数を小さくするか、ランダムノイズ９３が発生するエリアに輪郭強調処理が実施されないようにすることができる。
アパーチャーゲイン７０は、入力アパーチャー信号に対して出力アパーチャー信号をどれだけ増幅（輪郭を強調）するか、すなわち、輪郭強調量を示している。本実施形態では、例えば、このアパーチャーゲイン７０を可変制御することにより、輪郭強調量を可変制御して設定し、ランダムノイズ９３ａ等が不感領域から突出しないようにそのエリアのアパーチャー補正係数を小さくするか、ランダムノイズ９３が発生するエリアに輪郭強調処理が実施されないようにすることができる。
アパーチャーリミット８１、８２は、入力アパーチャー信号に対して出力アパーチャー信号の増幅度が一定となることにより入力アパーチャー信号に対してどのレベルまで輪郭強調を施すかを決めるかの範囲を示している。本実施形態では、例えば、このアパーチャーリミット８１、８２の入力レベル範囲を可変制御することにより、輪郭強調量を可変制御して設定し、ランダムノイズ９３ａ等が不感領域から突出しないようにそのエリアのアパーチャー補正係数を小さくするか、ランダムノイズ９３が発生するエリアに輪郭強調処理が実施されないようにすることができる。
本実施形態では、上記何れかの方法あるいは上記各方法の組み合わせによりランダムノイズ９３ａ等に対する輪郭強調量を抑えて、ランダムノイズ９３ａ等が不感領域から突出しないようにできる。
【００１７】
また、本実施形態のアパーチャー補正回路２１（輪郭強調手段）は、図２及び図３に示した各エリア内を更に周波数領域毎に複数の領域に分割した各領域毎に輪郭強調量を設定するようにできる。その場合には、シェーディング補正回路１３に用いられるゲイン量に対応させた輪郭強調量を、各周波数領域毎に異なる画像の空間的周波数に基づいて変化させるようにする。このように構成することにより、例えば、空間周波数に基づいて達成される開放感を保ちつつ画質劣化を防止しＳ／Ｎ比を改善することができる。
また、上記したように、絞り・シャッタ２の絞り値、撮像レンズ１のズーム位置、撮像レンズ１の合焦位置、ストロボ装置４０の配光特性等の違いに応じて、画像信号に対して図４（ロ）に示すよりも大きなシェーディング補正が実施される場合がある。その場合には、シェーディング補正係数の変わる各エリアの境界における輝度差が大きくなり、この境界の輝度差が輪郭と判断される。すると、アパーチャー補正回路２１によりエリア境界の輝度差が強調され不感領域から突出する場合がある。本実施形態では、絞り・シャッタ２の絞り値、撮像レンズ１のズーム位置、撮像レンズ１の合焦位置、ストロボ装置４０の配光特性等の違い、及び、ストロボ装置発光の有無によりエリア毎の輪郭強調量を最適であるように設定し、エリア境界の輝度差が強調され不感領域から突出しないようにできる。従って、本実施形態を用いることにより、画像情報（画像データ）の画質劣化を防止しＳ／Ｎ比を改善することができる。
なお、本実施形態に示したエリアの分割数、シェーディング補正係数、アパーチャー補正係数は一例であり、本発明はこれに限られるものではないことはいうまでもない。
【００１８】
【発明の効果】
上記のように請求項１の本発明では、シェーディング補正処理と輪郭強調処理を共に実施することにより生ずる画質の劣化を、輪郭強調量を変化させることによって減少させ、Ｓ／Ｎ比を改善することができる。
請求項２の本発明では、撮像レンズのズーム位置によって変化するシェーディング補正量を予め知ることができるので、各々のズーム位置における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項３の本発明では、絞り値によって変化するシェーディング補正量を予め知ることができるので、各々の絞り値における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項４の本発明では、撮像レンズの合焦位置によって変化するシェーディング補正量を予め知ることができるので、各々の合焦位置における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項５の本発明では、ストロボ装置の発光の有無によって変化するシェーディング補正量を予め知ることができるので、ストロボ装置を発光した時、発光しない時、各々の時における最適な輪郭強調量を得ることができ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項６の本発明では、輪郭成分の周波数特性を知ることにより、周波数別に輪郭強調量を変えるので、解像感を保ちつつ、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項７の本発明では、記憶すべきシェーディング補正量のデータを少なくすることができるので、コストダウンおよびカメラを小型化することができる。
請求項８の本発明では、輪郭強調のゲインを変えることにより、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項９の本発明では、コアリングレベルを変えることにより、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
請求項１０の本発明では、アパーチャーリミットのレベルを変えることにより、画質の劣化を減少させ、Ｓ／Ｎ比を改善することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像処理装置の全体構成を示すブロック図である。
【図２】図１に示したシェーディング補正ルックアップテーブルの一例を示す図である。
【図３】図１に示したアパーチャー補正ルックアップテーブルの一例を示す図である。
【図４】図２あるいは図３に示した１画面分のテーブル中のＡ−Ａ'間の１水平ラインについて画像信号の輝度分布を示した図であり、（イ）が補正前の輝度分布を示し、（ロ）がシェーディング補正された輝度分布を示し、（ハ）がシェーディング補正後更に全エリア同一値のアパーチャー補正係数を用いてアパーチャー補正された輝度分布を示す。
【図５】輪郭部の輝度信号（アパーチャー信号）の入力レベルと出力レベルをの関係を示す図である。
【符号の説明】
１・・・撮像レンズ、２・・・絞り・シャッタ、３・・・ＣＣＤ、４・・・ズームモータ、５・・・絞り・シャッタモータ、６・・・フォーカスモータ、７・・・ＴＧ回路、８・・・モータドライバ、９・・・ＣＤＳ回路、１０・・・ＡＧＣ回路、１１・・・Ａ／Ｄ回路、１２・・・ＣＤＳ・Ａ／Ｄ（ＩＣ）、１３・・・シェーディング補正回路、１４・・・４Ｈメモリ、１５・・・色分離回路、１６・・・信号補間回路、１７・・・ＷＢ（ホワイトバランス）回路、１８・・・γ補正回路、１９・・・色差マトリックス回路、２０・・・ＪＰＥＧ回路、２１・・・アパーチャー補正回路、２２・・・ＳＳＧ回路、２３・・・メモリーコントローラー、２４・・・信号処理部、２５・・・フレームバッファ、２６・・・シェーディング補正ルックアップテーブル、２７・・・アパーチャー設定ルックアップテーブル、２８・・・ＲＡＭ（ＣＰＵ内蔵）、２９・・・ＣＰＵ、３０・・・記録媒体、３１・・・フラッシュＲＯＭ、４０・・・ストロボ装置、５０・・・画像処理装置（デジタルカメラ）

Claims

被写体からの入射光を焦点位置に結像させる撮像レンズと、入射光を入力画像データに変換する受光手段と、１画面全体の輝度が均一な被写体を撮影したときに発生する輝度むらを補正するシェーディング補正を行なうシェーディング補正手段と、入力画像データに対して輪郭を強調して設定する輪郭強調手段と、を有する画像処理装置において、
前記シェーディング補正手段は、１画面を複数エリアに分割したエリア毎に定められているゲイン量で、当該エリア毎のシェーディング補正処理を行い、
前記輪郭強調手段は、前記シェーディング補正手段が補正するエリア毎に、前記ゲイン量に対応させて、該ゲイン量が大きい場合に輪郭強調量を小さくするように設定して輪郭強調処理を行うことを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、被写体からの入射光の倍率を変更させるために撮像レンズの配置位置を変更可能なズーム手段と、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、入射光が通過可能な開口面積を変更することにより入射光の光量を調整する絞り手段と、絞り手段の開口面積に対応する絞り値の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記絞り手段の絞り値の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、被写体までの距離に対応して撮像レンズの配置位置を変更可能な合焦手段と、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記シェーディング補正手段は、前記撮像レンズの配置位置の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、被写体画像に向けて補助光を照射する補助光照射手段と、前記補助光照射手段の配光特性の違いに応じて異なるシェーディング補正係数を予め記憶する記憶手段と、を備え、前記補助光照射手段を用いる場合に、前記シェーディング補正手段は、前記配光特性の違いに応じて異なるシェーディング補正係数を用いて前記ゲイン量を決定することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、前記輪郭強調手段は、前記各エリア内を更に周波数領域毎に複数の領域に分割した各領域毎に輪郭強調量を設定可能であり、前記シェーディング補正手段のゲイン量に対応させた輪郭強調量を、各周波数領域毎に異なる画像の空間的周波数に基づいて変化させることを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、被写体画像からの入射倍率を変更させるために撮像レンズの配置位置を変更可能なズーム手段と、入射光が通過可能な開口面積を変更することにより入射光の光量を調整する絞り手段と、被写体までの距離に対応して撮像レンズの配置位置を変更可能な合焦手段と、請求項２乃至４に記載した各シェーディング補正係数を各々独立した状態にて格納する記憶手段と、を備え、前記シェーディング補正手段は、前記ズーム手段、絞り手段、合焦手段の各状態に基づいて前記各シェーディング補正係数を掛け合わせて前記ゲイン量を決定することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調量を可変制御することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調処理が実行されない入力信号のレベル幅を可変制御することにより、前記輪郭強調量を可変制御することを特徴とする画像処理装置。
請求項１に記載した画像処理装置において、前記輪郭強調手段は、輪郭強調信号の出力レベルが一定である入力レベル範囲を可変制御することにより、前記輪郭強調量を可変制御することを特徴とする画像処理装置。