JP2007067625A - カメラシステムにおけるフィルタ補正回路 - Google Patents

Abstract

【課題】逆変換フィルタを用いた焦点ボケ補正は、焦点ボケが変わると、また、低照度時等のＳ／Ｎ比が悪いときは、逆に画質を劣化させてしまう可能性がある。
【解決手段】サンプルエリア単位で入力映像信号の周波数帯域と変動レベルを検知するサンプルエリア情報検出回路２１と、フィルタエリア単位で入力映像信号の周波数帯域と変動レベルを検知するフィルタエリア情報検出回路２２と、サンプルエリアの検出情報に基づいて各サンプルエリアがどのフィルタ条件に該当するかを判断し、フィルタエリアの検出情報に基づいて画素単位または少数画素群単位で適用すべきフィルタ種類を決定し、選択制御信号を生成するフィルタ条件切り替え判定回路２３と、フィルタ条件切り替え判定回路による選択制御信号に基づいてフィルタ係数レジスタ２４における特性を異にする複数種類のフィルタ係数のうちから適用すべきフィルタ係数を選択するセレクタ２５とを備える。
【選択図】図３

Description

本発明は、イメージセンサの信号を入力とするカメラ等の映像信号処理に用いられるフィルタ補正回路に関する。

従来のカメラではフォーカスを合わせるためにオートフォーカス機能等を搭載していたが、近時は、携帯電話等の小型のモジュールとしてのカメラ用途が増えてきており、カメラモジュールとしての小型化、薄型化が課題となっている。オートフォーカス用のレンズはサイズ的に大きくなるため、小型化に対しては不利である。そこで、単焦点のレンズを使用し、信号処理的にレンズの焦点ボケやブレを補正することが、小型カメラモジュールを構成するために重要な要素のひとつとなっている。

信号処理的にレンズの焦点ボケを補正する手段としては、レンズの焦点ボケによる劣化関数（ＰＳＦ）の逆関数を掛けることが一般的であり、図１７に示す構成となる。入力された映像信号は劣化関数７１により劣化した映像信号となる。さらに劣化した映像信号に対して加算部７２でノイズｎが付加された映像信号となり、補正部７３へ入力される。補正部７３は、ノイズ除去部７４と逆変換フィルタ部７５から構成されている。補正部７３へ入力された映像信号は劣化した映像信号に対しノイズ成分が付加されている。そのため、補正部７３では、まずノイズ除去部７４でノイズ除去を行い、その後、逆変換フィルタ部７５で劣化関数の逆数を掛けることで補正を行い、補正信号として出力する。

この補正回路を実際のカメラシステムに組み込んで考えると、図１８となる。光はすべてレンズ６を通してイメージセンサ７へ入力される。焦点ボケがある画像では、レンズ６の部分で焦点ボケの劣化ｉが発生する。劣化した信号はイメージセンサ７にて電気信号に変換され、アナログ処理回路８へ入力される。このときイメージセンサ７、イメージセンサ７からアナログ処理回路８への信号線、およびアナログ処理回路８はすべてアナログ信号であり、ノイズを受けやすい状態にある。ここで、それぞれノイズｎ１，ｎ２，ｎ３が付加された映像信号となる。ノイズが付加された映像信号はアナログ処理回路８でＡ／Ｄ変換され、デジタル信号となり、デジタル信号処理回路９に入力される。デジタル信号処理回路９は、ノイズ除去回路１０、逆変換フィルタ１１Ａ、ＹＣ処理回路１２および記憶素子１３から構成されている。デジタル変換された映像信号はノイズ除去回路１０に入力され、ノイズの除去が行われる。ノイズ除去が行われた映像信号は記憶素子１３に入力され、フィルタ構成に必要な領域分をデータ保持する。次に、記憶素子１３から逆変換フィルタ１１Ａに映像信号は入力され、逆変換フィルタ１１Ａにおいて劣化関数の逆数を掛けることで劣化（焦点ボケ）の補正を行い、再度、記憶素子１３へと映像信号を入力し、記憶する。このとき、記憶素子１３に記憶された映像信号は焦点ボケに対する補正を行った信号となっており、その映像信号に対してＹＣ処理回路１２で処理を行い、デジタル映像信号として出力する。逆変換フィルタ１１Ａは、図１９で示すように単純なフィルタ構成であり、逆変換の関数を係数としたフィルタ係数のみで構成されている。

このカメラシステムにおいては、レンズの焦点ボケの劣化関数が決まっているときは有効な手段であるが、焦点ボケの劣化関数が変わってきたときにうまく補正がかからない。また、アナログ信号状態でイメージセンサ、アナログ処理回路で異なるノイズ成分が付加されてしまうため、ノイズ除去で１００％ノイズを除去するのは困難である。ノイズ成分が映像信号に残ってしまった場合、逆変換フィルタにてノイズ成分を強調してしまうため、逆に画質劣化を起こすことが課題となる。

映像信号をフーリエ変換し、変換した信号の振幅成分に対して閾値を設け、閾値以上では逆変換を行い、閾値以下では処理を行わないようにすれば、ノイズ成分強調の課題は回避することができる（例えば、特許文献１参照）。また、動きベクトル等を用いて補正を行えば、劣化関数が変化したときも対応は可能となる（例えば、特許文献２参照）。
特開昭６０−２４９４７５号公報（第２−３頁、第１図） 特開２０００−１３６４３号公報（第７−９頁、第３−１０図）

従来の技術においては、一定の焦点ボケに対してノイズが少ない状態では有効であるが、焦点ボケが変わってしまったとき、また、低照度時等のＳ／Ｎ比が悪いときは、逆に画質を劣化させてしまう可能性がある。

本発明は、このような事情に鑑みて創作したものであり、焦点ボケの変動に対する追従精度を上げ、解像度よりもＳ／Ｎ比の劣化が気になるような低照度時の映像信号のＳ／Ｎ比を改善するような適応型のフィルタ補正回路を実現することを目的としている。

本発明によるカメラシステムにおけるフィルタ補正回路は、
１画面が複数に分割されたサンプルエリア単位で入力映像信号の周波数帯域と変動レベルを検知するサンプルエリア情報検出手段と、
１画面が複数に分割されたフィルタエリア単位で前記入力映像信号の周波数帯域と変動レベルを検知するフィルタエリア情報検出手段と、
前記サンプルエリア情報検出手段による検出情報に基づいて各サンプルエリアがどのフィルタ条件に該当するかを判断し、前記フィルタエリア情報検出手段による検出情報に基づいて画素単位または少数画素群単位で適用すべきフィルタ種類を決定し、選択制御信号を生成するフィルタ条件切り替え判定手段と、
特性を異にする複数種類のフィルタ係数を備えたフィルタ係数レジスタと、
前記フィルタ条件切り替え判定手段による前記選択制御信号に基づいて前記フィルタ係数レジスタにおける複数種類のフィルタ係数のうちから適用すべきフィルタ係数を選択するセレクト手段とを備えている。

上記において、好ましい態様として次のようなものがある。

すなわち、上記において、前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として複数種類の逆変換フィルタ係数を含み、前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段による周波数帯域と前記フィルタエリア情報検出手段による周波数帯域とに応じて複数種類の前記逆変換フィルタ係数のいずれを適用するかを決定するという態様がある。ここで複数種類の逆変換フィルタ係数とは、例えば、３画素３ライン逆変換フィルタ係数、５画素５ライン逆変換フィルタ係数といった具合である。

また、上記において、前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として逆変換フィルタ係数と平均値フィルタ係数とを含み、前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段による変動レベルと前記フィルタエリア情報検出手段による変動レベルとに応じて前記逆変換フィルタ係数と前記平均値フィルタ係数のいずれを適用するかを決定するという態様がある。

また、上記において、前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として逆変換フィルタ係数と平均値フィルタ係数とローパスフィルタ係数とを含み、前記フィルタ条件切り替え判定手段は、前記逆変換フィルタ係数と前記平均値フィルタ係数の切り替え情報を基に、前記逆変換フィルタ係数と前記平均値フィルタ係数の切り替えの境界部に前記ローパスフィルタ係数を適用するという態様がある。両領域の境界部分に関しては、ローパスフィルタ係数を適用することで滑らかな画像を実現する。

また、上記構成において、前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として逆変換フィルタ係数と複数種類の平均値フィルタ係数とを含み、前記フィルタ条件切り替え判定手段は、前記平均値フィルタ係数の適用時に変動レベルが小さな領域の広さに応じて複数種類の前記平均値フィルタ係数のいずれを適用するかを決定するという態様がある。該当する領域の広さに応じたフィルタ係数の適応性が発揮される。

以上のように、高周波映像領域には逆変換フィルタ係数を適用し、ＤＣ成分の映像領域には平均値フィルタ係数を適用する。また、必要に応じて、両領域の境界部分に関しては画像を滑らかにするためローパスフィルタ係数を適用する。このようにして、焦点ボケの変動に対する追従精度を上げながら焦点ボケの画像を補正し、良好な画像を得ることができるとともに、解像度よりもＳ／Ｎ比の劣化が気になるような低照度時の映像信号のＳ／Ｎ比改善を行うことができる。

また、上記の構成において、前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段によるサンプルエリアの色情報、配置位置の少なくとも一方の情報および前記フィルタエリア情報検出手段によるフィルタエリアの色情報に応じて、前記逆変換フィルタ係数と前記平均値フィルタ係数のいずれを適用するかを決定するという態様がある。高周波成分があってもレベルが低いと、ノイズの可能性がある。草木や芝生は色信号に特徴が出て緑の成分が大きくなる。また、砂場やアスファルトは通常足元にあって画像の下の部分にのみある。緑に近い色は逆変換フィルタがかかりやすくなり、その他の色は平均値フィルタがかかりやすくなる。このように、被写体状況に応じたフィルタ係数の適応性が発揮される。

また、上記構成において、前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段と前記フィルタエリア情報検出手段の少なくともいずれか一方の輝度レベルデータ、色レベルデータの少なくともいずれか一方のデータを基にフィルタ係数の中心係数のみを変更することで補正レベルを変更するという態様がある。中心係数を大きくすると、周辺画素に対する注目画素の比率が大きくなりフィルタのかかりは小さくなる。逆に中心係数を小さくすればフィルタのかかりは大きくなる。

また、上記において、ＹＣ処理の前のベイヤー配列の状態において、Ｒ，Ｇ，Ｂ毎に適応フィルタによる補正を行うことでリアルタイムに補正を実施するという態様がある。

また、上記において、ＹＣ処理の後のＹ、Ｃｒ，Ｃｂに対して適応フィルタによる補正を行い、このとき画像に応じてフィルタの切り替え条件を切り替え、補正を実施するという態様がある。

また、上記において、前記サンプルエリア情報検出手段による検出情報をＣＰＵに取り込むことでフィルタ切り替え精度を上げ、補正を実施するという態様がある。

また、上記において、前記サンプルエリア情報検出手段を、その他の検波手段と併用することで補正を実施するという態様がある。

小型化のカメラシステムにおいて、焦点ボケの画像を補正し、良好な画像を得ることができるとともに、解像度よりもＳ／Ｎ比の劣化が気になるような低照度時の映像信号のＳ／Ｎ比改善を行うことができる。

また、ＹＣ処理後の後フィルタとして用いることで、フィルタ係数をカスタマイズして補正精度も上げることも可能となり、記録した映像データを補正する手段として有効である。

以下、本発明にかかわるカメラシステムにおけるフィルタ補正回路の実施の形態を図面に基づいて詳細に説明する。

図１は本発明の実施の形態のカメラシステムにおけるフィルタ補正回路の概念説明図である。入力された映像信号は劣化関数１により劣化した映像信号となる。さらに劣化した映像信号に対して加算部２でノイズｎが付加された映像信号となり、補正部３へ入力される。補正部３は、ノイズ除去部４と適応型フィルタ部５から構成されている。補正部３へ入力される映像信号は劣化した映像信号にノイズ成分が付加されている。そのため、補正部３では、まずノイズ除去部４でノイズ除去を行い、その後、適応型フィルタ部５で周波数成分、変動レベルを検知し、逆関数フィルタ処理、平均化フィルタ処理、ローパスフィルタ処理を適応的に実施して補正を行い、補正信号として出力する。適応型フィルタ部５の部分が直接的な技術改善対象となる。

この補正回路を実際のカメラシステムに組み込んで考えると、図２となる。光はすべてレンズ６を通してイメージセンサ７へ入力される。焦点ボケがある画像では、レンズ６の部分で焦点ボケの劣化ｉが発生する。劣化した信号はイメージセンサ７にて電気信号に変換され、アナログ処理回路８へ入力される。このときイメージセンサ７、イメージセンサ７からアナログ処理回路８への信号線、およびアナログ処理回路８はすべてアナログ信号が対象であり、ノイズを受けやすい状態にある。アナログ処理回路８での映像信号はノイズｎ１，ｎ２，ｎ３が付加された映像信号となる。ノイズが付加された映像信号はアナログ処理回路８でＡ／Ｄ変換されてデジタル信号となり、デジタル信号処理回路９に入力される。デジタル信号処理回路９は、ノイズ除去回路１０、適応型フィルタ補正回路１１、ＹＣ処理回路１２および記憶素子１３から構成されている。

デジタル変換された映像信号はノイズ除去回路１０に入力され、ノイズの除去が行われる。ノイズ除去を行った映像信号は、記憶素子１３に入力され、フィルタ構成に必要な領域分をデータ保持する。次に、記憶素子１３から適応型フィルタ補正回路１１に入力され、適応型フィルタ補正回路１１において画質劣化（焦点ボケ）の補正を行い、再度、記憶素子１３へと映像信号を入力し、記憶する。このとき、記憶素子１３に記憶された映像信号は焦点ボケに対する補正を行った信号となっており、その映像信号をＹＣ処理回路１２で処理を行い、デジタル映像信号として出力する。

このとき、従来構成と異なるのは、適応型フィルタ補正回路１１の部分であり、適応型フィルタ補正回路１１が直接的な技術改善対象となる。以下に、適応型フィルタ補正回路１１について説明する。

図３は本実施の形態における適応型フィルタ補正回路１１の構成を示すブロック図である。適応型フィルタ補正回路１１は、１画面が複数に分割されたサンプルエリア単位で入力映像信号の周波数帯域と変動レベル等を検知するサンプルエリア情報検出回路２１と、１画面が複数に分割されたフィルタエリア単位で入力映像信号の周波数帯域と変動レベル等を検知するフィルタエリア情報検出回路２２と、サンプルエリア情報検出回路２１による検出情報に基づいて各サンプルエリアがどのフィルタ条件に該当するかを判断し、フィルタエリア情報検出回路２２による検出情報に基づいて画素単位または少数画素群単位で適用すべきフィルタ種類を決定し、選択制御信号を生成するフィルタ条件切り替え判定回路２３と、特性を異にする複数種類のフィルタ係数を備えたフィルタ係数レジスタ２４と、フィルタ条件切り替え判定回路２３による選択制御信号に基づいてフィルタ係数レジスタ２４における複数種類のフィルタ係数のうちから適用すべきフィルタ係数を選択するセレクタ２５と、フィルタ処理演算を行うフィルタ処理回路２６とを備えている。フィルタ係数レジスタ２４は、３画素３ライン逆変換フィルタ係数、５画素５ライン逆変換フィルタ係数、フィルタなし係数、ローパスフィルタ係数、３画素３ライン平均値フィルタ係数、５画素５ライン平均値フィルタ係数を有している。５画素５ラインの場合の平均値フィルタ係数、ローパスフィルタ係数および逆変換フィルタ係数の一例を図４に示す。

サンプルエリア情報検出回路２１は、入力映像信号に対して、周波数成分の算出、変動レベルの算出、輝度レベルの算出、色信号レベルの算出を行う。サンプルエリアは、図５で示すように１画面を分割したそれぞれのエリアのことを示しており、すべてのサンプルエリアに関して、サンプルエリアごとに処理を行う。図５では、１画面をＧ１〜Ｇ１２のように１２分割している。サンプルエリア情報検出回路２１は、このサンプルエリアＧ１〜Ｇ１２のそれぞれのエリア毎に、周波数成分の算出、変動レベルの算出、輝度レベルの算出、色信号レベルの算出を行う。その算出結果は、フィルタ条件切り替え判定回路２３に入力される。

フィルタエリア情報検出回路２２は、入力映像信号に対して、周波数成分の算出、変動レベルの算出、輝度レベルの算出、色信号レベルの算出を行う。このとき算出の対象となるエリアは、実際にフィルタを形成するｎ×ｎの領域となる。ここでは、図６で示すフィルタのように、５×５の領域の場合を例に説明を行う。フィルタエリア情報検出回路２２で検出された周波数成分の算出結果、変動レベルの算出結果、輝度レベルの算出結果、色信号レベルの算出結果は、フィルタ条件切り替え判定回路２３に入力される。

フィルタ条件切り替え判定回路２３は、サンプルエリア情報検出回路２１での算出結果およびフィルタエリア情報検出回路２２での算出結果に応じて画素単位で適用すべきフィルタ種類を決定し、選択制御信号を生成し、セレクタ２５を画素単位で制御する。

セレクタ２５は、選択制御信号に基づいてフィルタ係数レジスタ２４から適正なフィルタ係数を選択し、フィルタ処理回路２６へ入力する。フィルタ処理回路２６は、画素ごとに適応的にフィルタ係数を変えながら処理を行い、処理後のデータを出力する。

このとき適応的にフィルタ係数を切り替える制御を行うのは、サンプルエリア情報検出回路２１、フィルタエリア情報検出回路２２およびフィルタ条件切り替え判定回路２３である。フィルタ切り替え制御の流れを図７に示す。

まず、第１のフレームにおいて、映像信号がサンプルエリア情報検出回路２１に入力される。サンプルエリア情報検出回路２１では、ナイキスト周波数帯域変動レベル、高周波数帯域の変動回数、輝度レベルの平均値、色信号レベルの平均値が算出され、その結果はフィルタ条件切り替え判定回路２３に入力され、サンプルエリア条件判定が行われる。

次に、第２のフレームにおいて、第１のフレームと同じ映像信号がフィルタエリア情報検出回路２２に入力される。このとき、サンプルエリア情報検出回路２１には、次のフレームの映像信号が入力される。すなわち、サンプルエリア情報検出回路２１は、フィルタエリア情報検出回路２２に対して常に１フレーム前の映像信号を処理することになる。フィルタエリア情報検出回路２２は、３×３周辺画素差分データ、５×５周辺画素差分データ、輝度レベルの平均値、色信号レベルの平均値を算出する。その結果がフィルタ条件切り替え判定回路２３に入力され、フィルタ条件切り替え判定回路２３においてフィルタエリア条件判定が行われる。フィルタ条件切り替え判定回路２３は、１フレーム前のサンプルエリア条件判定結果と現フレームのフィルタエリア条件判定結果とを基にフィルタ条件切り替えの判定を行い、フィルタ係数の制御を行う。

このとき、画素ごとの切り替え処理を考慮すると、フィルタエリア情報検出回路２２は高速な画素単位の動作が必要となるが、サンプルエリアの検出は１フレーム内ですべてのサンプルエリアの結果が算出できればよいために、高速な処理は必要としない。したがって、切り替え条件の精度を上げるために、検出結果をＣＰＵに転送し、ＣＰＵにて演算処理を行うことも有効な手段である。ＣＰＵに転送することで、各々サンプルエリア間の相関を見て、エリア内での条件補正、または、隣り合うエリアとの境界部分の補正等が容易に実現可能となる。また、オートフォーカス等の検波回路が存在する場合は、検波回路結果をサンプルエリア検出結果として代用することもできる。

ここでは、サンプルエリア情報検出回路２１を専用にハード的な回路として構成した場合に関して説明を行う。以下に、フィルタ切り替え制御の詳細を説明する。

図８はサンプルエリア情報検出回路２１の構成を示すブロック図である。サンプルエリア情報検出回路２１は、ナイキスト周波数帯域変動レベル算出回路３１と、高周波数帯域変動レベル算出回路３２と、輝度レベル平均値算出回路３３と、色信号レベル平均値算出回路３４から構成されている。ナイキスト周波数帯域変動レベル算出回路３１は、ナイキスト周波数成分を通すハイパスフィルタ３５と、絶対値処理回路３６と、積算回路３７から構成されている。入力映像信号はハイパスフィルタ３５に入力され、ハイパスフィルタ３５でナイキスト周波数成分のみを抽出する。抽出されたナイキスト周波数成分の信号は、絶対値処理回路３６で絶対値化処理を行う。次に、絶対値化されたナイキスト周波数成分の信号は、積算回路３７で積算処理を行う。積算回路３７で積算処理を行った絶対値化されたナイキスト周波数成分の信号は、エリア内でのナイキスト周波数帯域の変動レベルを示しており、この信号をナイキスト周波数帯域変動レベルＤ１として出力する。

高周波数帯域変動レベル算出回路３２は、高周波帯域を通すバンドパスフィルタ３８と、コアリング回路３９と、コアリング値を制御する閾値Ｔｈ１の入力と、変動数カウント回路４０から構成されている。入力映像信号は、バンドパスフィルタ３８に入力され、バンドパスフィルタ３８で高周波数成分のみを抽出する。抽出された高周波成分信号はコアリング回路３９で閾値Ｔｈ１以下のレベルの信号を０でクリップする。高周波成分にはノイズ成分が含まれるため、このノイズを除外するために、閾値Ｔｈ１をノイズレベルとして設定し、ノイズレベルの変動を０としている。コアリング処理をされた高周波成分信号は変動数カウント回路４０に入力される。変動数カウント回路４０は、コアリング処理をされた高周波成分信号の変化点を検知し、変化した数をカウントする。このとき変動数カウント回路４０でカウントされた数は、エリア内でどれだけのノイズレベル以上の高周波成分が存在するかを示している。このカウント数を高周波帯域の変動回数Ｄ２として出力する。

輝度レベル平均値算出回路３３は、積算回路４１と平均値算出回路４２から構成されている。積算回路４１で入力映像信号の輝度信号を積算する。積算された輝度信号は平均値算出回路４２へ入力され、平均値算出回路４２で１画素当たりの平均値として輝度レベルの平均値を求めた後、輝度レベル平均値Ｄ３として出力する。

色信号レベル平均値算出回路３４は、積算回路４３と平均値算出回路４４から構成されている。入力映像信号は、積算回路４３で色信号を積算する。積算された色信号は平均値算出回路４４へ入力され、平均値算出回路４４で１画素当たりの平均値として色信号レベルの平均値を求めた後、色信号レベル平均値Ｄ４として出力する。それぞれ算出されたナイキスト周波数帯域変動レベルＤ１、高周波帯域の変動回数Ｄ２、輝度レベル平均値Ｄ３、色信号レベル平均値Ｄ４はフィルタ条件切り替え判定回路２３へ入力される。

図９はフィルタエリア情報検出回路２２の構成を示すブロック図である。図６にフィルタエリア情報検出回路２２の検出領域を示す。フィルタ領域内で処理の対象となる注目画素は画素ａ１となる。フィルタエリア情報検出回路２２は、３×３画素差分データ算出回路５１と、５×５画素差分データ算出回路５２と、輝度レベル平均値算出回路５３と、色信号レベル平均値算出回路５４から構成されている。

３×３画素差分データ算出回路５１は、減算回路５５と絶対値処理回路５６と積算回路５７と平均値算出回路５８から構成されている。入力映像信号は減算回路５５に入力され、減算回路５５は図６で示す注目画素ａ１の隣接画素ａ２〜ａ９のそれぞれの画素と注目画素ａ１の差分を求める。このときａ２〜ａ９までの８個の減算結果が存在する。この８個の減算結果は、絶対値処理回路５６でそれぞれ絶対値化処理を行った後、積算回路５７へ入力される。積算回路５７では８個の減算結果を加算した後、平均値算出回路５８にて１／８の処理を行い、１画素当たりの差分平均値として算出する。この算出された結果は、注目画素と隣接画素の差分の平均値となっており、この値の大きさが高周波成分、ここでは３×３画素における変化の大小を示している。この演算結果を３×３画素差分データＤ５として出力する。

５×５画素差分データ算出回路５２は、減算回路５９と絶対値処理回路６０と積算回路６１と平均値算出回路６２から構成されている。入力映像信号は減算回路５９に入力され、減算回路５９は図６で示す注目画素ａ１の隣接画素ａ２〜ａ９の隣接画素のａ１０〜ａ２５のそれぞれの画素と注目画素ａ１の差分を求める。このときａ１０〜ａ２５までの１６個の減算結果が存在する。この１６個の減算結果は、絶対値処理回路６０でそれぞれ絶対値化処理を行った後、積算回路６１へ入力される。積算回路６１では１６個の減算結果を加算した後、平均値算出回路６２にて１／１６の処理を行い、１画素当たりの差分平均値として算出する。この算出された結果は、注目画素と２画素先の隣接画素との差分の平均値となっており、この値の大きさが高周波成分、ここでは５×５画素における変化の大小を示している。この演算結果を５×５画素差分データＤ６として出力する。

輝度レベル平均値算出回路５３は、積算回路６３と平均値算出回路６４から構成されている。入力映像信号は、積算回路６３で輝度信号を積算する。積算された輝度信号は平均値算出回路６４へ入力され、平均値算出回路６４で１画素当たりの平均値として輝度レベルの平均値を求めた後、輝度レベル平均値Ｄ７として出力する。

色信号レベル平均値算出回路５４は、積算回路６５と平均値算出回路６６から構成されている。入力映像信号は、積算回路６５で色信号を積算する。積算された色信号は平均値算出回路６６へ入力され、平均値算出回路６６で１画素当たりの平均値として色信号レベルの平均値を求めた後、色信号レベル平均値Ｄ８として出力する。

それぞれ算出された３×３画素差分データＤ５、５×５画素差分データＤ６、輝度レベル平均値Ｄ７および色信号レベル平均値Ｄ８は、フィルタ条件切り替え判定回路２３へ入力される。

フィルタ条件切り替え判定回路２３では、サンプルエリア情報検出回路２１とフィルタエリア情報検出回路２２の入力データを基にサンプルエリア条件判定とフィルタエリア条件判定を行う。

図１０にフィルタ条件切り替え判定回路２３におけるサンプルエリア条件判定のフローチャートを示す。フィルタ条件切り替え判定回路２３では、前記入力条件を基に、十分な解像度があり焦点ボケを補正する必要がない変換なし領域Ａ１と、焦点ボケの補正を重要視する逆変換領域Ａ２と、ある条件における焦点ボケの補正を行う条件付逆変換領域Ａ３と、周波数変動がほとんどなくノイズキャンセルを重要視する平均フィルタ領域Ａ４の４領域のいずれの領域にそれぞれのサンプルエリアが適応するかを判定する。

まず、「ナイキスト周波数帯域変動レベル＞閾値Ｔｈ２」の条件Ｓ１の判定を行う。レンズの焦点が合っているときは周波数帯域が集中するため、画素単位の変化量は大きな値を示す。つまり、ナイキスト周波数成分が大きいときは、焦点ボケが発生していないときであり、この条件Ｓ１を満たすときは、逆変換フィルタ処理を行う必要はない。したがって条件Ｓ１を満たすときは、変換なし領域Ａ１となる。

条件Ｓ１を満たさないときは、次の条件に分岐し、「高周波帯域の閾値Ｔｈ１以上の変動回数＞閾値Ｔｈ３」の条件Ｓ２の判定を行う。高周波成分が存在する映像は被写体の変化量が多い部分であり、壁や空等ではなく、何らかの複雑な形をした被写体が存在していることを意味する。このとき、条件Ｓ２に分岐したということは、前記条件Ｓ１を満たしていないため、焦点ボケが発生しているか、あるいは、実際の映像に高周波成分が存在しない被写体であることが想定される。そこで、高周波成分が存在するか否かを判断するため、「高周波帯域の閾値Ｔｈ１以上の変動回数＞閾値Ｔｈ３」の条件Ｓ２の判定を行う。この条件Ｓ２を満たしたとき、サンプルエリアの映像は高周波成分があり、焦点ボケがある映像の可能性が高いため、焦点ボケの補正を重要視する逆変換領域Ａ２となる。

条件Ｓ２を満たさなかったときは、次の条件に分岐し、「平均フィルタ除外条件に当てはまるかどうか」の条件Ｓ３の判定を行う。条件Ｓ３に分岐したということは、前記条件Ｓ２を満たしていないため、高周波成分が存在しないか、あるいはレベルが低いかを意味している。レベルが低い高周波成分はノイズの可能性が高いため、逆変換処理を行うことは好ましくない。ただし、緑の草木や芝生が被写体のときや砂場やアスファルト等が被写体のときも、高周波成分のレベルが低い状態は存在する。このような被写体に関しては、平均フィルタをかけるよりも、むしろ逆変換処理にて強調した方がよい。このような条件を、平均フィルタ除外条件Ｓ３として設定する。例えば、緑の草木や芝生の場合、色信号に大きな特徴が出て緑の成分が大きくなるため、色信号に上限、下限の閾値を設け、除外条件とする。また、砂場やアスファルトに関しても、色信号に対する上限、下限の閾値を設け、さらに誤判定をなくすためにも、エリアの配置情報も条件に付加する。通常、砂場やアスファルトは足元にあるため、画像の下の部分にのみ存在している。したがって、図５で示すサンプルエリアにて、Ｇ３，Ｇ６，Ｇ９，Ｇ１２のみのサンプルエリアであることが条件となる。平均フィルタ除外条件Ｓ３を満たす緑の草木等の画像は、条件付逆変換領域Ａ３となる。

平均フィルタ除外条件Ｓ３を満たさないときは、高周波成分がほとんど存在しない領域であり、逆変換にて解像度を上げるよりも、平均化処理にてノイズを軽減する方が良い画像を得ることができる。したがって、平均フィルタ領域Ａ４へ分類される。

例えば被写体が図１１のように、白い壁の前に緑の木があり、その前に人が立っている焦点ボケが生じた被写体を考えると、サンプルエリアＧ１，Ｇ２，Ｇ３，Ｇ４，Ｇ７，Ｇ１０は、白い壁が写っていて高周波成分が存在しない領域であり、条件Ｓ１も条件Ｓ２も条件Ｓ３も満たさないため、平均フィルタ領域Ａ４となる。次に、サンプルエリアＧ１１，Ｇ１２は、緑の木が写っており、色信号のレベルに大きな差が生じ、緑の木の領域は緑の色成分が大きくなっており、条件Ｓ１、条件Ｓ２は満たさないが、条件Ｓ３を満たすため、条件付逆変換領域Ａ３となる。次に、サンプルエリアＧ５，Ｇ６，Ｇ８，Ｇ９は、人が写っており、高周波成分が存在し、条件Ｓ１は満たさないが、条件Ｓ２を満たすため、逆変換領域Ａ２となる。

図１２にフィルタ条件切り替え判定回路２３におけるフィルタエリア条件判定のフローチャートを示す。フィルタ条件切り替え判定回路２３では、フィルタエリア情報検出回路２２からの入力条件より、３×３画素の焦点ボケを補正する３画素３ライン逆変換フィルタ適用Ｂ１と、５×５画素の焦点ボケを補正する５画素５ライン逆変換フィルタ適用Ｂ２と、高周波成分のレベルが小さく補正を行わないフィルタ処理なし適用Ｂ３と、逆変換フィルタと平均値フィルタの境界部分に適用するローパスフィルタ適用Ｂ４と、３×３画素のＤＣ成分が存在したときに３×３画素の平均化を行う３画素３ライン平均値フィルタ適用Ｂ５と、５×５画素以上のＤＣ成分が存在したときに５×５画素の平均化を行う５画素５ライン平均値フィルタ適用Ｂ６のいずれの補正フィルタ条件に適応するか判定する。また、条件の決定と同時にフラグＦｌａｇを設定する。このフラグは、前画素の状態がどのような状態にあったかを判定するために使用し、平均値フィルタ適用時はＦｌａｇ＝０とし、逆変換フィルタ適用時はＦｌａｇ＝１、フィルタ処理なし適用時はＦｌａｇ＝２、ローパスフィルタ適用時はＦｌａｇ＝３とする。このＦｌａｇは、ローパスフィルタの適応条件として使用する。

まず、「３×３周辺画素差分データ＞閾値Ｔｈ１１」の条件Ｓ１１を判定する。このとき、閾値Ｔｈ１１はノイズレベルを判定するための閾値であり、小さな値を設定する。条件Ｓ１１を満たすときは何らかの高周波成分が存在することを意味し、逆に満たさないときは３×３画素内に高周波成分が存在しないことを意味している。すなわち条件Ｓ１１は、逆変換フィルタ処理を行うか、平均値フィルタ処理を行うかの分岐条件となる。

条件Ｓ１１を満たしたときについて説明する。条件Ｓ１１を満たしたときは、次に「３×３周辺画素差分データ＞閾値Ｔｈ１３」の条件Ｓ１２を判定する。このとき、閾値Ｔｈ１３は逆変換を適応する高周波成分のレベルを設定する。条件Ｓ１２を満たさないときは高周波成分のレベルは小さいため、高周波成分をあえて強調する必要もない。また、平均値フィルタの適用レベルと逆変換フィルタ適用レベルの中間値に位置するため、双方の映像の境界を滑らかに見せるためにも、フィルタを適用しない領域を設ける。したがって、条件Ｓ１２を満たさないときはフィルタ処理なし適用Ｂ３となる。同時にＦｌａｇを設定し、Ｆｌａｇ＝２となる。

条件Ｓ１２を満たしたときは、次に「５×５周辺画素差分データ＞閾値Ｔｈ１４」の条件Ｓ１３を判定する。ここでは、２画素先の隣接画素との差分と閾値の比較となる。焦点ボケが小さいときは周波数変動が大きくなるため、この２画素先の隣接画素との差分は大きくなり、逆に焦点ボケが大きいときは周波数変動が緩やかになるため、２画素先の隣接画素との差分は小さくなってくる。この差分を閾値Ｔｈ１４で判定し、３×３のフィルタを適用するか５×５のフィルタを適用するかを判断する。条件Ｓ１３を満たすときには３画素３ライン逆変換フィルタ適用Ｂ１に分岐し、満たさないときは、５画素５ライン逆変換フィルタ適用Ｂ２のほうに分岐する。

条件Ｓ１３を満たしたときは、次に「１画素前のＦｌａｇ＝０でない、かつ１ライン前のＦｌａｇ＝０でない」の条件Ｓ１４を判断する。Ｆｌａｇ＝０の条件は平均値フィルタ適応時である。ここで図６の画素配列で考えると、注目画素ａ１に対して１画素前は画素ａ３、１ライン前は画素ａ９となる。画素ａ３または画素ａ９に対するフィルタの補正が平均値フィルタであった場合、逆変換フィルタをかけると、画素ａ３と画素ａ１の周波数帯域は大きく異なるものとなってしまうため、境界部分が滑らかにつながらない。この境界部分を滑らかに見せるために、隣接画素の補正が平均値フィルタの場合、補正条件をローパスフィルタに置き換える。

前記理由より、条件Ｓ１４を満たさないときは、ローパスフィルタ適用Ｂ４となる。このときＦｌａｇ＝３となる。条件Ｓ１４を満たしたときは、３画素３ライン逆変換フィルタ適用Ｂ１となり、Ｆｌａｇ＝１となる。

ここで前条件に戻ると、条件Ｓ１３を満たさないときは、次に「１画素前のＦｌａｇ＝０でない、かつ１ライン前のＦｌａｇ＝０でない」の条件Ｓ１５を判断する。このとき、前記と同等の理由より、条件Ｓ１５を満たしたときは、５画素５ライン逆変換フィルタ適用Ｂ２となり、Ｆｌａｇ＝１となる。条件Ｓ１５を満たさないときは、ローパスフィルタ適用Ｂ４となる。このときＦｌａｇ＝３となる。

次に条件Ｓ１１の分岐に戻り、条件Ｓ１１を満たさないときについて説明する。条件Ｓ１１を満たさなかったときには、次に「５×５周辺画素差分データ＞閾値Ｔｈ１２」の条件Ｓ１６を判定する。このとき閾値Ｔｈ１２は、ノイズレベルを判定するための閾値であり、小さな値を設定する。この条件Ｓ１６は２画素先の隣接画素に高周波数成分が存在するかを判断するための条件であり、条件Ｓ１６を満たした場合、２画素先に高周波数成分が存在することを意味し、条件Ｓ１６を満たさない場合、２画素先の隣接画素にも高周波成分は存在しないことを意味している。つまり、条件Ｓ１１を満たしていないことを考えると、条件Ｓ１６を満たしたときは、３×３画素のＤＣ成分の映像が存在し、条件を満たさないときは５×５画素以上のＤＣ成分の映像が存在していることとなる。したがって、条件Ｓ１６を満たすときには３画素３ライン平均値フィルタ適用Ｂ５、満たさないときは５画素５ライン平均値フィルタ適用Ｂ６とするほうに分岐する。

条件Ｓ１６を満たしたときは、次に「１画素前のＦｌａｇ＝１でない、かつ１ライン前のＦｌａｇ＝１でない」の条件Ｓ１７を判断する。Ｆｌａｇ＝１の条件は逆変換フィルタ適応時である。ここで図６の画素配列で考えると、注目画素ａ１に対して１画素前は画素ａ３、１ライン前は画素ａ９となる。画素ａ３または画素ａ９に対するフィルタの補正が逆変換フィルタであった場合、注目画素ａ１に平均値フィルタをかけると、画素ａ３と画素ａ１の周波数帯域は大きく異なるものとなってしまうため、境界部分が滑らかにつながらない。この境界部分を滑らかに見せるために、隣接画素の補正が平均値フィルタの場合、補正条件をローパスフィルタに置き換える。前記理由より、条件Ｓ１７を満たさないときは、ローパスフィルタ適用Ｂ４となる。このときＦｌａｇ＝３となる。条件Ｓ１７を満たしたときは、３画素３ライン平均値フィルタ適用Ｂ５となり、Ｆｌａｇ＝０となる。

ここで前条件に戻ると、条件Ｓ１６を満たさないときは、次に「１画素前のＦｌａｇ＝１でない、かつ１ライン前のＦｌａｇ＝１でない」の条件Ｓ１８を判断する。このとき、前記と同等の理由より、条件Ｓ１８を満たしたときは５画素５ライン平均値フィルタ適用Ｂ６となり、Ｆｌａｇ＝０となる。条件Ｓ１８を満たさないときはローパスフィルタ適用Ｂ４となる。このときＦｌａｇ＝３となる。

ここまでサンプルエリア条件判定フローとフィルタエリア条件判定フローについて説明したが、フィルタ条件切り替え判定回路２３の最終判定結果としては、サンプルエリア条件判定結果で判定した変換なし領域Ａ１と逆変換領域Ａ２と条件付逆変換領域Ａ３と平均フィルタ領域Ａ４の４つ領域に応じて、フィルタエリア条件判定の条件において、閾値Ｔｈ１１，Ｔｈ１２，Ｔｈ１３，Ｔｈ１４の値を変更する制御を行う。

この制御のフローを図１３に示す。ここでは、逆変換領域の閾値を基準に考えた場合を示している。まず、「補正なしの領域か」の条件Ｓ２１を満たした場合は、設定Ｃ１で閾値Ｔｈ１１をＭｉｎ値に設定する。また、閾値Ｔｈ１２をＭａｘ値に設定する。そうすることで、補正なしの領域ではいかなる映像信号が入力されても、図１２のフィルタ処理なし適用Ｂ３に固定される。次の「条件付逆変換領域か」の条件Ｓ２２を満たしたときは設定Ｃ２となり、色情報で閾値Ｔｈ１１の値を変更する。今回、緑の草木を考えた場合、緑に近い色ほど閾値を下げる制御を行う。この制御により、緑に近い色は逆変換フィルタがかかりやすくなり、その他の色は平均値フィルタがかかりやすくなる。次の「平均値フィルタ領域か」の条件Ｓ２３を満たすときは、閾値Ｔｈ１１および閾値Ｔｈ１４の設定値を上げる。そうすることにより、この領域では平均値フィルタがかかりやすくなる。最後に逆変換領域は基準となるため、閾値の変更は行わない。

また、別のパラメータを条件に付け加えることで、さらに制御を追加することも可能である。例えば、Ｓ／Ｎ比向上を重視した場合は、輝度レベルをパラメータに追加する。図１４に制御フローチャートを示す。Ｓ３１，Ｓ３２，Ｓ３３の条件分岐は同じであるが、一般に、輝度レベルが低い部分はＳ／Ｎ比が悪くなる傾向があるため、輝度レベルが低くなるに従い、閾値Ｔｈ１１、閾値Ｔｈ１４の値を上げてゆくことで、特に低輝度部分のＳ／Ｎ比改善を行うこともできる。図１４の設定Ｃ１２，Ｃ１３，Ｃ１４で輝度レベルが低くなるに従い、閾値Ｔｈ１１、閾値Ｔｈ１４の値を上げてゆく制御を追加する。

また、そのままの閾値をエリア内すべてに用いたとき、サンプルエリアの境界部分では閾値が急激に変動するため、サンプルエリアの境界が滑らかにつながらない。そのため境界部分は、互いに数十画素の変動部分を設け、隣り合う領域の閾値と係数掛けを行い、徐々に閾値を変更する。例えば、図１１で考えるとサンプルエリアＧ４は平均値フィルタ領域であり、サンプルエリアＧ５は逆変換領域である。このとき平均値フィルタ領域Ｇ４の閾値Ｔｈ１１を「５０」、逆変換領域Ｇ５の閾値Ｔｈ１１を「１０」とし、変動部分が１０画素とすると、平均値フィルタ領域Ｇ４から考えて閾値は、５０,４６,４２,３８,３４,３０，２６，２２，１８，１４，１０のように変動する。これは、（５０−１０）／１０＝４ゆえに、閾値ステップを「４」に設定し、徐々にシフトさせている。

前記動作にて、フィルタ条件切り替え判定回路２３の選択制御信号はセレクタ２５の切り替え条件を決定し、セレクタ２５の制御を行い、フィルタ係数レジスタ２４のフィルタ係数を選択し、フィルタ処理回路２６に入力し、フィルタ処理を行うことで適応フィルタを実現する。

Ｓ／Ｎ比改善に関して、説明の中で輝度レベルに応じて閾値を変えることを説明したが、フィルタの強弱を変える手段も考えられる。フィルタの強弱を切り替えるためには、図６のフィルタ配列において、注目画素ａ１の係数を変更すればよい。注目画素ａ１の係数を大きくすると、周辺の係数に対する注目画素の比率が大きくなるため、フィルタのかかりは小さくなる。逆に注目画素ａ１の係数を小さくすればフィルタのかかりは大きくなる。すなわち、輝度レベルに応じてフィルタの注目画素の係数を変更すればよい。

この制御を追加した適応型フィルタの構成図を図１５に示す。ここでは、重み付け切り替え判定回路２７が付加されている。重み付け切り替え判定回路２７は、サンプルエリア情報検出回路２１とフィルタエリア情報検出回路２２から輝度信号レベルが入力され、輝度信号レベルに応じて注目画素に対する係数をフィルタ処理回路２６に入力する。フィルタ処理回路２６はフィルタ処理を行うときに、注目画素の係数に係数掛けを行い、補正した状態でフィルタ処理を行う。このとき、重み付け切り替え判定回路２７から出力される係数は、逆変換フィルタ適応時は、輝度レベルが低いときは係数は小さくなり、輝度レベルが高いときは係数は大きくなる。同じく平均値フィルタ適応時も、輝度レベルが低いときは係数は小さくなり、輝度レベルが高いときは係数は大きくなる。

上記では、サンプルエリアを１２エリアに分割した場合で説明を行ったが、このサンプルエリアは一般的にｍ×ｎのエリアであり、数が多いほど制御の精度を上げることが可能である。また、フィルタエリアに関しても今回は５×５のフィルタにて説明を行ったが、ｍ×ｎの任意の領域で実現可能である。

本フィルタの適応場所については、図２で説明したようにＹＣ処理回路１２によるＹＣ処理前に行う場合、リアルタイムで処理が可能となる。ベイヤー配列において本フィルタを適応する場合は、Ｒ，Ｇ，Ｂ毎にフィルタを掛けることが望ましい。このとき、Ｒ，Ｇ，Ｂのデータはそれぞれ１画素おきに存在するため、存在しない画素については周辺画素から係数掛けして生成する。周波数帯域、変動レベルの抽出等はＲ，Ｇ，Ｂそれぞれに対して行い、色信号レベルの条件のみＲ，Ｇ，Ｂすべてのデータを参照する。Ｙ，Ｃｒ，Ｃｂにて適応の場合は、周波数帯域、変動レベルの抽出等はＹ信号にて行い、Ｃｒ，Ｃｂにて色信号レベルの条件を判定する。フィルタ適応に関してはＹ信号に対して適応し、Ｃｒ，Ｃｂに関しては高周波を必要としないため、閾値を変更することで平均値フィルタのみを適用する構成が望ましい。Ｙ，Ｃｒ，Ｃｂで適応の場合は、図１６で示すようにＹＣ処理後に適応することも可能となる。この場合、ＹＣ処理回路１２によるＹＣ処理を行った画像は、記憶素子１３に記録される。適応型フィルタ補正回路１１は、このいったん記録された映像信号を読み出して処理を行う形となる。記録されたＹＣ処理後のデータは外部に呼び出すことで、目視で映像を確認することが可能である。したがって、映像を見ながら映像ごとに適応型フィルタ補正回路１１の変更条件を切り替えることが可能となる。リアルタイムの処理はできないが、ＹＣ処理後の後処理としてカスタマイズするためのフィルタとして適応することができる。例えば、全体的に焦点ボケの画像が記憶された場合、逆変換フィルタがかかりやすい条件に設定を変更する。設定としては図１０の閾値Ｔｈ２を大きく、閾値Ｔｈ３を小さくする。また、暗い場所で撮影を行いＳ／Ｎ比が悪い画像が記憶された場合、平均値フィルタがかかりやすい条件に設定を変更する。設定としては図１０の閾値Ｔｈ２を大きく、閾値Ｔｈ３を大きく、図１５の閾値Ｔｈ１１を大きく、閾値Ｔｈ１４を大きくする。このようないくつかの条件をあらかじめ変更パラメータとして記憶する状態にしておくことにより、カメラのメニュー設定より、簡単に補正を実施することができる。

本発明のカメラシステムにおけるフィルタ補正回路の技術は、レンズを通して入力される光情報をイメージセンサにより電気信号に変換するカメラ等の映像信号の信号処理の手法として有効である。

本発明の実施の形態のカメラシステムにおけるフィルタ補正回路の概念説明図 本発明の実施の形態におけるフィルタ補正回路が適用されるカメラシステムの構成を示すブロック図 本発明の実施の形態における適応型フィルタ補正回路の構成を示すブロック図 本発明の実施の形態における５画素５ラインの場合の平均値フィルタ係数、ローパスフィルタ係数および逆変換フィルタ係数の例示図 本発明の実施の形態におけるサンプルエリアの説明図 本発明の実施の形態におけるフィルタエリアの説明図 本発明の実施の形態におけるフィルタ条件切り替え制御の概略図 本発明の実施の形態におけるサンプルエリア情報検出回路の構成を示すブロック図 本発明の実施の形態におけるフィルタエリア情報検出回路の構成を示すブロック図 本発明の実施の形態におけるサンプルエリア条件判定の動作を示すフローチャート 具体的動作説明のためのサンプルエリアの図 本発明の実施の形態におけるフィルタエリア条件判定の動作を示すフローチャート 本発明の実施の形態におけるフィルタ条件切り替えの制御の動作を示すフローチャート 本発明の実施の形態におけるフィルタ条件切り替えの制御の別の動作を示すフローチャート 本発明の実施の形態における適応型フィルタ補正回路の構成を示すブロック図 本発明におけるカメラシステムの別の態様を示すブロック図 従来の技術のカメラシステムにおけるフィルタ補正回路の概念説明図 従来の技術におけるフィルタ補正回路が適用されるカメラシステムの構成を示すブロック図 従来の技術におけるフィルタ構成の説明図

符号の説明

１１ 適応型フィルタ補正回路
１２ ＹＣ処理回路
２１ サンプルエリア情報検出回路
２２ フィルタエリア情報検出回路
２３ フィルタ条件切り替え判定回路
２４ フィルタ係数レジスタ
２５ セレクタ
２６ フィルタ処理回路
２７ 重み付け切り替え判定回路
３１ ナイキスト周波数帯域変動レベル算出回路
３２ 高周波数帯域変動レベル算出回路
３３ 輝度レベル平均値算出回路
３４ 色信号レベル平均値算出回路
３５ ハイパスフィルタ
３６，５６，６０ 絶対値化処理回路
３７，４１，４３，５７，６１，６３，６５ 積算回路
３８ バンドパスフィルタ
３９ コアリング回路
４０ 変動数カウント回路
４２，４４，５８，６２，６４，６６ 平均値算出回路
５１ ３×３画素差分データ算出回路
５２ ５×５画素差分データ算出回路
５３ 輝度レベル平均値算出回路
５４ 色信号レベル平均値算出回路
５５，５９ 減算回路

Claims (11)

1. １画面が複数に分割されたサンプルエリア単位で入力映像信号の周波数帯域と変動レベルを検知するサンプルエリア情報検出手段と、
   １画面が複数に分割されたフィルタエリア単位で前記入力映像信号の周波数帯域と変動レベルを検知するフィルタエリア情報検出手段と、
   前記サンプルエリア情報検出手段による検出情報に基づいて各サンプルエリアがどのフィルタ条件に該当するかを判断し、前記フィルタエリア情報検出手段による検出情報に基づいて画素単位または少数画素群単位で適用すべきフィルタ種類を決定し、選択制御信号を生成するフィルタ条件切り替え判定手段と、
   特性を異にする複数種類のフィルタ係数を備えたフィルタ係数レジスタと、
   前記フィルタ条件切り替え判定手段による前記選択制御信号に基づいて前記フィルタ係数レジスタにおける複数種類のフィルタ係数のうちから適用すべきフィルタ係数を選択するセレクト手段とを備えたカメラシステムにおけるフィルタ補正回路。
2. 前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として複数種類の逆変換フィルタ係数を含み、
   前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段による周波数帯域と前記フィルタエリア情報検出手段による周波数帯域とに応じて複数種類の前記逆変換フィルタ係数のいずれを適用するかを決定する請求項１に記載のフィルタ補正回路。
3. 前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として逆変換フィルタ係数と平均値フィルタ係数とを含み、
   前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段による変動レベルと前記フィルタエリア情報検出手段による変動レベルとに応じて前記逆変換フィルタ係数と前記平均値フィルタ係数のいずれを適用するかを決定する請求項１に記載のフィルタ補正回路。
4. 前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として逆変換フィルタ係数と平均値フィルタ係数とローパスフィルタ係数とを含み、
   前記フィルタ条件切り替え判定手段は、前記逆変換フィルタ係数と前記平均値フィルタ係数の切り替え情報を基に、前記逆変換フィルタ係数と前記平均値フィルタ係数の切り替えの境界部に前記ローパスフィルタ係数を適用する請求項３に記載のフィルタ補正回路。
5. 前記フィルタ係数レジスタは、特性を異にする複数種類のフィルタ係数として逆変換フィルタ係数と複数種類の平均値フィルタ係数とを含み、
   前記フィルタ条件切り替え判定手段は、前記平均値フィルタ係数の適用時に変動レベルが小さな領域の広さに応じて複数種類の前記平均値フィルタ係数のいずれを適用するかを決定する請求項３に記載のフィルタ補正回路。
6. 前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段によるサンプルエリアの色情報、配置位置の少なくとも一方の情報および前記フィルタエリア情報検出手段によるフィルタエリアの色情報に応じて、前記逆変換フィルタ係数と前記平均値フィルタ係数のいずれを適用するかを決定する請求項３に記載のフィルタ補正回路。
7. 前記フィルタ条件切り替え判定手段は、前記サンプルエリア情報検出手段と前記フィルタエリア情報検出手段の少なくともいずれか一方の輝度レベルデータ、色レベルデータの少なくともいずれか一方のデータを基にフィルタ係数の中心係数のみを変更することで補正レベルを変更する請求項１から請求項６までのいずれかに記載のフィルタ補正回路。
8. ＹＣ処理の前のベイヤー配列の状態において、Ｒ，Ｇ，Ｂ毎に適応フィルタによる補正を行うことでリアルタイムに補正を実施する請求項１から請求項７までのいずれかに記載のフィルタ補正回路。
9. ＹＣ処理の後のＹ、Ｃｒ，Ｃｂに対して適応フィルタによる補正を行い、このとき画像に応じてフィルタの切り替え条件を切り替え、補正を実施する請求項１から請求項８までのいずれかに記載のフィルタ補正回路。
10. 前記サンプルエリア情報検出手段による検出情報をＣＰＵに取り込むことでフィルタ切り替え精度を上げ、補正を実施する請求項１から請求項１０までのいずれかに記載のフィルタ補正回路。
11. 前記サンプルエリア情報検出手段を、その他の検波手段と併用することで補正を実施する請求項１から請求項１１までのいずれかに記載のフィルタ補正回路。

Images