JP2007293431A - 画像処理装置 - Google Patents

Abstract

【課題】従来の画像処理装置よりも汎用性の高い画像処理装置を得る。
【解決手段】空間フィルタ処理ブロック２４への入力信号がＹ成分のみのモノクロの画像信号である場合には、セレクタ５０８は入力端子５０８₂を選択し、セレクタ５０９は入力端子５０９₂を選択する。これにより、プログラマブル空間フィルタ５０４のローパスフィルタ出力信号（LPF-LL）が空間フィルタ５０５に入力され、空間フィルタ５０５のローパスフィルタ出力信号（LPF-LL）が空間フィルタ５０５に入力される。つまり、プログラマブル空間フィルタ５０４及び空間フィルタ５０５，５０６が直列（カスケード）に接続され、カスケード接続された３つの空間フィルタによってフィルタ処理が行われる。この例の場合、５×５タップのローパスフィルタが３段にカスケード接続されるため、１３×１３タップのローパスフィルタ処理が可能となる。
【選択図】図７

Description

本発明は、画像処理装置に関し、特に、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置に関する。

ディジタルスチルカメラ等の画像入力装置において、撮像素子の後段にアナログ信号処理回路を接続し、アナログ信号処理回路の後段にリアルタイムプロセッシングユニット（ＲＰＵ）を接続し、アナログ信号処理回路から出力された画像信号をＲＰＵによってリアルタイムに処理することが可能な従来の画像処理装置が、下記特許文献１に開示されている。

特開２０００−２３６４７３号公報

しかしながら、上記特許文献１に開示された従来の画像処理装置は、
・空間フィルタ処理部の空間フィルタのタップ数が固定されている
・空間フィルタがハイパスフィルタ以外に設定された場合には、高周波成分を得ることができない
・空間フィルタからの出力信号として、中心画素信号と低周波成分とを所望の割合で混合したような信号を得ることができない
・変調用の特徴データの生成の元となった画素と、輝度信号の変調の対象となる画素との間にずれが生じた場合に、画質が低下する度合いが大きい
・変調用の特徴データの生成の元となった画素と、色信号の変調の対象となる画素との間にずれが生じた場合に、画質が低下する度合いが大きい
・色空間変換処理部から出力された２チャンネルの色信号（Ｃｂ，Ｃｒ）を高速に色変換できる手段がない
・色空間変換処理部の出力以降はＹＣｂＣｒ系の色空間の信号として処理され、最終的な出力信号としても、それと同一の色空間の信号しか得ることができない
・ガンマ補正処理部の出力以降は８ビット系の信号として処理され、最終的な出力信号として、それと同一のビット数の信号しか得ることができない
等の点で、汎用性が十分ではない。

本発明はかかる事情に鑑みて成されたものであり、従来の画像処理装置よりも汎用性の高い画像処理装置を得ることを目的とする。

第１の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックが含まれ、前記空間フィルタ処理ブロックは、複数の空間フィルタを有し、前記入力信号が複数色の信号である場合は、前記複数の空間フィルタは、各色に対応する各チャンネル毎に並列に前記空間フィルタ処理を行い、前記入力信号が単色の信号である場合は、直列に接続された前記複数の空間フィルタによって前記空間フィルタ処理が行われる。

第２の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックが含まれ、前記画素補間処理ブロックは、画素レジスタ群を有し、前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要する信号である場合は、補間処理が行われ、前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要しない信号である場合は、前記画素レジスタ群を用いた第１の空間フィルタによる空間フィルタ処理が行われる。

第３の発明に係る画像処理装置は、第２の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、第２の空間フィルタによる空間フィルタ処理を行う空間フィルタ処理ブロックがさらに含まれ、前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要する信号である場合は、前記画素補間処理ブロックにおいて前記補間処理が行われた信号に対して、前記第２の空間フィルタによる空間フィルタ処理が行われ、前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要しない信号である場合は、前記第１及び第２の空間フィルタを連続的に適用した空間フィルタ処理が行われることを特徴とする。

第４の発明に係る画像処理装置は、第２又は第３の発明に係る画像処理装置において特に、前記第１の空間フィルタは、ローパスフィルタであることを特徴とする。

第５の発明に係る画像処理装置は、第３の発明に係る画像処理装置において特に、前記第１及び第２の空間フィルタは、いずれもローパスフィルタであることを特徴とする。

第６の発明に係る画像処理装置は、第３ないし第５のいずれか一つの発明に係る画像処理装置において特に、前記第２の空間フィルタは複数の空間フィルタを有し、前記空間フィルタ処理ブロックへの前記入力信号が複数色の信号である場合は、前記複数の空間フィルタは、各色に対応する各チャンネル毎に並列に前記空間フィルタ処理を行い、前記空間フィルタ処理ブロックへの前記入力信号が単色の信号である場合は、前記第１の空間フィルタと、直列に接続された前記複数の空間フィルタとを用いて、前記空間フィルタ処理ブロックにおける前記空間フィルタ処理が行われることを特徴とする。

第７の発明に係る画像処理装置は、第１又は第６の発明に係る画像処理装置において特に、直列に接続された前記複数の空間フィルタは、いずれもローパスフィルタであることを特徴とする。

第８の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックが含まれ、前記空間フィルタ処理ブロックは、第１のローパスフィルタ処理を行う第１のローパスフィルタと、プログラマブル空間フィルタと、オリジナルの画素信号である中心画素信号から前記第１のローパスフィルタの出力信号である第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する第１の演算器とを有し、前記空間フィルタ処理ブロックは、前記第１のローパスフィルタの出力信号、前記プログラマブル空間フィルタの出力信号、及び前記高周波成分のうちの少なくとも二つの信号を同時に出力可能である。

第９の発明に係る画像処理装置は、第８の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記高周波成分を変調する第２の演算器を有することを特徴とする。

第１０の発明に係る画像処理装置は、第８の発明に係る画像処理装置において特に、前記空間フィルタ処理ブロックは、前記第１のローパスフィルタとは異なるタップ数で第２のローパスフィルタ処理を行う第２のローパスフィルタと、前記第１のローパスフィルタ出力信号と、前記第２のローパスフィルタの出力信号である第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する第２の演算器とをさらに有し、前記空間フィルタ処理ブロックは、前記少なくとも二つの信号に加えて、前記中周波成分を同時に出力可能であることを特徴とする。

第１１の発明に係る画像処理装置は、第１０の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記中周波成分を変調する第３の演算器を有することを特徴とする。

第１２の発明に係る画像処理装置は、第１０の発明に係る画像処理装置において特に、前記空間フィルタ処理ブロックは、第１の係数を前記高周波成分に乗算し、第２の係数を前記中周波成分に乗算し、これらの乗算結果を加算する、第３の演算器をさらに有することを特徴とする。

第１３の発明に係る画像処理装置は、第１２の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記第３の演算器からの出力信号を変調する第４の演算器を有することを特徴とする。

第１４の発明に係る画像処理装置は、第９、第１１、及び第１３のいずれか一つの発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックがさらに含まれ、前記画素単位特徴信号は、前記画素補間処理ブロックで生成される、周辺画素との相関信号、色レベル信号、及びソベルフィルタ出力信号の少なくともいずれか一つであり、前記信号変調処理ブロックは、前記画素単位特徴信号に対して、ローパスフィルタ処理、絶対値化処理、前記中心画素信号の輝度レベルを用いた変調処理、前記第１のローパスフィルタ出力信号の輝度レベルを用いた変調処理、及びルックアップテーブルを用いた変調処理の少なくともいずれか一つを行った信号によって、前記変調対象信号を変調することを特徴とする。

第１５の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックが含まれ、前記空間フィルタ処理ブロックは、第１のローパスフィルタ処理を行う第１のローパスフィルタと、オリジナルの画素信号である中心画素信号に第１の係数を乗算し、前記第１のローパスフィルタの出力信号である第１のローパスフィルタ出力信号に、前記第１の係数との和が一定値となる第２の係数を乗算し、これらの乗算結果を加算する、第１の演算器とを有する。

第１６の発明に係る画像処理装置は、第１５の発明に係る画像処理装置において特に、前記空間フィルタ処理ブロックは、前記中心画素信号から前記第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する第２の演算器と、前記第１の演算器の出力信号と前記第２の演算器の出力信号とを加算する第３の演算器とをさらに有することを特徴とする。

第１７の発明に係る画像処理装置は、第１６の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記高周波成分を変調する第４の演算器を有することを特徴とする。

第１８の発明に係る画像処理装置は、第１５の発明に係る画像処理装置において特に、前記空間フィルタ処理ブロックは、前記第１のローパスフィルタとは異なるタップ数で第２のローパスフィルタ処理を行う第２のローパスフィルタと、前記第１のローパスフィルタ出力信号と、前記第２のローパスフィルタの出力信号である第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する第２の演算器と、前記第１の演算器の出力信号と前記第２の演算器の出力信号とを加算する第３の演算器とをさらに有することを特徴とする。

第１９の発明に係る画像処理装置は、第１８の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記中周波成分を変調する第４の演算器を有することを特徴とする。

第２０の発明に係る画像処理装置は、第１５の発明に係る画像処理装置において特に、前記空間フィルタ処理ブロックは、前記中心画素信号から前記第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する第２の演算器と、前記第１のローパスフィルタとは異なるタップ数で第２のローパスフィルタ処理を行う第２のローパスフィルタと、前記第１のローパスフィルタ出力信号と、前記第２のローパスフィルタの出力信号である第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する第３の演算器と、第３の係数を前記高周波成分に乗算し、第４の係数を前記中周波成分に乗算し、これらの乗算結果を加算する、第４の演算器と、前記第１の演算器の出力信号と前記第４の演算器の出力信号とを加算する第５の演算器とをさらに有することを特徴とする。

第２１の発明に係る画像処理装置は、第２０の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記第４の演算器からの出力信号を変調する第６の演算器を有することを特徴とする。

第２２の発明に係る画像処理装置は、第１７、第１９、及び第２１のいずれか一つの発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックがさらに含まれ、前記画素単位特徴信号は、前記画素補間処理ブロックで生成される、周辺画素との相関信号、色レベル信号、及びソベルフィルタ出力信号の少なくともいずれか一つであり、前記信号変調処理ブロックは、前記画素単位特徴信号に対して、ローパスフィルタ処理、絶対値化処理、前記中心画素信号の輝度レベルを用いた変調処理、前記第１のローパスフィルタ出力信号の輝度レベルを用いた変調処理、及びルックアップテーブルを用いた変調処理の少なくともいずれか一つを行った信号によって、前記変調対象信号を変調することを特徴とする。

第２３の発明に係る画像処理装置は、第１５ないし第２２のいずれか一つの発明に係る画像処理装置において特に、前記第１のローパスフィルタは固定ローパスフィルタであることを特徴とする。

第２４の発明に係る画像処理装置は、第１５ないし第２２のいずれか一つの発明に係る画像処理装置において特に、前記第１のローパスフィルタはプログラマブル空間フィルタであることを特徴とする。

第２５の発明に係る画像処理装置は、第１５ないし第２２のいずれか一つの発明に係る画像処理装置において特に、前記空間フィルタ処理ブロックは、固定ローパスフィルタと、プログラマブル空間フィルタと、前記固定ローパスフィルタの出力信号及び前記プログラマブル空間フィルタの出力信号のいずれかを選択して前記第１のローパスフィルタ出力信号とするセレクタとを有することを特徴とする。

第２６の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックと、変調対象信号である前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックとが含まれ、前記空間フィルタ処理ブロックは、前記空間フィルタ処理が行われた輝度信号を出力する空間フィルタを有し、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に対してローパスフィルタ処理を行うローパスフィルタと、前記ローパスフィルタ処理が行われた前記画素単位特徴信号を用いて前記輝度信号を変調する演算器とを有する。

第２７の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックと、変調対象信号である前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックとが含まれ、前記空間フィルタ処理ブロックは、前記空間フィルタ処理が行われた色信号を出力する空間フィルタを有し、前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に対してローパスフィルタ処理を行うローパスフィルタと、前記ローパスフィルタ処理が行われた前記画素単位特徴信号を用いて前記色信号を変調する演算器とを有する。

第２８の発明に係る画像処理装置は、第２６又は第２７の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックがさらに含まれ、前記画素単位特徴信号は、前記画素補間処理ブロックで生成される、周辺画素との相関信号、色レベル信号、又はソベルフィルタ出力信号の少なくともいずれか一つであり、前記信号変調処理ブロックは、前記画素単位特徴信号に対し、前記ローパスフィルタ処理に加えて、絶対値化処理、オリジナルの画素信号である中心画素信号の輝度レベルを用いた変調処理、前記空間フィルタ処理ブロックが有するローパスフィルタの出力信号の輝度レベルを用いた変調処理、及びルックアップテーブルを用いた変調処理の少なくともいずれか一つを行った信号によって、前記変調対象信号を変調することを特徴とする。

第２９の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して色空間の変換処理を行う色空間変換処理ブロックが含まれ、前記色空間変換処理ブロックは、前記変換処理を行うことにより２チャンネルの色信号を出力する色空間変換回路と、前記色空間変換回路の後段に接続され、予め規定された、入力データ値の対と出力データ値の対との対応関係を表す複数の変換値に基づいて、前記２チャンネルの色信号を変換する２次元ルックアップテーブルとを有することを特徴とする。

第３０の発明に係る画像処理装置は、第２９の発明に係る画像処理装置において特に、前記色空間変換回路は、第１の色空間の前記入力信号を、１チャンネルの輝度信号と前記２チャンネルの色信号とから成る第２の色空間の信号に変換することを特徴とする。

第３１の発明に係る画像処理装置は、第２９又は第３０の発明に係る画像処理装置において特に、前記２次元ルックアップテーブルにおいて、前記複数の変換値は、前記入力データ値に関して離散的に規定されており、変換値が規定されていない入力データに関しては、近傍の複数の変換値を用いた内挿補間演算によって、当該入力データについての変換値が求められることを特徴とする。

第３２の発明に係る画像処理装置は、第２９ないし第３１のいずれか一つの発明に係る画像処理装置において特に、前記２次元ルックアップテーブルにおいて、入力データの絶対値が小さい領域における前記変換値の離散の度合いは、入力データの絶対値が大きい領域における前記変換値の離散の度合いよりも小さく設定されていることを特徴とする。

第３３の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、第１の色空間の信号を、輝度成分と複数の色成分とを含む第２の色空間の信号に変換する第１の色空間変換処理ブロックと、前記第１の色空間変換処理ブロックから出力された前記第２の色空間の信号に対して所定の画像処理を行う処理ブロックと、前記処理ブロックから出力された前記第２の色空間の信号を、前記第２の色空間とは異なる色空間の信号に変換する第２の色空間変換処理ブロックとが含まれる。

第３４の発明に係る画像処理装置は、第３３の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記第１の色空間変換処理ブロックに接続された第１のガンマ補正処理ブロックと、前記第２の色空間変換処理ブロックに接続された第２のガンマ補正処理ブロックとがさらに含まれることを特徴とする。

第３５の発明に係る画像処理装置は、外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、前記複数の画像処理ブロックには、入力信号に対して画像のリサイズ処理を行うリサイズ処理ブロックが含まれ、前記リサイズ処理ブロックは、第１のビット数の信号を処理可能な第１のリサイズ処理回路と、前記第１のビット数よりも少ない第２のビット数の信号を処理可能な第２のリサイズ処理回路とを有し、前記リサイズ処理ブロックは、前記入力信号のビット数が前記第１のビット数である場合は、前記第１のリサイズ処理回路を用いて前記リサイズ処理を行い、前記入力信号のビット数が前記第２のビット数である場合は、前記第２のリサイズ処理回路を用いて前記リサイズ処理を行う。

第３６の発明に係る画像処理装置は、第３５の発明に係る画像処理装置において特に、前記リサイズ処理ブロックは、前記入力信号のビット数が前記第２のビット数である場合は、前記第１及び第２のリサイズ処理回路を用いて前記リサイズ処理を行うことを特徴とする。

第３７の発明に係る画像処理装置は、第３５又は第３６の発明に係る画像処理装置において特に、前記複数の画像処理ブロックには、前記リサイズ処理ブロックの前段に配置され、前記第１のビット数の信号を前記第２のビット数の信号に変換するガンマ補正処理ブロックがさらに含まれ、前記第２のリサイズ処理回路には、前記ガンマ補正処理ブロックからの出力信号が入力され、前記リサイズ処理ブロックは、前記ガンマ補正処理ブロックからの出力信号と、前記ガンマ補正処理ブロックへの入力信号とを選択して前記第１のリサイズ処理回路に入力するセレクタをさらに有することを特徴とする。

第１の発明に係る画像処理装置によれば、入力信号が単色の信号である場合は、直列に接続された複数の空間フィルタによって空間フィルタ処理が行われる。従って、本来は単色信号の処理に関与しない余剰の空間フィルタを利用することによって、タップ数の大きな空間フィルタを用いたフィルタ処理を実現することができる。また、同一の空間フィルタを用いたフィルタ処理を複数回繰り返す場合と比較すると、トータルの処理時間を短縮することもできる。

第２及び第３の発明に係る画像処理装置によれば、画素補間処理ブロックへの入力信号が画素補間処理を要しない信号である場合は、第１及び第２の空間フィルタを用いた空間フィルタ処理が行われるため、タップ数の大きな空間フィルタを用いたフィルタ処理を実現することができる。また、第２の空間フィルタを用いたフィルタ処理を複数回繰り返す場合と比較すると、トータルの処理時間を短縮することもできる。さらに、第１の空間フィルタは、画素補間処理ブロックの画素レジスタ群を用いて空間フィルタ処理を行うため、同様の画素レジスタ群を空間フィルタ処理ブロックに新たに設ける場合と比較すると、回路規模を縮小することもできる。

第４の発明に係る画像処理装置によれば、第１の空間フィルタはローパスフィルタであるため、第１の空間フィルタを他のローパスフィルタに直列に接続しても、ローパスフィルタのフィルタ係数の分布を維持でき、ローパスフィルタとしての機能が損われることがない。

第５の発明に係る画像処理装置によれば、第１及び第２の空間フィルタはいずれもローパスフィルタであるため、第１及び第２の空間フィルタを直列に接続しても、ローパスフィルタのフィルタ係数の分布を維持でき、ローパスフィルタとしての機能が損われることがない。

第６の発明に係る画像処理装置によれば、空間フィルタ処理ブロックへの入力信号が単色の信号である場合は、第１の空間フィルタと、直列に接続された複数の空間フィルタとを用いて、空間フィルタ処理ブロックにおける空間フィルタ処理が行われる。従って、本来は単色信号の処理に関与しない余剰の空間フィルタを利用することによって、タップ数のより大きな空間フィルタを用いたフィルタ処理を実現することができる。

第７の発明に係る画像処理装置によれば、複数の空間フィルタはいずれもローパスフィルタであるため、複数の空間フィルタを直列に接続しても、ローパスフィルタのフィルタ係数の分布を維持でき、ローパスフィルタとしての機能が損われることがない。

第８の発明に係る画像処理装置によれば、第１の演算器は、中心画素信号から第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する。従って、ハイパスフィルタを使用することなく、ハイパスフィルタの出力信号と同様の高周波成分を得ることができる。

第９の発明に係る画像処理装置によれば、第２の演算器は、画素単位特徴信号に基づいて高周波成分を変調する。従って、第１の演算器によって生成された高周波成分を、目的に応じて任意に変調することができる。

第１０の発明に係る画像処理装置によれば、第２の演算器は、第１のローパスフィルタ出力信号と第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する。従って、中周波成分を通過するバンドバスフィルタを使用することなく、バンドパスフィルタの出力信号と同様の中周波成分を生成でき、得られた中周波成分を、目的に応じて任意に利用することができる。

第１１の発明に係る画像処理装置によれば、第３の演算器は、画素単位特徴信号に基づいて中周波成分を変調する。従って、第３の演算器によって生成された中周波成分を、目的に応じて任意に変調することができる。

第１２の発明に係る画像処理装置によれば、第３の演算器は、第１の係数を高周波成分に乗算し、第２の係数を中周波成分に乗算し、これらの乗算結果を加算する。従って、第１及び第２の係数をそれぞれ所望の値に設定することにより、高周波成分及び中周波成分が所望の割合で混合された出力信号を得ることができ、得られた出力信号を、目的に応じて任意に利用することができる。

第１３の発明に係る画像処理装置によれば、第４の演算器は、第３の演算器からの出力信号を画素単位特徴信号に基づいて変調する。従って、第３の演算器からの出力信号を、目的に応じて任意に変調することができる。

第１４の発明に係る画像処理装置によれば、変調対象信号を変調するための画素単位特徴信号自体をも、信号変調処理ブロックにおいて任意に変調することができる。その結果、変調対象信号を目的に応じて任意に変調することが可能となる。

第１５の発明に係る画像処理装置によれば、第１の演算器は、中心画素信号に第１の係数を乗算し、第１のローパスフィルタ出力信号に第２の係数を乗算し、これらの乗算結果を加算する。従って、第１及び第２の係数をそれぞれ所望の値に設定することにより、中心画素信号及び第１のローパスフィルタ出力信号が所望の割合で混合された出力信号を得ることができ、得られた出力信号を、目的に応じて任意に利用することができる。また、第１の係数と第２の係数との和が一定値であるため、直流成分のゲインを一定値に保つことができる。

第１６の発明に係る画像処理装置によれば、第２の演算器は、中心画素信号から第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する。従って、ハイパスフィルタを使用することなく、ハイパスフィルタの出力信号と同様の高周波成分を得ることができる。そして、第１の演算器の出力信号と第２の演算器の出力信号とを第３の演算器によって加算することによって、直流成分、低周波成分、及び高周波成分を含む出力信号を得ることができ、得られた出力信号を、目的に応じて任意に利用することができる。

第１７の発明に係る画像処理装置によれば、第４の演算器は、画素単位特徴信号に基づいて高周波成分を変調する。従って、第２の演算器によって生成された高周波成分を、目的に応じて任意に変調することができる。

第１８の発明に係る画像処理装置によれば、第２の演算器は、第１のローパスフィルタ出力信号と第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する。従って、中周波成分を通過するバンドパスフィルタを使用することなく、バンドパスフィルタの出力信号と同様の中周波成分を生成することができる。そして、第１の演算器の出力信号と第２の演算器の出力信号とを第３の演算器によって加算することによって、直流成分、低周波成分、及び中周波成分を含む出力信号を得ることができ、得られた出力信号を、目的に応じて任意に利用することができる。

第１９の発明に係る画像処理装置によれば、第４の演算器は、画素単位特徴信号に基づいて中周波成分を変調する。従って、第２の演算器によって生成された中周波成分を、目的に応じて任意に変調することができる。

第２０の発明に係る画像処理装置によれば、第２の演算器は、中心画素信号から第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する。従って、ハイパスフィルタを使用することなく、ハイパスフィルタの出力信号と同様の高周波成分を得ることができる。また、第３の演算器は、第１のローパスフィルタ出力信号と第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する。従って、中周波成分を通過するバンドパスフィルタを使用することなく、バンドパスフィルタの出力信号と同様の中周波成分を得ることができる。また、第４の演算器は、第３の係数を高周波成分に乗算し、第４の係数を中周波成分に乗算し、これらの乗算結果を加算する。従って、第３及び第４の係数をそれぞれ所望の値に設定することにより、高周波成分及び中周波成分が所望の割合で混合された出力信号を得ることができる。そして、第１の演算器の出力信号と第４の演算器の出力信号とを第５の演算器によって加算することによって、直流成分、低周波成分、中周波成分、及び高周波成分を含む出力信号を得ることができ、得られた出力信号を、目的に応じて任意に利用することができる。

第２１の発明に係る画像処理装置によれば、第６の演算器は、第４の演算器からの出力信号を画素単位特徴信号に基づいて変調する。従って、第４の演算器からの出力信号を、目的に応じて任意に変調することができる。

第２２の発明に係る画像処理装置によれば、変調対象信号を変調するための画素単位特徴信号自体をも、信号変調処理ブロックにおいて任意に変調することができる。その結果、変調対象信号を目的に応じて任意に変調することが可能となる。

第２３の発明に係る画像処理装置によれば、空間フィルタ処理ブロックに固定ローパスフィルタを設けておくことにより、第１のローパスフィルタ出力信号を簡易に得ることができる。

第２４の発明に係る画像処理装置によれば、プログラマブル空間フィルタのフィルタ係数をローパスフィルタのそれに設定することにより、第１のローパスフィルタ出力信号を簡易に得ることができる。

第２５の発明に係る画像処理装置によれば、空間フィルタ処理ブロックに固定ローパスフィルタを設けておくことにより、ローパスフィルタ出力信号を簡易に得ることができる。また、プログラマブル空間フィルタのフィルタ係数をローパスフィルタのそれに設定することにより、ローパスフィルタ出力信号を簡易に得ることができる。そして、固定ローパスフィルタの出力信号及びプログラマブル空間フィルタの出力信号のいずれかをセレクタで選択して第１のローパスフィルタ出力信号とすることにより、プログラマブル空間フィルタのフィルタ係数をローパスフィルタのそれに設定可能な状況であるか否かに応じて、固定ローパスフィルタ又はプログラマブル空間フィルタを選択することができる。

第２６の発明に係る画像処理装置によれば、ローパスフィルタ処理が行われた画素単位特徴信号を用いて輝度信号が変調される。画素単位特徴信号に対してローパスフィルタ処理を行うことによって、画素毎の変動を抑制することができるため、輝度信号の変調の度合いが画素毎に大きく変動するという事態を回避できる。その結果、仮に、画素単位特徴信号の生成の元となった画素と、輝度信号の変調の対象となる画素との間にずれが生じた場合であっても、画素単位特徴信号に対してローパスフィルタ処理を行わない場合と比較すると、適正値からの輝度のずれに起因する画質の低下の度合いを低減することが可能となる。

第２７の発明に係る画像処理装置によれば、ローパスフィルタ処理が行われた画素単位特徴信号を用いて色信号が変調される。画素単位特徴信号に対してローパスフィルタ処理を行うことによって、画素毎の変動を抑制することができるため、色信号の変調の度合いが画素毎に大きく変動するという事態を回避できる。その結果、仮に、画素単位特徴信号の生成の元となった画素と、色信号の変調の対象となる画素との間にずれが生じた場合であっても、画素単位特徴信号に対してローパスフィルタ処理を行わない場合と比較すると、適正値からの色のずれに起因する画質の低下の度合いを低減することが可能となる。

第２８の発明に係る画像処理装置によれば、変調対象信号を変調するための画素単位特徴信号自体をも、信号変調処理ブロックにおいて任意に変調することができる。その結果、変調対象信号を目的に応じて任意に変調することが可能となる。

第２９の発明に係る画像処理装置によれば、２チャンネルの色信号を出力する色空間変換回路の後段に、２次元ルックアップテーブルが接続されている。色空間変換処理ブロックは、色空間の変換処理をリアルタイム処理によって実行するものであるため、演算量の多い３次元ルックアップテーブルを用いて色空間の変換処理を行ったのでは、３次元ルックアップテーブルにおける処理がボトルネックとなって、全体として処理の遅延を招く。また、３次元ルックアップテーブルは回路規模が非常に大きい。これに対し、２次元ルックアップテーブルを用いることにより、回路規模の増大を抑制しつつ、全体としての処理の遅延を招くこともなく、高速な色空間の変換処理を実現することができる。

第３０の発明に係る画像処理装置によれば、色空間変換回路は、１チャンネルの輝度信号と２チャンネルの色信号とから成る第２の色空間（例えばＹＵＶ空間又はＹＣｂＣｒ空間）の信号を出力する。従って、３次元ルックアップテーブルを用いるまでもなく、色空間変換回路から出力された２チャンネルの色信号の全てを２次元ルックアップテーブルによって変換することができる。

第３１の発明に係る画像処理装置によれば、２次元ルックアップテーブルの変換値が離散的に規定されているため、全ての入力データ値に対応して変換値を規定する場合と比較すると、回路規模を縮小することができる。

第３２の発明に係る画像処理装置によれば、入力データの絶対値が小さい領域（グレー領域）に関しては、変換値の離散の度合いが小さく設定される。つまり、２次元ルックアップテーブルにおいて、グレー領域に関しては変換値が細かく設定される。従って、通常の撮像画像内に多く含まれるグレー領域に関して、きめ細かい変換処理を行うことができる。

第３３の発明に係る画像処理装置によれば、第２の色空間変換処理ブロックは、処理ブロックから出力された第２の色空間の信号を、第２の色空間とは異なる色空間の信号に変換する。従って、処理ブロックでは第２の色空間の信号を用いて各種の処理を行いつつ、その後に第２の色空間変換処理ブロックによって色空間を変換することにより、例えば第１の色空間の出力信号を最終的に得ることができる。

第３４の発明に係る画像処理装置によれば、処理ブロックでは、第１のガンマ補正処理ブロックによってガンマ補正処理された後のビット数の信号を用いて各種の処理を行いつつ、その後に第２のガンマ補正処理ブロックによってガンマ補正処理を行うことにより、最終的に所望のビット数の出力信号を得ることができる。

第３５の発明に係る画像処理装置によれば、リサイズ処理ブロックへは、例えば、メイン画像用の１２ビット系信号や、表示用又はサムネイル画像用の８ビット系信号等が入力信号として入力されるが、処理可能なビット数が異なる複数のリサイズ処理回路を設けておくことにより、入力信号のビット数に応じて、使用するリサイズ処理回路を選択することができる。しかも、複数のリサイズ処理回路の全てを第１のビット数を処理可能なリサイズ処理回路として用意しておく場合と比較すると、回路規模を縮小することができる。

第３６の発明に係る画像処理装置によれば、入力信号のビット数が第２のビット数である場合は、第２のリサイズ処理回路のみならず第１のリサイズ処理回路をも用いてリサイズ処理が行われる。従って、第２のビット数の入力信号が入力された場合に、第１のリサイズ処理回路が無駄になることを防止することができる。

第３７の発明に係る画像処理装置によれば、セレクタは、ガンマ補正処理ブロックからの出力信号と、ガンマ補正処理ブロックへの入力信号とを選択して第１のリサイズ処理回路に入力する。従って、第１のリサイズ処理回路は、ガンマ補正処理回路への第１のビット数の入力信号のみならず、ガンマ補正処理ブロックで処理されることによってビット数が第２のビット数に削減された信号に対しても、リサイズ処理を行うことができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、本発明の実施の形態に係るディジタルスチルカメラの全体構成を概略的に示すブロック図である。ＣＣＤ１の後段には、アナログ信号処理回路２が接続されている。アナログ信号処理回路２の後段には、ＳＰＵ（Sensor Processing Unit）３が接続されている。ＳＰＵ３の後段には、ＲＰＵ（Real-time Processing Unit）４が接続されている。ＲＰＵ４は、メインバス５に接続されている。メインバス５には、ＲＰＵ４のほかに、ＣＰＵ６、ＬＣＤ駆動部８、ＤＭＡコントローラ９、メモリインタフェース１０、及びカードコントローラ１２が接続されている。ＬＣＤ駆動部８にはＬＣＤ７が接続されており、メモリインタフェース１０にはＳＤＲＡＭ１１が接続されており、カードコントローラ１２にはメモリカード１３が接続されている。

ＣＣＤ１は、Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）等の３色系、又はＹ（イエロー），Ｍ（マゼンタ），Ｃ（シアン），Ｗ（ホワイト）等の４色系のカラーフィルタを有しており、光学レンズを用いて画像を撮像して、得られた画像信号を出力する。なお、ＣＣＤ１の代わりに、ＣＭＯＳイメージセンサ等の他の撮像素子を用いてもよい。

アナログ信号処理回路２は、ＣＣＤ１から入力されたアナログの画像信号に対して、ノイズ除去、信号増幅、及びＡ／Ｄ変換等の信号処理を施し、ディジタルの画像信号を出力する。

ＳＰＵ３は、アナログ信号処理回路２から入力された画像信号に対して、例えばホワイトバランス調整等の、画像センサの特性に起因する問題点に関連する各種の信号処理を施して出力する。

ＲＰＵ４は、ＳＰＵ３から入力された画像信号、又はＳＤＲＡＭ１１からメインバス５を介して入力された画像信号に対して、画素補間、色空間変換、及び偽色抑圧等の各種の信号処理（詳細は後述する）を施して出力する。

ＣＰＵ６は、図１に示した各要素の動作を統括的に制御する。但し、メインバス５を介した画像信号の伝送はＤＭＡコントローラ９によって制御され、これにより、ＣＰＵ６の負荷が低減されている。

ＬＣＤ７は、ディジタルスチルカメラのファインダーとして機能する。ＬＣＤ７には、例えば８ビット系の画像信号によって表される低解像度の画像が表示される。ここで、「８ビット系」とは、符号無しの８ビット又は符号付きの９ビットを意味する。以下、「ｎビット系」の表記は、符号無しのｎビット又は符号付きのｎ＋１ビットを意味するものとする。ＬＣＤ７における画像の表示は、ＬＣＤ駆動部８によって制御される。

ユーザによって撮像ボタン（図示しない）が押下されると、メモリカード１３には、例えば１２ビット系の画像信号によって表される高解像度の画像（メイン画像）が記録される。但し、メイン画像の解像度は、ユーザによって選択可能である。メモリカード１３への画像の記録は、カードコントローラ１２によって制御される。

図２は、ＲＰＵ４の機能構成を概略的に示すブロック図である。ＲＰＵ４は、単一画素処理ブロック２０、画素補間処理ブロック２１、第１のガンマ補正処理ブロック２２、第１の色空間変換処理ブロック２３、空間フィルタ処理ブロック２４、コアリング処理ブロック２５、色抑圧処理ブロック（信号変調処理ブロック）２６、第２の色空間変換処理ブロック２７、第２のガンマ補正処理ブロック２８、及びリサイズ処理ブロック２９を備えて構成されている。

ＲＰＵ４は、ＳＰＵ３から直接入力された画像信号の処理（リアルタイム処理）と、ＳＰＵ３から一旦ＳＤＲＡＭ１１に格納されてＳＤＲＡＭ１１からメインバス５を介して入力された画像信号の処理（ポスト処理）とを実行可能である。

リアルタイム処理において、全ての処理ブロック２０〜２９は、ＣＣＤ１から画素信号を読み出す際の読み出しクロックに同期した所定の画素クロックに基づいて、それぞれ処理を実行する。つまり、各処理ブロック２０〜２９は、前段の処理ブロックから画素クロック毎に画像信号を入力するとともに、入力された画像信号を画素クロック毎に処理する。全ての処理ブロック２０〜２９が画素クロック毎の処理を並列に実行可能であるため、ＲＰＵ４は、パイプライン型の画像処理装置として構築されている。なお、ポスト処理においては、ＣＣＤ１の読み出しクロックとは独立に、ＲＰＵ４の画素クロックを設定することもできる。

ＳＰＵ３又はＳＤＲＡＭ１１から単一画素処理ブロック２０に入力された画像信号は、各処理ブロック２０〜２９によって順に処理された後、リサイズ処理ブロック２９からメインバス５を介してＳＤＲＡＭ１１に転送される。但し、処理ブロック２０〜２９のうちの任意の処理ブロックをバイパスすることも可能である。

また、単一画素処理ブロック２０、画素補間処理ブロック２１、及び第１のガンマ補正処理ブロック２２の各入出力は、メインバス５に接続されている。従って、ＳＤＲＡＭ１１からメインバス５を介して各処理ブロック２０〜２２に画像信号を入力し、各処理ブロック２０〜２２で処理された後の画像信号を、各処理ブロック２０〜２２からメインバス５を介してＳＤＲＡＭ１１に転送することもできる。例えば、ＳＤＲＡＭ１１から第１のガンマ補正処理ブロック２２に画像信号を入力し、第１のガンマ補正処理ブロック２２で処理された後の画像信号を、第１のガンマ補正処理ブロック２２からＳＤＲＡＭ１１に転送することができる。

図３〜１１は、ＲＰＵ４の具体的な構成を示す回路図である。これらの図は、同一の番号が付されている接続点Ｎ₀₀₁〜Ｎ₀₇₀同士によって互いに繋がっている。以下、図２に示した各処理ブロック２０〜２９の具体的な構成を、本発明に関わる特徴的部分を中心に、図３〜１１を用いて順に説明する。

ＲＰＵ４は、４チャンネルの入力ＤＭＡチャンネルIN-CH0〜IN-CH3（例えば図３参照）と、同じく４チャンネルの出力ＤＭＡチャンネルOUT-CH0〜OUT-CH3（例えば図１１参照）とを有している。また、各ＤＭＡチャンネルは、４チャンネルのカラーチャンネルＣ０〜Ｃ３をそれぞれ有している。

なお、画像信号のビット数の表記に関し、ビット数の前に付記した「Ｓ」及び「Ｕ」は、それぞれ「符号付き」及び「符号無し」を意味している。例えば「Ｓ１７」は符号付きの１７ビットを意味し、例えば「Ｕ８」は符号無しの８ビットを意味する。また、図中においてビット数が減少している箇所では、特に明示していない限り、乗算器の後では下位ビットを削除し、加算器又はシフタの後では上位ビットを削除するクリップ処理が行われている。

＜単一画素処理ブロック２０＞
単一画素処理ブロック２０の構成は、図３に示されている。単一画素処理ブロック２０は、図３に示すように、セレクタ１０１〜１０９、乗算器１１０〜１１４、加算器１１５，１１６、シフタ・リミッタ１１７，１１８、及び除算器１１９等を備えて構成されている。Ａ１，Ａ２，Ｂ１，Ｂ２は係数であり、Ｅ０〜Ｅ３は、各カラーチャンネルＣ０〜Ｃ３毎のオフセット係数であり、ＯＢ０〜ＯＢ３は、各ＤＭＡチャンネルＣＨ０〜ＣＨ３毎のオプティカルブラック補正用の係数であり、ＷＢ０〜ＷＢ３は、各ＤＭＡチャンネルＣＨ０〜ＣＨ３毎のホワイトバランス補正用の係数である。

単一画素処理ブロック２０は、ＳＰＵ３から入力された画像信号（Input Data）１２０及びＳＤＲＡＭ１１からメインバス５を介して入力された画像信号を画素単位で処理する機能を有し、経時的平均化処理やシェーディング補正処理等を選択的に実行可能である。

経時的平均化処理は、読み出しクロックに従ってＣＣＤ１からの画素信号の読み出しを行いつつも、ＲＰＵ４に入力された画像信号を複数フレーム又は複数フィールドに亘って平均化する処理である。平均化のための画素信号の加算方式としては、セレクタ１０７，１０８及び係数Ｂ１，Ｂ２の設定により、累積加算又は循環加算を選択可能である。セレクタ１０７が入力端子１０７₂を選択し、セレクタ１０８が入力端子１０８₂を選択し、係数Ｂ１，Ｂ２の双方に「１」を設定した場合には、累積加算が行われる。また、セレクタ１０７が入力端子１０７₁を選択し、セレクタ１０８が入力端子１０８₂を選択し、係数Ｂ２に「α」を設定した場合には、循環加算が行われる。

また、セレクタ１０７が入力端子１０７₂を選択し、セレクタ１０８が入力端子１０８₁を選択し、係数Ｂ１に「０」を設定することにより、シェーディング補正処理を行うことができる。このとき、セレクタ１０８の入力端子１０８₁には、ＳＤＲＡＭ１１からメインバス５及びセレクタ１０６を介して、所定のシェーディング補正パラメータが入力されている。

＜画素補間処理ブロック２１＞
画素補間処理ブロック２１の構成は、図４，５に示されている。画素補間処理ブロック２１は、図４，５に示すように、画素レジスタ群２０１と、ラインバッファ（ＦＩＦＯ）２０２〜２０７と、補間演算部２０８とを備えて構成されている。画素レジスタ群２０１は、注目画素の画素信号が格納される画素レジスタ２０１ｃを中心として、７×７タップの合計４９個の画素レジスタによって構成されている。ラインバッファ２０２〜２０７は、画素レジスタ群２０１の各行間に接続されている。例えばラインバッファ２０２は、画素レジスタ群２０１の１行目と２行目との間に接続されている。

補間演算部２０８には、画素レジスタ群２０１の各画素レジスタに格納されている合計４９個の画素信号が入力される。補間演算部２０８は、入力された画素信号に基づき、注目画素の周辺の画素信号を参照することによって、注目画素に不足している色成分を補間する。注目画素が例えばＲＧＢ色空間のＲ成分を持つ画素である場合は、不足しているＧ成分及びＢ成分が補間処理によって生成される。そして、補間演算部２０８のカラーチャンネルＣ０の出力端子からはＲ成分の画素信号が、カラーチャンネルＣ１の出力端子からはＧ成分の画素信号が、カラーチャンネルＣ２の出力端子からはＢ成分の画素信号が、それぞれ出力される。また、カラーチャンネルＣ３の出力端子からは、画素毎に所定の特徴付けを行うためのＫＥＹ信号が、必要に応じて出力される。なお、ＲＰＵ４への入力信号がＹ，Ｍ，Ｃ，Ｗの４色系の信号である場合には、カラーチャンネルＣ０の出力端子からはＹ成分の画素信号が、カラーチャンネルＣ１の出力端子からはＭ成分の画素信号が、カラーチャンネルＣ２の出力端子からはＣ成分の画素信号が、カラーチャンネルＣ３の出力端子からはＷ成分の画素信号が、それぞれ出力される。

また、補間演算部２０８は、画素レジスタ群２０１から入力された画素信号に基づき、任意の相関判定手法（例えば縦横相関判定）を用いて注目画素と周辺画素との相関の度合いを判定する機能を有しており、その結果得られる相関信号が、チャンネルＫ０（チャンネルＣ４）又はチャンネルＫ１（チャンネルＣ５）の出力端子から出力される。

また、補間演算部２０８は、画素レジスタ群２０１から入力された画素信号に基づき、注目画素の色レベル（彩度値、飽和度）を検出する機能を有しており、その結果得られる色レベル信号が、チャンネルＫ０又はチャンネルＫ１の出力端子から出力される。

また、補間演算部２０８は、画素レジスタ群２０１から入力された画素信号に基づき、エッジ検出のためのソベルフィルタ処理を行う機能を有しており、その結果得られるソベルフィルタ出力信号が、チャンネルＫ０又はチャンネルＫ１の出力端子から出力される。

これらの相関信号、色レベル信号、ソベルフィルタ出力信号は、各画素の特徴を表すものであり、画素毎の特性に応じた「画素単位特徴信号」として捉えることができる。相関信号、色レベル信号、及びソベルフィルタ出力信号のいずれをチャンネルＫ０，Ｋ１から出力するかは、任意に選択することができる。また、画素単位特徴信号の一つを、上記のＫＥＹ信号としてカラーチャンネルＣ３の出力端子から出力することも可能である。

＜第１のガンマ補正処理ブロック２２＞
第１のガンマ補正処理ブロック２２の構成は、図５に示されている。第１のガンマ補正処理ブロック２２は、図５に示すように、ガンマ補正処理部３０１を備えて構成されている。ガンマ補正処理部３０１は、ルックアップテーブル等を用いて、１６ビット系から１６ビット系への変換を、各カラーチャンネルＣ０〜Ｃ３毎に独立に実行可能である。

ガンマ補正処理部３０１の前段には、リニアマトリクス変換器３０２が接続されている。リニアマトリクス変換器３０２は、ＣＣＤ１のカラーフィルタの理想特性からのずれを補正する等の、各種のリニア領域での色補正を行う。

セレクタ２０９〜２１２がそれぞれ入力端子２０９₂〜２１２₂を選択し、セレクタ３０３〜３０６がそれぞれ入力端子３０３₂〜３０６₂を選択することにより、補間演算部２０８からの出力信号をガンマ補正処理部３０１に入力することができる。セレクタ３０３〜３０６がそれぞれ入力端子３０３₁〜３０６₁を選択し、セレクタ３０８が入力端子３０８₁を選択することにより、ＳＰＵ３からの出力信号をガンマ補正処理部３０１に入力することができる。セレクタ３０３〜３０６がそれぞれ入力端子３０３₁〜３０６₁を選択し、セレクタ３０８が入力端子３０８₂を選択することにより、単一画素処理ブロック２０のシフタ・リミッタ１１８からの出力信号をガンマ補正処理部３０１に入力することができる。セレクタ３０３〜３０６がそれぞれ入力端子３０３₁〜３０６₁を選択し、セレクタ３０８が入力端子３０８₃を選択することにより、ＳＤＲＡＭ１１から読み出した画像信号をカラーサンプリングモジュール３０７を介してガンマ補正処理部３０１に入力することができる。

ガンマ補正処理部３０１からの出力信号は、セレクタ３０９を介してクリップ回路３１０に入力され、クリップ回路３１０によって１２ビット系の画像信号にクリップされた後、後段の第１の色空間変換処理ブロック２３に入力される。また、ガンマ補正処理部３０１からの出力信号を、セレクタ３０９及びメインバス５を介してＳＤＲＡＭ１１に入力することも可能である。なお、補間演算部２０８のチャンネルＫ０，Ｋ１から出力された画素単位特徴信号は、セレクタ３０９及びクリップ回路３１０を介して、後段の第１の色空間変換処理ブロック２３に入力される。

＜第１の色空間変換処理ブロック２３＞
第１の色空間変換処理ブロック２３の構成は、図６に示されている。第１の色空間変換処理ブロック２３は、図６に示すように、色空間変換回路４０１と２次元ルックアップテーブル４０２とを備えて構成されている。

色空間変換回路４０１は、４チャンネル入力かつ４チャンネル出力のマトリクス演算を実行可能であり、例えば、ＲＧＢ色空間又はＹＭＣＷ色空間の画像信号を、ＹＣｂＣｒ色空間（ＹＵＶ色空間）に変換して出力する。色空間変換回路４０１のカラーチャンネルＣ０の出力端子からはＹ成分の画素信号が、カラーチャンネルＣ１の出力端子からはＣｂ成分の画素信号が、カラーチャンネルＣ２の出力端子からはＣｒ成分の画素信号が、それぞれ出力される。また、カラーチャンネルＣ３の出力端子からは、ＫＥＹ信号が必要に応じて出力される。

２次元ルックアップテーブル４０２は、色空間変換回路４０１のカラーチャンネルＣ１，Ｃ２の各出力端子に接続されており、入力データ値の対（Ｃｂ，Ｃｒ）と出力データ値の対（Ｃｂ，Ｃｒ）との対応関係を表す複数の変換値に基づいて、Ｃｂ成分及びＣｒ成分の各画素信号の値を所望の値に変換する。２次元ルックアップテーブル４０２の詳細については後述する。

色空間変換回路４０１のカラーチャンネルＣ０の出力端子には、露出決定評価器４０３が接続されている。露出決定評価器４０３は、シャッター速度や絞り値を決定する際の前提として、実際の画像信号の適正輝度に基づいて露出レベルを決定するためのものであり、１フレームの画像を複数のブロックに区分けし、ブロック同士の輝度を平準化するための輝度評価を行う。

＜空間フィルタ処理ブロック２４＞
空間フィルタ処理ブロック２４の構成は、図４，７，８に示されている。空間フィルタ処理ブロック２４は、図４に示すように、３×３タップの固定ローパスフィルタ５０１（ＬＰＦ−Ｌ）と、５×５タップの固定ローパスフィルタ５０２（ＬＰＦ−ＬＬ）と、７×７タップの固定ローパスフィルタ５０２（ＬＰＦ−ＬＬＬ）と、図７に示すように、カラーチャンネルＣ０に対応する５×５タップのプログラマブル空間フィルタ５０４と、カラーチャンネルＣ１に対応する５×５タップの空間フィルタ５０５と、カラーチャンネルＣ２に対応する５×５タップの空間フィルタ５０６とを備えて構成されている。なお、図４では固定ローパスフィルタ５０１〜５０３のフィルタ係数の設定値について図示を省略したが、フィルタ係数の合計値は、固定ローパスフィルタ５０１は「１６」、固定ローパスフィルタ５０２は「６４」、固定ローパスフィルタ５０３は「１２８」である。

図４を参照して、固定ローパスフィルタ５０１〜５０３は、画素レジスタ群２０１から入力された画素信号に基づいて、ローパスフィルタ処理を行う。図４，５を参照して、セレクタ２０９〜２１２がそれぞれ入力端子２０９₁〜２１２₁を選択し、セレクタ３０３〜３０６がそれぞれ入力端子３０３₂〜３０６₂を選択することにより、画素レジスタ２０１ｃに格納されているオリジナルの画素信号である中心画素信号と、固定ローパスフィルタ５０１〜５０３からの各出力信号とを、ガンマ補正処理部３０１に入力することができる。ガンマ補正処理部３０１から出力されたこれらの信号は、クリップ回路３１０によって１２ビット系の信号にクリップされた後、図６に示した色空間変換回路４０１及び２次元ルックアップテーブル４０２を介して、図７に示したプログラマブル空間フィルタ５０４及び空間フィルタ５０５，５０６に入力可能である。

図７を参照して、プログラマブル空間フィルタ５０４は、中心画素信号（center）と、プログラマブルフィルタ出力信号（Prog.）と、３×３タップの固定ローパスフィルタからのローパスフィルタ出力信号（LPF-L）と、５×５タップの固定ローパスフィルタからのローパスフィルタ出力信号（LPF-LL）と、３×３タップのソベルフィルタ出力信号（Sobel-33）と、５×５タップのソベルフィルタ出力信号（Sobel-55）とを出力可能である。なお、プログラマブル空間フィルタ５０４は通常はハイパスフィルタに設定されており、プログラマブルフィルタ出力信号（Prog.）は通常はハイパスフィルタ出力信号である。

また、空間フィルタ５０５，５０６は、中心画素信号（center）と、３×３タップの固定ローパスフィルタからのローパスフィルタ出力信号（LPF-L）と、５×５タップの固定ローパスフィルタからのローパスフィルタ出力信号（LPF-LL）とをそれぞれ出力可能である。

空間フィルタ処理ブロック２４への入力信号がカラーの画像信号（この例ではＹＣｂＣｒ色空間の信号）である場合には、セレクタ５０８は入力端子５０８₁を選択し、セレクタ５０９は入力端子５０９₁を選択する。この場合、プログラマブル空間フィルタ５０４にはＹ成分の画像信号が、空間フィルタ５０５にはＣｂ成分の画像信号が、空間フィルタ５０６にはＣｒ成分の画像信号が、それぞれ入力される。そして、プログラマブル空間フィルタ５０４及び空間フィルタ５０５，５０６において、それぞれ並列に空間フィルタ処理が実行される。

一方、空間フィルタ処理ブロック２４への入力信号がＹ成分のみのモノクロの画像信号である場合には、セレクタ５０８は入力端子５０８₂を選択し、セレクタ５０９は入力端子５０９₂を選択する。これにより、プログラマブル空間フィルタ５０４のローパスフィルタ出力信号（LPF-LL）が空間フィルタ５０５に入力され、空間フィルタ５０５のローパスフィルタ出力信号（LPF-LL）が空間フィルタ５０５に入力される。つまり、プログラマブル空間フィルタ５０４及び空間フィルタ５０５，５０６が直列（カスケード）に接続され、カスケード接続された３つの空間フィルタによってフィルタ処理が行われる。この例の場合、５×５タップのローパスフィルタが３段にカスケード接続されるため、１３×１３タップのローパスフィルタ処理が可能となる。

このように、入力信号が単色信号である場合は、カスケード接続された複数の空間フィルタ５０４〜５０６によってフィルタ処理が行われる。従って、本来は単色信号の処理に関与しない空間フィルタ５０５，５０６を利用することによって、タップ数の大きな空間フィルタを用いたフィルタ処理を実現できる。また、１回のパスでの処理が可能であるため、空間フィルタ５０４を用いたフィルタ処理を複数回のパスによって繰り返す場合と比較すると、トータルの処理時間を短縮することもできる。しかも、カスケード接続される空間フィルタ５０４〜５０６はいずれもローパスフィルタであるため、複数の空間フィルタをカスケード接続してもローパスフィルタのフィルタ係数の分布を維持でき、ローパスフィルタとしての機能が損われることがない。

また、モノクロの画像信号については画素補間処理ブロック２１における画素補間処理が不要であるため、図５に示したセレクタ２０９〜２１２はそれぞれ入力端子２０９₁〜２１２₁を選択することができる。従って、例えば、図４に示した５×５タップの固定ローパスフィルタ５０２からの出力信号を、図７に示したプログラマブル空間フィルタ５０４に入力することができる。つまり、図４に示した画素レジスタ群２０１を用いた空間フィルタと、図７に示した空間フィルタ５０４〜５０６とが連続的に適用されて、空間フィルタ処理が行われる。この例の場合は、５×５タップのローパスフィルタが４段にカスケード接続されるため、１７×１７タップのローパスフィルタ処理が可能となる。

このように、画素補間処理ブロック２１への入力信号が画素補間処理を要しない信号である場合は、固定ローパスフィルタ５０２及び空間フィルタ５０４〜５０６を用いることにより、タップ数のより大きな空間フィルタ処理を実現できる。また、１回のパスでの処理が可能であるため、空間フィルタ５０４を用いたフィルタ処理を複数回のパスによって繰り返す場合と比較すると、トータルの処理時間を短縮することもできる。さらに、固定ローパスフィルタ５０１〜５０３は、画素補間処理ブロック２１の画素レジスタ群２０１を用いてフィルタ処理を行うため、同様の画素レジスタ群を空間フィルタ処理ブロック２４に新たに設ける場合と比較すると、回路規模を縮小することもできる。しかも、カスケード接続される空間フィルタ５０２，５０４〜５０６はいずれもローパスフィルタであるため、複数の空間フィルタをカスケード接続してもローパスフィルタのフィルタ係数の分布を維持でき、ローパスフィルタとしての機能が損われることがない。

なお、図７を参照して、プログラマブル空間フィルタ５０４には、ノイズリダクション回路５０７が接続されている。ノイズリダクション回路５０７は、中心画素信号と画素レジスタ群（図示しない）の各画素信号とを、プログラマブル空間フィルタ５０４から入力する。そして、画素レジスタ群の画素信号の最大値及び最小値と、中心画素信号の値とを比較し、中心画素信号の値が、最大値及び最小値のいずれかと一致する場合には、その中心画素信号をノイズとみなす。この場合、周辺の画素信号を用いた補間処理によって、新たな中心画素信号を生成する。一方、中心画素信号の値が最大値にも最小値にも一致しない場合には、その中心画素信号はノイズでないとみなし、新たな中心画素信号の生成処理は行わない。

次に図８を参照して、空間フィルタ処理ブロック２４は、減算器５１０〜５１２，５１９，５２０，５２３，５２４と、乗算器５１６，５１７，５３１，５３２と、加算器５１８，５３３，５３５と、セレクタ５１３〜５１５，５２１，５２２，５２５，５２６，５３０，５３６と、リミッタ５３４とを備えている。

減算器５１０は、プログラマブル空間フィルタ５０４の中心画素信号から３×３タップのローパスフィルタ出力信号を減算することにより、比較的狭帯域の高周波成分（ＨＦ−Ｎ）を生成する。減算器５１１は、プログラマブル空間フィルタ５０４の中心画素信号から５×５タップのローパスフィルタ出力信号を減算することにより、比較的広帯域の高周波成分（ＨＦ−Ｗ）を生成する。これにより、プログラマブル空間フィルタ５０４がハイパスフィルタ以外に設定されている場合であっても、ハイパスフィルタ出力信号と同様の高周波成分を得ることができる。

減算器５１２は、プログラマブル空間フィルタ５０４の３×３タップのローパスフィルタ出力信号から５×５タップのローパスフィルタ出力信号を減算することにより、中周波成分（ＭＦ）を生成する。このように、中周波成分を通過するバンドパスフィルタを用いることなく、バンドパスフィルタ出力信号と同様の中周波成分を生成することができる。得られた中周波成分は、ユーザの目的に応じて任意に利用可能であるため、汎用性を高めることができる。

セレクタ５１３は、プログラマブル空間フィルタ５０４のハイパスフィルタ出力信号、減算器５１０からの出力信号、及び減算器５１１からの出力信号のいずれかを選択して出力する。セレクタ５１４は、プログラマブル空間フィルタ５０４からの出力信号（特に、プログラマブル空間フィルタ５０４がローパスフィルタに設定された場合の出力信号）、３×３タップのローパスフィルタ出力信号、及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。

図８に示すように、空間フィルタ処理ブロック２４からは、複数の信号、具体的には、プログラマブル空間フィルタ５０４の中心画素信号と、セレクタ５１３の出力信号（つまり、プログラマブル空間フィルタ５０４のハイパスフィルタ出力信号、減算器５１０から出力された高周波成分、又は、減算器５１１から出力された高周波成分）と、セレクタ５１４の出力信号（つまり、３×３タップのローパスフィルタ出力信号、又は５×５タップのローパスフィルタ出力信号）と、減算器５１２から出力された中周波成分とが、同時に出力される。

また、セレクタ５１５は、プログラマブル空間フィルタ５０４の中心画素信号、セレクタ５１３からの出力信号、減算器５１２からの出力信号、セレクタ５１４からの出力信号、３×３タップのソベルフィルタ出力信号、及び５×５タップのソベルフィルタ出力信号のいずれかを選択して出力する。

乗算器５１６は、セレクタ５１３からの出力信号（高周波成分）に任意の係数（ＲＡＴＨＦ）を乗算して出力し、乗算器５１７は、減算器５１２からの出力信号（中周波成分）に任意の係数（ＲＡＴＭＦ）を乗算して出力する。加算器５１８は、乗算器５１６からの出力信号と乗算器５１７からの出力信号とを加算して出力する。係数（ＲＡＴＨＦ，ＲＡＴＭＦ）を所望の値に設定することにより、高周波成分及び中周波成分を所望の割合で混合することができる。加算器５１８からの出力信号は、ユーザの目的に応じて任意に利用できるため、汎用性を高めることができる。

セレクタ５３０は、係数（ＲＡＴＣＮＴ）及び係数（６４−Alpha）のいずれかを選択して出力する。乗算器５３１は、プログラマブル空間フィルタ５０４の中心画素信号と、セレクタ５３０からの出力信号とを乗算して出力する。乗算器５３２は、セレクタ５１４からの出力信号と、所定の係数とを乗算して出力する。この所定の係数は、セレクタ５３０に入力される上記係数（６４−Alpha）との和が一定値（望ましくは「１」）となるような値に設定される。係数の和が一定値であるため、直流成分のゲインを一定値に保つことができる。加算器５３３は、乗算器５３１からの出力信号と、乗算器５３２からの出力信号とを加算して出力する。係数（６４−Alpha）を所望の値に設定することにより、中心画素信号と低周波成分とが所望の割合で混合された出力信号を得ることができる。この出力信号は目的に応じて任意に利用できるため、汎用性を高めることができる。

加算器５３５は、加算器５３３からの出力信号と、リミッタ５３４からの出力信号とを加算して出力する。加算器５３３からの出力信号には直流成分及び低周波成分が含まれており、リミッタ５３４からの出力信号には高周波成分及び中周波成分が含まれている。従って、加算器５３３からの出力信号とリミッタ５３４からの出力信号とを加算器５３５によって加算することにより、直流成分、低周波成分、中周波成分、及び高周波成分を含む出力信号を得ることができる。この出力信号は目的に応じて任意に利用できるため、汎用性を高めることができる。

セレクタ５３６は、加算器５３５からの出力信号及びセレクタ５１５からの出力信号のいずれかを選択して出力する。

減算器５１９は、図７に示した空間フィルタ５０５の中心画素信号から３×３タップのローパスフィルタ出力信号を減算することにより、比較的狭帯域の高周波成分（ＨＦ−Ｎ）を生成する。減算器５２０は、空間フィルタ５０５の中心画素信号から５×５タップのローパスフィルタ出力信号を減算することにより、比較的広帯域の高周波成分（ＨＦ−Ｗ）を生成する。

セレクタ５２１は、空間フィルタ５０５の３×３タップのローパスフィルタ出力信号及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。セレクタ５２２は、空間フィルタ５０５の中心画素信号、減算器５１９からの出力信号、減算器５２０からの出力信号、及びセレクタ５２１の出力信号のいずれかを選択して出力する。

減算器５２３は、図７に示した空間フィルタ５０６の中心画素信号から３×３タップのローパスフィルタ出力信号を減算することにより、比較的狭帯域の高周波成分（ＨＦ−Ｎ）を生成する。減算器５２４は、空間フィルタ５０６の中心画素信号から５×５タップのローパスフィルタ出力信号を減算することにより、比較的広帯域の高周波成分（ＨＦ−Ｗ）を生成する。

セレクタ５２５は、空間フィルタ５０６の３×３タップのローパスフィルタ出力信号及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。セレクタ５２６は、空間フィルタ５０６の中心画素信号、減算器５２３からの出力信号、減算器５２４からの出力信号、及びセレクタ５２５の出力信号のいずれかを選択して出力する。

＜コアリング処理ブロック２５＞
コアリング処理ブロック２５の構成は、図８に示されている。コアリング処理ブロック２５は、図８に示すように、加算器５１８の後段に接続されたコアリング回路６０１と、セレクタ５２２の後段に接続されたコアリング回路６０２と、セレクタ５２６の後段に接続されたコアリング回路６０３とを備えて構成されている。

＜色抑圧処理ブロック２６＞
色抑圧処理ブロック（信号変調処理ブロック）２６の構成は、図８〜１０に示されている。色抑圧処理ブロック２６は、図１０に示すように、カラーチャンネルＣ３に対応する空間フィルタ７３９と、チャンネルＣ４に対応する空間フィルタ７５３と、チャンネルＣ５に対応する空間フィルタ７６２とを備えて構成されている。

空間フィルタ７３９，７５３，７６２は、いずれも５×５タップの空間フィルタであり、中心画素信号（center）と、３×３タップの固定ローパスフィルタからのローパスフィルタ出力信号（LPF-L）と、５×５タップの固定ローパスフィルタからのローパスフィルタ出力信号（LPF-LL）とをそれぞれ出力可能である。

セレクタ７３６には、図５に示した補間演算部２０８から、カラーチャンネルＣ３に対応する変調用のＫＥＹ信号（又は４色目の画素信号）が入力される。また、セレクタ７３６には、ＳＤＲＡＭ１１から入力ＤＭＡチャンネルIN-CH2，IN-CH3を介して、他の変調用信号を入力することもできる。セレクタ７３６は、入力された信号のいずれかを選択して出力する。セレクタ７３６からの出力信号は、絶対値化回路７３７によって絶対値化処理が行われた後、セレクタ７３８の一方の入力端子に入力される。セレクタ７３８の他方の入力端子には、セレクタ７３６からの出力信号がそのまま入力される。セレクタ７３８は、入力された信号のいずれかを選択して出力する。セレクタ７３８からの出力信号は空間フィルタ７３９に入力され、空間フィルタ７３９によってローパスフィルタ処理が行われる。

減算器７４０は、空間フィルタ７３９の中心画素信号から３×３タップのローパスフィルタ出力信号を減算することにより、比較的狭帯域の高周波成分（ＨＦ−Ｎ）を生成する。減算器７４１は、空間フィルタ７３９の中心画素信号から５×５タップのローパスフィルタ出力信号を減算することにより、比較的広帯域の高周波成分（ＨＦ−Ｗ）を生成する。

セレクタ７４２は、図７に示したプログラマブル空間フィルタ５０４の中心画素信号及びハイパスフィルタ出力信号、図１０に示した空間フィルタ７３９の中心画素信号、減算器７４０からの出力信号、減算器７４１からの出力信号、並びに空間フィルタ処理７３９の３×３タップのローパスフィルタ出力信号及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。

セレクタ７４２からの出力信号は、絶対値化回路７４３によって絶対値化処理が行われた後、セレクタ７４４の一方の入力端子に入力される。セレクタ７４４の他方の入力端子には、セレクタ７４２からの出力信号がそのまま入力される。セレクタ７４４は、入力された信号のいずれかを選択して出力する。

セレクタ７５０には、図５に示した補間演算部２０８から、チャンネルＫ０（チャンネルＣ４）に対応する変調用の画素単位特徴信号が入力される。また、セレクタ７５０には、ＳＤＲＡＭ１１から入力ＤＭＡチャンネルIN-CH2，IN-CH3を介して、他の変調用信号を入力することもできる。セレクタ７５０は、入力された信号のいずれかを選択して出力する。セレクタ７５０からの出力信号は、絶対値化回路７５１によって絶対値化処理が行われた後、セレクタ７５２の一方の入力端子に入力される。セレクタ７５２の他方の入力端子には、セレクタ７５０からの出力信号がそのまま入力される。セレクタ７５２は、入力された信号のいずれかを選択して出力する。セレクタ７５２からの出力信号は空間フィルタ７５３に入力され、空間フィルタ７５３によってローパスフィルタ処理が行われる。

このように、空間フィルタ７５３が、チャンネルＫ０に対応する画素単位特徴信号に対してローパスフィルタ処理を行うことによって、画素毎の変動を抑制できる。そのため、チャンネルＫ０に対応する画素単位特徴信号に基づいてＹ成分（カラーチャンネルＣ０）、Ｃｂ成分（カラーチャンネルＣ１）、及びＣｒ成分（カラーチャンネルＣ２）を変調する際に、変調の度合いが画素毎に大きく変動するという事態を回避できる。その結果、仮に、画素単位特徴信号の生成の元となった画素と、変調の対象となる画素との間にずれが生じた場合であっても、画素単位特徴信号に対してローパスフィルタ処理を行わない場合と比較すると、適正値からの輝度又は色のずれに起因する画質の低下の度合いを低減することが可能となる。

セレクタ７５４は、図７に示したプログラマブル空間フィルタ５０４の中心画素信号及びハイパスフィルタ出力信号、並びに、図１０に示した空間フィルタ７５３の中心画素信号、３×３タップのローパスフィルタ出力信号、及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。

セレクタ７５４からの出力信号は、絶対値化回路７５５によって絶対値化処理が行われた後、セレクタ７５６の一方の入力端子に入力される。セレクタ７５６の他方の入力端子には、セレクタ７５４からの出力信号がそのまま入力される。セレクタ７５６は、入力された信号のいずれかを選択して出力する。

セレクタ７５９には、図５に示した補間演算部２０８から、チャンネルＫ１（チャンネルＣ５）に対応する変調用の画素単位特徴信号が入力される。また、セレクタ７５９には、ＳＤＲＡＭ１１から入力ＤＭＡチャンネルIN-CH2，IN-CH3を介して、他の変調用信号を入力することもできる。セレクタ７５９は、入力された信号のいずれかを選択して出力する。セレクタ７５９からの出力信号は、絶対値化回路７６０によって絶対値化処理が行われた後、セレクタ７６１の一方の入力端子に入力される。セレクタ７６１の他方の入力端子には、セレクタ７５９からの出力信号がそのまま入力される。セレクタ７６１は、入力された信号のいずれかを選択して出力する。セレクタ７６１からの出力信号は空間フィルタ７６２に入力され、空間フィルタ７６２によってローパスフィルタ処理が行われる。

上記と同様に、空間フィルタ７６２が、チャンネルＫ１に対応する画素単位特徴信号に対してローパスフィルタ処理を行うことによって、画素毎の変動を抑制できる。そのため、チャンネルＫ１に対応する画素単位特徴信号に基づいてＹ成分、Ｃｂ成分、Ｃｒ成分を変調する際に、変調の度合いが画素毎に大きく変動するという事態を回避できる。

セレクタ７６３は、図７に示したプログラマブル空間フィルタ５０４の中心画素信号及びハイパスフィルタ出力信号、並びに、図１０に示した空間フィルタ７６２の中心画素信号、３×３タップのローパスフィルタ出力信号、及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。

セレクタ７６３からの出力信号は、絶対値化回路７６４によって絶対値化処理が行われた後、セレクタ７６５の一方の入力端子に入力される。セレクタ７６５の他方の入力端子には、セレクタ７６３からの出力信号がそのまま入力される。セレクタ７６５は、入力された信号のいずれかを選択して出力する。

図８を参照して、セレクタ７０５には、図７に示したプログラマブル空間フィルタ５０４の中心画素信号、３×３タップのローパスフィルタ出力信号、及び５×５タップのローパスフィルタ出力信号が入力される。セレクタ７０５は、入力された信号のいずれかを選択して出力する。

図１０を参照して、セレクタ７４４からの出力信号は、輝度変調部７４６において、図８に示したセレクタ７０５からの輝度成分の出力信号に基づいて変調され、その後、ルックアップテーブル７４７によってさらに変調される。また、セレクタ７５６からの出力信号は、輝度変調部７５７において、図８に示したセレクタ７０５からの輝度成分の出力信号に基づいて変調され、その後、ルックアップテーブル７５８によってさらに変調される。また、セレクタ７６５からの出力信号は、輝度変調部７６６において、図８に示したセレクタ７０５からの輝度成分の出力信号に基づいて変調され、その後、ルックアップテーブル７６７によってさらに変調される。セレクタ７４９は、ルックアップテーブル７４７，７５８，７６７からの各出力信号のいずれかを選択して出力する。

セレクタ７４５は、空間フィルタ７３９の中心画素信号、３×３タップのローパスフィルタ出力信号、及び５×５タップのローパスフィルタ出力信号のいずれかを選択して出力する。セレクタ７４５からの出力信号は、ルックアップテーブル４４８によって変調される。

図８を参照して、セレクタ７０６は、減算器５１２からの出力信号、図７に示したプログラマブル空間フィルタ５０４のハイパスフィルタ出力信号、３×３タップのソベルフィルタ出力信号、及び５×５タップのソベルフィルタ出力信号のいずれかを選択して出力する。セレクタ７０６からの出力信号は、絶対値化回路７０７によって絶対値化処理が行われる。絶対値化回路７０７からの出力信号は、図９に示した輝度変調部７１８において、図８に示したセレクタ７０５からの輝度成分の出力信号に基づいて変調され、その後、図９に示したルックアップテーブル７１９によってさらに変調される。

図９を参照して、セレクタ７１３〜７１６，７２４〜７２６，７３１〜７３３には、ルックアップテーブル７１９からの出力信号と、図１０に示したルックアップテーブル７４７，７４８，７５８，７６７からの各出力信号とが、それぞれ入力される。また、セレクタ７１３〜７１６，７２４〜７２６，７３１〜７３３には、所定の係数がそれぞれ入力される。

絶対値化回路７０８は、図８に示したコアリング回路６０１からの出力信号に対し絶対値化処理を行って出力する。ルックアップテーブル７０９，７１７は、絶対値化回路７０８からの出力信号を変調する。

セレクタ７１０は、ルックアップテーブル７０９からの出力信号と、セレクタ７１５からの出力信号とを選択して出力する。セレクタ７１１は、所定の係数と、ＳＤＲＡＭ１１から入力ＤＭＡチャンネルIN-CH2又はIN-CH3を介して送られてきた変調用パラメータとを選択して出力する。セレクタ７１２は、セレクタ７１６からの出力信号と、ＳＤＲＡＭ１１から入力ＤＭＡチャンネルIN-CH2又はIN-CH3を介して送られてきた変調用パラメータとを選択して出力する。

セレクタ７２３は、ルックアップテーブル７１７からの出力信号と、セレクタ７２６からの出力信号とを選択して出力する。セレクタ７３０は、ルックアップテーブル７１７からの出力信号と、セレクタ７３３からの出力信号とを選択して出力する。

図８を参照して、乗算器７０１は、Ｙ成分に対応するコアリング回路６０１からの出力信号（高周波成分、中周波成分、又はこれらの混合成分）と、図９に示したセレクタ７１３からの出力信号とを乗算して出力する。乗算器７０２は、乗算器７０１からの出力信号と、図９に示したセレクタ７１４からの出力信号とを乗算して出力する。乗算器７０３は、乗算器７０２からの出力信号と、図９に示したセレクタ７１０からの出力信号とを乗算して出力する。乗算器７０４は、乗算器７０３からの出力信号と、図９に示したセレクタ７１１からの出力信号とを乗算して出力する。乗算器７０４からの出力信号は、リミッタ５３４を介して加算器５３５に入力される。このように、コアリング回路６０１からの出力信号を、画素単位特徴信号を任意に変調して生成した変調用信号を用いて、乗算器７０１〜７０４によって任意に変調できるため、汎用性を高めることができる。

図９を参照して、乗算器７２０は、セレクタ７２４からの出力信号と、図８に示したＣｂ成分に対応するコアリング回路６０２からの出力信号とを乗算して出力する。乗算器７２１は、乗算器７２０からの出力信号と、セレクタ７２５からの出力信号とを乗算して出力する。乗算器７２２は、乗算器７２１からの出力信号と、セレクタ７２３からの出力信号とを乗算して出力する。セレクタ７３４は、乗算器７２２からの出力信号と、図７に示したノイズリダクション回路５０７からの出力信号（最大値）とを選択して出力する。

乗算器７２７は、セレクタ７３１からの出力信号と、図８に示したＣｒ成分に対応するコアリング回路６０３からの出力信号とを乗算して出力する。乗算器７２８は、乗算器７２７からの出力信号と、セレクタ７３２からの出力信号とを乗算して出力する。乗算器７２９は、乗算器７２８からの出力信号と、セレクタ７３０からの出力信号とを乗算して出力する。セレクタ７３５は、乗算器７２９からの出力信号と、図７に示したノイズリダクション回路５０７からの出力信号（最小値）とを選択して出力する。

このように、色抑圧処理ブロック２６では、変調対象信号（輝度信号の高周波成分及び中周波成分、又は色信号）を変調するための変調用信号である画素単位特徴信号を、図１０に示した絶対値化回路７５１，７５５，７６０，７６４、輝度変調部７５７，７６６、及びルックアップテーブル７５８，７６７によって、任意に変調することができる。その結果、変調対象信号を目的に応じて任意に変調することが可能となり、汎用性を高めることができる。

＜第２の色空間変換処理ブロック２７＞
第２の色空間変換処理ブロック２７の構成は、図１１に示されている。第２の色空間変換処理ブロック２７は、図１１に示すように、色空間変換回路８０１を備えて構成されている。

色空間変換回路８０１は、４チャンネル入力かつ４チャンネル出力のマトリクス演算を実行可能であり、例えば、ＹＣｂＣｒ色空間（ＹＵＶ色空間）の画像信号を、ＲＧＢ色空間又はＹＭＣＷ色空間の画像信号に変換して出力する。但し、色空間変換処理が行われないような値に色空間変換回路８０１の係数を設定することにより、ＹＣｂＣｒ色空間の画像信号のまま出力することもできる。

このように、空間フィルタ処理ブロック２４、コアリング処理ブロック２５、及び色抑圧処理ブロック２６では、ＹＣｂＣｒ色空間の画像信号を用いて各種の処理を行いつつ、その後に第２の色空間変換処理ブロック２７によってＲＧＢ色空間等に変換することにより、最終的に所望の色空間の出力信号を得ることができるため、汎用性を高めることが可能となる。

＜第２のガンマ補正処理ブロック２８＞
第２のガンマ補正処理ブロック２８の構成は、図１１に示されている。第２のガンマ補正処理ブロック２８は、図１１に示すように、ルックアップテーブル等を用いて１２ビット系から８ビット系への変換を各カラーチャンネルＣ０〜Ｃ３毎に独立に実行可能なガンマ補正処理部９０１を備えて構成されている。ガンマ補正処理部９０１は、色空間変換回路８０１の後段に接続されている。

このように、第１の色空間変換処理ブロック２３、空間フィルタ処理ブロック２４、コアリング処理ブロック２５、色抑圧処理ブロック２６、及び第２の色空間変換処理ブロック２７では、１２ビット系の画像信号を用いて各種の処理を行いつつ、その後に第２のガンマ補正処理ブロック２８によってガンマ補正処理を行うことにより、８ビット系の画像信号に変換する。これにより、最終的に所望のビット数の出力信号を得ることができるため、汎用性を高めることが可能となる。

＜リサイズ処理ブロック２９＞
リサイズ処理ブロック２９の構成は、図１１に示されている。リサイズ処理ブロック２９は、画像の解像度変換処理を行うものであり、図１１に示すように、４個のリサイザ１００１〜１００４を備えて構成されている。リサイザ１００１は１２ビット系の入力信号を処理可能であり、リサイザ１００２〜１００４は８ビット系の入力信号を処理可能である。但し、リサイザ１００１は、上位４ビットを「０」に設定することによって、８ビット系の入力信号を処理することもできる。

ガンマ補正処理部９０１でガンマ補正処理が行われた画像信号は、セレクタ１００５の選択によって、リサイザ１００１〜１００４に入力される。そして、リサイザ１００１〜１００４によって解像度変換処理が行われた後、出力ＤＭＡチャネルOUT-CH0〜OUT-CH3を介して、ＳＤＲＡＭ１１への格納やＬＣＤ７への表示が行われる。このように、リサイズ処理ブロック２９への入力信号が８ビット系である場合は、リサイザ１００２〜１００４のみならずリサイザ１００１をも用いて解像度変換処理が行われる。従って、８ビット系の入力信号が入力された場合にリサイザ１００１が無駄になることを防止できる。

ガンマ補正処理部９０１によるガンマ補正処理を行わない画像信号は、色空間変換回路８０１からセレクタ１００５を介してリサイザ１００１に入力される。そして、リサイザ１００１によって解像度変換処理が行われた後、出力ＤＭＡチャネルOUT-CH0を介して、ＳＤＲＡＭ１１への格納やメモリカード１３への記録が行われる。

このように、リサイズ処理ブロック２９へは、メイン画像用の１２ビット系信号や、表示用又はサムネイル画像用の８ビット系信号が入力信号として入力されるが、処理可能なビット数が異なるリサイザ１００１とリサイザ１００２〜１００４とを設けておくことにより、入力信号のビット数に応じて、使用するリサイザを選択することができる。しかも、全てのリサイザ１００１〜１００４を１２ビット系の入力信号を処理可能なリサイザとして用意しておく場合と比較すると、回路規模を縮小することができる。

＜２次元ルックアップテーブル４０２＞
以下、図６に示した２次元ルックアップテーブル４０２について詳細に説明する。上記の通り、２次元ルックアップテーブル４０２は、色空間変換回路４０１のカラーチャンネルＣ１，Ｃ２の各出力端子に接続されており、入力データ値の対と出力データ値の対との対応関係を表す変換値を予め任意に設定しておくことにより、Ｃｂ成分及びＣｒ成分の各画素信号の値を所望の値に変換するものである。

図１２は、２次元ルックアップテーブルの変換値の設定例を示す図である。横軸は２次元ルックアップテーブルに入力される第１のデータＸの値を示し、縦軸は２次元ルックアップテーブルに入力される第２のデータＹの値を示している。図１２には、データＸ，Ｙがいずれも符号付きのデータである場合の例を示しており、データＸ，Ｙの最大値はいずれも「２０４７」であり、最小値はいずれも「−２０４８」である。

２次元ルックアップテーブルには、縦横いずれも２５６digit間隔でメッシュの交点Ｖ（ｐ，ｑ）が規定されている。ここで、ｐ，ｑは、−８以上８以下の整数である。各交点Ｖ（ｐ，ｑ）には、データＸ，Ｙの各出力値を示す変換値（ｘ，ｙ）が設定されている。例えば、２次元ルックアップテーブルへの入力値が（Ｘ，Ｙ）＝（２５６，５１２）である場合には、交点Ｖ（１，２）にデータが入力され、その交点Ｖ（１，２）に設定されている変換値（ｘ，ｙ）＝（２５６，５１２）が、出力値として２次元ルックアップテーブルから出力されることになる。図１２には無変換の２次元ルックアップテーブルの例を示しているため、入力値（Ｘ，Ｙ）と出力値（ｘ，ｙ）とが同一となっているが、各交点Ｖ（ｐ，ｑ）には、任意の変換値（ｘ，ｙ）を設定することができる。

２次元ルックアップテーブルの変換値（ｘ，ｙ）がメッシュの交点Ｖ（ｐ，ｑ）のみに離散的に規定されているため、全ての入力値に対応して変換値を規定する場合と比較すると、回路規模を縮小することができる。

第１の色空間変換処理ブロック２３は、色空間の変換処理をリアルタイム処理によって実行するものであるため、演算量の多い３次元ルックアップテーブルを用いて色空間の変換処理を行ったのでは、３次元ルックアップテーブルにおける処理がボトルネックとなって、全体として処理の遅延を招く。また、３次元ルックアップテーブルは回路規模が非常に大きい。これに対し、２次元ルックアップテーブルを用いることにより、回路規模の増大を抑制しつつ、全体としての処理の遅延を招くこともなく、高速な色空間の変換処理を実現することができる。

また、交点Ｖ（ｐ，ｑ）として規定されていない値のデータが入力された場合には、その入力値を囲む４個の交点の変換値を用いた内挿補間演算によって、その入力値に対応する変換値を算出することができる。

入力値（Ｘｉｎ，Ｙｉｎ）を囲む４個の交点が、交点Ｖ₀（Ｘ０，Ｙｉｎ０），交点Ｖ₁（Ｘ０，Ｙｉｎ１），交点Ｖ₂（Ｘ１，Ｙｉｎ０），及び交点Ｖ₃（Ｘ１，Ｙｉｎ１）である場合に、交点Ｖ₀に関するベクトルデータ（ＤＴ０Ｘ（Ｘ０，Ｙｉｎ０），ＤＴ０Ｙ（Ｘ０，Ｙｉｎ０））、交点Ｖ₁に関するベクトルデータ（ＤＴ１Ｘ（Ｘ０，Ｙｉｎ１），ＤＴ１Ｙ（Ｘ０，Ｙｉｎ１））、交点Ｖ₂に関するベクトルデータ（ＤＴ２Ｘ（Ｘ１，Ｙｉｎ０），ＤＴ２Ｙ（Ｘ１，Ｙｉｎ０））、及び交点Ｖ₃に関するベクトルデータ（ＤＴ３Ｘ（Ｘ１，Ｙｉｎ１），ＤＴ３Ｙ（Ｘ１，Ｙｉｎ１））を求める。但し、Ｘ０≦Ｘｉｎ＜Ｘ１又はＸ０＜Ｘｉｎ≦Ｘ１、Ｙｉｎ０≦Ｙｉｎ＜Ｙｉｎ１又はＹｉｎ０＜Ｙｉｎ≦Ｙｉｎ１である。

そして、下記の内挿補間演算によって、入力値（Ｘｉｎ，Ｙｉｎ）に対応する変換値（Ｘｏｕｔ，Ｙｏｕｔ）を算出する。

図６に示した２次元ルックアップテーブル４０２では、縦軸及び横軸の一方がＣｂ成分の値とされ、他方がＣｒ成分の値とされている。そして、各交点Ｖ（ｐ，ｑ）には、Ｃｂ成分及びＣｒ成分の各値を用いて、任意の値の変換値（Ｃｂ，Ｃｒ）が設定されている。これにより、色空間変換回路４０１から出力された画像信号に対して、２次元ルックアップテーブル４０２によって任意の色変換を行うことができる。例えば、人間の肌色や空の青色の飽和度を上げるための色変換や、標準のカラーチャートからずれている特定の色をカラーチャート上の色に整合させるための色変換等を行うことができる。

なお、ＹＣｂＣｒ色空間では色信号が２チャンネルしかないため、あえて３次元ルックアップテーブルを用いるまでもなく、色空間変換回路４０１から出力された２チャンネルの色信号の全てを２次元ルックアップテーブル４０２によって変換することができる。

図１３は、２次元ルックアップテーブルの他の例を示す図である。図１２では交点Ｖ（ｐ，ｑ）が等間隔に配置されたが、図１３の例では、２次元ルックアップテーブルの中央部でメッシュの密度を濃くすることにより、中央部において多くの交点が規定されている。つまり、入力データの絶対値が小さい領域（グレー近傍領域）における変換値の離散の度合いは、絶対値が大きい領域における変換値の離散の度合いよりも小さく設定されている。このように、グレー近傍領域に関して変換値を細かく設定することにより、通常の撮像画像内に頻度として多く含まれるグレー近傍領域に関して、きめ細かい変換処理を行うことができる。

図１４，１５は、２次元ルックアップテーブルの具体的な構成の第１の例を示す回路図である。図１４，１５は、同一の番号が付されている接続点Ｎ₁₀₁〜Ｎ₁₁₁同士によって互いに繋がっている。また、図１６，１７は、２次元ルックアップテーブルの具体的な構成の第２の例を示す回路図である。図１６，１７は、同一の番号が付されている接続点Ｎ₂₀₁〜Ｎ₂₁₀同士によって互いに繋がっている。第１の例ではシングルポートメモリを用いた構成を示しており、第２の例では４ポートメモリを用いた構成を示している。第１の例では、内挿補間演算に必要な４個の変換値をメモリに入力するために４クロックを要するが、第２の例では４個の変換値を同時にメモリに入力できるため、１クロックで足りる。

本発明の実施の形態に係るディジタルスチルカメラの全体構成を概略的に示すブロック図である。 ＲＰＵの機能構成を概略的に示すブロック図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ＲＰＵの具体的な構成を示す回路図である。 ２次元ルックアップテーブルの変換値の設定例を示す図である。 ２次元ルックアップテーブルの他の例を示す図である。 ２次元ルックアップテーブルの具体的な構成の第１の例を示す回路図である。 ２次元ルックアップテーブルの具体的な構成の第１の例を示す回路図である。 ２次元ルックアップテーブルの具体的な構成の第２の例を示す回路図である。 ２次元ルックアップテーブルの具体的な構成の第２の例を示す回路図である。

符号の説明

４ ＲＰＵ
２１ 画素補間処理ブロック
２２ 第１のガンマ補正処理ブロック
２３ 第１の色空間変換処理ブロック
２４ 空間フィルタ処理ブロック
２６ 色抑圧処理ブロック
２７ 第２の色空間変換処理ブロック
２８ 第２のガンマ補正処理ブロック
２９ リサイズ処理ブロック
２０１ 画素レジスタ群
２０８ 補間演算部
３０１，９０１ ガンマ補正処理部
４０１，８０１ 色空間変換回路
４０２ ２次元ルックアップテーブル
５０１〜５０３ 固定ローパスフィルタ
５０４ プログラマブル空間フィルタ
５０５，５０６，７３９，７５３，７６２ 空間フィルタ
５０８，５０９ セレクタ
５１０〜５１２ 減算器
５１６，５１７，５３１，５３２，７０１〜７０４，７２０〜７２２，７２７〜７２９ 乗算器
５１８，５３３，５３６ 加算器
７５１，７５５，７６０，７６４ 絶対値化回路
７５７，７６６ 輝度変調部
７５８，７６７ ルックアップテーブル
１００１〜１００４ リサイザ
１００５ セレクタ

Claims (37)

1. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
   前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックが含まれ、
   前記空間フィルタ処理ブロックは、複数の空間フィルタを有し、
   前記入力信号が複数色の信号である場合は、前記複数の空間フィルタは、各色に対応する各チャンネル毎に並列に前記空間フィルタ処理を行い、
   前記入力信号が単色の信号である場合は、直列に接続された前記複数の空間フィルタによって前記空間フィルタ処理が行われる、画像処理装置。
2. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
   前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックが含まれ、
   前記画素補間処理ブロックは、画素レジスタ群を有し、
   前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要する信号である場合は、補間処理が行われ、
   前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要しない信号である場合は、前記画素レジスタ群を用いた第１の空間フィルタによる空間フィルタ処理が行われる、画像処理装置。
3. 前記複数の画像処理ブロックには、第２の空間フィルタによる空間フィルタ処理を行う空間フィルタ処理ブロックがさらに含まれ、
   前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要する信号である場合は、前記画素補間処理ブロックにおいて前記補間処理が行われた信号に対して、前記第２の空間フィルタによる空間フィルタ処理が行われ、
   前記画素補間処理ブロックへの前記入力信号が前記画素補間処理を要しない信号である場合は、前記第１及び第２の空間フィルタを連続的に適用した空間フィルタ処理が行われる、請求項２に記載の画像処理装置。
4. 前記第１の空間フィルタは、ローパスフィルタである、請求項２又は請求項３に記載の画像処理装置。
5. 前記第１及び第２の空間フィルタは、いずれもローパスフィルタである、請求項３に記載の画像処理装置。
6. 前記第２の空間フィルタは複数の空間フィルタを有し、
   前記空間フィルタ処理ブロックへの前記入力信号が複数色の信号である場合は、前記複数の空間フィルタは、各色に対応する各チャンネル毎に並列に前記空間フィルタ処理を行い、
   前記空間フィルタ処理ブロックへの前記入力信号が単色の信号である場合は、前記第１の空間フィルタと、直列に接続された前記複数の空間フィルタとを用いて、前記空間フィルタ処理ブロックにおける前記空間フィルタ処理が行われる、請求項３ないし請求項５のいずれか一つに記載の画像処理装置。
7. 直列に接続された前記複数の空間フィルタは、いずれもローパスフィルタである、請求項１又は請求項６に記載の画像処理装置。
8. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
   前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックが含まれ、
   前記空間フィルタ処理ブロックは、
   第１のローパスフィルタ処理を行う第１のローパスフィルタと、
   プログラマブル空間フィルタと、
   オリジナルの画素信号である中心画素信号から前記第１のローパスフィルタの出力信号である第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する第１の演算器と
   を有し、
   前記空間フィルタ処理ブロックは、前記第１のローパスフィルタの出力信号、前記プログラマブル空間フィルタの出力信号、及び前記高周波成分のうちの少なくとも二つの信号を同時に出力可能である、画像処理装置。
9. 前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、
   前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記高周波成分を変調する第２の演算器を有する、請求項８に記載の画像処理装置。
10. 前記空間フィルタ処理ブロックは、
    前記第１のローパスフィルタとは異なるタップ数で第２のローパスフィルタ処理を行う第２のローパスフィルタと、
    前記第１のローパスフィルタ出力信号と、前記第２のローパスフィルタの出力信号である第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する第２の演算器と
    をさらに有し、
    前記空間フィルタ処理ブロックは、前記少なくとも二つの信号に加えて、前記中周波成分を同時に出力可能である、請求項８に記載の画像処理装置。
11. 前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、
    前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記中周波成分を変調する第３の演算器を有する、請求項１０に記載の画像処理装置。
12. 前記空間フィルタ処理ブロックは、第１の係数を前記高周波成分に乗算し、第２の係数を前記中周波成分に乗算し、これらの乗算結果を加算する、第３の演算器をさらに有する、請求項１０に記載の画像処理装置。
13. 前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、
    前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記第３の演算器からの出力信号を変調する第４の演算器を有する、請求項１２に記載の画像処理装置。
14. 前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックがさらに含まれ、
    前記画素単位特徴信号は、前記画素補間処理ブロックで生成される、周辺画素との相関信号、色レベル信号、及びソベルフィルタ出力信号の少なくともいずれか一つであり、
    前記信号変調処理ブロックは、前記画素単位特徴信号に対して、
    ・ローパスフィルタ処理
    ・絶対値化処理
    ・前記中心画素信号の輝度レベルを用いた変調処理
    ・前記第１のローパスフィルタ出力信号の輝度レベルを用いた変調処理
    ・ルックアップテーブルを用いた変調処理
    の少なくともいずれか一つを行った信号によって、前記変調対象信号を変調する、請求項９、請求項１１、及び請求項１３のいずれか一つに記載の画像処理装置。
15. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
    前記複数の画像処理ブロックには、入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックが含まれ、
    前記空間フィルタ処理ブロックは、
    第１のローパスフィルタ処理を行う第１のローパスフィルタと、
    オリジナルの画素信号である中心画素信号に第１の係数を乗算し、前記第１のローパスフィルタの出力信号である第１のローパスフィルタ出力信号に、前記第１の係数との和が一定値となる第２の係数を乗算し、これらの乗算結果を加算する、第１の演算器と
    を有する、画像処理装置。
16. 前記空間フィルタ処理ブロックは、
    前記中心画素信号から前記第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する第２の演算器と、
    前記第１の演算器の出力信号と前記第２の演算器の出力信号とを加算する第３の演算器と
    をさらに有する、請求項１５に記載の画像処理装置。
17. 前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、
    前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記高周波成分を変調する第４の演算器を有する、請求項１６に記載の画像処理装置。
18. 前記空間フィルタ処理ブロックは、
    前記第１のローパスフィルタとは異なるタップ数で第２のローパスフィルタ処理を行う第２のローパスフィルタと、
    前記第１のローパスフィルタ出力信号と、前記第２のローパスフィルタの出力信号である第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する第２の演算器と、
    前記第１の演算器の出力信号と前記第２の演算器の出力信号とを加算する第３の演算器と
    をさらに有する、請求項１５に記載の画像処理装置。
19. 前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、
    前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記中周波成分を変調する第４の演算器を有する、請求項１８に記載の画像処理装置。
20. 前記空間フィルタ処理ブロックは、
    前記中心画素信号から前記第１のローパスフィルタ出力信号を減算することによって高周波成分を生成する第２の演算器と、
    前記第１のローパスフィルタとは異なるタップ数で第２のローパスフィルタ処理を行う第２のローパスフィルタと、
    前記第１のローパスフィルタ出力信号と、前記第２のローパスフィルタの出力信号である第２のローパスフィルタ出力信号とを減算することによって中周波成分を生成する第３の演算器と、
    第３の係数を前記高周波成分に乗算し、第４の係数を前記中周波成分に乗算し、これらの乗算結果を加算する、第４の演算器と、
    前記第１の演算器の出力信号と前記第４の演算器の出力信号とを加算する第５の演算器と
    をさらに有する、請求項１５に記載の画像処理装置。
21. 前記複数の画像処理ブロックには、前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックがさらに含まれ、
    前記信号変調処理ブロックは、画素毎の特性に応じた画素単位特徴信号に基づいて、変調対象信号である前記第４の演算器からの出力信号を変調する第６の演算器を有する、請求項２０に記載の画像処理装置。
22. 前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックがさらに含まれ、
    前記画素単位特徴信号は、前記画素補間処理ブロックで生成される、周辺画素との相関信号、色レベル信号、及びソベルフィルタ出力信号の少なくともいずれか一つであり、
    前記信号変調処理ブロックは、前記画素単位特徴信号に対して、
    ・ローパスフィルタ処理
    ・絶対値化処理
    ・前記中心画素信号の輝度レベルを用いた変調処理
    ・前記第１のローパスフィルタ出力信号の輝度レベルを用いた変調処理
    ・ルックアップテーブルを用いた変調処理
    の少なくともいずれか一つを行った信号によって、前記変調対象信号を変調する、請求項１７、請求項１９、及び請求項２１のいずれか一つに記載の画像処理装置。
23. 前記第１のローパスフィルタは固定ローパスフィルタである、請求項１５ないし請求項２２のいずれか一つに記載の画像処理装置。
24. 前記第１のローパスフィルタはプログラマブル空間フィルタである、請求項１５ないし請求項２２のいずれか一つに記載の画像処理装置。
25. 前記空間フィルタ処理ブロックは、
    固定ローパスフィルタと、
    プログラマブル空間フィルタと、
    前記固定ローパスフィルタの出力信号及び前記プログラマブル空間フィルタの出力信号のいずれかを選択して前記第１のローパスフィルタ出力信号とするセレクタと
    を有する、請求項１５ないし請求項２２のいずれか一つに記載の画像処理装置。
26. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
    前記複数の画像処理ブロックには、
    入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックと、
    変調対象信号である前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックと
    が含まれ、
    前記空間フィルタ処理ブロックは、前記空間フィルタ処理が行われた輝度信号を出力する空間フィルタを有し、
    前記信号変調処理ブロックは、
    画素毎の特性に応じた画素単位特徴信号に対してローパスフィルタ処理を行うローパスフィルタと、
    前記ローパスフィルタ処理が行われた前記画素単位特徴信号を用いて前記輝度信号を変調する演算器と
    を有する、画像処理装置。
27. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
    前記複数の画像処理ブロックには、
    入力信号に対して空間フィルタ処理を行う空間フィルタ処理ブロックと、
    変調対象信号である前記空間フィルタ処理ブロックからの出力信号に対して変調処理を行う信号変調処理ブロックと
    が含まれ、
    前記空間フィルタ処理ブロックは、前記空間フィルタ処理が行われた色信号を出力する空間フィルタを有し、
    前記信号変調処理ブロックは、
    画素毎の特性に応じた画素単位特徴信号に対してローパスフィルタ処理を行うローパスフィルタと、
    前記ローパスフィルタ処理が行われた前記画素単位特徴信号を用いて前記色信号を変調する演算器と
    を有する、画像処理装置。
28. 前記複数の画像処理ブロックには、入力信号に対して画素補間処理を行う画素補間処理ブロックがさらに含まれ、
    前記画素単位特徴信号は、前記画素補間処理ブロックで生成される、周辺画素との相関信号、色レベル信号、又はソベルフィルタ出力信号の少なくともいずれか一つであり、
    前記信号変調処理ブロックは、前記画素単位特徴信号に対し、前記ローパスフィルタ処理に加えて、
    ・絶対値化処理
    ・オリジナルの画素信号である中心画素信号の輝度レベルを用いた変調処理
    ・前記空間フィルタ処理ブロックが有するローパスフィルタの出力信号の輝度レベルを用いた変調処理
    ・ルックアップテーブルを用いた変調処理
    の少なくともいずれか一つを行った信号によって、前記変調対象信号を変調する、請求項２６又は請求項２７に記載の画像処理装置。
29. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
    前記複数の画像処理ブロックには、入力信号に対して色空間の変換処理を行う色空間変換処理ブロックが含まれ、
    前記色空間変換処理ブロックは、
    前記変換処理を行うことにより２チャンネルの色信号を出力する色空間変換回路と、
    前記色空間変換回路の後段に接続され、予め規定された、入力データ値の対と出力データ値の対との対応関係を表す複数の変換値に基づいて、前記２チャンネルの色信号を変換する２次元ルックアップテーブルと
    を有する、画像処理装置。
30. 前記色空間変換回路は、第１の色空間の前記入力信号を、１チャンネルの輝度信号と前記２チャンネルの色信号とから成る第２の色空間の信号に変換する、請求項２９に記載の画像処理装置。
31. 前記２次元ルックアップテーブルにおいて、前記複数の変換値は、前記入力データ値に関して離散的に規定されており、
    変換値が規定されていない入力データに関しては、近傍の複数の変換値を用いた内挿補間演算によって、当該入力データについての変換値が求められる、請求項２９又は請求項３０に記載の画像処理装置。
32. 前記２次元ルックアップテーブルにおいて、入力データの絶対値が小さい領域における前記変換値の離散の度合いは、入力データの絶対値が大きい領域における前記変換値の離散の度合いよりも小さく設定されている、請求項２９ないし請求項３１のいずれか一つに記載の画像処理装置。
33. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
    前記複数の画像処理ブロックには、
    第１の色空間の信号を、輝度成分と複数の色成分とを含む第２の色空間の信号に変換する第１の色空間変換処理ブロックと、
    前記第１の色空間変換処理ブロックから出力された前記第２の色空間の信号に対して所定の画像処理を行う処理ブロックと、
    前記処理ブロックから出力された前記第２の色空間の信号を、前記第２の色空間とは異なる色空間の信号に変換する第２の色空間変換処理ブロックと
    が含まれる、画像処理装置。
34. 前記複数の画像処理ブロックには、
    前記第１の色空間変換処理ブロックに接続された第１のガンマ補正処理ブロックと、
    前記第２の色空間変換処理ブロックに接続された第２のガンマ補正処理ブロックと
    がさらに含まれる、請求項３３に記載の画像処理装置。
35. 外部から入力された画像信号をリアルタイムに処理可能な複数の画像処理ブロックを備える画像処理装置であって、
    前記複数の画像処理ブロックには、入力信号に対して画像のリサイズ処理を行うリサイズ処理ブロックが含まれ、
    前記リサイズ処理ブロックは、
    第１のビット数の信号を処理可能な第１のリサイズ処理回路と、
    前記第１のビット数よりも少ない第２のビット数の信号を処理可能な第２のリサイズ処理回路と
    を有し、
    前記リサイズ処理ブロックは、
    前記入力信号のビット数が前記第１のビット数である場合は、前記第１のリサイズ処理回路を用いて前記リサイズ処理を行い、
    前記入力信号のビット数が前記第２のビット数である場合は、前記第２のリサイズ処理回路を用いて前記リサイズ処理を行う、画像処理装置。
36. 前記リサイズ処理ブロックは、前記入力信号のビット数が前記第２のビット数である場合は、前記第１及び第２のリサイズ処理回路を用いて前記リサイズ処理を行う、請求項３５に記載の画像処理装置。
37. 前記複数の画像処理ブロックには、前記リサイズ処理ブロックの前段に配置され、前記第１のビット数の信号を前記第２のビット数の信号に変換するガンマ補正処理ブロックがさらに含まれ、
    前記第２のリサイズ処理回路には、前記ガンマ補正処理ブロックからの出力信号が入力され、
    前記リサイズ処理ブロックは、前記ガンマ補正処理ブロックからの出力信号と、前記ガンマ補正処理ブロックへの入力信号とを選択して前記第１のリサイズ処理回路に入力するセレクタをさらに有する、請求項３５又は請求項３６に記載の画像処理装置。

Images