JP4687454B2

JP4687454B2 - 画像処理装置および撮像装置

Info

Publication number: JP4687454B2
Application number: JP2005376806A
Authority: JP
Inventors: 豊米田; 啓松井; 卓也千葉; 良太小坂井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-12-28
Filing date: 2005-12-28
Publication date: 2011-05-25
Anticipated expiration: 2025-12-28
Also published as: JP2007180893A

Description

本発明は、入力画像信号に対して色補正処理を施す画像処理装置、およびそのような機能を備えた撮像装置に関し、特に、リニアマトリクス演算機能を備えた画像処理装置および撮像装置に関する。

デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた撮像装置においては、画質を向上させるための様々な機能が組み込まれている。例えば、色を忠実に再現する機能としては、いわゆるホワイトバランス処理機能が一般的であるが、最近ではこれに加えて、リニアマトリクス演算を用いた色再現性向上機能が注目されている。この機能は、入力されたＲＧＢ（Red,Green,Blue）信号（Ｒ，Ｇ，Ｂ）に下記の式（１）のマトリクス演算を施すことにより、ＲＧＢ各成分の分光特性を人間の視感度特性に近づけることで、色再現性を向上させるものである。

図１０は、リニアマトリクス演算機能を含む従来の撮像装置の要部構成を示すブロック図である。
図１０において、光学ブロック１０１を通じて入射した光は、撮像素子１０２において光電変換される。撮像素子１０２からのアナログ画像信号は、Ａ／Ｄ（アナログ／デジタル）変換回路１０３においてデジタル変換された後、前補正回路１０４において、黒レベルを合わせるデジタルクランプ処理、撮像素子１０２の欠陥画素の信号を補正する欠陥補正処理、レンズの周辺における光量落ちを補正するシェーディング補正処理など、撮像素子１０２や光学系に関する補正処理（前補正処理）を受ける。さらに、前補正回路１０４の出力信号には、画像補間処理回路１０５により、空間位相がずれたＲＧＢ信号から３枚のＲＧＢプレーン信号（同じ空間位置のＲＧＢ信号）を生成する、いわゆるデモザイク処理が施される。

画像補間処理回路１０５から出力されたＲＧＢ信号に対しては、リニアマトリクス（ＬＭ）演算回路１０６により、上述したリニアマトリクス演算が施される。リニアマトリクス演算回路１０６における演算に用いられるマトリクス係数は、マイクロコンピュータなどからなる演算処理部１０７により設定される。演算処理部１０７は、ＲＧＢ信号に対して、撮像素子１０２の各成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数を設定する。

リニアマトリクス演算回路１０６から出力されるＲＧＢ信号に対しては、さらに、ホワイトバランス（ＷＢ）調整回路１０８により、ＲＧＢ各成分のゲインが調整される。ホワイトバランス調整回路１０８への入力画像信号は、積分回路１０９にも入力されて検波が行われ、演算処理部１０７は、積分回路１０９によるＲＧＢ積分値に基づいて、入力画像上の白い被写体に対してＲＧＢ各成分の値が等しくなるように、ホワイトバランス調整回路１０８のゲインを制御する。

ホワイトバランス調整後のＲＧＢ信号には、さらにγ（ガンマ）補正回路１１０によりγ補正が施され、補正後の信号はＹ信号（輝度信号）処理回路１１１およびＣ信号（色差信号）処理回路１１２に入力されて、各回路での演算によりＹ信号、Ｃｒ（Ｒ−Ｙ）信号およびＣｂ（Ｂ−Ｙ）信号に分離される。分離後の信号は、モニタへの表示画像を生成するグラフィック処理回路、あるいは記録媒体への記録信号を生成する圧縮符号化回路などに出力される。

なお、このようなリニアマトリクス演算機能を備えた従来の撮像装置としては、マトリクス変換に必要な６個の変数を２個の制御パラメータから導く係数変換手段を設けて、パラメータ数を減らし、回路規模の拡大を防止するようにしたものがあった（例えば、特許文献１参照）。
特開２０００−５０２９９号公報（段落番号〔００１３〕〜〔００２１〕、図１）

ところで、上記のような色再現性の向上を目的としたリニアマトリクス演算処理には、ノイズを増長させるという副作用がある。リニアマトリクス演算処理は、ノイズのない理想条件では有効な手段であるが、色再現性の向上を目的とした場合、上記の式（１）の係数ａ〜ｉのうち非対角成分（ｂ，ｃ，ｄ，ｆ，ｇ，ｈ）は負の値となることがあり、このような係数によりＲＧＢ信号の減算が行われると、信号レベル（Ｓ成分）は減少するが、ノイズ量（Ｎ成分）は減少しないため、信号とノイズの比率であるＳ／Ｎが低下してしまう。このように、リニアマトリクス演算処理を行った場合、色再現性の向上とＳ／Ｎ劣化とはトレードオフの関係にあることが多く、両者のバランスをとって十分な画質向上効果が得られるようにすることが問題となっていた。

本発明はこのような点に鑑みてなされたものであり、色再現性が高く、かつＳ／Ｎの良好な高画質な画像を出力できる画像処理装置を提供することを目的とする。
また、本発明の他の目的は、色再現性が高く、かつＳ／Ｎの良好な高画質な画像を撮像できる撮像装置を提供することである。

本発明では上記課題を解決するために、入力画像信号に対して色補正処理を施す画像処理装置において、前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、帯域分離手段により、入力画像信号が高周波成分と低周波成分とに分離され、その低周波成分に対してのみ、リニアマトリクス演算手段により色成分のマトリクス変換が施される。そして、マトリクス変換後の低周波成分と、分離された高周波成分とが、信号加算手段により加算される。

本発明の画像処理装置によれば、低周波成分については、マトリクス変換により色再現性が向上されるが、ノイズ成分を多く含む高周波成分に対しては、マトリクス変換が施されないので、Ｓ／Ｎの劣化が抑制される。従って、色再現性が高く、かつ、ノイズの目立たない、高画質な画像を出力できるようになる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。

図１に示す撮像装置は、光学ブロック１、撮像素子２、ＡＦＥ（Analog Front End）回路３、カメラ信号処理回路４、システムコントローラ５、および入力部６を具備する。また、この撮像装置には、光学ブロック１内の種々の機構を駆動するためのドライバ１１、および、撮像素子２を駆動するためのタイミングジェネレータ（ＴＧ）１２などが設けられている。

光学ブロック１は、被写体からの光を撮像素子２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞りなどを具備している。ドライバ１１は、システムコントローラ５からの制御信号に応じて、光学ブロック１内の機構の駆動を制御する。

撮像素子２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２は、システムコントローラ５の制御の下でタイミング信号を出力する。

ＡＦＥ回路３は、撮像素子２から出力されたアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎを良好に保つようにサンプルホールドを行い、さらにシステムコントローラ５の制御の下でＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

カメラ信号処理回路４は、ＡＦＥ回路３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では、カメラ信号処理回路４には、入力画像信号の各色成分に対してマトリクス演算を施すリニアマトリクス演算回路４１と、各色成分に対するゲインを調整するホワイトバランス調整回路４２とが設けられている。

システムコントローラ５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などからなるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部６は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をシステムコントローラ５に出力する。

この撮像装置では、撮像素子２によって受光されて光電変換された信号が、順次ＡＦＥ回路３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ信号処理回路４は、ＡＦＥ回路３から供給されたデジタル画像信号を画質補正処理し、最終的にＹ信号とＣ信号とに変換して出力する。

カメラ信号処理回路４から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これによりＬＣＤ（Liquid Crystal Display）などの図示しないモニタにカメラスルー画像が表示される。また、入力部６からのユーザの入力操作などによりシステムコントローラ５に対して画像の記録が指示されると、カメラ信号処理回路４からの画像データは図示しないＣＯＤＥＣ（enCOder,DECoder）に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路４からは１フレーム分の画像データがＣＯＤＥＣに供給され、動画像の記録の際には、処理された画像データがＣＯＤＥＣに連続的に供給される。

図２は、カメラ信号処理回路の要部構成を示すブロック図である。
カメラ信号処理回路４は、図２に示すように、リニアマトリクス演算回路４１、ホワイトバランス調整回路４２ａおよび４２ｂ、前補正回路４３、画像補間回路４４、ローパスフィルタ（ＬＰＦ）回路４５、減算回路４６、積分回路４７ａおよび４７ｂ、ＭＩＸ（合成）回路４８、γ補正回路４９、Ｙ信号処理回路５０、およびＣ信号処理回路５１を具備する。

前補正回路４３は、ＡＦＥ回路３からのデジタル画像信号に対して、黒レベルを合わせるデジタルクランプ処理、撮像素子２の欠陥画素の出力信号を補正する欠陥補正処理、レンズの周辺における光量落ちを補正するシェーディング補正処理など、撮像素子２や光学系に関する補正処理を施す。

画像補間回路４４は、いわゆるデモザイク処理を行うブロックであり、前補正処理後の画像信号に対して、空間位相がずれたＲＧＢ信号から３枚のＲＧＢプレーン信号（同じ空間位置のＲＧＢ信号）を生成する。

ローパスフィルタ回路４５は、画像補間回路４４からの出力画像信号の出力帯域を制限、色信号処理に適する低域成分のみ通過させる。
リニアマトリクス演算回路４１は、ローパスフィルタ回路４５からのＲＧＢ信号（Ｒ_ＬＰＦ，Ｇ_ＬＰＦ，Ｂ_ＬＰＦ）に対して、下記の式（２）のマトリクス演算を施す。

このリニアマトリクス演算回路４１は、入力画像信号に対して、色再現性が向上するような信号補正を行う。このために、リニアマトリクス演算回路４１に対しては、撮像素子２のＲＧＢ各成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数が設定される。このとき、マトリクス係数の非対角成分（ｂ，ｃ，ｄ，ｆ，ｇ，ｈ）のうちの少なくとも１つが負の数になることもある。

ホワイトバランス調整回路４２ａは、リニアマトリクス演算回路４１からの出力画像信号を受けて、システムコントローラ５からのゲイン制御値に基づき、ＲＧＢ各成分のゲインを調整する。

減算回路４６は、画像補間回路４４からの出力画像信号から、ローパスフィルタ回路４５からの出力画像信号を、ＲＧＢ成分ごとに減算する。すなわち、減算回路４６からは、画像補間回路４４からの出力画像信号から、ローパスフィルタ回路４５を通過した低域成分の信号が除去された、高域成分のみ含む画像信号が出力される。

ホワイトバランス調整回路４２ｂは、減算回路４６からの出力画像信号を受けて、システムコントローラ５からのゲイン制御値に基づき、ＲＧＢ各成分のゲインを調整する。
積分回路４７ａおよび４７ｂは、それぞれリニアマトリクス演算回路４１、減算回路４６からの出力信号から輝度信号を生成して積分し、積分値をシステムコントローラ５に出力する。ここで、システムコントローラ５は、積分回路４７ａおよび４７ｂからの各積分値を基に、入力画像上の白い被写体に対してＲＧＢ各成分の値が等しくなるように、ホワイトバランス調整回路４２ａおよび４２ｂのゲインをそれぞれ制御する。このゲイン制御値の演算では、例えば、画面内の高輝度部は白である可能性が高いといった経験的な予測を基に、その高輝度部のＲＧＢ各成分が等しくなるようなゲイン制御値を演算する。このような演算により、ホワイトバランス調整回路４２ａおよび４２ｂには、それぞれ異なるゲイン制御値が設定されることになる。

なお、上記のローパスフィルタ回路４５、リニアマトリクス演算回路４１、およびホワイトバランス調整回路４２ａは、画像補間回路４４からの出力画像信号の低域成分に対する補正処理を行う低域処理部４０１を構成する。一方、減算回路４６およびホワイトバランス調整回路４２ｂは、画像補間回路４４からの出力画像信号の高域成分に対する補正処理を行う高域処理部４０２を構成する。

ＭＩＸ回路４８は、低域処理部４０１および高域処理部４０２からそれぞれ出力された画像信号を、ＲＧＢ成分ごとに加算する。
γ補正回路４９は、ＭＩＸ回路４８から出力される画像信号に対して、γ補正を施す。Ｙ信号処理回路５０およびＣ信号処理回路５１は、γ補正後の画像信号に対してそれぞれＹ信号処理、Ｃ信号処理を施し、Ｙ信号、Ｃｒ（Ｒ−Ｙ）信号およびＣｂ（Ｂ−Ｙ）信号を生成する。例えば、ＳＤ（Standard Definition）動画信号を出力する場合には、γ処理後の画像信号を（Ｒγ，Ｇγ，Ｂγ）とすると、Ｙ信号処理回路５０は、次の式（３）に従ってＹ信号を生成し、Ｃ信号処理回路５１は、次の式（４）および式（５）に従ってＣｒ（Ｒ−Ｙ）信号およびＣｂ（Ｂ−Ｙ）信号を生成する。
Ｙ＝０．３Ｒγ＋０．６Ｇγ＋０．１Ｂγ ……（３）
Ｃｒ（Ｒ−Ｙ）＝０．７Ｒγ−０．６Ｇγ−０．１Ｂγ ……（４）
Ｃｂ（Ｂ−Ｙ）＝−０．３Ｒγ−０．６Ｇγ＋０．９Ｂγ ……（５）
以上のカメラ信号処理回路４においては、低域処理部４０１により、色信号の補正に適した低域成分のみの画像信号に対して、色再現性向上のためのリニアマトリクス演算が施され、処理後の低域成分と、リニアマトリクス演算が施されていない高域成分とが、ＭＩＸ回路４８によって加算されて出力されることが特徴である。

例えば、図１０に挙げた従来の構成のように、画像補間回路４４から出力されるＲＧＢ信号の全帯域に対して、負の係数を含むリニアマトリクス演算による色再現性向上のための処理を一律に施した場合には、最終的な色信号の帯域には不必要な高域成分を含んだ信号に対して、Ｓ／Ｎを劣化させてしまう減算処理を施すことになる。このため、高域信号に含まれるノイズの影響が、低域の色信号に影響を与え、色信号のＳ／Ｎをより顕著に劣化させてしまう。

これに対して、図２のような構成とすることにより、低域成分のみに対してリニアマトリクス演算を施すことにより、色再現性の向上効果を生みながらも、減算処理によるＳ／Ｎの劣化を抑圧することが可能となる。

図３は、第１の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。
図３では、図２のブロック図中のポイントＡ１，Ｂ１，Ｃ１およびＤ１における、Ｇ，Ｂ，Ｒの各成分の信号帯域を、概略的に示している。この図において、ｆｓはサンプリング周波数を示す。

まず、画像補間回路４４の出力段（ポイントＡ１）において、図中のｋ、ｌは、ｌ≧ｋ＞０を満たす実数であり、撮像素子２の画素配列（フィルタコーディング）や、画像補間回路４４における信号処理方式などに基づいて決まる。なお、図３では例として、例えば斜め方向の画素信号で補間するなど、デモザイク処理を工夫することにより、ｌ＝ｋとなるような周波数特性を得た場合を想定して説明する。

このポイントＡ１における画像信号に対して、ローパスフィルタ回路４５の出力段（ポイントＢ１）における画像信号は、ローパスフィルタ回路４５により（１／ｍ）ｆｓ以下に帯域制限された特性を持つ。また、減算回路４６の出力段（ポイントＣ１）における画像信号は、ポイントＡ１の画像信号から、ポイントＢ１における画像信号の成分が除去された帯域特性を持つ。

そして、ＭＩＸ回路４８の出力段（ポイントＤ１）における画像信号は、ポイントＢ１と同じ帯域特性を持ち、リニアマトリクス演算回路４１およびホワイトバランス調整回路４２ａでの信号補正が施された低域成分と、ポイントＣ１と同じ帯域特性を持ち、ホワイトバランス調整回路４２ｂでの信号補正が施された高域成分とが合成された信号である。

ここで、ｍは、ｍ＞ｋ＞０を満たす実数である。ローパスフィルタ回路４５では、基本的に、色信号の生成に対する影響が極めて小さい（すなわち、細かい色の変化として人間がほとんど視認できない）高周波成分を除去するように、ｍが設定される。実際には、Ｙ信号処理回路５０およびＣ信号処理回路５１による最終的な出力画像フォーマットや、ローパスフィルタ回路４５以降の色信号処理（ホワイトバランス調整回路４２ｂの処理も含む）などを考慮し、色ノイズや色ニジミなどの画質劣化と、色解像度の向上とのトレードオフにより、最適なｍの値を設定する。

以上の処理により、人間の視覚特性上、色の認識に必要となる低域成分に対してのみ、リニアマトリクス演算回路４１による画質補正処理が施されるので、出力信号の色再現性が確実に向上する。一方で、リニアマトリクス演算回路４１において負のリニアマトリクス係数を用いた演算が行われた場合でも、色信号の処理に不要で、かつノイズ成分を多く含む高域成分に対しては、このリニアマトリクス演算が施されないので、結果的にノイズ成分が増長されることがなく、Ｓ／Ｎの劣化が防止される。従って、色再現性が高く、かつ、ノイズの目立たない、高画質の画像を撮像することが可能になる。

次に、図４は、本発明の第２の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図４に示すカメラ信号処理回路４ａは、第１の実施の形態におけるカメラ信号処理回路４に対応する機能ブロックであり、第１の実施の形態と比較して、高域処理部４０３の構成が異なる。高域処理部４０３は、画像補間回路４４からの出力画像信号のうちのＧ成分から、ローパスフィルタ回路４５の出力画像信号のうちのＧ成分を減算する減算回路４６ａを備える。また、減算回路４６ａの出力信号は、ＭＩＸ回路４８に対してＲＧＢのそれぞれの信号成分として入力され、ホワイトバランス調整回路４２ａからの出力画像信号のＲＧＢの各成分に加算される。

図５は、第２の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。
画像補間回路４４の出力段（ポイントＡ２）において、図中のｋ、ｌは、第１の実施の形態と同様に、撮像素子２の画素配列（フィルタコーディング）と、画像補間回路４４における信号処理方式とによって決まる。ただし、図５では図３と同様に、例として、ｌ＝ｋとなるような周波数特性を得た場合を想定して説明する。

このポイントＡ２における画像信号に対して、ローパスフィルタ回路４５の出力段（ポイントＢ２）における画像信号は、ローパスフィルタ回路４５により（１／ｍ）ｆｓ以下に帯域制限された特性を持つ。また、減算回路４６ａの出力段（ポイントＣ２）における画像信号は、ポイントＡ２の画像信号のＧ成分から、ポイントＢ２における画像信号のＧ成分が除去された帯域特性を持つ。

そして、ＭＩＸ回路４８の出力段（ポイントＤ２）における画像信号は、ポイントＢ２と同じ帯域特性を持ち、リニアマトリクス演算回路４１およびホワイトバランス調整回路４２ａでの信号補正が施された低域成分に対して、ポイントＣ２における高域成分のみ風組むＧ成分が合成された信号である。

この第２の実施の形態に係るカメラ信号処理回路４ａは、Ｇ成分の空間周波数特性がＲ成分およびＢ成分に対して極めて高く、色信号の生成に対してＲ成分およびＢ成分の影響が小さいシステムに適している。このようなシステムでは、上記のカメラ信号処理回路４ａを適用することで、色再現性の向上とＳ／Ｎの劣化防止とを両立できるとともに、第１の実施の形態と比較して、回路構成が単純化され、処理負荷も軽減されるので、回路の小型化や製造コストの抑制、消費電力の低減といった効果が得られる。

図６は、第２の実施の形態に適したフィルタコーディングの一例を示す図である。また、図７は、図６のフィルタコーディングを用いた場合の空間周波数特性を示す図である。
図６に示すカラーフィルタの配列は、ベイヤ配列のような正方格子状の配列を４５°傾けた、いわゆる斜め画素配列の構成になっている。この画素配列では、１行目はＧとＲとを交互に配置したＧＲライン、２行目はＧのみ配置したＧライン、３行目はＢとＧとを交互に配置したＧＢライン、４行目はＧのみ配置したＧラインとされ、以降、この４行を単位として繰り返してカラーフィルタを配列した構成となっている。

ここで、図６のように、水平・垂直方向のＧ成分のサンプリングレートをｄとすると、サンプリング定理から、Ｇ成分は、水平・垂直方向について、（１／２）ｆｓ（ただし、ｆｓ＝１／ｄ）の周波数の信号まで捉えることができる。一方、Ｒ成分およびＢ成分については、水平・垂直方向のサンプリングレートは４ｄとなり、サンプリング定理から、（１／８）ｆｓの周波数の信号まで捉えることができる。以上の空間周波数特性を表したものが、図７のグラフである。

一方、以下の図８および図９を用いて、比較のためにベイヤ配列の場合について説明する。図８は、ベイヤ配列のフィルタコーディングを示す図であり、また、図９は、ベイヤ配列を用いた場合の空間周波数特性を示す図である。

図８に示すように、ベイヤ配列の場合では、水平・垂直方向の画素ピッチに対応するサンプリングレートをｄとすると、Ｇ成分は、水平・垂直方向について、（１／２）ｆｓの周波数の信号まで捉えることができ、Ｒ成分およびＢ成分については、（１／４）ｆｓの周波数の信号まで捉えることができる。以上の空間周波数特性を表したものが、図９のグラフである。

ここで、図６のフィルタコーディングを用いた場合には、図９のベイヤ配列の場合と比較して、Ｇ成分とＲ成分およびＢ成分との間の周波数特性の差が大きいことがわかる。図６のフィルタコーディングの特徴は、人間の視覚特性上、Ｒ成分およびＢ成分と比較してＧ成分の方が感度が高いことから、Ｒ成分の解像度をより高くして、人間の解像感を高めている点である。

この図６のフィルタコーディングのように、Ｒ成分およびＢ成分の帯域と比較して、Ｇ成分の帯域が高周波方向に十分広い場合には、Ｒ成分およびＢ成分の各高域成分は、最終的な画像信号の生成には実質的にほとんど寄与しない。例えば、高域成分には、Ｒ成分およびＢ成分の信号がほとんど含まれない場合もあり得る。

このため、このような場合には、図４に示した構成のように、高域成分については、ＭＩＸ回路４８においてＧ成分を各色成分として加算しても、生成される画像の画質にほとんど影響しない。従って、図４のようなカメラ信号処理回路４ａを用いることで、回路規模や処理負荷を抑制しながらも、色再現性の向上とＳ／Ｎの劣化とを両立することができる。

ただし、ベイヤ配列の撮像素子を用いた場合や、色成分ごとに個別の撮像素子を用いた場合などでも、人間の視覚特性上、Ｇ成分の感度が比較的高く、Ｒ成分およびＢ成分の高域成分が最終的な画像の画質に与える影響は小さいと言えることから、図４の構成を適用しても、色再現性の向上とＳ／Ｎの劣化とを両立する効果を得ることができる。

なお、上記の各実施の形態では、低域処理部や高域処理部、ＭＩＸ回路、積分回路などの機能を、カメラ信号処理回路上にハードウェアとして組み込んだ場合について説明したが、これらのすべての機能またはその一部は、システムコントローラ５でのソフトウェア処理によって実現することもできる。この場合、その機能を実現するプログラムが、システムコントローラ５内のＲＯＭあるいは不揮発性メモリに格納される。

また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた種々の撮像装置、および、このような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。さらに、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。また、画像信号の入力を受けて画質補正を行う画像処理装置にも、本発明を適用可能である。

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（カメラ信号処理回路での画質補正機能、マイクロコントローラによる合成比設定機能など）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。カメラ信号処理回路の要部構成を示すブロック図である。第１の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。本発明の第２の実施の形態に係る撮像装置の要部構成を示すブロック図である。第２の実施の形態に係るカメラ信号処理回路の各部における信号帯域を示す図である。第２の実施の形態に適したフィルタコーディングの一例を示す図である。図６のフィルタコーディングを用いた場合の空間周波数特性を示す図である。ベイヤ配列のフィルタコーディングを示す図である。ベイヤ配列を用いた場合の空間周波数特性を示す図である。リニアマトリクス演算機能を含む従来の撮像装置の要部構成を示すブロック図である。

符号の説明

１……光学ブロック、２……撮像素子、３……ＡＦＥ（アナログフロントエンド）回路、４……カメラ信号処理回路、５……システムコントローラ、６……入力部、１１……ドライバ、１２……ＴＧ（タイミングジェネレータ）、４１……リニアマトリクス演算回路、４２，４２ａ，４２ｂ……ホワイトバランス調整回路、４３……前補正回路、４４……画像補間回路、４５……ローパスフィルタ回路、４６……減算回路、４７ａ，４７ｂ……積分回路、４８……ＭＩＸ回路、４９……γ補正回路、５０……Ｙ信号処理回路、５１……Ｃ信号処理回路、４０１……低域処理部、４０２……高域処理部

Claims

入力画像信号に対して色補正処理を施す画像処理装置において、
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、
を有し、
前記帯域分離手段は、前記低周波成分として、前記入力画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記入力画像信号のＧ成分のみを帯域制限した信号を出力し、
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたＧ成分のみ含む同じ前記高周波成分を加算する、
ことを特徴とする画像処理装置。
入力画像信号に対して色補正処理を施す画像処理装置において、
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、
を有し、
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする画像処理装置。
固体撮像素子を用いて画像を撮像する撮像装置において、
撮像により得られた画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、
を有し、
前記帯域分離手段は、前記低周波成分として、前記画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記画像信号のＧ成分のみを帯域制限した信号を出力し、
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたＧ成分のみ含む同じ前記高周波成分を加算する、
ことを特徴とする撮像装置。
固体撮像素子を用いて画像を撮像する撮像装置において、
撮像により得られた画像信号を高周波成分と低周波成分とに分離する帯域分離手段と、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段と、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段と、
を有し、
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする撮像装置。
入力画像信号に対して色補正処理を施すための画像処理方法において、
帯域分離手段が、前記入力画像信号を高周波成分と低周波成分とに分離し、
リニアマトリクス演算手段が、前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換し、
信号加算手段が、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する、
処理を実行し、
前記帯域分離手段は、前記低周波成分として、前記入力画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記入力画像信号のＧ成分のみを帯域制限した信号を出力し、
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたＧ成分のみ含む同じ前記高周波成分を加算する、
ことを特徴とする画像処理方法。
入力画像信号に対して色補正処理を施すための画像処理方法において、
帯域分離手段が、前記入力画像信号を高周波成分と低周波成分とに分離し、
リニアマトリクス演算手段が、前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換し、
信号加算手段が、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する、
処理を実行し、
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする画像処理方法。
入力画像信号に対する色補正処理をコンピュータに実行させる画像処理プログラムにおいて、
前記コンピュータを、
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段、
として機能させ、
前記帯域分離手段は、前記低周波成分として、前記入力画像信号の各色成分を帯域制限した信号を出力し、前記高周波成分として、前記入力画像信号のＧ成分のみを帯域制限した信号を出力し、
前記信号加算手段は、前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分の各色成分に対して、前記帯域分離手段から出力されたＧ成分のみ含む同じ前記高周波成分を加算する、
ことを特徴とする画像処理プログラム。
入力画像信号に対する色補正処理をコンピュータに実行させる画像処理プログラムにおいて、
前記コンピュータを、
前記入力画像信号を高周波成分と低周波成分とに分離する帯域分離手段、
前記帯域分離手段により分離された前記低周波成分の色成分をマトリクス変換するリニアマトリクス演算手段、
前記リニアマトリクス演算手段によりマトリクス変換された前記低周波成分と、前記帯域分離手段により分離された前記高周波成分とを加算する信号加算手段、
として機能させ、
前記帯域分離手段には、前記高周波成分が、前記信号加算手段の後段における色信号の生成に影響を与えないように、分離する周波数が設定されることを特徴とする画像処理プログラム。