JP7183015B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮影された画像を処理する画像処理技術に関する。

従来、未現像の画像に対して、ユーザが画質パラメータを調整し、その画質パラメータに基づく現像処理結果をリアルタイムで表示する、パーソナルコンピュータ用アプリケーションプログラムやカメラ内再現像機能が知られている。このような現像処理結果をリアルタイム表示する用途では、高速化や消費電力低減のため、可能な限り前段の処理で未現像の画像をリサイズ（具体的には縮小）してから現像処理を適用することが望ましい。一方、一般的なカメラの撮像素子はＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタがモザイク状に規則的に配置されており、その撮像素子から出力される未現像の画像信号の各画素にはＲ，Ｇ，Ｂ信号のいずれかの色信号しか存在しない。したがって、未現像の画像を縮小してから現像する場合、縮小前にＲＧＢの色信号の同時化補間や縮小率に応じた帯域制限を行う必要がある。これらの処理を、例えば単純な線形補間によって行うと、撮像素子での色ごとのサンプリング構造の違いに起因して、解像感の低下や折り返しの発生といった画質低下を招いてしまう。これに対し、特許文献１では、未現像の画像を縮小する際に、縮小率に応じて、着目画素近傍の画素の相関を検出し、その相関に応じた適応的な補間処理を行うことで画質劣化を抑える技術を開示している。

特開２０１６－１０３７９７号公報

しかしながら、特許文献１に記載の技術では、各画素に配置されたカラーフィルタ起因の信号レベル差をキャンセルして、着目画素近傍の画素相関を検出するため、入力画像に対して、予めホワイトバランス調整を行う必要がある。そのため、ホワイトバランス調整後の信号値が回路飽和でクリップされてしまうと、後からユーザが画質パラメータを調整する際に、クリップによる画質劣化や調整自由度が低下するという問題が生ずる。

そこで、本発明は、撮像時のサンプリングに伴う画質劣化の低減しつつ、縮小等のリサイズ後に画質調整が可能な未現像の画像を生成可能にすることを目的とする。

本発明の画像処理装置は、複数の色が所定の規則でモザイク状に配置された撮像素子により撮像されて得られた未現像の入力画像に対し、複数種類のホワイトバランス処理を行う処理手段と、前記入力画像と前記処理手段によるホワイトバランス処理後の信号とを参照して色の補間処理を行って、前記入力画像と色比が同等となる色信号ごとの画像を生成する生成手段と、前記生成手段により生成された画像をリサイズするリサイズ手段と、を有し、前記生成手段は、前記ホワイトバランス処理後の信号を参照して、前記色の補間処理における補間特性を制御することを特徴とする。

本発明によれば、撮像時のサンプリングに伴う画質劣化の低減しつつ、縮小等のリサイズ後に画質調整が可能な未現像の画像を生成可能となる。

実施形態における画像処理装置の構成例を示すブロック図である。 画像リサイズ部の構成例を示すブロック図である。 画像リサイズ部の処理の流れを示すフローチャートである。 ベイヤー配列の撮像素子の画素配置を示す模式図である。 相関判定処理で参照する着目画素近傍の画素を示す模式図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、実施形態に係る画像処理装置の概略構成例を示すブロック図である。本実施形態では、画像処理装置の適用例として撮像装置（デジタルカメラ）を例に挙げて説明するが、本実施形態に係る画像処理はパーソナルコンピュータ（ＰＣ）用アプリケーションプログラム（ＰＣアプリ）により実現されてもよい。

図１に示したデジタルカメラは、光学系１０１、撮像素子１０２、撮像制御部１０３、Ａ／Ｄ変換部１０４、画像リサイズ部１０５、現像部１０６、記録部１０７、表示部１０８、指示部１０９、システム制御部１１０を有して構成されている。光学系１０１には、フォーカスレンズや絞り、シャッターが含まれる。撮像素子１０２は、光学系１０１によって結像された被写体の光量を光電変換により電気信号に変換するＣＭＯＳやＣＣＤ等の素子である。本実施形態の撮像素子１０２は、Ｒ（赤），Ｇ１（緑），Ｇ２（緑），Ｂ（青）のような複数色のカラーフィルタが所定の規則でモザイク状に配列されたいわゆる原色ベイヤー配列の撮像素子であるとする。なお、撮像素子１０２は、ベイヤー配列以外のモザイクパターンの単板方式の撮像素子でもよい。撮像制御部１０３は、光学系１０１のフォーカスや絞り、シャッター、撮像素子１０２の撮像動作や撮影感度等の制御を行う。Ａ／Ｄ変換部１０４は、撮像素子１０２から出力された電気信号をデジタル信号に変換した画像データを生成する。Ａ／Ｄ変換部１０４から出力される画像データは未現像の画像データであり、以下、この未現像の画像データをＲＡＷ画像と表記する。

画像リサイズ部１０５は、ＲＡＷ画像に対して、リサイズ処理及び記録のための画像変換処理を行う。詳細については後述するが、画像リサイズ部１０５は、ＲＡＷ画像を縮小するようなリサイズ処理を行って低解像度のＲＡＷ画像（以下、縮小ＲＡＷ画像と表記する）を生成する。

現像部１０６は、画像リサイズ部１０５から出力された縮小ＲＡＷ画像に対して階調変換処理、輝度・色差生成処理、シャープネス処理等のいわゆる現像処理を行う。記録部１０７は、Ａ／Ｄ変換部１０４から出力されたＲＡＷ画像と、画像リサイズ部１０５から出力された縮小ＲＡＷ画像と、現像部１０６から出力された現像画像とを記録する。ここで、撮像素子１０２による撮像で取得されたＲＡＷ画像、このＲＡＷ画像からリサイズ処理で生成された縮小ＲＡＷ画像、この縮小ＲＡＷ画像を現像した現像画像は、同一のファイルに対応付けられて記録部１０７に記録される。したがって、記録されたファイルに含まれるＲＡＷ画像に対し、不図示のＰＣアプリ等によって後からユーザが任意に画質パラメータを調整して現像する場合、縮小ＲＡＷ画像に対して高速な現像処理を実施してその結果を即座に確認することが可能になる。

表示部１０８は、例えばカメラ背面に設けられた液晶ディスプレイ等であり、現像部１０６から出力された画像信号に基づく画像やグラフィックユーザインタフェース画像等を表示する。指示部１０９は、カメラ本体に設定された操作ダイヤルや、カメラ背面のタッチパネル方式の液晶ディスプレイ等である。ユーザは、指示部１０９を操作することで、例えばホワイトバランス調整や現像パラメータ調整の設定値などを入力可能となる。システム制御部１１０は、カメラの全体の動作等を制御する。

図２は、画像リサイズ部１０５の構成例を示したブロック図である。以下、図２を参照して画像リサイズ部１０５の構成について説明する。
画像リサイズ部１０５の入力画像２００は、Ａ／Ｄ変換部１０４から出力されたＲＡＷ画像である。つまり、入力画像２００は、ホワイトバランス処理（以下、ＷＢ処理と表記する）が未適用のいわゆるベイヤー画像である。この入力画像２００は、色分離部２０１とＷＢ処理部２０２とにそれぞれ入力する。

色分離部２０１は、ホワイトバランス処理前の入力画像２００、すなわちＷＢ処理が未適用のベイヤー画像を、Ｒ，Ｇ，Ｂの色ごとに分離する。さらに色分離部２０１は、それら分離したＲ，Ｇ，Ｂの色信号（以下、Ｒ信号、Ｇ信号、Ｂ信号と表記する）を、画素位置に対応させて配置した画像（以下、Ｒプレーン、Ｇプレーン、Ｂプレーンと表記する。）を生成する。ＲプレーンはＷＢ処理が未適用のベイヤー画像のＲ信号を画素位置に対応させて配置した画像であり、同様に、ＧプレーンはＷＢ処理未適用のベイヤー画像のＧ信号を配置した画像、ＢプレーンはＷＢ処理未適用のベイヤー画像のＢ信号を配置した画像である。これら色分離後のＲプレーン、Ｇプレーン、Ｂプレーンについては後述する図４において詳述するが、ベイヤー画像に対し、着目色以外の画素の色信号が０に置き換えられたものとなされる。色分離部後のＧプレーンの信号はＧ用フィルタ部２０６に送られ、Ｒプレーンの信号はＲ用フィルタ部２０７に送られ、Ｂプレーンの信号はＢ用フィルタ部２０８に送られる。

ＷＢ処理部２０２は、入力画像２００に対し、後述する第１のＷＢ処理、第２のＷＢ処理、第３のＷＢ処理の３種類のＷＢ処理を行い、それら種類ごとのホワイトバランス処理後の画像の信号２０３，２０４，２０５を生成する。これら第１のＷＢ処理、第２のＷＢ処理、第３のＷＢ処理による処理後の信号２０３，２０４，２０５は、後述するように、Ｇ用フィルタ部２０６、Ｒ用フィルタ部２０７、Ｂ用フィルタ部２０８で行われる処理の際に参照される。ＷＢ処理部２０２による第１のＷＢ処理後の信号２０３はＧ用フィルタ部２０６に送られ、第２のＷＢ処理後の信号２０４はＲ用フィルタ部２０７に、第３のＷＢ処理後の信号２０５はＢ用フィルタ部２０８に送られる。

Ｇ用フィルタ部２０６、Ｒ用フィルタ部２０７、Ｂ用フィルタ部２０８は、それぞれＧ用、Ｒ用、Ｂ用の同時化補間処理、帯域制限を含むフィルタ処理を行うフィルタリング処理部である。Ｇ用フィルタ部２０６～Ｂ用フィルタ部２０８の同時化補間処理では、色分離後のＲプレーン、Ｇプレーン、Ｂプレーンに対し、入力画像２００であるベイヤー画像の各画素位置に対応するようにそれぞれ色信号を補間して配置するような処理が行われる。詳細は後述するが、本実施形態では、色分離後の各プレーンの信号とＷＢ処理後の信号２０３～２０５とを参照し、ベイヤー配列のサンプリング構造を考慮した適応的なフィルタリング処理を行うことで入力画像２００と色比が同等となる色信号の画像を生成する。つまり、Ｇ用フィルタ部２０６、Ｒ用フィルタ部２０７、Ｂ用フィルタ部２０８では、ＷＢ処理未適用の入力画像２００のＲＧＢと色比が同等となる補間後のＧプレーン、Ｒプレーン、Ｂプレーンの画像が生成される。以下の説明では、ＷＢ処理未適用の入力画像２００のＲＧＢと色比が同等となる補間後のＧプレーンを適応Ｇプレーン、補間後のＲプレーンを適応Ｒプレーン、補間後のＢプレーンを適応Ｂプレーンと表記する。そして、Ｇ用フィルタ部２０６から出力された適応Ｇプレーンの信号はリサイズ部２１０へ、Ｒ用フィルタ部２０７からの適応Ｒプレーンの信号はリサイズ部２１１へ、Ｂ用フィルタ部２０８からの適応Ｂプレーンの信号はリサイズ部２１２へ送られる。

リサイズ部２１０，２１１，２１２は、それぞれ入力された適応Ｇプレーン、適応Ｒプレーン、適応Ｂプレーンを、それぞれ所定の比率でリサイズするようなリサイズ処理、つまり本実施形態では所定の縮小率で縮小するような縮小処理を行う。詳細は後述するが、リサイズ部２１０は、適応Ｇプレーンに対してリサイズ処理を行って、ＷＢ処理未適用のＧプレーンのリサイズ画像（以下、縮小Ｇプレーンと表記する）を生成する。同様にリサイズ部２１１は、適応Ｒプレーンに対してリサイズ処理を行ってＷＢ処理未適用のＲプレーンのリサイズ画像（以下、縮小Ｒプレーンと表記する）を生成する。またリサイズ部２１２は、適応Ｂプレーンに対してリサイズ処理を行ってＷＢ処理未適用のＢプレーンのリサイズ画像（以下、縮小Ｂプレーンと表記する）を生成する。そして、リサイズ部２１０，２１１，２１２によって生成された縮小Ｇプレーン、縮小Ｒプレーン、縮小Ｂプレーンは、出力部２１３に送られる。
出力部２１３は、それら縮小Ｇプレーン、縮小Ｒプレーン、縮小Ｂプレーンを、後述するように統合することによって、縮小ＲＡＷ画像２１４を生成して出力する。

以下、色分離部２０１による色分離後のＷＢ処理未適用のＲ，Ｇ，Ｂプレーンの信号と、ＷＢ処理部２０２によるＷＢ処理後の信号２０３～２０５とを基に、ＷＢ処理未適用の画像（入力画像２００）と色比が同等となるプレーンを生成する処理について説明する。前述したように、Ｇ用フィルタ部２０６～Ｂ用フィルタ部２０８は、ＷＢ処理後の信号２０３～２０５とＷＢ処理未適用のＲ，Ｇ，Ｂプレーンの信号とを参照して、ベイヤー配列のサンプリング構造を考慮した適応的なフィルタリング処理を行う。

適応的なフィルタ処理とは、着目画素に対し、水平方向の画素相関が高い場合には着目画素の左右方向に隣接する同色画素を参照して補間を行い、垂直方向の画素相関が高い場合には着目画素の上下方向に隣接する同色画素を参照して補間を行う処理である。このような処理により、折り返し歪や補間による解像感低下を抑えた高品位なＲ，Ｇ，Ｂプレーンを得ることができ、それにより後段のリサイズ処理によるリサイズ後（縮小後）の画像の画質も好適にすることができる。

ただし、ベイヤー配列の画像では、Ｒ，Ｇ，Ｂの各カラーフィルタの画素がモザイク状に規則的に隣接するため、着目画素近傍の画素相関を判定する場合には、まず着目画素と異なる色信号との差分をとる必要がある。このとき、異なる色信号間で差分をとる前に、ホワイトバランス調整（ＷＢ調整）により、カラーフィルタの分光特性に起因した信号レベルの差異を被写体の色信号から分離する必要がある。その一方で、画像リサイズ部１０５では、ユーザが後に所望の色調整を行うことができるように、ＷＢ処理未適用のＲＧＢ信号を使って、デモザイク処理（同時化補間処理）および縮小処理を行う必要がある。

したがって、本実施形態では、フィルタリング対象の色信号ごとに、ＷＢ調整の対象となる色信号を変え、フィルタリング処理の参照信号にはＷＢ処理を適用し、フィルタリング処理結果にはＷＢ処理未適用となる処理を実行するようにしている。すなわち本実施形態では、ＷＢ処理後の信号とＷＢ処理未適用のプレーンの信号とを基に、ベイヤー配列のサンプリング構造を考慮した適応的なフィルタリング処理を行うことで、ＷＢ処理未適用の画像と色比が同等となるプレーンを生成するようにしている。以下、さらに詳細な説明を行う。

ＷＢ処理部２０２で行われるＷＢ処理の詳細から説明する。
先ずＷＢ処理部２０２は、入力画像２００の中から、ホワイトバランスゲイン（以下、ＷＢゲインと表記する）を算出するために参照する白領域を抽出する。さらにＷＢ処理部２０２は、その白領域に含まれるＲ，Ｇ，Ｂの各色の画素値をそれぞれ色ごとに積算した値Ｒｗ，Ｇｗ，Ｂｗを算出する。白領域の抽出処理は、例えば入力画像２００の輝度信号を参照し、その輝度信号が所定のレベル以上の画素を選択するような処理とする。そして、ＷＢ処理部２０２は、その白領域の積算値Ｒｗ，Ｇｗ，Ｂｗに基づき、第１のＷＢ処理、第２のＷＢ処理、第３のＷＢ処理の３種類（３パターン）のＷＢ処理を行う。

ＷＢ処理部２０２で行われる第１のＷＢ処理は、入力画像２００のＧ信号を基準とし、その基準以外のＲ信号とＢ信号の信号レベルを調整するようなゲイン調整処理である。この第１のＷＢ処理の結果は後段のＧ用フィルタ部２０６で利用される。

ここでＷＢ処理部２０２への入力画像２００のＲ，Ｇ，Ｂ信号を信号Ｒin，Ｇin，Ｂin、第１のＷＢ処理で用いられるＲ，Ｇ，Ｂ用のＷＢゲインをゲインＷＧr1，ＷＧg1，ＷＧb1、第１のＷＢ処理後のＲ，Ｇ，Ｂ信号を信号Ｒ１，Ｇ１，Ｂ１とする。本実施形態の場合、第１のＷＢ処理後の信号Ｒ１，Ｇ１，Ｂ１は、式（１）により表される。なお式（１）中のＷＧr1とＷＧb1は、白領域におけるＲ，Ｇ，Ｂの積算値Ｒｗ，Ｇｗ，Ｂｗを用いて式（２）で算出されるＷＢゲインである。第１のＷＢ処理の場合、Ｇ信号については基準の色信号であるため、ＷＢゲインは掛けられず、入力されたＧ信号がそのまま信号Ｇinとして出力される。つまり第１のＷＢ処理の場合のＷＢゲインは、式（２）で算出されるＲ用のＷＢゲインＷＧr1とＢ用のＷＢゲインＷＧb1のみが用いられる。そのため、第１のＷＢ処理の前後でＧ信号の信号レベルが変化しないため、第１のＷＢ処理によってＧ信号がクリップしてしまうことはない。

Ｒ１＝Ｒin＊ＷＧr1
Ｇ１＝Ｇin
Ｂ１＝Ｂin＊ＷＧb1 式（１）

ＷＧr1＝Ｇｗ／Ｒｗ
ＷＧb1＝Ｇｗ／Ｂｗ 式（２）

ＷＢ処理部２０２で行われる第２のＷＢ処理は、入力画像２００のＲ信号を基準とし、その基準以外のＧ信号とＢ信号の信号レベルを調整するようなゲイン調整処理である。この第１のＷＢ処理の結果は後段のＲ用フィルタ部２０７で利用される。

ここで前述同様に、入力画像２００のＲ，Ｇ，Ｂ信号をそれぞれ信号Ｒin，Ｇin，Ｂinとし、第２のＷＢ処理におけるＷＢゲインをゲインＷＧr2，ＷＧg2，ＷＧb2とし、第２のＷＢ処理後のＲ，Ｇ，Ｂ信号を信号Ｒ２，Ｇ２，Ｂ２とする。本実施形態の場合、第２のＷＢ処理後の信号Ｒ２，Ｇ２，Ｂ２は式（３）により表され、また式（３）中のＷＧg2とＷＧb2は白領域におけるＲ，Ｇ，Ｂの積算値Ｒｗ，Ｇｗ，Ｂｗを用いて式（４）で算出されるＷＢゲインである。第２のＷＢ処理の場合、Ｒ信号については基準の色信号であるため、ＷＢゲインは掛けられず、入力されたＲ信号がそのまま信号Ｒinとして出力される。つまり第２のＷＢ処理の場合のＷＢゲインは、式（４）で算出されるＧ用のＷＢゲインＷＧg2とＢ用のＷＢゲインＷＧb2のみが用いられる。そのため、第２のＷＢ処理の前後でＲ信号の信号レベルが変化しないため、第２のＷＢ処理によってＲ信号がクリップしてしまうことはない。

Ｒ２＝Ｒin
Ｇ２＝Ｇin＊ＷＧg2
Ｂ２＝Ｂin＊ＷＧb2 式（３）

ＷＧg2＝Ｒｗ／Ｇｗ
ＷＧb2＝Ｒｗ／Ｂｗ 式（４）

ＷＢ処理部２０２で行われる第３のＷＢ処理は、入力画像２００のＢ信号を基準とし、その基準以外のＲ信号とＧ信号の信号レベルを調整するようなゲイン調整処理である。この第３のＷＢ処理の結果は後段のＢ用フィルタ部２０８で利用される。

前述同様に、入力画像２００のＲ，Ｇ，Ｂ信号をそれぞれ信号Ｒin，Ｇin，Ｂinとし、第３のＷＢ処理におけるＷＢゲインをゲインＷＧr3，ＷＧg3，ＷＧb3とし、第３のＷＢ処理後のＲ，Ｇ，Ｂ信号を信号Ｒ３，Ｇ３，Ｂ３とする。本実施形態の場合、第３のＷＢ処理後の信号Ｒ３，Ｇ３，Ｂ３は式（５）により表され、また式（５）中のＷＧr3とＷＧg3は白領域におけるＲ，Ｇ，Ｂの積算値Ｒｗ，Ｇｗ，Ｂｗを用いて式（６）で算出されるＷＢゲインである。第３のＷＢ処理の場合、Ｂ信号については基準の色信号であるため、ＷＢゲインは掛けられず、入力されたＢ信号がそのまま信号Ｂinとして出力される。つまり第３のＷＢ処理の場合のＷＢゲインは、式（６）で算出されるＲ用のＷＢゲインＷＧr3とＧ用のＷＢゲインＷＧg3のみが用いられる。そのため、第３のＷＢ処理の前後でＢ信号の信号レベルが変化しないため、第３のＷＢ処理によってＢ信号がクリップしてしまうことはない。

Ｒ３＝Ｒin＊ＷＧr3
Ｇ３＝Ｇin＊ＷＧg3 式（５）
Ｂ３＝Ｂin

ＷＧr3＝Ｂｗ／Ｒｗ
ＷＧg3＝Ｂｗ／Ｇｗ 式（６）

図３は、画像リサイズ部１０５で行われる処理の流れを示すフローチャートである。以下、図３のフローチャートを参照しながら説明する。なおこのフローチャートの処理は、不揮発性メモリ等に記憶されたプログラムをＣＰＵ等が実行することで実現されてもよいし、ハードウェア構成のみ、あるいは一部の処理がハードウェア構成により行われ残りの処理がソフトウェア構成により実行されてもよい。以下の説明では、図３のフローチャートのステップＳ３０１～ステップＳ３２７を、それぞれＳ３０１～Ｓ３２７と略記する。

先ずＳ３０１において、色分離部２０１は、入力画像２００であるべイヤー画像をＲ，Ｇ，Ｂ各色のプレーンに分離する。ここで、図４（ａ）は、撮像素子１０２のカラーフィルタに対応してＲ，Ｇ，Ｂの画素が規則的に配されたベイヤー配列例を示した図である。図４（ｂ）は色分離部２０１による色分離後のＧプレーン、同様に図４（ｃ）は色分離後のＲプレーン、図４（ｄ）は色分離後のＢプレーンにおけるそれぞれの画素の配列を示した図である。これらＲプレーン、Ｇプレーン、Ｂプレーンは、図４（ａ）に示したベイヤー画像に対して、着目色以外の画素の色信号が０に置き換えられたものとなされている。以下の説明では、色分離後のＲプレーン，Ｇプレーン，Ｂプレーンの信号を、それぞれＲ０信号，Ｇ０信号，Ｂ０信号と表記する。

Ｓ３０１の後、画像リサイズ部１０５の処理は、Ｓ３０２からＳ３０６までの処理と、Ｓ３１２からＳ３１６までの処理と、Ｓ３２２からＳ３２６までの処理とに分岐する。
先ず、Ｓ３０２からＳ３０６までの処理から説明する。Ｓ３０２からＳ３０６までは、ＷＢ処理未適用の縮小Ｇプレーンを生成する処理である。

Ｓ３０２に進むと、ＷＢ処理部２０２は、前述したように入力画像２００に対して第１のＷＢ処理を適用し、その第１のＷＢ処理の結果（第１のＷＢ処理後の信号Ｒ１，Ｇ１，Ｂ１）をＧ用フィルタ部２０６に送る。Ｓ３０２の後、画像リサイズ部１０５の処理はＳ３０３に進む。

Ｓ３０３に進むと、Ｇ用フィルタ部２０６は、図４（ｂ）に示したような色分離後のＧプレーンのＧ０信号について、着目画素ごとに、複数種類のフィルタリング処理を行う。具体的には、Ｇ用フィルタ部２０６は、着目画素を含むｎ×ｎ画素（ｎは１以上の自然数）の領域のＧ０信号に対して、水平方向および垂直方向のエッジ成分を平滑化する２次元ＬＰＦ（ローパスフィルタ）を適用して信号Ｇ０spfを生成する。また同時に、Ｇ用フィルタ部２０６は、着目画素を含む１×ｎ画素の領域のＧ０信号に対して水平エッジ成分を平滑化する１次元ＬＰＦを適用して信号Ｇ０vlpfを生成する。また同時に、Ｇ用フィルタ部２０６は、着目画素を含むｎ×１画素の領域のＧ０信号に対して垂直方向のエッジ成分を平滑化する１次元ＬＰＦを適用して信号Ｇ０hlpfを生成する。Ｓ３０３の後、画像リサイズ部１０５の処理はＳ３０４に進む。

Ｓ３０４に進むと、Ｇ用フィルタ部２０６は、前述した第１のＷＢ処理後の信号Ｒ１，Ｇ１，Ｂ１を参照し、Ｇ補間用の制御信号としての相関判定信号Ｔｇを生成する。例えば図５に示すように、Ｐ２の画素を着目画素とし、その着目画素Ｐ２に対して垂直方向に隣接配列する画素をＰ５，Ｐ６，Ｐ７，Ｐ８とし、水平方向に隣接配列する画素をＰ０，Ｐ１，Ｐ３，Ｐ４としたとする。この場合、Ｇ用フィルタ部２０６は、着目画素Ｐ２に対して、垂直方向に隣接配列する画素Ｐ５，Ｐ６，Ｐ７，Ｐ８と、水平方向に隣接配列する画素Ｐ０，Ｐ１，Ｐ３，Ｐ４と、を参照して、式（７）の演算により相関判定信号Ｔｇを生成する。なお図５の例の場合、着目画素Ｐ２の色信号がＲ，Ｇ，Ｂのいずれかによって、画素Ｐ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８の画素位置は、それぞれ信号Ｒ１，Ｇ１，Ｂ１のいずれかの色信号となる。

ＨＶdiff＝(|2*P2-P0-P4|＋|P1-P3|－|2*P2-P5-P8|－|P6-P7|)＊ｋ
ＨＶdiff＞ＴＨ１のとき
Ｔｇ＝１
ＨＶdiff＜ＴＨ２のとき
Ｔｇ＝－１
ＴＨ１≧ＨＶdiff≧ＴＨ２のとき
Ｔｇ＝ＨＶdiff 式（７）

なお式（７）において、ＴＨ１，ＴＨ２は予め決められた閾値である。また、ｋは、着目画素近傍の輝度振幅に応じて決定される任意の調整係数であり、Ｔｇが－１～１までの値をとるように設定される。この式（７）によれば、Ｔｇ＝－１のときに水平方向の相関が最も高く、Ｔｇ＝１のときに垂直方向の相関が最も高く、Ｔｇ＝０のときは水平方向と垂直方向のいずれの相関も低いことを示す。Ｓ３０４の後、画像リサイズ部１０５の処理はＳ３０５に進む。

Ｓ３０５に進むと、Ｇ用フィルタ部２０６は、式（８）の演算により、Ｓ３０４で生成した相関判定信号Ｔｇを参照し、Ｓ３０３で生成したＧ０信号に対する複数種類のフィルタリング処理の結果を合成して、同時化補間後の適応ＧプレーンＧplnを生成する。

Ｔｇ≧０のとき
Ｇpln＝Ｇ０spf＊（１－Ｔｇ）＋Ｇ０hlpf＊Ｔｇ
Ｔｇ＜０のとき
Ｇpln＝Ｇ０spf＊（１－｜Ｔｇ｜）＋Ｇ０vlpf＊｜Ｔｇ｜ 式（８）

式（８）では、相関判定信号Ｔｇが０に近づくほど、２次元ＬＰＦの出力信号Ｇ０spfの適用量が大きくなる。また、相関判定信号Ｔｇが－１に近づくほど、１次元ＬＰＦの出力信号Ｇ０hlpfの適用量が大きくなる。また、相関判定信号Ｔｇが－１に近づくほど、１次元ＬＰＦの出力信号Ｇ０vlpfの適用量が大きくなる。

ここで、第１のＷＢ処理の場合、相関判定信号Ｔｇを生成するために参照するＲ，Ｇ，Ｂ信号には、Ｇ信号を基準としてＲ信号とＢ信号の信号レベルを調整するようなＷＢゲインが掛けられている。したがって、カラーフィルタの分光感度の差をキャンセルし、適切に、隣接する色信号間の大小関係を比較して、着目画素近傍の相関を検出することができる。また、画素間の相関判定信号を使って、同時化補間における補間特性を適切に制御しながら、ＷＢゲインが掛けられていないＧ信号のフィルタリング結果としての適応ＧプレーンＧplnを生成することができる。Ｓ３０５の後、画像リサイズ部１０５の処理はＳ３０６に進む。

Ｓ３０６に進むと、リサイズ部２１０は、前述のように作成された同時化補間後の適応ＧプレーンＧplnを参照して、バイリニア補間などを行い、リサイズ処理を行う。以上により、ＷＢ処理未適用で、且つ適切にフィルタリングが行われた縮小Ｇプレーンが生成されることになる。

次に、Ｓ３１２からＳ３１６までの処理について説明する。Ｓ３１２からＳ３１６までは、ＷＢ処理未適用の縮小Ｒプレーンを生成する処理である。
Ｓ３１２に進むと、ＷＢ処理部２０２は、入力画像２００に対して第２のＷＢ処理を適用し、その第２のＷＢ処理の結果（第２のＷＢ処理後の信号Ｒ２，Ｇ２，Ｂ２）をＲ用フィルタ部２０７に送る。Ｓ３１２の後、画像リサイズ部１０５の処理はＳ３１３に進む。

Ｓ３１３に進むと、Ｒ用フィルタ部２０７は、図４（ｃ）に示したような色分離後のＲプレーンのＲ０信号について、着目画素ごとにフィルタリング処理を行う。具体的には、Ｒ用フィルタ部２０７は、着目画素を含むｎ×ｎ画素の領域のＲ０信号に対して２次元ＬＰＦを適用することで信号Ｒ０spfを生成する。Ｓ３１３の後、画像リサイズ部１０５の処理はＳ３１４に進む。

Ｓ３１４に進むと、Ｒ用フィルタ部２０７は、第２のＷＢ処理後の信号Ｒ２，Ｇ２，Ｂ２を参照し、Ｓ３１３で生成したＲプレーンの信号Ｒ０spfにおける折り返しを制御するための制御信号を生成する。制御信号には、着目画素近傍の画素相関を示す参照信号Ｔｒと、着目画素におけるＲ信号の振幅を調整するためのＧ信号が含まれる。

ここで、Ｒ用フィルタ部２０７は、図５に示したように、着目画素Ｐ２に対し、垂直方向に隣接配列する画素Ｐ５，Ｐ６，Ｐ７，Ｐ８と、水平方向に隣接配列する画素Ｐ０，Ｐ１，Ｐ３，Ｐ４と、を参照し、式（９）の演算により参照信号Ｔｒを生成する。この場合も着目画素Ｐ２の色信号がＲ，Ｇ，Ｂのいずれかによって、画素Ｐ０～Ｐ８の各画素位置は、それぞれ信号Ｒ２，Ｇ２，Ｂ２のいずれかの色信号となる。また式（９）によれば、Ｔｒ＝０のときに垂直方向の相関が高く、Ｔｒ＝１のときに水平方向の相関が最も高いことを示す。

Ｈdiff＝|2*P2-P0-P4|＋|P1-P3|
Ｖdiff＝|2*P2-P5-P8|－|P6-P7|
Ｈdiff＞Ｖdiffのとき
Ｔｒ＝０
Ｈdiff≦Ｖdiffのとき
Ｔｒ＝１ 式（９）

また、Ｒ用フィルタ部２０７は、Ｒ信号の振幅調整のためのＧ信号を、第２のＷＢ処理後の信号Ｇ２から生成する。具体的には、Ｒ用フィルタ部２０７は、着目画素を含むｎ×ｎ領域の信号Ｇ２に対して、垂直方向および水平方向のエッジ成分を平滑化する２次元ＬＰＦを適用して信号Ｇ２spfを生成する。また同時に、Ｒ用フィルタ部２０７は、着目画素を含む１×ｎ領域の信号Ｇ２に対して水平エッジ成分を平滑化する１次元ＬＰＦを適用した結果の信号Ｇ２vlpfを生成する。またＲ用フィルタ部２０７は、着目画素を含むｎ×１領域の信号に対して垂直エッジ成分を平滑化する１次元ＬＰＦを適用した結果の信号Ｇ２hlpfを生成する。Ｓ３１４の後、画像リサイズ部１０５の処理はＳ３１５に進む。

Ｓ３１５に進むと、Ｒ用フィルタ部２０７は、Ｓ３１３で生成したＲ信号のフィルタリング結果に対して、Ｓ３１４で生成した参照信号Ｔｒと振幅調整のためのＧ信号とを用いて、式（１０）の演算を行い同時化補間後の適応ＲプレーンＲplnを生成する。

Ｔｒ＝０のとき
Ｒpln＝Ｒ０spf＋Ｇ２spf－Ｇ２vlpf
Ｔｒ＝１のとき
Ｒpln＝Ｒ０spf＋Ｇ２spf－Ｇ２hlpf 式（１０）

式（１０）では、ＷＢゲインが掛けられていないＲ信号の補間結果に対して、着目画素近傍の画素相関に応じて、振幅を調整するため、Ｇ信号が加算される。例えば参照信号Ｔｒ＝０のときに加算される信号Ｇ２spfと信号Ｇ２vlpfとの差分信号は、Ｇ信号の水平エッジ成分から生成される高周波成分である。また参照信号Ｔｒ＝１のときに加算される信号Ｇ２spfと信号Ｇ２hlpfとの差分信号は、Ｇ信号の垂直エッジ成分から生成される高周波成分である。これらの信号Ｇ２spf，Ｇ２vlpf，Ｇ２hlpfには、予め第２のＷＢ処理が適用されているため、Ｒ信号にそのまま加算することが可能である。したがって、参照信号Ｔｒの値に応じて、隣接するＧ信号から生成された高周波成分を加算することで、補間による解像感の低下、折り返しを低減することが可能になる。Ｓ３１５の後、画像リサイズ部１０５の処理はＳ３１６に進む。

Ｓ３１６に進むと、リサイズ部２１１は、前述のように作成された同時化補間後の適応ＲプレーンＲplnを参照して、バイリニア補間などを行い、リサイズ処理を行う。以上により、ＷＢ処理未適用で、且つ適切にフィルタリングが行われた縮小Ｒプレーンが生成されることになる。

次に、Ｓ３２２からＳ３２６までの処理について説明する。Ｓ３２２からＳ３２６までは、ＷＢ処理未適用の縮小Ｂプレーンを生成する処理である。
Ｓ３２２に進むと、ＷＢ処理部２０２は、入力画像２００に対して第３のＷＢ処理を適用し、その第３のＷＢ処理の結果（第２のＷＢ処理後の信号Ｒ３，Ｇ３，Ｂ３）をＢ用フィルタ部２０８に送る。Ｓ３３２の後、画像リサイズ部１０５の処理はＳ３３３に進む。

Ｓ３２３に進むと、Ｂ用フィルタ部２０８は、図４（ｄ）に示したような色分離後のＢプレーンのＢ０信号について、着目画素ごとにフィルタリング処理を行う。具体的には、Ｂ用フィルタ部２０８は、着目画素を含むｎ×ｎ画素の領域のＢ０信号に対して２次元ＬＰＦを適用することで信号Ｂ０spfを生成する。Ｓ３２３の後、画像リサイズ部１０５の処理はＳ３２４に進む。

Ｓ３２４に進むと、Ｂ用フィルタ部２０８は、第３のＷＢ処理後の信号Ｒ３，Ｇ３，Ｂ３を参照し、Ｓ３２３で生成したＢプレーンの信号Ｂ０spfにおける折り返しを制御するための制御信号を生成する。制御信号には、着目画素近傍の画素相関を示す参照信号Ｔｂと、着目画素におけるＲ信号の振幅を調整するためのＧ信号が含まれる。

ここで、Ｂ用フィルタ部２０８は、図５に示したように、着目画素Ｐ２に対し、垂直方向に隣接配列する画素Ｐ５，Ｐ６，Ｐ７，Ｐ８と、水平方向に隣接配列する画素Ｐ０，Ｐ１，Ｐ３，Ｐ４と、を参照し、式（１１）の演算により参照信号Ｔｂを生成する。この場合も着目画素Ｐ２の色信号がＲ，Ｇ，Ｂのいずれかによって、画素Ｐ０～Ｐ８の各画素位置は、それぞれ信号Ｒ３，Ｇ３，Ｂ３のいずれかの色信号となる。また式（１１）によれば、Ｔｂ＝０のときに垂直方向の相関が高く、Ｔｂ＝１のときに水平方向の相関が最も高いことを示す。

Ｈdiff＝|2*P2-P0-P4|＋|P1-P3|
Ｖdiff＝|2*P2-P5-P8|－|P6-P7|
Ｈdiff＞Ｖdiffのとき
Ｔｂ＝０
Ｈdiff≦Ｖdiffのとき
Ｔｂ＝１ 式（１１）

また、Ｂ用フィルタ部２０８は、Ｂ信号の振幅調整のためのＧ信号を、第３のＷＢ処理後の信号Ｇ３から生成する。具体的には、Ｂ用フィルタ部２０８は、着目画素を含むｎ×ｎ領域の信号Ｇ３に対して、垂直方向および水平方向のエッジ成分を平滑化する２次元ＬＰＦを適用して信号Ｇ３spfを生成する。また同時に、Ｂ用フィルタ部２０８は、着目画素を含む１×ｎ領域の信号Ｇ３に対して水平エッジ成分を平滑化する１次元ＬＰＦを適用した結果の信号Ｇ３vlpfを生成する。またＢ用フィルタ部２０８は、着目画素を含むｎ×１領域の信号に対して垂直エッジ成分を平滑化する１次元ＬＰＦを適用した結果の信号Ｇ３hlpfを生成する。Ｓ３２４の後、画像リサイズ部１０５の処理はＳ３２５に進む。

Ｓ３２５に進むと、Ｂ用フィルタ部２０８は、Ｓ３２３で生成したＢ信号のフィルタリング結果に対して、Ｓ３２４で生成した参照信号Ｔｂと振幅調整のためのＧ信号とを用いて、式（１２）の演算を行い同時化補間後の適応ＢプレーンＢplnを生成する。

Ｔｂ＝０のとき
Ｂpln＝Ｂ０spf＋Ｇ３spf－Ｇ３vlpf
Ｔｂ＝１のとき
Ｂpln＝Ｂ０spf＋Ｇ３spf－Ｇ３hlpf 式（１２）

式（１２）では、ＷＢゲインが掛けられていないＢ信号の補間結果に対して、着目画素近傍の画素相関に応じて、振幅を調整するため、Ｇ信号が加算される。例えば参照信号Ｔｂ＝０のときに加算される信号Ｇ３spfと信号Ｇ３vlpfとの差分信号は、Ｇ信号の水平エッジ成分から生成される高周波成分である。また参照信号Ｔｂ＝１のときに加算される信号Ｇ３spfと信号Ｇ３hlpfとの差分信号は、Ｇ信号の垂直エッジ成分から生成される高周波成分である。これらの信号Ｇ３spf，Ｇ３vlpf，Ｇ３hlpfには、予め第３のＷＢ処理が適用されているため、Ｂ信号にそのまま加算することが可能である。したがって、参照信号Ｔｂの値に応じて、隣接するＧ信号から生成された高周波成分を加算することで、補間による解像感の低下、折り返しを低減することが可能になる。Ｓ３２５の後、画像リサイズ部１０５の処理はＳ３２６に進む。

Ｓ３２６に進むと、リサイズ部２１２は、前述のように作成された同時化補間後の適応ＢプレーンＢplnを参照して、バイリニア補間などを行い、リサイズ処理を行う。以上により、ＷＢ処理未適用で、且つ適切にフィルタリングが行われた縮小Ｂプレーンが生成されることになる。

前述したＳ３０３、Ｓ３１６、Ｓ３２６の後、画像リサイズ部１０５の処理はＳ３２７に進む。
Ｓ３２７に進むと、出力部２１３は、Ｓ３０６、Ｓ３１７、Ｓ３４７でそれぞれ生成された縮小Ｇプレーン、縮小Ｒプレーン、縮小Ｂプレーンについて、図４（ａ）のべイヤー配列となるように画素データの間引き処理を行う。そして、出力部２１３は、間引き処理後の縮小Ｇプレーン、縮小Ｒプレーン、縮小Ｂプレーンを統合して、縮小ＲＡＷ画像２１４を生成して出力する。
すなわち、画像リサイズ部１０５は、この統合処理後の画像を、ＷＢ処理未適用の縮小ＲＡＷ画像２１４として後段の構成へ出力する。

以上説明した一連の処理により、本実施形態の画像処理装置では、Ａ／Ｄ変換後のＷＢ処理未適用の画像から、ＷＢ処理未適用の縮小ＲＡＷ画像を生成することができる。つまり撮像素子のサンプリング構造を考慮した適応的なフィルタリング処理の制御のためには、ＷＢ処理適用後のＲＧＢ信号が参照され、最終的に、画素値として出力される信号に対しては、ＷＢ処理未適用のＲＧＢ信号が参照される。したがって、縮小に伴う補間処理での画質劣化を適応的なフィルタリング処理で抑えつつ、後にユーザが任意のＷＢ調整を行うことのできる、ＷＢ処理未適用の縮小ＲＡＷ画像を生成することができる。さらに、ＲＧＢ信号のそれぞれに対して、それぞれの色信号を基準としたＷＢ処理を適用し、処理対象の色信号がＷＢ処理を適用することで信号値がクリップされてしまうことを防ぐことで、適用的なフィルタリング処理の精度を向上させることができる。すなわち本実施形態によれば、ベイヤー配列の未現像画像を参照してリサイズすることで、撮像時のサンプリング起因の解像感の低下や折り返しの発生を低減しつつ、リサイズ後（縮小後）にＷＢ等の画質調整が可能な、未現像の縮小画像を生成することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本実施形態の画像処理装置の適用例であるデジタルカメラは、デジタル一眼レフカメラやミラーレス一眼カメラ、コンパクトデジタルカメラなどのいずれであってもよい。また本実施形態の画像処理装置は、デジタルカメラだけでなく、車載カメラ、監視カメラ、医療用カメラ、工業用カメラ、カメラ機能を備えたパーソナルコンピュータ、タブレット端末、スマートフォン、携帯ゲーム機などにも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０２：撮像素子、１０３：撮像制御部、１０４：Ａ／Ｄ変換部、１０５：画像リサイズ部、１０６：現像部、１１０：システム制御部、２０１：色分離部、２０２：ＷＢ処理部、２０６：Ｇ用フィルタ部、２０７：Ｒ用フィルタ部、２０８：Ｂ用フィルタ部、２１０，２１１，２１２：リサイズ部、２１３：出力部

Claims (11)

1. 複数の色が所定の規則でモザイク状に配置された撮像素子により撮像されて得られた未現像の入力画像に対し、複数種類のホワイトバランス処理を行う処理手段と、
   前記入力画像と前記処理手段によるホワイトバランス処理後の信号とを参照して色の補間処理を行って、前記入力画像と色比が同等となる色信号ごとの画像を生成する生成手段と、
   前記生成手段により生成された画像をリサイズするリサイズ手段と、を有し、
   前記生成手段は、前記ホワイトバランス処理後の信号を参照して、前記色の補間処理における補間特性を制御することを特徴とする画像処理装置。
2. 前記生成手段は、前記ホワイトバランス処理後の画像を参照して、着目画素に対する近傍の画素との相関に応じた制御信号を生成し、前記制御信号を基に前記補間特性を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像は、第１の色信号と第２の色信号と第３の色信号との、少なくとも３種類の色信号を含み、
   前記処理手段は、
   ホワイトバランス処理前の第１の色信号を基準にして、基準以外の色信号のレベルを調整する第１の処理手段と、
   ホワイトバランス処理前の第２の色信号を基準にして、基準以外の色信号のレベルを調整する第２の処理手段と、
   ホワイトバランス処理前の第３の色信号を基準にして、基準以外の色信号のレベルを調整する第３の処理手段と、
   を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、
   前記第１の処理手段による処理後の信号と、前記入力画像の前記第１の色信号とを参照して、第１の色信号からなる画像を生成し、
   前記第２の処理手段による処理後の信号と、前記入力画像の前記第２の色信号とを参照して、第２の色信号からなる画像を生成し、
   前記第３の処理手段による処理後の信号と、前記入力画像の前記第３の色信号とを参照して、第３の色信号からなる画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の色信号は原色の緑の色信号、前記第２の色信号は原色の赤の色信号、前記第３の色信号は原色の青の色信号であり、
   前記生成手段は、
   前記入力画像に含まれる前記緑の色信号に対して複数種類のフィルタリング処理を行った後の複数の緑の色信号を、前記第１の処理手段による処理後の信号を基に合成して、緑の色信号からなる画像を生成し、
   前記入力画像に含まれる前記赤の色信号に対してフィルタリング処理を行った後の赤の色信号から、前記第２の処理手段による処理後の信号を基に、赤の色信号からなる画像を生成し、
   前記入力画像に含まれる前記青の色信号に対してフィルタリング処理を行った後の青の色信号から、前記第３の処理手段による処理後の信号を基に、青の色信号からなる画像を生成することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記生成手段は、前記第１の処理手段の処理後の信号における着目画素に対する近傍の画素との相関を基に、前記複数種類のフィルタリング処理を行った後の前記複数の緑の色信号における前記合成を制御することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、
   前記赤の色信号の振幅を、前記第２の処理手段による処理後の緑の色信号に基づいて調整し、
   前記青の色信号の振幅を、前記第３の処理手段による処理後の緑の色信号に基づいて調整することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記生成手段は、
   前記第２の処理手段の処理後の信号における着目画素に対する近傍の画素との相関に応じて、前記赤の色信号に、前記第２の処理手段による処理後の緑の色信号を加算するような前記調整を行い、
   前記第３の処理手段の処理後の信号における着目画素に対する近傍の画素との相関に応じて、前記青の色信号に、前記第２の処理手段による処理後の緑の色信号を加算するような前記調整を行うことを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
9. 前記リサイズ手段によるリサイズ後の前記第１の色信号からなる画像と、前記リサイズ後の前記第２の色信号からなる画像と、前記リサイズ後の前記第３の色信号からなる画像とを、前記所定の規則の色の配置に応じて配置するように統合する統合手段を有することを特徴とする請求項３から８のいずれか１項に記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    複数の色が所定の規則でモザイク状に配置された撮像素子により撮像されて得られた未現像の入力画像に対し、複数種類のホワイトバランス処理を行う処理工程と、
    前記入力画像と前記処理工程によるホワイトバランス処理後の信号とを参照して色の補間処理を行って、前記入力画像と色比が同等となる色信号ごとの画像を生成する生成工程と、
    前記生成工程により生成された画像をリサイズするリサイズ工程と、を有し、
    前記生成工程では、前記ホワイトバランス処理後の信号を参照して、前記色の補間処理における補間特性を制御することを特徴とする画像処理方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images