JP4497233B2 - 画素補間回路、およびプログラム - Google Patents

Description

本発明は、単板式のカラー撮像方式が採用される撮像装置等に用いられる画素補間回路およびプログラムに関する。

デジタルカメラでは、ベイヤ配列の画素配列でなる撮像素子を用いた単板式撮像方式が主流となっている。ベイヤ配列の撮像素子で撮像された被写体像情報を示すベイヤデータから画像信号を生成する場合、ベイヤデータにおける各画素に配置されている色フィルタ以外の色情報（画素値）を補間する必要がある。特に、Ｇ画素の情報は輝度情報に影響を与えるため、Ｇ画素の情報は画像信号の解像度や輪郭のシャープネスに影響を与えることになる。

ここで、従来、ベイヤデータにおける補間対象画素（Ｇ画素の情報が存在しないＲ画素やＢ画素）に対しＧ画素の情報を補間する技術として、補間対象画素の周辺における画素の相関性を考慮して、補間対象画素にＧ画素を補間している技術がある（特許文献１や特許文献２参照）。
特開２００６−１３５５６４号公報 特開２０００−２７８７０３号公報

しかしながら、これらの従来技術はいずれも、ベイヤデータにおける補間対象画素に対しＧ画素を補間する際に、補間対象画素の周辺におけるＧ画素の情報しか参照していない。そのため、補間対象画素にＧ画素を補間する際に、参照する画素の情報が少なくなっている。その結果、補間対象画素の周辺における画素の相関性を適正に判定できず、補間対象画素に適正なＧ画素を補間できないという問題があった。

そこで、本発明は、ベイヤデータに対し、Ｇ画素の情報を適正に補間することを目的とする。

本発明の第一の観点に係る画素補間回路は、
ベイヤデータにおいてＧ画素の画素値が存在しない画素である補間対象画素の周辺領域におけるＧ画素の画素値のみを用いて、前記補間対象画素に補間するＧ画素の画素値を決定し、決定したＧ画素の画素値を前記補間対象画素に補間することにより補間画像信号を生成する画素補間手段と、
前記ベイヤデータにおいて、Ｒ画素、Ｇ画素、Ｂ画素のうちの注目画素となる画素の画素値と、前記注目画素の周辺領域の周辺画素の画素値であって前記注目画素の色成分と異なる色成分の周辺画素の画素値との間で演算を実行することにより、前記補間対象画素の周辺領域における水平方向の相関性と垂直方向の相関性とを算出する相関性算出手段と、
前記相関性算出手段により算出された各相関性のうち相関性が強い方向において、前記補間対象画素と隣接する画素の画素値に基づき、前記補間対象画素に補間するＧ画素の画素値を決定する画素値決定手段と、
前記画素値決定手段により決定されたＧ画素の画素値でなるＧ画素のみから構成されるＧ画像信号を取得するＧ画像信号取得手段と、
前記Ｇ画像信号取得手段により取得された前記Ｇ画像信号の低周波成分を除去するハイパスフィルタと、
前記ハイパスフィルタにより低周波成分が除去された前記Ｇ画像信号におけるＧ画素の画素値を、画素補間手段により生成された補間画像信号に加算する加算手段と、
前記画素値決定手段は、
前記相関性算出手段により算出された各相関性のうち相関性が強い方向において前記補間対象画素と隣接する画素の画素値の平均値と、水平方向および垂直方向において前記補間対象画素に隣接する画素の平均値とを、所定の比率に従い加算した画素値を、前記Ｇ画素の画素値として決定する。

本発明の第二の観点に係るプログラムは、
ベイヤデータにおいてＧ画素の画素値が存在しない画素である補間対象画素の周辺領域におけるＧ画素の画素値のみを用いて、前記補間対象画素に補間するＧ画素の画素値を決定し、決定したＧ画素の画素値を前記補間対象画素に補間することにより補間画像信号を生成する画素補間手段、
前記ベイヤデータにおいて、Ｒ画素、Ｇ画素、Ｂ画素のうちの注目画素となる画素の画素値と、前記注目画素の周辺領域の周辺画素の画素値であって前記注目画素の色成分と異なる色成分の周辺画素の画素値との間で演算を実行することにより、前記補間対象画素の周辺領域における水平方向の相関性と垂直方向の相関性とを算出する相関性算出手段、
前記相関性算出手段により算出された各相関性のうち相関性が強い方向において、前記補間対象画素と隣接する画素の画素値に基づき、前記補間対象画素に補間するＧ画素の画素値を決定する画素値決定手段、
前記画素値決定手段により決定されたＧ画素の画素値でなるＧ画素のみから構成されるＧ画像信号を取得するＧ画像信号取得手段、
前記Ｇ画像信号取得手段により取得された前記Ｇ画像信号の低周波成分を除去するハイパスフィルタ手段、
前記ハイパスフィルタ手段により低周波成分が除去された前記Ｇ画像信号におけるＧ画素の画素値を、画素補間手段により生成された補間画像信号に加算する加算手段、
として機能させるプログラムであって、
前記画素値決定手段は、
前記相関性算出手段により算出された各相関性のうち相関性が強い方向において前記補間対象画素と隣接する画素の画素値の平均値と、水平方向および垂直方向において前記補間対象画素に隣接する画素の平均値とを、所定の比率に従い加算した画素値を、前記Ｇ画素の画素値として決定する。

本発明によれば、ベイヤデータに対し、Ｇ画素の情報を適正に補間することができる。

本発明の実施形態の一例について説明する。まず、図１を参照して、本実施形態に係るデジタルカメラ１００の全体構成を説明する。

撮像レンズ６２は、フォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック６３が接続されている。このレンズ駆動ブロック６３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ撮像面と平行な光軸方向に駆動させるフォーカスモータ及びズームモータと、ＣＰＵ７０からの制御信号にしたがってフォーカスモータ及びズームモータをそれぞれ駆動させるフォーカスドライバ及びズームモータドライバから構成されている。

絞り兼用シャッター６４は、図示しない駆動回路を含み、この駆動回路はＣＰＵ７０から送られてくる制御信号にしたがって絞り兼用シャッターを動作させる。なお、この絞り兼用シャッター６４は、絞りとシャッターとして機能する。

撮像素子であるＣＣＤ５０には、受光面にベイヤ配列のカラーフィルタが設けられている。ＣＣＤ５０は、撮像レンズ６２及び絞り兼用シャッター６４を介して投影された被写体の光を電気信号に変換し、変換した電気信号を撮像信号として画像処理部２０に出力する。また、ＣＣＤ５０は、ＴＧ６６がＣＰＵ７０からの制御信号にしたがって生成した所定周波数のタイミング信号にしたがって駆動する。

カードＩ／Ｆ７６にはメモリ・カード８０が着脱可能に接続されている。

メモリ６９は、ＣＰＵ７０によるデジタルカメラ１００の各部の制御に必要なプログラムやデータを格納している。

ＤＲＡＭ６８は、ＣＣＤ５０によって撮像された後、ＣＰＵ７０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ７０のワーキングメモリとしても使用される。

画像表示部７１は、液晶ディスプレイとその駆動回路とで構成されている。デジタルカメラ１００が撮影待機状態にあるときには、ＣＣＤ５０によって撮像された被写体をスルー画像として液晶ディスプレイに表示する。画像表示部７１は、デジタルカメラ１００が画像を再生するときには、メモリ・カード８０から読み出された画像を液晶ディスプレイ表示する。

キー入力部７２は、シャッターボタンやモードキー、ＳＥＴキー、十字キー、撮影モード選択キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ７０に出力する。

ＣＰＵ７０は、デジタルカメラ１００の全体を制御する。ＣＰＵ７０は、メモリ６９から読み出したプログラムとの協働によって各種の動作を実行する。

次に、図２を参照して、画像処理部２０の構成について説明する。画像処理部２０は、アナログ処理部（ＣＤＳ、ＡＧＣ、Ａ／Ｄ）２１と、黒レベル調整部２２と、白バランス調整部２３と、ガンマ補正部２４と、画素補間ユニット３０と、ＹＵＶ変換処理部２７と、ＪＰＥＧ変換部２８とから構成されている。

画像処理部２０において、相関二重サンプリング回路（ＣＤＳ）は、ＣＣＤ５０から出力されたアナログ信号である撮像信号に含まれるノイズを減少させる。自動利得制御回路（ＡＧＣ）は、ノイズ低減後における撮像信号のゲインを調整する。Ａ／Ｄ変換器（Ａ／Ｄ）は、ゲイン調整後の撮像信号をデジタル信号、つまりカラーフィルタのベイヤ配列に応じたＲ画素（赤色情報を示す画素データ）、Ｇ画素（緑色情報を示す画素データ）、Ｂ画素（青色情報を示す画素データ）の各画素データであるベイヤデータに変換する。

黒レベル調整部２２は、ベイヤデータを所定の黒レベルにクランプする。白バランス調整部２３は、クランプ後のベイヤデータに対するＲ，Ｇ，Ｂ毎のゲイン調整を行い白バランスの調整を実行する。ガンマ補正部２４は、白バランス調整後にベイヤデータに対するガンマ特性（階調特性）の補正を行う。画素補間ユニット３０は、ガンマ特性の補正後のベイヤデータに対して、欠落している画素値の情報を補間し、画像信号を生成する。画素補間ユニット３０の詳細については後述する。

ＹＵＶ変換処理部２７は、画素情報の補間された画像信号から輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなる画像信号を生成する。ＪＰＥＧ変換部２８は、画像信号をＪＰＥＧ形式で圧縮符号化する。圧縮符号化された画像信号はメモリ・カード８０に記録される。

次に、図３を参照して、画素補間ユニット３０について詳細に説明する。画素補間ユニット３０は、第１回路部３０ａ、第２回路部３０ｂの２つの回路部と、ＬＰＦ（ローパスフィルタ）２６と、加算器３６とによって構成されている。

第１回路部３０ａは、広帯域ＬＰＦ３１と、Ｇ補間回路３２と、Ｒ補間回路３３と、Ｂ補間回路３４とで構成されている。第２回路部３０ｂは、Ｇ画素抽出回路４０と、ＨＰＦ（ハイパスフィルタ）３７とで構成されている。

第１回路部３０ａにおいては、ガンマ補正部２４から送られてくるベイヤデータに対し、欠落している画素の情報を補間する信号処理が施されて、画素補間ユニット３０において生成される画像信号の基準となるカラー画像信号が生成される。

ここで、第１回路部３０ａにおける信号処理は、従来技術として上記で説明した特開２００６−１３５５６４号公報に開示されている信号処理と同様のものである。つまり、第１回路部３０ａにおける信号処理に際しては、ベイヤデータにおいて、Ｇ画素の情報が存在しないＲ画素やＢ画素（以下、「補間対象画素」という）に、Ｇ画素の画素値を補間する際に、補間対象画素の周辺におけるＧ画素の画素値しか参照しないことになる。そのため、補間対象画素にＧ画素の画素値を補間する際に、参照する画素値の情報が少なくなる。その結果、補間対象画素の周辺における画素値の相関性を適正に判定できず、補間対象画素にＧ画素の適正な画素値を補間できない場合がある。

そして、この不適切なＧ画素が孤立点となり、画像信号中にノイズが発生する場合がある。そのため、このノイズ成分を除去するために、ローパスフィルタであるＬＰＦ２６にこの画像信号を通過させることにより、画像信号の高周波成分（ノイズ成分など）を除去する。しかし、ＬＰＦ２６に画像信号を通過させるとノイズ成分を除去できるものの、画像信号における輪郭のシャープネスも低下し、画像信号に基づく再生画像がぼやけることになる。

そこで、第２回路部３０ｂによって、ガンマ補正部２４から送られてくるベイヤデータからＧ画素の適正な情報を別途抽出する。そして、加算器３８において、抽出したＧ画素の情報を、ＬＰＦ２６を通過した画像信号に対し加算（補間）する。Ｇ画素の情報は再生画像における輪郭のシャープネスに影響するため、このようにすれば、ベイヤデータに基づく再生画像の輪郭が強調され、再生画像がぼやけてしまうことを防止できる。

次に、第２回路部３０ｂにおける信号処理について詳細に説明する。第２回路部３０ｂにおけるＧ画素抽出回路４０は、ベイヤデータにおける補間対象画素（Ｇ画素の情報が存在しないＲ画素、Ｂ画素）に対し補間すべきＧ画素の情報（画素値）を抽出するための回路である。Ｇ画素抽出回路４０は、図４に示すように、水平方向基準画像生成部４１と、垂直方向基準画像生成部４２と、水平方向相関度算出部４３と、垂直方向相関度算出部４４と、画素値決定部４５と、画素値抽出部４６とから構成されている。

水平方向基準画像生成部４１は、ベイヤデータに対し、水平方向に隣接する画素の画素値を用いた演算を行い、水平方向基準画像を生成する。水平方向基準画像は、ベイヤデータの各補間対象画素の周辺において、画素の相関性の強い方向を求めるための情報である。

具体的には、水平方向基準画像生成部４１は、ベイヤデータの各補間対象画素の周辺における各画素について、次の（Ａ１）から（Ａ４）のいずれかの処理を順次実行することによって、水平方向基準画像を生成する。

（Ａ１）水平方向においてＧ画素に隣接するＲ画素については、当該Ｒ画素の画素値から、水平方向において当該Ｒ画素に隣接するＧ画素の画素値の平均値を減算する処理。
（Ａ２）水平方向においてＲ画素に隣接するＧ画素については、水平方向において当該Ｇ画素に隣接するＲ画素の画素値の平均値から、当該Ｇ画素の画素値を減算する処理。
（Ａ３）水平方向においてＢ画素に隣接するＧ画素については、水平方向において当該Ｇ画素に隣接するＢ画素の画素値の平均値から、当該Ｇ画素の画素値を減算する処理。
（Ａ４）水平方向においてＧ画素に隣接するＢ画素については、当該Ｂ画素の画素値から、水平方向において当該Ｂ画素に隣接するＧ画素の画素値の平均値を減算する処理。

図５に、ベイヤデータにおける各画素の画素値の例を示す。図５において、Ｂ０、Ｂ２、・・・Ｂ４８等Ｂで表記されている位置は、ベイヤデータにおいてＢ画素が配置されている位置である。Ｇ１、Ｇ３、・・・Ｇ４７等Ｇで表記されている位置は、ベイヤデータにおいてＧ画素が配置されている位置である。Ｒ８、Ｒ１０、・・・Ｒ４０等Ｒで表記されている位置は、ベイヤデータにおいてＲ画素が配置されている位置である。

また、図５において、Ｂ０、Ｂ２、・・・Ｂ４８は、各Ｂ画素の画素値を示している。Ｇ１、Ｇ３、・・・Ｇ４７は、各Ｇ画素の画素値を示している。Ｒ８、Ｒ１０、・・・Ｒ４０は、各Ｒ画素の画素値を示している。

水平方向基準画像の生成に際しては、ベイヤデータにおける各補間対象画素の周辺領域に着目する。図６に、水平方向基準画像の例である水平方向基準画像４０Ｈを示す。水平方向基準画像４０Ｈは、図５に示す「Ｒ２４」の位置における画素（補間対象画素）についての水平方向基準画像である。

例えば、水平方向基準画像４０Ｈの生成に際しては、図５に示す「Ｒ２４」の位置における画素の周辺領域における７×７個の画素であるＢ０、Ｇ１、Ｂ２、・・・Ｂ４８の位置における各画素からなる領域に着目する。なお、着目する周辺領域は、７×７個の画素からなる領域でなくともよい。

次に、水平方向基準画像における各成分の例として、水平方向基準画像４０Ｈにおける各成分について説明する。
水平方向基準画像４０Ｈにおける成分「ｈ８」は、図５に示すＧ７、Ｒ８、Ｇ９の画素値を用いた（Ａ１）の処理によって、以下の値となる。
ｈ８＝Ｒ８−（Ｇ７＋Ｇ９）／２
水平方向基準画像４０Ｈにおける成分「ｈ９」は、図５に示すＲ８、Ｇ９、Ｒ１０の画素値を用いた（Ａ２）の処理によって、以下の値となる。
ｈ９＝（Ｒ８＋Ｒ１０）／２−Ｇ９
水平方向基準画像４０Ｈにおける成分「ｈ１５」は、図５に示すＢ１４、Ｇ１５、Ｂ１６の画素値を用いた（Ａ３）の処理によって、以下の値となる。
ｈ１５＝（Ｂ１４＋Ｂ１６）／２−Ｇ１５
水平方向基準画像４０Ｈにおける成分「ｈ１６」は、図５に示すＧ１５、Ｂ１６、Ｇ１７の画素値を用いた（Ａ４）の処理によって、以下の値となる。
ｈ１６＝Ｂ１６−（Ｇ１５＋Ｇ１７）
同様にして、水平方向基準画像４０Ｈにおける他の成分についても、（Ａ１）から（Ａ４）の処理を実行することにより求めることができる。

なお、（Ａ１）から（Ａ４）の処理に代えて、ベイヤデータの補間対象画素の周辺における各画素について、次の（Ａ５）から（Ａ８）のいずれかの処理を順次実行することによって、水平方向基準画像を生成してもよい。

（Ａ５）水平方向においてＧ画素に隣接するＲ画素については、水平方向において当該Ｒ画素に隣接するＧ画素の画素値の平均値から、当該Ｒ画素の画素値を減算する処理。
（Ａ６）水平方向においてＲ画素に隣接するＧ画素については、当該Ｇ画素の画素値から、水平方向において当該Ｇ画素に隣接するＲ画素の画素値の平均値を減算する処理。
（Ａ７）水平方向においてＢ画素に隣接するＧ画素については、当該Ｇ画素の画素値から、水平方向において当該Ｇ画素に隣接するＢ画素の画素値の平均値を減算する処理。
（Ａ８）水平方向においてＧ画素に隣接するＢ画素については、水平方向において当該Ｂ画素に隣接するＧ画素の画素値の平均値から、当該Ｂ画素の画素値を減算する処理。

一方、垂直方向基準画像生成部４２は、ベイヤデータに対し、垂直方向に隣接する画素の画素値を用いた演算を行い、垂直方向基準画像を生成する。垂直方向基準画像は、ベイヤデータの各補間対象画素の周辺において、画素の相関性の強い方向を求めるための情報である。具体的には、垂直方向基準画像生成部４２は、ベイヤデータの補間対象画素の周辺における各画素について、次の（Ｂ１）から（Ｂ４）のいずれかの処理を順次実行することによって、垂直方向基準画像を生成する。

（Ｂ１）垂直方向においてＧ画素に隣接するＲ画素については、当該Ｒ画素の画素値から、垂直方向において当該Ｒ画素に隣接するＧ画素の画素値の平均値を減算する処理。
（Ｂ２）垂直方向においてＲ画素に隣接するＧ画素については、垂直方向において当該Ｇ画素に隣接するＲ画素の画素値の平均値から、当該Ｇ画素の画素値を減算する処理。
（Ｂ３）垂直方向においてＢ画素に隣接するＧ画素については、垂直方向において当該Ｇ画素に隣接するＢ画素の画素値の平均値から、当該Ｇ画素の画素値を減算する処理。
（Ｂ４）垂直方向においてＧ画素に隣接するＢ画素については、当該Ｂ画素の画素値から、垂直方向において当該Ｂ画素に隣接するＧ画素の画素値の平均値を減算する処理。

図７に、垂直方向基準画像の例として、垂直方向基準画像４０Ｖを示す。ここで、垂直方向基準画像４０Ｖにおける各成分について説明する。
垂直方向基準画像４０Ｖにおいて成分「ｖ８」は、図５に示すＧ１、Ｒ８、Ｇ１５の画素値を用いた（Ｂ１）の処理によって、以下の値となる。
ｖ８＝Ｒ８−（Ｇ１＋Ｇ１５）／２
垂直方向基準画像４０Ｖにおいて成分「ｖ１５」は、図５に示すＲ８、Ｇ１５、Ｒ２２の画素値を用いた（Ｂ２）の処理によって、以下の値となる。
ｖ１５＝（Ｒ８＋Ｒ２２）／２−Ｇ１５
垂直方向基準画像４０Ｖにおいて成分「ｖ９」は、図５に示すＢ２、Ｇ９、Ｂ１６の画素値を用いた（Ｂ３）の処理によって、以下の値となる。
ｖ９＝（Ｂ２＋Ｂ１６）／２−Ｇ９
垂直方向基準画像４０Ｖにおいて成分「ｖ１６」は、図５に示すＧ９、Ｂ１６、Ｇ２３の画素値を用いた（Ｂ４）の処理によって、以下の値となる。
ｖ１６＝Ｂ１６−（Ｇ９＋Ｇ２３）／２
同様にして、垂直方向基準画像４０Ｖにおける他の成分についても、（Ｂ１）から（Ｂ４）の処理を実行することにより求めることができる。

なお、（Ｂ１）から（Ｂ４）の処理に代えて、ベイヤデータの補間対象画素の周辺における各画素について、次の（Ｂ５）から（Ｂ８）のいずれかの処理を順次実行することによって、垂直方向基準画像を生成してもよい。

（Ｂ５）垂直方向においてＧ画素に隣接するＲ画素については、垂直方向において当該Ｒ画素に隣接するＧ画素の画素値の平均値から、当該Ｒ画素の画素値を減算する処理。
（Ｂ６）垂直方向においてＲ画素に隣接するＧ画素については、当該Ｇ画素の画素値から、垂直方向において当該Ｇ画素値に隣接するＲ画素の画素値の平均値を減算する処理。
（Ｂ７）垂直方向においてＢ画素に隣接するＧ画素については、当該Ｇ画素の画素値から、垂直方向において当該Ｇ画素値に隣接するＢ画素の画素値の平均値を減算する処理。
（Ｂ８）垂直方向においてＧ画素に隣接するＢ画素については、垂直方向において当該Ｂ画素に隣接するＧ画素の画素値の平均値から、当該Ｂ画素の画素値を減算する処理。

水平方向相関度算出部４３は、ベイヤデータにおける各補間対象画素について、水平方向基準画像から水平方向の相関度である水平相関度Ｈｒを算出する。水平方向相関度算出部４３は、次の（Ｃ１）から（Ｃ３）の処理を実行することによって、水平相関度Ｈｒを算出する。
（Ｃ１）水平方向基準画像における各成分間の差分値を求める。
（Ｃ２）（Ｃ１）において求めた各差分値の絶対値を求める。
（Ｃ３）（Ｃ２）において求めた各絶対値に、所定の係数を乗じた値の総和を、水平相関度Ｈｒとして算出する。

（Ｃ１）から（Ｃ３）の処理の例を挙げると、図５に示す「Ｒ２４」の位置における画素に関する水平相関度Ｈｒは、以下の通りとなる。
Ｈｒ ＝ａｂｓ（ｈ８−ｈ９）＋２×ａｂｓ（ｈ９−ｈ１０）＋２×ａｂｓ（ｈ１０−ｈ１１）＋ａｂｓ（ｈ１１−ｈ１２）＋２×｛ａｂｓ（ｈ１５−ｈ１６）＋２×ａｂｓ（ｈ１６−ｈ１７）＋２×ａｂｓ（ｈ１７−ｈ１８）＋ａｂｓ（ｈ１８−ｈ１９）｝＋２×｛ａｂｓ（ｈ２２−ｈ２３）＋２×ａｂｓ（ｈ２３−ｈ２４）＋２×ａｂｓ（ｈ２４−ｈ２５）＋ａｂｓ（ｈ２５−ｈ２６））＋２×｛ａｂｓ（ｈ２９−ｈ３０）＋２×ａｂｓ（ｈ３０−ｈ３１）＋２×ａｂｓ（ｈ３１−ｈ３２）＋ａｂｓ（ｈ３２−ｈ３３）｝＋ａｂｓ（ｈ３６−ｈ３７）＋２×ａｂｓ（ｈ３７−ｈ３８）＋２×ａｂｓ（ｈ３８−ｈ３９）＋ａｂｓ（ｈ３９−ｈ４０）
ここで、ａｂｓ（）は、絶対値を求める演算を示す。

水平相関度Ｈｒの値が小さいほど、水平方向の相関性が強くなる。

垂直方向相関度算出部４４は、ベイヤデータにおける各補間対象画素について、垂直方向基準画像から垂直方向の相関度である垂直相関度Ｖｄを算出する。垂直方向相関度算出部４４は、次の（Ｄ１）から（Ｄ３）の処理を実行することによって、垂直相関度Ｖｄを算出する。
（Ｄ１）垂直方向基準画像における各成分間の差分値を求める。
（Ｄ２）（Ｄ１）において求めた各差分値の絶対値を求める。
（Ｄ３）（Ｄ２）において求めた各絶対値に、所定の係数を乗じた値の総和を、水垂直相関度Ｖｄとして算出する。

（Ｄ１）から（Ｄ３）の処理の例を挙げると、図５に示す「Ｒ２４」の位置における画素に関する垂直相関度Ｖｄは、以下の通りとなる。
Ｖｄ＝ａｂｓ（ｖ８−ｖ１５）＋２×ａｂｓ（ｖ１５−ｖ２２）＋２×ａｂｓ（ｖ２２−ｖ２９）＋ａｂｓ（ｖ２９−ｖ３６）＋２×｛ａｂｓ（ｖ９−ｖ１６）＋２×ａｂｓ（ｖ１６−ｖ２３）＋２×ａｂｓ（ｖ２３−ｖ３０）＋ａｂｓ（ｖ３０−ｖ３７）｝＋２×｛ａｂｓ（ｖ１０−ｖ１７）＋２×ａｂｓ（ｖ１７−ｖ２４）＋２×ａｂｓ（ｖ２４−ｖ３１）＋ａｂｓ（ｖ３１−ｖ３８））＋２×（ａｂｓ（ｖ１１−ｖ１８）＋２×ａｂｓ（ｖ１８−ｖ２５）＋２×ａｂｓ（ｖ２５−ｖ３２）＋ａｂｓ（ｖ３２−ｖ３９）｝＋ａｂｓ（ｖ１２−ｖ１９）＋２×ａｂｓ（ｖ１９−ｖ２６）＋２×ａｂｓ（ｖ２６−ｖ３３）＋ａｂｓ（ｖ３３−ｖ４０）
ここで、ａｂｓ（）は、絶対値を求める演算を示す。

垂直相関度Ｖｄの値が小さいほど、垂直方向の相関性が強くなる。

画素値決定部４５は、水平相関度Ｈｒと垂直相関度Ｖｄとに基づき、補間対象画素に対して補間するＧ画素の画素値を決定する。

水平相関度Ｈｒが垂直相関度Ｖｄよりも小さい、換言すれば、水平方向の相関性が垂直方向の相関性よりも強い場合、画素値決定部４５は、補間対象画素の水平方向において隣接するＧ画素の画素値の平均値を、補間対象画素に対して補間するＧ画素の画素値として決定する。

この場合、例えば、画素値決定部４５は、図５に示す「Ｒ２４」の位置における画素（補間対象画素）に対し補間されるＧ画素の画素値「Ｇ２４」として、水平方向において「Ｒ２４」の位置おける画素に隣接するＧ画素の画素値「Ｇ２３」、「Ｇ２５」を用いて、以下の画素値を決定する。
Ｇ２４＝（Ｇ２３＋Ｇ２５）／２

一方、垂直相関度Ｖｄが水平相関度Ｈｒよりも小さい、換言すれば、垂直方向の相関性が水平方向の相関性よりも強い場合には、画素値決定部４５は、補間対象画素の垂直方向において隣接するＧ画素の画素値の平均値を、補間対象画素に対して補間するＧ画素の画素値として決定する。

この場合、例えば、画素値決定部４５は、図５に示す「Ｒ２４」の位置における画素（補間対象画素）に対し補間されるＧ画素の画素値「Ｇ２４」として、垂直方向において「Ｒ２４」の位置おける画素に隣接するＧ画素の画素値「Ｇ１７」、「Ｇ３１」を用いて、以下の画素値を決定する。
Ｇ２４＝（Ｇ１７＋Ｇ３１）／２

画素値抽出部４６は、画素値決定部が決定した画素値を、ベイヤデータにおける補間対象画素に対し補間すべきＧ画素の画素値として抽出する。

Ｇ画素抽出回路４０は、「Ｒ２４」の位置における画素以外にも、ベイヤデータにおける全ての補間対象画素（Ｇ画素の情報が存在しないＲ画素、Ｂ画素）について、上記説明した処理を施して、各補間対象に対し補間すべきＧ画素の画素値を全て抽出する。つまり、Ｇ画素抽出回路４０は、ベイヤデータにおける全ての補間対象画素のそれぞれについて、水平方向基準画像と垂直方向基準画像とを生成し、これら水平方向基準画像と垂直方向基準画像における成分を用いて、水平方法における画素値の相関性と垂直方向における画素値の相関性を算出し、各補間対象に対し補間すべきＧ画素の画素値を抽出する。この処理によって、ベイヤデータから抽出した適正なＧ画素の情報のみからなる画像信号（以下、「Ｇ画像信号」という）が得られる。

図３に戻り、第２回路部３０ｂにおいて、Ｇ画素抽出回路４０が得たＧ画像信号を、ハイパスフィルタであるＨＰＦ３７を通過させて、Ｇ画像信号の低周波成分を除去する。

そして、加算器３６において、第１回路部３０ａにおいて信号処理が施されてＬＰＦ（ローパスフィルタ）２６を通過したカラー画像信号に対し、低周波成分が除去されたＧ画像信号が加算される。加算器３６によりカラー画像信号に対しＧ画像信号が加算されたことによって、ベイヤデータにＧ画素の適正な情報が補間されたことになる。

以上説明したように、本実施形態によれば、補間対象画素の周辺におけるＧ画素だけでなく、補間対象画素の周辺におけるＲ画素やＢ画素も参照して、ベイヤデータに対して補間するＧ画素の画素値を決定した。このようにすれば、ベイヤデータに対してＧ画素を補間する際に、参照する画素の情報が多くなる。その結果、画像信号に対してＧ画素の適正な画素値を補間できる。

また、本実施形態によれば、補間対象画素の周辺におけるＧ画素、Ｒ画素、Ｂ画素のそれぞれの画素値を用いて、水平方向基準画像と垂直方向基準画像とを生成し、これら水平方向基準画像と垂直方向基準画像における成分を用いて、水平方法における画素値の相関性と垂直方向における画素値の相関性を算出した。このようにすれば、画素値に関する相関性を算出する際に、参照する画素の情報が多くなる。その結果、画素値に関する相関性が強い方向を誤って判断する可能性を低減できる。

また、本実施形態によれば、第１回路部３０ａにおいて信号処理が施されてＬＰＦ（ローパスフィルタ）２６を通過したカラー画像信号に対し、第２回路部３０ｂにおいて抽出されたＧ画素の適正な情報を補間した。Ｇ画素の情報は再生画像における輪郭のシャープネスに影響するため、このようにすれば、ベイヤデータに基づく再生画像の輪郭が強調され、再生画像の画質を向上させることができる。

＜変形例＞
次に、本実施形態の変形例について説明する。補間対象画素の周辺における画素について、水平方向の相関性と垂直方向の相関性との差が僅かである場合がある。つまり、補間対象画素の周辺においてグラデーションが緩やかな場合がある。この場合、第１の実施形態の処理によってベイヤデータの補間対象画素に対しＧ画素を補間すると、補間対象画素の画素値が際立った値（孤立点）になり、画像信号に基づく再生画像の画質が劣化するという課題がある。本変形例は、かかる課題に対処するものである。

この変形例においては、図８に示すように、Ｇ画素抽出回路４０において混合比決定部４７を設けた点のみが、上記の実施形態と異なっている。他の構成は、上記の実施形態と同様である。

混合比決定部４７は、水平方向相関度算出部４３が算出した水平相関度Ｈｒと、垂直方向相関度算出部４４が算出した垂直相関度Ｖｄとから、混合比を決定する。

水平相関度Ｈｒが垂直相関度Ｖｄよりも小さい、つまり、水平方向の相関性が垂直方向の相関性よりも強い場合には、混合比決定部４７は、混合比として、Ｈｒ／Ｖｄでなる値を決定する。一方、垂直相関度Ｖｄが水平相関度Ｈｒよりも小さい、つまり、垂直方向の相関性が水平方向の相関性よりも強い場合には、混合比決定部４７は、混合比として、Ｖｄ／Ｈｒでなる値を決定する。

水平方向の相関性が垂直方向の相関性よりも強い場合、画素値決定部４５は、水平方向において補間対象画素に隣接するＧ画素の画素値の平均値と、水平方向および垂直方向において補間対象画素に隣接する４つのＧ画素の平均値とを、混合比に基づく比率で加算した画素値のＧ画素を、補間対象画素に対して補間するＧ画素の画素値として決定する。

この場合、例えば、図５に示す「Ｒ２４」の位置における画素に対し補間されるＧ画素の画素値「Ｇ２４」は、以下の画素値となる。
Ｇ２４＝（１．０−（Ｈｒ／Ｖｄ））×（Ｇ２３＋Ｇ２５）／２＋（Ｈｒ／Ｖｄ）×（Ｇ１７＋Ｇ３１＋Ｇ２３＋Ｇ２５）／４

垂直方向の相関性が水平方向の相関性よりも強い場合、画素値決定部４５は、垂直方向において補間対象画素に隣接するＧ画素の画素値の平均値と、水平方向および垂直方向において補間対象画素に隣接する４つのＧ画素の平均値とを、混合比に基づく比率で加算した画素値のＧ画素を、補間対象画素に対し補間するＧ画素の画素値として決定する。

この場合、例えば、図５に示す「Ｒ２４」の位置における画素に対し補間されるＧ画素の画素値「Ｇ２４」は、以下の画素値となる。
Ｇ２４＝（１．０−（Ｖｄ／Ｈｒ））×（Ｇ１７＋Ｇ３１）／２＋（Ｖｄ／Ｈｒ）×（Ｇ１７＋Ｇ３１＋Ｇ２３＋Ｇ２５）／４

画素値抽出部４６は、画素値決定部が決定した画素値を、ベイヤデータにおける補間対象画素に対し補間すべきＧ画素の画素値として抽出する。これで、ベイヤデータから抽出した適正なＧ画素の情報のみからなる画像信号（Ｇ画像信号）が得られたことになる。

そして、図３に戻り、加算器３６において、第１回路部３０ａにおいて信号処理が施されてＬＰＦ（ローパスフィルタ）２６を通過したカラー画像信号に対し、Ｇ画像信号が加算、つまり補間される。

以上説明した変形例によれば、ベイヤデータに対して補間するＧ画素の画素値を決定するに際して、相関性の強い方向において補間対象画素に隣接する２つの画素の平均値だけでなく、水平方向および垂直方向において補間対象画素に隣接する４つの画素の平均値も用いた。このようにすれば、水平方向の相関性と垂直方向の相関性との差が僅かである場合であっても、補間対象画素の画素値と周辺画素の画素値との調和が取れて、補間対象画素の画素値が際立った値（孤立点）とならず、画像信号に基づく再生画像の画質の劣化を防止できる。

本発明は、上記の実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更も含まれる。

デジタルカメラ１００の全体構成を示す図である。 画像処理部２０の構成を示す図である。 画素補間ユニット３０の構成を示す図である。 Ｇ画素抽出回路４０の構成図である。 ベイヤ配列の例を示す図である。 水平方向基準画像の例を示す図である。 垂直方向基準画像の例を示す図である。 変形例におけるＧ画素抽出回路４０の構成図である。

符号の説明

３０・・・画素補間ユニット
４１・・・水平方向基準画像生成部
４２・・・垂直方向基準画像生成部
４３・・・水平方向相関度算出部
４４・・・垂直方向相関度算出部
４５・・・画素値決定部
４６・・・画素値抽出部
４７・・・混合比決定部
１００・・・デジタルカメラ

Claims (8)

1. ベイヤデータにおいてＧ画素の画素値が存在しない画素である補間対象画素の周辺領域におけるＧ画素の画素値のみを用いて、前記補間対象画素に補間するＧ画素の画素値を決定し、決定したＧ画素の画素値を前記補間対象画素に補間することにより補間画像信号を生成する画素補間手段と、
   前記ベイヤデータにおいて、Ｒ画素、Ｇ画素、Ｂ画素のうちの注目画素となる画素の画素値と、前記注目画素の周辺領域の周辺画素の画素値であって前記注目画素の色成分と異なる色成分の周辺画素の画素値との間で演算を実行することにより、前記補間対象画素の周辺領域における水平方向の相関性と垂直方向の相関性とを算出する相関性算出手段と、
   前記相関性算出手段により算出された各相関性のうち相関性が強い方向において、前記補間対象画素と隣接する画素の画素値に基づき、前記補間対象画素に補間するＧ画素の画素値を決定する画素値決定手段と、
   前記画素値決定手段により決定されたＧ画素の画素値でなるＧ画素のみから構成されるＧ画像信号を取得するＧ画像信号取得手段と、
   前記Ｇ画像信号取得手段により取得された前記Ｇ画像信号の低周波成分を除去するハイパスフィルタと、
   前記ハイパスフィルタにより低周波成分が除去された前記Ｇ画像信号におけるＧ画素の画素値を、画素補間手段により生成された補間画像信号に加算する加算手段と、
   前記画素値決定手段は、
   前記相関性算出手段により算出された各相関性のうち相関性が強い方向において前記補間対象画素と隣接する画素の画素値の平均値と、水平方向および垂直方向において前記補間対象画素に隣接する画素の平均値とを、所定の比率に従い加算した画素値を、前記Ｇ画素の画素値として決定する、
   ことを特徴とする画素補間回路。
2. 前記補間対象画素の周辺領域において、水平方向に隣接する画素の画素値を用いた演算を行い、第１の基準画像を生成する第１の基準画像生成手段と、
   前記補間対象画素の周辺領城において、垂直方向に隣接する画素の画素値を用いた演算を行い、第２の基準画像を生成する第２の基準画像生成手段と、を更に備え、
   前記相関性算出手段は、
   前記第１の基準画像生成手段により生成された第１の基準画像に基づき、水平方向の相関性を算出し、
   前記第２の基準画像生成手段により生成された第２の基準画像に基づき、垂直方向の相関性を算出する、
   ことを特徴とする請求項１記載の画素補間回路。
3. 前記第１の基準画像生成手段は、
   前記補間対象画素の周辺領域における第１の画素の画素値と、水平方向において当該第１の画素と隣接する第２の画素と第３の画素のそれぞれの画素値の平均値と、の差分値を取得する水平差分演算手段を備え、
   前記水平差分演算手段により得られた各差分値に基づき、前記第１の基準画像を生成し、
   前記第２の基準画像生成手段は、
   前記補間対象画素の周辺領域における第１の画素の画素値と、垂直方向において当該第１の画素と隣接する第４の画素と第５の画素のそれぞれの画素値の平均値と、の差分値を取得する垂直差分演算手段を備え、
   前記垂直差分演算手段により得られた各差分値に基づき、前記第２の基準画像を生成する、
   ことを特徴とする請求項２記載の画素補間回路。
4. 前記第１の基準画像生成手段は、
   Ｒ画素の画素値と、水平方向において当該Ｒ画素に隣接するＧ画素の画素値の平均値との差分値を取得する第１の水平差分演算手段と、
   Ｂ画素の画素値と、水平方向において当該Ｂ画素に隣接するＧ画素の画素値の平均値との差分値を取得する第２の水平差分演算手段と、
   水平方向においてＧ画素に隣接するＲ画素の画素値の平均値と、当該Ｇ画素の画素値との差分値を取得する第３の水平差分演算手段と、
   水平方向においてＧ画素に隣接するＢ画素の画素値の平均値と、当該Ｇ画素の画素値との差分値を取得する第４の水平差分演算手段と、を備え、
   前記第１から第４の水平差分演算手段により得られた各差分値に基づき、前記第１の基準画像を生成し、
   前記第２の基準画像生成手段は、
   Ｒ画素の画素値と、垂直方向において当該Ｒ画素に隣接するＧ画素の画素値の平均値との差分値を取得する第１の垂直差分演算手段と、
   Ｂ画素の画素値と、垂直方向において当該Ｂ画素に隣接するＧ画素の画素値の平均値との差分値を取得する第２の垂直差分演算手段と、
   垂直方向においてＧ画素に隣接するＲ画素の画素値の平均値と、当該Ｇ画素の画素値との差分値を取得する第３の垂直差分演算手段と、
   垂直方向においてＧ画素に隣接するＢ画素の画素値の平均値と、当該Ｇ画素の画素値との差分値を取得する第４の垂直差分演算手段と、を備え、
   前記第１から第４の垂直差分演算手段により得られた各差分値に基づき、前記第２の基準画像を生成する、
   ことを特徴とする請求項３記載の画素補間回路。
5. 前記相関性算出手段は、
   前記第１から第４の水平差分演算手段により得られた各差分値の絶対値のそれぞれに所定の係数を乗じた値の総和である第１の相関値を算出する第１の算出手段と、
   前記第１から第４の垂直差分演算手段により得られた各差分値の絶対値のそれぞれに所定の係数を乗じた値の総和である第２の相関値を算出する第２の算出手段と、を備え、
   前記第１の算出手段により算出された第１の相関値に基づき、水平方向の相関性を算出し、
   前記第２の算出手段により算出された第２の相関値に基づき、垂直方向の相関性を算出する、
   ことを特徴とする請求項４記載の画素補間回路。
6. 前記画素値決定手段は、
   前記相関性算出手段により算出された各相関性のうち相関性が強い方向において、前記補間対象画素と隣接する画素の画素値の平均値を、前記第２のＧ補間画素値として決定する、
   ことを特徴とする請求項１から５いずれか１項に記載の画素補間回路。
7. 前記所定の比率とは、前記第１の算出手段により算出された第１の相関値と、前記第２の算出手段により算出された第２の相関値とに基づく比率である、
   ことを特徴とする請求項５記載の画素補間回路。
8. コンピュータを、
   ベイヤデータにおいてＧ画素の画素値が存在しない画素である補間対象画素の周辺領域におけるＧ画素の画素値のみを用いて、前記補間対象画素に補間するＧ画素の画素値を決定し、決定したＧ画素の画素値を前記補間対象画素に補間することにより補間画像信号を生成する画素補間手段、
   前記ベイヤデータにおいて、Ｒ画素、Ｇ画素、Ｂ画素のうちの注目画素となる画素の画素値と、前記注目画素の周辺領域の周辺画素の画素値であって前記注目画素の色成分と異なる色成分の周辺画素の画素値との間で演算を実行することにより、前記補間対象画素の周辺領域における水平方向の相関性と垂直方向の相関性とを算出する相関性算出手段、
   前記相関性算出手段により算出された各相関性のうち相関性が強い方向において、前記補間対象画素と隣接する画素の画素値に基づき、前記補間対象画素に補間するＧ画素の画素値を決定する画素値決定手段、
   前記画素値決定手段により決定されたＧ画素の画素値でなるＧ画素のみから構成されるＧ画像信号を取得するＧ画像信号取得手段、
   前記Ｇ画像信号取得手段により取得された前記Ｇ画像信号の低周波成分を除去するハイパスフィルタ手段、
   前記ハイパスフィルタ手段により低周波成分が除去された前記Ｇ画像信号におけるＧ画素の画素値を、画素補間手段により生成された補間画像信号に加算する加算手段、
   として機能させるプログラムであって、
   前記画素値決定手段は、
   前記相関性算出手段により算出された各相関性のうち相関性が強い方向において前記補間対象画素と隣接する画素の画素値の平均値と、水平方向および垂直方向において前記補間対象画素に隣接する画素の平均値とを、所定の比率に従い加算した画素値を、前記Ｇ画素の画素値として決定する、
   プログラム。
   

Images