JP5040519B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特にデモザイク処理を行う画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

デジタルスチルカメラの撮像素子では、２次元に配列された各画素の受光面に色フィルタが配置され、この色フィルタのコーディング仕様として様々なものが提案されている。代表的なものとして赤（Ｒ）、緑（Ｇ）、青（Ｂ）といった原色フィルタを３枚の撮像素子の同空間位相に配置することで高解像度なＲＧＢ信号を得ることができ、高画質を実現可能な３ＣＣＤカメラと呼ばれるものがある。しかし、この３ＣＣＤカメラは３つの撮像素子を用い、入射光をＲＧＢの色ごとに光を分けるプリズムを用いる必要があるため、小型化および低コスト化には向いていない。

一方、１つの撮像素子にＲＧＢの色フィルタをうまく配列することにより、小型でコストの低いデジタルスチルカメラを実現するものもある。１つの撮像素子に複数の色フィルタを配置し、３ＣＣＤに近い性能を実現するものである。例えばベイヤー配列といったものでは奇数行目にＲ画素およびＧ画素を交互に配列し、偶数行目にＧ画素およびＢ画素を交互に配列している。この配列ではＲ画素およびＢ画素に対してＧ画素を多く配列しているため、Ｒ画素およびＧ画素の解像度よりもＧ画素の解像度が高いという特性を有している。Ｇ画素は輝度信号を生成する際に主成分となる色成分であり、人間は輝度に対しての解像度が高く、色に対する解像度が低いことをうまく利用した配列といえる。

ベイヤー配列において空間的に位相およびサンプリングレートが異なるＲＧＢ信号から輝度信号Ｙや色差信号ＣｒおよびＣｂを単純に生成することは偽信号を作る原因となるため、同じ空間位相のＲＧＢ信号を生成した上で輝度信号Ｙ、色差信号ＣｒおよびＣｂを生成する必要がある。このように、空間的に位相およびサンプリングレートが異なるＲＧＢ信号を、３ＣＣＤ（以後、３板と呼ぶ）のように同空間位相ＲＧＢ信号が存在するかのように補間する処理をデモザイク処理と呼ぶ。このデモザイク処理の際には、解像度や色偽に注意する必要がある。

従来のデモザイク処理では、補間対象画素の周囲画素から相関方向を判定し、その相関方向に基づいて補間処理が行われている。例えば、ベイヤー配列において水平方向および垂直方向に相関方向を判定して、その相関方向に基づいて補間処理を行う技術が提案されている（例えば、特許文献１参照。）。また、ベイヤー配列または斜め画素配列において水平方向、垂直方向、水平方向に対して４５度右回転した方向、および、水平方向に対して４５度左回転した方向に相関方向を判定して、その相関方向に基づいて補間処理を行う技術が提案されている（例えば、特許文献２参照。）。
特開平１１−２２０７４２号公報（図２） 特開２００７−０３７１０４号公報（図１６）

ここで、ベイヤー配列と３板の解像度を比較した場合、斜め方向の解像度だけでなく、水平方向および垂直方向のナイキスト周波数付近の解像度が異なる。斜め方向の解像度は、Ｇ画素の画素数の違いから理論限界値が異なるため原理的な差が生じる。一方、水平方向および垂直方向のナイキスト周波数付近に関しては、正しい画素を用いて補間すれば解像度を損なうことがないはずであるが、何れの画素が正しい画素であるかを判断できないおそれがある。ここで、ナイキスト周波数とは、表現可能な限界周波数を意味し、具体的には、画素のサンプリング周波数をｆｓとしたときのその半分の周波数（（１／２）・ｆｓ）となる。

上述の問題は、ベイヤー配列以外の色フィルタ配列でも同様であり、例えばいわゆる斜め画素配列においても、水平方向および垂直方向で「（１／４）・ｆｓ」の周波数の信号に関して、ベイヤー配列における「（１／２）・ｆｓ」の場合と同様の現象が生じ得る。

本発明はこのような状況に鑑みてなされたものであり、デモザイク処理の際、色フィルタ配列に起因して補間方向が不明になる場合であっても、適切な補間値を生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する周辺領域変化量検出手段と、上記周辺領域のさらに外周領域における画素値の複数の方向に対する変化量を検出する外周領域変化量検出手段と、上記周辺領域における変化量および上記外周領域における変化量を上記複数の方向ごとに合算する変化量合算手段と、上記複数の方向ごとに合算された変化量に基づいて上記周辺領域および上記外周領域を合わせた拡張領域における画素値の上記複数の方向に対する相関度を決定する拡張相関度決定手段と、上記決定された相関度に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間する補間手段とを具備することを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、拡張領域における画素値の複数の方向に対する相関度に従って補間対象画素に隣接する画素値から補間対象画素の画素値を補間させるという作用をもたらす。

また、この第１の側面において、上記周辺領域における画素値の複数の方向に対する変化量に基づいて上記周辺領域における画素値の上記複数の方向に対する相関度を決定する周辺相関度決定手段と、上記周辺領域における上記複数の方向に対する変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には上記拡張領域における相関度を選択し、それ以外の場合には上記周辺領域における相関度を選択する相関度選択手段とをさらに具備し、上記補間手段は、上記選択された相関度に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間してもよい。これにより、周辺領域における変化量が所定の閾値に満たない場合に限り、拡張領域における相関度に従って補間対象画素に隣接する画素値から補間対象画素の画素値を補間させるという作用をもたらす。

また、この第１の側面において、上記補間手段は、上記複数の方向ごとに合算された変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には上記複数の方向に対して均等に上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間してもよい。これにより、拡張領域における変化量が所定の閾値に満たない場合には補間対象画素の画素値を各方向に均等に補間させるという作用をもたらす。

また、本発明の第２の側面は、複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する周辺領域変化量検出手段と、上記周辺領域のさらに外周領域における画素値の複数の方向に対する変化量を検出する外周領域変化量検出手段と、上記周辺領域における変化量および上記外周領域における変化量を上記複数の方向ごとに合算する変化量合算手段と、上記周辺領域における上記複数の方向に対する変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には上記複数の方向ごとに合算された変化量を選択し、それ以外の場合には上記周辺領域における変化量を選択する変化量選択手段と、上記選択された変化量の逆数に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間する補間手段とを具備することを特徴とする画像処理装置である。これにより、周辺領域または拡張領域における画素値の複数の方向に対する変化量の逆数に従って補間対象画素に隣接する画素値から補間対象画素の画素値を補間させるという作用をもたらす。

また、この第２の側面において、上記補間手段は、上記複数の方向ごとに合算された変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には上記複数の方向に対して均等に上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間してもよい。これにより、拡張領域における変化量が所定の閾値に満たない場合には補間対象画素の画素値を各方向に均等に補間させるという作用をもたらす。

本発明によれば、デモザイク処理の際、色フィルタ配列に起因して補間方向が不明になる場合であっても、適切な補間値を生成することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置の一例である撮像装置の構成例を示す図である。この撮像装置は、レンズ１１０と、撮像素子１２０と、Ａ／Ｄ（アナログ／デジタル）変換器１３０と、カメラ信号処理部１４０とを備えている。

レンズ１１０は、被写体からの光を撮像素子１２０に合焦させるものである。撮像素子１２０は、レンズ１１０から受光した光を電気信号に変換する光電変換回路である。この撮像素子１２０には、各画素の受光素子毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられ、各色成分の光のみが色フィルタを通過して受光素子に入射するようになっている。受光素子に入射した光は、フォトダイオードにより光電変換され、アナログ信号として読み出される。撮像素子１２０は、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）に代表される電荷転送型固体撮像素子や、ＭＯＳ（Metal Oxide Semiconductor：金属酸化型半導体）に代表されるＸ−Ｙアドレス型固体撮像素子などにより実現される。Ａ／Ｄ変換器１３０は、撮像素子１２０によって光電変換された電気信号をアナログ信号からデジタル信号に変換するものである。このデジタル信号は、カメラ信号処理部１４０に入力される。

カメラ信号処理部１４０は、光学系補正回路１４１と、ＷＢ（ホワイトバランス）回路１４２と、補間処理回路２００と、ガンマ補正回路１４４と、Ｙ信号処理回路１４５と、Ｃ信号処理回路１４６と、ＬＰＦ（ローパスフィルタ）１４７と、間引き処理回路１４８とを備える。

光学系補正回路１４１は、カメラ信号処理部１４０に入力されるデジタル信号（画像信号）に対して黒レベルを合わせるデジタルクランプ、撮像素子１２０の欠陥を補正する欠陥補正、レンズ１１０の周辺光量落ちを補正するシェーディング補正など、撮像素子１２０や光学系の補正を行うものである。

ホワイトバランス回路１４２は、光学系補正回路１４１を経た画像信号に対して、白い被写体に対してＲＧＢの各色が同じレベルになるようにホワイトバランス処理を行うものである。

補間処理回路２００は、それぞれ空間的に位相がずれたＲＧＢ信号から３枚のプレーン（同じ空間位置のＲＧＢ信号）を生成する補間処理を行うものである。この補間処理は、デモザイク処理とも呼ばれる。この補間処理回路２００における補間処理は、本発明の特徴部分であり、その詳細については後述する。

ガンマ補正回路１４４は、同じ空間位置のＲＧＢ信号に対してガンマ補正を施すものである。このガンマ補正は、被写体の色の階調を正しく表現するために、撮像素子１２０および後段の映像再生を行うシステム全体の光電変換特性を１とするように、ホワイトバランス回路１４２から出力されるＲＧＢの各色信号に対してそれぞれ所定のゲインを掛ける処理である。このガンマ補正の施された画像信号は、Ｙ信号処理回路１４５およびＣ信号処理回路１４６に供給される。

Ｙ信号処理回路１４５は、ＲＧＢ信号から輝度信号（Ｙ）を生成するものである。Ｃ信号処理回路１４６は、ＲＧＢ信号から色差信号（ＣｒおよびＣｂ）を生成するものである。Ｙ信号処理回路１４５およびＣ信号処理回路１４６は、例えばＳＤ（Standard Definition）の場合、次式より輝度信号（Ｙ）色差信号（ＣｒおよびＣｂ）を生成する。但し、この式の係数はおおまかな数値を示すものであり、厳密なものではない。
Ｙ ＝ ０．３Ｒ＋０．６Ｇ＋０．１Ｂ
Ｃｒ＝Ｒ−Ｙ＝ ０．７Ｒ−０．６Ｇ−０．１Ｂ
Ｃｂ＝Ｂ−Ｙ＝−０．３Ｒ−０．６Ｇ＋０．９Ｂ

ローパスフィルタ１４７は、Ｃ信号処理回路１４６によって生成された色差信号について、その通過帯域を制限するフィルタである。このローパスフィルタ１４７は、例えば色差信号（ＣｒおよびＣｂ）の通過帯域をサンプリング周波数ｆｓの１／４まで落として、Ｙ：Ｃｒ：Ｃｂ＝４：２：２とする。間引き処理回路１４８は、色差信号（ＣｒおよびＣｂ）のサンプリングの間引きを行うものである。

ここで、本発明の特徴部分である補間処理回路２００におけるデモザイク処理について説明する。

図２は、ベイヤー配列による各色の配列例を示す図である。ベイヤー配列では、Ｒ画素およびＧ画素が交互に配列された行と、Ｇ画素およびＢ画素が交互に配列された行とが交互に繰り返されている。Ｇ画素に着目すると、Ｇ画素は市松状に配置されており、Ｇ画素が存在しない空間位置にＲ画素またはＢ画素が配置されていることになる。これらの画素のサンプリング周波数をｆｓとすると画素ピッチは「１／ｆｓ」となる。

本発明の実施の形態では、デモザイク処理として、Ｇ画素が存在しない位置のＧ画素成分（以下、「補間対象画素」ともいう。）を他のＧ画素成分から補間することを想定する。これは、高解像度を実現するためには輝度成分が重要であり、Ｇ画素は輝度信号を生成する際に主成分となる色成分だからである。もっとも、同様の方法をＲ画素またはＢ画素にも適用可能である。また、輝度信号を生成する際に主成分となる他の色成分として、他にも、Ｃｙ（シアン）やＹｅ（イエロー）などを利用することができる。

デモザイク処理では、撮像素子が有しているＲＧＢそれぞれの画素が表現可能な限界解像度までの信号を再現することになる。図３に示すように３板の場合には、ＲＧＢそれぞれの画素について解像度の理論限界値は「（１／２）・ｆｓ」となっている。一方、ベイヤー配列の場合、Ｇ画素の解像度の理論限界値は水平方向および垂直方向に「（１／２）・ｆｓ」であるが、斜め方向には解像度が低下してしまう。また、ベイヤー配列の場合、Ｒ画素およびＢ画素については、画素ピッチが２倍になるため、解像度の理論限界値は「（１／４）・ｆｓ」となる。したがって、このようにＧ画素とＲ画素およびＢ画素とのサンプリングレートが異なるため、補間処理が不適切な場合には偽信号を発生してしまい、解像度の低下や色偽の原因となってしまう。

例えば、図４に示すような解像度チャートからなる入力画像（ＣＰＺ：Circular Zone Plate）を例にとって、画素の補間処理について考える。解像度チャートは、中心部分が低周波の信号であり、中心からの距離が大きくなるにつれて高周波の信号となるチャートである。解像度チャートは、同じ周波数の信号でも様々な方向を持っており、解像度チャートの信号を信号処理回路に入力することで、様々な信号に対してどのような処理が適するかを分析することができる。同図において、縦軸上のＡ点のように横線の被写体のときは、縦方向には画像信号にうねりが観察される一方、横方向の画像信号の相関は高いことから、横方向の画素を用いて補間する。また、横軸上のＣ点のように縦線の被写体のときは、横方向にはうねりが観察される一方、縦方向の画像信号の相関が高いことから、縦方向の画素を用いて補間する。このように相関が高い方向の周囲画像を用いて補間処理を行うことができれば、より高い解像度を実現することができる。

しかしながら、以下に述べるように、相関が高い方向をうまく検出できない場合がある。例えば、黒い線と白い線とが水平方向または垂直方向にナイキスト周波数（（１／２）・ｆｓ）で並んでいる場合、実際に何れの方向で並んでいるかを判別することができない。

例えば、黒い線の画素値を「１０」、白い線の画素値を「８０」としたとき、図５（ａ）のように縦線を並べた場合、および、図５（ｂ）のように横線を並べた場合では、Ｇ画素だけで見ると全く同一の信号になってしまう。この場合、相関する方向が不明であるとして、図５（ｃ）のように周囲４画素の平均値によって補間してしまうと、本来の信号を再現することができない。すなわち、正しい補間値を作るための画素は周囲に存在しているにも関わらず、相関する方向が検出できずに補間ミスを生じてしまう。

この点、完全ナイキスト信号に対しては、レンズＭＴＦの劣化や光学ＬＰＦにより撮像素子に入力される光の信号レベルがＤＣ（直流成分）に近づいているため、相関ミスはそれほど目立たない。実際に問題になるのは、ナイキスト周波数よりも少し低い周波数付近（図３の点線部分参照）において相関ミスを生じ得ることである。水平方向または垂直方向のナイキスト周波数で相関検出ができないということは、傾向的にナイキスト周波数に近づくほど相関方向が不明となり、補間ミスを起こし易くなっていくことを意味する。入力画像が人工データの場合にはノイズがないため、相関検出が分からなくなる寸前まで敏感に相関検出を行えるため大きな問題にはならないが、実際にはノイズが存在するため相関検出を敏感にすると、ノイズの影響で補間方向が不安定となり不自然な画像になってしまう。そこで補間を安定化するために相関検出をある程度鈍感にする必要があるが、相関検出を鈍感にすればするほどナイキスト周波数付近の信号の解像度がなくなるという問題があった。

一方、ナイキスト周波数付近の信号に対して相関する方向を検出する際に、Ｒ画素およびＢ画素を見たとしても、補間ミスは生じ得る。例えば、図６（ａ）のように、Ｒ画素およびＢ画素の画素値が「１０」、Ｇ画素の画素値が「１０」から「８０」の振幅となる、緑色の縦線が並んでいる場合、Ｒ画素およびＢ画素を用いてＧ画素の補間対象画素を生成しようとすると、Ｇ画素の補間方向が水平方向になる。その結果、図６（ｂ）のように、本来の縦線が格子模様になってしまう。このように、輝度信号生成に大きな寄与率をもつＧ画素を補間する際に、違う色の画素を使う場合は、有彩色の被写体に対して大きな副作用を伴う可能性がありリスクが高い。

上述のように、ベイヤー配列ではナイキスト周波数付近で相関検出の精度が落ち、補間方向が分からなくなるという色フィルタ配列の原理的な問題があるが、ここではまず、補間ミスが生じたとき違和感のある被写体とはどのようなものかを考える。

例えば、画像全体が５×５の２５画素で構成されていて、そのときのＧ画素のみを観察したとすると、図７（ａ）の左側の場合には、人間にとってそのデータを見ても真の画像は何か分からない。このような場合、格子状、水平の線、垂直の線のうち、どの被写体であってもおかしくなく、図７（ｂ）の左側のように様々な補間が想定可能である。

一方、図７（ｂ）の左側のように、画像全体が５×５の２５画素で構成されていても周囲のＧがすべて揃っている場合の補間は、格子状、水平の線、垂直の線、いかなる場合も想定できるわけではなく、図７（ｂ）の右側のように水平の線の確率が非常に高いことが想定され、この時に縦方向から補間したＧを採用した場合には不自然な画像になる。

このように、補間により違和感を生じる場合というのは、周囲が水平方向の線であるのに、注目画素だけ縦線になっているというように、周囲の画像との比較によって決まるものであることが分かる。

そこで、本発明の実施の形態では、ナイキスト周波数付近のように相関検出の精度が劣化して補間方向が明確に分からない場合には、周囲の補間方向の向きに合わせるように補間を行うことで、比較的解像度のある自然な補間を行う。

図８は、本発明の実施の形態における補間処理回路２００の第１の構成例を示す図である。この補間処理回路２００は、周辺領域垂直方向変化量検出部２１１と、周辺領域水平方向変化量検出部２１２と、外周領域垂直方向変化量検出部２２１と、外周領域水平方向変化量検出部２２２と、加算器２３１および２３２と、周辺領域相関度決定部２４０と、拡張領域相関度決定部２５０と、拡張判定部２６０と、相関度選択部２７０と、補間生成部２９０とを備えている。

周辺領域垂直方向変化量検出部２１１および周辺領域水平方向変化量検出部２１２は、補間対象画素の周辺領域における画素値の各方向の変化量を検出するものである。例えば、図９において、７×７の４９画素の中心が補間対象画素Ｘであり、周辺領域は、Ｇ１乃至１２の１２画素分のＧ画素からなる領域である。この周辺領域において、周辺領域垂直方向変化量検出部２１１は垂直方向の変化量を検出し、周辺領域水平方向変化量検出部２１２は水平方向の変化量を検出する。

ここで、周辺領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｘおよび周辺領域水平方向変化量ＢＰＦ＿Ｈ＿Ｘは、以下の式により算出される。
BPF_V_X＝|−(G1+G2)＋2(G6+G7)−(G11+G12)|
BPF_H_X＝|−(G3+G8)＋2(G4+G9)−(G5+G10)|
この変化量が大きい場合にはその方向に振幅の大きい信号が存在し、相関が低いことが分かる。一方、変化量が小さい場合にはその方向で信号の変動が小さく、相関が高いことが分かる。この変化量は、図１０のような周波数特性（−１，０，２，０，−１）を有するバンドパスフィルタをかけることと等価である。このバンドパスフィルタの特性は、「（１／４）・ｆｓ」にピークを有し、「（１／２）・ｆｓ」の限界解像度ぎりぎりまでの信号に対して値を出力するようになっている。

外周領域垂直方向変化量検出部２２１および外周領域水平方向変化量検出部２２２は、補間対象画素の周辺領域の外周領域における画素値の各方向の変化量を検出するものである。例えば、図９において、外周領域は、Ｇ２０乃至３１の１２画素分のＧ画素からなる領域である。この外周領域において、外周領域垂直方向変化量検出部２２１は垂直方向の変化量を検出し、外周領域水平方向変化量検出部２２２は水平方向の変化量を検出する。

ここで、外周領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｙおよび外周領域水平方向変化量ＢＰＦ＿Ｈ＿Ｙは、それぞれ図１５における点ａ、ｂ、ｃ、ｄを中心とする変化量の総和として以下の式により算出される。
BPF_V_Y＝|−(G20+G21)＋2(G3+G4)−(G8+G9)|
＋|−(G21+G22)＋2(G4+G5)−(G9+G10)|
＋|−(G3+G4)＋2(G8+G9)−(G29+G30)|
＋|−(G4+G5)＋2(G9+G10)−(G30+G31)|
BPF_H_Y＝|−(G23+G25)＋2(G1+G6)−(G2+G7)|
＋|−(G1+G6)＋2(G2+G7)−(G24+G26)|
＋|−(G25+G27)＋2(G6+G11)−(G7+G12)|
＋|−(G6+G11)＋2(G7+G12)−(G26+G28)|

加算器２３１および２３２は、周辺領域および外周領域を合わせた拡張領域における変化量を出力するものである。すなわち、加算器２３１は、周辺領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｘと外周領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｙとを加算して、拡張領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｚを出力する。また、加算器２３２は、周辺領域水平方向変化量ＢＰＦ＿Ｈ＿Ｘと外周領域水平方向変化量ＢＰＦ＿Ｈ＿Ｙとを加算して、拡張領域水平方向変化量ＢＰＦ＿Ｈ＿Ｚを出力する。
BPF_V_Z＝BPF_V_X＋BPF_V_Y
BPF_H_Z＝BPF_H_X＋BPF_H_Y

周辺領域相関度決定部２４０は、補間対象画素の周辺領域における画素値の水平方向および垂直方向に対する相関度を決定するものである。この周辺領域相関度決定部２４０は、次式により周辺領域における垂直方向の相関度Ｓ＿Ｖ＿Ｘおよび水平方向の相関度Ｓ＿Ｈ＿Ｘを算出する。この相関度が大きい場合には相関が高く、相関度が小さい場合には相関が低いことになる。
S_H_X＝BPF_V_X／(BPF_H_X＋BPF_V_X)
S_V_X＝BPF_H_X／(BPF_H_X＋BPF_V_X)＝1.0−S_H_X

例えば、図４のＡ点においてはＳ＿Ｈ＿Ｘ＝１、Ｓ＿Ｖ＿Ｘ＝０となり、水平方向に相関度が高く、垂直方向には相関がない。また、Ｂ点においてはＳ＿Ｈ＿Ｘ＝Ｓ＿Ｖ＿Ｘ＝０．５となり、水平方向および垂直方向の相関が同じ、すなわち水平方向および垂直方向のどちらも同じ画像の変化があることを示している。また、Ｃ点においてはＳ＿Ｈ＿Ｘ＝０、Ｓ＿Ｖ＿Ｘ＝１となり、垂直方向の相関度が高いことを示している。

拡張領域相関度決定部２５０は、拡張領域における画素値の水平方向および垂直方向に対する相関度を決定するものである。この拡張領域相関度決定部２５０は、次式により拡張領域における垂直方向の相関度Ｓ＿Ｖ＿Ｚおよび水平方向の相関度Ｓ＿Ｈ＿Ｚを算出する。
S_H_Z＝BPF_V_Z／(BPF_H_Z＋BPF_V_Z)
S_V_Z＝1.0−S_H_Z

拡張判定部２６０は、拡張領域において相関度を決定すべきか否かを判定するものである。拡張領域において相関度を決定するためには、補間対象画素から離れた画素の画素値を用いることになるため、周辺領域において相関度を決定できる場合にはそのまま周辺領域における相関度を採用した方がよいと考えられる。そのため、拡張判定部２６０は、周辺領域における水平方向および垂直方向の各変化量の値が予め定められた閾値に満たないことを検出して、閾値に満たない場合には拡張領域における画素値の相関度を採用し、閾値を超える場合には周辺領域における画素値の相関度を採用する。

閾値に満たない場合として考えられるのが、水平方向または垂直方向のナイキスト周波数付近、または、直流成分の被写体である。ナイキスト周波数付近の場合は拡張領域を用いることで補間精度が上がり、直流成分の被写体の場合は相関方向が何れであっても影響はない。したがって、水平方向および垂直方向の各変化量の値が予め定められた閾値に満たない場合に拡張領域を用いて相関度の検出を行う、という手法で副作用なく動作させることができる。

相関度選択部２７０は、拡張判定部２６０による判定結果に応じて周辺領域相関度決定部２４０または拡張領域相関度決定部２５０の出力を選択するものである。すなわち、相関度選択部２７０は、周辺領域における水平方向および垂直方向の各変化量の値が予め定められた閾値に満たない場合には拡張領域相関度決定部２５０によって決定された相関度を選択し、閾値を超える場合には周辺領域相関度決定部２４０によって決定された相関度を選択することになる。

補間生成部２９０は、相関度選択部２７０により選択された相関度に従って、補間対象画素に隣接する画素値を補間するものである。例えば、相関度選択部２７０において拡張領域の相関度が選択された場合、図９の補間対象画素Ｘにおける補間値ＧＸは次式のように算出される。
GX＝((G6＋G7)×S_H_Z＋(G4＋G9)×S_V_Z)／2

すなわち、補間値ＧＸは、相関度が高い方向に対して大きい重みをかけて補間される。例えば、図４のＡ点では、ＧＸ＝（Ｇ６＋Ｇ７）／２となり、水平方向で補間される。Ｂ点では、ＧＸ＝（Ｇ６＋Ｇ７＋Ｇ４＋Ｇ９）／４となり、水平方向および垂直方向の画素が均等な重みで補間される。Ｃ点では、ＧＸ＝（Ｇ４＋Ｇ９）／２となり、垂直方向で補間される。

図１１は、本発明の実施の形態における補間処理回路２００の第１の構成例による画像処理方法の処理手順を示す図である。

まず、周辺領域垂直方向変化量検出部２１１および周辺領域水平方向変化量検出部２１２では、周辺領域における垂直方向および水平方向の画素値の変化量が算出される（ステップＳ９１１）。拡張判定部２６０における判定の結果、周辺領域における水平方向および垂直方向の各変化量の値が予め定められた閾値を超える場合には周辺領域における画素値の変化量に基づいて補間が行われる（ステップＳ９１３）。すなわち、周辺領域における水平方向変化量が周辺領域における垂直方向変化量より小さければ（ステップＳ９１２）、水平方向に補間が行われる（ステップＳ９２２）。一方、周辺領域における水平方向変化量が周辺領域における垂直方向変化量より小さくなければ（ステップＳ９１２）、垂直方向に補間が行われる（ステップＳ９２１）。

拡張判定部２６０における判定の結果、周辺領域における水平方向および垂直方向の各変化量の値が予め定められた閾値に満たない場合には（ステップＳ９１３）、拡張領域における画素値の変化量に基づいて補間が行われる。そのため、外周領域垂直方向変化量検出部２２１および外周領域水平方向変化量検出部２２２において、外周領域における水平方向および垂直方向の各変化量が算出され、加算器２３１および２３２によって周辺領域の変化量と加算されることにより、拡張領域における画素値の変化量が算出される（ステップＳ９１４）。拡張領域における水平方向変化量が拡張領域における垂直方向変化量より小さければ（ステップＳ９１６）、水平方向に補間が行われる（ステップＳ９２４）。一方、拡張領域における水平方向変化量が拡張領域における垂直方向変化量より小さくなければ（ステップＳ９１６）、垂直方向に補間が行われる（ステップＳ９２３）。

なお、同図の処理手順では、各方向に対する変化量の大小により補間方向を決定する例を示したが、上述のように、変化量から相関度を求めて、相関度に応じて補間値を生成してもよい。

ここまでは、本発明の実施の形態におけるデモザイク処理のベイヤー配列への適用例について説明したが、本発明は他の色フィルタ配列にも適用可能である。以下では、いわゆる斜め配列への適用例について説明する。

図１２は、本発明の実施の形態のデモザイク処理の対象となる他の色フィルタ配列の一例を示す図である。この配列は、水平および垂直方向の各画素ピッチを√２ｄとし、各画素が１行毎および１列毎に画素ピッチ√２ｄの１／２ずつずれた、いわゆる斜め画素配列であり、ＧとＲが交互に配列されたＲＧラインと、Ｇのみが配列されたＧラインと、ＢとＧが交互に配列されたＧＢラインと、Ｇのみが配列されたＧラインの４行を単位として繰り返し配列されている。

この斜め画素配列では、Ｇ画素だけで観察した際に、水平方向および垂直方向に「（１／４）・ｆｓ」の場合と、「（１／２）・ｆｓ」の場合とで同様の問題が起こることが分かっている。水平方向および垂直方向に「（１／２）・ｆｓ」の場合はベイヤー配列と全く同じことが起こるが、水平方向および垂直方向に「（１／４）・ｆｓ」の場合に相関検出が不明確になるのは、この配列特有のものである。

このように、色フィルタ配列が異なると、補間の相関が分からない周波数も異なる場合がある。しかし、そのような場合であっても、相関検出する領域を周辺領域から拡張領域に広げることにより、補間精度を向上させることができる。

例えば、図１３のように、「（１／４）・ｆｓ」の縦線の被写体を撮影した際に、元々存在するＧ画素だけを観察しても、縦方向または横方向のどちらの線であるかを判別することはできない。このとき、周辺領域において相関検出を行うと、以下のようになる。
垂直方向変化量＝０
水平方向変化量＝０
右斜方向変化量＝４００
左斜方向変化量＝４００
この値は、相関がある被写体においては不自然な値である。

ここで、図４のような様々な角度を持った解像度チャートで見ると、Ａ点における変化量は以下のようになる。
垂直方向変化量＝大
水平方向変化量＝０
右斜方向変化量＝中
左斜方向変化量＝中

同様に、Ｃ点では以下のようになる。
垂直方向変化量＝０
水平方向変化量＝大
右斜方向変化量＝中
左斜方向変化量＝中

同様に、Ｄ点では以下のようになる。
垂直方向変化量＝小
水平方向変化量＝大
右斜方向変化量＝大
左斜方向変化量＝中

すなわち、「（１／４）・ｆｓ」以外では、水平方向および垂直方向の変化量と、斜め方向の変化量は連続して変化していることがわかる。

これに対し、水平方向および垂直方向に「（１／４）・ｆｓ」の場合には水平方向および垂直方向の変化量が「０」であるのに、斜め方向の変化量が大きな値であり不連続な相関を示していることが分かる。このように斜め画素配列の場合、Ｇ画素の相関が分からなくなる水平方向および垂直方向に「（１／４）・ｆｓ」であるか否かの判断は、４方向の変化量を見ることで検出可能であると考えられる。

図１４は、本発明の実施の形態における補間処理回路２００の第２の構成例を示す図である。この補間処理回路２００の第２の構成例は、第１の構成例に加えて、周辺領域右斜方向変化量検出部２１３と、周辺領域左斜方向変化量検出部２１４と、補償処理部２８０とをさらに備えている。

周辺領域垂直方向変化量検出部２１１、周辺領域水平方向変化量検出部２１２、周辺領域右斜方向変化量検出部２１３および周辺領域左斜方向変化量検出部２１４は、補間対象画素の周辺領域における画素値の各方向の変化量を検出するものである。例えば、図１５において、中心が補間対象画素Ｘであり、周辺領域は、Ｇ１乃至１６の１６画素分のＧ画素からなる領域である。この周辺領域において、周辺領域垂直方向変化量検出部２１１は垂直方向の変化量を検出し、周辺領域水平方向変化量検出部２１２は水平方向の変化量を検出し、周辺領域右斜方向変化量検出部２１３右斜方向（右肩上がりに４５度傾斜した方向）の変化量を検出し、周辺領域左斜方向変化量検出部２１４は左斜方向（左肩上がりに４５度傾斜した方向）の変化量を検出する。

ここで、周辺領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｘ、周辺領域水平方向変化量ＢＰＦ＿Ｈ＿Ｘ、周辺領域右斜方向変化量ＢＰＦ＿Ｒ＿Ｘおよび周辺領域左斜方向変化量ＢＰＦ＿Ｌ＿Ｘは、以下の式により算出される。
BPF_V_X＝|−G1＋2×G5−G11|＋|−G5＋2×G11−G15|
＋|−G2＋2×G6−G12|＋|−G6＋2×G12−G16|
BPF_H_X＝|−G4＋2×G5−G6|＋|−G5＋2×G6−G7|
＋|−G10＋2×G11−G12|＋|−G11＋2×G12−G13|
BPF_R_X＝|−G2＋2×G3−G5|＋|−G5＋2×G8−G10|
＋|−G7＋2×G9−G12|＋|−G12＋2×G14−G15|
BPF_L_X＝|−G1＋2×G3−G6|＋|−G6＋2×G9−G13|
＋|−G4＋2×G8−G11|＋|−G11＋2×G14−G16|

外周領域垂直方向変化量検出部２２１および外周領域水平方向変化量検出部２２２は、補間対象画素の周辺領域の外周領域における画素値の各方向の変化量を検出するものである。例えば、図１５において、外周領域は、Ｇ２０乃至４７の２８画素分のＧ画素からなる領域である。この外周領域において、外周領域垂直方向変化量検出部２２１は垂直方向の変化量を検出し、外周領域水平方向変化量検出部２２２は水平方向の変化量を検出する。

ここで、外周領域垂直方向変化量ＢＰＦ＿Ｖ＿Ｙおよび外周領域水平方向変化量ＢＰＦ＿Ｈ＿Ｙは、それぞれ図１５における点ａ、ｂ、ｃ、ｄを中心とする変化量の総和として以下の式により算出される。
BPF_V_Y＝|−G20＋2×G23−G1|＋|−G23＋2×G1−G5|
＋|−G21＋2×G24−G2|＋|−G24＋2×G2−G6|
＋|−G26＋2×G31−G35|＋|−G31＋2×G35−G38|
＋|−G27＋2×G4−G10|＋|−G4＋2×G10−G39|
＋|−G28＋2×G7−G13|＋|−G7＋2×G13−G40|
＋|−G29＋2×G32−G36|＋|−G32＋2×G36−G41|
＋|−G11＋2×G15−G43|＋|−G15＋2×G43−G46|
＋|−G12＋2×G16−G44|＋|−G16＋2×G44−G47|
BPF_H_Y＝|−G22＋2×G23−G24|＋|−G23＋2×G24−G25|
＋|−G27＋2×G1−G2|＋|−G1＋2×G2−G28|
＋|−G30＋2×G31−G4|＋|−G31＋2×G4−G5|
＋|−G34＋2×G35−G10|＋|−G35＋2×G10−G11|
＋|−G6＋2×G7−G32|＋|−G7＋2×G32−G33|
＋|−G12＋2×G13−G36|＋|−G13＋2×G36−G37|
＋|−G39＋2×G15−G16|＋|−G15＋2×G16−G40|
＋|−G42＋2×G43−G44|＋|−G43＋2×G44−G45|

加算器２３１および２３２は、第１の構成例と同様に、周辺領域および外周領域を合わせた拡張領域における変化量を出力するものである。

周辺領域相関度決定部２４０は、補間対象画素の周辺領域における画素値の水平方向、垂直方向、右斜方向および左斜方向に対する相関度を決定するものである。この場合、周辺領域相関度決定部２４０は、水平方向、垂直方向、右斜方向および左斜方向のうち、変化量の最も少ない方向を相関度の高い方向として出力することができる。

拡張判定部２６０は、拡張領域において相関度を決定すべきか否かを判定するものである。この第２の構成例では、拡張判定部２６０は、水平方向および垂直方向に「（１／４）・ｆｓ」となる場合に、拡張領域における画素値の相関度を採用する。そのために、以下の２つの条件を満たすか否かが判定される。
条件（１）：４方向変化量においてソートして、最も小さい値および２番目に小さい値の方向が水平方向および垂直方向であること。但し、順番は何れでもよい。
条件（２）：水平方向および垂直方向の変化量の差分が所定の閾値以下であること。

条件（１）および（２）の両者を満たす場合には拡張領域における画素値の相関度を採用し、少なくとも何れか一方を満たさない場合には周辺領域における画素値の相関度を採用する。また、条件（１）のみを満たし、条件（２）を満たさない場合には、直流成分からなる画像であると考えられるため、隣接する画素値から均等に補間する。

相関のある被写体では上述の条件（１）および（２）を満たすことはない。また、直流成分の画像にノイズが入った場合には条件（１）および（２）を満たす可能性があるが、そのような画像においてＧ画素の補間方向は重要ではないため、特に問題にはならない。

拡張領域相関度決定部２５０は、第１の構成例と同様に、拡張領域における画素値の水平方向および垂直方向に対する相関度を決定するものである。第２の構成例による周辺領域相関度決定部２４０では、水平方向および垂直方向のみならず、右斜方向および左斜方向に対する相関度を判定しているが、条件（１）を満たす場合には、斜め方向は変化量が大きいため、斜め補間は想定されない。したがって、この場合、拡張領域相関度決定部２５０は、水平方向および垂直方向のうち、変化量の少ない方向を相関度の高い方向として出力する。

相関度選択部２７０は、拡張判定部２６０による判定結果に応じて周辺領域相関度決定部２４０または拡張領域相関度決定部２５０の出力を選択するものである。すなわち、相関度選択部２７０は、上述の条件（１）および（２）の両者を満たす場合には拡張領域相関度決定部２５０によって決定された相関度を選択し、少なくとも何れか一方を満たさない場合には周辺領域相関度決定部２４０によって決定された相関度を選択することになる。

補償処理部２８０は、拡張領域で相関度を検出する場合の補償処理を行うものである。上述の条件（１）および（２）を満たす場合でも、人工データのように「（１／４）・ｆｓ」の信号が永遠と羅列されている信号では、補間方向が一定せず不安定になるおそれがある。そこで、補償処理部２８０は、次式が成立する場合には何れの方向にも相関がないと判断して、補間生成部２９０に指示する。
｜拡張領域の水平方向変化量−拡張領域の垂直方向変化量｜＜閾値

補間生成部２９０は、相関度選択部２７０により選択された相関度に従って、補間対象画素に隣接する画素値を補間するものである。例えば、相関度選択部２７０において周辺領域の相関度が選択された場合、図１５の補間対象画素Ｘにおける補間値ＧＸは、周辺領域の水平方向変化量が最小であればＧＸ＝（Ｇ８＋Ｇ９）／２、周辺領域の右斜方向変化量が最小であればＧＸ＝（Ｇ６＋Ｇ１１）／２のように算出される。

また、拡張判定部２６０において、直流成分であると判定された場合には、補間生成部２９０は隣接する画素値から均等に補間値を生成する。また、補償処理部２８０において、何れの方向にも相関がないと判断された場合も同様であり、補間生成部２９０は隣接する画素値から均等に補間値を生成する。この場合、例えば、図１５の補間対象画素Ｘにおける補間値ＧＸは、ＧＸ＝（Ｇ５＋Ｇ６＋Ｇ１１＋Ｇ１２）／４のように算出される。

なお、拡張領域で相関度を検出しても補間方向が一定しないとの判断が補償処理部２８０においてされた場合、所定の係数αによって均等な補間値と拡張領域で決定された補間値とを混合してもよい。この場合、補間値ＧＸは、以下のように算出される。
ＧＸ＝α×（（Ｇ５＋Ｇ６＋Ｇ１１＋Ｇ１２）／４）
＋（α−１）×（拡張領域で決定された補間値）

図１６は、本発明の実施の形態における補間処理回路２００の第２の構成例による画像処理方法の処理手順を示す図である。

まず、周辺領域垂直方向変化量検出部２１１、周辺領域水平方向変化量検出部２１２、周辺領域右斜方向変化量検出部２１３および周辺領域左斜方向変化量検出部２１４では、周辺領域における垂直方向、水平方向、右斜方向および左斜方向の画素値の変化量が算出される（ステップＳ９３１）。拡張判定部２６０における判定の結果、算出された４方向の変化量のうち、最も小さい値および２番目に小さい値の方向が水平方向および垂直方向でないと判定された場合には（ステップＳ９３２）、補間生成部２９０は周辺領域の変化量が最も小さい方向を補間方向として補間値を生成する（ステップＳ９４１）。

また、拡張判定部２６０における判定の結果、算出された４方向の変化量のうち、最も小さい値および２番目に小さい値の方向が水平方向および垂直方向であると判定され（ステップＳ９３２）、かつ、水平方向および垂直方向の変化量の差分が所定の閾値以上であると判定された場合には（ステップＳ９３３）、直流成分であると考えられるため、補間生成部２９０は隣接する画素値から均等に補間値を生成する（ステップＳ９４２）。

また、拡張判定部２６０における判定の結果、算出された４方向の変化量のうち、最も小さい値および２番目に小さい値の方向が水平方向および垂直方向であると判定され（ステップＳ９３２）、かつ、水平方向および垂直方向の変化量の差分が所定の閾値未満であると判定された場合には（ステップＳ９３３）、水平方向および垂直方向に「（１／４）・ｆｓ」となると考えられるため、拡張領域における画素値の変化量に基づいて補間が行われる。そのため、外周領域垂直方向変化量検出部２２１および外周領域水平方向変化量検出部２２２において、外周領域における水平方向および垂直方向の各変化量が算出され、加算器２３１および２３２によって周辺領域の変化量と加算されることにより、拡張領域における画素値の変化量が算出される（ステップＳ９３４）。

その結果、補償処理部２８０において、拡張領域の水平方向変化量と拡張領域の垂直方向変化量との差分の絶対値が所定の閾値に満たないと判断された場合には（ステップＳ９３５）、何れの方向にも相関がないと考えられるため、補間生成部２９０は隣接する画素値から均等に補間値を生成する（ステップＳ９４２）。

一方、補償処理部２８０において、拡張領域の水平方向変化量と拡張領域の垂直方向変化量との差分の絶対値が所定の閾値以上であると判断された場合には、拡張領域における変化量に応じて補間値が生成される。すなわち、拡張領域における水平方向変化量が拡張領域における垂直方向変化量より小さければ（ステップＳ９３６）、水平方向に補間が行われる（ステップＳ９４４）。一方、拡張領域における水平方向変化量が拡張領域における垂直方向変化量より小さくなければ（ステップＳ９３６）、垂直方向に補間が行われる（ステップＳ９４３）。

図１７は、本発明の実施の形態における効果の一例を示す図である。図１７（ａ）は、上述の斜め画素配列において、周辺領域のみで相関を検出した場合の補間処理後の画像例である。この例では、中央の楕円で囲まれた領域の一部において誤った方向に補間されているのがわかる。

一方、図１７（ｂ）は、上述の斜め画素配列において、拡張領域で相関を検出した場合の補間処理後の画像例である。この例では、図１７（ａ）で誤った方向に補間されていた部分についても、違和感なく補間されていることがわかる。

なお、本発明の実施の形態では、画素値の各方向に対する変化量を比較することにより相関度を求めて、その相関度に従って補間値を生成する例について説明したが、変化量から直接、重み付け補間を行うようにしてもよい。その場合、以下のように、画素値の各方向に対する変化量の逆数を重みとして、加重平均により補間値ＧＸを求めることができる。

ここで、図１５の補間対象画素Ｘを想定すると、各補間値は以下の式により算出することができる。
水平方向補間値＝（Ｇ８＋Ｇ９）／２
垂直方向補間値＝（Ｇ３＋Ｇ１４）／２
右斜方向補間値＝（Ｇ６＋Ｇ１１）／２
左斜方向補間値＝（Ｇ５＋Ｇ１２）／２

図１８は、本発明の実施の形態における補間処理回路２００の変形例を示す図である。この変形例は、上述の重み付け補間を行うためのものであり、図１４の構成例と比較して、周辺領域相関度決定部２４０、拡張領域相関度決定部２５０および相関度選択部２７０に代えて、変化量選択部２７７が設けられている。この変化量選択部２７７は、拡張判定部２６０による判定結果に従って、周辺領域または外周領域の変化量を選択するものである。補間生成部２９０は、この選択された変化量に基づいて、補間対象画素における補間値を生成する。

図１９は、本発明の実施の形態における変化量選択部２７７の一構成例を示す図である。この変化量選択部２７７は、垂直方向変化量選択器２７１と、水平方向変化量選択器２７２と、右斜方向変化量選択器２７３と、左斜方向変化量選択器２７４とを備えている。

垂直方向変化量選択器２７１は、拡張判定部２６０の判定結果に応じて、周辺領域垂直方向変化量検出部２１１からの周辺領域の垂直方向変化量または加算器２３１からの拡張領域の垂直方向変化量の何れか一方を選択するものである。

水平方向変化量選択器２７２は、拡張判定部２６０の判定結果に応じて、周辺領域水平方向変化量検出部２１２からの周辺領域の水平方向変化量または加算器２３２からの拡張領域の水平方向変化量の何れか一方を選択するものである。

右斜方向変化量選択器２７３は、拡張判定部２６０の判定結果に応じて、周辺領域右斜方向変化量検出部２１３からの周辺領域の右斜方向変化量または最大値を示す定数値の何れか一方を選択するものである。

左斜方向変化量選択器２７４は、拡張判定部２６０の判定結果に応じて、周辺領域左斜方向変化量検出部２１４からの周辺領域の左斜方向変化量または最大値を示す定数値の何れか一方を選択するものである。

拡張判定部２６０によって拡張領域における相関度が採用された場合には、右斜方向変化量選択器２７３および左斜方向変化量選択器２７４は、変化量として最大値を出力する。これは、右斜方向および左斜方向に相関がないことを意味するものである。

図２０は、本発明の実施の形態における補間処理回路２００の第２の構成例による画像処理方法の処理手順の変形例を示す図である。

この変形例では、ステップＳ９６１およびＳ９６３における処理が図１６の処理手順と異なっている。図１６のステップＳ９４１では周辺領域における変化量が最小となる方向が選択され、その方向に従って補間が行われたが、この変形例では、周辺領域における変化量の逆数を重みとして加重平均による重み付け補間が行われる（ステップＳ９６１）。また、図１６のステップＳ９３６、Ｓ９４３およびＳ９４４では拡張領域における変化量が最小となる方向が選択され、その方向に従って補間が行われたが、この変形例では、拡張領域における変化量の逆数を重みとして加重平均による重み付け補間が行われる（ステップＳ９６３）。

このように、本発明の実施の形態によれば、デモザイク処理において、補間対象画素の周辺領域のさらに外周領域を含む拡張領域における画素値の各方向に対する変化量を検出することにより、周囲の補間方向に合わせて補間値を生成することができ、補間精度を向上させ、自然な補間を行うことが可能となる。また、異なる領域における変化量を加算することにより、耐ノイズ性能を向上させることができる。

なお、本発明の実施の形態では、拡張領域の具体例を挙げて説明したが、本発明はこれに限定されるものではなく、補間精度を向上させるために必要に応じてさらに広げてもよい。

また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における画像処理装置の一例である撮像装置の構成例を示す図である。 ベイヤー配列による各色の配列例を示す図である。 ３板およびベイヤー配列の限界解像度を示す図である。 解像度チャート（ＣＰＺ）を示す図である。 ベイヤー配列における問題点を示す図である。 ベイヤー配列における問題点を示す他の図である。 ベイヤー配列における補間例を示す図である。 本発明の実施の形態における補間処理回路２００の第１の構成例を示す図である。 ベイヤー配列においてＧ画素を抜き出した図である。 バンドパスフィルタの周波数特性を示す図である。 本発明の実施の形態における補間処理回路２００の第１の構成例による画像処理方法の処理手順を示す図である。 本発明の実施の形態のデモザイク処理の対象となる他の色フィルタ配列（斜め画素配列）の一例を示す図である。 斜め画素配列における問題点を示す図である。 本発明の実施の形態における補間処理回路２００の第２の構成例を示す図である。 斜め画素配列においてＧ画素を抜き出した図である。 本発明の実施の形態における補間処理回路２００の第２の構成例による画像処理方法の処理手順を示す図である。 本発明の実施の形態における効果の一例を示す図である。 本発明の実施の形態における補間処理回路２００の変形例を示す図である。 本発明の実施の形態における変化量選択部２７７の一構成例を示す図である。 本発明の実施の形態における補間処理回路２００の第２の構成例による画像処理方法の処理手順の変形例を示す図である。

符号の説明

１１０ レンズ
１２０ 撮像素子
１３０ Ａ／Ｄ変換器
１４０ カメラ信号処理部
１４１ 光学系補正回路
１４２ ホワイトバランス回路
１４４ ガンマ補正回路
１４５ Ｙ信号処理回路
１４６ Ｃ信号処理回路
１４７ ローパスフィルタ
１４８ 間引き処理回路
２００ 補間処理回路
２１１ 周辺領域垂直方向変化量検出部
２１２ 周辺領域水平方向変化量検出部
２１３ 周辺領域右斜方向変化量検出部
２１４ 周辺領域左斜方向変化量検出部
２２１ 外周領域垂直方向変化量検出部
２２２ 外周領域水平方向変化量検出部
２３１、２３２ 加算器
２４０ 周辺領域相関度決定部
２５０ 拡張領域相関度決定部
２６０ 拡張判定部
２７０ 相関度選択部
２７１ 垂直方向変化量選択器
２７２ 水平方向変化量選択器
２７３ 右斜方向変化量選択器
２７４ 左斜方向変化量選択器
２７７ 変化量選択部
２８０ 補償処理部
２９０ 補間生成部

Claims (4)

1. 複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する周辺領域変化量検出手段と、
   前記周辺領域のさらに外周領域における画素値の複数の方向に対する変化量を検出する外周領域変化量検出手段と、
   前記周辺領域における変化量および前記外周領域における変化量を前記複数の方向ごとに合算する変化量合算手段と、
   前記複数の方向ごとに合算された変化量に基づいて前記周辺領域および前記外周領域を合わせた拡張領域における画素値の前記複数の方向に対する相関度を決定する拡張相関度決定手段と、
   前記周辺領域における画素値の複数の方向に対する変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する周辺相関度決定手段と、
   前記周辺領域における前記複数の方向に対する変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には前記拡張領域における相関度を選択し、それ以外の場合には前記周辺領域における相関度を選択する相関度選択手段と、
   前記選択された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手段と
   を具備する画像処理装置。
2. 前記補間手段は、前記複数の方向ごとに合算された変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には前記複数の方向に対して均等に前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する
   請求項１記載の画像処理装置。
3. 複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する周辺領域変化量検出手順と、
   前記周辺領域のさらに外周領域における画素値の複数の方向に対する変化量を検出する外周領域変化量検出手順と、
   前記周辺領域における変化量および前記外周領域における変化量を前記複数の方向ごとに合算する変化量合算手順と、
   前記複数の方向ごとに合算された変化量に基づいて前記周辺領域および前記外周領域を合わせた拡張領域における画素値の前記複数の方向に対する相関度を決定する拡張相関度決定手順と、
   前記周辺領域における画素値の複数の方向に対する変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する周辺相関度決定手順と、
   前記周辺領域における前記複数の方向に対する変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には前記拡張領域における相関度を選択し、それ以外の場合には前記周辺領域における相関度を選択する相関度選択手順と、
   前記選択された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手順と
   を具備する画像処理方法。
4. 複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する周辺領域変化量検出手順と、
   前記周辺領域のさらに外周領域における画素値の複数の方向に対する変化量を検出する外周領域変化量検出手順と、
   前記周辺領域における変化量および前記外周領域における変化量を前記複数の方向ごとに合算する変化量合算手順と、
   前記複数の方向ごとに合算された変化量に基づいて前記周辺領域および前記外周領域を合わせた拡張領域における画素値の前記複数の方向に対する相関度を決定する拡張相関度決定手順と、
   前記周辺領域における画素値の複数の方向に対する変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する周辺相関度決定手順と、
   前記周辺領域における前記複数の方向に対する変化量のうち少なくとも２方向の変化量が所定の閾値に満たない場合には前記拡張領域における相関度を選択し、それ以外の場合には前記周辺領域における相関度を選択する相関度選択手順と、
   前記選択された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手順と
   をコンピュータに実行させるプログラム。