JP4415468B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

補間処理装置および補間処理プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4415468B2
JP4415468B2 JP2000276212A JP2000276212A JP4415468B2 JP 4415468 B2 JP4415468 B2 JP 4415468B2 JP 2000276212 A JP2000276212 A JP 2000276212A JP 2000276212 A JP2000276212 A JP 2000276212A JP 4415468 B2 JP4415468 B2 JP 4415468B2
Authority
JP
Japan
Prior art keywords
similarity
color
interpolation
color information
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000276212A
Other languages
English (en)
Other versions
JP2001275126A (ja
JP2001275126A5 (ja
Inventor
健一 石賀
浙宏 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2000276212A priority Critical patent/JP4415468B2/ja
Publication of JP2001275126A publication Critical patent/JP2001275126A/ja
Publication of JP2001275126A5 publication Critical patent/JP2001275126A5/ja
Application granted granted Critical
Publication of JP4415468B2 publication Critical patent/JP4415468B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分や輝度成分に相当する補間値を決める補間処理を行う補間処理装置および該補間処理をコンピュータで実現させるための補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
電子カメラには、３色（ＲＧＢ：赤・緑・青）の色成分に相当するカラーフィルタがベイア配列された撮像素子によって、カラーの画像データを生成するものがある。このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないので、画素単位で全ての色成分の色情報を得るために、補間処理を行う必要がある。
【０００３】
そこで、本出願人は、高周波成分を含む画像に対しても、精度良く補間処理が行える発明を特願平１１−１４５２７３号、特願平１１−１４５４７３号として出願している。これらの発明によれば、撮像素子の分解能の限界である画素ピッチで色が変化する画像に対しても、精度良く補間処理を行うことできるため、高精細な画像が得られる。
【０００４】
【発明が解決しようとする課題】
ところで、図２８（１）のように色成分がベイア配列された撮像素子の分解能は、各々の画素を図２８（２）のように２つの領域に分割し、各々の領域から個別に色情報を取得することによって向上する。なお、以下では、１つの画素が２分割された各々の領域を「サブピクセル」と称し、図２８（２）のような色成分の配列を「サブピクセル型ベイア配列」と称する。
【０００５】
図２８（２）のようにサブピクセル型ベイア配列された撮像素子を備えた電子カメラでは、サブピクセル単位で補間処理を行うことによって、更に高精細な画像を得ることが可能である。
しかし、サブピクセル型ベイア配列では、サブピクセル単位で色成分を捕らえた場合、任意のサブピクセルを起点とする横方向の色成分の配列は非対称である。そのため、サブピクセル型ベイア配列された撮像素子によって生成された画像データには、上述した発明を容易に適用することができない。
【０００６】
そこで、第１ないし第２６の発明は、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対して、サブピクセル単位で精度良く補間処理が行える補間処理装置を提供することを目的とし、第２７または第２８の発明は、このような画像データに対して、サブピクセル単位で精度良く補間処理が行える補間処理プログラムを記録した記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した課題を解決するために、第１の発明の補間処理装置は、２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、各々の画素を構成する２つのサブピクセルから出力される色情報をひとまとめにした値を当該画素の色情報に相当する画素出力色情報とし、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を、該画素出力色情報を用いて判定する主要類似性判定手段と、前記主要類似性判定手段によって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手段とを備えたことを特徴とする。
すなわち、第１の発明は、画素ピッチでの類似性の強弱の判定が可能である。なお、第１の発明では、類似性の強弱が判定される少なくとも２つの方向として、縦方向や横方向の他に、斜め方向を適用することが可能である。
【０００８】
第２の発明は、第１の発明において、サブピクセルから出力される色情報をサブピクセル出力色情報とし、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を、該サブピクセル出力色情報を用いて判定する微細部類似性判定手段を備え、前記補間値算出手段は、前記主要類似性判定手段と前記微細部類似性判定手段とによって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出することを特徴とする。
【０００９】
ところで、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データでは画素ピッチでの類似性の強弱の判定によって類似性の強い方向を大まかに判断することが可能であるが、類似性の強い方向を詳細に判断するには、サブピクセルピッチでの類似性の強弱を判定することが望ましい。
第２の発明では、微細部類似性判定手段は、サブピクセル出力色情報を用いて補間対象サブピクセルの類似性の強弱を判定するので、サブピクセルピッチでの類似性の強弱の判定が可能である。
【００１０】
第３の発明は、第２の発明において、前記主要類似性判定手段は、補間対象サブピクセルが属する画素について対称な距離に位置する画素の画素出力色情報を用い、前記類似性の強弱を判定し、前記微細部類似性判定手段は、補間対象サブピクセルについて非対称な距離に位置するサブピクセルサブピクセル出力色情報を用い、前記類似性の強弱を判定することを特徴とする。
【００１１】
すなわち、第３の発明では、主要類似性判定手段は、補間対象サブピクセルが属する画素について対称な距離に位置する画素の画素出力色情報を用いて類似性の強弱を判定することによって、画素ピッチでの類似性の強弱の判定を実現できる。
ところで、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データでは、例えば、各々の画素が縦方向の直線に沿って分割された場合、任意のサブピクセルを起点とする横方向の色成分の配列は非対称となる。第３の発明では、任意の方向について、色成分の配列が非対称であっても、微細部類似性判定手段は、補間対象サブピクセルについて非対称な距離に位置するサブピクセルのサブピクセル出力色情報を用いて類似性の強弱を判定することによって、サブピクセルピッチでの類似性の強弱の判定を実現できる。
【００１２】
第４の発明の補間処理装置は、２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間対象サブピクセルについて対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する主要類似性判定手段と、補間対象サブピクセルについて非対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する微細部類似性判定手段と、前記主要類似性判定手段と前記微細部類似性判定手段とによって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手段とを備えたことを特徴とする。
【００１３】
第５の発明は、第４の発明において、前記主要類似性判定手段は、前記対象な距離に位置する色情報として、補間対象サブピクセルが属する画素について対象な距離に位置する画素を構成する２つのサブピクセルから出力される色情報をひとまとめにした値を用い、前記微細部類似性判定手段は、前記非対称な距離に位置する色情報として、補間対象サブピクセルについて非対称な距離に位置するサブピクセルから出力される色情報を用いることを特徴とする。
【００１４】
第６の発明は、第４の発明において、前記主要類似性判定手段は、前記対象な距離に位置する色情報として、補間対象サブピクセルについて対称な距離に位置するサブピクセルから出力される色情報を用い、前記微細部類似性判定手段は、前記非対称な距離に位置する色情報として、補間対象サブピクセルについて非対称な距離に位置するサブピクセルから出力される色情報を用いることを特徴とする。
【００１５】
第７の発明は、第２〜第６の発明のいずれかにおいて、前記微細部類似性判定手段は、前記主要類似性判定手段による判定の結果として類似性の強い方向が不明であると判断された場合に、類似性の強弱を判定することを特徴とする。
ところで、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データでは、画素ピッチでの類似性の強弱の判定により類似性の強い方向が判断できない場合であっても、サブピクセルピッチでの類似性の強弱の判定により類似性の強い方向を判断することが可能である。
【００１６】
第７の発明では、微細部類似性判定手段によるサブピクセルピッチでの類似性の強弱の判定によって、主要類似性判定手段による画素ピッチでの類似性の強弱の判定が補えるため、主要類似性判定手段による判定の結果として類似性の強い方向が不明であると判断された場合にのみ、微細部類似性判定手段によって類似性の強弱を判定しても、類似性の強弱の判定の精度が低下することがない。
【００１７】
第８の発明は、第１〜第７の発明のいずれかにおいて、前記画像データが複数の色成分から成る表色系で示される場合、前記主要類似性判定手段は、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を、複数の色成分の色情報を用いて算出し、該類似度に基づき少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定することを特徴とする。
【００１８】
第９の発明は、第８の発明において、前記画像データが、第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が欠落するサブピクセルに第１色成分の色情報に相当する補間値を決める場合、前記主要類似性判定手段は、
（１）前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度成分と、
（２）前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度成分と、
（３）前記第１色成分の色情報のみを用いた類似度成分と、
（４）前記第２色成分の色情報のみを用いた類似度成分と、
（５）前記第３色成分の色情報のみを用いた類似度成分と
の複数の類似度成分のうち、第１〜第３色成分の色情報が含まれる組み合わせを利用して、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出することを特徴とする。
【００１９】
第１０の発明は、第９の発明において、前記主要類似性判定手段は、前記複数の類似度成分のうち、前記組み合わせに属する類似度成分を方向別に加重加算して、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出することを特徴とする。
【００２０】
第１１の発明は、第１ないし第７の発明において、前記画像データが複数の色成分から成る表色系で示される場合、前記主要類似性判定手段は、補間対象サブピクセルの色情報とその近傍に存在する色情報とから選ばれる複数の色情報に基づき、
（１）異なる色成分の色情報を用いて算出される異色間類似度と、
（２）同じ色成分の色情報を用いて算出される同色間類似度と
の２種類の類似度を算出し、補間対象サブピクセルが属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出し、該類似度に基づき少なくとも１方向に対する補間対象サブピクセルの類似性の強弱を判定することを特徴とする。
【００２１】
第１２の発明は、第１１の発明において、前記主要類似性判定手段は、前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出することを特徴とする。
【００２２】
第１３の発明は、第１１または第１２の発明において、前記画像データが、第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が欠落するサブピクセルに第１色成分の色情報に相当する補間値を決める場合、前記主要類似性判定手段は、前記異色間類似度として、
（１）前記第１色成分の色情報と前記第２色成分の色情報とから成る異色間類似度成分と、
（２）前記第１色成分の色情報と前記第３色成分の色情報とから成る異色間類似度成分と
の少なくとも一方を含む類似度を算出し、
前記同色間類似度として、
（１）前記第１色成分の色情報のみから成る同色間類似度成分と、
（２）前記第２色成分の色情報のみから成る同色間類似度成分と、
（３）前記第３色成分の色情報のみから成る同色間類似度成分と
の少なくとも１つを含む類似度を算出する
ことを特徴とする。
【００２３】
第１４の発明は、第１１の発明において、前記主要類似性判定手段は、補間対象サブピクセルが属する局所的な領域における画像の特徴として色彩に関する情報を用い、該色彩に関する情報を基準に、前記局所的な領域における画像が無彩色部であるか彩色部であるかを判別し、該局所的な領域における画像が無彩色部である場合には、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として前記異色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該異色間類似度の加重比率を該同色間類似度の加重比率よりも大きくし、該局所的な領域における画像が彩色部である場合には、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として該同色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該同色間類似度の加重比率を該異色間類似度の加重比率よりも大きくすることを特徴とする。
【００２４】
第１５の発明は、第１４の発明において、前記主要類似性判定手段は、前記色彩に関する情報として前記異色間類似度を用いることを特徴とする。
【００２５】
第１６の発明は、第１４または第１５の発明において、前記主要類似性判定手段は、前記異色間類似度が、少なくとも一方向に対して強い類似性を示す場合、前記局所的な領域における画像が無彩色部であると判断し、その他の場合、該局所的な領域における画像が彩色部であると判断することを特徴とする。
【００２６】
第１７の発明は、第８ないし１６の発明のいずれかにおいて、前記主要類似性判定手段は、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として、補間対象サブピクセルのみならず補間対象サブピクセルの周辺のサブピクセルに対して算出した少なくとも２つの方向に対する類似度を用いることを特徴とする。
【００２７】
ところで、補間対象サブピクセルと周辺のサブピクセルとの間には、何らかの関連（例えば、色情報の変化の連続性等）がある場合が多い。
第１７の発明では、補間対象サブピクセルにおける類似度だけでなく、周辺のサブピクセルにおける類似度を合わせて用いることによって、画素ピッチでの類似性の強弱の判定に、補間対象サブピクセルと周辺のサブピクセルとの関連を反映されることができる。
【００２８】
第１８の発明は、第８または第１１の発明において、前記主要類似性判定手段は、各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定することを特徴とする。
そのため、第１８の発明によれば、類似性を判定する際のノイズの影響を低減することができる。
【００２９】
第１９の発明は、第２ないし第７の発明のいずれかにおいて、前記微細部類似性判定手段は、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を、１種類以上の色成分の色情報を用いて算出して、該類似度に基づき少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定することを特徴とする。
【００３０】
すなわち、第１９の発明は、特定の１種類の色成分の色情報や複数種類の色成分の色情報を用いて算出された類似度によって、サブピクセルピッチでの類似性の強弱を判定する。
【００３１】
第２０の発明は、第１９の発明において、１画素につき第１〜第ｎ（ｎ≧２）の色成分の何れか１つの色成分が対応付けられ、第１色成分よりも空間周波数が低い第２色成分が対応付けられた画素を構成するサブピクセルに第１色成分の補間値を補う場合、前記微細部類似性判定手段は、
（１）第２色成分の色情報を出力するサブピクセルのうち、最短距離に位置するサブピクセル間の第２色成分の色情報の差異を示す類似度成分と、
（２）第１色成分の色情報を出力するサブピクセルのうち、最短距離に位置するサブピクセル間の第１色成分の色情報の差異を示す類似度成分と、
（３）第１色成分の色情報を出力するサブピクセルと第２色成分の色情報を出力するサブピクセルとのうち、最短距離に位置するサブピクセルの第１色成分と第２色成分との色情報の差異を示す類似度成分と
の少なくとも１つの類似度成分を用いて、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出することを特徴とする。
【００３２】
すなわち、第２０の発明では、複数種類の類似度成分を用いることによって、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度に、複数種類の色成分の色情報を反映させることができる。
【００３３】
第２１の発明は、第２０の発明において、前記微細部類似性判定手段は、前記各々の類似度成分を各方向について加重加算して、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出することを特徴とする。
すなわち、第２１の発明では、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度に、複数種類の色成分の色情報を的確に反映させることができる。
【００３４】
第２２の発明は、第２０または第２１の発明において、前記微細部類似性判定手段は、補間対象サブピクセルにおける各方向に対する類似度を算出する際に、前記各々の類似度成分をサブピクセル間の距離に応じて規格化して用いることを特徴とする。
【００３５】
ところで、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データでは、「第２色成分の色情報を出力するサブピクセルの最短距離」と「第１色成分の色情報を出力するサブピクセルの最短距離」と「第１色成分の色情報を出力するサブピクセルと第２色成分の色情報を出力するサブピクセルとの最短距離」とが異なる場合が多い。このような最短距離の相違は、各々の類似度成分の値に影響を及ぼす。
【００３６】
第２２の発明では、各方向に対する類似度を算出する際に、各々の類似度成分をサブピクセル間の距離に応じて規格化して用いることによって、最短距離の相違に影響されることなく、適切な類似度を算出することができる。
【００３７】
第２３の発明は、第２ないし第７の発明の何れかにおいて、前記画像データが複数の色成分から成る表色系で示される場合、前記微細部類似性判定手段は、補間対象サブピクセルの色情報とその近傍に存在する色情報とから選ばれる複数の色情報に基づき、
（１）異なる色成分の色情報を用いて算出される異色間類似度と、
（２）同じ色成分の色情報を用いて算出される同色間類似度と
の２種類の類似度を算出し、補間対象サブピクセルが属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出し、該類似度に基づき少なくとも１方向に対する補間対象サブピクセルの類似性の強弱を判定することを特徴とする。
【００３８】
第２４の発明は、第２３の発明において、前記微細部類似性判定手段は、前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出することを特徴とする。
【００３９】
第２５の発明は、第１９ないし第２４の発明の何れかにおいて、前記微細部類似性判定手段は、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として、補間対象サブピクセルのみならず補間対象サブピクセルの周辺のサブピクセルに対して算出した少なくとも２つの方向に対する類似度を用いることを特徴とする。
第２５の発明では、補間対象サブピクセルにおける類似度だけでなく、周辺のサブピクセルにおける類似度を合わせて用いることによって、サブピクセルピッチでの類似性の強弱の判定に、補間対象サブピクセルと周辺のサブピクセルとの関連を反映させることができる。
【００４０】
第２６の発明は、第１９または第２３の発明において、前記微細部類似性判定手段は、各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定することを特徴とする。
そのため、請求項２６に記載の発明によれば、類似性を判定する際のノイズの影響を低減することができる。
【００４１】
第２７の発明の記憶媒体は、２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める補間処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、各々の画素を構成する２つのサブピクセルから出力される色情報をひとまとめにした値を当該画素の色情報に相当する画素出力色情報とし、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を、該画素出力色情報を用いて判定する主要類似性判定手順と、前記主要類似性判定手順によって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手順とをコンピュータに実行させることを特徴とする。
【００４２】
また、第２８の発明の記録媒体は、２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める補間処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間対象サブピクセルについて対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する主要類似性判定手順と、補間対象サブピクセルについて非対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する微細部類似性判定手順と、前記主要類似性判定手順と前記微細部類似性判定手順とによって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手順とをコンピュータに実行させることを特徴とする。
【００８８】
【発明の実施の形態】
以下、以下、図面に基づいて、本発明の実施形態について詳細を説明する。
図１は、第１の実施形態ないし第６の実施形態に対応する電子カメラの機能ブロック図である。
【００８９】
図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。
また、画像処理部１５は、補間処理部（例えば、補間処理専用の１チップ・マイクロプロセッサ）１７を有する。なお、図１では、説明を簡単にするため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、γ階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
【００９０】
また、撮像部１３は、図２８（２）のように色成分がサブピクセル型ベイア配列された撮像素子を有する。なお、図２８では、ｉ、ｊを用いて画素やサブピクセルの座標を示しているが、ベイア配列上の座標とサブピクセル型ベイア配列上の座標とを区別するため、図２８（１）のベイア配列における座標のｉに添字pを付与している。
【００９１】
図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。また、撮影光学系１２で取得された光学像は、撮像部１３内の撮像素子に結像する。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化され、画像データとして画像処理部１５に供給される。画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、必要に応じて画像圧縮を行ってから、記録部１６を介して記録される。補間処理により各色成分の解像度が高められた画像データは、最終的にディスプレイ、プリンタなど各接続機器に応じた表色系画像データとして出力される。
【００９２】
なお、第１の実施形態ないし第６の実施形態において、補間処理部１７は、緑色成分が欠落するサブピクセルに緑の補間値を補う補間処理（以下、「Ｇ補間処理」と称する。）を行った後に、赤色成分や青色成分が欠落するサブピクセルに赤の補間値や青の補間値を補う補間処理（以下、「ＲＢ補間処理」と称する。）を行うが、以下では、説明を簡単にするため、図２８（２）の座標[i,j],[i+1,j]に位置する２つのサブピクセルをＧ補間処理における補間対象サブピクセルとする。
【００９３】
また、第１の実施形態ないし第３の実施形態では、図２８（１）のベイア配列上の画素の色情報として、各々の画素に対応する図２８（２）のサブピクセル型ベイア配列上に位置する２つのサブピクセルの色情報の平均値を用いる。例えば、図２８（１）の座標[ip,j]に位置する画素の色情報R[ip,j]は、図２８（２）の座標[i,j],[i+1,j]に位置する２つのサブピクセルの色情報R[i,j],R[i+1,j]の平均値に相当する。
【００９４】
さらに、第１の実施形態ないし第３の実施形態では、このような２つの補間対象サブピクセルに対応するベイア配列上の画素を「補間対象画素」と称する。
また、後述するＧ補間処理では、補間対象サブピクセルの色成分の種類（赤または青）に関係なく、緑の補間値を算出することができるため、以下では、図２８のＲおよびＢをＺに置き換えて表現し、２つの補間対象サブピクセルの色情報をZ[i,j],Z[i+1,j]によって表現し、他のサブピクセルや画素の色情報についても同様に表現する。
【００９５】
《第１の実施形態》
図２および図３は、第１の実施形態における補間処理部１７の動作フローチャートであるが、図２は、Ｇ補間処理における補間処理部１７の動作を示し、図３は、ＲＢ補間処理における補間処理部１７の動作を示す。
以下、第１の実施形態の動作を説明するが、ここでは、図２および図３を参照して補間処理部１７の動作を説明する。
【００９６】
まず、Ｇ補間処理において、補間処理部１７は、ベイア配列上の補間対象画素における縦方向の大まかな類似度を示す「縦方向の主要類似度Cv[ip,j]」と、横方向の大まかな類似度を示す「横方向の主要類似度Ch[ip,j]」とを算出する（図２Ｓ１）。
なお、主要類似度は、周辺との広域的な類似性を判定するための値であり、できるだけ多くの色情報を用い、連続的に変化する多値情報により類似性を捕らえることが重要である。以下に示すようにして算出される主要類似度は、画像全体の調和を保ちつつ、ベイア配列の画素ピッチに至る詳細な類似性を判定することが可能である。
【００９７】
以下、縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]を算出する処理の詳細を説明する。
まず、補間処理部１７は、以下の式10〜式21によって定義される縦方向および横方向に対する複数種類の主要類似度成分を算出する。
縦方向のGG間主要類似度成分：
Cv1[ip,j]=|G[ip,j-1]-G[ip,j+1]| ・・・式10
横方向のGG間主要類似度成分：
Ch1[ip,j]=|G[ip-1,j]-G[ip+1,j]| ・・・式11
縦方向のBB(RR)間主要類似度成分：
Cv2[ip,j]=(|Z[ip-1,j-1]-Z[ip-1,j+1]|
+|Z[ip+1,j-1]-Z[ip+1,j+1]|)/2 ・・・式12
横方向のBB(RR)間主要類似度成分：
Ch2[ip,j]=(|Z[ip-1,j-1]-Z[ip+1,j-1]|
+|Z[ip-1,j+1]-Z[ip+1,j+1]|)/2 ・・・式13
縦方向のRR(BB)間主要類似度成分：
Cv3[ip,j]=(|Z[ip,j-2]-Z[ip,j]|+|Z[ip,j+2]-Z[ip,j]|)/2 ・・・式14
横方向のRR(BB)間主要類似度成分：
Ch3[ip,j]=(|Z[ip-2,j]-Z[ip,j]|+|Z[ip+2,j]-Z[ip,j]|)/2 ・・・式15
縦方向のGR(GB)間主要類似度成分：
Cv4[ip,j]=(|G[ip,j-1]-Z[ip,j]|+|G[ip,j+1]-Z[ip,j]|)/2 ・・・式16
横方向のGR(GB)間主要類似度成分：
Ch4[ip,j]=(|G[ip-1,j]-Z[ip,j]|+|G[ip+1,j]-Z[ip,j]|)/2 ・・・式17
縦方向のBG(RG)間主要類似度成分：
Cv5[ip,j]=(|Z[ip-1,j-1]-G[ip-1,j]|+|Z[ip-1,j+1]-G[ip-1,j]|
+|Z[ip+1,j-1]-G[ip+1,j]|+|Z[ip+1,j+1]-G[ip+1,j]|)/4 ・・・式18
横方向のBG(RG)間主要類似度成分：
Ch5[ip,j]=(|Z[ip-1,j-1]-G[ip,j-1]|+|Z[ip-1,j+1]-G[ip,j+1]|
+|Z[ip+1,j-1]-G[ip,j-1]|+|Z[ip+1,j+1]-G[ip,j+1]|)/4 ・・・式19
縦方向の輝度間主要類似度成分：
Cv6[ip,j]=(|Y[ip,j-1]-Y[ip,j]|+|Y[ip,j+1]-Y[ip,j]|)/2 ・・・式20
横方向の輝度間主要類似度成分：
Ch6[ip,j]=(|Y[ip-1,j]-Y[ip,j]|+|Y[ip+1,j]-Y[ip,j]|)/2 ・・・式21
ただし、式20および式21において、Y[ip,j]は、式22によって算出される値であり、補間対象画素の近傍に位置する周辺画素の色成分の色情報をR:G:B=1:2:1の比で平均化するフィルタリング処理で生成される輝度に相当する。
【００９８】
Y[ip,j]=(4・A[ip,j]+2・(A[ip,j-1]+A[ip,j+1]+A[ip-1,j]+A[ip+1,j])
+A[ip-1,j-1]+A[ip-1,j+1]+A[ip+1,j-1]+A[ip+1,j+1])/16 ・・・式22
ただし、式22において、A[ip,j]は、ベイア配列上の任意の色情報を表し、配置場所に応じてGまたはZの値をとる。
【００９９】
なお、上述した各々の主要類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。次に、補間処理部１７は、以下の式23および式24に示すようにして、加重係数a1,a2,a3,a4,a5,a6によって、複数種類の主要類似度成分を各々の方向毎に加重加算する。
【０１００】
Cv0[ip,j]=(a1・Cv1[ip,j]+a2・Cv2[ip,j]+a3・Cv3[ip,j]+a4・Cv4[ip,j]
+a5・Cv5[ip,j]+a6・Cv6[ip,j])/(a1+a2+a3+a4+a5+a6) ・・・式23
Ch0[ip,j]=(a1・Ch1[ip,j]+a2・Ch2[ip,j]+a3・Ch3[ip,j]+a4・Ch4[ip,j]
+a5・Ch5[ip,j]+a6・Ch6[ip,j])/(a1+a2+a3+a4+a5+a6) ・・・式24
なお、式23および式24において、加重係数a1,a2,a3,a4,a5,a6の比率としては、例えば、「a1:a2:a3:a4:a5:a6=2:1:1:4:4:12」などが考えられる。
【０１０１】
このようにして算出されるCv0[ip,j]およびCh0[ip,j]は、そのまま、補間対象画素の縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]とすることができるが、ここでは、縦方向および横方向に対する複数種類の主要類似度成分の算出および加重加算を、補間対象画素だけでなく、周辺画素に対しても行い、このような加重加算によって得られる値を方向別に加重加算（以下、「周辺加算」と称する。）して、補間対象画素の縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]を算出する例を示す。
【０１０２】
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける主要類似度成分の方向別の加重加算の結果（Cv0[ip,j]、Cv0[ip-1,j-1]、Cv0[ip-1,j+1]、Cv0[ip+1,j-1]、Cv0[ip+1,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象画素の縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]を算出する。
【０１０３】
《周辺加算方法１》
Cv[ip,j]=(4・Cv0[ip,j]+Cv0[ip-1,j-1]+Cv0[ip-1,j+1]
+Cv0[ip+1,j-1]+Cv0[ip+1,j+1])/8 ・・・式25
Ch[ip,j]=(4・Ch0[ip,j]+Ch0[ip-1,j-1]+Ch0[ip-1,j+1]
+Ch0[ip+1,j-1]+Ch0[ip+1,j+1])/8 ・・・式26
《周辺加算方法２》
Cv[ip,j]=(4・Cv0[ip,j]+2・(Cv0[ip-1,j-1]+Cv0[ip+1,j-1]+Cv0[ip-1,j+1]+
Cv0[ip+1,j+1])+Cv0[ip,j-2]+Cv0[ip,j+2]+Cv0[ip-2,j]+
Cv0[ip+2,j])/16 ・・・式27
Ch[ip,j]=(4・Ch0[ip,j]+2・(Ch0[ip-1,j-1]+Ch0[ip+1,j-1]+Ch0[ip-1,j+1]+
Ch0[ip+1,j+1])+Ch0[ip,j-2]+Ch0[ip,j+2]+Ch0[ip-2,j]+
Ch0[ip+2,j])/16 ・・・式28
なお、《周辺加算方法１》は、図４（１）に示すようにして補間対象画素と周辺画素とにおける主要類似度成分の加重加算を行うことに相当し、《周辺加算方法２》は、図４（２）に示すようにして補間対象画素と周辺画素とにおける主要類似度成分の加重加算を行うことに相当する。
【０１０４】
ところで、上述したGG間主要類似度成分、BB(RR)間主要類似度成分、RR(BB)間主要類似度成分のように、同じ色成分の色情報を用いて算出される主要類似度成分（以下、「同色間主要類似度成分」と称する。）は、空間周波数が低く彩色部分の多い画像に対する類似性の評価に適していることが実験によってわかっている。また、GR(GB)間主要類似度成分、BG(RG)間主要類似度成分のように、異なる色成分の色情報を用いて算出される主要類似度成分（以下、「異色間主要類似度成分」と称する。）は、空間周波数が高く無彩色部分が多い画像に対する類似性の評価に適していることが実験によってわかっている。さらに、輝度間主要類似度成分は、彩色部分と、ある程度まで空間周波数の高い部分とを擁する画像に対する類似性の評価に適していることが実験によってわかっている。
【０１０５】
すなわち、同色間主要類似度成分、異色間主要類似度成分、輝度間主要類似度成分を加重加算して得られる主要類似度は、多様な画像に対して類似性の評価を高精度で行うことが可能である。
また、同色間主要類似度成分として算出される３種類の主要類似度成分（GG間主要類似度成分、BB(RR)間主要類似度成分、RR(BB)間主要類似度成分）は、類似性の評価に際して果たす役割を色成分同士で互いに補うことができ、異色間主要類似度成分として算出される２種類の主要類似度成分（GR(GB)間主要類似度成分、BG(RG)間主要類似度成分）も、類似性の評価に際して果たす役割を色成分同士で互いに補うことができる。
【０１０６】
さらに、第１の実施形態では、補間対象画素における主要類似度成分の加重加算の結果と、周辺画素における主要類似度成分の加重加算の結果とを加重加算することによって、縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]が算出される。そのため、縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]は、補間対象画素と周辺画素とにおける色情報の連続性が反映され易く、広域的な類似性を判定することができる。
【０１０７】
なお、第１の実施形態において、縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]は、値が小さい程、類似性が強いことを示す。
補間処理部１７は、以上説明したようにして縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]を算出すると、縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]に基づき、ベイア配列上の補間対象画素における縦方向および横方向に対する類似性（以下、「縦横主要類似性」と称する。）を判定する（図２Ｓ２）。そして、このような判定結果として、縦横方向の類似性を示す指標HV[ip,j]に以下のような値を設定する。
【０１０８】
例えば、補間処理部１７は、任意の閾値Th1について、
|Cv[ip,j]-Ch[ip,j]|＞Th1 かつ Cv[ip,j]＜Ch[ip,j]
が成り立つ場合、横方向よりも縦方向の主要類似性が強いと判断して指標HV[ip,j]に１を設定し（図２Ｓ３）、
|Cv[ip,j]-Ch[ip,j]|＞Th1 かつ Cv[ip,j]＞Ch[ip,j]
が成り立つ場合、縦方向よりも横方向の主要類似性が強いと判定して指標HV[ip,j]に−１を設定し（図２Ｓ４）、
|Cv[ip,j]-Ch[ip,j]|≦Th1
が成り立つ場合、縦横間で主要類似性に区別がつかないと判定して指標HV[ip,j]に０を設定する（図２Ｓ５）。
【０１０９】
なお、閾値Th1は、縦方向の主要類似度Cv[ip,j]と横方向の主要類似度Ch[ip,j]との差異が微少である場合、ノイズの影響によって一方の主要類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th1の値を高く設定することによって、主要類似性の判定の精度が高められる。
【０１１０】
次に、補間処理部１７は、以上説明したような縦横主要類似性の判定において、主要類似性が強い方向が不明であったか否かを判定し（図２Ｓ６）、主要類似性が強い方向が不明であった場合には、補間対象画素における縦方向の詳細な類似度を示す「縦方向の微細部類似度Cvs[ip,j]」と、横方向の詳細な類似度を示す「横方向の微細部類似度Chs[ip,j]」とを算出する（図２Ｓ７）。
【０１１１】
なお、第１の実施形態において、主要類似性が強い方向が不明である場合とは、指標HV[ip,j]に０が設定された場合（縦横間で主要類似性に区別がつかない場合）に相当する。
ところで、微細部類似度は、主要類似度では判定できないサブピクセルピッチの類似性を捕らえることが重要であり、できるだけ多くの色情報を用いて正確に算出することが望ましい。以下に示すように算出される微細部類似度は、サブピクセルピッチに至る詳細な類似性を判定することが可能である。
【０１１２】
以下、縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]を算出する処理の詳細を説明する。
まず、補間処理部１７は、以下の式29〜式34によって定義される縦方向および横方向に対する複数種類の微細部類似度成分を算出する。なお、右辺の座標表示は、図２８（２）のサブピクセル型ベイア配列上の位置を示す。
【０１１３】
縦方向のRR(BB)間微細部類似度成分：
Cvs1[ip,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|+
|Z[i+1,j-2]-Z[i+1,j]|+|Z[i+1,j+2]-Z[i+1,j]|)/4 ・・・式29
横方向のRR(BB)間微細部類似度成分：
Chs1[ip,j]=|Z[i,j]-Z[i+1,j]| ・・・式30
縦方向のGG間微細部類似度成分：
Cvs2[ip,j]=(|G[i,j-1]-G[i,j+1]|+|G[i+1,j-1]-G[i+1,j+1]|)/2 ・・・式31
横方向のGG間微細部類似度成分：
Chs2[ip,j]=(|G[i,j-1]-G[i+1,j-1]|+|G[i,j+1]-G[i+1,j+1]|)/2 ・・・式32
縦方向のGR(GB)間微細部類似度成分：
Cvs3[ip,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|+
|G[i+1,j-1]-Z[i+1,j]|+|G[i+1,j+1]-Z[i+1,j]|)/4 ・・・式33
横方向のGR(GB)間微細部類似度成分：
Chs3[ip,j]=(|G[i-1,j]-Z[i,j]|+|G[i+2,j]-Z[i+1,j]|)/2 ・・・式34
なお、上述した各々の微細部類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。
【０１１４】
ところで、縦方向の微細部類似度成分を算出する際に用いる色情報間の距離は、主要類似度成分の場合と変わらないが、横方向の微細部類似度成分は、主要類似度成分の算出時に消滅してしまうサブピクセル間隔での類似度成分であるため、更に詳細な類似性を判定することが可能である。
図５は、微細部類似度成分を算出する際に用いる色情報の位置を示す図である。
【０１１５】
ところで、図５に示すように、横方向に隣接する２つのサブピクセル間の距離をＬとすると、縦方向のRR間微細部類似度成分および縦方向のGG間微細部類似度成分は、４Ｌ離れた位置のサブピクセルの色情報を用いて算出され、縦方向のGR間微細部類似度成分は、２Ｌ離れた位置のサブピクセルの色情報を用いて算出されることになる。
【０１１６】
そこで、第１の実施形態において、補間処理部１７は、以下の式35および式36に示すように、複数種類の微細部類似度成分を加重係数s1,s2,s3によって加重加算する際、縦方向と横方向との微細部類似度成分を、サブピクセル間の距離によって規格化して用いる。
Cvs0[ip,j]=(s1・Cvs1[ip,j]/4+s2・Cvs2[ip,j]/4+s3・Cvs3[ip,j]/2)/
(s1+s2+s3) ・・・式35
Chs0[ip,j]=(s1・Chs1[ip,j]+s2・Chs2[ip,j]+s3・Chs3[ip,j])/
(s1+s2+s3) ・・・式36
なお、第１の実施形態では、微細部類似度成分のサブピクセル間の距離による規格化を、微細部類似度成分の加重加算時（式35の算出時）に行っているが、例えば、式29の分母を16に置き換え、式31の分母を8に置き換え、式33の分母を8に置き換えることによって、規格化された微細部類似度成分を直接算出することもできる（ただし、このような場合、式35における各々の微細部類似度成分を距離に応じて除算する演算は不要である）。
【０１１７】
また、式35および式36において、加重係数s1,s2,s3の比率としては、例えば、「s1:s2:s3=1:1:1」などが考えられる。
ところで、式35および式36で算出されるCvs0[ip,j]およびChs0[ip,j]は、そのまま、補間対象画素の縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０１１８】
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける微細部類似度成分の方向別の加重加算の結果（Cvs0[ip,j]、Cvs0[ip-1,j-1]、Cvs0[ip-1,j+1]、Cvs0[ip+1,j-1]、Cvs0[ip+1,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象画素の縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]を算出する（図４に示すように補間対象画素と周辺画素とにおける類似度成分を加重加算することに相当する）。
【０１１９】
《周辺加算方法１》
Cvs[ip,j]=(4・Cvs0[ip,j]+Cvs0[ip-1,j-1]+Cvs0[ip-1,j+1]
+Cvs0[ip+1,j-1]+Cvs0[ip+1,j+1])/8 ・・・式37
Chs[ip,j]=(4・Chs0[ip,j]+Chs0[ip-1,j-1]+Chs0[ip-1,j+1]
+Chs0[ip+1,j-1]+Chs0[ip+1,j+1])/8 ・・・式38
《周辺加算方法２》
Cvs[ip,j]=(4・Cvs0[ip,j]
+2・(Cvs0[ip-1,j-1]+Cvs0[ip+1,j-1]+Cvs0[ip-1,j+1]+Cvs0[ip+1,j+1])
+Cvs0[ip,j-2]+Cvs0[ip,j+2]+Cvs0[ip-2,j]+Cvs0[ip+2,j])/16 ・・・式39
Chs[ip,j]=(4・Chs0[ip,j]
+2・(Chs0[ip-1,j-1]+Chs0[ip+1,j-1]+Chs0[ip-1,j+1]+Chs0[ip+1,j+1])
+Chs0[ip,j-2]+Chs0[ip,j+2]+Chs0[ip-2,j]+Chs0[ip+2,j])/16 ・・・式40
ところで、上述したGR(GB)間微細部類似度成分のように、異なる色成分の色情報を用いて算出される微細部類似度成分（以下、「異色間微細部類似度成分」と称する。）は、縦方向に関して最も色情報間の距離が短いので、微細部分における類似性の判定に有利であるが、色成分が一致していないので無彩色に近い画像にしか適さない。一方、RR(BB)間微細部類似度成分、GG間微細部類似度成分のように、同じ色成分の色情報を用いて算出される微細部類似度成分（以下、「同色間微細部類似度成分」と称する。）は、彩色部分を含む画像に適している。
【０１２０】
すなわち、異色間微細部類似度成分と同色間微細部類似度成分とを加重加算して得られる微細部類似度は、多様な画像に対して類似性の評価を高精度で行うことが可能である。
【０１２１】
さらに、第１の実施形態では、補間対象画素における微細部類似度成分の加重加算の結果と、周辺画素における微細部類似度成分の加重加算の結果とを加重加算することによって、縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]が算出される。そのため、縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]は、補間対象画素と周辺画素とにおける色情報の連続性が反映され易く、広域的な類似性を判定することができる。
【０１２２】
補間処理部１７は、以上説明したようにして縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]を算出すると、縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]に基づき、補間対象画素におけるサブピクセルピッチの縦方向および横方向に対する類似性（以下、「微細部類似性」と称する。）を判定し（図２Ｓ８）、横方向よりも縦方向の微細部類似性が強いと判定された場合、指標HV[ip,j]の値を０から１に置き換える（図２Ｓ９）。
【０１２３】
例えば、補間処理部１７は、任意の閾値Thsについて、
|Cvs[ip,j]-Chs[ip,j]|＞Ths かつ Cvs[ip,j]＜Chs[ip,j]
が成り立つ場合、横方向よりも縦方向の類似性が強いと判断して指標HV[ip,j]に１を設定する。また、補間処理部１７は、
|Cv[ip,j]-Ch[ip,j]|≦Ths
が成り立つ場合、微細部類似性に区別がつかないと判定して指標HV[ip,j]を０のままにしておく。
【０１２４】
ところで、サブピクセルは画素を縦方向に分割しているため、サブピクセル単位で補間処理を行っても横方向の類似性に関する解像は上がらない。すなわち、横方向の類似性に関しては、微細部類似性は主要類似性以上の情報量を得ていないことになる。
そこで、第１の実施形態では、
|Cv[ip,j]-Ch[ip,j]|＞Ths かつ Cv[ip,j]＞Ch[ip,j]
が成り立つ場合にも、指標HV[ip,j]を０のままにしておく。
【０１２５】
なお、閾値Thsは、上述した閾値Th1と同様に、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。
次に、補間処理部１７は、指標HV[ip,j]が如何なる値であるかを判定し（図２Ｓ１０）、以下のようにして２つのサブピクセルの緑の補間値G[i,j]、G[i+1,j]を算出する。
【０１２６】
Figure 0004415468
ただし、GvL,GvR,GhL,GhRは、以下の《平均補間》または《色差補間》のようにして算出される値である。
【０１２７】
《平均補間》
GvL=(G[i,j-1]+G[i,j+1])/2 ・・・式41
GvR=(G[i+1,j-1]+G[i+1,j+1])/2 ・・・式42
GhL=(2・G[i-1,j]+G[i+2,j])/3 ・・・式43
GhR=(G[i-1,j]+2・G[i+2,j])/3 ・・・式44
すなわち、《平均補間》において、GvL,GvRは、各々の補間対象サブピクセルの縦方向に隣接して緑色成分が存在するサブピクセルの色情報の平均値である。一方、GhL,GhRは、各々の補間対象サブピクセルの横方向に近接して緑色成分が存在するサブピクセルの色情報を、各々の補間対象サブピクセルとの距離に応じて平均化した値である。
【０１２８】
《色差補間》
GvL=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ・・・式45
GvR=(G[i+1,j-1]+G[i+1,j+1])/2
+(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/4 ・・・式46
GhL=(2・G[i-1,j]+G[i+2,j])/3
+(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/9 ・・・式47
GhR=(G[i-1,j]+2・G[i+2,j])/3
+(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/9 ・・・式48
すなわち、《色差補間》では、緑色成分と補間対象サブピクセルにおける色成分（赤色成分または青色成分）との色差（G-RやG-Bに相当する）が一定であると仮定し、補間対象サブピクセルの縦方向（または、横方向）に近接する緑色成分が存在するサブピクセルの色成分（赤色成分または青色成分）の補間とその位置における色差の成分の算出、および、このような色差を用いた補間対象サブピクセルの色差の補間、補間対象サブピクセルの色差を緑の補間値に変換する演算を一括して行うことに相当する。
【０１２９】
また、式45〜式48は、《平均補間》の式41〜式44と同様にして算出される値を、補間対象サブピクセルと同色の色情報を用いて補正することによって、緑の補間値を算出する演算式であると言える。すなわち、式45〜式48において、第１項は、「緑色成分の局所的な平均情報」であり、第２項は、補間対象サブピクセルにおける凹凸の情報を反映した「補間対象サブピクセルと同一の色成分による局所的な変曲情報」である。
【０１３０】
ただし、補間処理が行われる前の画像データに対してγ階調変換を施す場合、γ変換が対数特性に近いので、《色差補間》では、色成分の比（G/RやG/Bに相当する）が一定であると仮定することになる。
なお、図６は、《色差補間》で用いる色情報の位置を示す図である。
以上説明したように、補間処理部１７は、主要類似度によって画素ピッチでの類似性の強弱を判定し、このような判定によって類似性が強い方向が不明であった場合に、微細部類似度によってサブピクセルピッチでの類似性の強弱を判定するが、主要類似度および微細部類似度は、補間対象画素の類似度成分と周辺画素の類似度成分とを加重加算することによって算出されるため、補間対象画素と周辺画素とにおける色情報の連続性が反映され易く、広域的な判定をすることができる。また、微細部類似度の算出時には、複数種類の微細部類似度成分が加重加算されるため、多くの色情報が用いられることになり、このような加重加算時には、複数種類の微細部類似度成分がサブピクセル間の距離によって規格化される。
【０１３１】
したがって、第１の実施形態のＧ補間処理では、補間対象画素との類似性が強い方向を精度良く判定することができるため、画像全体の調和を崩すことなく補間値を算出することが可能である。
次に、補間処理部１７は、ＲＢ補間処理を行う。
以下、ＲＢ補間処理の動作として、図３に示した《ＲＢ補間処理１》と《ＲＢ補間処理２》との２つのＲＢ補間処理の動作を説明する。なお、以下では、赤の補間値（または、青の補間値）を補うべき２つのサブピクセルを、補間対象サブピクセルと称して説明を行う。また、青の補間値は、赤の補間値と同様に算出できるため、以下では、説明を省略する。
【０１３２】
《ＲＢ補間処理１》
まず、《ＲＢ補間処理１》において、補間処理部１７は、補間対象サブピクセルに欠落する色成分が存在するサブピクセル毎に、その色成分の色情報から緑の補間値（上述したＧ補間処理によって得られた値）を減算し、色差を算出する（図３Ｓ１０）。
【０１３３】
例えば、補間処理部１７は、赤色成分の色情報が存在して互いに隣接する２つのサブピクセルの座標を[i,j],[i+1,j]とすると、これらのサブピクセルにおける赤色成分を含む色差Cr[i,j],Cr[i,j]を、
Cr[i,j]=R[i,j]-G[i,j] ・・・式49
Cr[i+1,j]=R[i+1,j]-G[i+1,j] ・・・式50
によって算出する。
【０１３４】
次に、補間処理部１７は、補間対象サブピクセルに対し最も近接するサブピクセルで算出された色差を用いて、補間対象サブピクセルの色差を線形補間する（図３Ｓ１１）。
例えば、２つの補間対象サブピクセルの座標を[m,n],[m+1,n]とし、これらの２つの補間対象サブピクセルに赤色成分の色情報が欠落していると仮定すると、補間処理部１７は、座標[m,n],[m+1,n]の垂直方向に位置するサブピクセルで赤色成分を含む色差が算出されている場合（図７（１）に対応する）には、赤色成分を含む色差Cr[m,n],Cr[m+1,n]を、
Cr[m,n]=(Cr[m,n-1]+Cr[m,n+1])/2 ・・・式51
Cr[m+1,n]=(Cr[m+1,n-1]+Cr[m+1,n+1])/2 ・・・式52
によって線形補間する。
【０１３５】
また、補間処理部１７は、座標[m,n],[m+1,n]の水平方向に位置するサブピクセルで赤色成分を含む色差が算出されている場合（図７（２）に対応する）には、赤色成分を含む色差Cr[m,n],Cr[m+1,n]を、
Cr[m,n]=(2・Cr[m-1,n]+Cr[m+2,n])/3 ・・・式53
Cr[m+1,n]=(Cr[m-1,n]+2・Cr[m+2,n])/3 ・・・式54
によって線形補間する。
【０１３６】
さらに、補間処理部１７は、座標[m,n],[m+1,n]の斜め方向に位置するサブピクセルで赤色成分を含む色差が算出されている場合（図７（３）に対応する）には、赤色成分を含む色差Cr[m,n],Cr[m+1,n]を、
Cr[m,n]=(2・(Cr[m-1,n-1]+Cr[m-1,n+1])
+Cr[m+2,n-1]+Cr[m+2,n+1])/6 ・・・式55
Cr[m+1,n]=(Cr[m-1,n-1]+Cr[m-1,n+1]
+2・(Cr[m+2,n-1]+Cr[m+2,n+1]))/6 ・・・式56
によって線形補間する。
【０１３７】
次に、補間処理部１７は、補間対象サブピクセル毎に、緑色成分の色情報（緑色の補間値であっても良い）によって色差を補間値に変換する（図３Ｓ１２）。すなわち、補間処理部１７は、上述した任意の座標[m,n],[m+1,n]に位置するサブピクセルの赤の補間値R[m,n],R[m+1,n]については、
R[m,n]=Cr[m,n]+G[m,n] ・・・式57
R[m+1,n]=Cr[m+1,n]+G[m+1,n] ・・・式58
によって算出する。
【０１３８】
ところで、《ＲＢ補間処理１》では、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）の周辺に偽色が残るという問題が生じるため、《ＲＢ補間処理１》を行った後には、画像データをＬａｂ表色系に変換して得られる色相ａ，ｂ面に対して個別にmedianフィルタを掛けるという事後処理を行うことがある。
【０１３９】
また、このようにmedianフィルタを掛ける場合、ベイア配列上の３×３（＝９点）のフィルタサイズでは、ほとんど有効に作用しないため、フィルタサイズをベイア配列上の５×５（＝２５点）の広域に設定する必要がある。
すなわち、《ＲＢ補間処理１》によって孤立点の周辺の偽色を取り除いた赤や青の補間値を得るには、フィルタサイズが広域に設定されたmedian処理を別途行う必要があるため、非常に重い処理が課せられることになる。また、median処理におけるフィルタサイズを大きくすることは、彩色部分の細かい構造（以下、「色構造」と称する）を破壊する危険性を高めることに繋がる。
【０１４０】
そこで、以下では、《ＲＢ補間処理２》として、孤立点の周辺に偽色を残すことなく、赤や青の補間値を高速かつ高精度で算出できるＲＢ補間処理を提示する。なお、《ＲＢ補間処理２》は、請求項５３ないし請求項５８に対応する。
《ＲＢ補間処理２》
まず、《ＲＢ補間処理２》において、補間処理部１７は、《ＲＢ補間処理１》と同様に、補間対象サブピクセルに欠落する色成分が存在するサブピクセル毎に色差を算出する（図３Ｓ２０）。
【０１４１】
なお、このような処理によって、赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分の色情報が欠落して青色成分の色情報が存在する２つのサブピクセルを斜め４方向から囲むように配置されることになる。
補間処理部１７は、色差が算出されたサブピクセルによって斜め４方向が囲まれる補間対象サブピクセル毎に、斜め方向に位置するサブピクセルにおける色差の中央値で補間対象サブピクセルの色差を補間する（図３Ｓ２１）。
【０１４２】
例えば、図８（１）に示すように、赤色成分を含む色差Crが算出されたサブピクセルによって、斜め４方向が囲まれる任意の２つのサブピクセルの座標を[m,n],[m+1,n]とすると、補間処理部１７は、これら２つサブピクセルにおける赤色を含む色差Cr[m,n],Cr[m+1,n]を、
Cr[m,n]=median｛Cr[m-1,n-1],Cr[m-1,n+1],
Cr[m+2,n-1],Cr[m+2,n+1]｝ ・・・式59
Cr[m+1,n]=median｛Cr[m-1,n-1],Cr[m-1,n+1],
Cr[m+2,n-1],Cr[m+2,n+1]｝ ・・・式60
によって算出する。ただし、median｛ ｝は、複数の要素のmedian値を算出する関数を示し、要素の数が偶数である場合、真ん中２つの要素の平均値をとるものとする。
【０１４３】
なお、以上説明したようにして赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分および青色成分の色情報が欠落する２つのサブピクセルを上下左右４方向から囲むように配置されることになる。
補間処理部１７は、色差が算出されたサブピクセルによって上下左右４方向が囲まれる補間対象サブピクセル毎に、上下左右方向に位置するサブピクセルにおける色差の中央値で補間対象サブピクセルの色差を補間する（図３Ｓ２２）。
【０１４４】
例えば、図８（２）に示すように、赤色成分を含む色差Crが算出されたサブピクセルによって、上下左右４方向が囲まれる任意の２つのサブピクセルの座標を[m,n],[m+1,n]とすると、補間処理部１７は、これら２つサブピクセルにおける赤色を含む色差Cr[m,n],Cr[m+1,n]を、
Cr[m,n]=median｛Cr[m-1,n],Cr[m+2,n],
Cr[m,n-1],Cr[m,n+1]｝ ・・・式61
Cr[m+1,n]=median｛Cr[m-1,n],Cr[m+2,n],
Cr[m+1,n-1],Cr[m+1,n+1]｝ ・・・式62
によって算出する。
【０１４５】
次に、補間処理部１７は、《ＲＢ補間処理１》と同様に、補間対象サブピクセル毎に、緑色成分の色情報によって色差を補間値に変換する（図３Ｓ２３）。
以上説明したように、《ＲＢ補間処理２》では、median処理は、色相を表す色差に対してのみ行われ、輝度成分に対しては行われない。また、ＲＢ補間処理において、図９（１）の○印が付与された２つのサブピクセルに赤の補間値を補う場合、ベイア配列上の３×５の範囲に位置する色差Crを用いて×印が付与されたサブピクセルにおける赤色成分を含む色差が算出されるので、○印が付与された２つのサブピクセルにおける赤色成分を含む色差は、ベイア配列上の３×５の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。また、図９（２）の△印が付与された２つのサブピクセルに赤の補間値を補う場合、ベイア配列上の５×３の範囲に位置する色差Crを用いて×印が付与されたサブピクセルにおける赤色成分を含む色差が算出されるので、△印が付与された２つのサブピクセルにおける赤色成分を含む色差は、ベイア配列上の５×３の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。
【０１４６】
すなわち、《ＲＢ補間処理２》では、フィルタサイズを小さく抑えつつ、実質的には広域なmedian処理と同等の効果が得られるため、色構造を破壊することなく、孤立点の周辺における偽色の発生を低減することができる。
また、《ＲＢ補間処理２》では、補間処理を行いながらmedian処理を行うため、《ＲＢ補間処理１》を行った後にmedian処理を行う場合と比べて処理効率が良く、かつ、図３Ｓ２１と図３Ｓ２２との各々のmedian処理において、４点の色差のみを用いるため、非常に高速なmedian処理が可能である。
【０１４７】
したがって、《ＲＢ補間処理２》では、色構造を破壊することなく、孤立点の周辺における偽色の発生を低減しつつ、補間値を高速に算出することができる。
ところで、上述した第１の実施形態におけるＧ補間処理では、色差が一定でない色境界部分において、偽色が発生し易い。
また、撮影光学系１２に倍率色収差が存在する場合、赤色成分および青色成分は、図１０に示すように、緑色成分の結像位置から、それぞれ少しずつずれた位置に結像する（以下、このような現象を「色ズレ」と称する。）。そのため、第１の実施形態では、このような色ズレ等によって色差が適切に算出できず偽色が発生する可能性がある。特に、《色差補間》を適用したＧ補間処理では、後述する倍率色収差による過補正が原因で偽色が発生するおそれがある。
【０１４８】
図１１は、倍率収差による過補正を説明する図である。
図１１では、撮影光学系１２に倍率色収差が存在しない状態で、各サブピクセルの色情報が図１１（１）の●印のように与えられている場合（補間処理の対象となる画像データの類似性が水平方向に強く、緑色成分の色情報が一定で、赤色成分や青色成分の色情報が補間対象サブピクセル（Ｚ５、Ｚ６が存在するサブピクセル）の近傍でなだらかに変化する場合）、式47や式48の第２項が０となるため、Ｇ４とＧ７とを平均化した値（式47や式48の第１項に相当する）は補正されることなくＧ５やＧ６（緑の補間値）となる。
【０１４９】
しかし、Ｚ１、Ｚ２、Ｚ５、Ｚ６、Ｚ９、Ｚ１０が赤色成分の色情報であり、撮影光学系１２の倍率色収差によって、これらの赤色成分の色情報が右方向に２サブピクセル分ずつずれた場合、各サブピクセルの色情報は、図１１（２）のように変化することになる。そのため、このような場合、式47や式48の第２項が０とならず、Ｇ４とＧ７とを平均化した値が過剰に補正（以下、「過補正」と称する）され、本来、Ｇ４やＧ７と同程度の値となるべきＧ５やＧ６は、Ｇ４やＧ７よりも大きな値となる。
【０１５０】
なお、Ｚ１、Ｚ２、Ｚ５、Ｚ６、Ｚ９、Ｚ１０が青色成分の色情報であり、撮影光学系１２の倍率色収差によって、これらの青色成分の色情報が左方向に２サブピクセル分ずつずれた場合、本来、Ｇ４やＧ７と同程度の値となるべきＧ５やＧ６は、Ｇ４やＧ７よりも小さい値となる。
そこで、第２の実施形態では、このような過補正等による偽色の発生を抑制できる補間処理を提示する。
【０１５１】
《第２の実施形態》
以下、第２の実施形態の動作を説明する。なお、第２の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
図１２および図１３は、第２の実施形態における補間処理部１７の動作フローチャートであり、Ｇ補間処理における補間処理部１７の動作を示す。
【０１５２】
以下、第２の実施形態におけるＧ補間処理について説明するが、第１の実施形態と同じ動作については、詳細な説明を省略する。
まず、補間処理部１７は、第１の実施形態と同様に、縦方向の主要類似度Cv[ip,j]と、横方向の主要類似度Ch[ip,j]とを算出して（図１２Ｓ１）、縦横主要類似性を比較し（図１２Ｓ２）、指標HV[ip,j]に値を設定する（図１２Ｓ３〜Ｓ５）。
【０１５３】
次に、補間処理部１７は、ベイア配列上の補間対象画素における斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]を算出する（図１２Ｓ６）。
ここで、斜め45度方向の類似度C45[ip,j]および斜め135度方向の類似度C135[ip,j]を算出する処理の詳細を説明する。
【０１５４】
まず、補間処理部１７は、以下の式63〜式70によって定義される斜め45度方向および斜め135度方向に対する複数種類の主要類似度成分を算出する。
斜め45度方向のGG間主要類似度成分：
C45_1[ip,j]=(|G[ip,j-1]-G[ip-1,j]|+|G[ip+1,j]-G[ip,j+1]|)/2 ・・・式63
斜め135度方向のGG間主要類似度成分：
C135_1[ip,j]=(|G[ip,j-1]-G[ip+1,j]|+|G[ip-1,j]-G[ip,j+1]|)/2 ・・・式64
斜め45度方向のBB(RR)間主要類似度成分：
C45_2[ip,j]=|Z[ip+1,j-1]-Z[ip-1,j+1]| ・・・式65
斜め135度方向のBB(RR)間主要類似度成分：
C135_2[ip,j]=|Z[ip-1,j-1]-Z[ip+1,j+1]| ・・・式66
斜め45度方向のRR(BB)間主要類似度成分：
C45_3[ip,j]=(|Z[ip+2,j-2]-Z[ip,j]|+|Z[ip-2,j+2]-Z[ip,j]|)/2 ・・・式67
斜め135度方向のRR(BB)間主要類似度成分：
C135_3[ip,j]=(|Z[ip-2,j-2]-Z[ip,j]|+|Z[ip+2,j+2]-Z[ip,j]|)/2 ・・・式68
斜め45度方向のBR(RB)間主要類似度成分：
C45_4[ip,j]=(|Z[ip+1,j-1]-Z[ip,j]|+|Z[ip-1,j+1]-Z[ip,j]|)/2 ・・・式69
斜め135度方向のBR(RB)間主要類似度成分：
C135_4[ip,j]=(|Z[ip-1,j-1]-Z[ip,j]|+|Z[ip+1,j+1]-Z[ip,j]|)/2 ・・・式70
なお、上述した各々の主要類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。
【０１５５】
次に、補間処理部１７は、以下の式71および式72に示すようにして、加重係数b1,b2,b3,b4によって、複数種類の主要類似度成分を各々の方向毎に加重加算する。
C45_0[ip,j]=(b1・C45_1[ip,j]+b2・C45_2[ip,j]+b3・C45_3[ip,j]
+b4・C45_4[ip,j])/(b1+b2+b3+b4) ・・・式71
C135_0[ip,j]=(b1・C135_1[ip,j]+b2・C135_2[ip,j]+b3・C135_3[ip,j]
+b4・C135_4[ip,j])/(b1+b2+b3+b4) ・・・式72
なお、式71および式72において、加重係数b1,b2,b3,b4の比率としては、例えば、「b1:b2:b3:b4=2:1:1:2」などが考えられる。
【０１５６】
このようにして算出されるC45_0[ip,j]およびC135_0[ip,j]は、そのまま、補間対象画素の斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける主要類似度成分の方向別の加重加算の結果（C45_0[ip,j]、C45_0[ip-1,j-1]、C45_0[ip-1,j+1]、C45_0[ip+1,j-1]、C45_0[ip+1,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象画素の斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]を算出する（図４に示すように補間対象画素と周辺画素とにおける類似度成分を加重加算することに相当する）。
【０１５７】
《周辺加算方法１》
C45[ip,j]=(4・C45_0[ip,j]+C45_0[ip-1,j-1]+C45_0[ip+1,j-1]
+C45_0[ip-1,j+1]+C45_0[ip+1,j+1])/8 ・・・式73
C135[ip,j]=(4・C135_0[ip,j]+C135_0[ip-1,j-1]+C135_0[ip+1,j-1]
+C135_0[ip-1,j+1]+C135_0[ip+1,j+1])/8 ・・・式74
《周辺加算方法２》
C45[ip,j]=(4・C45_0[ip,j]+2・(C45_0[ip-1,j-1]+C45_0[ip+1,j-1]
+C45_0[ip-1,j+1]+C45_0[ip+1,j+1])+C45_0[ip,j-2]
+C45_0[ip,j+2]+C45_0[ip-2,j]+C45_0[ip+2,j])/16 ・・・式75
C135[ip,j]=(4・C135_0[ip,j]+2・(C135_0[ip-1,j-1]+C135_0[ip+1,j-1]
+C135_0[ip-1,j+1]+C135_0[ip+1,j+1])+C135_0[ip,j-2]
+C135_0[ip,j+2]+C135_0[ip-2,j]+C135_0[ip+2,j])/16 ・・・式76
なお、このようにして算出される斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]において、複数種類の主要類似度成分や周辺画素との加重加算は、上述した縦方向の主要類似度Cv[ip,j]および横方向の主要類似度Ch[ip,j]と同様の役割を果たす。また、第２の実施形態において、斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]は、値が小さい程、類似性が強いことを示す。
【０１５８】
補間処理部１７は、斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]を算出すると、斜め45度方向の主要類似度C45[ip,j]および斜め135度方向の主要類似度C135[ip,j]に基づき、補間対象画素の斜め45度方向および斜め135度方向に対する類似性（以下、「斜め主要類似性」と称する。）を判定する（図１２Ｓ７）。そして、このような判定結果として、斜め方向の類似性を示す指標DN[ip,j]に以下のような値を設定する。
【０１５９】
例えば、補間処理部１７は、任意の閾値Th2について、
|C45[ip,j]-C135[ip,j]|＞Th2 かつ C45[ip,j]＜C135[ip,j]
が成り立つ場合、斜め135度方向よりも斜め45度方向の主要類似性が強いと判断して指標DN[ip,j]に１を設定し（図１２Ｓ８）、
|C45[ip,j]-C135[ip,j]|＞Th2 かつ C45[ip,j]＞C135[ip,j]
が成り立つ場合、斜め45度方向よりも斜め135度方向の主要類似性が強いと判断して指標DN[ip,j]に−１を設定し（図１２Ｓ９）、
|C45[ip,j]-C135[ip,j]|≦Th2
が成り立つ場合、斜め方向間で主要類似性に区別がつかないと判断して指標DN[ip,j]に０を設定する（図１２Ｓ１０）。
【０１６０】
なお、閾値Th2は、第１の実施形態における縦横主要類似性の比較に用いた閾値Th1と同様に、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。
次に、補間処理部１７は、以上説明したような縦横主要類似性および斜め主要類似性の判定において、主要類似性が強い方向が不明であったか否かを判定し（図１２Ｓ１１）、主要類似性が強い方向が不明であった場合には、第１の実施形態と同様に、縦方向の微細部類似度Cvs[ip,j]と横方向の微細部類似度Chs[ip,j]とを算出する（図１２Ｓ１２）。
【０１６１】
なお、第２の実施形態において、主要類似性が強い方向が不明である場合とは、指標HV[ip,j]に０が設定され、かつ、指標DN[ip,j]に０が設定された場合（縦横間で主要類似性に区別がつかず、斜めの主要類似性に区別がつかない場合）に相当する。
補間処理部１７は、縦方向の微細部類似度Cvs[ip,j]および横方向の微細部類似度Chs[ip,j]を算出すると、第１の実施形態と同様に、微細部類似性の強さを判定し（図１２Ｓ１３）、横方向よりも縦方向の微細部類似性が強いと判定された場合、指標HV[ip,j]の値を１に置き換える（図１２Ｓ１４）。
【０１６２】
次に、補間処理部１７は、縦横方向の類似性を示す指標HV[ip,j]と斜め方向の類似性を示す指標DN[ip,j]とが如何なる値であるかを判定して（図１２Ｓ１５）、補間対象画素の類似性の強さを、以下のcase1〜case9の何れかに分類する。
case1:(HV[ip,j],DN[ip,j])=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV[ip,j],DN[ip,j])=(1,0):縦方向の類似性が強い。
【０１６３】
case3:(HV[ip,j],DN[ip,j])=(1,-1):縦および斜め135度方向の類似性が強い。
case4:(HV[ip,j],DN[ip,j])=(0,1):斜め45度方向の類似性が強い。
case5:(HV[ip,j],DN[ip,j])=(0,0):全ての方向の類似性が強い、または、全ての方向の類似性が弱い。
case6:(HV[ip,j],DN[ip,j])=(0,-1):斜め135度方向の類似性が強い。
【０１６４】
case7:(HV[ip,j],DN[ip,j])=(-1,1):横および斜め45度方向の類似性が強い。
case8:(HV[ip,j],DN[ip,j])=(-1,0):横方向の類似性が強い。
case9:(HV[ip,j],DN[ip,j])=(-1,-1):横および斜め135度方向の類似性が強い。
図１４は、(HV[ip,j],DN[ip,j])の値に対応する類似性の強い方向を示す図である。
【０１６５】
ところで、図１４では、「case5:(HV[ip,j],DN[ip,j])=(0,0)」に対応する表示がされていないが、case5のように、全ての方向の類似性が強い、または、全ての方向の類似性が弱い場合とは、補間対象画素が平坦部に属している、または、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）であることに相当する。
【０１６６】
次に、補間処理部１７は、上述した判定結果に応じて、以下のようにして緑の補間値G[i,j],G[i+1,j]を算出する。
Figure 0004415468
ただし、
GvL=(G[i,j-1]+G[i,j+1])/2
+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2・(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2])
+2・G[i+2,j]-G[i+2,j-2]-G[i+2,j+2])/24 ・・・式77
Gv45L=(G[i,j-1]+G[i,j+1])/2
+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2・(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3])
+2・Z[i+2,j-1]-Z[i+2,j-3]-Z[i+2,j+1])/24 ・・・式78
Gv135L=(G[i,j-1]+G[i,j+1])/2
+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8
+(2・(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1])
+2・Z[i+2,j+1]-Z[i+2,j-1]-Z[i+2,j+3])/24 ・・・式79
GhL=(2・G[i-1,j]+G[i+2,j])/3
+(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/18
+(5・G[i,j-1]-2・G[i-3,j-1]-2・G[i+1,j-1]-G[i+4,j-1]
+5・G[i,j+1]-2・G[i-3,j+1]-2・G[i+1,j+1]-G[i+4,j+1])/36 ・・・式80
Gh45L=(2・G[i-1,j]+G[i+2,j])/3
+(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/18
+(5・Z[i+2,j-1]-2・Z[i-1,j-1]-2・Z[i+3,j-1]-Z[i+6,j-1]
+5・Z[i-2,j+1]-2・Z[i-1,j+1]-2・Z[i-5,j+1]-Z[i+2,j+1])/36 ・・・式81
Gh135L=(2・G[i-1,j]+G[i+2,j])/3
+(5・Z[i,j]-2・Z[i-3,j]-2・Z[i+1,j]-Z[i+4,j])/18
+(5・Z[i-2,j-1]-2・Z[i-5,j-1]-2・Z[i-1,j-1]-Z[i+2,j-1]
+5・Z[i+2,j+1]-2・Z[i-1,j+1]-2・Z[i+3,j+1]-Z[i+6,j+1])/36 ・・・式82
GvR=(G[i+1,j-1]+G[i+1,j+1])/2
+(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/8
+(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]
+2・(2・G[i+2,j]-G[i+2,j-2]-G[i+2,j+2]))/24 ・・・式83
Gv45R=(G[i+1,j-1]+G[i+1,j+1])/2
+(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/8
+(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]
+2・(2・Z[i+2,j-1]-Z[i+2,j-3]-Z[i+2,j+1]))/24 ・・・式84
Gv135R=(G[i+1,j-1]+G[i+1,j+1])/2
+(2・Z[i+1,j]-Z[i+1,j-2]-Z[i+1,j+2])/8
+(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]
+2・(2・Z[i+2,j+1]-Z[i+2,j-1]-Z[i+2,j+3]))/24 ・・・式85
GhR=(G[i-1,j]+2・G[i+2,j])/3
+(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/18
+(5・G[i+1,j-1]-2・G[i+4,j-1]-2・G[i,j-1]-G[i-3,j-1]
+5・G[i+1,j+1]-2・G[i+4,j+1]-2・G[i,j+1]-G[i-3,j+1])/36 ・・・式86
Gh45R=(G[i-1,j]+2・G[i+2,j])/3
+(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/18
+(5・Z[i+3,j-1]-2・Z[i+6,j-1]-2・Z[i+2,j-1]-Z[i-1,j-1]
+5・Z[i-1,j+1]-2・Z[i+2,j+1]-2・Z[i-2,j+1]-Z[i-5,j+1])/36 ・・・式87
Gh135R=(G[i-1,j]+2・G[i+2,j])/3
+(5・Z[i+1,j]-2・Z[i+4,j]-2・Z[i,j]-Z[i-3,j])/18
+(5・Z[i-1,j-1]-2・Z[i+2,j-1]-2・Z[i-2,j-1]-Z[i-5,j-1]
+5・Z[i+3,j+1]-2・Z[i+6,j+1]-2・Z[i+2,j+1]-Z[i-1,j+1])/36 ・・・式88
である。
【０１６７】
図１５〜図１７は、緑の補間値G[i,j],G[i+1,j]を算出する際に用いる色情報の位置を示す図である。
ところで、式77〜式88において、第１項は「緑色成分の局所的な平均情報」であり、第２項は「補間対象サブピクセルと同一の色成分による局所的な変曲情報」であり、第３項は「補間対象サブピクセルとは異なる色成分による局所的な変曲情報」である。
【０１６８】
ここで、Gv45L,Gv45Rの「補間対象画素と同一の色成分による局所的な変曲情報」は、縦方向に方向性を有する局所的な変曲情報であり、「補間対象画素と異なる色成分による局所的な変曲情報」は、縦方向および斜め45度方向に方向性を有する局所的な変曲情報であり、Gv135L,Gv135Rの「補間対象画素と同一の色成分による局所的な変曲情報」は、縦方向に方向性を有する局所的な変曲情報であり、「補間対象画素と異なる色成分による局所的な変曲情報」は、縦方向および斜め135度方向に方向性を有する局所的な変曲情報であり、Gh45L,Gh45Rの「補間対象画素と同一の色成分による局所的な変曲情報」は、横方向に方向性を有する局所的な変曲情報であり、「補間対象画素と異なる色成分による局所的な変曲情報」は、横方向および斜め45度方向に方向性を有する局所的な変曲情報であり、Gh135L,Gh135Rの「補間対象画素と同一の色成分による局所的な変曲情報」は、横方向に方向性を有する局所的な変曲情報であり、「補間対象画素と異なる色成分による局所的な変曲情報」は、横方向および斜め135度方向に方向性を有する局所的な変曲情報である。
【０１６９】
また、GvL,GvRの「補間対象画素と同一の色成分による局所的な変曲情報」と「補間対象画素と異なる色成分による局所的な変曲情報」とは、共に縦方向に方向性を有する局所的な変曲情報であり、GhL,GhRの「補間対象画素と同一の色成分による局所的な変曲情報」と「補間対象画素と異なる色成分による局所的な変曲情報」とは、共に横方向に方向性を有する局所的な変曲情報である。
【０１７０】
以上説明したように、補間処理部１７は、複数の色成分の変曲情報を用いて補間値を算出するので、第２の実施形態では、撮影光学系１２に倍率色収差が存在する場合であっても、平均情報を適切に補正することが可能であり、偽色の発生を抑制することができる。その様子を図１８に示す。
また、第２の実施形態では、複数の色成分の変曲情報が互いに相殺し合うので、色差が一定でない色境界部分における偽色も抑制できる。
【０１７１】
すなわち、第２の実施形態のＧ補間処理では、第１の実施形態のＧ補間処理によって発生する可能性が高かった偽色を抑制することができる。
ところで、複数の色成分の変曲情報は、如何なる方向に位置する色情報を採用するかで、値が変化し易い。そのため、複数の色成分の変曲情報を用いて補間値を算出する際には、補間対象画素における類似性の強い方向を正確に判定し、その方向に位置する色情報を採用した変曲情報を用いる必要がある。第２の実施形態では、縦方向や横方向の類似度成分の他に斜め方向の類似度成分を用いることによって、補間対象画素における類似性の強弱の判定の精度を向上させている。
【０１７２】
《第３の実施形態》
以下、第３の実施形態の動作を説明する。なお、第３の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
図１９〜図２１は、第３の実施形態における補間処理部１７の動作フローチャートであり、Ｇ補間処理における補間処理部１７の動作を示す。
【０１７３】
なお、第３の実施形態と第１の実施形態とのＧ補間処理の相違点は、縦横方向の類似性を判定する処理や指標HV[ip,j]を設定する処理が異なる点にあり、第３の実施形態は、第１の実施形態の図２Ｓ１〜Ｓ９の処理に代えて、図１９Ｓ１〜Ｓ４、図２０、図２１の処理を行うことに相当する。
また、第３の実施形態では、指標HV[ip,j]を設定する過程において、補間対象画素[ip,j]の縦方向および横方向に対する主要類似度と微細部類似度とが、それぞれ異色間類似度と同色間類似度とに分けて算出される。そこで、ここでは、後述するＧ補間処理の説明を簡単にするため、補間処理部１７によって行われる各々の類似度を算出する処理を説明する。
【０１７４】
まず、縦方向および横方向に対する主要類似度の異色間類似度（以下、「主要異色間類似度」と称する。）と同色間類似度（以下、「主要同色間類似度」と称する。）とを算出する処理を説明する。
補間処理部１７は、第１の実施形態の式10〜式19によって定義される縦方向および横方向に対する複数種類の主要類似度成分（Cv1[ip,j],Ch1[ip,j],Cv2[ip,j],Ch2[ip,j],Cv3[ip,j],Ch3[ip,j],Cv4[ip,j],Ch4[ip,j],Cv5[ip,j],Ch5[ip,j]）を算出する。
【０１７５】
次に、補間処理部１７は、以下の式89および式90に示すようにして、加重係数a1,a2,a3によって、複数種類の同色間類似度成分を方向別に加重加算すると共に、式91および式92に示すようにして、加重係数a4,a5によって、複数種類の異色間類似度成分についても方向別に加重加算する。
CvD0[ip,j]=(a1・Cv1[ip,j]+a2・Cv2[ip,j]+a3・Cv3[ip,j])
/(a1+a2+a3) ・・・式89
ChD0[ip,j]=(a1・Ch1[ip,j]+a2・Ch2[ip,j]+a3・Ch3[ip,j])
/(a1+a2+a3) ・・・式90
CvN0[ip,j]=(a4・Cv4[ip,j]+a5・Cv5[ip,j])/(a4+a5) ・・・式91
ChN0[ip,j]=(a4・Ch4[ip,j]+a5・Ch5[ip,j])/(a4+a5) ・・・式92
このようにして算出されるCvD0[ip,j]、ChD0[ip,j]、CvN0[ip,j]、ChN0[ip,j]は、そのまま、補間対象画素における縦方向の主要同色間類似度CvD[ip,j]、横方向の主要同色間類似度ChD[ip,j]、縦方向の主要異色間類似度CvN[ip,j]、横方向の主要異色間類似度ChN[ip,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０１７６】
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける各々の類似度成分の加重加算によって得られる値（CvD0[ip,j]、CvD0[ip-1,j-1]、CvD0[ip-1,j+1]、CvD0[ip+1,j-1]、CvD0[ip+1,j+1]など）を、類似性の連続性を考慮し、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象画素における縦方向の主要同色間類似度CvD[ip,j]、横方向の主要同色間類似度ChD[ip,j]、縦方向の主要異色間類似度CvN[ip,j]、横方向の主要異色間類似度ChN[ip,j]を算出する（図４に示すように補間対象画素と周辺画素とにおける類似度成分を加重加算することに相当する）。
【０１７７】
《周辺加算方法１》
CvD[ip,j]=(4・CvD0[ip,j]+CvD0[ip-1,j-1]+CvD0[ip-1,j+1]
+CvD0[ip+1,j-1]+CvD0[ip+1,j+1])/8 ・・・式93
ChD[ip,j]=(4・ChD0[ip,j]+ChD0[ip-1,j-1]+ChD0[ip-1,j+1]
+ChD0[ip+1,j-1]+ChD0[ip+1,j+1])/8 ・・・式94
CvN[ip,j]=(4・CvN0[ip,j]+CvN0[ip-1,j-1]+CvN0[ip-1,j+1]
+CvN0[ip+1,j-1]+CvN0[ip+1,j+1])/8 ・・・式95
ChN[ip,j]=(4・ChN0[ip,j]+ChN0[ip-1,j-1]+ChN0[ip-1,j+1]
+ChN0[ip+1,j-1]+ChN0[ip+1,j+1])/8 ・・・式96
《周辺加算方法２》
CvD[ip,j]=(4・CvD0[ip,j]
+2・(CvD0[ip-1,j-1]+CvD0[ip+1,j-1]+CvD0[ip-1,j+1]+CvD0[ip+1,j+1])
+CvD0[ip,j-2]+CvD0[ip,j+2]+CvD0[ip-2,j]+CvD0[ip+2,j])/16 ・・・式97
ChD[ip,j]=(4・ChD0[ip,j]
+2・(ChD0[ip-1,j-1]+ChD0[ip+1,j-1]+ChD0[ip-1,j+1]+ChD0[ip+1,j+1])
+ChD0[ip,j-2]+ChD0[ip,j+2]+ChD0[ip-2,j]+ChD0[ip+2,j])/16 ・・・式98
CvN[ip,j]=(4・CvN0[ip,j]
+2・(CvN0[ip-1,j-1]+CvN0[ip+1,j-1]+CvN0[ip-1,j+1]+CvN0[ip+1,j+1])
+CvN0[ip,j-2]+CvN0[ip,j+2]+CvN0[ip-2,j]+CvN0[ip+2,j])/16 ・・・式99
ChN[ip,j]=(4・ChN0[ip,j]
+2・(ChN0[ip-1,j-1]+ChN0[ip+1,j-1]+ChN0[ip-1,j+1]+ChN0[ip+1,j+1])
+ChN0[ip,j-2]+ChN0[ip,j+2]+ChN0[ip-2,j]+ChN0[ip+2,j])/16 ・・・式100
次に、縦方向および横方向に対する微細部類似度の異色間類似度（以下、「微細部異色間類似度」と称する。）と同色間類似度（以下、「微細部同色間類似度」と称する。）とを算出する処理を説明する。
【０１７８】
補間処理部１７は、第１の実施形態の式29〜式34によって定義される縦方向および横方向に対する複数種類の微細部類似度成分（Cvs1[ip,j],Chs1[ip,j],Cvs2[ip,j],Chs2[ip,j],Cvs3[ip,j],Chs3[ip,j]）を算出する。
次に、補間処理部１７は、以下の式101および式102に示すようにして、加重係数s1,s2によって、複数種類の同色間類似度成分を方向別に加重加算すると共に、式103および式104に示すようにして、異色間類似度成分をCvsN0[ip,j]やChsNO[ip,j]に代入する。また、縦方向の類似度成分については、以下の式101および式103によって、サブピクセル間の距離による規格化も行う。
【０１７９】
CvsD0[ip,j]=(s1・Cvs1[ip,j]/4+s2・Cvs2[ip,j]/4)/(s1+s2) ・・・式101
ChsD0[ip,j]=(s1・Chs1[ip,j]+s2・Chs2[ip,j])/(s1+s2) ・・・式102
CvsN0[ip,j]=Cvs3[ip,j]/2 ・・・式103
ChsN0[ip,j]=Chs3[ip,j] ・・・式104
このようにして算出されるCvsD0[ip,j]、ChsD0[ip,j]、CvsN0[ip,j]、ChsN0[ip,j]は、そのまま、補間対象画素における縦方向の微細部同色間類似度CvsD[ip,j]、横方向の微細部同色間類似度ChsD[ip,j]、縦方向の微細部異色間類似度CvsN[ip,j]、横方向の微細部異色間類似度ChsN[ip,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０１８０】
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける各々の類似度成分の加重加算等によって得られる値（CvsD0[ip,j]、CvsD0[ip-1,j-1]、CvsD0[ip-1,j+1]、CvsD0[ip+1,j-1]、CvsD0[ip+1,j+1]など）を、類似性の連続性を考慮し、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象画素における縦方向の微細部同色間類似度CvsD[ip,j]、横方向の微細部同色間類似度ChsD[ip,j]、縦方向の微細部異色間類似度CvsN[ip,j]、横方向の微細部異色間類似度ChsN[ip,j]を算出する（図４に示すように補間対象画素と周辺画素とにおける類似度成分を加重加算することに相当する）。
【０１８１】
《周辺加算方法１》
CvsD[ip,j]=(4・CvsD0[ip,j]+CvsD0[ip-1,j-1]+CvsD0[ip-1,j+1]
+CvsD0[ip+1,j-1]+CvsD0[ip+1,j+1])/8 ・・・式105
ChsD[ip,j]=(4・ChsD0[ip,j]+ChsD0[ip-1,j-1]+ChsD0[ip-1,j+1]
+ChsD0[ip+1,j-1]+ChsD0[ip+1,j+1])/8 ・・・式106
CvsN[ip,j]=(4・CvsN0[ip,j]+CvsN0[ip-1,j-1]+CvsN0[ip-1,j+1]
+CvsN0[ip+1,j-1]+CvsN0[ip+1,j+1])/8 ・・・式107
ChsN[ip,j]=(4・ChsN0[ip,j]+ChsN0[ip-1,j-1]+ChsN0[ip-1,j+1]
+ChsN0[ip+1,j-1]+ChsN0[ip+1,j+1])/8 ・・・式108
《周辺加算方法２》
CvsD[ip,j]=(4・CvsD0[ip,j]+2・(CvsD0[ip-1,j-1]+CvsD0[ip+1,j-1]
+CvsD0[ip-1,j+1]+CvsD0[ip+1,j+1])+CvsD0[ip,j-2]+CvsD0[ip,j+2]
+CvsD0[ip-2,j]+CvsD0[ip+2,j])/16 ・・・式109
ChsD[ip,j]=(4・ChsD0[ip,j]+2・(ChsD0[ip-1,j-1]+ChsD0[ip+1,j-1]
+ChsD0[ip-1,j+1]+ChsD0[ip+1,j+1])+ChsD0[ip,j-2]+ChsD0[ip,j+2]
+ChsD0[ip-2,j]+ChsD0[ip+2,j])/16 ・・・式110
CvsN[ip,j]=(4・CvsN0[ip,j]+2・(CvsN0[ip-1,j-1]+CvsN0[ip+1,j-1]
+CvsN0[ip-1,j+1]+CvsN0[ip+1,j+1])+CvsN0[ip,j-2]+CvsN0[ip,j+2]
+CvsN0[ip-2,j]+CvsN0[ip+2,j])/16 ・・・式111
ChsN[ip,j]=(4・ChsN0[ip,j]+2・(ChsN0[ip-1,j-1]+ChsN0[ip+1,j-1]
+ChsN0[ip-1,j+1]+ChsN0[ip+1,j+1])+ChsN0[ip,j-2]+ChsN0[ip,j+2]
+ChsN0[ip-2,j]+ChsN0[ip+2,j])/16 ・・・式112
ところで、以上説明したように算出される主要異色間類似度や微細部異色間類似度は、縦方向または横方向に隣接する画素の色情報を比較することによって算出されるので、主要同色間類似度や微細部同色間類似度よりも短い距離間隔で類似性の強弱の判定が可能である。すなわち、異色間類似度には、同色間類似度よりも細かい画像の構造が反映されることになる。
【０１８２】
とりわけ、異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において、信頼性が高い。一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。
【０１８３】
したがって、補間処理の対象となる画像全体に対して、信頼性の高い類似性の判定を行うには、画像全体を、無彩色部と彩色部とに分け、各々の部分に適した類似度を用いる方法が優れている。第３の実施形態におけるＧ補間処理では、このような信頼性の高い類似性の判定を実現するために、補間対象画素の近傍の画像が無彩色部であるか否かによって、指標HV[ip,j]を設定する際に用いる類似度を切り換えている。
【０１８４】
以下、第３の実施形態におけるＧ補間処理について説明するが、第１の実施形態と同じ動作については、詳細な説明を省略する。
まず、補間処理部１７は、補間対象画素が属する局所領域における色彩の有無を示す色指標を算出し（図１９Ｓ１）、色指標に基づき、補間対象画素の近傍の画像が無彩色部であるか否かを判定する（図１９Ｓ２）。
【０１８５】
なお、色指標としては、局所的な色差情報を用いることができるが、上述したように算出される主要異色間類似度や微細部異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されているので、色指標として、主要異色間類似度や微細部異色間類似度を直接利用することが可能である。
第３の実施形態では、色指標として、縦方向および横方向に対する主要異色間類似度と微細部異色間類似度とのどちらでも用いることができるが、ここでは、主要異色間類似度を用いた場合の例を示す。
【０１８６】
ただし、主要異色間類似度は、値が小さい程、類似性が強いことを示すので、縦方向および横方向に対する主要異色間類似度が共に大きな値である場合には、無彩色部で縦横両方向に対する類似性が弱いか、または、補間対象画素の近傍の画像が彩色部であることを意味する。逆に、縦方向と横方向との少なくとも１つの方向に対する主要異色間類似度が比較的小さな値であれば、補間対象画素の近傍の画像が無彩色部であり、類似性の強い方向が存在していることを意味する。
【０１８７】
すなわち、補間処理部１７は、縦方向の主要異色間類似度CvN[ip,j]と横方向の主要異色間類似度ChN[ip,j]とを算出し、閾値ThNv,ThNhについて、以下の条件１が成り立つか否かを判定し、条件１が成り立つ場合、補間対象画素の近傍の画像が無彩色部であると判断し、条件１が成り立たない場合、補間対象画素の近傍の画像が彩色部であると判断する。
【０１８８】
CvN[ip,j]≦ThNv または ChN[ip,j]≦ThNh ・・・条件１
ただし、閾値ThNv,ThNhは、階調数が256のとき10程度以下の値をとるものとする。
そして、補間処理部１７は、補間対象画素の近傍の画像が無彩色部である場合、後述する《異色間類似度を用いた指標HV[ip,j]の設定処理》を行い（図１９Ｓ３）、補間対象画素の近傍の画像が彩色部である場合、後述する《同色間類似度を用いた指標HV[ip,j]の設定処理》を行う（図１９Ｓ４）。
【０１８９】
このような処理によって、指標HV[ip,j]が設定されると、補間処理部１７は、第１の実施形態と同様（図２Ｓ１０〜Ｓ１３に相当する）に、指標HV[ip,j]の値に応じて、２つのサブピクセルの緑の補間値G[i,j]、G[i+1,j]を算出する（図１９Ｓ５〜Ｓ８）。
ここで、《異色間類似度を用いた指標HV[ip,j]の設定処理》と《同色間類似度を用いた指標HV[ip,j]の設定処理》とを説明する。
【０１９０】
《異色間類似度を用いた指標HV[ip,j]の設定処理》
まず、補間処理部１７は、縦方向の主要異色間類似度CvN[ip,j]と横方向の主要異色間類似度ChN[ip,j]とを算出し（図２０Ｓ１）、これらの類似度に基づく類似性（以下、「主要異色間類似性」と称する。）が強い方向が不明であるか否かを判定する（図２０Ｓ２）。
【０１９１】
例えば、このような判定は、閾値Th0について、以下の条件２が成り立つか否かを判定することによって実現できる。
|CvN[ip,j]-ChN[ip,j]|≦Th0 ・・・条件２
そして、補間処理部１７は、このような判定結果として、主要異色間類似性が強い方向が不明である場合、縦方向の微細部異色間類似度CvsN[ip,j]と横方向の微細部異色間類似度ChsN[ip,j]とを算出し（図２０Ｓ３）、これらの類似度に基づく類似性（以下、「微細部異色間類似性」と称する。）が強い方向が不明であるか否かを判定する（図２０Ｓ４）。
【０１９２】
例えば、このような判定は、閾値Ths0について、以下の条件３が成り立つか否かを判定することによって実現できる。
|CvsN[ip,j]-ChsN[ip,j]|≦Ths0 ・・・条件３
そして、補間処理部１７は、このような判定結果として、微細部異色間類似性が強い方向が不明である場合（条件２および条件３が成り立つ場合：図２２の領域１(1)に相当する）、補間対象画素の近傍の画像が無彩色部であり、縦横間で類似性に区別がつかないと判定して指標HV[ip,j]に０を設定する（図２０Ｓ５）。一方、微細部異色間類似性が強い方向が判別できる場合、縦方向の微細部異色間類似性が強いか否かを判定する（図２０Ｓ６）。
【０１９３】
例えば、このような判定は、以下の条件４が成り立つか否かを判定することによって実現できる。
CvsN[ip,j]<ChsN[ip,j] ・・・条件４
そして、補間処理部１７は、このような判定結果として、縦方向の微細部異色間類似性が強い場合（条件２および条件４が成り立ち、条件３が成り立たない場合：図２２の領域２(1)に相当する）、補間対象画素の近傍の画像が無彩色部であり、縦方向に類似性が強いと判断し、指標HV[ip,j]に１を設定する（図２０Ｓ７）。一方、縦方向の微細部異色間類似性が強くない場合（条件２が成り立ち条件３および条件４が成り立たない場合：図２２の領域１(2)に相当する）、指標HV[ip,j]に０を設定する（図２０Ｓ８）。
【０１９４】
また、補間処理部１７は、図２０Ｓ２の判定結果として、主要異色間類似性が強い方向が判別できる場合、縦方向の主要異色間類似性が強いか否かを判定する（図２０Ｓ９）。
例えば、このような判定は、以下の条件５が成り立つか否かを判定することによって実現できる。
【０１９５】
CvN[ip,j]<ChN[ip,j] ・・・条件５
そして、補間処理部１７は、このような判定結果として、縦方向の主要異色間類似性が強い場合（条件２が成り立たず条件５が成り立つ場合：図２２の領域２(2)に相当する）、指標HV[ip,j]に１を設定する（図２０Ｓ１０）。一方、縦方向の主要異色間類似性が強くない場合（条件２および条件５が成り立たない場合：図２２の領域３に相当する）、補間対象画素の近傍の画像が無彩色部であり、横方向に類似性が強いと判断し、指標HV[ip,j]に−１を設定する（図２０Ｓ１１）。
【０１９６】
《同色間類似度を用いた指標HV[ip,j]の設定処理》
まず、補間処理部１７は、縦方向の主要同色間類似度CvD[ip,j]と横方向の主要同色間類似度ChD[ip,j]とを算出し（図２１Ｓ１）、これらの類似度に基づく類似性（以下、「主要同色間類似性」と称する。）が強い方向が不明であるか否かを判定する（図２１Ｓ２）。
【０１９７】
例えば、このような判定は、閾値Th1について、以下の条件６が成り立つか否かを判定することによって実現できる。
|CvD[ip,j]-ChD[ip,j]|≦Th1 ・・・条件６
そして、補間処理部１７は、このような判定結果として、主要同色間類似性が強い方向が不明である場合、縦方向の微細部同色間類似度CvsD[ip,j]と横方向の微細部同色間類似度ChsD[ip,j]とを算出し（図２１Ｓ３）、これらの類似度に基づく類似性（以下、「微細部同色間類似性」と称する。）が強い方向が不明であるか否かを判定する（図２１Ｓ４）。
【０１９８】
例えば、このような判定は、閾値Ths1について、以下の条件７がが成り立つか否かを判定することによって実現できる。
|CvsD[ip,j]-ChsD[ip,j]|≦Ths1 ・・・条件７
そして、補間処理部１７は、このような判定結果として、微細部同色間類似性が強い方向が不明である場合（条件６および条件７が成り立つ場合：図２２の領域４(1)に相当する）、補間対象画素の近傍の画像が彩色部であり、縦横間で類似性に区別がつかないと判定して指標HV[ip,j]に０を設定する（図２１Ｓ５）。一方、微細部同色間類似性が強い方向が判別できる場合、縦方向の微細部同色間類似性が強いか否かを判定する（図２１Ｓ６）。
【０１９９】
例えば、このような判定は、以下の条件８が成り立つか否かを判定することによって実現できる。
CvsD[ip,j]<ChsD[ip,j] ・・・条件８
そして、補間処理部１７は、このような判定結果として、縦方向の微細部同色間類似性が強い場合（条件６および条件８が成り立ち、条件７が成り立たない場合：図２２の領域５(1)に相当する）、補間対象画素の近傍の画像が彩色部であり、縦方向に類似性が強いと判断し、指標HV[ip,j]に１を設定する（図２１Ｓ７）。一方、縦方向の微細部同色間類似性が強くない場合（条件６が成り立ち条件７および条件８が成り立たない場合：図２２の領域４(2)に相当する）、指標HV[ip,j]に０を設定する（図２１Ｓ８）。
【０２００】
また、補間処理部１７は、図２１Ｓ２の判定結果として、主要同色間類似性が強い方向が判別できる場合、縦方向の主要同色間類似性が強いか否かを判定する（図２１Ｓ９）。
例えば、このような判定は、以下の条件９が成り立つか否かを判定することによって実現できる。
【０２０１】
CvD[ip,j]<ChD[ip,j] ・・・条件９
そして、補間処理部１７は、このような判定結果として、縦方向の主要同色間類似性が強い場合（条件６が成り立たず条件９が成り立つ場合：図２２の領域５(2)に相当する）、指標HV[ip,j]に１を設定する（図２１Ｓ１０）。一方、縦方向の主要同色間類似性が強くない場合（条件６および条件９が成り立たない場合：図２２の領域６に相当する）、補間対象画素の近傍の画像が彩色部であり、横方向に類似性が強いと判断し、指標HV[ip,j]に−１を設定する（図２１Ｓ１１）。
【０２０２】
ところで、《異色間類似度を用いた指標HV[ip,j]の設定処理》と《同色間類似度を用いた指標HV[ip,j]の設定処理》とにおいて、閾値Th0、Ths0、Th1、Ths1は、縦方向の類似度と横方向の類似度との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th0、Ths0、Th1、Ths1の値を高く設定することによって、類似性の判定の精度が高められる。
【０２０３】
以上説明したように、第３の実施形態では、局所的な色差情報が反映される異色間類似度を利用して画像全体を無彩色部と彩色部とに分け、各々の部分に適した類似度に基づいて類似性の強弱を判定することができるため、従来の技術に比べて補間量を高い精度で算出することができる。
なお、第３の実施形態では、類似性の強弱を判定する際に、異色間類似度と同色間類似度とを切り換えているが、類似性の判定に用いる類似度としては、異色間類似度と同色間類似度とを完全に切り換える以外に、無彩色部では異色間類似度の加算比率を上げ、彩色部では同色間類似度の加算比率を上げて、異色間類似度と同色間類似度とを加重加算して得られる類似度でも良い。
【０２０４】
また、第３の実施形態では、局所的な色彩の有無を調べる方法として異色間類似度に含まれる色差を用いたが、色の比など他の色指標を用いても良い。
ところで、第３の実施形態で設定される指標HV[ip,j]は、第２の実施形態において、補間対象画素の類似性の強さを分類する際（図１３Ｓ１５に相当する）に用いることができる。すなわち、第２の実施形態の図１２Ｓ１〜Ｓ４、Ｓ１１〜Ｓ１４の処理に代えて、第３の実施形態の図１９Ｓ１〜Ｓ４、図２０、図２１の処理を行うことも可能である。
【０２０５】
《第４の実施形態》
以下、第４の実施形態の動作を説明するが、第４の実施形態におけるＧ補間処理の大まかな流れ（類似度を算出して指標を設定し、指標に基づいて補間値を算出する流れ）は、第１の実施形態と同様であるため、図示を省略する。また、第４の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、説明を省略する。
【０２０６】
なお、第４の実施形態と第１の実施形態とのＧ補間処理の相違点は、第１の実施形態が、補間対象画素毎に縦横方向の類似性の判定や、指標HV[ip,j]の設定を行っているのに対し、第４の実施形態は、補間対象サブピクセル毎に、縦横方向の類似性の判定と、指標HV[i,j]、HV[i+1,j]の設定を行う点にある。
すなわち、第４の実施形態では、第１の実施形態で算出される補間対象画素における縦方向の主要類似度Cv[ip,j]に代えて、２つの補間対象サブピクセルにおける縦方向の主要類似度Cv[i,j]、Cv[i+1,j]が算出されることになり、横方向の主要類似度、縦方向の微細部類似度、横方向の微細部類似度についても同様である。
【０２０７】
そこで、ここでは、第４の実施形態の動作として、まず、縦方向および横方向に対する主要類似度（Cv[i,j],Ch[i,j],Cv[i+1,j],Ch[i+1,j]）と微細部類似度（Cvs[i,j],Chs[i,j],Cvs[i+1,j],Chs[i+1,j]）とを算出する処理を説明する。
ただし、後述する演算式では、図２８（２）の座標[i+1,j]に位置するサブピクセルに対する演算式が、座標[i,j]に位置するサブピクセルに対する演算式のiにi+1を代入することによって実現できる場合、座標[i,j]に位置するサブピクセルに対する演算式のみを記載し、座標[i+1,j]に位置するサブピクセルに対する演算式の記載は省略する。
【０２０８】
まず、座標[i,j]に位置するサブピクセルに対する縦方向の主要類似度Cv[i,j]と横方向の主要類似度Ch[i,j]とを算出する処理を説明する（座標[i+1,j]に位置するサブピクセルに対する縦方向の主要類似度Cv[i+1,j]と横方向の主要類似度Ch[i+1,j]とは、以下の式113〜式131のiにi+1を代入することによって算出できる）。
【０２０９】
補間処理部１７は、以下の式113〜式124によって定義される縦方向および横方向に対する複数種類の主要類似度成分を算出する。なお、以下の式113〜式124において、主要類似度成分は、距離に関して縦方向と横方向との間で対称な位置関係で構成される。
縦方向のGG間主要類似度成分：
Cv1[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式113
横方向のGG間主要類似度成分：
Ch1[i,j]=|G[i-2,j]-G[i+2,j]| ・・・式114
縦方向のBB(RR)間主要類似度成分：
Cv2[i,j]=(|Z[i-2,j-1]-Z[i-2,j+1]|+|Z[i+2,j-1]-Z[i+2,j+1]|)/2 ・・・式115
横方向のBB(RR)間主要類似度成分：
Ch2[i,j]=(|Z[i-2,j-1]-Z[i+2,j-1]|+|Z[i-2,j+1]-Z[i+2,j+1]|)/2 ・・・式116
縦方向のRR(BB)間主要類似度成分：
Cv3[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式117
横方向のRR(BB)間主要類似度成分：
Ch3[i,j]=(|Z[i-4,j]-Z[i,j]|+|Z[i+4,j]-Z[i,j]|)/2 ・・・式118
縦方向のGR(GB)間主要類似度成分：
Cv4[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式119
横方向のGR(GB)間主要類似度成分：
Ch4[i,j]=(|G[i-2,j]-Z[i,j]|+|G[i+2,j]-Z[i,j]|)/2 ・・・式120
縦方向のBG(RG)間主要類似度成分：
Cv5[i,j]=(|Z[i-2,j-1]-G[i-2,j]|+|Z[i-2,j+1]-G[i-2,j]|
+|Z[i+2,j-1]-G[i+2,j]|+|Z[i+2,j+1]-G[i+2,j]|)/4 ・・・式121
横方向のBG(RG)間主要類似度成分：
Ch5[i,j]=(|Z[i-2,j-1]-G[i,j-1]|+|Z[i-2,j+1]-G[i,j+1]|
+|Z[i+2,j-1]-G[i,j-1]|+|Z[i+2,j+1]-G[i,j+1]|)/4 ・・・式122
縦方向の輝度間主要類似度成分：
Cv6[i,j]=(|Y[i,j-1]-Y[i,j]|+|Y[i,j+1]-Y[i,j]|)/2 ・・・式123
横方向の輝度間主要類似度成分：
Ch6[i,j]=(|Y[i-2,j]-Y[i,j]|+|Y[i+2,j]-Y[i,j]|)/2 ・・・式124
ただし、式123および式124において、Y[i,j]は、以下の式125によって算出される値であり、補間対象サブピクセルの近傍に位置するサブピクセルの色成分の色情報をR:G:B=1:2:1の比で平均化するフィルタリング処理で生成される輝度に相当する。
【０２１０】
Y[i,j]=(4・(A[i,j]+A[i-1,j]+A[i+1,j])
+2・(A[i,j-1]+A[i-1,j-1]+A[i+1,j-1]
+A[i,j+1]+A[i-1,j+1]+A[i+1,j+1]
+A[i-2,j]+A[i+2,j])
+A[i-2,j-1]+A[i-2,j+1]+A[i+2,j-1]+A[i+2,j+1])/32 ・・・式125
ただし、式125において、A[i,j]は、サブピクセル型ベイア配列上の任意の色情報を表し、配置場所に応じてGまたはZの値をとる。図２３は、輝度を生成するためのフィルタを示す図である。
【０２１１】
なお、上述した各々の主要類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。次に、補間処理部１７は、以下の式126および式127に示すようにして、第１の実施形態と同様の役割を果たす加重係数a1,a2,a3,a4,a5,a6によって、複数種類の主要類似度成分を各々の方向毎に加重加算する。
【０２１２】
Cv0[i,j]=(a1・Cv1[i,j]+a2・Cv2[i,j]+a3・Cv3[i,j]+a4・Cv4[i,j]
+a5・Cv5[i,j]+a6・Cv6[i,j])/(a1+a2+a3+a4+a5+a6) ・・・式126
Ch0[i,j]=(a1・Ch1[i,j]+a2・Ch2[i,j]+a3・Ch3[i,j]+a4・Ch4[i,j]
+a5・Ch5[i,j]+a6・Ch6[i,j])/(a1+a2+a3+a4+a5+a6) ・・・式127
このようにして算出されるCv0[i,j]およびCh0[i,j]は、そのまま、補間対象サブピクセルの縦方向の主要類似度Cv[i,j]および横方向の主要類似度Ch[i,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０２１３】
すなわち、補間処理部１７は、補間対象サブピクセルと、補間対象サブピクセルの近傍に位置するサブピクセル（以下、「周辺サブピクセル」と称する。）とにおける主要類似度成分の方向別の加重加算よって得られる値（Cv0[i,j]、Cv0[i-1,j-1]、Cv0[i-1,j+1]、Cv0[i+1,j-1]、Cv0[i+1,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象サブピクセルの縦方向の主要類似度Cv[i,j]および横方向の主要類似度Ch[i,j]を算出する。
【０２１４】
《周辺加算方法１》
Cv[i,j]=(4・Cv0[i,j]+Cv0[i-2,j-1]+Cv0[i-2,j+1]+Cv0[i+2,j-1]
+Cv0[i+2,j+1])/8 ・・・式128
Ch[i,j]=(4・Ch0[i,j]+Ch0[i-2,j-1]+Ch0[i-2,j+1]+Ch0[i+2,j-1]
+Ch0[i+2,j+1])/8 ・・・式129
《周辺加算方法２》
Cv[i,j]=(4・Cv0[i,j]
+2・(Cv0[i-2,j-1]+Cv0[i+2,j-1]+Cv0[i-2,j+1]+Cv0[i+2,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-4,j]+Cv0[i+4,j])/16 ・・・式130
Ch[i,j]=(4・Ch0[i,j]
+2・(Ch0[i-2,j-1]+Ch0[i+2,j-1]+Ch0[i-2,j+1]+Ch0[i+2,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-4,j]+Ch0[i+4,j])/16 ・・・式131
なお、《周辺加算方法１》は、図２４（１）に示すようにして補間対象サブピクセルと周辺サブピクセルとにおける主要類似度成分の加重加算を行うことに相当し、《周辺加算方法２》は、図２４（２）に示すようにして補間対象サブピクセルと周辺サブピクセルとにおける主要類似度成分の加重加算を行うことに相当する。
【０２１５】
次に、座標[i,j]に位置するサブピクセルに対する縦方向の微細部類似度Cvs[i,j]および横方向の微細部類似度Chs[i,j]と、座標[i+1,j]に位置するサブピクセルに対する縦方向の微細部類似度Cvs[i+1,j]および横方向の微細部類似度Chs[i+1,j]とを算出する処理を説明する。
【０２１６】
補間処理部１７は、以下の式132〜式143によって定義される縦方向および横方向に対する複数種類の微細部類似度成分を算出する。なお、以下の式132〜式143において、微細部類似度成分は、距離に関して縦方向と横方向との間で非対称な位置関係で構成される。
縦方向のRR(BB)間微細部類似度成分：
Cvs1[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式132
Cvs1[i+1,j]=(|Z[i+1,j-2]-Z[i+1,j]|+|Z[i+1,j+2]-Z[i+1,j]|)/2 ・・・式133
横方向のRR(BB)間微細部類似度成分：
Chs1[i,j]=|Z[i,j]-Z[i+1,j]| ・・・式134
Chs1[i+1,j]=|Z[i,j]-Z[i+1,j]| ・・・式135
縦方向のGG間微細部類似度成分：
Cvs2[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式136
Cvs2[i+1,j]=|G[i+1,j-1]-G[i+1,j+1]| ・・・式137
横方向のGG間微細部類似度成分：
Chs2[i,j]=(|G[i,j-1]-G[i+1,j-1]|+|G[i,j+1]-G[i+1,j+1]|)/2 ・・・式138
Chs2[i+1,j]=(|G[i,j-1]-G[i+1,j-1]|+|G[i,j+1]-G[i+1,j+1]|)/2 ・・・式139
縦方向のGR(GB)間微細部類似度成分：
Cvs3[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式140
Cvs3[i+1,j]=(|G[i+1,j-1]-Z[i+1,j]|+|G[i+1,j+1]-Z[i+1,j]|)/2 ・・・式141
横方向のGR(GB)間微細部類似度成分：
Chs3[i,j]=|G[i-1,j]-Z[i,j]| ・・・式142
Chs3[i+1,j]=|G[i+2,j]-Z[i+1,j]| ・・・式143
なお、上述した各々の微細部類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。
【０２１７】
次に、補間処理部１７は、以下の式144および式145に示すようにして、加重係数s1,s2,s3によって、複数種類の微細部類似度成分を方向別に加重加算する（座標[i+1,j]に位置するサブピクセルに対する複数種類の微細部類似度成分についても、同様にして方向別の加重加算が行える）。なお、式144では、縦方向の類似度成分を、サブピクセル間の距離による規格化して用いている。
【０２１８】
Cvs0[i,j]=(s1・Cvs1[i,j]/4+s2・Cvs2[i,j]/4+s3・Cvs3[i,j]/2)
/(s1+s2+s3) ・・・式144
Chs0[i,j]=(s1・Chs1[i,j]+s2・Chs2[i,j]+s3・Chs3[i,j])
/(s1+s2+s3) ・・・式145
このようにして算出されるCvs0[i,j]およびChs0[i,j]は、そのまま、補間対象サブピクセルの縦方向の微細部類似度Cvs[i,j]および横方向の微細部類似度Chs[i,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０２１９】
すなわち、補間処理部１７は、補間対象サブピクセルと周辺サブピクセルとにおける微細部類似度成分の方向別の加重加算よって得られる値（Cvs0[i,j]、Cvs0[i-1,j-1]、Cvs0[i-1,j+1]、Cvs0[i+1,j-1]、Cvs0[i+1,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、縦方向の微細部類似度Cvs[i,j]および横方向の微細部類似度Chs[i,j]を算出する（座標[i+1,j]に位置するサブピクセルに対する微細部類似度についても、同様にして算出する）。
【０２２０】
《周辺加算方法１》
Cvs[i,j]=(4・Cvs0[i,j]+Cvs0[i-2,j-1]+Cvs0[i-2,j+1]+Cvs0[i+2,j-1]
+Cvs0[i+2,j+1])/8 ・・・式146
Chs[i,j]=(4・Chs0[i,j]+Chs0[i-2,j-1]+Chs0[i-2,j+1]+Chs0[i+2,j-1]
+Chs0[i+2,j+1])/8 ・・・式147
《周辺加算方法２》
Cvs[i,j]=(4・Cvs0[i,j]
+2・(Cvs0[i-2,j-1]+Cvs0[i+2,j-1]+Cvs0[i-2,j+1]+Cvs0[i+2,j+1])
+Cvs0[i,j-2]+Cvs0[i,j+2]+Cvs0[i-4,j]+Cvs0[i+4,j])/16 ・・・式148
Chs[i,j]=(4・Chs0[i,j]
+2・(Chs0[i-2,j-1]+Chs0[i+2,j-1]+Chs0[i-2,j+1]+Chs0[i+2,j+1])
+Chs0[i,j-2]+Chs0[i,j+2]+Chs0[i-4,j]+Chs0[i+4,j])/16 ・・・式149
ところで、第４の実施形態の２つの補間対象サブピクセルにおける主要類似性や微細部類似性の判定および指標HV[i,j]、HV[i+1,j]の設定は、上述したように算出される主要類似度や微細部類似度を用いることによって、第１の実施形態の補間対象画素における処理と同様に算出することができる。すなわち、第１の実施形態の図２Ｓ２〜Ｓ６、Ｓ８、Ｓ９の説明において、図２８（１）の座標[ip,j]に位置する補間対象画素に代えて、図２８（２）の座標[i,j]や[i+1,j]に位置する補間対象サブピクセルに対する処理を行うことに相当する。
【０２２１】
このようにして、指標HV[i,j]やHV[i+1,j]の設定が完了すると、補間処理部１７は、以下のようにして、２つの補間対象サブピクセルの緑の補間値G[i,j]、G[i+1,j]を算出する。
HV[i,j]=1のとき（縦方向に類似性が強い） G[i,j]=GvL
HV[i+1,j]=1のとき（縦方向に類似性が強い） G[i+1,j]=GvR
HV[i,j]=0のとき（縦横方向に類似性が強い、または弱い）
G[i,j]=(GvL+GhL)/2
HV[i+1,j]=0のとき（縦横方向に類似性が強い、または弱い）
G[i+1,j]=(GvR+GhR)/2
HV[i,j]=-1のとき（横方向に類似性が強い） G[i,j]=GhL
HV[i+1,j]=-1のとき（横方向に類似性が強い） G[i+1,j]=GhR
ただし、GvL,GvR,GhL,GhRは、第１の実施形態の《平均補間》または《色差補間》のようにして算出される値である。
【０２２２】
以上説明したように、第４の実施形態では、補間対象サブピクセル毎に、類似度を算出し、その類似度に基づく類似性の判定結果に応じて補間値を算出することができる。
【０２２３】
なお、第４の実施形態では、第１の実施形態と同様にして、縦方向および横方向に対して主要類似度や微細部類似度を算出し、緑の補間値を算出しているが、例えば、式150〜式153に示すようにして、斜め45度方向の主要類似度C45[i,j]、C45[i+1,j]および斜め135度方向の主要類似度C135[i,j]、C135[i+1,j]を算出し、これらの類似度に基づき、第２の実施形態と同様に、補間対象サブピクセルの斜め主要類似性を判定して緑の補間値を算出しても良い。
【０２２４】
C45[i,j]=(|R[i+4,j-2]-R[i,j]|-|R[i-4,j+2]-R[i,j]|)/2 ・・・式150
C45[i+1,j]=(|R[i+5,j-2]-R[i+1,j]|-|R[i-3,j+2]-R[i+1,j]|)/2 ・・・式151
C135[i,j]=(|R[i-4,j-2]-R[i,j]|-|R[i+4,j+2]-R[i,j]|)/2 ・・・式152
C135[i+1,j]=(|R[i-3,j-2]-R[i+1,j]|-|R[i+5,j+2]-R[i+1,j]|)/2 ・・・式153
また、第４の実施形態では、第１の実施形態と同様にして、指標HV[i,j]、HV[i+1,j]の値を設定しているが、指標HV[i,j]やHV[i+1,j]の設定は、第３の実施形態と同様に算出しても良い。すなわち、第３の実施形態と同様に、主要類似度を主要異色間類似度と主要同色間類似度とに分け、微細部類似度を微細部異色間類似度と微細部同色間類似度とに分け、異色間類似度と同色間類似度とを切り換えて用いる処理を、図２８（１）の座標[ip,j]に位置する補間対象画素に代えて、図２８（２）の座標[i,j]や[i+1,j]に位置する補間対象サブピクセルに対して個別に当てはめた処理として行えば良い。
【０２２５】
《第５の実施形態》
以下、第５の実施形態の動作を説明する。なお、第５の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
図２５は、第５の実施形態における補間処理部１７の動作フローチャートであり、Ｇ補間処理における補間処理部１７の動作を示す。ただし、図２５では、ベイア配列上の画素の左側に位置するサブピクセルを補間対象とした場合の例を示す。
【０２２６】
以下、図２５に基づいて、第５の実施形態におけるＧ補間処理について説明する。
まず、補間処理部１７は、補間対象サブピクセルにおける縦方向および横方向の類似度を算出する（図２５Ｓ１）。
ここで、座標[i,j]に位置する補間対象サブピクセルにおける縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する処理の詳細を説明する。
【０２２７】
補間処理部１７は、式154〜式166によって定義される縦方向および横方向に対する複数種類の類似度成分を算出する。なお、式154〜式166では、上述した実施形態のような対称関係にこだわらず、近隣の画素同士による類似度成分の算出を行う。
縦方向のGG間類似度成分：
Cv1[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式154
横方向のGG間類似度成分：
Gh1[i,j]=|G[i-1,j]-G[i+2,j]| ・・・式155
縦方向のBB(RR)間類似度成分：
Cv2[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+2,j-1]-Z[i+2,j+1]|)/2 ・・・式156
横方向のBB(RR)間類似度成分：
Ch2[i,j]=(|Z[i-1,j-1]-Z[i+2,j-1]|+|Z[i-1,j+1]-Z[i+2,j+1]|)/2 ・・・式157
縦方向のRR(BB)間類似度成分：
Cv3[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式158
横方向のRR(BB)間類似度成分：
Ch3[i,j]=(|Z[i-3,j]-Z[i,j]|+3・|Z[i+1,j]-Z[i,j]|)/4 ・・・式159
縦方向のGR(GB)間類似度成分：
Cv4[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+11-Z[i,j]|)/2 ・・・式160
横方向のGR(GB)間類似度成分：
Gh4[i,j]=(2・|G[i-1,j]-Z[i,j]|+|G[i+2,j]-Z[i,j]|)/3 ・・・式161
縦方向のBG(RG)間類似度成分：
Cv5[i,j]=(|Z[i-1,j-1]-G[i-1,j]|+|Z[i-1,j+1]-G[i-1,j]|
+|Z[i+2,j-1]-G[i+2,j]|+|Z[i+2,j+1]-G[i+2,j]|)/4 ・・・式162
横方向のBG(RG)間類似度成分：
Ch5[i,j]=(2・|Z[i-1,j-1]-G[i,j-1]|+2・|Z[i-1,j+1]-G[i,j+1]|
+|Z[i+2,j-1]-G[i,j-1]|+|Z[i+2,j+1]-G[i,j+1]|)/6 ・・・式163
縦方向の輝度間類似度成分：
Cv6[i,j]=(|Y[i,j-1]-Y[i,j]|+|Y[i,j+1]-Y[i,j]|)/2 ・・・式164
横方向の輝度間類似度成分：
Ch6[i,j]=(2・|Y[i-1,j]-Y[i,j]|+|Y[i+2,j]-Y[i,j]|)/3 ・・・式165
ただし、式164および式165において、Y[i,j]は、式166によって算出される値であり、補間対象サブピクセルの近傍に位置するサブピクセルの色成分の色情報をR:G:B=1:2:1の比で平均化するフィルタリング処理で生成される輝度に相当する。
【０２２８】
Y[i,j]=(4・A[i,j]+2・(A[i,j-1]+A[i,j+1]+A[i-1,j]+A[i+2,j])
+A[i-1,j-1]+A[i-1.j+1]+A[i+2,j-11+A[i+2,j+1])/16 ・・・式166
ただし、式166において、A[i,j]は、サブピクセル型ベイア配列上の任意の色情報を表し、配置場所に応じてGまたはZの値をとる。
なお、上述した各々の類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。
【０２２９】
次に、補間処理部１７は、第４の実施形態の式126および式127と同様に（第１の実施形態の式23および式24の加重係数と同様の役割を果たす加重係数を用いて）、複数種類の類似度成分を各々の方向毎に加重加算して、Cv0[i,j]およびCh0[i,j]を算出する。
このようにして算出されるCv0[i,j]およびCh0[i,j]は、そのまま、補間対象サブピクセルの縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０２３０】
すなわち、補間処理部１７は、補間対象サブピクセルと、周辺サブピクセルとにおける類似度成分の方向別の加重加算よって得られる値（Cv0[i,j]、Cv0[i+1,j]、Cv0[i-1,j-1]、Cv0[i-1,j+1]、Cv0[i+2,j-1]、Cv0[i+2,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象サブピクセルの縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する。
【０２３１】
《周辺加算方法１》
Cv[i,j]=(2・(Cv0[i,j]+Cv0[i+1,j])+Cv0[i-1,j-1]+Cv0[i-1,j+1]
+Cv0[i+2,j-1]+Cv0[i+2,j+1])/8 ・・・式167
Ch[i,j]=(2・(Ch0[i,j]+Ch0[i+1,j])+Ch0[i-1,j-1]+Ch0[i-1,j+1]
+Ch0[i+2,j-1]+Ch0[i+2,j+1])/8 ・・・式168
《周辺加算方法２》
Cv[i,j]=(2・(Cv0[i,j]+Cv0[i+1,j])
+2・(Cv0[i-1,j-1]+Cv0[i-1,j+1]+Cv0[i+2,j-1]+Cv0[i+2,j+1])
+(Cv0[i,j-2]+Cv0[i+1,j-2])/2
+(Cv0[i,j+2]+Cv0[i+1,j+2])/2
+Cv0[i-3,j]+Cv0[i+4,j])/16 ・・・式169
Ch[i,j]=(2・(Ch0[i,j]+Ch0[i+1,j])
+2・(Ch0[i-1,j-1]+Ch0[i-1,j+1]+Ch0[i+2,j-1]+Ch0[i+2,j+1])
+(Ch0[i,j-2]+Ch0[i+1,j-2])/2
+(Ch0[i,j+2]+Ch0[i+1,j+2])/2
+Ch0[i-3,j]+Ch0[i+4,j])/16 ・・・式170
なお、座標[i,j]に位置するサブピクセルの類似度を算出する際に用いる色情報の位置と、座標[i+1,j]に位置するサブピクセル（ベイア配列上の画素の左側に位置するサブピクセル）の類似度を算出する際に用いる色情報の位置とが、図２８（２）のサブピクセル型ベイア配列のi列目のサブピクセルとi+1列目のサブピクセルとの間を通る直線について、左右対称であるすると、座標[i+1,j]に位置するサブピクセルの縦方向の類似度Cv[i+1,j]および横方向の類似度Ch[i+1,j]は、式154〜式170に記載のi-3〜i+4を、以下のように置き換えることによって算出できる。
【０２３２】
i-3→i+4,i-2→i+3,i-1→i+2,i→i+1,i+1→i,i+2→i-1,i+3→i-2,i+4→i-3。
補間処理部１７は、以上説明したようにして縦方向および横方向の類似度を算出すると、これらの類似度に基づき、補間対象サブピクセルにおける縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定する（図２５Ｓ２）。そして、補間処理部１７は、第１の実施形態で縦横主要類似性の判定結果として指標HV[ip,j]に値を設定した処理と同様に、縦横類似性の判定結果として指標HV[i,j]に値を設定する（図２５Ｓ３〜Ｓ５）。
【０２３３】
なお、座標[i+1,j]に位置するサブピクセルの縦横類似性を示す指標HV[i+1,j]の設定は、上述したようにして算出される縦方向の類似度Cv[i+1,j]および横方向の類似度Ch[i+1,j]を用いることによって、指標HV[i,j]と同様に設定することができる。
次に、補間処理部１７は、指標HV[i,j]が如何なる値であるかを判定し（図２５Ｓ６）、以下のようにして座標[i,j]に位置する補間対象サブピクセルの緑の補間値G[i,j]を算出する。
【０２３４】
HV[i,j]=1のとき G[i,j]=GvL：図２５Ｓ７
HV[i,j]=0のとき G[i,j]=(GvL+GhL)/2：図２５Ｓ８
HV[i,j]=1のとき G[i,j]=GhL：図２５Ｓ９
ただし、GvL,GhLは、第１の実施形態の式41,式43または式45,式47のようにして算出される値である。
【０２３５】
なお、座標[i+1,j]に位置する補間対象サブピクセルの緑の補間値G[i+1,j]は、上述したように設定される指標HV[i+1,j]が如何なる値であるかを判定することによって、以下のように算出することができる。
HV[i+1,j]=1のとき G[i+1,j]=GvR
HV[i+1,j]=0のとき G[i+1,j]=(GvR+GhR)/2
HV[i+1,j]=1のとき G[i+1,j]=GhR
ただし、GvR,GhRは、第１の実施形態の式42,式44または式46,式48のようにして算出される値である。
【０２３６】
以上説明したように、第５の実施形態では、補間対象サブピクセル毎に、類似度を算出し、その類似度に基づく類似性の判定結果に応じて補間値を算出することができる。
なお、第５の実施形態では、第１の実施形態の式23および式24の加重係数と同様の役割を果たす加重係数によって、式154〜式166で定義される複数種類の類似度成分を加重加算して、補間対象サブピクセルの縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出し、このような類似度に基づいて指標HV[i,j]に値を設定しているが、指標HV[i,j]の設定は、以下に示す処理（請求項４５ないし請求項５２に対応する）で実現することも可能である。
【０２３７】
まず、補間処理部１７は、式154〜式163で定義される複数種類の類似度成分を算出し、これらの類似度成分を第３の実施形態の式89〜式92の加重係数と同様の役割を果たす加重係数によって加重加算し、補間対象サブピクセルにおける縦方向の同色間類似度CvD[i,j]と、横方向の同色間類似度ChD[i,j]と、縦方向の異色間類似度CvN[i,j]と、横方向の異色間類似度ChN[i,j]とを算出する。なお、これらの類似度の算出の過程では、式167〜式170と同様にして、周辺加算を行うものとする。
【０２３８】
次に、補間処理部１７は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]とに対し、第３の実施形態の条件１と同様の条件が成り立つか否かを判定することによって、補間対象サブピクセルの近傍の画像が無彩色部であるか彩色部であるかを判定する。
そして、補間処理部１７は、補間対象サブピクセルの近傍の画像が無彩色部である場合、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]とに基づき、縦横類似性を判定して指標HV[i,j]に値を設定し、補間対象サブピクセルの近傍の画像が彩色部である場合、縦方向の同色間類似度CvD[i,j]と横方向の同色間類似度ChD[i,j]とに基づき、縦横類似性を判定して指標HV[i,j]に値を設定する。なお、このような縦横類似性の判定や指標HV[i,j]の設定の処理は、第１の実施形態で縦横主要類似性の判定結果として指標HV[ip,j]に値を設定した処理と同様に行うものとする。
【０２３９】
すなわち、以上説明したようにして設定された指標HV[i,j]には、第３の実施形態の指標HV[ip,j]と同様に、無彩色部と彩色部との各々の部分に適した類似度に基づいて判定された縦横類似性が反映されることになる。
《第６の実施形態》
以下、第６の実施形態の動作を説明する。なお、第６の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
【０２４０】
図２６は、第６の実施形態における補間処理部１７の動作フローチャートであり、Ｇ補間処理における補間処理部１７の動作を示す。ただし、図２６では、ベイア配列上の画素の左側に位置するサブピクセルを補間対象とした場合の例を示す。
以下、第６の実施形態におけるＧ補間処理について説明するが、第５の実施形態と同じ動作については、詳細な説明を省略する。
【０２４１】
まず、補間処理部１７は、第５の実施形態と同様に、補間対象サブピクセルにおける縦方向および横方向の類似度を算出して（図２６Ｓ１）、縦横主要類似性を比較し（図２６Ｓ２）、指標HV[i,j]に値を設定する（図２６Ｓ３〜Ｓ５）。
次に、補間処理部１７は、補間対象サブピクセルにおける斜め45度方向および斜め135度方向の類似度を算出する（図２６Ｓ６）。
【０２４２】
ここで、座標[i,j]に位置する補間対象サブピクセルにおける斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する処理の詳細を説明する。
補間処理部１７は、補間処理部１７は、式171〜式178によって定義される斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する。
【０２４３】
斜め45度方向のGG間類似度成分：
C45_1[i,j]=(|G[i-2,j]-G[i,j-1]|+|G[i-1,j]-G[i+1,j-1]|
+|G[i,j+11-G[i+2,j]|+|G[i+1,j+1]-G[i+3,j]|)/4 ・・・式171
斜め135度方向のGG間類似度成分：
C135_1[i,j]=(|G[i-2,j]-G[i,j+1]|+|G[i-1,j]-G[i+1,j+1]|
+|G[i,j-1]-G[i+2,j]|+|G[i+1,j-1]-G[i+3,j]|)/4 ・・・式172
斜め45度方向のBB(RR)間類似度成分：
C45_2[i,j]=(|Z[i-2,j+1]-Z[i+2,j-1]|
+|Z[i-1,j+1]-Z[i+3,j-1]|)/2 ・・・式173
斜め135度方向のBB(RR)間類似度成分：
C135_2[i,j]=(|Z[i-2,j-1]-Z[i+2,j+1]|
+|Z[i-1,j-1]-Z[i+3,j+1]|)/2 ・・・式174
斜め45度方向のRR(BB)間類似度成分：
C45_3[i,j]=(|Z[i-4,j+2]-Z[i,j]|+|Z[i-3,j+2]-Z[i+1,j]|
+|Z[i+4,j-2]-Z[i,j]|+|Z[i+5,j-2]-Z[i+1,j]|)/4 ・・・式175
斜め135度方向のRR(BB)間類似度成分：
C135_3[i,j]=(|Z[i-4,j-2]-Z[i,j]|+|Z[i-3,j-2]-Z[i+1,j]|
+|Z[i+4,j+2]-Z[i,j]|+|Z[i+5,j+2]-Z[i+1,j]|)/4 ・・・式176
斜め45度方向のBR(RB)間類似度成分：
C45_4[i,j]=(|Z[i-2,j+1]-Z[i,j]|+|Z[i-1,j+1]-Z[i+1,j]|
+|Z[i+2,j-1]-Z[i,j]|+|Z[i+3,j-1]-Z[i+1,j]|)/4 ・・・式177
斜め135度方向のBR(RB)間類似度成分：
C135_4[i,j]=(|Z[i-2,j-1]-Z[i,j]|+|Z[i-1,j-1]-Z[i+1,j]|
+|Z[i+2,j+1]-Z[i,j]|+|Z[i+3,j+1]-Z[i+1,j]|)/4 ・・・式178
なお、上述した各々の類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出しているが、絶対値の２乗やべき乗等によって算出しても良い。
【０２４４】
次に、補間処理部１７は、式179および式180に示すようにして、第２の実施形態と同様の役割を果たす加重係数b1,b2,b3,b4によって、複数種類の類似度成分を各々の方向毎に加重加算する。
C45_0[i,j]=(b1・C45_1[i,j]+b2・C45_2[i,j]+b3・C45_3[i,j]
+b4・C45_4[i,j])/(b1+b2+b3+b4) ・・・式179
C135_0[i,j]=(b1・C135_1[i,j]+b2・C135_2[ip,j]+b3・C135_3[i,j]
+b4・C135_4[i,j])/(b1+b2+b3+b4) ・・・式180
このようにして算出されるC45_0[i,j]およびC135_0[i,j]は、そのまま、補間対象サブピクセルの斜め方向の類似度C45[i,j]、C135[i,j]とすることができるが、ここでは、周辺加算によって、これらの類似度を算出する例を示す。
【０２４５】
すなわち、補間処理部１７は、補間対象サブピクセルと、周辺サブピクセルとにおける類似度成分の方向別の加重加算よって得られる値（C45_0[i,j]、C45_0[i+1,j]、C45_0[i-1,j-1]、C45_0[i-1,j+1]、C45_0[i+2,j-1]、C45_0[i+2,j+1]など）を、以下の《周辺加算方法１》または《周辺加算方法２》のように加重加算して、補間対象サブピクセルの斜め方向の類似度C45[i,j]、C135[i,j]を算出する。
【０２４６】
《周辺加算方法１》
C45[i,j]=(2・(C45_0[i,j]+C45_0[i+1,j])+C45_0[i-1,j-1]+C45_0[i-1,j+1]
+C45_0[i+2,j-1]+C45_0[i+2,j+1])/8 ・・・式181
C135[i,j]=(2・(C135_0[i,j]+C135_0[i+1,j])+C135_0[i-1,j-1]
+C135_0[i-1,j+1]+C135_0[i+2,j-1]+C135_0[i+2,j+1])/8 ・・・式182
《周辺加算方法２》
C45[i,j]=(2・(C45_0[i,j]+C45_0[i+1,j])
+2・(C45_0[i-1,j-1]+C45_0[i-1,j+1]+C45_0[i+2,j-1]+C45_0[i+2,j+1])
+(C45_0[i,j-2]+C45_0[i+1,j-2])/2
+(C45_0[i,j+2]+C45_0[i+1,j+2])/2
+C45_0[i-3,j]+C45_0[i+4,j])/16 ・・・式183
C135[i,j]=(2・(C135_0[i,j]+C135_0[i+1,j])
+2・(C135_0[i-1,j-1]+C135_0[i-1,j+1]+C135_0[i+2,j-1]+C135_0[i+2,j+1]
+(C135_0[i,j-2]+C135_0[i+1,j-2])/2
+(C135_0[i,j+2]+C135_0[i+1,j+2])/2
+C135_0[i-3,j]+C135_0[i+4,j])/16 ・・・式184
なお、座標[i,j]に位置するサブピクセルの類似度を算出する際に用いる色情報の位置と、座標[i+1,j]に位置するサブピクセル（ベイア配列上の画素の左側に位置するサブピクセル）の類似度を算出する際に用いる色情報の位置とが、図２６（２）のサブピクセル型ベイア配列のi列目のサブピクセルとi+1列目のサブピクセルとの間を通る直線について、左右対称であるすると、座標[i+1,j]に位置するサブピクセルの斜め45度方向の類似度C45[i+1,j]および斜め135度方向の類似度C135[i+1,j]は、式171〜式184に記載のi-3〜i+4を、以下のように置き換えることによって算出できる。
【０２４７】
i-3→i+4,i-2→i+3,i-1→i+2,i→i+1,i+1→i,i+2→i-1,i+3→i-2,i+4→i-3。
補間処理部１７は、以上説明したようにして斜め方向の類似度を算出すると、その類似度に基づき、補間対象サブピクセルにおける斜め方向に対する類似性（以下、「斜め類似性」と称する。）を判定する（図２６Ｓ７）。そして、補間処理部１７は、第２の実施形態で斜め主要類似性の判定結果として指標DN[ip,j]に値を設定した処理と同様に、斜め類似性の判定結果として指標DN[i,j]に値を設定する（図２６Ｓ８〜Ｓ１０）。
【０２４８】
なお、座標[i+1,j]に位置するサブピクセルの斜め類似性を示す指標DN[i+1,j]の設定は、上述したようにして算出される斜め45度方向の類似度C45[i+1,j]および斜め135度方向の類似度C135[i+1,j]を用いることによって、指標DN[i,j]と同様に設定することができる。
次に、補間処理部１７は、指標HV[i,j]および指標DN[i,j]が如何なる値であるかを判定し（図２６Ｓ１１）、第２の実施形態で補間対象画素の類似性の強さをcase1〜case9に分類した処理と同様に、補間対象サブピクセルの類似性の強さをcase1〜case9の何れかに分類する。
【０２４９】
そして、補間処理部１７は、このような分類の結果に応じて、以下のようにして座標[i,j]に位置する補間対象サブピクセルの緑の補間値G[i,j]を算出する。
case1のとき:G[i,j]=Gv45L:図２６Ｓ１２
case2のとき:G[i,j]=GvL:図２６Ｓ１３
case3のとき:G[i,j]=Gv135L:図２６Ｓ１４
case4のとき:G[i,j]=(Gv45L+Gh45L)/2:図２６Ｓ１５
case5のとき:G[i,j]=(GvL+GhL)/2:図２６Ｓ１６
case6のとき:G[i,j]=(Gv135L+Gh135L)/2:図２６Ｓ１７
case7のとき:G[i,j]=Gh45L:図２６Ｓ１８
case8のとき:G[i,j]=GhL:図２６Ｓ１９
case9のとき:G[i,j]=Gh135L:図２６Ｓ２０
ただし、GvL,Gv45L,Gv135L,GhL,Gh45L,Gh135Lは、第２の実施形態の式77〜式82のようにして算出される値である。
【０２５０】
なお、座標[i+1,j]に位置する補間対象サブピクセルの緑の補間値G[i+1,j]は、上述したように設定される指標HV[i+1,j]および指標DN[i,j]が如何なる値であるかを判定し、補間対象サブピクセルの類似性の強さをcase1〜case9の何れかに分類することによって、以下のように算出することができる。
case1のとき:G[i+1,j]=Gv45R
case2のとき:G[i+1,j]=GvR
case3のとき:G[i+1,j]=Gv135R
case4のとき:G[i+1,j]=(Gv45R+Gh45R)/2
case5のとき:G[i+1,j]=(GvR+GhR)/2
case6のとき:G[i+1,j]=(Gv135R+Gh135R)/2
case7のとき:G[i+1,j]=Gh45R
case8のとき:G[i+1,j]=GhR
case9のとき:G[i+1,j]=Gh135R
ただし、GvR,Gv45R,Gv135R,GhR,Gh45R,Gh135Rは、第２の実施形態の式83〜式88のようにして算出される値である。
【０２５１】
以上説明したように、第６の実施形態では、補間対象サブピクセル毎に、類似度を算出し、その類似度に基づく類似性の判定結果に応じて補間値を算出することができる。
なお、斜め45度方向の類似度C45[i,j]、C45[i+1,j]および斜め135度方向の類似度C135[i,j]、C135[i+1,j]は、式185および式186によって算出しても良い。
【０２５２】
C45[i,j]=C45[i+1,j]=
((|R[i+4,j-2]-R[i,j]|-|R[i-4,j+2]-R[i,j]|)/2
+(|R[i+5,j-2]-R[i+1,j]|-|R[i-3,j+2]-R[i+1,j]|)/2)/2 ・・・式185
C135[i,j]=C135[i+1,j]=
((|R[i-4,j-2]-R[i,j]|-|R[i+4,j+2]-R[i,j]|)/2
+(|R[i-3,j-2]-R[i+1,j]|-|R[i+5,j+2]-R[i+1,j]|)/2)/2 ・・・式186
ところで、上述した第１の実施形態ないし第６の実施形態の補間処理は、３色で構成されるサブピクセル型ベイア配列に限らず、サブピクセル構造を持つ３色以上のフィルタ配列に適用することも可能である。
【０２５３】
《第７の実施形態》
以下、第７の実施形態の動作を説明する。
図２７は、第７の実施形態の機能ブロック図である。
なお、第７の実施形態は、請求項５９ないし請求項６７に記載の補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。
【０２５４】
図２７において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
なお、図２７に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、図２７の制御部２１と画像処理部２２とが図１の制御部１１と画像処理部１５とに代えて設けられ、図２７のインタフェース部２３が新たに設けられた点である。
【０２５５】
また、図２７において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。
なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。
【０２５６】
以下、図２７を参照して第７の実施形態の動作を説明する。
まず、電子カメラ２０では、図１に示した電子カメラ１０と同様にして生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。
【０２５７】
このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。
パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。補間処理により各色成分の解像度が高められた画像データは、必要に応じて画像圧縮等を行ってから、ハードディスク３３などに記録され、最終的に、ディスプレイ、プリンタなどの各接続機器に応じた表色系データとして出力される。
【０２５８】
すなわち、第７の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。
【０２５９】
【発明の効果】
上述したように第１、第２７の発明では、画素ピッチでの大まかな類似性の強弱の判定を正確に行うことが可能であり、第２、第３および第５の発明では、画素ピッチでの大まかな類似性の強弱の判定とサブピクセルピッチでの細かな類似性の強弱の判定とが可能である。また、第４ないし第６、第２８の発明では、補間対象サブピクセルについて対象な距離に位置する色情報だけでなく、非対称な距離に位置する色情報を用いて類似性の強弱を判定する。さらに、類似度に基づき類似性の強弱を判定すれば、類似性の強弱を的確に判定することができ、補間対象サブピクセルの補間値を精度良く算出することができる。
【０２６０】
第７の発明では、主要類似性判定手段による判定の結果として類似性の強い方向が不明であると判断された場合にのみ、微細部類似性判定手段によって類似性の強弱を判定しても、類似性の強弱の判定の精度が低下することがなく、その上、主要類似性判定手段と微細部類似性判定手段とによる類似性の強弱の判定を全てのサブピクセルに対して行う場合と比べて、類似性の強弱を速やかに判定することができ、補間対象サブピクセルの補間値を速やかに算出することができる。
【０２６１】
第８ないし第１０の発明では、複数の色成分の色情報を用いて、類似性の強弱を判定するため、色調が変化する画像（異なる色成分間で色情報の比率が変化する画像）であっても、類似性を的確に判定することができる。また、これらの発明では、複数の色成分の色情報として、補間対象サブピクセルの色情報やその近傍に存在する色情報を用い、類似性の強弱を判定することが可能であるため、空間周波数が高い画像であっても、類似性を的確に判定することができる。したがって、これらの発明によれば、補間処理を行うべき画像に「色調が変化する部分」や「空間周波数が高い部分」が混在する場合であっても、画像全体の調和を保ちつつ、精度良く補間処理を行うことができる。
【０２６２】
第１１、第２３の発明は、補間対象サブピクセルが属する局所的な領域における画像の特徴に応じて、異色間類似度と同色間類似度とを使い分けたり、異色間類似度と同色間類似度とを加重加算する際の加重比率を変えるため、類似性の強弱の判定に適した類似度を算出することができると共に、複数の色情報を用いて異色間類似度および同色間類似度の算出することによって、類似度の算出精度を上げることができる。したがって、補間量を高い精度で算出することができる。
【０２６３】
第１２、第２４の発明では、異色間類似度を同色間類似度よりも短い距離間隔で存在する色情報を用いて算出するので、異色間類似度に空間周波数が高い画像の類似性が反映される。すなわち、異色間類似度を用いて類似性の強弱を判定する際や、色彩に関する情報として異色間類似度を用いて補間対象サブピクセルが属する局所的な領域における画像の特徴を抽出する際に、高周波部分の解像能力が効果的に引き出すことができる。そのため、類似性の強弱の判定精度を上げることができ、補間量の精度が高められる。
【０２６４】
第１３の発明は、異色間類似度および同色間類似度の算出に多くの色成分を用いた類似度成分を生成することにより、類似度を高い精度で算出することができ、補間量の精度が高められる。
第１４の発明は、色彩に関する情報を用いることによって、補間対象サブピクセルが属する局所的な領域における画像の特徴を抽出するので、異色間類似度と同色間類似度との使い分けや、異色間類似度と同色間類似度との加重比率の設定に際し、適切な指標に基づいて画像の特徴抽出が行える。そのため、類似性の強弱の判定に適した類似度を算出することができ、補間量の精度が高められる。
【０２６５】
第１５、第１６の発明は、補間対象サブピクセルが属する局所的な領域における画像の特徴を抽出する際、色彩に関する情報として異色間類似度を用いるので、類似性の強弱の判定のために異色間類似度を算出してしまえば、色彩に関する情報を改めて求める必要がない。すなわち、補間処理全体を効率良く行うことができる。
【０２６６】
第１７、第２５の発明では、補間対象サブピクセルと周辺のサブピクセルとの間で、類似性が強い方向の連続性を考慮しつつ、補間対象サブピクセルの類似度を算出することができ、第１８、第２６の発明では、ノイズなどによって発生する類似性の誤判定を低減することができる。すなわち、これらの発明では、類似性の強弱の判定精度を上げることができるので、補間量の精度が高められる。
【０２６７】
第１９の発明では、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度に、特定の１種類の色成分の色情報や複数種類の色成分の色情報を反映させることができ、第２０の発明では、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度に、複数種類の色成分の色情報を反映させることができる。また、第２１の発明では、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度に、複数種類の色成分の色情報を的確に反映させることができ、第２２の発明では、各々の類似度成分に対する最短距離の相違に影響されることなく、適切な類似度を算出することができる。したがって、これらの発明によれば、補間対象サブピクセルを含む局所領域の画像の特徴を反映しつつ、類似性の強弱を判定することができるため、画像全体の調和を崩すことなく補間値を算出することができる。
【図面の簡単な説明】
【図１】第１の実施形態ないし第６の実施形態に対応する電子カメラの機能ブロック図である。
【図２】第１の実施形態における補間処理部の動作フローチャート（１）である。
【図３】第１の実施形態における補間処理部の動作フローチャート（２）である。
【図４】周辺加算方法を説明する図である。
【図５】微細類似度成分を算出する際に用いる色情報の位置を示す図である。
【図６】色差補間で用いる色情報の位置を示す図である。
【図７】色差の線形補間を説明する図である。
【図８】色差を中央値で補間する処理を説明する図である。
【図９】 median処理の範囲を説明する図である。
【図１０】倍率色収差の影響を説明する図である。
【図１１】倍率色収差による過補正を説明する図である。
【図１２】第２の実施形態における補間処理部の動作フローチャートである。
【図１３】第２の実施形態における補間処理部の動作フローチャート（続き）である。
【図１４】 (HV[ip,j],DN[ip,j])の値に対応する類似性の強い方向を示す図である。
【図１５】緑の補間値を算出する際に用いる色情報の位置を示す図（１）である。
【図１６】緑の補間値を算出する際に用いる色情報の位置を示す図（２）である。
【図１７】緑の補間値を算出する際に用いる色情報の位置を示す図（３）である。
【図１８】倍率色収差の影響が解消される様子を説明する図である。
【図１９】第３の実施形態における補間処理部の動作フローチャート（１）である。
【図２０】第３の実施形態における補間処理部の動作フローチャート（２）である。
【図２１】第３の実施形態における補間処理部の動作フローチャート（３）である。
【図２２】類似度と類似性の強弱の関係を示す図である。
【図２３】輝度を生成するためのフィルタを示す図である。
【図２４】サブピクセル型ベイア配列における周辺加算方法を説明する図である。
【図２５】第５の実施形態における補間処理部の動作フローチャートである。
【図２６】第６の実施形態における補間処理部の動作フローチャートである。
【図２７】第７の実施形態における機能ブロック図である。
【図２８】撮像素子における色成分の配列を示す図である。
【符号の説明】
１０、２０ 電子カメラ
１１、２１ 制御部
１２ 撮影光学系
１３ 撮像部
１４ Ａ／Ｄ変換部
１５、２２ 画像処理部
１６ 記録部
１７ 補間処理部
２３、３２ インタフェース部
３０ パーソナルコンピュータ
３１ ＣＰＵ
３３ ハードディスク
３４ メモリ

Claims (28)

  1. ２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、
    各々の画素を構成する２つのサブピクセルから出力される色情報をひとまとめにした値を当該画素の色情報に相当する画素出力色情報とし、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を、該画素出力色情報を用いて判定する主要類似性判定手段と、
    前記主要類似性判定手段によって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手段と
    を備えたことを特徴とする補間処理装置。
  2. 請求項１に記載の補間処理装置において、
    サブピクセルから出力される色情報をサブピクセル出力色情報とし、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を、該サブピクセル出力色情報を用いて判定する微細部類似性判定手段
    を備え、
    前記補間値算出手段は、
    前記主要類似性判定手段と前記微細部類似性判定手段とによって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する
    ことを特徴とする補間処理装置。
  3. 請求項２に記載の補間処理装置において、
    前記主要類似性判定手段は、
    補間対象サブピクセルが属する画素について対称な距離に位置する画素の画素出力色情報を用い、前記類似性の強弱を判定し、
    前記微細部類似性判定手段は、
    補間対象サブピクセルについて非対称な距離に位置するサブピクセルサブピクセル出力色情報を用い、前記類似性の強弱を判定する
    ことを特徴とする補間処理装置。
  4. ２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、
    補間対象サブピクセルについて対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する主要類似性判定手段と、
    補間対象サブピクセルについて非対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する微細部類似性判定手段と、
    前記主要類似性判定手段と前記微細部類似性判定手段とによって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手段と
    を備えたことを特徴とする補間処理装置。
  5. 請求項４に記載の補間処理装置において、
    前記主要類似性判定手段は、
    前記対象な距離に位置する色情報として、補間対象サブピクセルが属する画素について対象な距離に位置する画素を構成する２つのサブピクセルから出力される色情報をひとまとめにした値を用い、
    前記微細部類似性判定手段は、
    前記非対称な距離に位置する色情報として、補間対象サブピクセルについて非対称な距離に位置するサブピクセルから出力される色情報を用いる
    ことを特徴とする補間処理装置。
  6. 請求項４に記載の補間処理装置において、
    前記主要類似性判定手段は、
    前記対象な距離に位置する色情報として、補間対象サブピクセルについて対称な距離に位置するサブピクセルから出力される色情報を用い、
    前記微細部類似性判定手段は、
    前記非対称な距離に位置する色情報として、補間対象サブピクセルについて非対称な距離に位置するサブピクセルから出力される色情報を用いる
    ことを特徴とする補間処理装置。
  7. 請求項２ないし請求項６の何れか１項に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    前記主要類似性判定手段による判定の結果として類似性の強い方向が不明であると判断された場合に、類似性の強弱を判定する
    ことを特徴とする補間処理装置。
  8. 請求項１ないし請求項７の何れか１項に記載の補間処理装置において、前記画像データが複数の色成分から成る表色系で示される場合、
    前記主要類似性判定手段は、
    補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を、複数の色成分の色情報を用いて算出し、該類似度に基づき少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する
    ことを特徴とする補間処理装置。
  9. 請求項８に記載の補間処理装置において、前記画像データが、第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が欠落するサブピクセルに第１色成分の色情報に相当する補間値を決める場合、
    前記主要類似性判定手段は、
    （１）前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度成分と、
    （２）前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度成分と、
    （３）前記第１色成分の色情報のみを用いた類似度成分と、
    （４）前記第２色成分の色情報のみを用いた類似度成分と、
    （５）前記第３色成分の色情報のみを用いた類似度成分と
    の複数の類似度成分のうち、第１〜第３色成分の色情報が含まれる組み合わせを利用して、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出する
    ことを特徴とする補間処理装置。
  10. 請求項９に記載の補間処理装置において、
    前記主要類似性判定手段は、
    前記複数の類似度成分のうち、前記組み合わせに属する類似度成分を方向別に加重加算して、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出する
    ことを特徴とする補間処理装置。
  11. 請求項１ないし請求項７の何れか１項に記載の補間処理装置において、前記画像データが複数の色成分から成る表色系で示される場合、
    前記主要類似性判定手段は、
    補間対象サブピクセルの色情報とその近傍に存在する色情報とから選ばれる複数の色情報に基づき、
    （１）異なる色成分の色情報を用いて算出される異色間類似度と、
    （２）同じ色成分の色情報を用いて算出される同色間類似度と
    の２種類の類似度を算出し、補間対象サブピクセルが属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出し、該類似度に基づき少なくとも１方向に対する補間対象サブピクセルの類似性の強弱を判定する
    ことを特徴とする補間処理装置。
  12. 請求項１１に記載の補間処理装置において、
    前記主要類似性判定手段は、
    前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出する
    ことを特徴とする補間処理装置。
  13. 請求項１１または請求項１２に記載の補間処理装置において、前記画像データが、第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が欠落するサブピクセルに第１色成分の色情報に相当する補間値を決める場合、
    前記主要類似性判定手段は、
    前記異色間類似度として、
    （１）前記第１色成分の色情報と前記第２色成分の色情報とから成る異色間類似度成分と、
    （２）前記第１色成分の色情報と前記第３色成分の色情報とから成る異色間類似度成分と
    の少なくとも一方を含む類似度を算出し、
    前記同色間類似度として、
    （１）前記第１色成分の色情報のみから成る同色間類似度成分と、
    （２）前記第２色成分の色情報のみから成る同色間類似度成分と、
    （３）前記第３色成分の色情報のみから成る同色間類似度成分と
    の少なくとも１つを含む類似度を算出する
    ことを特徴とする補間処理装置。
  14. 請求項１１に記載の補間処理装置において、
    前記主要類似性判定手段は、
    補間対象サブピクセルが属する局所的な領域における画像の特徴として色彩に関する情報を用い、該色彩に関する情報を基準に、前記局所的な領域における画像が無彩色部であるか彩色部であるかを判別し、該局所的な領域における画像が無彩色部である場合には、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として前記異色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該異色間類似度の加重比率を該同色間類似度の加重比率よりも大きくし、該局所的な領域における画像が彩色部である場合には、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として該同色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該同色間類似度の加重比率を該異色間類似度の加重比率よりも大きくする
    ことを特徴とする補間処理装置。
  15. 請求項１４に記載の補間処置装置において、
    前記主要類似性判定手段は、
    前記色彩に関する情報として前記異色間類似度を用いる
    ことを特徴とする補間処理装置。
  16. 請求項１４または請求項１５に記載の補間処理装置において、
    前記主要類似性判定手段は、
    前記異色間類似度が、少なくとも一方向に対して強い類似性を示す場合、前記局所的な領域における画像が無彩色部であると判断し、その他の場合、該局所的な領域における画像が彩色部であると判断する
    ことを特徴とする補間処理装置。
  17. 請求項８ないし請求項１６の何れか１項に記載の補間処理装置において、
    前記主要類似性判定手段は、
    補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として、補間対象サブピクセルのみならず補間対象サブピクセルの周辺のサブピクセルに対して算出した少なくとも２つの方向に対する類似度を用いる
    ことを特徴とする補間処理装置。
  18. 請求項８または請求項１１に記載の補間処理装置において、
    前記主要類似性判定手段は、
    各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定する
    ことを特徴とする補間処理装置。
  19. 請求項２ないし請求項７の何れか１項に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を、１種類以上の色成分の色情報を用いて算出して、該類似度に基づき少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する
    ことを特徴とする補間処理装置。
  20. 請求項１９に記載の補間処理装置において、１画素につき第１〜第ｎ（ｎ≧２）の色成分の何れか１つの色成分が対応付けられ、第１色成分よりも空間周波数が低い第２色成分が対応付けられた画素を構成するサブピクセルに第１色成分の補間値を補う場合、
    前記微細部類似性判定手段は、
    （１）第２色成分の色情報を出力するサブピクセルのうち、最短距離に位置するサブピクセル間の第２色成分の色情報の差異を示す類似度成分と、
    （２）第１色成分の色情報を出力するサブピクセルのうち、最短距離に位置するサブピクセル間の第１色成分の色情報の差異を示す類似度成分と、
    （３）第１色成分の色情報を出力するサブピクセルと第２色成分の色情報を出力するサブピクセルとのうち、最短距離に位置するサブピクセルの第１色成分と第２色成分との色情報の差異を示す類似度成分と
    の少なくとも１つの類似度成分を用いて、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出する
    ことを特徴とする補間処理装置。
  21. 請求項２０に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    前記各々の類似度成分を各方向について加重加算して、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出する
    ことを特徴とする補間処理装置。
  22. 請求項２０または請求項２１に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    補間対象サブピクセルにおける各方向に対する類似度を算出する際に、前記各々の類似度成分をサブピクセル間の距離に応じて規格化して用いる
    ことを特徴とする補間処理装置。
  23. 請求項２ないし請求項７の何れか１項に記載の補間処理装置において、前記画像データが複数の色成分から成る表色系で示される場合、
    前記微細部類似性判定手段は、
    補間対象サブピクセルの色情報とその近傍に存在する色情報とから選ばれる複数の色情報に基づき、
    （１）異なる色成分の色情報を用いて算出される異色間類似度と、
    （２）同じ色成分の色情報を用いて算出される同色間類似度と
    の２種類の類似度を算出し、補間対象サブピクセルが属する局所的な領域における画像の特徴に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより、補間対象サブピクセルにおける少なくとも２つの方向に対する類似度を算出し、該類似度に基づき少なくとも１方向に対する補間対象サブピクセルの類似性の強弱を判定する
    ことを特徴とする補間処理装置。
  24. 請求項２３に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出する
    ことを特徴とする補間処理装置。
  25. 請求項１９ないし請求項２４の何れか１項に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    補間対象サブピクセルにおける少なくとも２つの方向に対する類似度として、補間対象サブピクセルのみならず補間対象サブピクセルの周辺のサブピクセルに対して算出した少なくとも２つの方向に対する類似度を用いる
    ことを特徴とする補間処理装置。
  26. 請求項１９または請求項２３に記載の補間処理装置において、
    前記微細部類似性判定手段は、
    各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定する
    ことを特徴とする補間処理装置。
  27. ２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める補間処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
    各々の画素を構成する２つのサブピクセルから出力される色情報をひとまとめにした値を当該画素の色情報に相当する画素出力色情報とし、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を、該画素出力色情報を用いて判定する主要類似性判定手順と、
    前記主要類似性判定手順によって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手順と
    をコンピュータに実行させることを特徴とする補間処理プログラムを記録した記録媒体。
  28. ２次元配列された複数の画素の１画素につき１つの色成分が対応付けられ、各々の画素が２つのサブピクセルに分割されて成る撮像素子によって生成される画像データに対し、各々のサブピクセルに欠落する色成分の色情報に相当する補間値を決める補間処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
    補間対象サブピクセルについて対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する主要類似性判定手順と、
    補間対象サブピクセルについて非対称な距離に位置する色情報を用い、少なくとも２つの方向に対する補間対象サブピクセルの類似性の強弱を判定する微細部類似性判定手順と、
    前記主要類似性判定手順と前記微細部類似性判定手順とによって判定された類似性の強弱に応じて、補間対象サブピクセルの補間値を算出する際に用いるサブピクセルの色情報を選択し、該色情報を用いて補間対象サブピクセルの補間値を算出する補間値算出手順と
    をコンピュータに実行させることを特徴とする補間処理プログラムを記録した記録媒体。
JP2000276212A 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体 Expired - Lifetime JP4415468B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000276212A JP4415468B2 (ja) 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-11797 2000-01-20
JP2000011797 2000-01-20
JP2000276212A JP4415468B2 (ja) 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2001275126A JP2001275126A (ja) 2001-10-05
JP2001275126A5 JP2001275126A5 (ja) 2007-09-13
JP4415468B2 true JP4415468B2 (ja) 2010-02-17

Family

ID=26583850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000276212A Expired - Lifetime JP4415468B2 (ja) 2000-01-20 2000-09-12 補間処理装置および補間処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4415468B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60235526D1 (de) * 2001-01-25 2010-04-15 Nikon Corp Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor
JP4329542B2 (ja) * 2001-12-28 2009-09-09 株式会社ニコン 画素の類似度判定を行う画像処理装置、および画像処理プログラム
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
JP5388534B2 (ja) * 2008-10-09 2014-01-15 キヤノン株式会社 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
JP5672872B2 (ja) * 2010-09-08 2015-02-18 株式会社リコー 画像形成装置
JP2014027526A (ja) * 2012-07-27 2014-02-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2001275126A (ja) 2001-10-05

Similar Documents

Publication Publication Date Title
JP4599672B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP3985679B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JPH11122626A (ja) 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US7146042B2 (en) Image processing apparatus and colorimetric system conversion method
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
JP5076186B2 (ja) 画像拡大方法
WO2022061879A1 (zh) 图像处理方法、装置和***，计算机可读存储介质
JP4415468B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
US20020047907A1 (en) Image processing apparatus and storage medium for storing image processing program
JP4581191B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20120287299A1 (en) Image processing device, storage medium storing image processing program, and electronic camera
JP4032579B2 (ja) 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体
US20080316343A1 (en) Method and Apparatus For Allowing Access to Individual Memory
JP4748278B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP2002152762A (ja) 画像処理装置および画像処理プログラムを記録した記録媒体
JP2004007167A (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP2002204460A (ja) 画像処理装置および画像処理プログラムを記録した記録媒体
CN100559888C (zh) 应用于彩色数字影像的画素彩度抑制方法与装置
JP2001169097A (ja) 画像処理装置および画像処理方法
JP2003348608A (ja) 画像処理方法、画像処理プログラム、画像処理装置
WO2017125162A1 (en) Method and device for demosaicing of color images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4415468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151204

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151204

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term