JP2012100215A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 欠陥画素の補正処理と高画質化の処理とを、高精度かつ高速に行うことができる技術を提供することを目的とする。
【解決手段】 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を注目画素の画素位置で加重加算して注目画素の色成分と異なる色成分の値を算出し、各画素が複数の色成分を有する第２画像を生成する画像処理部と、第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、画像処理部は、第１画像の色情報を注目画素の画素位置で加重加算する複数の係数パターンを用意し、注目画素の色成分および欠陥画素の画素位置に基づいて、係数パターンを選択し加重加算する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

従来、ＣＣＤやＣＭＯＳなどの撮像素子は、製造時または製造後に生じる傷などにより正常に動作しない受光素子を欠陥画素として有する。そうした欠陥画素を有する撮像素子によって撮像された画像は、欠陥画素により画質が低下してしまう。そこで、欠陥画素による画質低下を回避するための様々な技術が開発されている。

例えば、欠陥画素を中心とする参照領域における画素値の変化を検出することにより、欠陥画素の画素値を補正するのに最適な方向を決定し、その方向に配置された画素対を参照領域内から選択して、欠陥画素の画素値を補正する技術がある（特許文献１など参照）。

特開２００５−１７５５４７号公報

ところで、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色のカラーフィルタが所定の位置に配置（例えば、ベイヤ配列など）された撮像素子で撮像された画像の各画素は、いずれか１つの色成分の色情報しか有しない。そこで、従来技術では、高画質化するために、欠陥画素の補間処理した後、各画素が３つ全ての色成分の色情報を有するように、空格子補間や色変換などの処理を行うが、処理に時間がかかるという問題がある。

上記従来技術が有する問題に鑑み、本発明の目的は、欠陥画素の補正処理と高画質化の処理とを、高精度かつ高速に行うことができる技術を提供することにある。

上記課題を解決するために、本発明の画像処理装置は、各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を注目画素の画素位置で加重加算して注目画素の色成分と異なる色成分の値を算出し、各画素が複数の色成分を有する第２画像を生成する画像処理部と、第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、画像処理部は、第１画像の色情報を注目画素の画素位置で加重加算する複数の係数パターンを用意し、注目画素の色成分および欠陥画素の画素位置に基づいて、係数パターンを選択し加重加算する。

本発明の画像処理装置は、各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を注目画素の画素位置で加重加算して注目画素の色成分と異なる色成分の値を算出し、各画素が複数の色成分を有する第２画像を生成する画像処理部を備え、第１画像は、欠陥画素の画素位置の情報が付加され、画像処理部は、第１画像の色情報を注目画素の画素位置で加重加算する複数の係数パターンを用意し、注目画素の色成分および欠陥画素の画素位置に基づいて、係数パターンを選択し加重加算する。

また、画像処理部は、注目画素の画素位置における複数の方向に対する類似性の強弱を判定し、注目画素の色成分および欠陥画素の画素位置とともに、その判定結果に基づいて、係数パターンを選択してもよい。

また、画像処理部は、注目画素に隣接する画素が欠陥画素である場合、隣接する画素の画素位置に基づいて、注目画素の画素位置における複数の方向に対する類似性の強弱を判定してもよい。

また、係数パターンは、注目画素の画素位置を中心に複数の色成分の色情報が含まれる最小の領域内の画素の色情報を加重加算する零以上の値からなってもよい。

本発明の画像処理装置は、各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を零以上の可変な係数により注目画素の画素位置で加重加算して注目画素の色情報と異なる色成分の値を算出し、各画素が複数の色成分を有する第２画像を生成する画像処理部と、第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、画像処理部は、注目画素の色成分および欠陥画素の画素位置に基づいて係数を変え、注目画素の色情報と注目画素に隣接する画素の色情報とを加重加算する。

本発明の画像処理装置は、各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を零以上の可変な係数により注目画素の画素位置で加重加算して注目画素の色情報と異なる色成分の値を算出し、各画素が複数の色成分を有する第２画像を生成する画像処理部を備え、第１画像は、欠陥画素の位置情報が付加され、画像処理部は、注目画素の色成分および欠陥画素の画素位置に基づいて係数を変え、注目画素の色情報と注目画素に隣接する画素の色情報とを加重加算する。

また、画像処理部は、注目画素の画素位置における複数の方向に対する類似性の強弱を判定し、注目画素の色成分および欠陥画素の画素位置とともに、その判定結果に基づいて、係数を変えてもよい。

また、画像処理部は、注目画素に隣接する画素が欠陥画素である場合、隣接する画素の画素位置に基づいて、注目画素の画素位置における複数の方向に対する類似性の強弱を判定してもよい。

また、画像処理部は、第１画像の全ての画素において、第１画像の色情報を常に一定の色成分比率で加重加算してもよい。

また、画像処理部は、第１画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とからなる場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算してもよい。

本発明の画像処理装置は、各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を零以上の可変な係数により注目画素の画素位置で加重加算して注目画素の色情報と異なる色成分の値を算出し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、異なる色成分を補正し、各画素が複数の色成分を有する第２画像を生成する画像処理部と、第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、画像処理部は、注目画素の色成分および欠陥画素の画素位置に基づいて係数を変える。

本発明の画像処理装置は、各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の色情報を零以上の可変な係数により注目画素の画素位置で加重加算して注目画素の色情報と異なる色成分の値を算出し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、異なる色成分の値を補正し、各画素が複数の色成分を有する第２画像を生成する画像処理部を備え、第１画像は、欠陥画素の位置情報が付加され、画像処理部は、注目画素の色成分および欠陥画素の画素位置に基づいて係数を変える。

また、画像処理部は、注目画素の画素位置における複数の方向に対する類似性の強弱を判定し、注目画素の色成分および欠陥画素の画素位置とともに、その判定結果に基づいて、係数を変えてもよい。

また、画像処理部は、注目画素に隣接する画素が欠陥画素である場合、隣接する画素の画素位置に基づいて、注目画素の画素位置における複数の方向に対する類似性の強弱を判定してもよい。

また、画像処理部は、予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いてもよい。

また、異なる色成分は、輝度成分および色差成分であってもよい。

また、画像処理部は、第１画像が、第１色成分、第２色成分および第３色成分を有する場合、第１色成分と第２色成分とで構成される第１類似度成分、第２色成分と第３色成分とで構成される第２類似度成分、第３色成分と第１色成分とで構成される第３類似度成分、第１色成分のみで構成される第４類似度成分、第２色成分のみで構成される第５類似度成分、第３色成分のみで構成される第６類似度成分の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、複数の方向に対する類似性の強弱を判定してもよい。

本発明の撮像装置は、撮像素子と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、各画素が複数の色成分のいずれか１つの色成分の色情報を有し、欠陥画素の画素位置の情報が付加された第１画像を読み込む入力手順と、第１画像の色情報を注目画素の画素位置で加重加算して注目画素の色成分と異なる色成分の値を算出し、各画素が複数の色成分を有する第２画像を生成する画像処理手順と、をコンピュータに実行させ、画像処理手順は、第１画像の色情報を注目画素の画素位置で加重加算する複数の係数パターンを用意し、注目画素の色成分および欠陥画素の位置関係に基づいて、係数パターンを選択し加重加算する。

本発明によれば、欠陥画素の補正処理と高画質化の処理とを、高精度かつ高速に行うことができる。

電子カメラ１の機能ブロック図 ベイヤ配列型画像データの色成分の配列を示す図 一の実施形態における画像処理部による画像復元処理の動作フローチャート 一の実施形態の画像処理部による輝度成分算出処理の動作フローチャート（その１） 一の実施形態の画像処理部による輝度成分算出処理の動作フローチャート（その２） 一の実施形態の画像処理部による輝度成分算出処理の動作フローチャート（その３） 一の実施形態の画像処理部による色差成分算出処理の動作フローチャート 周辺加算を説明する図 係数パターンの一例を示す図 注目画素が欠陥画素の場合の図９の各係数パターンの変形例を示す図 係数パターンの一例を示す図 バンドパスフィルタの一例を示す図 係数パターンの一例を示す図 図１２の係数パターンの変形例を示す図 欠陥画素がある場合の図１２の係数パターン１１の変形例を示す図 欠陥画素がある場合の図１２の係数パターン１２の変形例を示す図 欠陥画素がある場合の図１２の係数パターン１３の変形例を示す図 色差成分を補間するフィルタの一例を示す図 色差成分を補間するフィルタの別例を示す図 一の実施形態のデータの流れを示す図 一の実施形態の変形例における画像処理部による輝度成分算出処理の動作フローチャート（その１） 一の実施形態の変形例における画像処理部による輝度成分算出処理の動作フローチャート（その２）

以下、図面に基づいて、本発明の実施形態について詳細を説明する。

ただし、本発明の実施形態では、本発明の画像処理装置が行う画像の高画質化の機能を備えた電子カメラを用いて説明を行う。

図１は、本発明の実施形態に対応する電子カメラ１の機能ブロック図である。

図１において、電子カメラ１は、ＤＦＥ１０、画像処理部（例えば、画像処理専用の１チップ・マイクロプロセッサ）１１、ＣＰＵ１２、メモリ１３、表示インタフェース（表示Ｉ／Ｆ）１４を備える。また、電子カメラ１は、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースを実現するメディアＩ／Ｆ１７、所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８などの外部装置とのインタフェースを実現する入出力Ｉ／Ｆ１９を備える。電子カメラ１のこれら各構成要素は、バスを介して相互に情報伝達可能に接続される。

また、電子カメラ１は、撮像光学系２０、撮像素子２１、タイミングジェネレータ（ＴＧ）２２を備える。撮像素子２１は、撮像光学系２０を透過して結像した光学像を撮像し、画像信号をＤＥＦ１０に出力する。ＤＦＥ１０は、撮像素子２１から出力される画像信号をＡ／Ｄ変換などの所定の信号処理を行うデジタルフロントエンド回路である。ＤＥＦ１０は、バスを介して、画像処理部１１にデジタル化した画像信号を出力する。ＴＧ２２は、ＣＰＵ１２からの制御指示に基づいて、撮像素子２１、ＤＥＦ１０、画像処理部１１それぞれに対し動作のタイミングを制御する。

また、電子カメラ１は、レリーズボタンやモード切り換え用の選択ボタンなどを有する操作部２３を備え、操作部２３によって受け付けた操作者からの操作指示を、ＣＰＵ１２に出力する。電子カメラ１は、表示Ｉ／Ｆ１４によって生成出力される表示用画像を表示するモニタ１５を備える。

ＰＣ１８には、モニタ２４やプリンタ２５などが接続されており、ＣＤ−ＲＯＭ２６に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースを実現するメモリカード用Ｉ／Ｆ（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１などの外部装置とのインタフェースを実現する外部Ｉ／Ｆ（不図示）を備える。

図１に示す構成の電子カメラ１において、操作部２３を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、ＣＰＵ１２は、ＴＧ２２を介して、撮像素子２１、ＤＥＦ１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、ＤＥＦ１０でＡ／Ｄ変換などの所定の信号処理が施され、Ｒａｗ画像データとして、画像処理部１１に供給される。なお、Ｒａｗ画像データは、入射光の光量に対する出力信号値の関係が線形性を有するデジタル画像データである。

本実施形態の撮像素子２１の撮像面には、複数の受光素子がマトリックス状に配列されるとともに、各受光素子には、ＲＧＢのカラーフィルタが公知のベイヤ配列にしたがって配置される。撮像素子２１によって撮像され画像処理部１１に供給されるＲａｗ画像データは、ＲＧＢ表色系で示され、各画素は、Ｒ成分（第２色成分または第３色成分）、Ｇ成分（第１色成分）、Ｂ成分（第３色成分または第２色成分）のうち、いずれか１つの色成分の色情報を有する。なお、このようなＲａｗ画像データを、「ベイヤ配列型画像データ」と称する。

また、本実施形態の撮像素子２１は、製造時または製造後に生じた傷などによって、正常に動作しない受光素子を欠陥画素として有するものとする。欠陥画素には、大きな値の画像信号を出力する「白欠陥」と、画像信号を出力しない「黒欠陥」とがあり、ベイヤ配列型画像データの欠陥画素は、白欠陥または黒欠陥に応じた画素値を有するものとする。本実施形態では、撮像素子２１における欠陥画素の画素位置の情報（アドレスなど）が、画像の欠陥画素の画素位置の情報として、メモリ１３（記憶部）に予め記憶されているものとする。

画像処理部１１は、このようなベイヤ配列型画像データ（第１画像）を入力し、ＲＧＢ表色系とは異なるＹＣｂＣｒ表色系の色成分である輝度成分と色差成分とを、全ての画素に対して算出し、輝度成分と色差成分との色成分からなる画像（第２画像）を生成する。画像処理部１１は、全ての画素に輝度成分が対応付けられて成る輝度面と、全ての画素に色差成分が対応付けられて成る色差面とを、空格子処理により生成して高画質化を実現する。また、画像処理部１１は、必要に応じて、このようにして生成した輝度面および色差面からＲＧＢ面を算出する色変換処理を行う。なお、本実施形態の画像処理部１１は、後述するように、各画素（注目画素）において輝度成分と色差成分とを算出するにあたり、欠陥画素の画素位置を考慮しつつ行う。そして、このような一連の処理を「画像復元処理」と称する。

なお、画像処理部１１は、ＤＦＥ１０より出力されたベイヤ配列型画像データに対して画像復元処理を行うにあたり、ホワイトバランス処理、階調変換などの画像処理を行うものとする。また、画像処理部１１は、画像復元処理などが完了したベイヤ配列型画像データに対し、必要に応じて圧縮処理を施し、メディアＩ／Ｆ１７を介してメモリカード１６に記録する。

そして、操作部２３を介し、操作者によって再生モードが選択されると、メモリカード１６に記録された画像データは、メディアＩ／Ｆ１７を介して画像処理部１１に読み出され、画像処理部１１による伸長処理が施された後、表示Ｉ／Ｆ１４を介してモニタ１５に表示される。

なお、伸長処理が施された画像データは、モニタ１５に表示されず、ＰＣ１８側のモニタ２４やプリンタ２６で採用されている表色系に変換されて、入出力Ｉ／Ｆ１９を介してＰＣ１８に供給されてもよい。ただし、画像復元処理によって生成されるＲＧＢ面を、モニタ１５、２４やプリンタ２５で採用されている表色系に変換する処理は、公知の技術によって実現でき説明を省略する。

また、画像処理部１１は、画像処理が完了したベイヤ配列型画像データを、圧縮処理せずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２４やプリンタ２５で採用されている表色系に変換して、入出力Ｉ／Ｆ１９を介しＰＣ１８に供給したりしてもよい。

図２は、ベイヤ配列型画像データの色成分の配列を示す図である。すなわち、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標［ｉ，ｊ］の値を用いて各々の色成分に対応する画素の位置を示している。

図２（１）は、座標［ｉ，ｊ］の画素がＲ成分の注目画素である場合を示し、図２（２）は、座標［ｉ，ｊ］の画素がＢ成分の注目画素である場合を示し、図２（３）は、座標［ｉ，ｊ］の画素がＧ成分の注目画素である場合を示す。また、Ｇ成分の画素のうち、横方向にＲ成分が存在する画素を「Ｇｒ」と表記し、横方向にＢ成分が存在する画素を「Ｇｂ」と表記する。

なお、後述する演算式では、各々の画素における色情報をＧ成分と他の色成分とで区別する場合、図２のＲ、ＢをＺに置き換えて、Ｒ成分またはＢ成分の画素の色情報をＺ［ｉ，ｊ］のように表記し、Ｇ成分の画素の色情報をＧ［ｉ，ｊ］のように表記する。また、各々の画素における色情報を色成分で区別しない場合、図２のＲ、Ｇ、ＢをＡに置き換えて、任意の画素の色情報をＡ［ｉ，ｊ］のように表記する。
《一の実施形態》
図３〜図７は、本発明の一の実施形態における画像処理部１１の動作フローチャートである。

ただし、図３〜図７は、画像処理部１１が行う画像処理のうち、画像復元処理の動作を示す。図３は、画像復元処理のおおまかな動作を示し、図４〜図６は、画像復元処理に含まれる「輝度成分算出処理」の動作を示し、図７は、画像復元処理に含まれる「色差成分算出処理」の動作を示す。なお、以下において、画像処理部１１が行う画像処理のうち、画像復元処理の動作を説明し、他の動作の説明は省略する。
１．縦横類似性を示す指標ＨＶの設定処理
画像処理部１１は、ベイヤ配列型画像データに対して、Ｇ成分が欠落する画素における縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定し、その判定結果に基づいて、縦横類似性を示す指標ＨＶを設定する（図３Ｓ１）。

すなわち、画像処理部１１は、Ｇ成分が欠落する注目画素Ｚに対し、次式１および式２によって定義される縦方向の同色間類似度Ｃｖ０および横方向の同色間類似度Ｃｈ０を算出する。また、画像処理部１１は、Ｇ成分が欠落する注目画素Ｚに対し、次式３および式４によって定義される縦方向の異色間類似度ＣｖＮ０および横方向の異色間類似度ＣｈＮ０を算出する。なお、本実施形態の画像処理部１１は、次式１〜式４による各類似度の算出にあたり、注目画素および図２に示す範囲の画素のいずれかが欠陥画素である場合、欠陥画素が出力する画素値をそのまま用いて行うものとする。
・同色間類似度：

・異色間類似度：

なお、本実施形態の画像処理部１１は、注目画素だけでなく、注目画素の周辺に位置する画素に対しても同様の値を算出し、各値を方向別に加重加算（以下、「周辺加算」と称する）して、注目画素の縦方向および横方向に対する最終的な同色間類似度および異色間類似度を算出する。すなわち、画像処理部１１は、座標［ｉ，ｊ］，［ｉ−１，ｊ−１］，［ｉ＋１，ｊ−１］，［ｉ−１，ｊ＋１］，［ｉ＋１，ｊ＋１］，［ｉ，ｊ−２］，［ｉ，ｊ＋２］，［ｉ−２，ｊ］，［ｉ＋２，ｊ］に位置する画素に対して、式１〜式４の演算を行う。そして、画像処理部１１は、算出した値を用いて、次式５〜式８による周辺加算を行い、縦方向に対する同色間類似度Ｃｖ［ｉ，ｊ］、横方向に対する同色間類似度Ｃｈ［ｉ，ｊ］、縦方向に対する異色間類似度ＣｖＮ［ｉ，ｊ］、横方向に対する異色間類似度ＣｈＮ［ｉ，ｊ］をそれぞれ算出する。

ただし、次式５〜式８によって算出される各類似度は、値が小さい程、類似性が強いことを示す。また、次式５〜式８は、図８に示す係数パターンを用いて周辺加算を行うことに相当する。
・同色間類似度：

・異色間類似度：

ここで、図２（１）のように、座標［ｉ，ｊ］に位置する注目画素がＲ成分の場合、同色間類似度Ｃｖ０，Ｃｈ０は、Ｇ成分の色情報のみから成るＧＧ間類似度成分（第４類似度成分）とＢ成分の色情報のみから成るＢＢ間類似度成分（第６類似度成分または第５類似度成分）とから算出される。一方、周辺加算後に得られる同色間類似度Ｃｖ，Ｃｈには、ＧＧ間類似度成分とＢＢ間類似度成分との他に、Ｒ成分の色情報のみから成るＲＲ間類似度成分（第５類似度成分または第６類似度成分）が含まれる。また、座標［ｉ，ｊ］に位置する注目画素がＲ成分の場合、異色間類似度ＣｖＮ０，ＣｈＮ０は、Ｇ成分の色情報とＲ成分の色情報とから成るＧＲ間類似度成分（第１類似度成分または第３類似度成分）を用いて算出される。一方、周辺加算後に得られる異色間類似度ＣｖＮ，ＣｈＮには、ＧＲ間類似度成分の他に、Ｇ成分の色情報とＢ成分の色情報とから成るＧＢ間類似度成分（第３類似度成分または第１類似度成分）が含まれる。すなわち、式５〜式８の周辺加算により、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出され、類似度の精度が高められる。

ところで、式３および式４において、絶対値で括られる項は、隣接する２つの画素の色情報で構成される。そのため、式３および式４によって算出される異色間類似度には、一画素ピッチで変化するナイキスト周波数レベルの微細構造における類似性判定を可能にする。また、このような異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において信頼性が高い。

一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。したがって、画像全体に対して信頼性の高い類似性の判定を行うには、画像全体を、無彩色部と彩色部に分け、各々の部分に適した類似度を用いる方法が好ましい。

注目画素の近傍の画像が無彩色部であるか否かの判定には、局所的な色彩の有無を示す色指標が必要となるが、このような色指標として、局所的な色差情報が考えられる。上述したように算出される異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されることから、色指標として、異色間類似度を直接利用することができる。

ただし、異色間類似度は、値が小さい程、類似性が強いことを示すので、縦方向および横方向に対する異色間類似度が共に大きな値である場合には、無彩色部で縦横両方向に対する類似性が弱いか、または、注目画素の近傍の画像が彩色部であることを意味する。逆に、縦方向と横方向との少なくとも１つの方向に対する異色間類似度が比較的小さな値であれば、注目画素の近傍の画像が無彩色部であり、類似性の強い方向が存在していることを意味する。

そこで、画像処理部１１は、閾値ＴｈＮｖ，ＴｈＮｈについて、
ＣｖＮ［ｉ，ｊ］≦ＴｈＮｖ または ＣｈＮ［ｉ，ｊ］≦ＴｈＮｈ … 条件１
が成り立つ場合、注目画素の近傍の画像が無彩色部であると判断し、条件１が成り立たない場合、注目画素の近傍の画像が彩色部であると判断する。ただし、閾値ＴｈＮｖ，ＴｈＮｈは、階調が０〜２５５のとき１０程度以下の値とする。

画像処理部１１は、注目画素の近傍の画像が無彩色部である場合、閾値Ｔｈ０について、
｜ＣｖＮ［ｉ，ｊ］−ＣｈＮ［ｉ，ｊ］｜≦Ｔｈ０ … 条件２
が成り立つか否かを判定する。この条件２は、縦方向の異色間類似度ＣｖＮ［ｉ，ｊ］と横方向の異色間類似度ＣｈＮ［ｉ，ｊ］とが同程度であるか否かを判定するための条件である。閾値Ｔｈ０は、縦方向の異色間類似度ＣｖＮ［ｉ，ｊ］と横方向の異色間類似度ＣｈＮ［ｉ，ｊ］との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを回避する役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Ｔｈ０の値を大きく設定することにより、類似性の判定の精度が更に高められる。

したがって、画像処理部１１は、条件２が成り立つ場合、注目画素が縦横両方向に対して類似性が弱い（または、強い）と判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「０」を設定する。一方、画像処理部１１は、条件２が成り立たない場合、
ＣｖＮ［ｉ，ｊ］＜ＣｈＮ［ｉ，ｊ］ … 条件３
が成り立つか否かを判定する。そして、画像処理部１１は、条件３が成り立つ場合、注目画素が縦方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、条件３が成り立たない場合、注目画素が横方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「−１」を設定する。

また、画像処理部１１は、注目画素の近傍の画像が彩色部である場合、閾値Ｔｈ１について、
｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ１ … 条件４
が成り立つか否かを判定する。この条件４は、縦方向の同色間類似度Ｃｖ［ｉ，ｊ］と横方向の同色間類似度Ｃｈ［ｉ，ｊ］とが同程度であるか否かを判定するための条件である。閾値Ｔｈ１は、縦方向の同色間類似度Ｃｖ［ｉ，ｊ］と横方向の同色間類似度Ｃｈ［ｉ，ｊ］との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを回避する役割を果たす。閾値Ｔｈ１は、閾値Ｔｈ０と同様に、ノイズの多いカラー画像に対して値を大きく設定することにより、類似性の判定の精度が高められる。

したがって、画像処理部１１は、条件４が成り立つ場合、注目画素が縦横両方向に対して類似性が弱い（または、強い）と判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「０」を設定する。一方、画像処理部１１は、条件４が成り立たない場合、
Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］ … 条件５
が成り立つか否かを判定する。そして、画像処理部１１は、条件５が成り立つ場合、注目画素が縦方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、条件５が成り立たない場合、注目画素が横方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「−１」を設定する。

なお、本実施形態の画像処理部１１は、指標ＨＶを設定するにあたり、式１〜式８の演算において、注目画素を含む各画素が欠陥画素か否かを考慮しなかったが、考慮して行ってもよい。例えば、画像処理部１１は、式１〜式４の演算を行うにあたり、メモリ１３より欠陥画素の画素位置の情報を読み込み、画素Ｇ［ｉ，ｊ−１］もしくはＧ［ｉ，ｊ＋１］、または画素Ｇ［ｉ−１，ｊ］もしくはＧ［ｉ＋１，ｊ］が欠陥画素か否かを判定する。画像処理部１１は、画素Ｇ［ｉ，ｊ−１］もしくはＧ［ｉ，ｊ＋１］が欠陥画素である場合、式１〜式４の演算を行うことなく、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、画素Ｇ［ｉ−１，ｊ］もしくはＧ［ｉ＋１，ｊ］が欠陥画素である場合、式１〜式４の演算を行うことなく、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「−１」を設定する。

また、画像処理部１１は、式１〜式４によって算出された各画素の画素位置での同色間類似度Ｃｖ０、Ｃｈ０および異色間類似度ＣｖＮ０、ＣｈＮ０のうち、メモリ１３の欠陥画素の画素位置の情報に基づいて、欠陥画素を含んだ同色間類似度および異色間類似度を用いず、式５〜式８の周辺加算を行ってもよい。

これらにより、類似度の精度向上を図ることができるとともに、処理速度を高速化することができる。
２．斜め類似性を示す指標ＤＮの設定処理
次に、画像処理部１１は、ベイヤ配列型画像データに対し、Ｇ成分が欠落する画素における斜め４５度方向および斜め１３５度方向に対する類似性（以下、「斜め類似性」）を判定し、その判定結果に応じて、斜め類似性を示す指標ＤＮを設定する（図３Ｓ２）。

すなわち、画像処理部１１は、Ｇ成分が欠落する注目画素Ｚに対し、次式９および式１０によって定義される斜め４５度方向の類似度Ｃ４５_０および斜め１３５度方向の類似度Ｃ３５_０を算出する。

例えば、座標［ｉ，ｊ］に位置する注目画素がＲ成分の場合、類似度Ｃ４５_０および類似度Ｃ３５_０は、順に、ＧＧ間類似度成分、ＢＢ間類似度成分、Ｇ成分の色情報とＲ成分の色情報とから成るＲＢ間類似度成分（第２類似度成分）で構成される。

そして、画像処理部１１は、次式１１および式１２による周辺加算を行い、斜め４５度方向に対する類似度Ｃ４５［ｉ，ｊ］および斜め１３５度方向に対する類似度Ｃ１３５［ｉ，ｊ］を算出する。ただし、次式１１および式１２は、図８に示す係数パターンを用いて周辺加算を行うことに相当する。

これにより、縦横方向の場合と同様に、複数の色成分が考慮され、かつ周辺の画素との連続性が考慮されるため、類似度の精度が高められる。

次に、画像処理部１１は、閾値Ｔｈ２について、
｜Ｃ４５［ｉ，ｊ］−Ｃ１３５［ｉ，ｊ］｜≦Ｔｈ２ … 条件６
が成り立つか否かを判定する。画像処理部１１は、条件６が成り立つ場合、注目画素が斜め方向に対して類似性が弱い（または、強い）と判断し、斜め類似性を示す指標ＤＮ［ｉ，ｊ］に「０」を設定する。一方、画像処理部１１は、条件６が成り立たない場合、
Ｃ４５［ｉ，ｊ］＜Ｃ１３５［ｉ，ｊ］ … 条件７
が成り立つか否かを判定する。

画像処理部１１は、条件７が成り立つ場合、注目画素が斜め４５度方向に対して類似性が強いと判断し、斜め類似性を示す指標ＤＮ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、条件７が成り立たない場合、注目画素が斜め１３５度方向に対して類似性が強いと判断し、斜め類似性を示す指標ＤＮ［ｉ，ｊ］に「−１」を設定する。

なお、本実施形態の画像処理部１１は、指標ＤＮを設定するにあたり、上記指標ＨＶの場合と同様に、式９〜式１２の演算において、注目画素を含む各画素が欠陥画素か否かを考慮して行ってもよい。また、画像処理部１１は、式９および式１０より算出された各画素の画素位置での類似度Ｃ４５_０、Ｃ１３５_０のうち、メモリ１３の欠陥画素の画素位置の情報に基づいて、欠陥画素を含んだ類似度を除外し、式１１および式１２の周辺加算を行ってもよい。これにより、類似度の精度向上を図ることができるとともに、処理速度を高速化することができる。
３．輝度成分算出処理
次に、画像処理部１１は、図４〜図６に示すフローチャートに基づいて、各画素に対し輝度成分算出処理を行い、輝度面を算出する（図３Ｓ３）。

本実施形態の輝度成分算出処理は、ベイヤ配列型画像データのうち、注目画素を中心とする対象領域内にある複数の画素の色情報を加重加算することによって輝度成分を算出する。この加重加算に用いられる色情報は、注目画素における類似性の強弱に基づいて決められ、加重加算の係数は、輝度成分を構成するＲＧＢの比率が一定となるように設定される。本実施形態では、画像処理部１１が、このような輝度成分算出処理を行うために、類似性の強弱および欠陥画素の画素位置に応じて、係数の配置および値が変えられた複数種類の係数パターンを用意する。

図９および図１０は、輝度成分を生成する係数パターンの一例を示す。各係数パターンは、類似性および欠陥画素の画素位置に応じて、加重加算の対象となる色情報の位置および係数の値が変えられる。すなわち、ＲＧＢの３つの色成分の色情報が含まれる最も狭い領域内で、注目画素の色情報と注目画素に隣接する画素（斜め方向に隣接する画素を含む）の色情報とが加重加算されるようになっている。ここで、α，β，ｕ_１，ｕ_２，ｖ_１，ｖ_２，ｓ_１，ｓ_２，ｔ_１，ｔ_２は、全て零以上の値で次の条件を満たす。

α＋β＝１，ｕ_１＋ｕ_２＝１，ｖ_１＋ｖ_２＝１，ｓ_１＋ｓ_２＝１，ｔ_１＋ｔ_２＝１
図９および図１０に示す係数パターンは、輝度成分を構成するＲＧＢの比率が「β／２：α：β／２」となるような値が設定されており、Ｒ成分の色情報とＢ成分の色情報とが同一の比率で加重加算される。すなわち、輝度成分Ｙは、
Ｙ＝α・Ｇ＋β・（Ｒ＋Ｂ）／２
の関係にある。これにより、Ｇｒ成分の画素とＧｂ成分の画素とで共通の係数パターンを用いることができ、Ｒ成分の画素とＢ成分の画素とで共通の係数パターンを用いることができる。

一般的に好ましい定数の設定としては、以下のような例が挙げられる。

ｕ_１≒ｕ_２，ｖ_１≒ｖ_２，ｓ_１≒ｓ_２，ｔ_１≒ｔ_２
（α，β）＝（１／３，２／３），（４／９，５／９），（５／１１，６／１１），（１／２，１／２），（５／９，４／９），（３／５，２／５），（２／３，１／３）
なお、輝度成分を構成するＲＧＢの比率は、「β／２：α：β／２」に限定されず、「α：β：γ」（α＋β＋γ＝１，α≧０，β≧０，γ≧０）などであってもよい。例えば、α＝０．３、β＝０．６、γ＝０．１の値とする。また、ＲＧＢの比率を「α：β：γ」とする場合、Ｇｒ成分の画素とＧｂ成分の画素とで個別に係数パターンを設定する必要があり、Ｒ成分の画素とＢ成分の画素とで個別に係数パターンを設定する必要がある。

以上により、画像処理部１１は、輝度成分算出処理において、注目画素がＧ成分であるか否かを判定する（図４Ｓ１１）。

注目画素がＧ成分でない場合（図４Ｓ１１のＮＯ側）、画像処理部１１は、注目画素における縦横類似性を示す指標ＨＶ［ｉ，ｊ］と斜め類似性を示す指標ＤＮ［ｉ，ｊ］との値に応じて（図４Ｓ１２）、注目画素の類似性の強さを、ｃａｓｅ１〜ｃａｓｅ９のいずれかに分類する。

ｃａｓｅ１：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，０）：全ての方向の類似性が強い、または、全ての方向の類似性が弱い（類似性の強い方向が不明である）。

ｃａｓｅ２：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，１）：斜め４５度方向の類似性が強い。

ｃａｓｅ３：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，−１）：斜め１３５度方向の類似性が強い。

ｃａｓｅ４：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，０）：縦方向の類似性が強い。

ｃａｓｅ５：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，１）：縦および斜め４５度方向の類似性が強い。

ｃａｓｅ６：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，−１）：縦および斜め１３５度方向の類似性が強い。

ｃａｓｅ７：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，０）：横方向の類似性が強い。

ｃａｓｅ８：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，１）：横および斜め４５度方向の類似性が強い。

ｃａｓｅ９：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，−１）：横および斜め１３５度方向の類似性が強い。

上記分類結果に応じて、画像処理部１１は、輝度成分を算出する。すなわち、注目画素がｃａｓｅ１に分類され、注目画素が欠陥画素でない場合（図４Ｓ１３のＮＯ側）、画像処理部１１は、係数パターン１を用いて輝度成分を算出する（図４Ｓ１４）。一方、注目画素がｃａｓｅ１に分類され、注目画素が欠陥画素である場合（図４Ｓ１３のＹＥＳ側）、画像処理部１１は、係数パターン１ａを用いて輝度成分を算出する（図４Ｓ１５）。

注目画素がｃａｓｅ２に分類され、注目画素が欠陥画素でない場合（図４Ｓ１６のＮＯ側）、画像処理部１１は、係数パターン２を用いて輝度成分を算出する（図４Ｓ１７）。一方、注目画素がｃａｓｅ２に分類され、注目画素が欠陥画素である場合（図４Ｓ１６のＹＥＳ側）、画像処理部１１は、係数パターン２ａを用いて輝度成分を算出する（図４Ｓ１８）。

注目画素がｃａｓｅ３に分類され、注目画素が欠陥画素でない場合（図４Ｓ１９のＮＯ側）、画像処理部１１は、係数パターン３を用いて輝度成分を算出する（図４Ｓ２０）。一方、注目画素がｃａｓｅ３に分類され、注目画素が欠陥画素である場合（図４Ｓ１９のＹＥＳ側）、画像処理部１１は、係数パターン３ａを用いて輝度成分を算出する（図４Ｓ２１）。

注目画素がｃａｓｅ４に分類され、注目画素が欠陥画素でない場合（図４Ｓ２２のＮＯ側）、画像処理部１１は、係数パターン４を用いて輝度成分を算出する（図４Ｓ２３）。一方、注目画素がｃａｓｅ４に分類され、注目画素が欠陥画素である場合（図４Ｓ２２のＹＥＳ側）、画像処理部１１は、係数パターン４ａを用いて輝度成分を算出する（図４Ｓ２４）。

注目画素がｃａｓｅ５に分類され、注目画素が欠陥画素でない場合（図４Ｓ２５のＮＯ側）、画像処理部１１は、係数パターン５を用いて輝度成分を算出する（図４Ｓ２６）。一方、注目画素がｃａｓｅ５に分類され、注目画素が欠陥画素である場合（図４Ｓ２５のＹＥＳ側）、画像処理部１１は、係数パターン５ａを用いて輝度成分を算出する（図４Ｓ２７）。

注目画素がｃａｓｅ６に分類され、注目画素が欠陥画素でない場合（図５Ｓ２８のＮＯ側）、画像処理部１１は、係数パターン６を用いて輝度成分を算出する（図５Ｓ２９）。一方、注目画素がｃａｓｅ６に分類され、注目画素が欠陥画素である場合（図５Ｓ２８のＹＥＳ側）、画像処理部１１は、係数パターン６ａを用いて輝度成分を算出する（図５Ｓ３０）。

注目画素がｃａｓｅ７に分類され、注目画素が欠陥画素でない場合（図５Ｓ３１のＮＯ側）、画像処理部１１は、係数パターン７を用いて輝度成分を算出する（図５Ｓ３２）。一方、注目画素がｃａｓｅ７に分類され、注目画素が欠陥画素である場合（図５Ｓ３１のＹＥＳ側）、画像処理部１１は、係数パターン７ａを用いて輝度成分を算出する（図５Ｓ３３）。

注目画素がｃａｓｅ８に分類され、注目画素が欠陥画素でない場合（図５Ｓ３４のＮＯ側）、画像処理部１１は、係数パターン８を用いて輝度成分を算出する（図５Ｓ３５）。一方、注目画素がｃａｓｅ８に分類され、注目画素が欠陥画素である場合（図５Ｓ３４のＹＥＳ側）、画像処理部１１は、係数パターン８ａを用いて輝度成分を算出する（図５Ｓ３６）。

注目画素がｃａｓｅ９に分類され、注目画素が欠陥画素でない場合（図５Ｓ３７のＮＯ側）、画像処理部１１は、係数パターン９を用いて輝度成分を算出する（図５Ｓ３８）。一方、注目画素がｃａｓｅ９に分類され、注目画素が欠陥画素である場合（図５Ｓ３７のＹＥＳ側）、画像処理部１１は、係数パターン９ａを用いて輝度成分を算出する（図５Ｓ３９）。

ここで、画像処理部１１は、１８通りの係数パターンのうち、例えば、係数パターン１を選択した場合、次式１３のように輝度成分Ｙ［ｉ，ｊ］を算出する。

同様に、他の係数パターンが選択された場合についても、画像処理部１１は輝度成分Ｙ［ｉ，ｊ］を算出する。

次に、画像処理部１１は、Ｇ成分の注目画素の輝度成分Ｙ［ｉ，ｊ］を、上述したような類似性の強さに関係なく、欠陥画素か否かに応じて図１１に示す係数パターン１０または１０ａを用いて算出する。

ところで、注目画素がＧ成分であり、かつ注目画素の左側に隣接する画素Ｚ［ｉ−１，ｊ］の指標ＨＶ［ｉ−１，ｊ］と指標ＤＮ［ｉ−１，ｊ］とが「０」であり、係数パターン１０や１０ａを用いて輝度成分を算出した場合、実際には存在しないチェックパターン状の偽構造が生じることがある。そこで、このような偽構造の発生を抑制するために、Ｇ成分の画素における輝度成分を算出する際、本実施形態の画像処理部１１は、注目画素がＧ成分であると判定された場合（図４Ｓ１１のＹＥＳ側）、注目画素の左側に隣接する画素Ｚ［ｉ−１，ｊ］の指標ＨＶと指標ＤＮとが「０」であるか否かを判定する（図６Ｓ４０）。

すなわち、画像処理部１１は、指標ＨＶ［ｉ−１，ｊ］と指標ＤＮ［ｉ−１，ｊ］とが「０」である場合（図６Ｓ４０のＹＥＳ側）、画像処理部１１は、注目画素またはそれに隣接する画素Ｚのいずれかが欠陥画素である否かに基づいて、Ｇ成分にローパスフィルタを掛ける係数パターン０、０ａ〜０ｅのいずれかを選択し、輝度成分Ｙ［ｉ，ｊ］を算出する（図６Ｓ４６〜Ｓ５１）。

ここで、図１１において、α，β，ｅ_１，ｅ_２，ｅ_３，ｅ_４，ｅ_５，ｆ_１，ｆ_２，ｆ_３，ｆ_４は、零以上の値であり、ｅ_１＋ｅ_２＋ｅ_３＋ｅ_４＋ｅ_５＝ｆ_１＋ｆ_２＋ｆ_３＋ｆ_４＝１、およびｅ_３＞ｅ_１，ｅ_２，ｅ_４，ｅ_５の関係を満たす。ｅ_１，ｅ_２，ｅ_３，ｅ_４，ｅ_５の値を可変することによって、ローパスフィルタの強弱の設定ができる。例えば、ｅ_１，ｅ_２，ｅ_３，ｅ_４，ｅ_５の値は、強いローパスフィルタを掛ける場合「１，１，６，１，１」などと設定し、弱いローパスフィルタを掛ける場合「１，１，１４，１，１」などと設定する。

また、係数パターン０ａ〜０ｅにおけるｅ_３＞ｅ_１，ｅ_２，ｅ_４，ｅ_５の関係により、画素Ｇ［ｉ−１，ｊ−１］、Ｇ［ｉ−１，ｊ＋１］、Ｇ［ｉ＋１，ｊ−１］、Ｇ［ｉ＋１，ｊ＋１］の影響を小さくすることができる。そのため、それらの画素が欠陥画素か否かの判定は省略でき、画像処理部１１による画像処理の高速化を図ることができる。

また、係数パターン０ａ〜０ｅは、注目画素またはそれに隣接する画素が欠陥画素である場合、欠陥画素における画像値が同色成分を有する近傍の画素の画素値を平均した値となるように設定されている。

例えば、画像処理部１１は、注目画素およびそれに隣接する画素が欠陥画素でない場合（図６Ｓ４６）、係数パターン０を選択し輝度成分Ｙ［ｉ，ｊ］を次式１４のように算出する。

同様に、他の係数パターンが選択された場合でも、画像処理部１１は輝度成分Ｙ［ｉ，ｊ］を算出する。

一方、指標ＨＶ［ｉ−１，ｊ］と指標ＤＮ［ｉ−１，ｊ］との少なくとも一方が「０」でない場合（図６Ｓ４０のＮＯ側）、画像処理部１１は、注目画素が欠陥画素でない場合（図６Ａ４１のＮＯ側）、係数パターン１０を用いて輝度成分を算出し（図６Ｓ４２）、注目画素が欠陥画素である場合（図６Ａ４１のＹＥＳ側）、係数パターン１０ａを用いて輝度成分を算出する（図６Ｓ４３）。
４．輝度面の補正処理
次に、画像処理部１１は、算出された輝度面に対し、予め決められた固定のフィルタ係数によるフィルタ処理のエッジ強調処理を行い、輝度面を補正する（図３Ｓ４）。

例えば、画像処理部１１は、図１２に示すように、フィルタ係数として正および負の値を含むバンドパスフィルタを輝度面に掛けた結果を、元の輝度面に加算することによって、エッジ強調処理を行う。すなわち、輝度面の補正は、次式１５および式１６による演算によって施される。

ただし、式１６において、Ｋは、エッジ強調の強さを可変するための係数であり、１オーダーの値をとる。

なお、画像処理部１１は、このように算出された輝度面を、モノクロ画像として出力してもよい。
５．色差成分算出処理
次に、画像処理部１１は、Ｒ成分の画素およびＢ成分の画素に対して、図７に示す色差成分算出処理を行い、Ｒ成分の画素位置にＣｒ成分を算出し、Ｂ成分の画素位置にＣｂ成分を算出する（図３Ｓ５）。

本実施形態の色差成分算出処理では、ベイヤ配列型画像データのうち、注目画素を中心とする対象領域に位置する複数の画素の色情報を直接加重加算することによって色差成分を算出する。この加重加算に用いられる色情報や加重加算の係数は、注目画素における類似性の強弱に基づいて決められる。本実施形態では、この色差成分算出処理を行うための係数パターンが予め用意され、メモリ１３に記憶されている。

図１３および図１４は、色差成分を算出するために用いられる係数パターンの一例を示す。図１４に示す係数パターンは、図１３に示す係数パターンに比べ、偽色の発生を抑制する効果が大きい。なお、本実施形態では、図１３に示す係数パターンとともに、注目画素またはそれに隣接する画素が欠陥画素である場合の図１５〜図１７に示す係数パターンを用いる。

本実施形態の画像処理部１１は、注目画素（Ｒ成分の画素やＢ成分の画素）における縦横類似性を示す指標ＨＶ［ｉ，ｊ］の値に応じて、次のＡ〜Ｃに分類し（図７Ｓ６０）、色差成分を算出する。

Ａ）ＨＶ［ｉ，ｊ］＝１の場合
画像処理部１１は、注目画素Ｚ［ｉ，ｊ］および縦方向に隣接する画素Ｇ［ｉ，ｊ±１］が欠陥画素でない場合（図７Ｓ６１のＮＯ側）、係数パターン１１を用いて色差成分を算出する（図７Ｓ６２）。一方、画像処理部１１は、画素Ｇ［ｉ，ｊ−１］が欠陥画素である場合、係数パターン１１ａを用いて色差成分を算出し（図７Ｓ６３）、画素Ｇ［ｉ，ｊ＋１］が欠陥画素である場合、係数パターン１１ｂを用いて色差成分を算出し（図７Ｓ６４）、注目画素Ｚ［ｉ，ｊ］が欠陥画素である場合、係数パターン１１ｃを用いて色差成分を算出する（図７Ｓ６５）。

Ｂ）ＨＶ［ｉ，ｊ］＝−１の場合
画像処理部１１は、注目画素Ｚ［ｉ，ｊ］および横方向に隣接する画素Ｇ［ｉ±１，ｊ］が欠陥画素でない場合（図７Ｓ６６のＮＯ側）、係数パターン１２を用いて色差成分を算出する（図７Ｓ６７）。一方、画像処理部１１は、画素Ｇ［ｉ−１，ｊ］が欠陥画素である場合、係数パターン１２ａを用いて色差成分を算出し（図７Ｓ６８）、画素Ｇ［ｉ＋１，ｊ］が欠陥画素である場合、係数パターン１２ｂを用いて色差成分を算出し（図７Ｓ６９）、注目画素Ｚ［ｉ，ｊ］が欠陥画素である場合、係数パターン１２ｃを用いて色差成分を算出する（図７Ｓ７０）。

Ｃ）ＨＶ［ｉ，ｊ］＝０の場合
画像処理部１１は、注目画素Ｚ［ｉ，ｊ］および縦横方向に隣接する画素Ｇ［ｉ±１，ｊ］、Ｇ［ｉ，ｊ±１］が欠陥画素でない場合（図７Ｓ７１のＮＯ側）、係数パターン１３を用いて色差成分を算出する（図７Ｓ７２）。一方、画像処理部１１は、画素Ｇ［ｉ，ｊ−１］が欠陥画素である場合、係数パターン１３ａを用いて色差成分を算出し（図７Ｓ７３）、画素Ｇ［ｉ−１，ｊ］が欠陥画素である場合、係数パターン１３ｂを用いて色差成分を算出し（図７Ｓ７４）、画素Ｇ［ｉ＋１，ｊ］が欠陥画素である場合、係数パターン１３ｃを用いて色差成分を算出し（図７Ｓ７５）、画素Ｇ［ｉ，ｊ＋１］が欠陥画素である場合、係数パターン１３ｄを用いて色差成分を算出し（図７Ｓ７６）、注目画素Ｚ［ｉ，ｊ］が欠陥画素である場合、係数パターン１３ｅを用いて色差成分を算出する（図７Ｓ７７）。

例えば、ＨＶ［ｉ，ｊ］＝１、かつ注目画素およびそれに隣接する画素が欠陥画素でなく、注目画素がＲ成分である場合、画像処理部１１は、係数パターン１１を選択し色差成分Ｃｒ［ｉ，ｊ］を次式１７のように算出する（図７Ｓ６２）。

また、注目画素がＢ成分である場合、色差成分Ｃｂ［ｉ，ｊ］は、式１７と同様に生成される。

なお、画像処理部１１は、Ｒ成分またはＢ成分の注目画素Ｚ［ｉ，ｊ］における指標ＨＶの設定を、メモリ１３に記憶された欠陥画素の画素位置の情報に基づいて行った場合、色差成分算出処理を簡略化することができる。すなわち、図３Ｓ１において、画素Ｇ［ｉ，ｊ−１］もしくはＧ［ｉ，ｊ＋１］、または画素Ｇ［ｉ−１，ｊ］もしくはＧ［ｉ＋１，ｊ］が欠陥画素と判定され、注目画素Ｚの指標ＨＶ［ｉ，ｊ］が１または−１に設定された場合、画像処理部１１は、図７Ｓ６１、Ｓ６６またはＳ７１において、注目画素Ｚが欠陥画素か否かを判定するだけでよい。

例えば、ＨＶ［ｉ，ｊ］＝１の場合、画像処理部１１は、メモリ１３の欠陥画素の画素位置の情報に基づいて、注目画素Ｚ［ｉ，ｊ］が欠陥画素でないと判定した場合（図７Ｓ６１のＮＯ側）、係数パターン１１を用いて色差成分を算出する（図７Ｓ６２）。一方、画像処理部１１は、注目画素Ｚ［ｉ，ｊ］が欠陥画素であると判定した場合（図７Ｓ６１のＹＥＳ側）、係数パターン１１ｃを用いて色差成分を算出する（図７Ｓ６５）。

また、ＨＶ［ｉ，ｊ］＝−１の場合、画像処理部１１は、欠陥画素の画素位置の情報に基づいて、注目画素Ｚ［ｉ，ｊ］が欠陥画素でないと判定した場合（図７Ｓ６６のＮＯ側）、係数パターン１２を用いて色差成分を算出する（図７Ｓ６７）。一方、画像処理部１１は、注目画素Ｚ［ｉ，ｊ］が欠陥画素であると判定した場合（図７Ｓ６６のＹＥＳ側）、係数パターン１２ｃを用いて色差成分を算出する（図７Ｓ７０）。

また、ＨＶ［ｉ，ｊ］＝０の場合、画像処理部１１は、欠陥画素の画素位置の情報に基づいて、注目画素Ｚ［ｉ，ｊ］が欠陥画素でないと判定した場合（図７Ｓ７１のＮＯ側）、係数パターン１３を用いて色差成分を算出する（図７Ｓ７２）。一方、画像処理部１１は、注目画素Ｚ［ｉ，ｊ］が欠陥画素であると判定した場合（図７Ｓ７１のＹＥＳ側）、係数パターン１３ｅを用いて色差成分を算出する（図７Ｓ７７）。
６．ＣｒＣｂ成分の補間処理
次に、画像処理部１１は、上記色差成分算出処理を、全てのＲ成分の画素およびＢ成分の画素に対して行った後、Ｃｒ成分やＣｂ成分が欠落する画素に、Ｃｒ成分やＣｂ成分を補間して色差面を算出する（図３Ｓ６）。なお、Ｃｒ成分を補間する処理とＣｂ成分を補間する処理とは、同様に行えるため、ここでは、Ｃｒ成分を補間する処理の説明を行い、Ｃｂ成分を補間する処理の説明は省略する。

画像処理部１１は、Ｃｒ成分が欠落する画素におけるＣｒ成分として、その画素の周辺に位置する複数のＲ成分の画素におけるＣｒ成分の平均値を求め、Ｃｒ成分を補間する。すなわち、画像処理部１１は、次式１８〜２０に基づいて、Ｂ成分、Ｇｒ成分、およびＧｂ成分それぞれの画素位置におけるＣｒ成分の補間値を算出する。
・Ｂ成分の画素：

・Ｇｒ成分の画素：

・Ｇｂ成分の画素：

なお、画像処理部１１は、次式２１〜式２４のようにローパスフィルタを掛けて、画像の周期的な構造で発生する色モアレによる偽色を低減しつつ、Ｃｒ成分の補間値を算出してもよい。
・Ｒ成分の画素：

・Ｂ成分の画素：

・Ｇｒ成分の画素：

・Ｇｂ成分の画素：

なお、Ｇ成分の画素におけるＣｒ成分と、Ｂ成分の画素におけるＣｒ成分とが「０」で初期化されている場合、式１８〜式２０の演算は、図１８に示すようなフィルタを掛けることによって行うことができ、式２１〜式２４の演算は、図１９に示すようなフィルタを掛けることによって行うことができる。

画像処理部１１は、上述のようにＣｒ成分やＣｂ成分を補間して色差面を算出し、ＹＣｂＣｒのカラー画像として出力する。
７．ＲＧＢ面の算出処理
画像処理部１１は、輝度面と色差面とに対して表色系変換処理を行い、ＲＧＢ面を算出する（図３Ｓ７）。

すなわち、画像処理部１１は、表色系変換処理として、例えば、次式２５〜式２７による演算を行いＲＧＢ面を算出する。

図２０は、本実施形態のデータの流れを示す。

本実施形態では、Ｒ成分の画素およびＢ成分の画素に対して１８通りの係数パターンを用意し、類似性および注目画素が欠陥画素か否かに応じて係数パターンを選択して、輝度成分が算出される。したがって、微細なエッジ部に至るまで極めて滑らかな輝度面を生成することができる。

また、本実施形態では、注目画素および注目画素に隣接する画素のうち、様々な方向の類似性および欠陥画素の画素位置を考慮しつつ、最も狭い範囲に位置するＲＧＢの３つの色成分の色情報を用いた加重加算を行うため、ベイヤ配列型画像データに対する輝度成分算出処理と相性がよく、滑らかな輝度面を算出することができる。

また、本実施形態では、輝度成分算出処理で用いられる係数パターンは、輝度成分を構成するＲＧＢの比率が一定となるように設定されるとともに、欠陥画素の画素値が、類似性の方向に基づいて、欠陥画素と同色成分を有する近傍の周辺画素の画素値を平均した値に設定される。これにより、被写体に存在し得ない構造（ベイヤ配列に起因する構造）が画素ごとに変化するような構造となって現れることを抑制することができ、各画素で輝度値を構成するＲＧＢの比率が不均一であった従来技術と比べ、より正確な輝度面および色差面を算出することができる。

また、本実施形態では、微細な構造を保持した輝度面にエッジ強調処理を行うことにより、高周波成分の補正が実現でき、高周波成分の補正が不十分であった従来技術と比べ、より高精細な輝度面が得られる。

また、本実施形態では、色差面が、輝度面とは独立にベイヤ配列型画像データから直接算出され、偽色の発生要因となる輝度面の周波数特性の影響を受けないことから、精度よく色差面を算出することができる。

また、図２０に示すように、本実施形態では、類似性を示す指標がベイヤ配列型画像データ、または欠陥画素の画素位置の情報から直接算出される。すなわち、各画素における類似方向の分類を、構造的要因に関する高周波成分が一様に破壊されてしまった「ぼかされた輝度値」を参照して行っていた従来技術と異なり、ベイヤ配列型画像データ、または欠陥画素の画素位置の情報を直接用いて類似性が判定されるため、微細な構造部分における解像性能が高い輝度面を算出することができる。

このように、本実施形態によれば、欠陥画素の補正処理と高画質化の処理とが同時に施されることにより、高精度かつ高速に行うことができる。

また、本実施形態では、輝度面を算出する際に類似性が考慮されているので、高周波成分の補正が固定係数のバンドパスフィルタによって実現できる。そのため、従来技術で行われていた各々の画素の類似方向に応じて異なる補正値を用いる補正が不要であり、かつ、補正処理を行うための参照面が少なくて済む。したがって、輝度面の算出をハードウエアで行う場合、従来技術よりも、ハードウエアの構造を簡略化することができ、コストを削減することができる。

なお、本実施形態では、図３Ｓ６によってＣｒ成分やＣｂ成分が補間されて色差面が算出されたが、このような色差面に、偽色の発生を更に低減するための補正処理（例えば、メディアンフィルタなどによる処理）を適用してもよい。

なお、本実施形態の輝度成分算出処理では、注目画素がＧ成分の場合、注目画素の左側に隣接する画素における方向類似性に応じて選択的にローパスフィルタを掛けるための異なる係数パターン０、０ａ〜０ｅ、１０、１０ａを用意したが、通常の画像復元処理だけの場合、Ｇ成分の注目画素における輝度成分は、このような方向類似性に関係なく、係数パターン１０、１０ａを用いて算出されてもよい。すなわち、図６Ｓ４０〜Ｓ５１の処理のうち、図６Ｓ４１〜Ｓ４３の処理のみが行われるのが好ましい。
《一の実施形態の変形例》
以下に、一の実施形態の変形例の動作について説明する。

本実施形態と一の実施形態との相違点は、一の実施形態で行われていた斜め類似性を示す指標ＤＮの設定（図３Ｓ２）の処理が省略され、それに伴い図４〜図６に示す輝度成分算出処理が、図２１および図２２に示すように簡略化される点にある。すなわち、図２１Ｓ１２’および図２２Ｓ４０’において、本実施形態の画像処理部１１は、指標ＨＶのみに基づいて、係数パターンを選択する。なお、図２１および図２２に示す画像処理部１１の動作フローチャートにおいて、図４〜図６と同じ動作を行うステップについては、同じステップ番号を付与し説明を省略する。

このように、本実施形態では、一の実施形態で行われていた斜め類似性を示す指標ＤＮの設定が省略され、係数パターンの数が削減される。そのため、本実施形態によれば、様々な方向の微細なエッジ部に至るまで極めて滑らかな輝度面を、一の実施形態よりも簡略な処理手順で生成することができ、欠陥画素の補正処理と高画質化の処理とを高精度かつ高速に行うことができる。

なお、本実施形態の輝度成分算出処理では、注目画素がＧ成分の場合、注目画素の左側に隣接する画素における方向類似性に応じて選択的にローパスフィルタを掛けるための異なる係数パターン０、０ａ〜０ｅ、１０、１０ａを用意したが、通常の画像復元処理だけの場合、Ｇ成分の注目画素における輝度成分は、このような方向類似性に関係なく、係数パターン１０、１０ａを用いて算出されてもよい。すなわち、図２２Ｓ４０’〜Ｓ５１の処理のうち、図２２Ｓ４１〜４３の処理のみが行われるのが好ましい。
《他の実施形態》
以下に、本発明の他の実施形態の動作について説明する。

本実施形態では、図１に示すＰＣ１８によって画像処理が行われる。

なお、ＰＣ１８には、ＣＤ−ＲＯＭ２６などの記録媒体に記録された画像処理プログラム（上記一の実施形態の画像処理部１１による画像復元処理を実現する画像処理プログラム）が予めインストールされているものとする。すなわち、ＰＣ１８内の不図示のハードディスクには、画像処理プログラムが不図示のＣＰＵによって実行可能な状態で格納されている。

次に、図１を参照しつつ本実施形態の動作を説明する。

ＰＣ１８によって画像復元処理される画像データは、電子カメラ１の撮像素子２１によって撮像され、ＤＦＥ１０によって所定の信号処理が施されて生成された画像データとする。また、画像データは、画像処理部１１によって、ホワイトバランス処理、階調変換やγ補正などの画像処理が予め施されているとする。さらに、その画像データは、画像処理部１１によって、欠陥画素の画素位置の情報が付加されて画像ファイルとして生成され、カードＩ／Ｆ１７を介してメモリカード１６に記憶されているとする。

なお、画像ファイルは、例えば、Ｅｘｉｆ(Exchangeable image file format for digital still cameras)規格やＴＩＦＦ／ＥＰ規格などに準拠した形式であるとする。また、画像データの欠陥画素の画素値は、公知の欠陥画素補正処理により予め補正されていてもよい。

そして、電子カメラ１において、操作部２３を介し操作者によりＰＣ通信モードが選択され画像データの転送が指示されると、カードＩ／Ｆ１７および入出力Ｉ／Ｆ１９を介して、カードメモリ１６に記憶された画像ファイルがＰＣ１８へ転送される。ＰＣ１８のＣＰＵ（不図示）は、電子カメラ１から画像ファイルを読み込むと、上述した画像処理プログラムを実行する。ＰＣ１８のＣＰＵ（不図示）は、画像処理プログラムに基づいて、画像ファイルに付加された欠陥画素の画素位置の情報を読み込み、画像データに対して、一の実施形態と同様の画像復元処理を行う。

なお、画像処理プログラムの実行により、画像復元処理された画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録されたり、モニタ２４やプリンタ２５で採用されている表色系に変換され表示出力されたりするのが好ましい。

このように、本実施形態では、上記実施形態と同様の画像復元処理がＰＣ１８により行われ、欠陥画素の補正処理と高画質化の処理とを高精度かつ高速に行うことができる。

また、ＰＣ１８のＣＰＵ（不図示）は、画像ファイルを記録したメモリカード１６がＰＣ１８に直接装着された場合、そのメモリカード１６から画像データを読み出し画像処理プログラムを実行してもよい。

また、本実施形態では、画像復元処理において、欠陥画素の画素位置の情報が付加された画像データを用いたが、ＰＣ１８が、画像ファイルとともに、電子カメラ１から撮像素子２１の欠陥画素の画素位置の情報を読み込み、不図示のメモリなどに記録することにより、欠陥画素の画素位置の情報が付加されていない画像ファイルの画像データに対しても画像復元処理を行うことができる。

また、画像処理プログラムは、インターネットを介して所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされてインストールされてもよい。

また、画像処理プログラムは、ＰＣ１８で実行せず、インターネットなどを介して接続される遠隔地のサーバなどで実行されてもよい。すなわち、ＰＣ１８は、電子カメラ１から読み込んだ画像データを、インターネットなどを介して、画像処理プログラムが実行可能なサーバなどに転送することにより、その画像データに対し画像復元処理を行ってもよい。
《実施形態の補足事項》
上記実施形態では、ＲＧＢ表色系で示され、かつ、各々の画素にＲ，Ｇ，Ｂのいずれか１つの色成分の色情報が存在する画像に対する処理を説明したが、同様の処理は、他の表色系で示される画像に対しても適用できる。

上記実施形態では、色成分が図２に示すように配列された画像データを処理対象としたが、本発明はこれに限定されず、様々な色成分の配列の画像データを処理対象とすることができる。

上記実施形態では、画像データは、画像復元処理の前にホワイトバランス処理などの画像処理が施されたが、本発明はこれに限定されず、画像復元処理の後にホワイトバランス処理などの画像処理を行ってもよい。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。

１ 電子カメラ、１０ ＤＦＥ、１１ 画像処理部、１２ ＣＰＵ、１３ メモリ、１４ 表示Ｉ／Ｆ、１５、２４ モニタ、１６ メモリカード、１７ メディアＩ／Ｆ、１８ ＰＣ、１９ 入出力Ｉ／Ｆ、２０ 撮像光学系、２１ 撮像素子、２２ ＴＧ、２３ 操作部、２５ プリンタ、２６ ＣＤ−ＲＯＭ

Claims (20)

1. 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の前記色情報を注目画素の画素位置で加重加算して前記注目画素の色成分と異なる色成分の値を算出し、前記各画素が複数の色成分を有する第２画像を生成する画像処理部と、
   前記第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、
   前記画像処理部は、前記第１画像の色情報を前記注目画素の画素位置で加重加算する複数の係数パターンを用意し、前記注目画素の色成分および前記欠陥画素の画素位置に基づいて、前記係数パターンを選択し加重加算する
   ことを特徴とする画像処理装置。
2. 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の前記色情報を注目画素の画素位置で加重加算して前記注目画素の色成分と異なる色成分の値を算出し、前記各画素が複数の色成分を有する第２画像を生成する画像処理部を備え、
   前記第１画像は、欠陥画素の画素位置の情報が付加され、
   前記画像処理部は、前記第１画像の色情報を前記注目画素の画素位置で加重加算する複数の係数パターンを用意し、前記注目画素の色成分および前記欠陥画素の画素位置に基づいて、前記係数パターンを選択し加重加算する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記画像処理部は、前記注目画素の画素位置における複数の方向に対する類似性の強弱を判定し、前記注目画素の色成分および欠陥画素の画素位置とともに、その判定結果に基づいて、前記係数パターンを選択することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像処理部は、前記注目画素に隣接する画素が前記欠陥画素である場合、前記隣接する画素の画素位置に基づいて、前記注目画素の画素位置における複数の方向に対する類似性の強弱を判定することを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記係数パターンは、前記注目画素の画素位置を中心に前記複数の色成分の色情報が含まれる最小の領域内の画素の色情報を加重加算する零以上の値からなることを特徴とする画像処理装置。
6. 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の前記色情報を零以上の可変な係数により注目画素の画素位置で加重加算して前記注目画素の色情報と異なる色成分の値を算出し、前記各画素が複数の色成分を有する第２画像を生成する画像処理部と、
   前記第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、
   前記画像処理部は、前記注目画素の色成分および前記欠陥画素の画素位置に基づいて前記係数を変え、前記注目画素の色情報と前記注目画素に隣接する画素の色情報とを加重加算する
   ことを特徴とする画像処理装置。
7. 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の前記色情報を零以上の可変な係数により注目画素の画素位置で加重加算して前記注目画素の色情報と異なる色成分の値を算出し、前記各画素が複数の色成分を有する第２画像を生成する画像処理部を備え、
   前記第１画像は、欠陥画素の位置情報が付加され、
   前記画像処理部は、前記注目画素の色成分および前記欠陥画素の画素位置に基づいて前記係数を変え、前記注目画素の色情報と前記注目画素に隣接する画素の色情報とを加重加算する
   ことを特徴とする画像処理装置。
8. 請求項６または請求項７に記載の画像処理装置において、
   前記画像処理部は、前記注目画素の画素位置における複数の方向に対する類似性の強弱を判定し、前記注目画素の色成分および前記欠陥画素の画素位置とともに、その判定結果に基づいて、前記係数を変えることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記画像処理部は、前記注目画素に隣接する画素が前記欠陥画素である場合、前記隣接する画素の画素位置に基づいて、前記注目画素の画素位置における複数の方向に対する類似性の強弱を判定することを特徴とする画像処理装置。
10. 請求項６ないし請求項９のいずれか１項に記載の画像処理装置において、
    前記画像処理部は、前記第１画像の全ての画素において、前記第１画像の色情報を常に一定の色成分比率で加重加算することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記画像処理部は、前記第１画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とからなる場合、前記第２色成分の色情報と前記第３色成分の色情報とを同一の色成分比率で加重加算することを特徴とする画像処理装置。
12. 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の前記色情報を零以上の可変な係数により注目画素の画素位置で加重加算して前記注目画素の色情報と異なる色成分の値を算出し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、前記異なる色成分を補正し、前記各画素が複数の色成分を有する第２画像を生成する画像処理部と、
    前記第１画像における欠陥画素の画素位置の情報を記憶する記憶部と、を備え、
    前記画像処理部は、前記注目画素の色成分および前記欠陥画素の画素位置に基づいて前記係数を変える
    ことを特徴とする画像処理装置。
13. 各画素が複数の色成分のいずれか１つの色成分の色情報を有する第１画像の前記色情報を零以上の可変な係数により注目画素の画素位置で加重加算して前記注目画素の色情報と異なる色成分の値を算出し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、前記異なる色成分を補正し、前記各画素が複数の色成分を有する第２画像を生成する画像処理部を備え、
    前記第１画像は、欠陥画素の位置情報が付加され、
    前記画像処理部は、前記注目画素の色成分および前記欠陥画素の画素位置に基づいて前記係数を変える
    ことを特徴とする画像処理装置。
14. 請求項１２または請求項１３に記載の画像処理装置において、
    前記画像処理部は、前記注目画素の画素位置における複数の方向に対する類似性の強弱を判定し、前記注目画素の色成分および前記欠陥画素の画素位置とともに、その判定結果に基づいて、前記係数を変えることを特徴とする画像処理装置。
15. 請求項１４に記載の画像処理装置において、
    前記画像処理部は、前記注目画素に隣接する画素が前記欠陥画素である場合、前記隣接する画素の画素位置に基づいて、前記注目画素の画素位置における複数の方向に対する類似性の強弱を判定することを特徴とする画像処理装置。
16. 請求項１２ないし請求項１５のいずれか１項に記載の画像処理装置において、
    前記画像処理部は、前記予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いることを特徴とする画像処理装置。
17. 請求項１２ないし請求項１６のいずれか１項に記載の画像処理装置において、
    前記異なる色成分は、輝度成分および色差成分であることを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置において、
    前記画像処理部は、前記第１画像が、第１色成分、第２色成分および第３色成分を有する場合、
    前記第１色成分と前記第２色成分とで構成される第１類似度成分、
    前記第２色成分と前記第３色成分とで構成される第２類似度成分、
    前記第３色成分と前記第１色成分とで構成される第３類似度成分、
    前記第１色成分のみで構成される第４類似度成分、
    前記第２色成分のみで構成される第５類似度成分、
    前記第３色成分のみで構成される第６類似度成分
    の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、前記複数の方向に対する類似性の強弱を判定する
    ことを特徴とする画像処理装置。
19. 撮像素子と、
    請求項１ないし請求項１８のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
20. 各画素が複数の色成分のいずれか１つの色成分の色情報を有し、欠陥画素の画素位置の情報が付加された第１画像を読み込む入力手順と、
    前記第１画像の前記色情報を注目画素の画素位置で加重加算して前記注目画素の色成分と異なる色成分の値を算出し、前記各画素が複数の色成分を有する第２画像を生成する画像処理手順と、をコンピュータに実行させ、
    前記画像処理手順は、前記第１画像の前記色情報を前記注目画素の画素位置で加重加算する複数の係数パターンを用意し、前記注目画素の色成分および前記欠陥画素の位置関係に基づいて、前記係数パターンを選択し加重加算する
    ことを特徴とする画像処理プログラム。

Images