JP5141245B2 - 画像処理装置、補正情報生成方法、および撮像装置 - Google Patents

Description

本発明は、画像処理装置、補正情報生成方法、および撮像装置に関する。

次のような傷補正回路が知られている。この傷補正回路は、欠陥画素の近傍の画素値を利用して欠陥画素位置の画素値を補間生成する（例えば、特許文献１）。

特開２００５−１７５５４７号公報

しかしながら、撮像素子の生産工程で大きなゴミが付着した場合などには、例えば幅５画素以上の大きな範囲に欠陥画素が塊状に生じる場合があるが、そのような大きな塊画素欠陥を補間する場合には、塊画素欠陥の中心付近の値は、塊画素欠陥の外側の離れた位置にある正常な画素値を用いて補間されるので、補間精度が著しく低下してしまう。

請求項１に記載の画像処理装置は、撮像素子に存在する欠陥画素の画素値を補正および補間する画像処理装置であって、画素値を補正して利用できる第一種欠陥画素の位置と、他の画素の画素値を用いて画素値が補間される第二種欠陥画素の位置とを区別して記憶する位置情報記憶メモリと、前記第一種欠陥画素出力に対する正常画素出力の比率である、前記第一種欠陥画素の補正量を記憶する補正量記憶メモリと、前記第一種欠陥画素の画素値に前記補正量を乗算することにより補正する補正手段と、前記補正手段によって補正された後の前記第一種欠陥画素を平滑化対象画素とし、前記平滑化対象画素の画素値とその周囲の画素の画素値とを用いて、前記平滑化対象画素の画素値を平滑化する平滑化手段と、前記補正手段によって画素値が補正された後、前記平滑化手段によって平滑化された前記第一種欠陥画素を含む画素の画素値を用いて、前記第二種欠陥画素の画素値を補間する補間手段と、を備え、前記平滑化手段は、前記平滑化対象画素の周囲の画素のうち、前記第一種欠陥画素と前記第二種欠陥画素を除外した画素の画素値を用いて平滑化を行うことを特徴とする。
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記平滑化手段は、前記平滑化対象画素の周囲の画素のうち、前記平滑化対象画素と同色のカラーフィルタを有する画素の画素値を用いて平滑化を行うことを特徴とする。
請求項３に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記平滑化手段は、前記平滑化対象画素の周囲の画素のうち、前記平滑化対象画素の画素値との差が所定値以内である画素の画素値を用いて平滑化を行うことを特徴とする。
請求項４に記載の補正情報生成方法は、請求項１〜３のいずれか一項に記載の画像処理装置の前記第一種欠陥画素の位置、前記第二種欠陥画素の位置、および前記第一種欠陥画素の補正量を生成する補正情報生成方法であって、露光量、照射光の色、撮像素子の温度、レンズのＦ値、レンズの瞳位置、の少なくともいずれかの撮影条件を変えて前記画像処理装置で撮影された複数の画像データを取得し、前記複数の画像データに基づいて前記複数の画像データの欠陥画素を検出して、前記欠陥画素の補正量を算出し、前記補正量に基づいて前記複数の画像データの欠陥画素を補正した場合の補正後の画素値が正常画素出力値から得られる度合いが所定値を超えない欠陥画素を前記第一種欠陥画素に分類し、その画素位置およびその補正量をそれぞれ前記第一種欠陥画素の位置および前記第一種欠陥画素の補正量として生成し、前記第一種欠陥画素以外の欠陥画素を前記第二種欠陥画素に分類し、その画素位置を前記第二種欠陥画素の位置として生成することを特徴とする。
請求項５に記載の撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子から出力される画像信号に対して画像処理を行って画像データを生成する請求項１〜３のいずれか一項に記載の画像処理装置と、を備え、前記画像処理装置は、前記撮像素子から出力される画像信号を用いて、前記撮像素子に含まれる欠陥画素の画素値を補正および補間して、前記画像データを生成することを特徴とする。

本発明によれば、撮像素子に存在する塊欠陥画素の画素値を高精度に補正及び補間することができる。

図1は、本実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、撮像素子１０２と、欠陥画素補正部１０３と、画像処理部１０４と、画像記録部１０５とを備えている。

レンズ１０１は、複数の光学レンズにより構成され、被写体像を撮像素子１０２へ結像する。撮像素子１０２は、例えばＣＣＤやＣＭＯＳセンサであり、この撮像素子１０２が一定時間露光することにより、光学像が画像データとして得られる。撮像素子１０２は、取得した画像データを欠陥画素補正部１０３へ出力する。このとき、撮像素子１０２が塊画素欠陥を有している場合には、撮像素子１０２で取得した画像データには、欠陥画素が発生することになる。欠陥画素補正部１０３は、後述する処理を行って、このような塊画素欠陥を有する撮像素子で撮像された画像データ内の欠陥画素を補正して、補正後の画像データを画像処理部１０４へ出力する。

なお、本実施の形態では、画像内の欠陥画素を、第一種欠陥画素と第二種欠陥画素との２種類に分類し、欠陥画素補正部１０３は、それぞれの欠陥画素ごとに補正を行う。ここで、第一種欠陥画素とは、露光量に比例した画素出力があり、露光量に対する画素出力の比率は撮像素子の温度や照射光の色にほとんど依存せず、また、レンズのＦ値や瞳位置に対する前記比率の依存性が所定値（例えば１０％）以内である画素をいう。また、第二種欠陥画素とは、上記第一種欠陥画素としての条件を満たさない他の欠陥画素をいう。

例えば、画像データにおける幅５画素程度以上の塊画素欠陥について調査したところ、その外殻部分が第一種欠陥画素である塊画素欠陥が多く存在することが判明した。そのような塊画素欠陥は、例えば図２に示されるような形状をしている。この図２に示す数字は、画素の種類を表し、「０」は正常画素であり、「１」は第一種欠陥画素であり、「２」は第二種欠陥画素である。

画像処理部１０４は、入力された画像データに対して、ホワイトバランス処理、色補間処理、エッジ強調処理、サイド強調処理などの公知の画像処理を施した後、画像処理後の画像データを画像記録部１０５へ出力する。画像データを画像記録部１０５は、例えば、メモリカードなどの外部記憶媒体や、フラッシュメモリなどの内部記憶媒体に画像データを記録する。なお、欠陥画素補正部１０３、画像処理部１０４、および画像記録部１０５は、ＣＰＵおよびその他の周辺回路により構成されている。

図３は、欠陥画素補正部１０３の構成を示すブロック図である。以下、この図３を用いて、欠陥画素補正部１０３によって実行される処理について説明する。欠陥画素補正部１０３は、第一種欠陥画素ゲイン補正部１０３ａと、第一種欠陥画素平滑化部１０３ｂと、第二種欠陥画素補間生成部１０３ｃと、欠陥画素位置記憶メモリ１０３ｄと、補正量記憶メモリ１０３ｅとを備えている。なお、欠陥画素位置記憶メモリ１０３ｄと補正量記憶メモリ１０３ｅは、物理的に同じメモリ、例えばフラッシュメモリであってもよく、物理的に異なるメモリであってもよい。

欠陥画素位置記憶メモリ１０３ｄには、図４に示すような８×８の２次元配列の欠陥マップＤ（ｉ，ｊ）（ｉ，ｊ＝０〜７）が記録されている。この欠陥マップＤ（ｉ，ｊ）では、０、１、および２のコード値によって正常画素と第一種欠陥画素と第二種欠陥画素を区別している。また、欠陥画素位置記憶メモリ１０３ｄには、欠陥マップＤの左上の画素位置を原点とした場合の、当該原点に対応する画像データの座標値（ｘ，ｙ）が欠陥画素位置として記録されている。すなわち、欠陥マップＤ（ｉ，ｊ）においては、画像データ上の画素（ｘ＋ｉ，ｙ＋ｊ）が正常画素ならＤ（ｉ，ｊ）＝０、画像データ上の画素（ｘ＋ｉ，ｙ＋ｊ）が第一種欠陥画素ならＤ（ｉ，ｊ）＝１、画像データ上の画素（ｘ＋ｉ，ｙ＋ｊ）が第二種欠陥画素ならＤ（ｉ，ｊ）＝２となる。

補正量記憶メモリ１０３ｅには、画像データ上の座標値（ｘ＋ｉ，ｙ＋ｊ）における第一種欠陥画素を補正するための補正量Ｃ（ｉ，ｊ）（ｉ，ｊ＝０〜７）が記憶されている。この補正量は、第一種欠陥画素出力に対する正常画素出力の比率である。補正量Ｃ（ｉ，ｊ）（ｉ，ｊ＝０〜７）)は、例えば図５に示すような値を持つ。

なお、画像データ上の第一種欠陥画素の位置、第二種欠陥画素の位置、および第一種欠陥画素の補正量Ｃ（ｉ，ｊ）は、デジタルカメラ１００を製造する工場において撮像素子１０２の画素欠陥特性を検査することによって得られる。その検査では、まず、露光量、照射光の色、撮像素子の温度、レンズのF値、レンズの瞳位置などの撮影条件を変えて複数の画像データを取得する。そして、画素出力に異常のある欠陥画素を検出し、欠陥画素出力に対する正常画素出力の比率を上記複数の画像データに基づいて欠陥画素ごとに算出する。

そして、上記複数の画像データの欠陥画素値に対して前記比率を乗算することにより補正を行う。そして、この補正を行った後の画素値が正常画素出力値から外れる比率が例えば１０％未満の欠陥画素を第一種欠陥画素に分類する。また、第一種欠陥画素以外の欠陥画素を第二種欠陥画素に分類する。そして、この分類結果に基づいて生成した欠陥マップＤ（ｉ，ｊ）、および欠陥画素位置を欠陥画素位置記憶メモリ１０３ｄに記録する。また、第一種欠陥画素の補正量を算出して、補正量記憶メモリ１０３ｅに記録する。

なお、撮像素子１０２に、複数の塊画素欠陥がある場合には、各塊画素欠陥に応じた複数の欠陥マップＤ（ｉ，ｊ）、および欠陥画素位置が欠陥画素位置記憶メモリ１０３ｄに記録され、各塊画素欠陥ごとの第一種欠陥画素の補正量が補正量記憶メモリ１０３ｅに記録される。このようにして、欠陥画素位置記憶メモリ１０３ｄと補正量記憶メモリ１０３ｅに必要な情報が記録された状態でデジタルカメラ１００は出荷される。

このデジタルカメラ１００を用いて撮影者が撮影を行うと、上述したように、撮像素子１０２が一定時間露光することにより、光学像が画像データとして得られ、撮像素子１０２は取得した画像データを欠陥画素補正部１０３へ出力する。欠陥画素補正部１０３は、入力された画像データに対して、次のような処理を実行する。

まず、撮像素子１０２から出力された画像データは、第一種欠陥画素ゲイン補正部１０３ａに入力される。第一種欠陥画素ゲイン補正部１０３ａは、欠陥画素位置記憶メモリ１０３ｄに記録されている欠陥マップＤ（ｉ，ｊ）および欠陥画素位置（ｘ，ｙ）を参照することによって、欠陥マップ上でＤ（ｉ，ｊ）＝１を満たす画像データ上の画素（ｘ＋ｉ，ｙ＋ｊ）を第一種欠陥画素として特定する。そして、第一種欠陥画素ゲイン補正部１０３ａは、特定した第一種欠陥画素（ｘ＋ｉ，ｙ＋ｊ）の画素値に対して、欠陥画素位置記憶メモリ１０３ｄに記録されている補正量Ｃ（ｉ，ｊ）を乗算することにより、画像データ内の第一種欠陥画素値を補正する。

次に、第一種欠陥画素平滑化部１０３ｂは、第一種欠陥画素ゲイン補正部１０３ａによって補正された第一種欠陥画素値に対して平滑化処理を行う。これによって、第一種欠陥画素ゲイン補正部１０３ａによるゲイン補正誤差を除去することができる。第一種欠陥画素平滑化部１０３ｂは、この平滑化処理において、平滑化対象画素、すなわち補正された第一種欠陥画素を中心とする９×９画素の範囲内にある画素であって、平滑化対象画素と同色のカラーフィルタを有する画素のうち欠陥画素ではない画素を参照して、平滑化対象画素を平滑化する。具体的には、第一種欠陥画素平滑化部１０３ｂは、上記参照画素値のうち、
｜参照対象画素の画素値の平滑化対象画素の画素値に対する比率−１｜
が所定値（例えば１２％）以内となる画素値の平均値を算出して、平滑化対象画素の画素値に代入することによって、平滑化対象画素を平滑化する。

次に、第二種欠陥画素補間生成部１０３ｃは、欠陥画素位置記憶メモリ１０３ｄに記録されている欠陥マップＤ（ｉ，ｊ）および欠陥画素位置（ｘ，ｙ）を参照することによって、欠陥マップ上でＤ（ｉ，ｊ）＝２を満たす画像データ上の画素（ｘ＋ｉ，ｙ＋ｊ）を第二種欠陥画素として特定する。そして、第二種欠陥画素補間生成部１０３ｃは、特定した第二種欠陥画素（ｘ＋ｉ，ｙ＋ｊ）の画素値を補間生成する。

この補間処理における参照可能画素は、画像内の第二種欠陥画素以外の全ての画素とする。すなわち、第二種欠陥画素補間生成部１０３ｃは、補正済みの第一種欠陥画素も含めた画像内の全画素を参照可能画素として、第二種欠陥画素（ｘ＋ｉ，ｙ＋ｊ）の画素値を補間生成する。なお、第二種欠陥画素（ｘ＋ｉ，ｙ＋ｊ）の画素値の補間生成方法としては、例えば、補間生成対象画素、すなわち第二種欠陥画素（ｘ＋ｉ，ｙ＋ｊ）と同色のカラーフィルタを有する近傍の参照可能画素の出力値の平均値を補間生成対象画素の画素値に代入すれば良い。あるいは、公知の手法によって画像構造の類似性が高い方向を判定して、補間生成対象画素に類似する方向にある参照可能画素を利用して補間生成しても良い。

欠陥画素補正部１０３は、上述した欠陥画素の補正処理を実行した後に、補正後の画像データを画像処理部１０４へ出力する。画像処理部１０４は、上述したように入力された画像データに対して種々の画像処理を施した後、画像処理後の画像データを画像記録部１０５へ出力する。画像記録部１０５は、上述したように、入力された画像データをメモリカード等の記憶媒体に記録する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）欠陥画素補正部１０３は、画素値を補正して利用できる第一種欠陥画素の位置と、他の画素の画素値を用いて画素値が補間される第二種欠陥画素の位置とを区別して記憶する欠陥画素位置記憶メモリ１０３ｄと、第一種欠陥画素の補正量を記憶する補正量記憶メモリ１０３ｅとを備えており、第一種欠陥画素ゲイン補正部１０３ａは、第一種欠陥画素の画素値を補正量記憶メモリ１０３ｅに記録されている補正量に応じて補正する。そして、第二種欠陥画素補間生成部１０３ｃは、第一種欠陥画素ゲイン補正部１０３ａによって画素値が補正された第一種欠陥画素を含む画素の画素値を用いて第二種欠陥画素の画素値を補間する。これによって、撮像素子に存在する塊欠陥画素の画素値を高精度に補間することができる。

（２）第一種欠陥画素の補正量は、第一種欠陥画素出力に対する正常画素出力の比率であり、第一種欠陥画素ゲイン補正部１０３ａは、第一種欠陥画素の値に補正量を乗算することにより補正を行うようにした。これによって、軽い欠陥である第一種欠陥画素は、補正量を乗算することで、簡易に高精度な補正を行うことができる。

（３）第一種欠陥画素平滑化部１０３ｂは、第一種欠陥画素ゲイン補正部１０３ａによって補正された後の第一種欠陥画素を平滑化対象画素とし、平滑化対象画素の画素値とその周囲の画素値とを用いて、平滑化対象画素を平滑化するようにした。これによって、第一種欠陥画素ゲイン補正部１０３ａによるゲイン補正誤差を除去することができる。

（４）第一種欠陥画素平滑化部１０３ｂは、平滑化対象画素の周囲の画素のうち、欠陥画素（第一種欠陥画素と第二種欠陥画素）を除外した画素の画素値を用いて平滑化を行うようにした。これによって、欠陥画素の画素値を含めずに平滑化することができるため、第一種欠陥画素ゲイン補正部１０３ａによるゲイン補正誤差を高精度に除去することができる。

（５）第一種欠陥画素平滑化部１０３ｂは、平滑化対象画素の周囲の画素のうち、平滑化対象画素と同色のカラーフィルタを有する画素の画素値を用いて平滑化を行うようにした。これによって、平滑化後の画素の画素値が他の色のカラーフィルタを有する画素の画素値の影響を受けることを防ぐことができる。

（６）第一種欠陥画素平滑化部１０３ｂは、平滑化対象画素の周囲の画素のうち、平滑化対象画素の画素値との差が所定値以内である画素の画素値を用いて平滑化を行うようにした。これによって、平滑化後に画像が画像構造を失うことを防止することができる。

（７）デジタルカメラ１００の出荷前に、露光量、照射光の色、撮像素子の温度、レンズのF値、レンズの瞳位置の、少なくともいずれかの撮影条件を変えて撮影された複数の画像データに基づいて画像データの補正量を算出し、補正量に基づいて複数の画像データの欠陥画素を補正した場合の補正後の画素値が正常画素出力値から外れる度合いが所定値を超えない欠陥画素を前記第一種欠陥画素に分類し、その画素位置およびその補正量をそれぞれ第一種欠陥画素の位置および第一種欠陥画素の補正量として生成するようにした。また、第一種欠陥画素以外の欠陥画素を第二種欠陥画素に分類し、その画素位置を前記第二種欠陥画素の位置として生成するようにした。これによって、使用者は、デジタルカメラ１００の購入直後から上述した欠陥画素の補正を行って、補正後の画像を取得することができる。

―変形例―
なお、上述した実施の形態のデジタルカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、欠陥マップＤ（ｉ，ｊ）は、８×８の２次元配列である例について説明した。しかしながら、欠陥マップＤ（ｉ，ｊ）の大きさはこれに限定されるものではない。例えば、工場出荷時に、撮像素子１０２の塊画素欠陥の大きさに応じた大きさの欠陥マップＤ（ｉ，ｊ）を欠陥画素位置記憶メモリ１０３ｄに記録しておくようにしてもよい。

（２）上述した実施の形態では、第一種欠陥画素平滑化部１０３ｂは、補正された第一種欠陥画素（平滑化対象画素）を中心とする９×９画素の範囲内にある画素であって、平滑化対象画素と同色のカラーフィルタを有する画素のうち欠陥画素（第一種欠陥画素および第二種欠陥画素）ではない画素を用いて、平滑化対象画素を平滑化する例について説明した。しかしながら、第一種欠陥画素平滑化部１０３ｂは、補正された第一種欠陥画素（平滑化対象画素）を中心とする９×９画素の範囲内にある画素であって、平滑化対象画素と同色のカラーフィルタを有する画素のうち第二種欠陥画素ではない画素を用いて、平滑化対象画素を平滑化するようにしてもよい。

（３）上述した実施の形態では、欠陥画素の補正処理をデジタルカメラ１００上で行う例について説明した。しかしながら、撮像素子を備えた他の画像処理装置、例えばカメラ付き携帯電話やビデオカメラ等で処理を行うようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

デジタルカメラの一実施の形態の構成を示すブロック図である。 塊画素欠陥の形状の具体例を示す図である。 欠陥画素補正部１０３の構成を示すブロック図である。 欠陥マップＤ（ｉ，ｊ）の具体例を示す図である。 補正量Ｃ（ｉ，ｊ）の具体例を示す図である。

符号の説明

１００ デジタルカメラ、１０１ レンズ、１０２ 撮像素子、１０３ 欠陥画素補正部、１０３ａ 第一種欠陥画素ゲイン補正部、１０３ｂ 第一種欠陥画素平滑化部、１０３ｃ 第二種欠陥画素補間生成部、１０３ｄ 欠陥画素位置記憶メモリ、１０３ｅ 補正量記憶メモリ、１０４ 画像処理部、１０５ 画像記録部

Claims (5)

1. 撮像素子に存在する欠陥画素の画素値を補正および補間する画像処理装置であって、
   画素値を補正して利用できる第一種欠陥画素の位置と、他の画素の画素値を用いて画素値が補間される第二種欠陥画素の位置とを区別して記憶する位置情報記憶メモリと、
   前記第一種欠陥画素出力に対する正常画素出力の比率である、前記第一種欠陥画素の補正量を記憶する補正量記憶メモリと、
   前記第一種欠陥画素の画素値に前記補正量を乗算することにより補正する補正手段と、
   前記補正手段によって補正された後の前記第一種欠陥画素を平滑化対象画素とし、前記平滑化対象画素の画素値とその周囲の画素の画素値とを用いて、前記平滑化対象画素の画素値を平滑化する平滑化手段と、
   前記補正手段によって画素値が補正された後、前記平滑化手段によって平滑化された前記第一種欠陥画素を含む画素の画素値を用いて、前記第二種欠陥画素の画素値を補間する補間手段と、を備え、
   前記平滑化手段は、前記平滑化対象画素の周囲の画素のうち、前記第一種欠陥画素と前記第二種欠陥画素を除外した画素の画素値を用いて平滑化を行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記平滑化手段は、前記平滑化対象画素の周囲の画素のうち、前記平滑化対象画素と同色のカラーフィルタを有する画素の画素値を用いて平滑化を行うことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記平滑化手段は、前記平滑化対象画素の周囲の画素のうち、前記平滑化対象画素の画素値との差が所定値以内である画素の画素値を用いて平滑化を行うことを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置の前記第一種欠陥画素の位置、前記第二種欠陥画素の位置、および前記第一種欠陥画素の補正量を生成する補正情報生成方法であって、
   露光量、照射光の色、撮像素子の温度、レンズのＦ値、レンズの瞳位置、の少なくともいずれかの撮影条件を変えて前記画像処理装置で撮影された複数の画像データを取得し、
   前記複数の画像データに基づいて前記複数の画像データの欠陥画素を検出して、前記欠陥画素の補正量を算出し、
   前記補正量に基づいて前記複数の画像データの欠陥画素を補正した場合の補正後の画素値が正常画素出力値から得られる度合いが所定値を超えない欠陥画素を前記第一種欠陥画素に分類し、その画素位置およびその補正量をそれぞれ前記第一種欠陥画素の位置および前記第一種欠陥画素の補正量として生成し、
   前記第一種欠陥画素以外の欠陥画素を前記第二種欠陥画素に分類し、その画素位置を前記第二種欠陥画素の位置として生成することを特徴とする画像処理方法。
5. 被写体像を撮像する撮像素子と、
   前記撮像素子から出力される画像信号に対して画像処理を行って画像データを生成する請求項１〜３のいずれか一項に記載の画像処理装置と、を備え、
   前記画像処理装置は、前記撮像素子から出力される画像信号を用いて、前記撮像素子に含まれる欠陥画素の画素値を補正および補間して、前記画像データを生成することを特徴とする撮像装置。
   

Images