JP2007336433A - デジタルカメラにおける画像欠陥の解消又は軽減方法 - Google Patents

Abstract

【課題】カメラの使用者が画像欠陥となるカメラ内部のゴミの除去、又は画像補正を必要に応じて随時、かつ、効果的に行う。
【解決手段】撮像素子を有するデジタルカメラにおいて内部に付着するゴミによって生ずる画像欠陥を解消又は軽減する方法であって、撮影レンズの前面に光拡散板を取り付けた後、第１の絞り状態で画像データを取得し、画像データにおいて画像欠陥の有無を判定し、画像欠陥が有の場合、更に第２の絞り状態で画像データを取得し、両画像データを比較することによりゴミ除去動作又は画像補正データの作成のいずれかを行う。第１の絞り状態は最小絞り近傍であり、第２の絞り状態は開放絞り近傍である。開放絞り近傍の画像データにおいて、画像欠陥の濃度と大きさの変化が一定以上の場合、撮像素子の光学カバーを加振して付着したゴミを除去し、一定以下の場合、画像補正データを生成する。
【選択図】図１

Description

本発明は、デジタルカメラにおいて、カメラ内部に付着したゴミによって生ずる画像欠陥を解消又は軽減する方法に関する。

近年、銀塩フィルムを用いたカメラに代わって、撮像素子により電気的に映像を取得するデジタルカメラ（以下、単にカメラと呼ぶ）が普及している。

このようなカメラではCMOSやCCDなどの撮像素子を用いているが、その撮像素子の表面近傍にゴミが付着すると、その影が画像の中に投影され、見苦しい画像欠陥となってしまう。特に一眼レフカメラのようなレンズ交換式カメラでは機構上ゴミがカメラ内部に入りやすいため、欠陥対策が強く求められている。

ここで問題となるゴミは、カメラの内部、主に撮像素子近傍であって、撮像素子の表面から概ね数ミリメートル以内に配置された光学カバーガラス、又は光学ローパスフィルター（以下OLPF）の表面に付着するものである。

このような画像欠陥の解消、軽減には大別して二つの方法が考案されてきた。

（１）物理的な力、例えば超音波振動でゴミを除去するもの。

（２）ゴミの画像データを利用し、画像欠陥を補正するもの。

（１）の物理的な力でゴミを除去する方法としては、例えば下記特許文献１に開示されるように、撮像素子モジュールの前面の光学素子であるガラス板（光学カバー）を圧電体等により振動させてゴミを除去する技術が実用化されている。この方法は、ブロアー等で塵埃を吹き払う方法に比べてカメラの組立後に発生した塵埃に対して効果的に除去することができる。

（２）の画像補正について、例えば下記特許文献２では、白一色の基準被写体を撮影してゴミのアドレスとデータを格納し、通常の被写体を撮影した画像を補正する方法が開示されている。

また、下記特許文献３では、通常の撮影画像からゴミの画像を抽出し、そのデータにより画像を補正する方法が開示されている。
特開２００２−２０４３７９号公報（オリンパス） 特開２００２−２０９１４７号公報（富士写真フイルム） 特開２００５−３０１５２４号公報（オリンパス）

しかしながら、上記方法の一方だけでは画像欠陥を完全に解消することはできない。すなわち、上記（１）の方法において光学カバーを振動させてゴミの除去動作を行っても、ゴミがこのカバー以外の面に付着していると、除去することができず、効果が無い。この場合画像欠陥の解消には至らない。上記（２）の方法の撮影データをもとに画像を補正する方法では、一般の使用者が手近に基準被写体を用意することが困難であったり、過去の画像が必ずしも適切な条件で撮影されているとは限らないからである。また、例えば光学カバーに付着したゴミ自体を除くものではなく、逐次画像補正を行わなければならない。

本発明は、以上のような不都合を解決するためになされたものであり、その目的は、カメラ内部に付着するゴミの有無を判定し、ゴミの除去か、画像の補正のいずれかを行う方法を提供することである。

上記課題を解決するため、本発明のデジタルカメラにおける画像欠陥の解消又は軽減方法は、撮像素子を有するデジタルカメラにおいて内部に付着するゴミによって生ずる画像欠陥を解消又は軽減する方法であって、
撮影レンズの前面に光拡散板を取り付けた後、第１の絞り状態で画像データを取得し、前記画像データにおいて画像欠陥の有無を判定し、前記画像欠陥が有の場合、更に第２の絞り状態で画像データを取得し、前記両画像データを比較することによりゴミ除去動作又は画像補正データの作成のいずれかを行うことを特徴とする。

本発明によれば、カメラの使用者が画像欠陥となるカメラ内部のゴミの除去、又は画像補正を必要に応じて随時、かつ、効果的に行うことができる。

本発明の実施形態の要点は、カメラの使用者が「ゴミ除去モード」を設定するとともに、撮影レンズの前枠に光拡散板を装着してから所定のスイッチを操作すると、次の一連の動作プログラムを実行し、ゴミの除去と画像欠陥の補正を必要に応じて行うことにある。

すなわち、撮影レンズの絞りを第１の絞り状態と第２の絞り状態の二種類に設定して連続撮影し、まず第１の絞り状態で撮影した画像データを用いてゴミの有無を判別する。ここでゴミによる画像欠陥が有る場合は、第１の絞り状態と第２の絞り状態の画像データを比較し、光学カバーの振動などによりゴミを除去するか、あるいは、画像補正データを生成するかを判別する。

以下、本発明のデジタルカメラにおける画像欠陥の解消又は軽減方法を構成する各ステップについて、実施形態１，２を図面に基づいて説明する。

［実施形態１］
図１は、本発明の実施形態１における画像欠陥の解消又は軽減方法のフローチャート、図２は、カメラの断面構造を示す模式図、（ａ）は小絞り、（ｂ）は開放絞り、（ｃ）は光学カバーの振動の各状態を示す。図３は、ゴミの像が形成される様子を示す撮像素子付近の拡大図であり、（ａ）は小絞り、（ｂ）は開放絞りの各状態を示す。
（ａ）と（ｂ）は、各々の状態で撮影した撮像素子出力の差分により、光学カバー４上にゴミ５が付着しているか否かが判別できれば、いずれの絞り状態であっても良い。しかしながら、絞り状態に最も差を有する、小絞り（最小絞りを含む）と開放絞りにそれぞれ設定するのが最も好ましい。

図４は、画像データにおける撮像素子出力を説明するための図、（ａ）は実施形態１の正規化した撮像素子の出力信号を一方向に表したグラフである。実施形態２における撮像素子面を示す（ｂ）と対比させている。

なお、図１のフローチャートで逆台形の記号はカメラ使用者の意図による動作を表すこととする。

図１のフローチャートに沿って説明する。

始めに、ゴミによる画像欠陥を識別するためには、撮像素子の全画面が均一な照度で照明されていることが望ましい。工業的には均一に照明された白一色のパネル、あるいは平面光源などのような「基準被写体」を用意し撮影することが一般的である。しかしながら、通常のカメラ使用者がこれらを用意することは実用的とはいいがたい。

図２に示すように、乳白色の光拡散板６を撮影レンズ２の直前に配置し、被写体が無限遠方付近としてレンズの繰り出し量を調整すれば、撮像素子１を比較的均一に照明することが可能である。

レンズ保護のキャップを乳白色透光性のプラスチックで成型しておくことで、カメラの使用者がことさら留意しなくとも「基準被写体」を光拡散板６として常時携帯することができる。なお、この光拡散板６は撮影光源の色温度判別、ホワイトバランス調整にも流用できる。

（開始）
ゴミ除去を行うカメラ使用者は、まず上記の乳白色のレンズキャップである光拡散板６を撮影レンズ２に被せ、これを適当な明るさの環境に置いてからゴミ除去モードの開始を選択する。以降はカメラの内蔵プログラムによる自動ないし半自動の動作となる。

（シャッタースピードの計算）
光拡散板６を被せることで、拡散光６１を撮像素子１前面に照射することができる。

この状態では一般的にオートフォーカス機構は働かなくなるため、撮影レンズ２の繰り出しを所定の位置、望ましくは無限遠に固定する。これにより、光拡散板６にキズやヨゴレ、照明のムラなどがあっても、撮像素子１の焦点面では結像せず画像への影響がより少なくなる。次にカメラ内蔵の露出計（不図示）で絞り３を透過する光量を測定する。絞り３を最小絞り（最大Ｆナンバー）から開放絞り（最小Ｆナンバー）まで変化させたときに、撮像素子１の受光量（素子面の照度と不図示のシャッターによる露光時間の積）を適正な出力範囲に収める必要がある。そのためにシャッター速度、撮像素子出力信号の増幅器（不図示）の利得などを計算する。もしこれらが制御可能な範囲を超えていれば、適切な明るさのもとにレンズを置くよう、カメラ使用者に警告を表示して動作を中断する。

（小絞り撮影）
当該撮影レンズ２の最小絞りか、その近傍の小絞り３ａで撮影する。このときの画像データを保存・分析し、ゴミ５による所定の値以上の画像欠陥が存在するか否かを判定する。図３（ａ）において小絞り撮影データＡは、画像データＡとして示され、画像欠陥の判断基準は、画像欠陥の濃度と大きさ、すなわち撮像素子出力（最大値により正規化した相対値）の低下の「深さ」と「広がり」、そしてそれらの組合せで定義することができる。図４（ａ）の正規化した撮像素子の出力信号を一方向に表したグラフにおいて、画像欠陥を１ｃとして示している。ここで正規化するのは、絞りの開きの程度により光量が異なるためである。

画像欠陥の濃度と大きさとも少ないほうが望ましいが、実用的には、画像を所定の大きさにプリントしたときに目視で判別できるか否かで閾値を決定することが望ましい。より厳密には濃度と大きさという二つの値だけでなく、両者の組合せを規定する必要もある。

小絞り撮影データＡで全画面内に規定値以上の画像欠陥が存在しなければ、ゴミ除去の必要がないため、必要に応じてメッセージを表示するとともに当該モードを終了する。

（開放撮影）
小絞り撮影データＡに許容値以上の画像欠陥がある場合、つぎに絞りを開放絞り３ｂかその近傍まで開けて撮影しデータを得る。図３（ｂ）において開放絞り撮影データＢは、画像データＢとして示され、画像欠陥の濃度と大きさは、撮像素子出力（最大値により正規化した相対値）の低下の「深さ」と「広がり」で示される。

（データ差分の計算）
ゴミ５が撮像素子から光軸方向に離れている場合、すなわち光学カバー４（カバーガラスやOLPF）に付着している場合、画像欠陥すなわちゴミ５の影は絞り値により変化する。

図３（ｂ）に示すように絞りを開けると、撮像素子低下の「深さ」は浅く、「広がり」は大きくなる。すなわち、ゴミ５は、撮像素子１の焦点面からある程度の距離ｄがあり、撮像素子１の焦点面に投影されるゴミ５の影は、絞り３を開くほど鮮鋭度が低下する。小絞り撮影データＡを基準に、開放絞り撮影データＢとの、撮像素子出力の差分Ｃ（＝Ｂ−Ａ）を計算する。この様子を撮像素子出力の一方向のみで図示したのが図４（ａ）である。後述の実施形態２の図４（ｂ）と対比させている。

（ゴミ除去動作）
こうして得られた差分データＣに所定以上の値がある場合、すなわち絞り値によって画像欠陥の形が変化する場合は、光学カバー４上にゴミ５が付着している可能性が高い。このときは、図２（ｃ）に示すように、光学カバー４に取り付けられた圧電素子４１に高周波電圧源４３により高周波電圧を印加して振動を生じさせ、光学カバー４の表面に付着したゴミ５の除去動作を行う。なお、４２は光学カバー４の振動を妨げず、かつ撮像素子１との間を気密構造に保つためのパッキンである。

（補正データ作成と格納）
他方、Ｃが所定の値以下の場合はゴミ５が光学カバー４の表面には無く、より撮像素子１に近い位置、例えば撮像素子１に密着していることも推定される。すなわち小絞りと開放絞りの撮像素子出力に規定以上の差が生じないのは、ゴミ５が焦点面である撮像素子１の表面に付着していると、ゴミ５の影は、絞り３を開いても鮮鋭度が低下しないためである。この場合は光学カバー４を加振してもゴミの除去は期待できないため、上記ＡないしＣのデータを利用した画像補正データを作成して格納する。この補正データに基づき公知の方法により画像の補正が行われる。

補正データは、実際に画像が撮影される絞り値によって変化すべきであるが、基準となるデータＡと、絞りによる変動Ｃを格納していれば、実際に撮影した絞りに対応する補正データを生成することができる。従って絞り値に対応した補正データを格納する必要は無い。

図５に実施形態１の変形例のフローチャートを示す。

カメラはゴミ除去動作を行った後、引き続いて再度開放絞り撮影を行い、目的のゴミが除去されたかどうかを判定する。開放絞り再撮影を行い、このときの撮影データＢ′を保存する。差分計算（Ｃ′＝Ｂ′−Ａ）を行い、規定以上に差があれば、ゴミが除去されていないと判定され、カメラの使用者に警告を表示する。警告の内容としては、使用者に手動での清掃を促したり、メーカーへの持ち込み清掃を促すことなどが挙げられる。

［実施形態２］
次に本発明の実施形態２を示す。

図４（ｂ）は、実施形態２における撮像素子面を示す図である。

図４（ｂ）に示すように、あらかじめ撮像素子１の画面全体を所定の区画ｋ（ｋ＝１，２，３…）に区切り、区画の番地などを決めておく。区画の大きさは必要に応じて適宜決めることができるが、一つの区画には画素１ａが概ね数万個程度含まれ、かつ画面全体を数十から数千区画程度に区切ることが実用的である。

実施形態１と同様に小絞り撮影データＡを取得した後、区画単位で欠陥の有無を判別する。複数の画素にまたがる画像欠陥を１ｃとして示している。

このようにすることで、特定の区画、例えば画面中心近傍の複数の区画ｐ（太線で示す）は欠陥判定基準を厳しく、画面周辺は緩くするなど、より実用的な設定を行うこともできる。

この判別を画面全体にわたって区画ごとに行い、ｎ番目の区画（ｋ＝ｎ）に画像欠陥が存在した場合、小絞り撮影ではその区画のデータＡｎだけを保存する（区画は一つだけとは限らない）。

開放絞り撮影ではｎ番目の区画についてデータＢｎを取得し、差分計算Ｃｎ＝Ｂｎ−Ａｎを行えばよいので、計算速度の向上とメモリーの効率的な利用を図ることができる。

本発明の実施形態１における画像欠陥の解消又は軽減方法のフローチャート カメラの断面構造を示す模式図、（ａ）は小絞り、（ｂ）は開放絞り、（ｃ）は光学カバーの振動の各状態を示す図 ゴミの像が形成される様子を示す撮像素子付近の拡大図、（ａ）は小絞り、（ｂ）は開放絞りの各状態を示す図 画像データにおける撮像素子出力を説明するための図、（ａ）は実施形態１の正規化した撮像素子の出力信号を一方向に表したグラフ、（ｂ）は実施形態２における撮像素子面を示す図 実施形態１の変形例を示すフローチャート

符号の説明

１…撮像素子
１ａ…画素、１ｃ…画像欠陥
２…撮影レンズ
３…絞り
３ａ…小絞り、３ｂ…開放絞り
４…光学カバー
４１…圧電素子
４２…パッキン
５…ゴミ
６…光拡散板（乳白色レンズキャップ）
６１…拡散光

Claims (9)

1. 撮像素子を有するデジタルカメラにおいて内部に付着するゴミによって生ずる画像欠陥を解消又は軽減する方法であって、
   撮影レンズの前面に光拡散板を取り付けた後、第１の絞り状態で画像データを取得し、前記画像データにおいて画像欠陥の有無を判定し、前記画像欠陥が有の場合、更に第２の絞り状態で画像データを取得し、前記両画像データを比較することによりゴミ除去動作又は画像補正データの作成のいずれかを行うことを特徴とするデジタルカメラにおける画像欠陥の解消又は軽減方法。
2. 前記第１の絞り状態は最小絞り近傍であり、前記第２の絞り状態は開放絞り近傍であることを特徴とする請求項１に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
3. 撮影レンズの前面に光拡散板を取り付けた後は、カメラの内蔵プログラムにより行うことを特徴とする請求項１又は２に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
4. 前記開放絞り近傍の画像データを前記最小絞り近傍の画像データと比較して、画像欠陥の濃度と大きさの変化が一定以上の場合、ゴミ除去動作を行うことを特徴とする請求項２に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
5. 前記ゴミ除去動作において、撮像素子の光学カバーを加振して付着したゴミを除去することを特徴とする請求項４に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
6. 前記ゴミ除去動作を行った後、再度開放絞り近傍で画像データを取得し、該開放絞り近傍の画像データを前記最小絞り近傍の画像データと比較して、画像欠陥の濃度と大きさの変化が一定以上の場合、ゴミ警告表示を行うことを特徴とする請求項４に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
7. 前記開放絞り近傍の画像データを前記最小絞り近傍の画像データと比較して、画像欠陥の濃度と大きさの変化が一定以下の場合、画像補正データの作成を行うことを特徴とする請求項２に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
8. 撮像素子の画素をあらかじめ一定数ごとに区画分けをしておき、画像欠陥の有無をこの区画ごとに判定することを特徴とする請求項１又は２に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。
9. 前記区画ごとに画像欠陥の有無の判定基準が異なることを特徴とする請求項８に記載のデジタルカメラにおける画像欠陥の解消又は軽減方法。

Images