JP2004343519A - 撮像装置および画像処理装置 - Google Patents

Abstract

【課題】ユーザが画像を選択して指定することなく、撮像光路上のゴミの影響を撮像画像データより除去する処理を行うことができる撮像装置および画像処理装置を提供する。
【解決手段】ユーザが電子カメラ１を用いるとき、通常の被写体を撮影する場合は通常モードを、ゴミ情報を得るために一様面の基準画像を撮影する場合はゴミ情報取得モードを選択する。電子カメラ１は、撮像画像のデータファイルをメモリカードに記録するとき、撮影モードがゴミ情報取得モードと通常モードのいずれであったかによって、ファイルの拡張子を異なるものとし、いずれの撮影モードで撮影されたかを示すタグ情報をその撮像画像データのファイルに付加する（ステップＳ５、Ｓ９）。ＰＣ３１は、それらファイルの拡張子やタグ情報によって使用する基準画像を判別し、補正対象画像のゴミを除去する処理を行う。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置と、その撮像装置によって撮像された撮像画像を画像処理する画像処理装置に関する。特に、撮像画像データを撮像装置から画像処理装置へ出力し、画像処理装置において撮像光路上のゴミの影響を撮像画像より除去する、撮像装置および画像処理装置に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置では、撮像光路上にあり撮像素子の近傍に配置された光学フィルタ等の光学部材にゴミが付着すると、付着したゴミにより生じた影が撮像画像に現れ、その部分が画像欠陥となる。特にレンズ交換式の撮像装置では、レンズ交換時に塵や埃などのゴミが内部に侵入しやすい。そのため、撮像装置内部に侵入したゴミが光学部材に付着し、画像欠陥を生じやすい。このような問題点を解決するため、設定された画像欠陥の位置情報により撮像画像の画像欠陥を補正する画像補正装置が知られている（特許文献１）。
【０００３】
【特許文献１】
特開平１１−１０３４１３号公報
【０００４】
【発明が解決しようとする課題】
特許文献１の画像補正装置では、画像欠陥の位置情報を設定する必要がある。この画像補正装置は、たとえば白や黒などの一様面の撮像画像により、画像欠陥の位置情報を検出する。ここで、内部に侵入したゴミを除去せずに撮像装置のレンズ交換を繰り返すと、そのたびにゴミが増えて画像欠陥が増加する。したがって、画像補正装置において設定する画像欠陥の位置情報は、補正対象とする撮像画像になるべく近いタイミングの撮像画像によって検出するのが望ましい。しかし、特許文献１の画像補正装置では、画像欠陥の位置情報を検出するための画像と、補正対象とする画像とをそれぞれ選択して指定しなければならず、手間がかかっている。
【０００５】
本発明は、ユーザが画像を選択して指定することなく、撮像光路上のゴミの影響を撮像画像データより除去する処理を行うことができる撮像装置および画像処理装置を提供するものである。
【０００６】
【課題を解決するための手段】
請求項１の発明による撮像装置は、光学系を通して入力された被写体像を撮影する撮像手段と、撮像手段により基準画像を撮影する第１のモードと、撮像手段により補正対象画像を撮影する第２のモードとを切り換えるモード切換手段と、撮像手段により撮影された基準画像と補正対象画像をデジタルデータファイルとして外部へ出力する出力手段と、出力手段により出力されるデジタルデータファイルが基準画像と補正対象画像のいずれであるかを表す情報をデジタルデータファイルに付加する情報付加手段とを備えるものである。
請求項２の発明は、請求項１に記載の撮像装置において適用され、情報付加手段は、基準画像または補正対象画像であることを表す情報を含むメタデータをデジタルデータファイルに付加し、メタデータは、該デジタルデータファイルの基準画像および補正対象画像を変更しないものである。
請求項３の発明は、請求項１または２に記載の撮像装置において適用され、情報付加手段は、デジタルデータファイルのファイル名の一部を変更することにより、基準画像と補正対象画像のいずれであるかを表す情報をデジタルデータファイルに付加するものである。
請求項４の発明による画像処理装置は、請求項１〜３に記載のいずれかの撮像装置より出力されるデジタルデータファイルを入力する入力手段と、情報に基づいて該デジタルデータファイルが基準画像と補正対象画像のいずれであるかを判別する判別手段と、基準画像に基づいて撮像手段の撮像光路上に存在するゴミの影響を補正対象画像より除去する除去手段とを備えるものである。
【０００７】
【発明の実施の形態】
（電子カメラおよびパーソナルコンピュータの構成）
図１は、交換レンズ方式の一眼レフ電子スチルカメラ（以下、電子カメラと言う）の構成を示す図である。電子カメラ１は、カメラ本体２とマウント式交換レンズからなる可変光学系３を有する。可変光学系３は、内部にレンズ４と絞り５を有する。レンズ４は複数の光学レンズ群から構成されるが、図では代表して１枚のレンズで表し、そのレンズ４の位置を主瞳位置と言う（以下、単に瞳位置と言う）。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
【０００８】
カメラ本体２は、シャッター６、光学フィルターやカバーガラスなどの光学部品７、撮像素子８を有する。可変光学系３は、カメラ本体２のマウント部９に対して着脱可能である。また、可変光学系３は、マウント部９を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ１の制御部１７（図２）に送信する。絞り値は、例えばＦ２．８〜Ｆ２２まで変化する。
【０００９】
符号１０は、撮像素子８前部の光学部品７の表面に付着したゴミを示す。可変光学系３の絞り値や瞳位置を変化させて、撮影画像に写り込んだゴミ影の変化を評価する実験を行った結果、以下の２つの事実が判った。
（１）絞り値によってゴミ影の大きさと光の透過率が変わる。
（２）レンズの瞳位置によってゴミ位置がずれる。
この２つの事実から、固定位置に付着したゴミであっても、レンズの撮影条件（絞り値と瞳位置）が変化する度にゴミの写り込み方が変化していることがわかる。このような可変な光学系に対して、ゴミの影響を除去する手法を以下に示す。
【００１０】
図２は、電子カメラ１のブロック図とＰＣ（パーソナルコンピュータ）３１および周辺装置を示す図である。ＰＣ３１は、画像処理装置として機能し、電子カメラ１から画像データを取得し後述するゴミの影響除去処理をする。
【００１１】
電子カメラ１は、可変光学系３、光学部品７、シャッター６（図２では図示省略）、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、モニタ２１、メモリカード用インタフェース部２２、外部インタフェース部２３を備える。
【００１２】
撮像素子８は、可変光学系３を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子８は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子８は、例えば単板式カラーＣＣＤなどで構成される。アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部１４は、制御部１７により制御され、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、画像処理部１５の各動作のタイミングを制御する。
【００１３】
メモリカード用インタフェース部２２は、メモリカード（カード状のリムーバブルメモリ）３０とのインタフェースをとる。外部インタフェース部２３は、所定のケーブルや無線伝送路を介してＰＣ３１等の外部装置とのインタフェースをとる。操作部１６は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ２１は、各種メニューを表示したり、撮像素子８で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部１６の出力は制御部１７に入力され、モニタ２１には表示画像生成部２０の出力が入力される。画像処理部１５は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【００１４】
Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インタフェース部２２、外部インタフェース部２３は、バス２４を介して相互に接続されている。
【００１５】
ＰＣ３１には、モニタ３２やプリンタ３３等が接続されており、ＣＤ−ＲＯＭ３４に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ３１は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード３０とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
【００１６】
図１のような構成の電子カメラ１において、操作部１６を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１７は、タイミング制御部１４を介して、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３に対するタイミング制御を行う。このとき選択される撮影モードには、通常の被写体を撮影するときの通常モードと、ゴミ情報を得るために後述する基準画像を撮影するときのゴミ情報取得モードがある。なお、通常モードは被写体の種類などによって複数のモードに分かれていてもよい。
【００１７】
撮像素子８は、可変光学系３により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部１２で所定のアナログ信号処理が施され、アナログ処理後画像信号としてＡ／Ｄ変換部１３へ出力される。Ａ／Ｄ変換部１３では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部１５に供給する。
【００１８】
本実施の形態の電子カメラ１では、撮像素子８において、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されている場合を例にとり、画像処理部１５に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子８を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。
【００１９】
画像処理部１５は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１９で所定の圧縮処理が施され、メモリカード用インタフェース部２２を介してメモリカード３０に記録される。
【００２０】
画像処理が完了した画像データは、メモリカード３０を介してＰＣ３１に提供される。外部インタフェース２３および所定のケーブルや無線伝送路を介してＰＣ３１に提供してもよい。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。
【００２１】
（ゴミの影響除去処理）
次に、撮影した各画像データにおいて、ゴミの影響を除去する処理について説明する。本実施の形態では、ゴミ情報を得るための基準画像を撮影し、光学的撮影条件の異なる複数の画像に対してもこの基準画像を利用してゴミ除去を行う方法を示す。ただし、基準画像は、完全に一様な白基準データではなく、青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データには、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。
【００２２】
（電子カメラ側の動作）
撮影時、ユーザは撮影モードとして前述の通常モードとゴミ情報取得モードのいずれかを選択する。電子カメラ１は、このように選択される撮影モードによって、メモリカード３０に記録する撮像画像データのファイル情報を変化させる。
【００２３】
撮影時に電子カメラ１において実行される処理のフローチャートを図３に示す。この処理は、ユーザによって前述の撮影モードのいずれかが選択されたときに実行される。図３のステップＳ１では、撮影が継続されているか否かを判定する。このステップＳ１の処理は、ユーザが撮影の終了を指示すると、撮影の実行中や撮像画像データの記録中を除いて、速やかに図３の処理を終了できるようにするものである。ユーザによって撮影の継続が指示されている場合、すなわち前述の撮影モードのいずれかが選択されている場合は、ステップＳ２へ進む。そうでない場合、すなわちユーザがいずれの撮影モードも選択せずに撮影の終了を指示した場合は、図３の処理を終了する。
【００２４】
ステップＳ２では、選択されている撮影モードがゴミ情報取得モードであるか否かを判定する。ゴミ情報取得モードが選択されている場合は、ステップＳ６へ進む。このとき、電子カメラ１は、ステップＳ６において、後に説明するような基準画像の撮影をするための撮影条件（絞り、画像処理内容、等）を設定する。そうでない場合、すなわち通常モードが選択されている場合は、ステップＳ３へ進む。このとき、電子カメラでは、通常に被写体を撮影するときの撮影条件を設定する。この通常時の撮影条件は、被写体に応じてあらかじめ設定されているものが用いられたり、ユーザによって設定が変更されたりする。
【００２５】
次に説明するステップＳ３〜Ｓ５の処理は、通常モードにおいて実行される。ステップＳ３では、撮影の指示が行われたか否かを判定する。ユーザがレリーズボタンの操作などによって撮影を指示すると、電子カメラ１は、次のステップＳ４において撮影を行い、ステップＳ５において、その撮像画像データを図２のメモリカード３０に記録する。ステップＳ５で記録された撮像画像データは、後に説明するＰＣ３１が実行する画像補正処理において、補正の対象とされる。ステップＳ３において撮影の指示が行われない場合、またはステップＳ５を実行した後は、ステップＳ１へ戻る。
【００２６】
ステップＳ５においてメモリカード３０に記録される撮像画像データ（補正対象画像データ）には、ファイル名が設定される。このファイル名にはファイル種別を表す拡張子が含まれており、ファイル名の末尾部の「．」（ドット）以降の部分が拡張子となる。すなわち、補正対象画像データのファイル名は、「“ｘｘ（各ファイルに固有の名称）”．“ｙｙ（拡張子）”」と表される。ここで、ｘの部分は任意の文字や記号であり、ｙの部分はファイル種別ごとに決まった数文字程度のアルファベットである。
【００２７】
また、補正対象画像データには、タグ情報が付加される。このタグ情報はメタデータ（基となるデータについての情報が記述されたファイル情報管理用のデータ）であり、たとえばファイルが作成されたときの電子カメラ１の設定状況や、ファイルの作成日時を表す情報などが含まれる。ここで付加されるタグ情報は、基となる画像データには影響を及ぼさない。つまり、タグ情報が変更されたとしても、補正対象画像データは変更されない。
【００２８】
ステップＳ５では、ファイル名の拡張子に「ＪＰＧ」を設定し、タグ情報として、通常モードにおいて撮影されたことを表す情報を付加する。なお、拡張子「ＪＰＧ」は、画像データの圧縮方式として一般的に広く用いられているＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によってこの画像ファイルが圧縮されていることを示すものである。すなわち、図２の圧縮／伸長部１９は、画像データをＪＰＥＧ方式によって圧縮する。なお、拡張子はこれ以外のものとしてもよく、画像データの圧縮方式も他の方法としてよい。画像データを圧縮しなくてもよい。
【００２９】
次に説明するステップＳ６〜Ｓ９の処理は、ゴミ情報取得モードにおいて実行される。ステップＳ６では、基準画像を撮影するための撮影条件を設定する。ここでは、Ｆ値（絞り値）や画像処理内容などを、次のように設定するものとする。なお、各設定の名称はこれに限定されず、同様の設定内容であれば、どのような名称のものであってもよい。また、撮影された基準画像データを用いて、後に説明する処理によってゴミ情報を得られるようであれば、これ以外の設定としてもよい。
・ＩＳＯ感度：２００
・輪郭強調 ：なし
・階調補正 ：標準
・画質モード：ＦＩＮＥ
・画像サイズ：Ｌ
・Ｆ値 ：最小絞り
・露出補正 ：なし
【００３０】
ステップＳ６において撮影条件を設定した後、ステップＳ７では、撮影の指示が行われたか否かを判定する。このとき、ユーザは基準画像として前述したような一様な面を被写体とする。ユーザがレリーズボタンの操作などによって撮影を指示すると、電子カメラ１は、次のステップＳ８において撮影を行い、ステップＳ９において、その撮像画像データ（基準画像データ）を図２のメモリカード３０に記録する。ステップＳ７において撮影の指示が行われない場合、またはステップＳ９を実行した後は、ステップＳ１へ戻る。
【００３１】
ステップＳ９においてメモリカード３０に記録される基準画像データには、ステップＳ５において記録される補正対象画像データと同様に、ファイル名が設定され、タグ情報が付加される。ステップＳ９では、ファイル名の拡張子に「ＪＰＱ」を設定し、タグ情報として、ゴミ情報取得モードにおいて撮影されたことを表す情報を付加する。なお、拡張子「ＪＰＱ」は、この画像ファイルがゴミ情報取得モードにおいて撮影され、ＪＰＥＧ方式によって圧縮されたものであることを示すものである。なお、拡張子は前述のステップＳ５で設定されるもの以外であれば他のものでもよく、また画像の圧縮方式も他の方法でもよい。画像データを圧縮しなくてもよい。
【００３２】
電子カメラ１は、以上説明したようにして、メモリカード３０に記録する撮像画像データにおいて、撮影モードがゴミ情報取得モードまたは通常モードのいずれであったかによって、ファイルの拡張子を異なるものとする（ステップＳ５、Ｓ９）。また、それら撮影モードのいずれで撮影されたかを示すタグ情報を、その撮像画像データのファイルに付加する（ステップＳ５、Ｓ９）。このようにして、メモリカード３０に記録する撮像画像データが基準画像データと補正対象画像データのいずれであるかを判別できるようにする。
【００３３】
以上説明した処理において、たとえばゴミ情報取得モードにおける基準画像の撮影をはじめに行い、その後通常モードにおける補正対象画像の撮影を行うときの撮影手順を図４により説明すると、次のようになる。１）瞳位置Ｐ０、絞り値Ａ０で一様面撮影２０１を行い、基準画像データ０を出力する。２）瞳位置Ｐ１、絞り値Ａ１で通常撮影２０２を行い、補正対象画像データ１を出力する。３）瞳位置Ｐ２、絞り値Ａ２で通常撮影２０３を行い、補正対象画像データ２を出力する。４）瞳位置Ｐ３、絞り値Ａ３で通常撮影２０４を行い、補正対象画像データ３を出力する。すなわち、まず、電子カメラ１を空や壁面に向けて一様な面の撮影を行い（一様面撮影）、その後、電子カメラ１を撮影したい被写体に向けて随時撮影する（通常撮影）。
【００３４】
ここで、基準画像の絞り値Ａ０は、可変光学系３に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばＦ２２程度である。一方、補正対象画像の絞り値は、基準画像と同じか、それより開放側であるものとする。
【００３５】
一様面撮影は、ゴミの付着状態が変化しないかぎり省くことができる。一様面撮影の挿入回数が多いに越したことはないが、通常は一日一回程度のデータでもあれば、有効なゴミデータになりうる。一様面撮影を行うか否かの判断は、撮影者に委ねられる。しかし、先に行った一様面撮影があまりにも時間的に離れている場合は、その一様面撮影による基準データは信頼性に欠ける場合も生じる。従って、通常撮影から所定時間内の一様面撮影の基準画像データのみを使用するようにしてもよい。また、必ずしも一様面撮影を先に行う必要はない。通常撮影後に行った一様面撮影の基準画像データを使用してもよい。一様面撮影が、通常撮影の前後に複数ある場合は、時間的に最も近い一様面撮影の基準画像データを使用するようにしてもよい。あるいは、新規付着ゴミの可能性を気にするのであれば、撮影前後の２番目に近いものまでの中からどちらかを選択するようにしてもよい。
【００３６】
（画像処理装置側動作）
画像処理装置であるＰＣ３１は、メモリカード３０を介して前述の基準画像データと補正対象画像データを取り込み、ゴミの影響を除去する処理を行う。これらの画像データを取り込むとき、ＰＣ３１は、どれが基準画像データであるかを判別しておき、ゴミの影響を除去する処理において、判別しておいた基準画像データを自動的に選択する。画像データをメモリカード３０から取り込むときにＰＣ３１において実行されるフローチャートを図５に示す。ステップＳ１１では、メモリカード３０に記録された画像ファイルをいずれか１つ選択する。
【００３７】
次のステップＳ１２では、ステップＳ１１で選択した画像ファイルが、基準画像データであるか否かを判定する。この判定は、図３のステップＳ５またはＳ９で設定される拡張子により行われる。また、同じステップＳ５またはＳ９で付与されるタグ情報により行ってもよい。拡張子が「ＪＰＧ」であるか、またはタグ情報に通常モードにおいて撮影されたことを表す情報が付与されている場合は、基準画像データではない、すなわち補正対象画像データであると判定して、ステップＳ１３へ進む。一方、拡張子が「ＪＰＱ」であるか、またはタグ情報にゴミ情報取得モードにおいて撮影されたことを表す情報が付与されている場合は、基準画像データであると判定して、ステップＳ１４へ進む。
【００３８】
ステップＳ１３では、ステップＳ１２で補正対象画像であると判定された画像ファイルをメモリカード３０から取り込み、メモリやハードディスクに記憶する。この画像ファイルは、後述するゴミの影響を除去する処理において、ゴミの影響を除去する対象とされる。
【００３９】
一方、ステップＳ１４では、ステップＳ１２で基準画像データであると判定された画像ファイルをメモリカード３０から取り込み、メモリやハードディスクに記憶する。このとき、ステップＳ１３で補正対象画像ファイルを記憶したメモリ領域やディレクトリとは異なる場所に記憶される。この画像ファイルは、後述するゴミの影響を除去するときの透過率マップを求めるときに用いられる。
【００４０】
ステップＳ１３またはＳ１４を実行した後は、ステップＳ１５において、メモリカード３０に記憶されている画像ファイルを全て選択したか否かを判定する。まだ選択していない画像ファイルがある場合、ステップＳ１１へ戻って、まだ取り込んでいないファイルのいずれかを選択する。このようなステップＳ１１〜Ｓ１５の処理を、全ての画像ファイルを取り込むまで繰り返す。
【００４１】
このようにして、ＰＣ３１に基準画像データと補正対象画像データを取り込むとき、ファイルの拡張子やタグ情報に基づいてどちらの画像データであるかを判別して（ステップＳ１２）、それぞれを別のメモリ領域やディレクトリの場所に記憶する（ステップＳ１３、Ｓ１４）。これにより、以降に説明するゴミの影響を除去する処理において、ユーザが画像を選択することなく、自動的に基準画像データを選択することができる。
【００４２】
なお、上記の説明では画像データを取り込むときに基準画像データと補正対象データのどちらであるかを判別し、それによって別の場所へ記憶することとしたが、このようにしなくてもよい。取り込んだ画像データを同じ場所に記憶しておき、基準画像データが必要なときに、ファイルの拡張子やタグ情報に基づいて取り込んだ画像データから基準画像データを選択するようにしてもよい。
【００４３】
このようにして取り込んだ基準画像データと補正対象画像データを用いて、補正対象画像データよりゴミの影響を除去する処理を、次に説明するようにして行う。なお、複数の基準画像データが取り込まれている場合には、前述の選択基準に基づいて、ファイルのタグ情報に記録されているファイルの作成日時などにより、各補正対象画像データに適した基準画像データがそれぞれ自動的に選択される。
【００４４】
なお、以降の説明において、画像処理装置であるＰＣ３１に入力される基準画像データと補正対象画像データには、瞳位置と絞り値が識別できるデータが埋め込まれているものとする。瞳位置データは、撮影データに埋め込まれたレンズの種類、ズーム位置、焦点位置の記録データから換算テーブルを使って算出してもよい。図６は、ＰＣ３１で行う処理の流れを示すフローチャートである。
【００４５】
＜基準画像データに対する処理＞
１）輝度面の生成
図６のステップＳ２１では、輝度面の生成を行う。基準画像データの各画素［ｉ，ｊ］について、次の式（１）を使用して、ＲＧＢ信号から輝度信号を生成する。［ｉ，ｊ］は画素の位置を示す。
【数１】
Ｙ［ｉ，ｊ］＝（Ｒ［ｉ，ｊ］＋２＊Ｇ［ｉ，ｊ］＋Ｂ［ｉ，ｊ］）／４ ．．．（１）
ＲＧＢ各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、ＲＧＢ３面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、Ｒ：Ｇ：Ｂ＝０．３：０．６：０．１等であってもよい。
【００４６】
２）透過率マップの生成（ゲインマップ抽出）
ステップＳ２２では、以下の処理からなる透過率マップの生成（ゲインマップ抽出）を行う。
２−１）局所的規格化処理（ゲイン抽出処理）
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化（正規化）処理を行って、各画素の透過率信号Ｔ［ｉ，ｊ］を、次式（２）を使用して算出する。すなわち、着目画素［ｉ，ｊ］の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ（ゲインマップ）と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号（色情報）や輝度信号（輝度情報）の値である。例えば、１バイトで表される場合、０〜２５５の値を取る。
【数２】

【００４７】
ここで、局所平均を取る範囲（２ａ＋１）ｘ（２ｂ＋１）画素は、ゴミ径より大きめにとる。理想的には面積的にゴミ影よりも３倍程度以上の広さを取れば、正確な透過率データが得られる。ａは着目画素［ｉ，ｊ］を中心に左右に広がる画素数、ｂは着目画素［ｉ，ｊ］を中心に上下に広がる画素数を示す。例えば、撮像素子８の画素ピッチを１２ｕｍとし、撮像面とゴミ付着面との距離を１．５ｍｍとすると、絞り値Ｆ２２のとき、巨大なゴミの直径は１５画素程度、絞り値Ｆ４のとき、巨大なゴミの直径は４０画素程度となる。従って、ａ＝４０、ｂ＝４０とし、局所平均を取る範囲は８１×８１画素範囲のように設定するとよい。これは、一例であり、他の画素数による画素範囲であってもよい。
【００４８】
ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅するが、大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出るため、処理時間が増大する。このような場合、間引いた画素で代表して処理することによって処理の高速化を図ってもよい。
【００４９】
この（２ａ＋１）ｘ（２ｂ＋１）画素の範囲で相対比を演算する処理を、局所的規格化処理（ゲイン抽出処理）と呼ぶ。（２ａ＋１）ｘ（２ｂ＋１）画素の範囲で相対化演算するフィルタのことを、ゲイン抽出カーネルと呼んでもよい。図７は、輝度面に対して局所的規格化処理を施した様子を示す図である。図７（ａ）は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号４１と符号４２は、ゴミにより輝度信号が低下していることを示す。図７（ｂ）は、図７（ａ）の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号４３、４４は、図７（ａ）の符号４１、４２に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シェーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。
【００５０】
２−２）透過率マップのローパス処理
透過率マップのローパス処理は省略することもできるが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号Ｔ［ｉ，ｊ］には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が１に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く２−４）の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式（３）によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
【数３】

【００５１】
２−３）透過率マップの統計解析
前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値ｍを次式（４）により求め、標準偏差σを次式（５）により求める統計解析を行う。なお、Ｎｘ，Ｎｙは、ｘ方向、ｙ方向の総画素数を表す。
【数４】

【数５】

【００５２】
２−４）閾値判定
基本的に透過率マップに占めるゴミ信号の面積的な割合は非常に小さく、２−３）で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ（ショットノイズ）を評価していることになる。図７における符号４５部分を拡大した符号４６は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値ｍ（ｍはほぼ１に近い値）を中心に標準偏差σの正規分布した形となる。図８は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を１に設定してよい。すなわち、次の条件（６）（７）により閾値判定を行う。
【数６】
ｉｆ ｜Ｔ［ｉ，ｊ］−ｍ｜≦３σ ｔｈｅｎ Ｔ［ｉ，ｊ］＝１ ．．．（６）
ｅｌｓｅ Ｔ［ｉ，ｊ］＝Ｔ［ｉ，ｊ］ ．．．（７）
【００５３】
正規分布するランダムデータは、±３σの範囲を集めれば９９．７％になるので、ほぼ正確にランダムノイズの影響を除外することができる。±３σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常１より小さな値となる。
【００５４】
しかし、割合は少ないが１より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理（屈折率の不均一）で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法を利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子８に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。
【００５５】
なお、ゴミ影の影響のみを取り除く場合は、以下の条件（８）（９）（１０）により閾値判定するとよい。
【数７】
ｉｆ ｜Ｔ［ｉ，ｊ］−ｍ｜≦３σ ｔｈｅｎ Ｔ［ｉ，ｊ］＝１ ．．．（８）
ｅｌｓｅ ｉｆ Ｔ［ｉ，ｊ］＆＃６２；１ Ｔ［ｉ，ｊ］＝１ ．．．（９）
ｅｌｓｅ Ｔ［ｉ，ｊ］＝Ｔ［ｉ，ｊ］ ．．．（１０）
判定に使う平均値ｍは常に１に近い値をとるため、１に置き換えてもよい。
【００５６】
このようにして、欠陥の画素位置を表すマップ情報（Ｔ＝１か否かで判断）と、欠陥の度合いを表す透過率情報の２種類の欠陥情報が同時に得られることになる。なお、上述の透過率マップは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。
【００５７】
通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラストが低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となり、目的の光路途中の異物による影響補正が可能となる。
【００５８】
３）透過率マップの瞳位置変換
ステップＳ２３では、透過率マップの瞳位置変換を行う。基準画像と補正対処画像の瞳位置が相互に異なっているとき、基準画像のゴミ位置を、補正対象画像の瞳位置から見たときに出現すると予測されるゴミ位置に瞳位置変換する。図９は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図９（ａ）は、瞳位置とゴミと撮像素子８の撮像面との関係を示す図である。図９（ｂ）は、瞳位置の変化に伴い撮像面上でゴミ影が移動している様子を示す図である。
【００５９】
図９から明らかなように、瞳位置が異なると画像内に写り込むゴミの位置は、光軸５１すなわち画像の中心から動径方向にずれる。ここで、画像内の光軸５１から距離ｒの位置にあるゴミが、動径方向にずれる量Δｒを見積もる。基準画像の瞳位置をＰ０、補正対象画像の瞳位置をＰ０’、撮像面から距離ｌの位置にゴミが付着しているとすると、Δｒは、次式（１１）により計算することができる。
【数８】

ただし、距離ｌは光学部品の厚みを空気中の光路長に換算した値である。
【００６０】
基準画像の透過率マップＴ［ｉ，ｊ］を、極座標［ｒ，θ］上で次式（１２）により［ｒ’，θ］に変位させ、座標［ｉ，ｊ］上の透過率マップＴ’［ｉ，ｊ］に変換する。
【数９】

ずれ量Δｒは、光軸５１から距離が遠くになるに従い大きくなる。実際の画像の周辺部では、瞳位置の値によっては数十画素に及ぶこともある。
【００６１】
４）透過率マップのＦ値変換
ステップＳ２４では、透過率マップのＦ値変換を行う。基準画像と補正対処画像の絞り値が相互に異なっているとき、基準画像のゴミ径と透過率を、補正対象画像のより開放側絞り値でのゴミ径と透過率にＦ値変換する。図１０は、絞り値であるＦ値が変化するとゴミ影の大きさが変化する様子を示す図である。図１０（ａ）は、Ｆ値が大きい場合、図１０（ｂ）は、Ｆ値が小さい場合を示す。図１０から明らかなように、Ｆ値の定義式（Ｆ＝焦点距離／レンズの有効口径）を、相似関係にある撮像面からゴミ付着位置までの距離ｌとゴミ広がりΓに当てはめると次式（１３）が成立する。
【数１０】

【００６２】
ｌを撮像素子の画素ピッチａ［ｍｍ／ｐｉｘｅｌ］で割り算すると、ゴミ径は画素数で表記できる。このようにして、絞りがＦ値のとき、点像のゴミは幅Γの大きさに広がることが予測できる。
【００６３】
一方、その点像の分布関数は、絞り値内で開口したレンズの各入射角度から均等に点像ゴミに光を当ててゴミ影を広げていると考えられるので、完全に一様な広がりを持つ関数と想定してよい。したがって、Ｆ値変換には、フィルタ幅Γ画素で表される一様なローパスフィルタ処理を掛けることによって、ゴミ径と透過率を正確に予測するＦ値変換が可能となる。ローパスフィルタは直径がΓの円形状の非分離型フィルタが普通と考えられるが、処理の高速化を念頭に、縦Γ、横Γの正方状の分離型フィルタでも問題ない。
【００６４】
例えば、ｌ＝０．５ｍｍ、ａ＝５μｍ／ｐｉｘｅｌの場合にＦ２２の透過率マップを、Ｆ１６、Ｆ１１、Ｆ８、Ｆ５．６、Ｆ４に変換する場合に当てはめると、正方状の分離型フィルタの一次元フィルタ係数は図１１のような形式に表される。図１１の一次元フィルタ係数を使用して、縦横それぞれフィルタリングをする。なお、絞り値Ｆ１６の一次元フィルタ係数は、両端に０．５の係数を持ち、７つの係数を有する。これは、偶数幅の広がりを着目画素を中心に左右上下に均等に広がる奇数幅の範囲でフィルタリングをするためである。図１２は、絞り値Ｆ１６フィルタを２次元フィルタで表した図である。
【００６５】
上記の変換処理を行うことにより、基準画像の透過率マップは、補正対象画像の瞳位置、Ｆ値の状態の透過率マップに変換される。すなわち、基準画像の透過率マップは、補正対象画像が撮影された光学的条件下で生成される透過率マップと等価な透過率マップとなる。
【００６６】
＜補正対象画像に対する処理＞
５）ゲイン補正
図６のステップＳ２５では、上記変換処理した透過率マップを使用してゲイン補正を行う。補正対象画像データのＲ，Ｇ，Ｂ値各々に対して、式（１４）（１５）（１６）で示すように、瞳位置、Ｆ値変換後の透過率信号の逆数を掛け算して、ゲイン補正を行う。
【数１１】
Ｒ［ｉ，ｊ］＝Ｒ［ｉ．ｊ］／Ｔ’［ｉ，ｊ］ ．．．（１４）
Ｇ［ｉ，ｊ］＝Ｇ［ｉ．ｊ］／Ｔ’［ｉ，ｊ］ ．．．（１５）
Ｂ［ｉ，ｊ］＝Ｂ［ｉ．ｊ］／Ｔ’［ｉ，ｊ］ ．．．（１６）
【００６７】
図１３は、中くらい程度のゴミについて、Ｆ値変換により透過率が変換される様子を示す図である。横軸は画素位置を示し、縦軸は透過率を示す。
【００６８】
このようにして、可変な光学系において、最小絞り値で基準画像を一枚撮影するだけで、他の光学的条件における基準画像の撮影を不要とすることができる。すなわち、１枚の基準画像を用いてゴミデータを変換することにより、有効な補正を達成することができる。したがって、電子カメラのユーザーの負担は大幅に低減される。また、一様画像撮影の厳密性は要求せずに、極めて高感度なゴミ検出性能も維持することが可能である。
【００６９】
上記説明した電子カメラ１によれば、基準画像データと補正対象画像データをデータファイルとしてメモリカード３０に記憶するとき、拡張子やタグ情報が互いに異なるようにした。そのため、このデータファイルを画像処理装置において取り込んでゴミの影響を除去する処理を行う際、ユーザによりデータファイルを指定されることなく、基準画像データを選択することができる。
【００７０】
なお、上記実施の形態では、拡張子とタグ情報が異なる基準画像データと補正対象画像データのデータファイルをメモリカード３０に記憶し、メモリカード３０を介してこれらをＰＣ３１に取り込むこととしていた。しかし、このような基準画像データと補正対象画像データのデータファイルを、外部インタフェース２３を介してＰＣ３１に取り込むこととしてもよい。
【００７１】
また、上記実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、被写体をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても（２ａ＋１）ｘ（２ｂ＋１）サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にボケれば十分に目的を達成することのできる一様に近い基準画像になり得る。
【００７２】
また、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系（例えば補色表色系）であっても同様である。
【００７３】
また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式のカメラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。
【００７４】
また、上記実施の形態では、電子スチルカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【００７５】
さらに、上記実施の形態では、電子カメラ１で撮影した画像データをＰＣ（パソコン）３１で処理してゴミの影響を除去する例を説明したが、必ずしもこの内容に限定する必要はない。電子カメラ１上で、そのようなプログラムを備えてもよい。また、プリンターや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
【００７６】
本発明は、上記に説明した実施の形態に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。
【００７７】
【発明の効果】
本発明は、以上説明したように構成するので、データファイルの拡張子やタグ情報に基づいて、ゴミ位置を検出するための基準画像データをユーザにより指定されることなく選択することができる。
【図面の簡単な説明】
【図１】交換レンズ方式の電子カメラの構成を示す図である。
【図２】電子カメラのブロック図とパーソナルコンピュータ（ＰＣ）および周辺装置を示す図である。
【図３】撮影時に電子カメラで行う処理の流れを示すフローチャートである。
【図４】電子カメラ側の撮影手順について説明する図である。
【図５】画像データの取り込み時にＰＣで行う処理の流れを示すフローチャートである。
【図６】ＰＣで行うゴミの影響を除去する処理の流れを示すフローチャートである。
【図７】輝度面に対して局所的規格化処理を施した様子を示す図である。
【図８】透過率マップのヒストグラムを示す図である。
【図９】瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。
【図１０】絞り値であるＦ値が変化するとゴミ影の大きさが変化する様子を示す図である。
【図１１】各絞り値に対する一次元フィルタ係数を示す図である。
【図１２】絞り値Ｆ１６における透過率マップに変換するフィルタを２次元フィルタで表した図である。
【図１３】中くらい程度のゴミについて、Ｆ値変換により透過率が変換される様子を示す図である。
【符号の説明】
１ 電子カメラ
２ カメラ本体
３ 可変光学系
４ レンズ
５ 絞り
６ シャッター
７ 光学部品
８ 撮像素子
９ マウント部
１２ アナログ信号処理部
１３ Ａ／Ｄ変換部
１４ タイミング制御部
１５ 画像処理部
１６ 操作部
１７ 制御部
１８ メモリ
１９ 圧縮／伸長部
２０ 表示画像生成部
２１、３２ モニタ
２２ メモリカード用インタフェース部
２３ 外部インタフェース部
２４ バス
３０ メモリカード
３１ ＰＣ（パーソナルコンピュータ）
３３ プリンタ
３４ ＣＤ−ＲＯＭ

Claims (4)

1. 光学系を通して入力された被写体像を撮影する撮像手段と、
   前記撮像手段により基準画像を撮影する第１のモードと、前記撮像手段により補正対象画像を撮影する第２のモードとを切り換えるモード切換手段と、
   前記撮像手段により撮影された基準画像と補正対象画像をデジタルデータファイルとして外部へ出力する出力手段と、
   前記出力手段により出力されるデジタルデータファイルが前記基準画像と前記補正対象画像のいずれであるかを表す情報を前記デジタルデータファイルに付加する情報付加手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記情報付加手段は、前記基準画像または前記補正対象画像であることを表す情報を含むメタデータを前記デジタルデータファイルに付加し、
   前記メタデータは、該デジタルデータファイルの基準画像および補正対象画像を変更しないことを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記情報付加手段は、前記デジタルデータファイルのファイル名の一部を変更することにより、前記基準画像と前記補正対象画像のいずれであるかを表す情報を前記デジタルデータファイルに付加することを特徴とする撮像装置。
4. 請求項１〜３に記載のいずれかの撮像装置より出力されるデジタルデータファイルを入力する入力手段と、
   前記情報に基づいて該デジタルデータファイルが前記基準画像と前記補正対象画像のいずれであるかを判別する判別手段と、
   前記基準画像に基づいて前記撮像手段の撮像光路上に存在するゴミの影響を補正対象画像より除去する除去手段とを備えることを特徴とする画像処理装置。

Images