JP2004343519A - 撮像装置および画像処理装置 - Google Patents
撮像装置および画像処理装置 Download PDFInfo
- Publication number
- JP2004343519A JP2004343519A JP2003138858A JP2003138858A JP2004343519A JP 2004343519 A JP2004343519 A JP 2004343519A JP 2003138858 A JP2003138858 A JP 2003138858A JP 2003138858 A JP2003138858 A JP 2003138858A JP 2004343519 A JP2004343519 A JP 2004343519A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dust
- photographing
- image data
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4097—Removing errors due external factors, e.g. dust, scratches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3242—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/328—Processing of the additional information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Facsimiles In General (AREA)
Abstract
【解決手段】ユーザが電子カメラ1を用いるとき、通常の被写体を撮影する場合は通常モードを、ゴミ情報を得るために一様面の基準画像を撮影する場合はゴミ情報取得モードを選択する。電子カメラ1は、撮像画像のデータファイルをメモリカードに記録するとき、撮影モードがゴミ情報取得モードと通常モードのいずれであったかによって、ファイルの拡張子を異なるものとし、いずれの撮影モードで撮影されたかを示すタグ情報をその撮像画像データのファイルに付加する(ステップS5、S9)。PC31は、それらファイルの拡張子やタグ情報によって使用する基準画像を判別し、補正対象画像のゴミを除去する処理を行う。
【選択図】図3
Description
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置と、その撮像装置によって撮像された撮像画像を画像処理する画像処理装置に関する。特に、撮像画像データを撮像装置から画像処理装置へ出力し、画像処理装置において撮像光路上のゴミの影響を撮像画像より除去する、撮像装置および画像処理装置に関する。
【0002】
【従来の技術】
デジタルカメラなどの撮像装置では、撮像光路上にあり撮像素子の近傍に配置された光学フィルタ等の光学部材にゴミが付着すると、付着したゴミにより生じた影が撮像画像に現れ、その部分が画像欠陥となる。特にレンズ交換式の撮像装置では、レンズ交換時に塵や埃などのゴミが内部に侵入しやすい。そのため、撮像装置内部に侵入したゴミが光学部材に付着し、画像欠陥を生じやすい。このような問題点を解決するため、設定された画像欠陥の位置情報により撮像画像の画像欠陥を補正する画像補正装置が知られている(特許文献1)。
【0003】
【特許文献1】
特開平11−103413号公報
【0004】
【発明が解決しようとする課題】
特許文献1の画像補正装置では、画像欠陥の位置情報を設定する必要がある。この画像補正装置は、たとえば白や黒などの一様面の撮像画像により、画像欠陥の位置情報を検出する。ここで、内部に侵入したゴミを除去せずに撮像装置のレンズ交換を繰り返すと、そのたびにゴミが増えて画像欠陥が増加する。したがって、画像補正装置において設定する画像欠陥の位置情報は、補正対象とする撮像画像になるべく近いタイミングの撮像画像によって検出するのが望ましい。しかし、特許文献1の画像補正装置では、画像欠陥の位置情報を検出するための画像と、補正対象とする画像とをそれぞれ選択して指定しなければならず、手間がかかっている。
【0005】
本発明は、ユーザが画像を選択して指定することなく、撮像光路上のゴミの影響を撮像画像データより除去する処理を行うことができる撮像装置および画像処理装置を提供するものである。
【0006】
【課題を解決するための手段】
請求項1の発明による撮像装置は、光学系を通して入力された被写体像を撮影する撮像手段と、撮像手段により基準画像を撮影する第1のモードと、撮像手段により補正対象画像を撮影する第2のモードとを切り換えるモード切換手段と、撮像手段により撮影された基準画像と補正対象画像をデジタルデータファイルとして外部へ出力する出力手段と、出力手段により出力されるデジタルデータファイルが基準画像と補正対象画像のいずれであるかを表す情報をデジタルデータファイルに付加する情報付加手段とを備えるものである。
請求項2の発明は、請求項1に記載の撮像装置において適用され、情報付加手段は、基準画像または補正対象画像であることを表す情報を含むメタデータをデジタルデータファイルに付加し、メタデータは、該デジタルデータファイルの基準画像および補正対象画像を変更しないものである。
請求項3の発明は、請求項1または2に記載の撮像装置において適用され、情報付加手段は、デジタルデータファイルのファイル名の一部を変更することにより、基準画像と補正対象画像のいずれであるかを表す情報をデジタルデータファイルに付加するものである。
請求項4の発明による画像処理装置は、請求項1〜3に記載のいずれかの撮像装置より出力されるデジタルデータファイルを入力する入力手段と、情報に基づいて該デジタルデータファイルが基準画像と補正対象画像のいずれであるかを判別する判別手段と、基準画像に基づいて撮像手段の撮像光路上に存在するゴミの影響を補正対象画像より除去する除去手段とを備えるものである。
【0007】
【発明の実施の形態】
(電子カメラおよびパーソナルコンピュータの構成)
図1は、交換レンズ方式の一眼レフ電子スチルカメラ(以下、電子カメラと言う)の構成を示す図である。電子カメラ1は、カメラ本体2とマウント式交換レンズからなる可変光学系3を有する。可変光学系3は、内部にレンズ4と絞り5を有する。レンズ4は複数の光学レンズ群から構成されるが、図では代表して1枚のレンズで表し、そのレンズ4の位置を主瞳位置と言う(以下、単に瞳位置と言う)。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
【0008】
カメラ本体2は、シャッター6、光学フィルターやカバーガラスなどの光学部品7、撮像素子8を有する。可変光学系3は、カメラ本体2のマウント部9に対して着脱可能である。また、可変光学系3は、マウント部9を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ1の制御部17(図2)に送信する。絞り値は、例えばF2.8〜F22まで変化する。
【0009】
符号10は、撮像素子8前部の光学部品7の表面に付着したゴミを示す。可変光学系3の絞り値や瞳位置を変化させて、撮影画像に写り込んだゴミ影の変化を評価する実験を行った結果、以下の2つの事実が判った。
(1)絞り値によってゴミ影の大きさと光の透過率が変わる。
(2)レンズの瞳位置によってゴミ位置がずれる。
この2つの事実から、固定位置に付着したゴミであっても、レンズの撮影条件(絞り値と瞳位置)が変化する度にゴミの写り込み方が変化していることがわかる。このような可変な光学系に対して、ゴミの影響を除去する手法を以下に示す。
【0010】
図2は、電子カメラ1のブロック図とPC(パーソナルコンピュータ)31および周辺装置を示す図である。PC31は、画像処理装置として機能し、電子カメラ1から画像データを取得し後述するゴミの影響除去処理をする。
【0011】
電子カメラ1は、可変光学系3、光学部品7、シャッター6(図2では図示省略)、撮像素子8、アナログ信号処理部12、A/D変換部13、タイミング制御部14、画像処理部15、操作部16、制御部17、メモリ18、圧縮/伸長部19、表示画像生成部20、モニタ21、メモリカード用インタフェース部22、外部インタフェース部23を備える。
【0012】
撮像素子8は、可変光学系3を通して被写体を撮像し、撮像された被写体像に対応する画像信号(撮像信号)を出力する。撮像素子8は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部12に出力する。撮像素子8は、例えば単板式カラーCCDなどで構成される。アナログ信号処理部12は、内部にCDS(相関2重サンプリング)回路や、AGC(オートゲインコントロール)回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。A/D変換部13は、アナログ信号処理部12で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部14は、制御部17により制御され、撮像素子8、アナログ信号処理部12、A/D変換部13、画像処理部15の各動作のタイミングを制御する。
【0013】
メモリカード用インタフェース部22は、メモリカード(カード状のリムーバブルメモリ)30とのインタフェースをとる。外部インタフェース部23は、所定のケーブルや無線伝送路を介してPC31等の外部装置とのインタフェースをとる。操作部16は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ21は、各種メニューを表示したり、撮像素子8で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部16の出力は制御部17に入力され、モニタ21には表示画像生成部20の出力が入力される。画像処理部15は、例えば、画像処理専用の1チップ・マイクロプロセッサで構成される。
【0014】
A/D変換部13、画像処理部15、制御部17、メモリ18、圧縮/伸長部19、表示画像生成部20、メモリカード用インタフェース部22、外部インタフェース部23は、バス24を介して相互に接続されている。
【0015】
PC31には、モニタ32やプリンタ33等が接続されており、CD−ROM34に記録されたアプリケーションプログラムが予めインストールされている。また、PC31は、不図示のCPU、メモリ、ハードディスクの他に、メモリカード30とのインタフェースをとるメモリカード用インタフェース部(不図示)や所定のケーブルや無線伝送路を介して電子カメラ1等の外部装置とのインタフェースをとる外部インタフェース部(不図示)を備える。
【0016】
図1のような構成の電子カメラ1において、操作部16を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部17は、タイミング制御部14を介して、撮像素子8、アナログ信号処理部12、A/D変換部13に対するタイミング制御を行う。このとき選択される撮影モードには、通常の被写体を撮影するときの通常モードと、ゴミ情報を得るために後述する基準画像を撮影するときのゴミ情報取得モードがある。なお、通常モードは被写体の種類などによって複数のモードに分かれていてもよい。
【0017】
撮像素子8は、可変光学系3により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部12で所定のアナログ信号処理が施され、アナログ処理後画像信号としてA/D変換部13へ出力される。A/D変換部13では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部15に供給する。
【0018】
本実施の形態の電子カメラ1では、撮像素子8において、単板式カラー撮像素子の最も代表的なR(赤)、G(緑)、B(青)のカラーフィルタがベイア配列されている場合を例にとり、画像処理部15に供給される画像データはRGB表色系で示されるものとする。画像データを構成する各々の画素には、RGBの何れか1つの色成分の色情報が存在する。ここで、撮像素子8を構成する1つの光電変換素子を画素と言うが、この画素に対応した画像データの1単位も画素と言う。また、画像も複数の画素から構成される概念である。
【0019】
画像処理部15は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮/伸長部19で所定の圧縮処理が施され、メモリカード用インタフェース部22を介してメモリカード30に記録される。
【0020】
画像処理が完了した画像データは、メモリカード30を介してPC31に提供される。外部インタフェース23および所定のケーブルや無線伝送路を介してPC31に提供してもよい。画像処理が完了した画像データは、補間処理が完了し、各画素にはRGBのすべての色成分の色情報が存在するものとする。
【0021】
(ゴミの影響除去処理)
次に、撮影した各画像データにおいて、ゴミの影響を除去する処理について説明する。本実施の形態では、ゴミ情報を得るための基準画像を撮影し、光学的撮影条件の異なる複数の画像に対してもこの基準画像を利用してゴミ除去を行う方法を示す。ただし、基準画像は、完全に一様な白基準データではなく、青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データには、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。
【0022】
(電子カメラ側の動作)
撮影時、ユーザは撮影モードとして前述の通常モードとゴミ情報取得モードのいずれかを選択する。電子カメラ1は、このように選択される撮影モードによって、メモリカード30に記録する撮像画像データのファイル情報を変化させる。
【0023】
撮影時に電子カメラ1において実行される処理のフローチャートを図3に示す。この処理は、ユーザによって前述の撮影モードのいずれかが選択されたときに実行される。図3のステップS1では、撮影が継続されているか否かを判定する。このステップS1の処理は、ユーザが撮影の終了を指示すると、撮影の実行中や撮像画像データの記録中を除いて、速やかに図3の処理を終了できるようにするものである。ユーザによって撮影の継続が指示されている場合、すなわち前述の撮影モードのいずれかが選択されている場合は、ステップS2へ進む。そうでない場合、すなわちユーザがいずれの撮影モードも選択せずに撮影の終了を指示した場合は、図3の処理を終了する。
【0024】
ステップS2では、選択されている撮影モードがゴミ情報取得モードであるか否かを判定する。ゴミ情報取得モードが選択されている場合は、ステップS6へ進む。このとき、電子カメラ1は、ステップS6において、後に説明するような基準画像の撮影をするための撮影条件(絞り、画像処理内容、等)を設定する。そうでない場合、すなわち通常モードが選択されている場合は、ステップS3へ進む。このとき、電子カメラでは、通常に被写体を撮影するときの撮影条件を設定する。この通常時の撮影条件は、被写体に応じてあらかじめ設定されているものが用いられたり、ユーザによって設定が変更されたりする。
【0025】
次に説明するステップS3〜S5の処理は、通常モードにおいて実行される。ステップS3では、撮影の指示が行われたか否かを判定する。ユーザがレリーズボタンの操作などによって撮影を指示すると、電子カメラ1は、次のステップS4において撮影を行い、ステップS5において、その撮像画像データを図2のメモリカード30に記録する。ステップS5で記録された撮像画像データは、後に説明するPC31が実行する画像補正処理において、補正の対象とされる。ステップS3において撮影の指示が行われない場合、またはステップS5を実行した後は、ステップS1へ戻る。
【0026】
ステップS5においてメモリカード30に記録される撮像画像データ(補正対象画像データ)には、ファイル名が設定される。このファイル名にはファイル種別を表す拡張子が含まれており、ファイル名の末尾部の「.」(ドット)以降の部分が拡張子となる。すなわち、補正対象画像データのファイル名は、「“xx(各ファイルに固有の名称)”.“yy(拡張子)”」と表される。ここで、xの部分は任意の文字や記号であり、yの部分はファイル種別ごとに決まった数文字程度のアルファベットである。
【0027】
また、補正対象画像データには、タグ情報が付加される。このタグ情報はメタデータ(基となるデータについての情報が記述されたファイル情報管理用のデータ)であり、たとえばファイルが作成されたときの電子カメラ1の設定状況や、ファイルの作成日時を表す情報などが含まれる。ここで付加されるタグ情報は、基となる画像データには影響を及ぼさない。つまり、タグ情報が変更されたとしても、補正対象画像データは変更されない。
【0028】
ステップS5では、ファイル名の拡張子に「JPG」を設定し、タグ情報として、通常モードにおいて撮影されたことを表す情報を付加する。なお、拡張子「JPG」は、画像データの圧縮方式として一般的に広く用いられているJPEG(Joint Photographic Experts Group)方式によってこの画像ファイルが圧縮されていることを示すものである。すなわち、図2の圧縮/伸長部19は、画像データをJPEG方式によって圧縮する。なお、拡張子はこれ以外のものとしてもよく、画像データの圧縮方式も他の方法としてよい。画像データを圧縮しなくてもよい。
【0029】
次に説明するステップS6〜S9の処理は、ゴミ情報取得モードにおいて実行される。ステップS6では、基準画像を撮影するための撮影条件を設定する。ここでは、F値(絞り値)や画像処理内容などを、次のように設定するものとする。なお、各設定の名称はこれに限定されず、同様の設定内容であれば、どのような名称のものであってもよい。また、撮影された基準画像データを用いて、後に説明する処理によってゴミ情報を得られるようであれば、これ以外の設定としてもよい。
・ISO感度:200
・輪郭強調 :なし
・階調補正 :標準
・画質モード:FINE
・画像サイズ:L
・F値 :最小絞り
・露出補正 :なし
【0030】
ステップS6において撮影条件を設定した後、ステップS7では、撮影の指示が行われたか否かを判定する。このとき、ユーザは基準画像として前述したような一様な面を被写体とする。ユーザがレリーズボタンの操作などによって撮影を指示すると、電子カメラ1は、次のステップS8において撮影を行い、ステップS9において、その撮像画像データ(基準画像データ)を図2のメモリカード30に記録する。ステップS7において撮影の指示が行われない場合、またはステップS9を実行した後は、ステップS1へ戻る。
【0031】
ステップS9においてメモリカード30に記録される基準画像データには、ステップS5において記録される補正対象画像データと同様に、ファイル名が設定され、タグ情報が付加される。ステップS9では、ファイル名の拡張子に「JPQ」を設定し、タグ情報として、ゴミ情報取得モードにおいて撮影されたことを表す情報を付加する。なお、拡張子「JPQ」は、この画像ファイルがゴミ情報取得モードにおいて撮影され、JPEG方式によって圧縮されたものであることを示すものである。なお、拡張子は前述のステップS5で設定されるもの以外であれば他のものでもよく、また画像の圧縮方式も他の方法でもよい。画像データを圧縮しなくてもよい。
【0032】
電子カメラ1は、以上説明したようにして、メモリカード30に記録する撮像画像データにおいて、撮影モードがゴミ情報取得モードまたは通常モードのいずれであったかによって、ファイルの拡張子を異なるものとする(ステップS5、S9)。また、それら撮影モードのいずれで撮影されたかを示すタグ情報を、その撮像画像データのファイルに付加する(ステップS5、S9)。このようにして、メモリカード30に記録する撮像画像データが基準画像データと補正対象画像データのいずれであるかを判別できるようにする。
【0033】
以上説明した処理において、たとえばゴミ情報取得モードにおける基準画像の撮影をはじめに行い、その後通常モードにおける補正対象画像の撮影を行うときの撮影手順を図4により説明すると、次のようになる。1)瞳位置P0、絞り値A0で一様面撮影201を行い、基準画像データ0を出力する。2)瞳位置P1、絞り値A1で通常撮影202を行い、補正対象画像データ1を出力する。3)瞳位置P2、絞り値A2で通常撮影203を行い、補正対象画像データ2を出力する。4)瞳位置P3、絞り値A3で通常撮影204を行い、補正対象画像データ3を出力する。すなわち、まず、電子カメラ1を空や壁面に向けて一様な面の撮影を行い(一様面撮影)、その後、電子カメラ1を撮影したい被写体に向けて随時撮影する(通常撮影)。
【0034】
ここで、基準画像の絞り値A0は、可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばF22程度である。一方、補正対象画像の絞り値は、基準画像と同じか、それより開放側であるものとする。
【0035】
一様面撮影は、ゴミの付着状態が変化しないかぎり省くことができる。一様面撮影の挿入回数が多いに越したことはないが、通常は一日一回程度のデータでもあれば、有効なゴミデータになりうる。一様面撮影を行うか否かの判断は、撮影者に委ねられる。しかし、先に行った一様面撮影があまりにも時間的に離れている場合は、その一様面撮影による基準データは信頼性に欠ける場合も生じる。従って、通常撮影から所定時間内の一様面撮影の基準画像データのみを使用するようにしてもよい。また、必ずしも一様面撮影を先に行う必要はない。通常撮影後に行った一様面撮影の基準画像データを使用してもよい。一様面撮影が、通常撮影の前後に複数ある場合は、時間的に最も近い一様面撮影の基準画像データを使用するようにしてもよい。あるいは、新規付着ゴミの可能性を気にするのであれば、撮影前後の2番目に近いものまでの中からどちらかを選択するようにしてもよい。
【0036】
(画像処理装置側動作)
画像処理装置であるPC31は、メモリカード30を介して前述の基準画像データと補正対象画像データを取り込み、ゴミの影響を除去する処理を行う。これらの画像データを取り込むとき、PC31は、どれが基準画像データであるかを判別しておき、ゴミの影響を除去する処理において、判別しておいた基準画像データを自動的に選択する。画像データをメモリカード30から取り込むときにPC31において実行されるフローチャートを図5に示す。ステップS11では、メモリカード30に記録された画像ファイルをいずれか1つ選択する。
【0037】
次のステップS12では、ステップS11で選択した画像ファイルが、基準画像データであるか否かを判定する。この判定は、図3のステップS5またはS9で設定される拡張子により行われる。また、同じステップS5またはS9で付与されるタグ情報により行ってもよい。拡張子が「JPG」であるか、またはタグ情報に通常モードにおいて撮影されたことを表す情報が付与されている場合は、基準画像データではない、すなわち補正対象画像データであると判定して、ステップS13へ進む。一方、拡張子が「JPQ」であるか、またはタグ情報にゴミ情報取得モードにおいて撮影されたことを表す情報が付与されている場合は、基準画像データであると判定して、ステップS14へ進む。
【0038】
ステップS13では、ステップS12で補正対象画像であると判定された画像ファイルをメモリカード30から取り込み、メモリやハードディスクに記憶する。この画像ファイルは、後述するゴミの影響を除去する処理において、ゴミの影響を除去する対象とされる。
【0039】
一方、ステップS14では、ステップS12で基準画像データであると判定された画像ファイルをメモリカード30から取り込み、メモリやハードディスクに記憶する。このとき、ステップS13で補正対象画像ファイルを記憶したメモリ領域やディレクトリとは異なる場所に記憶される。この画像ファイルは、後述するゴミの影響を除去するときの透過率マップを求めるときに用いられる。
【0040】
ステップS13またはS14を実行した後は、ステップS15において、メモリカード30に記憶されている画像ファイルを全て選択したか否かを判定する。まだ選択していない画像ファイルがある場合、ステップS11へ戻って、まだ取り込んでいないファイルのいずれかを選択する。このようなステップS11〜S15の処理を、全ての画像ファイルを取り込むまで繰り返す。
【0041】
このようにして、PC31に基準画像データと補正対象画像データを取り込むとき、ファイルの拡張子やタグ情報に基づいてどちらの画像データであるかを判別して(ステップS12)、それぞれを別のメモリ領域やディレクトリの場所に記憶する(ステップS13、S14)。これにより、以降に説明するゴミの影響を除去する処理において、ユーザが画像を選択することなく、自動的に基準画像データを選択することができる。
【0042】
なお、上記の説明では画像データを取り込むときに基準画像データと補正対象データのどちらであるかを判別し、それによって別の場所へ記憶することとしたが、このようにしなくてもよい。取り込んだ画像データを同じ場所に記憶しておき、基準画像データが必要なときに、ファイルの拡張子やタグ情報に基づいて取り込んだ画像データから基準画像データを選択するようにしてもよい。
【0043】
このようにして取り込んだ基準画像データと補正対象画像データを用いて、補正対象画像データよりゴミの影響を除去する処理を、次に説明するようにして行う。なお、複数の基準画像データが取り込まれている場合には、前述の選択基準に基づいて、ファイルのタグ情報に記録されているファイルの作成日時などにより、各補正対象画像データに適した基準画像データがそれぞれ自動的に選択される。
【0044】
なお、以降の説明において、画像処理装置であるPC31に入力される基準画像データと補正対象画像データには、瞳位置と絞り値が識別できるデータが埋め込まれているものとする。瞳位置データは、撮影データに埋め込まれたレンズの種類、ズーム位置、焦点位置の記録データから換算テーブルを使って算出してもよい。図6は、PC31で行う処理の流れを示すフローチャートである。
【0045】
<基準画像データに対する処理>
1)輝度面の生成
図6のステップS21では、輝度面の生成を行う。基準画像データの各画素[i,j]について、次の式(1)を使用して、RGB信号から輝度信号を生成する。[i,j]は画素の位置を示す。
【数1】
Y[i,j]=(R[i,j]+2*G[i,j]+B[i,j])/4 ...(1)
RGB各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、RGB3面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、R:G:B=0.3:0.6:0.1等であってもよい。
【0046】
2)透過率マップの生成(ゲインマップ抽出)
ステップS22では、以下の処理からなる透過率マップの生成(ゲインマップ抽出)を行う。
2−1)局所的規格化処理(ゲイン抽出処理)
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化(正規化)処理を行って、各画素の透過率信号T[i,j]を、次式(2)を使用して算出する。すなわち、着目画素[i,j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ(ゲインマップ)と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号(色情報)や輝度信号(輝度情報)の値である。例えば、1バイトで表される場合、0〜255の値を取る。
【数2】
【0047】
ここで、局所平均を取る範囲(2a+1)x(2b+1)画素は、ゴミ径より大きめにとる。理想的には面積的にゴミ影よりも3倍程度以上の広さを取れば、正確な透過率データが得られる。aは着目画素[i,j]を中心に左右に広がる画素数、bは着目画素[i,j]を中心に上下に広がる画素数を示す。例えば、撮像素子8の画素ピッチを12umとし、撮像面とゴミ付着面との距離を1.5mmとすると、絞り値F22のとき、巨大なゴミの直径は15画素程度、絞り値F4のとき、巨大なゴミの直径は40画素程度となる。従って、a=40、b=40とし、局所平均を取る範囲は81×81画素範囲のように設定するとよい。これは、一例であり、他の画素数による画素範囲であってもよい。
【0048】
ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅するが、大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出るため、処理時間が増大する。このような場合、間引いた画素で代表して処理することによって処理の高速化を図ってもよい。
【0049】
この(2a+1)x(2b+1)画素の範囲で相対比を演算する処理を、局所的規格化処理(ゲイン抽出処理)と呼ぶ。(2a+1)x(2b+1)画素の範囲で相対化演算するフィルタのことを、ゲイン抽出カーネルと呼んでもよい。図7は、輝度面に対して局所的規格化処理を施した様子を示す図である。図7(a)は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号41と符号42は、ゴミにより輝度信号が低下していることを示す。図7(b)は、図7(a)の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号43、44は、図7(a)の符号41、42に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シェーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。
【0050】
2−2)透過率マップのローパス処理
透過率マップのローパス処理は省略することもできるが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号T[i,j]には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が1に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く2−4)の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式(3)によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
【数3】
【0051】
2−3)透過率マップの統計解析
前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値mを次式(4)により求め、標準偏差σを次式(5)により求める統計解析を行う。なお、Nx,Nyは、x方向、y方向の総画素数を表す。
【数4】
【数5】
【0052】
2−4)閾値判定
基本的に透過率マップに占めるゴミ信号の面積的な割合は非常に小さく、2−3)で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ(ショットノイズ)を評価していることになる。図7における符号45部分を拡大した符号46は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値m(mはほぼ1に近い値)を中心に標準偏差σの正規分布した形となる。図8は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を1に設定してよい。すなわち、次の条件(6)(7)により閾値判定を行う。
【数6】
if |T[i,j]−m|≦3σ then T[i,j]=1 ...(6)
else T[i,j]=T[i,j] ...(7)
【0053】
正規分布するランダムデータは、±3σの範囲を集めれば99.7%になるので、ほぼ正確にランダムノイズの影響を除外することができる。±3σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常1より小さな値となる。
【0054】
しかし、割合は少ないが1より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理(屈折率の不均一)で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法を利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子8に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。
【0055】
なお、ゴミ影の影響のみを取り除く場合は、以下の条件(8)(9)(10)により閾値判定するとよい。
【数7】
if |T[i,j]−m|≦3σ then T[i,j]=1 ...(8)
else if T[i,j]>1 T[i,j]=1 ...(9)
else T[i,j]=T[i,j] ...(10)
判定に使う平均値mは常に1に近い値をとるため、1に置き換えてもよい。
【0056】
このようにして、欠陥の画素位置を表すマップ情報(T=1か否かで判断)と、欠陥の度合いを表す透過率情報の2種類の欠陥情報が同時に得られることになる。なお、上述の透過率マップは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。
【0057】
通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラストが低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となり、目的の光路途中の異物による影響補正が可能となる。
【0058】
3)透過率マップの瞳位置変換
ステップS23では、透過率マップの瞳位置変換を行う。基準画像と補正対処画像の瞳位置が相互に異なっているとき、基準画像のゴミ位置を、補正対象画像の瞳位置から見たときに出現すると予測されるゴミ位置に瞳位置変換する。図9は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図9(a)は、瞳位置とゴミと撮像素子8の撮像面との関係を示す図である。図9(b)は、瞳位置の変化に伴い撮像面上でゴミ影が移動している様子を示す図である。
【0059】
図9から明らかなように、瞳位置が異なると画像内に写り込むゴミの位置は、光軸51すなわち画像の中心から動径方向にずれる。ここで、画像内の光軸51から距離rの位置にあるゴミが、動径方向にずれる量Δrを見積もる。基準画像の瞳位置をP0、補正対象画像の瞳位置をP0’、撮像面から距離lの位置にゴミが付着しているとすると、Δrは、次式(11)により計算することができる。
【数8】
ただし、距離lは光学部品の厚みを空気中の光路長に換算した値である。
【0060】
基準画像の透過率マップT[i,j]を、極座標[r,θ]上で次式(12)により[r’,θ]に変位させ、座標[i,j]上の透過率マップT’[i,j]に変換する。
【数9】
ずれ量Δrは、光軸51から距離が遠くになるに従い大きくなる。実際の画像の周辺部では、瞳位置の値によっては数十画素に及ぶこともある。
【0061】
4)透過率マップのF値変換
ステップS24では、透過率マップのF値変換を行う。基準画像と補正対処画像の絞り値が相互に異なっているとき、基準画像のゴミ径と透過率を、補正対象画像のより開放側絞り値でのゴミ径と透過率にF値変換する。図10は、絞り値であるF値が変化するとゴミ影の大きさが変化する様子を示す図である。図10(a)は、F値が大きい場合、図10(b)は、F値が小さい場合を示す。図10から明らかなように、F値の定義式(F=焦点距離/レンズの有効口径)を、相似関係にある撮像面からゴミ付着位置までの距離lとゴミ広がりΓに当てはめると次式(13)が成立する。
【数10】
【0062】
lを撮像素子の画素ピッチa[mm/pixel]で割り算すると、ゴミ径は画素数で表記できる。このようにして、絞りがF値のとき、点像のゴミは幅Γの大きさに広がることが予測できる。
【0063】
一方、その点像の分布関数は、絞り値内で開口したレンズの各入射角度から均等に点像ゴミに光を当ててゴミ影を広げていると考えられるので、完全に一様な広がりを持つ関数と想定してよい。したがって、F値変換には、フィルタ幅Γ画素で表される一様なローパスフィルタ処理を掛けることによって、ゴミ径と透過率を正確に予測するF値変換が可能となる。ローパスフィルタは直径がΓの円形状の非分離型フィルタが普通と考えられるが、処理の高速化を念頭に、縦Γ、横Γの正方状の分離型フィルタでも問題ない。
【0064】
例えば、l=0.5mm、a=5μm/pixelの場合にF22の透過率マップを、F16、F11、F8、F5.6、F4に変換する場合に当てはめると、正方状の分離型フィルタの一次元フィルタ係数は図11のような形式に表される。図11の一次元フィルタ係数を使用して、縦横それぞれフィルタリングをする。なお、絞り値F16の一次元フィルタ係数は、両端に0.5の係数を持ち、7つの係数を有する。これは、偶数幅の広がりを着目画素を中心に左右上下に均等に広がる奇数幅の範囲でフィルタリングをするためである。図12は、絞り値F16フィルタを2次元フィルタで表した図である。
【0065】
上記の変換処理を行うことにより、基準画像の透過率マップは、補正対象画像の瞳位置、F値の状態の透過率マップに変換される。すなわち、基準画像の透過率マップは、補正対象画像が撮影された光学的条件下で生成される透過率マップと等価な透過率マップとなる。
【0066】
<補正対象画像に対する処理>
5)ゲイン補正
図6のステップS25では、上記変換処理した透過率マップを使用してゲイン補正を行う。補正対象画像データのR,G,B値各々に対して、式(14)(15)(16)で示すように、瞳位置、F値変換後の透過率信号の逆数を掛け算して、ゲイン補正を行う。
【数11】
R[i,j]=R[i.j]/T’[i,j] ...(14)
G[i,j]=G[i.j]/T’[i,j] ...(15)
B[i,j]=B[i.j]/T’[i,j] ...(16)
【0067】
図13は、中くらい程度のゴミについて、F値変換により透過率が変換される様子を示す図である。横軸は画素位置を示し、縦軸は透過率を示す。
【0068】
このようにして、可変な光学系において、最小絞り値で基準画像を一枚撮影するだけで、他の光学的条件における基準画像の撮影を不要とすることができる。すなわち、1枚の基準画像を用いてゴミデータを変換することにより、有効な補正を達成することができる。したがって、電子カメラのユーザーの負担は大幅に低減される。また、一様画像撮影の厳密性は要求せずに、極めて高感度なゴミ検出性能も維持することが可能である。
【0069】
上記説明した電子カメラ1によれば、基準画像データと補正対象画像データをデータファイルとしてメモリカード30に記憶するとき、拡張子やタグ情報が互いに異なるようにした。そのため、このデータファイルを画像処理装置において取り込んでゴミの影響を除去する処理を行う際、ユーザによりデータファイルを指定されることなく、基準画像データを選択することができる。
【0070】
なお、上記実施の形態では、拡張子とタグ情報が異なる基準画像データと補正対象画像データのデータファイルをメモリカード30に記憶し、メモリカード30を介してこれらをPC31に取り込むこととしていた。しかし、このような基準画像データと補正対象画像データのデータファイルを、外部インタフェース23を介してPC31に取り込むこととしてもよい。
【0071】
また、上記実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、被写体をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても(2a+1)x(2b+1)サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にボケれば十分に目的を達成することのできる一様に近い基準画像になり得る。
【0072】
また、上記実施の形態では、ベイア配列のRGB表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系(例えば補色表色系)であっても同様である。
【0073】
また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式のカメラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。
【0074】
また、上記実施の形態では、電子スチルカメラ1で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。
【0075】
さらに、上記実施の形態では、電子カメラ1で撮影した画像データをPC(パソコン)31で処理してゴミの影響を除去する例を説明したが、必ずしもこの内容に限定する必要はない。電子カメラ1上で、そのようなプログラムを備えてもよい。また、プリンターや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
【0076】
本発明は、上記に説明した実施の形態に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。
【0077】
【発明の効果】
本発明は、以上説明したように構成するので、データファイルの拡張子やタグ情報に基づいて、ゴミ位置を検出するための基準画像データをユーザにより指定されることなく選択することができる。
【図面の簡単な説明】
【図1】交換レンズ方式の電子カメラの構成を示す図である。
【図2】電子カメラのブロック図とパーソナルコンピュータ(PC)および周辺装置を示す図である。
【図3】撮影時に電子カメラで行う処理の流れを示すフローチャートである。
【図4】電子カメラ側の撮影手順について説明する図である。
【図5】画像データの取り込み時にPCで行う処理の流れを示すフローチャートである。
【図6】PCで行うゴミの影響を除去する処理の流れを示すフローチャートである。
【図7】輝度面に対して局所的規格化処理を施した様子を示す図である。
【図8】透過率マップのヒストグラムを示す図である。
【図9】瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。
【図10】絞り値であるF値が変化するとゴミ影の大きさが変化する様子を示す図である。
【図11】各絞り値に対する一次元フィルタ係数を示す図である。
【図12】絞り値F16における透過率マップに変換するフィルタを2次元フィルタで表した図である。
【図13】中くらい程度のゴミについて、F値変換により透過率が変換される様子を示す図である。
【符号の説明】
1 電子カメラ
2 カメラ本体
3 可変光学系
4 レンズ
5 絞り
6 シャッター
7 光学部品
8 撮像素子
9 マウント部
12 アナログ信号処理部
13 A/D変換部
14 タイミング制御部
15 画像処理部
16 操作部
17 制御部
18 メモリ
19 圧縮/伸長部
20 表示画像生成部
21、32 モニタ
22 メモリカード用インタフェース部
23 外部インタフェース部
24 バス
30 メモリカード
31 PC(パーソナルコンピュータ)
33 プリンタ
34 CD−ROM
Claims (4)
- 光学系を通して入力された被写体像を撮影する撮像手段と、
前記撮像手段により基準画像を撮影する第1のモードと、前記撮像手段により補正対象画像を撮影する第2のモードとを切り換えるモード切換手段と、
前記撮像手段により撮影された基準画像と補正対象画像をデジタルデータファイルとして外部へ出力する出力手段と、
前記出力手段により出力されるデジタルデータファイルが前記基準画像と前記補正対象画像のいずれであるかを表す情報を前記デジタルデータファイルに付加する情報付加手段とを備えることを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記情報付加手段は、前記基準画像または前記補正対象画像であることを表す情報を含むメタデータを前記デジタルデータファイルに付加し、
前記メタデータは、該デジタルデータファイルの基準画像および補正対象画像を変更しないことを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置において、
前記情報付加手段は、前記デジタルデータファイルのファイル名の一部を変更することにより、前記基準画像と前記補正対象画像のいずれであるかを表す情報を前記デジタルデータファイルに付加することを特徴とする撮像装置。 - 請求項1〜3に記載のいずれかの撮像装置より出力されるデジタルデータファイルを入力する入力手段と、
前記情報に基づいて該デジタルデータファイルが前記基準画像と前記補正対象画像のいずれであるかを判別する判別手段と、
前記基準画像に基づいて前記撮像手段の撮像光路上に存在するゴミの影響を補正対象画像より除去する除去手段とを備えることを特徴とする画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003138858A JP4186699B2 (ja) | 2003-05-16 | 2003-05-16 | 撮像装置および画像処理装置 |
US10/844,417 US7580069B2 (en) | 2003-05-16 | 2004-05-13 | Image-capturing apparatus and image processing apparatus |
EP04252795.2A EP1478169B1 (en) | 2003-05-16 | 2004-05-14 | Image-capturing apparatus and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003138858A JP4186699B2 (ja) | 2003-05-16 | 2003-05-16 | 撮像装置および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004343519A true JP2004343519A (ja) | 2004-12-02 |
JP4186699B2 JP4186699B2 (ja) | 2008-11-26 |
Family
ID=33028418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003138858A Expired - Fee Related JP4186699B2 (ja) | 2003-05-16 | 2003-05-16 | 撮像装置および画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7580069B2 (ja) |
EP (1) | EP1478169B1 (ja) |
JP (1) | JP4186699B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201637A (ja) * | 2006-01-24 | 2007-08-09 | Canon Inc | 撮像装置及びその制御方法とプログラム |
JP2008072416A (ja) * | 2006-09-14 | 2008-03-27 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
JP2008244866A (ja) * | 2007-03-27 | 2008-10-09 | Canon Inc | 画像処理装置及び画像処理方法及びプログラム及び記憶媒体 |
JP2008271029A (ja) * | 2007-04-18 | 2008-11-06 | Nikon Corp | 電子カメラ |
JP2009147736A (ja) * | 2007-12-14 | 2009-07-02 | Hoya Corp | デジタルカメラ |
JP2010178258A (ja) * | 2009-02-02 | 2010-08-12 | Nikon Corp | 画像処理プログラム、画像処理装置、およびカメラ |
JP2010200137A (ja) * | 2009-02-26 | 2010-09-09 | Nikon Corp | 撮像装置 |
WO2012133228A1 (ja) * | 2011-03-31 | 2012-10-04 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP2012213075A (ja) * | 2011-03-31 | 2012-11-01 | Nikon Corp | 画像処理装置及び画像処理プログラム |
JP2012222509A (ja) * | 2011-04-06 | 2012-11-12 | Nikon Corp | 画像処理装置及び画像処理プログラム |
WO2014125837A1 (ja) * | 2013-02-18 | 2014-08-21 | パナソニック株式会社 | 撮像装置の異物情報検出装置および異物情報検出方法 |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
US7352394B1 (en) | 1997-10-09 | 2008-04-01 | Fotonation Vision Limited | Image modification based on red-eye filter analysis |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US8369650B2 (en) | 2003-09-30 | 2013-02-05 | DigitalOptics Corporation Europe Limited | Image defect map creation using batches of digital images |
US7424170B2 (en) | 2003-09-30 | 2008-09-09 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images |
US7369712B2 (en) * | 2003-09-30 | 2008-05-06 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images |
US7295233B2 (en) * | 2003-09-30 | 2007-11-13 | Fotonation Vision Limited | Detection and removal of blemishes in digital images utilizing original images of defocused scenes |
US7340109B2 (en) * | 2003-09-30 | 2008-03-04 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values |
US7676110B2 (en) * | 2003-09-30 | 2010-03-09 | Fotonation Vision Limited | Determination of need to service a camera based on detection of blemishes in digital images |
US7308156B2 (en) | 2003-09-30 | 2007-12-11 | Fotonation Vision Limited | Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data |
US7590305B2 (en) * | 2003-09-30 | 2009-09-15 | Fotonation Vision Limited | Digital camera with built-in lens calibration table |
US7310450B2 (en) | 2003-09-30 | 2007-12-18 | Fotonation Vision Limited | Method of detecting and correcting dust in digital images based on aura and shadow region analysis |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
WO2007095556A2 (en) | 2006-02-14 | 2007-08-23 | Fotonation Vision Limited | Digital image acquisition device with built in dust and sensor mapping capability |
DE602007012246D1 (de) | 2006-06-12 | 2011-03-10 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
WO2008109708A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Red eye false positive filtering using face location and orientation |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
CN104243788B (zh) * | 2013-06-06 | 2017-11-21 | 华为终端(东莞)有限公司 | 一种获取目标图像的方法及装置 |
WO2017149549A1 (en) * | 2016-03-04 | 2017-09-08 | Hewlett-Packard Development Company, L.P. | Correcting captured images using a reference image |
CN110636217B (zh) * | 2019-08-29 | 2020-07-28 | 上海斯俊慕智能科技有限公司 | 自动化现场数据处理*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5214470A (en) * | 1992-04-09 | 1993-05-25 | Xerox Corporation | Method and apparatus for compensating for dirt or etched areas on a document platen |
US6014170A (en) * | 1997-06-20 | 2000-01-11 | Nikon Corporation | Information processing apparatus and method |
JPH1114553A (ja) * | 1997-06-23 | 1999-01-22 | Omron Corp | 視覚欠陥検査装置における欠陥サンプルデータ出力方法および装置 |
JPH11103413A (ja) * | 1997-09-26 | 1999-04-13 | Kawasaki Steel Corp | 画像補正装置 |
US6035072A (en) * | 1997-12-08 | 2000-03-07 | Read; Robert Lee | Mapping defects or dirt dynamically affecting an image acquisition device |
JP2002542680A (ja) | 1999-04-12 | 2002-12-10 | ピクチャーアイキュー・コーポレーション | 複数の多重修正した子マルチメディア資産からのマルチメディア資産の取得 |
US6661456B1 (en) * | 1999-04-30 | 2003-12-09 | General Electric Company | Imaging of pixel defects in digital detectors |
JP4167401B2 (ja) * | 2001-01-12 | 2008-10-15 | 富士フイルム株式会社 | ディジタル・カメラおよびその動作制御方法 |
JP3678160B2 (ja) | 2001-03-26 | 2005-08-03 | コニカミノルタフォトイメージング株式会社 | 画像処理装置、表示装置、プログラムおよび記憶媒体 |
JP4143279B2 (ja) | 2001-05-29 | 2008-09-03 | 富士フイルム株式会社 | 画像欠陥の検出方法および画像読取装置 |
US8111898B2 (en) * | 2002-12-06 | 2012-02-07 | Synopsys, Inc. | Method for facilitating automatic analysis of defect printability |
KR100524028B1 (ko) * | 2003-06-04 | 2005-10-26 | 삼성전자주식회사 | 인쇄장치 및 그의 표시언어 자동 설정방법 |
-
2003
- 2003-05-16 JP JP2003138858A patent/JP4186699B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-13 US US10/844,417 patent/US7580069B2/en active Active
- 2004-05-14 EP EP04252795.2A patent/EP1478169B1/en not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4678860B2 (ja) * | 2006-01-24 | 2011-04-27 | キヤノン株式会社 | 撮像装置及びその制御方法とプログラム |
JP2007201637A (ja) * | 2006-01-24 | 2007-08-09 | Canon Inc | 撮像装置及びその制御方法とプログラム |
JP2008072416A (ja) * | 2006-09-14 | 2008-03-27 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
JP4695571B2 (ja) * | 2006-09-14 | 2011-06-08 | 三星電子株式会社 | 撮像装置および撮像方法 |
JP2008244866A (ja) * | 2007-03-27 | 2008-10-09 | Canon Inc | 画像処理装置及び画像処理方法及びプログラム及び記憶媒体 |
JP2008271029A (ja) * | 2007-04-18 | 2008-11-06 | Nikon Corp | 電子カメラ |
JP2009147736A (ja) * | 2007-12-14 | 2009-07-02 | Hoya Corp | デジタルカメラ |
JP2010178258A (ja) * | 2009-02-02 | 2010-08-12 | Nikon Corp | 画像処理プログラム、画像処理装置、およびカメラ |
JP2010200137A (ja) * | 2009-02-26 | 2010-09-09 | Nikon Corp | 撮像装置 |
WO2012133228A1 (ja) * | 2011-03-31 | 2012-10-04 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP2012213075A (ja) * | 2011-03-31 | 2012-11-01 | Nikon Corp | 画像処理装置及び画像処理プログラム |
JP2012222509A (ja) * | 2011-04-06 | 2012-11-12 | Nikon Corp | 画像処理装置及び画像処理プログラム |
WO2014125837A1 (ja) * | 2013-02-18 | 2014-08-21 | パナソニック株式会社 | 撮像装置の異物情報検出装置および異物情報検出方法 |
JP5610106B1 (ja) * | 2013-02-18 | 2014-10-22 | パナソニック株式会社 | 撮像装置の異物情報検出装置および異物情報検出方法 |
CN105009561A (zh) * | 2013-02-18 | 2015-10-28 | 松下知识产权经营株式会社 | 摄像装置的异物信息检测装置以及异物信息检测方法 |
US9706110B2 (en) | 2013-02-18 | 2017-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Foreign body information detection device and foreign body information detection method of imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
US7580069B2 (en) | 2009-08-25 |
EP1478169A2 (en) | 2004-11-17 |
EP1478169A3 (en) | 2006-03-22 |
EP1478169B1 (en) | 2017-02-15 |
US20050001910A1 (en) | 2005-01-06 |
JP4186699B2 (ja) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
EP1583356B1 (en) | Image processing device and image processing program | |
US7176962B2 (en) | Digital camera and digital processing system for correcting motion blur using spatial frequency | |
US8098305B2 (en) | Image-capturing system diagnostic device, image-capturing system diagnostic program product and image-capturing device for monitoring foreign matter | |
JP6173156B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
WO2017045558A1 (zh) | 景深调节方法、装置及终端 | |
JP5619124B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2007188126A (ja) | 画像明るさ算出装置および方法並びにプログラム | |
JP4419479B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2004282686A (ja) | 撮像装置 | |
CN107534728A (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
KR101119971B1 (ko) | 촬상 장치 | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4466017B2 (ja) | 画像処理装置および画像処理プログラム | |
US20110187916A1 (en) | Apparatus for processing digital image and method of controlling the same | |
JP4466016B2 (ja) | 画像処理装置および画像処理プログラム | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム | |
JP5943682B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2011193276A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2021064837A (ja) | 撮像装置 | |
KR101653270B1 (ko) | 색수차를 보정하는 방법 및 장치 | |
JP2012222509A (ja) | 画像処理装置及び画像処理プログラム | |
JP2012213075A (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4186699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140919 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140919 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140919 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |