JP2020005142A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2020005142A
JP2020005142A JP2018123521A JP2018123521A JP2020005142A JP 2020005142 A JP2020005142 A JP 2020005142A JP 2018123521 A JP2018123521 A JP 2018123521A JP 2018123521 A JP2018123521 A JP 2018123521A JP 2020005142 A JP2020005142 A JP 2020005142A
Authority
JP
Japan
Prior art keywords
image
information
image sensor
imaging
dust
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018123521A
Other languages
English (en)
Inventor
英孝 上村
Hidetaka Kamimura
英孝 上村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018123521A priority Critical patent/JP2020005142A/ja
Priority to US16/453,729 priority patent/US10897571B2/en
Publication of JP2020005142A publication Critical patent/JP2020005142A/ja
Priority to US17/106,474 priority patent/US11196921B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/911Television signal processing therefor for the suppression of noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Image Processing (AREA)

Abstract

【課題】適切なゴミ情報の取得、およびゴミ情報の画像への付与を行うことが可能な撮像装置を提供する。【解決手段】撮像装置であって、被写体像を撮像する撮像素子と、予め定められた条件を満たすか否かを判定する判定部と、撮像部に撮像を行わせて得られた画像から、撮像素子および撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御部とを備え、制御部は、予め定められた条件を満たしていないと判定した場合は、撮像部に異物情報を取得させ、予め定められた条件を満たしていると判定した場合は、撮像部に異物情報を取得させないように制御する。この予め定められた条件は、装着されているレンズユニットのイメージサークルの狭いこと、および、撮像素子の一部の領域のみを記録するモードが設定されていることの、少なくともいずれかを含む。【選択図】図5

Description

本発明は、撮像装置における、撮像素子の前方に配置された光学ローパスフィルタの表面や、撮像素子のガラス面等に付着した異物による画質劣化を抑制する技術に関する。
レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際に、カメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッター機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。このようなゴミや埃などの異物がデジタルカメラの撮像素子の前方に配置された光学ローパスフィルタの表面や撮像素子のガラス面等に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。
このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば、特許文献1には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また、特許文献2には、画素欠陥の位置情報の設定を簡略化するために、ゴミ情報取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、PC(パーソナルコンピュータ)側でゴミ情報画像を自動判別し、その情報を用いて補正対象画像を補正することが可能となる。さらに、特許文献3では、動画記録時において電子ズームを用いて撮影した動画像に対しても、ゴミ除去処理を行うことを可能とする方法が提案されている。一般的に、このような技術に使用されるゴミ除去用のゴミ補正データをダストデリートデータ(DDD)と呼ぶ。
特開平6−105241号公報 特開2004−242158号公報 特開2010−103706号公報
近年では、撮像装置に装着されるレンズのバリエーションが増えたため、撮像素子全面に光が当たらないようなレンズが装着されるといった状況も発生している。一般的な撮像装置では、そのようなレンズが装着された場合を想定して、光の当たっている領域のみを記録領域とするような撮影モードが用意されている場合が多い。あるいは、疑似的にズーム倍率を高くするため、あるいは、光学特性の優れた領域のみを用いるために、撮像素子の周辺領域を除外して、中央の一部の領域のみを記録領域とするような撮影モードが用意されている場合もある。
しかしながら、この状態でダストデリートデータの取得を実行した場合、撮像素子全面のゴミ情報を取得することができないという課題が発生する。また、撮像素子全面に光が当たるレンズを装着して取得したゴミ情報を、撮像素子全面に光が当たらないレンズを装着して得た画像のゴミを補正するために、単純に利用することはできないという課題も発生する。あるいは、撮像素子全面から取得したゴミ情報を、撮像素子の一部の領域のみを読み出し対象として得た画像のゴミを補正するために、単純に利用することはできないという課題も発生する。
本発明は上述した課題に鑑みてなされたものであり、その目的は、適切なゴミ情報の取得、およびゴミ情報の画像への付与を行うことが可能な撮像装置を提供することである。
本発明に係わる撮像装置は、被写体像を撮像する撮像素子と、予め定められた条件を満たすか否かを判定する判定手段と、前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御手段と、を備え、前記制御手段は、前記判定手段が前記予め定められた条件を満たしていないと判定した場合は、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得し、前記判定手段が前記予め定められた条件を満たすと判定した場合は、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得せず、前記予め定められた条件は、装着されているレンズユニットが前記撮像素子に対してイメージサークルの狭いレンズユニットであること、および、前記撮像素子の一部の領域のみを記録するモードが設定されていることの、少なくともいずれかを含むことを特徴とする。
また、本発明に係わる撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御手段と、前記異物情報を変換する変換手段と、を備え、前記制御手段は、前記撮像素子の第1の領域に対応する画像から第1の異物情報を取得し、前記撮像素子の前記第1の領域よりも広い第2の領域に対応する画像から第2の異物情報を取得し、前記変換手段は、前記第1の異物情報と前記第2の異物情報の一方を他方に対応するように変換することを特徴とする。
本発明によれば、適切なゴミ情報の取得、およびゴミ情報の画像への付与を行うことが可能な撮像装置を提供することができる。
本発明の撮像装置の実施形態であるデジタルカメラの構成を示す図。 第1の実施形態におけるゴミ情報を取得する処理を示すフローチャート。 第1の実施形態におけるカメラの静止画像の撮影処理を示すフローチャート。 第1の実施形態におけるゴミ除去処理を示すフローチャート。 第1の実施形態におけるゴミ情報の取得処理を示すフローチャート。 第1の実施形態における撮影時のゴミ情報付与処理を示すフローチャート。 第1の実施形態におけるイメージサークルの広いレンズが装着されている場合にゴミ情報の取得を可能とする処理を示すフローチャート。 第2の実施形態における異なる記録領域間においてゴミ情報を相互利用可能とする処理を示すフローチャート。 第2の実施形態におけるゴミ情報の取得処理を実施した際の処理を示すフローチャート 第2の実施形態におけるゴミ情報のマージ処理を説明するための図。 第2の実施形態におけるゴミ情報の取得処理を実施した際の処理を示すフローチャート。
以下、本発明をレンズ交換式デジタル一眼レフカメラに適用した実施形態について、添付図面を参照して詳細に説明する。なお、本発明は、以下の実施形態に限定されるものではなく、レンズ交換が可能なデジタルビデオカメラや、カメラ機能つき携帯電話などにも適用可能である。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置としてのレンズ交換式デジタル一眼レフカメラの構成を示すブロック図である。なお、各機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
本実施形態の撮像装置は、主にカメラ100と、交換レンズタイプのレンズユニット300とを備えて構成されている。
まず、レンズユニット300について説明する。レンズユニット300は、レンズマウント306をカメラ100のレンズマウント106に係合させることによりにカメラ100と機械的並びに電気的に結合される。電気的な結合はレンズマウント106及びレンズマウント306に設けられたコネクタ122及びコネクタ322によって実現される。レンズ310にはレンズユニット300の合焦距離を調節するためのフォーカスレンズが含まれ、フォーカス制御部342はフォーカスレンズを光軸に沿って駆動することでレンズユニット300の焦点調節を行う。絞り312はカメラ100に入射する被写体光の量と角度を調節する。
コネクタ322及びインタフェース320は、レンズユニット300をカメラ100のコネクタ122と電気的に接続する。そして、コネクタ322は、カメラ100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ322は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
ズーム制御部344はレンズ310の変倍レンズを駆動し、レンズユニット300の焦点距離(画角)を調整する。レンズユニット300が単焦点レンズであればズーム制御部344は存在しない。絞り制御部340は、測光制御部46からの測光情報に基づいて、シャッター12を制御するシャッター制御部40と連携しながら、絞り312を制御する。
レンズシステム制御回路350は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりレンズユニット300全体の動作を制御する。そして、レンズシステム制御回路350は、レンズユニット300の動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。さらに、レンズユニット固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。
次に、デジタルカメラであるカメラ100の構成について説明する。
カメラ100は、複数種類のレンズユニット300が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。更には、焦点距離や開放Fナンバーが異なるレンズユニット300若しくはズーム機能を備えるレンズユニット300なども装着可能で、同種、異種のレンズユニットにかかわらず交換可能な構成を有する。
このカメラ100において、レンズユニット300を通過した光束は、レンズマウント106を通過し、ミラー130,132により反射されて、光学ファインダ104へ導かれる。光学ファインダ104により、撮影者は被写体を光学像として観察しながら撮影することができる。光学ファインダ104内には、後述する通知部54の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。なお、ミラー130はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。フォーカルプレーン式のシャッター12は、撮像素子14の露光時間を制御する。
撮像素子14はCCDまたはCMOSイメージセンサからなり、複数の画素が2次元的に配置された構成を有し、被写体の光学像を画素ごとに光電変換して電気信号を出力する。撮像素子14は、撮像素子に配置されている全画素からアナログ信号を出力する間引き無し読み出しモードのみならず、水平方向及び垂直方向に画素を間引いてアナログ信号を出力する間引き読み出しモードも有している。この間引き読み出しモードの活用により、表示解像度や記録解像度に最適な画素数のアナログ信号を得ることができる。
なお、撮像素子14の前方には、光学ローパスフィルタ等の光学素子14aが配置されており、この光学素子14aの表面に付着したゴミ等の異物が撮像素子14で生成される画像に写りこみ、画質を劣化させる。本実施形態は、この画質劣化を抑制する技術に関するものである。
レンズ310に入射した光線は、一眼レフ方式によって光量制限手段である絞り312、レンズマウント306及び106、ミラー130、シャッター12を介して導かれ、光学像として撮像素子14上に結像される。
撮像素子14により光電変換された電気信号はA/D変換器16へ送られ、アナログ信号出力がデジタル信号(画像データ)に変換される。タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御される。
画像処理回路20は、A/D変換器16からの画像データ或いはメモリ制御回路22からの画像データに対して画素補間処理、ホワイトバランス処理、色変換処理などの所定の処理を適用する。
また、画像処理回路20は、必要に応じて、A/D変換器16から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路50がシャッター制御部40、焦点調節部42を制御するための、TTL(スルー・ザ・レンズ)方式のオートフォーカス(AF)処理、自動露出(AE)処理、フラッシュプリ発光(EF)処理を行うことができる。さらに、画像処理回路20は、A/D変換器16から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のオートホワイトバランス(AWB)処理も行っている。また、画像処理回路20は、電子ズーム時の画素補間処理を用いた画像の拡大処理を行っている。
なお、図1に示す例では、焦点調節部42及び測光制御部46を専用に備えている。従って、焦点調節部42及び測光制御部46を用いてAF処理、AE処理、EF処理の各処理を行い、画像処理回路20を用いたAF処理、AE処理、EF処理の各処理を行わない構成としても構わない。また、焦点調節部42及び測光制御部46を用いてAF処理、AE処理、EF処理の各処理を行い、さらに、画像処理回路20を用いたAF処理、AE処理、EF処理の各処理を行う構成としてもよい。
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長回路32を制御する。そして、A/D変換器16のデータが画像処理回路20及びメモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。画像表示メモリ24に書き込まれた表示用の画像データは、D/A変換器26を介して液晶モニタ等から構成される画像表示部28に表示される。撮像素子14で撮影した動画像を画像表示部28に逐次表示することで、電子ファインダ機能(ライブビュー表示)を実現できる。画像表示部28は、システム制御回路50の指示により表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ100の電力消費を大幅に低減できる。
また、メモリ30は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことができる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ30はシステム制御回路50の作業領域としても使用される。
ゴミ除去回路(異物除去回路)31は、後述する不揮発性メモリ56に格納されているゴミ情報と、レンズユニット300から得られる光学情報を用いて、画像データに含まれるゴミを画像処理により除去するための回路である。
圧縮伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する機能を有し、メモリ30に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ30に書き戻す。また、動画像データを所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。
音声信号処理回路33は、マイク(不図示)より入力された音声信号を所定の符号フォーマットに符号化し、又は所定の符号化データから音声信号を復号する機能を有する。なお、本実施形態のデジタルカメラは、スピーカ(不図示)を介して、音声信号処理回路33により復号された音声データを出力する機能を有する。
シャッター制御部40は、測光制御部46からの測光情報に基づいて、レンズユニット300の絞り312を制御する絞り制御部340と連携しながら、シャッター12を制御する。焦点調節部42はAF(オートフォーカス)処理を行う。レンズユニット300内のレンズ310に入射した光線を絞り312、レンズマウント306,106、ミラー130及び焦点調節用サブミラー(不図示)を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。
測光制御部46は、自動露出制御(AE)処理を行う。レンズユニット300を通過した光束を、レンズマウント106、メインミラー130、そして不図示の測光用レンズを介して、測光制御部46に入射させることにより、被写体光学像の輝度を測定できる。被写体輝度と露出条件とを対応付けたプログラム線図などを用いて、測光制御部46は露出条件を決定することができる。また、測光制御部46は、フラッシュ48と連携することで調光処理機能も有する。また、焦点調節部42による測定結果と、A/D変換器16からの画像データを画像処理回路20によって演算した演算結果とを用いて、AF制御を行うようにしてもよい。さらに、測光制御部46による測定結果と、A/D変換器16からの画像データを画像処理回路20によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
システム制御回路50は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶する。通知部54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する、例えば液晶表示装置である。また、通知部54としては、その他に例えばLCDやLEDなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、通知部54はこれらのうち1つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ100の操作部70近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部54は、その一部の機能が光学ファインダ104内や画像表示部28に設置されている。
通知部54の表示内容の内、LCDなどの画像表示部28に表示するものとしては以下のものがある。まず、単写/連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及びPC210の着脱状態表示がある。更に、レンズユニット300の着脱状態表示、通信I/F動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。
また、通知部54の表示内容のうち、光学ファインダ104内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。光学情報格納メモリ58は、レンズユニット300からコネクタ122を介して得られる、後述する各種レンズ情報を記憶する。
60,62,64,66,68,70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段について具体的に説明する。モードダイアル60は、電源オフ、オート撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定できる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。
シャッタースイッチSW1である62は、不図示のシャッターボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の撮影準備動作の開始を指示する。シャッタースイッチSW2である64は、シャッターボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データとして書き込む。現像処理では、画像処理回路20やメモリ制御回路22での演算を用いた現像を行う。記録処理では、メモリ30から画像データを読み出し、圧縮伸長回路32で圧縮を行い、記録媒体200或いはPC210に画像データとして書き込む
再生スイッチ66は、撮影モード状態で撮影した画像をメモリ30あるいは記録媒体200あるいはPC210から読み出して画像表示部28に表示する再生動作の開始を指示する。再生スイッチ66は、他に、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することができる。
単写/連写スイッチ68は、シャッタースイッチ(SW2)64を押した場合に、1コマの撮影を行って待機状態とする単写モードと、シャッタースイッチ(SW2)64を押している間、連続して撮影を行い続ける連写モードとを設定することができる。
操作部70は各種ボタンやタッチパネルなどから成る操作手段である。一例として、ライブビュー開始/停止ボタン、動画記録開始/停止ボタン、電子ズームの倍率を切り替えるズームスイッチ、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り換えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタンを含む。更に、再生画像移動+(プラスボタン、再生画像移動−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付/時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
また、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチがある。また、JPEG圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するRAWモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットAFモードとサーボAFモードとを設定可能なAFモード設定スイッチなどがある。ワンショットAFモードでは、シャッタースイッチ(SW1)62を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボAFモードでは、シャッタースイッチ(SW1)62を押している間、連続してオートフォーカス動作を続ける。更に、ゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。
電源スイッチ72は、カメラ100の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ100に接続されたレンズユニット300、外部フラッシュ112、記録媒体200、PC210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
電源制御部80は、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ82及び84は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる電源部86をカメラ100と接続する。
インタフェース90及びインタフェース94はメモリカードやハードディスク等の記録媒体やPCとのインタフェースであり、コネクタ92及びコネクタ96はメモリカードやハードディスク等の記録媒体やPCと接続を行うコネクタである。記録媒体着脱検知回路98は、コネクタ92または96に記録媒体200あるいはPC210が装着されているか否かを検知する。
なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを2系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、PCMCIA(Personal Computer Memory Card International Association)カードやCF(コンパクトフラッシュ(登録商標))カード、SDカード等である。インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCFカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、LANカードやモデムカード、USB(Universal Serial Bus)カード、IEEE(Institute of Electrical and Electronic Engineers)1394カードがある。他にも、P1284カード、SCSI(Small Computer System Interface)カード、PHS等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
光学ファインダ104は、レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306,106、ミラー130,132を介して導き、光学像として結像させて表示することができる。これにより、画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ104内には、通知部54の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電状態、シャッター速度、絞り値、露出補正値などが表示される。
外部フラッシュ112は、アクセサリシュー110を介して装着される。インタフェース120は、レンズマウント106内でデジタルカメラ100をレンズユニット300と接続するために用いられる。
コネクタ122は、デジタルカメラ100をレンズユニット300と電気的に接続する。また、レンズマウント106及びコネクタ122にレンズユニット300が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ122はカメラ100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。
コネクタ122を介して通信される、レンズユニット300の各種光学情報(絞り、ズーム位置、瞳位置、焦点距離など)は、デジタルカメラ100の光学情報格納メモリ58に記憶される。通信の要求はカメラ側から行われる場合もあれば、レンズ側から情報更新のたびに行われる場合もある。また、コネクタ122は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。
記録媒体200は、メモリカードやハードディスク等からなる。この記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、デジタルカメラ100とのインタフェース204、デジタルカメラ100と接続を行うコネクタ206を備えている。記録媒体200としては、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等を用いることができる。また、マイクロDAT、光磁気ディスク、CD−RやCD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成されていても勿論構わない。
PC210は、磁気ディスク(HD)等から構成される記録部212、デジタルカメラ100とのインタフェース214、デジタルカメラ100と接続を行うコネクタ216を備えている。インタフェース214はUSBやIEEE1394などが挙げられるが、特に限定はない。
次に、上記のような構成を有する撮像装置における撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学素子14a上のゴミの影響を画像処理により除去する処理について説明する。
本実施形態では、まず、ゴミ(異物)の付着している位置及び大きさ等の情報であるゴミ情報(異物情報)を得るためのゴミ検出用画像(異物検出用画像)を撮影し、ゴミデータを抽出し、ゴミデータを生成しておく。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。
図2は、本実施形態におけるゴミ情報を取得する際の撮像装置(本実施形態ではデジタルカメラ)における処理を示すフローチャートである。
まずステップS201において、操作部70によりゴミ情報取得モードが選択されたか否かを判断する。ゴミ情報取得モードが選択されるまでステップS201の判断を繰り返し、ゴミ情報取得モードが選択されるとステップS202へ進み、シャッタースイッチ(SW1)62がONされたかどうかを判断する。OFFであればステップS201に戻って上記処理を繰り返す。
一方、ステップS202においてシャッタースイッチ(SW1)62がONであれば、ステップS203において、絞り、ISO値、シャッタースピード、その他撮影関連のパラメータを設定し、次のステップS204へ進む。
ここで、絞りはF22など、絞りを絞り込んだ設定とする。レンズマウント106に接続されるレンズユニット300において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子14の表面ではなく、撮像素子14を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター等の光学素子14a上に付着しているため、レンズユニット300の絞り値によって結像状態が異なるからである。そのため、絞りが開放値に近いとゴミの像がぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。
図2のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチ(SW2)64を操作することとなる。
ステップS204ではシャッタースイッチ(SW2)64がONされたかどうかを判断する。OFFであればステップS202に戻りシャッタースイッチ(SW1)62の判断を行う。ステップS204においてシャッタースイッチ(SW2)64がONであればステップS205へ進む。ステップS205ではゴミ検出用画像の撮影(均一輝度面の撮影)を行って、メモリ30内に画像データを取り込む。次にステップS206ではメモリ30内に記憶した画像データからゴミ情報を取得し、次のステップS207に進む。
ここで、ゴミ情報の取得方法について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置(座標)と大きさを求める。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度、平均輝度を算出し、ブロック内のスレッショルド値を算出する。次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域とする。ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値および最小値、垂直方向の座標の最大値および最小値を求め、ゴミ領域のサイズを表す半径を算出する。このように求められた位置(座標)と半径を、ゴミ情報プロファイルとして記録する。
不揮発性メモリ56のサイズによる制限などにより、ゴミ補正データ(ゴミ情報プロファイル)のデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置してもよい。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。
このゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、ゴミ検出用画像撮影時のレンズ情報として、ゴミ検出用画像撮影時における実際の絞り値(F値)と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数(整数値)を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径、有効画像領域における中心のx座標、おなじく中心のy座標の3つの数値のセットである。取得したゴミ情報はステップS207で不揮発性メモリ56に記憶され、ゴミ情報取得のための処理を終了する。
なお、ゴミ情報取得モードにおける撮影動作は、ゴミ情報を取得することを目的とするため、本実施形態では撮影した画像そのものに対して、圧縮及び記録媒体200への記録処理は行わない。これは撮影者にとって不要な画像データで記録媒体200内の容量を無駄に消費することがないようにするためであるが、通常画像と同様に、圧縮後、記録媒体200へ保存しても良く、また、その際に拡張子を変更するなど何らかの手を加えても構わない。
ここで、本実施形態は、主として静止画を撮影する場合にゴミによる画質劣化を画像処理で補正する方法に関するものであるため、その処理について以下に説明する。
静止画の場合には、ゴミ検出用画像の撮影ではない通常の撮影を行った場合、通常撮影時のカメラ設定値等と共にゴミ補正データ(ゴミ情報プロファイル)を画像データに関連付けて記録媒体200に記録する。
具体的には、例えば、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるExif領域にゴミ補正データを追記することで、関連付けを実現することができる。または、ゴミ補正データをファイルとして独立して記録し、画像データにはそのゴミ補正データファイルへのリンク情報のみを記録することで関連付けを実現することも可能である。ただし、画像ファイルとゴミ補正データファイルを別々に記録すると、画像ファイルの移動時に、リンク関係が消失する場合があるので、ゴミ補正データは画像データと一体的に保持することが望ましい。
このように、ゴミ補正データを画像データに関連付けて記録するのは、このゴミ補正データが付属されて記録された画像データを外部の画像処理装置に移し、この外部の画像処理装置でゴミ除去処理(異物除去処理)を行う場合も想定しているからである。
次に、上述したようにして不揮発性メモリ56に記憶されたゴミ情報を使用した通常撮影時のゴミ除去処理について、図3及び図4のフローチャートを用いて説明する。なお、ここでの説明は静止画におけるゴミ除去処理に関するものであるが、動画においても、静止画と同様のゴミ除去処理を1フレーム毎の画像に施すことにより、同様にごみ除去処理を行うことができる。また、このゴミ除去処理は、図1におけるゴミ除去回路31を用いて行われる。
図3は本実施形態における通常撮影時の静止画像の撮影処理を示すフローチャートである。
ステップS301ではシャッタースイッチ(SW1)62がONされるまで、待機する。シャッタースイッチ(SW1)62がONされるとステップS302へ進んで測光及び焦点調節処理を行い、続いてステップS303でシャッタースイッチ(SW2)64がONされたかどうかを判断する。シャッタースイッチ(SW2)64がOFFであればステップS301に戻って上記処理を繰り返し、ONされたことを検出するとステップS304へ進んで撮影を行う。撮影が終了するとステップS305へ進み、有効なゴミ情報が不揮発性メモリ56内に存在するか否かを判断する。ゴミ情報が存在する場合はステップS306へ進み、存在しない場合はステップS307へ進んで撮影した画像データを記録媒体200に格納する。
なお、本実施形態では不揮発性メモリ56内にゴミ情報が存在するか否かを判断しているが、本来、上述したゴミ情報取得モードでの撮影が行われているかどうかが必要な条件であり、その判断方法に関しては特に限定するものではない。例えば、ゴミ情報取得モードでの撮影時に何らかのフラグをセットしておき、そのフラグを評価する方法でも構わない。
ステップS306では撮影した画像データ(撮像画像)に対し、取得済みのゴミ情報を、Exif領域などのヘッダ領域に埋め込み、ステップS307において記録媒体200にゴミ情報を埋め込んだ画像データを格納する。
続いて、図4を参照してゴミ除去処理の動作について説明する。図4は、ゴミ除去処理の動作を示すフローチャートである。
ステップS401では、選択された画像にゴミ情報が埋め込まれているかどうかを判断する。埋め込まれている場合はステップS402へ進み、ゴミ情報を取り込む。ステップS403では取り込んだゴミ情報から画像データにおけるゴミの影響を除去するべく、ゴミの周辺画素による画素補間処理等による補正処理を行う。全てのゴミの座標についてゴミ除去処理を適用し、全ての座標について処理が終わっていれば、ステップS404に進む。
ステップS404では、撮影した画像からゴミの影響を除去した補正処理後の画像を新たに記録する。ステップS401で、ゴミ情報が埋め込まれていないと判断された場合は、何もせず処理を終了する。以上でゴミ除去処理を終了する。
なお、本実施形態では、カメラ100ではゴミ情報を、撮影した画像データに埋め込む形で記録し、後からゴミの影響を除去する補正処理を行う構成を示した。これに対し、カメラ100で画像を撮影して記録する時に、ゴミ情報を埋め込まずにゴミの影響を除去する補正処理を行い、補正処理後の画像を記録媒体200へ記録するよう構成してもよい。また、ゴミ除去処理をPCなどの外部装置で実行するよう構成してもよい。
次に、レンズユニット300として、イメージサークルが小さく、撮像素子14の全面に被写体像が形成されないレンズユニットを用いる場合について説明する。つまり、カメラ100がいわゆるフルサイズの撮像素子を備えており、そのカメラにいわゆるAPS−Cサイズ用のレンズを装着した場合などである。以下、このようなレンズユニットをイメージサークルの狭いレンズユニットとし、反対に、撮像素子14に対して不足のないイメージサークルを有するレンズユニットを、イメージサークルの広いレンズユニットとして説明を行う。本実施形態の以下の動作では、イメージサークルが狭いレンズを用いた場合にゴミ情報の取得および付与を禁止する。
図5は、本実施形態におけるゴミ情報の取得メニュー処理を示している。
ステップS501では、システム制御回路50は、装着されているレンズのレンズIDをインタフェース120を介して取得し、次のステップS502において、装着されているレンズユニットが、イメージサークルの広いレンズユニットか否かを判断する(判定する)。装着されているレンズユニットがイメージサークルの広いレンズであると判断された場合はS503へ進み、現在、ユーザが選択しているモード(記録領域)のままとした上でステップS505へ進む。
ステップS502において、装着されているレンズがイメージサークルの狭いレンズであると判断された場合はS504へ進み、記録領域の狭いモードに切り替えた上で、ステップS507へ進む。
ステップS505では、ユーザが選択しているモードが、記録領域が狭いモードか否かを判断する。記録領域が広いモードであると判断された場合、次のステップS506において、ゴミ情報の取得メニューを有効化した上で処理を終了する。ステップS505において、記録領域が狭いモードであると判断された場合、ステップS507へ進む。
ステップS507では、ゴミ情報の取得メニューを無効化した上で処理を終了する。
図6は、本実施形態における撮影時のゴミ情報付与処理の動作を示すフローチャートである。
ステップS601では、ユーザが撮影処理を行う。続くステップS602では、現在設定されているモードが記録領域が狭いモードか否かを判断する。現在のモードが記録領域が狭いモードであると判断された場合、続くステップS603において、撮影した画像にゴミ情報を付与せず処理を終了する。ステップS602において、現在のモードが記録領域が広いモードであると判断された場合、続くステップS604において、撮影した画像にゴミ情報を付与して処理を終了する。
なお、図5のステップS502において、装着されているレンズがイメージサークルの狭いレンズであると判断された場合には、ステップS503およびS505の処理に代えて、強制的に記録領域の広いモードに切り替えるようにしてもよい。この場合、図6のステップS602において、現在設定されているモードを判断する代わりに、装着されているレンズがイメージサークルの狭いレンズであるか否かを判断するようにしてもよい。
図7は、図5の例に対して、ユーザによって設定されているモードが記録領域の狭いモードであっても、イメージサークルの広いレンズが装着されている場合はゴミ情報の取得を可能とする例を示すフローチャートである。
ステップS701では、システム制御回路50は、装着されているレンズのレンズIDを、インタフェース120を介して取得する。
ステップS702では、装着されているレンズがイメージサークルの広いレンズか否かを判断する。装着されているレンズがイメージサークルの広いレンズであると判断された場合はステップS703へ進み、ゴミ情報の取得メニューを有効化した上で、ステップS705へ進む。ステップS702において、装着されているレンズが記録領域の狭いレンズであると判断された場合はステップS704へ進み、ゴミ情報の取得メニューを無効化した上で処理を終了する。
ステップS705では、ユーザのゴミ情報取得メニュー操作を待つ。ユーザがメニュー操作によりゴミ情報取得を実行した場合、続くステップS706において、現在設定されているモードが、記録領域が狭いモードか否かを判断する。現在設定されているモードが、記録領域が狭いモードであると判断された場合、ステップS707において、記録領域が広いモードに切り替えた上でステップS708へ進む。ステップS706において、現在設定されている記録モードが、記録領域が広いモードであると判断された場合、ステップS710へ進み、ゴミ情報の取得処理を実行した上で処理を終了する。
ステップS708では、ゴミ情報の取得を実施し、続くステップS709において、もともと設定されていた記録領域が狭いモードへ切り替えた後に処理を終了する。
以上説明したように、本実施形態では、記録領域が狭い設定の場合にゴミ情報の取得を禁止するとともに、その状態で取得した撮影画像にはゴミ情報の付与を禁止した。また、記録領域が狭いモードに設定されていても、装着されているレンズがイメージサークルの広いレンズであった場合は、記録領域の広いモードに切り替えてゴミ情報を取得することを可能とした。これにより、ゴミ情報を単純に利用できない場合を排除することが可能となり、ゴミ除去処理に異常をきたすことを防ぐことが可能となる。
なお、本実施形態では、装着されたレンズのイメージサークルの広さと、設定された記録領域の広さの両方を考慮する構成を前提として説明を行ったが、これに限られるものではない。
例えば、イメージサークルが小さいレンズが装着されたとしても、記録領域の狭いモードに切り替えずに、撮像素子14の有効領域全体を記録領域とする構成であってもよい。このような構成の場合、イメージサークルの外側に位置する領域からはゴミ情報を検出することができないという課題が生じる。そのため、イメージサークルが小さいレンズが装着された場合には、ゴミ情報の取得メニューを無効化したり、撮影した画像にゴミ情報を付与しないようにしたりすればよい。
また、装着されたレンズの種類に関係なく、記録領域の狭いモードを設定できる構成である場合には、記録領域の外側に位置する領域からはゴミ情報を検出することができないという課題が生じることとなる。そのため、記録領域の狭いモードが設定された場合には、装着されたレンズの種類に関わらず、ゴミ情報の取得メニューを無効化したり、撮影した画像にゴミ情報を付与しないようにしたりすればよい。
(第2の実施形態)
第2の実施形態では、記録領域が狭い場合にもゴミ情報の取得を許可した上で、異なる記録領域に対応したゴミ情報に変換可能とする例について説明する。
図8は、本実施形態におけるゴミ情報の相互利用処理の動作を示すフローチャートである。
ステップS801では、装着されているレンズ情報と、設定されている記録領域情報を取得し、続くステップS802において、装着されているレンズユニットがイメージサークルの広いレンズユニットか否かを判断する。イメージサークルの広いレンズユニットであると判断された場合、ステップS803へ進む。ステップS803では、設定されている記録領域が広い領域の設定になっているか否かを判断する。設定されている記録領域が広い領域の設定になっていると判断された場合(領域の広さが一致している場合)、ステップS804へ進み、記録領域の広いゴミ情報が存在するか否か、すなわち不揮発性メモリ56に記憶されているか否かを判断する。記録領域の広いゴミ情報が存在すると判断された場合、次のステップS805において、記録領域の広いゴミ情報を撮影情報に付与する設定とした上で処理を終了する。
ステップS803において、設定されている記録領域が狭い領域の設定になっていると判断された場合、または、ステップS804において、記録領域の広いゴミ情報が存在しないと判断された場合、ステップS806に進む。ステップS806では、記録領域の狭いゴミ情報が存在するか否かを判断する。記録領域の狭いゴミ情報が存在すると判断された場合、次のステップS807において、記録領域の狭いゴミ情報(一方のゴミ情報)から、記録領域の広いゴミ情報(他方のゴミ情報)を生成して、そのゴミ情報を撮影情報に付与する設定とする。その上で、続くステップS808において、ゴミ情報取得を促す警告表示を行った上で処理を終了する。ゴミ情報の生成方法に関しては、図10を用いて後述する。
ステップS806において、記録領域の狭いゴミ情報も存在しないと判断された場合、ステップS808において、ゴミ情報取得を促す警告表示を行った上で処理を終了する。
ステップS802において、装着されているレンズユニットがイメージサークルの広いレンズユニットではないと判断された場合、次のステップS809において、装着されているレンズユニットが記録領域の狭いレンズユニットか否かを判断する。装着されているレンズユニットが記録領域の狭いレンズユニットであると判断された場合、次のステップS810において、記録領域の狭いゴミ情報が存在するか否かを判断する。記録領域の狭いゴミ情報が存在すると判断された場合、次のステップS813において、記録領域の狭いゴミ情報を撮影情報に付与する設定とした上で処理を終了する。
ステップS810において、記録領域の狭いゴミ情報が存在しないと判断された場合、次のステップS811において、記録領域の広いゴミ情報が存在するか否かを判断する。記録領域の広いゴミ情報が存在すると判断された場合、次のステップS812において、記録領域の広いゴミ情報(一方のゴミ情報)から、記録領域の狭いゴミ情報(他方のゴミ情報)を生成して、そのゴミ情報を撮影情報に付与する設定とする。その上で、続くステップS808において、ゴミ情報取得を促す警告表示を行った上で処理を終了する。
ステップS811において、記録領域の広いゴミ情報も存在しないと判断された場合、ステップS808において、ゴミ情報取得を促す警告表示を行った上で処理を終了する。
ステップS809において、装着されているレンズが記録領域の狭いレンズではない、すなわち、判断不能のレンズであると判断された場合、なにもせずに処理を終了する。
以上説明したように、本実施形態では、記録領域が広いゴミ情報と狭いゴミ情報を相互変換生成可能とすることで、条件によってゴミ情報の取得を禁止することなく常に許可した上で、再取得が望ましい場合には警告表示する。これにより、ユーザの意図しないゴミ情報を画像データへ付与することを防ぐことが可能となる。なお、本実施形態では、装着されているレンズユニットに対応するゴミ情報が存在しない場合には、常に警告を表示する例としたが、変換可能なゴミ情報もない場合に限り警告を表示するようにしてもよいし、警告表示を行わないようにしてもよい。
ここで、本実施形態ではゴミ情報の変換処理のタイミングに関して言及しなかったが、一例として、ゴミ情報の取得を行った際に、別のゴミ情報も生成するという例が考えられる。以下、その方法について説明する。
図9は、本実施形態において、ゴミ情報の取得を実施した際の処理を示すフローチャートである。ここで、本実施形態では、不揮発性メモリ56に記憶可能なゴミ情報は1パターンのみであるものとして説明する。その場合、記憶するゴミ情報は最も広い記録領域のゴミ情報であるものとする。
ステップS901では、ユーザのゴミ情報取得メニュー操作により、ゴミ情報の取得を行う。続くステップS902において、装着されているレンズやメニュー設定などの要因により、現在の記録領域が広い状態にあるか否かを判断する。現在の設定が記録領域が広い状態であると判断された場合、次のステップS903において、ステップS901で取得したゴミ情報を現在記憶されているゴミ情報に上書き記憶する。
ステップS902において、現在の設定が記録領域が狭い状態であると判断された場合、次のステップS904において、ステップS901で取得したゴミ情報をもとに、記録領域の広いゴミ情報を生成する。続くステップS905において、記録領域の広いゴミ情報が既に記憶されているか否かを判断する。記録領域の広いゴミ情報が既に記憶されていると判断された場合、次のステップS906において、ステップS904で生成したゴミ情報と、既に記憶されているゴミ情報をマージ(合成)した新たなゴミ情報を生成した上で記憶する。
ステップS905において、記録領域の広いゴミ情報がまだ記憶されていないと判断された場合、次のステップS907において、ステップS904で生成したゴミ情報を記憶する。
図10は、図8及び図9で説明した、記録領域が狭い状態で取得したゴミ情報から記録領域の広いゴミ情報を生成し、既に記憶されている記録領域の広いゴミ情報とマージする処理を示した模式図である。
図10(a)は、記録領域が狭い状態でゴミ情報の取得を実行した結果、得られたゴミ情報を示している。これは、図9において、記録領域が狭いレンズが装着されていた場合のステップS901の状態を表している。
図10(b)は、図10(a)のゴミ情報を記録領域の広いゴミ情報に変換した状態を示している。これは、図9のステップS904の状態に対応する。また、図8のステップS807で実施している変換も同様である。
図10(c)は、既に記憶されている記録領域の広いゴミ情報を示している。これが記憶されている場合、図8のステップS811及び図9のステップS905でYESとなる。
図10(d)は、記録領域が狭いゴミ情報をもとに生成したゴミ情報である図10(b)と、既に記憶されている記録領域の広いゴミ情報である図10(c)をマージした結果、得られたゴミ情報を示している。図8のステップS807及び図9のステップS906で生成されたゴミ情報がこれに対応する。
図11は、第2の実施形態において、ゴミ情報の取得を実施した際の処理を示すフローチャートである。ここでは、不揮発性メモリ56に記憶可能なゴミ情報は複数であるものとして説明する。すなわち、記録領域が広いゴミ情報と、記録領域が狭いゴミ情報の2つを記憶可能なものとして説明する。
ステップS1101では、ユーザのゴミ情報取得メニュー操作により、ゴミ情報の取得を行う。続くステップS1102において、現在取得したゴミ情報を所定の領域に記憶する。ステップS1103において、現在取得したゴミ情報をもとに、異なる記録領域のゴミ情報の生成を行い、続くステップS1104において、異なる記録領域のゴミ情報が既に記憶されているか否かを判断する。異なる記録領域のゴミ情報がまだ記憶されていないと判断された場合、次のステップS1105において、ステップS1103において生成したゴミ情報を所定の領域に記憶する。
ステップS1104において、異なる記録領域のゴミ情報が既に記憶されていると判断された場合、次のステップS1106において、ステップS1103において生成したゴミ情報と、既に記憶されているゴミ情報をマージした新たなゴミ情報を生成した上で記憶する。ここで、本実施形態ではマージすることとしたが、上書き記憶としてもよい。
以上説明したように、本実施形態では、記憶領域の制約により、1つのパターンのゴミ情報しか記憶できない場合と、複数のパターンが記憶できる場合とのそれぞれにおける、ゴミ情報の変換処理例を示した。これにより、条件によってゴミ情報の取得を禁止することなく常に許可した上で、ユーザの意図しないゴミ情報を画像データへ付与することを防ぐことが可能となる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
14:撮像素子、20:画像処理回路、31:ゴミ除去回路、50:システム制御回路、56:不揮発性メモリ、58:光学情報格納メモリ、100:カメラ、106:レンズマウント、300:レンズユニット、306:レンズマウント、310:レンズ、312:絞り

Claims (18)

  1. 被写体像を撮像する撮像素子と、
    予め定められた条件を満たすか否かを判定する判定手段と、
    前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御手段と、を備え、
    前記制御手段は、前記判定手段が前記予め定められた条件を満たしていないと判定した場合は、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得し、前記判定手段が前記予め定められた条件を満たすと判定した場合は、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得せず、
    前記予め定められた条件は、装着されているレンズユニットが前記撮像素子に対してイメージサークルの狭いレンズユニットであること、および、前記撮像素子の一部の領域のみを記録するモードが設定されていることの、少なくともいずれかを含むことを特徴とする撮像装置。
  2. 前記予め定められた条件は、前記撮像素子の一部の領域のみを記録するモードが設定されていることであり、
    前記制御手段は、前記撮像装置に装着されているレンズユニットによらず、前記判定手段が前記予め定められた条件を満たすと判定した場合には、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得しないことを特徴とする請求項1に記載の撮像装置。
  3. 前記予め定められた条件は、前記装着されているレンズユニットが前記撮像素子に対してイメージサークルの狭いレンズユニットであることであり、
    前記制御手段は、前記撮像素子の一部の領域のみを記録するモードが設定されているか否かによらず、前記判定手段が前記予め定められた条件を満たすと判定した場合には、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得しないことを特徴とする請求項1に記載の撮像装置。
  4. 前記予め定められた条件は、前記装着されているレンズユニットが前記撮像素子に対してイメージサークルの狭いレンズユニットであることであり、
    前記制御手段は、前記判定手段が前記予め定められた条件を満たしていないと判定し、かつ、前記撮像素子の一部の領域のみを記録するモードが設定されている場合は、前記撮像素子の全体の領域を記録するモードに設定し直した後に、前記異物情報を取得することを特徴とする請求項1に記載の撮像装置。
  5. 前記撮像素子に撮像を行わせて得られた画像に前記異物情報を付与する付与手段をさらに備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記付与手段は、前記撮像素子の一部の領域のみを記録するモードが設定されていない場合は、前記画像に前記異物情報を付与し、前記撮像素子の一部の領域のみを記録するモードが設定されている場合は、前記画像に前記異物情報を付与しないことを特徴とする請求項5に記載の撮像装置。
  7. 被写体像を撮像する撮像素子と、
    前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御手段と、
    前記異物情報を変換する変換手段と、を備え、
    前記制御手段は、前記撮像素子の第1の領域に対応する画像から第1の異物情報を取得し、前記撮像素子の前記第1の領域よりも広い第2の領域に対応する画像から第2の異物情報を取得し、
    前記変換手段は、前記第1の異物情報と前記第2の異物情報の一方を他方に対応するように変換することを特徴とする撮像装置。
  8. 前記撮像素子に撮像を行わせて得られた画像に前記異物情報を付与する付与手段をさらに備えることを特徴とする請求項7に記載の撮像装置。
  9. 前記付与手段は、前記撮像素子から前記第1の領域に対応する画像が得られた場合には、前記第1の異物情報、または前記第2の異物情報を前記第1の異物情報に対応するように変換した異物情報を前記画像に付与することを特徴とする請求項8に記載の撮像装置。
  10. 前記付与手段は、前記撮像素子から前記第2の領域に対応する画像が得られた場合には、前記第2の異物情報、または前記第1の異物情報を前記第2の異物情報に対応するように変換した異物情報を前記画像に付与することを特徴とする請求項8または9に記載の撮像装置。
  11. 前記第2の異物情報を、前記第1の異物情報に対応するように変換した異物情報を、さらに前記第1の異物情報と合成する合成手段をさらに備えることを特徴とする請求項7乃至10のいずれか1項に記載の撮像装置。
  12. 前記制御手段は、前記撮像装置に装着されているレンズユニットのイメージサークルの広さに応じて、前記撮像素子に、前記第1の領域に対応する画像を生成させるか、あるいは、前記第2の領域に対応する画像を生成させるかを選択することを特徴とする請求項7乃至11のいずれか1項に記載の撮像装置。
  13. 前記制御手段は、ユーザの設定に応じて、前記撮像素子に、前記第1の領域に対応する画像を生成させるか、あるいは、前記第2の領域に対応する画像を生成させるかを選択することを特徴とする請求項7乃至11のいずれか1項に記載の撮像装置。
  14. 前記制御手段は、予め定められた条件を満たす場合に、前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得するものであり、
    前記予め定められた条件は、前記第1の領域および前記第2の領域のうちのユーザの設定に応じて選択された領域と、装着されているレンズユニットのイメージサークルの広さが対応していることであることを特徴とする請求項13に記載の撮像装置。
  15. 被写体像を撮像する撮像素子を備えた撮像装置を制御する方法であって、
    予め定められた条件を満たすか否かを判定する判定工程と、
    前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御工程と、を有し、
    前記制御工程では、前記判定工程において前記予め定められた条件を満たしていないと判定した場合は、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得し、前記判定工程において前記予め定められた条件を満たすと判定した場合は、前記撮像素子に撮像を行わせて得られた画像から前記異物情報を取得せず、
    前記予め定められた条件は、装着されているレンズユニットが前記撮像素子に対してイメージサークルの狭いレンズユニットであること、および、前記撮像素子の一部の領域のみを記録するモードが設定されていることの、少なくともいずれかを含むことを特徴とする撮像装置の制御方法。
  16. 被写体像を撮像する撮像素子を備えた撮像装置を制御する方法であって、
    前記撮像素子に撮像を行わせて得られた画像から、前記撮像素子および前記撮像素子の前方の光学素子の少なくともいずれかに付着した異物の情報である異物情報を取得する制御工程と、
    前記異物情報を変換する変換工程と、を有し、
    前記制御工程では、前記撮像素子の第1の領域に対応する画像から第1の異物情報を取得し、前記撮像素子の前記第1の領域よりも広い第2の領域に対応する画像から第2の異物情報を取得し、
    前記変換工程では、前記第1の異物情報と前記第2の異物情報の一方を他方に対応するように変換することを特徴とする撮像装置の制御方法。
  17. 請求項15または16に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
  18. 請求項15または16に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2018123521A 2018-06-28 2018-06-28 撮像装置及びその制御方法、プログラム、記憶媒体 Pending JP2020005142A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018123521A JP2020005142A (ja) 2018-06-28 2018-06-28 撮像装置及びその制御方法、プログラム、記憶媒体
US16/453,729 US10897571B2 (en) 2018-06-28 2019-06-26 Image capturing apparatus, control method for the same, and storage medium
US17/106,474 US11196921B2 (en) 2018-06-28 2020-11-30 Image capturing apparatus, control method for the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018123521A JP2020005142A (ja) 2018-06-28 2018-06-28 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
JP2020005142A true JP2020005142A (ja) 2020-01-09

Family

ID=69055528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018123521A Pending JP2020005142A (ja) 2018-06-28 2018-06-28 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (2) US10897571B2 (ja)
JP (1) JP2020005142A (ja)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105241A (ja) 1992-09-17 1994-04-15 Sony Corp 画素欠陥補正方法
JP4145066B2 (ja) * 2002-04-09 2008-09-03 オリンパス株式会社 ズームレンズとそれを用いた電子撮像装置
JP4197968B2 (ja) 2003-02-07 2008-12-17 オリンパス株式会社 電子撮像装置
WO2004111721A1 (en) * 2003-06-12 2004-12-23 Olympus Corporation Digital camera system
JP2005006122A (ja) * 2003-06-12 2005-01-06 Olympus Corp デジタルカメラシステム、デジタルカメラボディおよび交換レンズ
JP2007189401A (ja) * 2006-01-12 2007-07-26 Sony Corp 撮像装置
CN101375393B (zh) * 2006-02-03 2010-09-22 三井化学株式会社 树脂制中空封装及其制造方法
JP4813929B2 (ja) * 2006-03-08 2011-11-09 富士フイルム株式会社 固体撮像素子
KR20090008185A (ko) * 2006-05-15 2009-01-21 가부시키가이샤 니콘 표면 검사 장치
JP2008261790A (ja) * 2007-04-13 2008-10-30 Hitachi High-Technologies Corp 欠陥検査装置
JP5014195B2 (ja) * 2008-02-25 2012-08-29 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5247346B2 (ja) 2008-10-22 2013-07-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法
JP5087528B2 (ja) * 2008-12-01 2012-12-05 理想科学工業株式会社 画像読取装置およびシェーディング補正方法
ES2666499T3 (es) * 2013-07-03 2018-05-04 Kapsch Trafficcom Ab Método para identificación de contaminación en una lente de una cámara estereoscópica
CN107076960B (zh) * 2014-10-27 2019-08-30 夏普株式会社 摄像机组件
EP3113108B1 (en) * 2015-07-02 2020-03-11 Continental Automotive GmbH Detection of lens contamination using expected edge trajectories

Also Published As

Publication number Publication date
US10897571B2 (en) 2021-01-19
US20200007757A1 (en) 2020-01-02
US20210084220A1 (en) 2021-03-18
US11196921B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
JP4989385B2 (ja) 撮像装置及びその制御方法及びプログラム
JP4378341B2 (ja) 撮像装置及び補正方法
JP4035543B2 (ja) 撮像装置
JP5014195B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2010193007A (ja) 撮像装置
JP2007174124A (ja) 撮像装置及び補正方法
US8045015B2 (en) Image pickup apparatus, white balance control method thereof, and storage medium
JP2005045552A (ja) 撮像装置及び方法
JP5094665B2 (ja) 撮像装置及びその制御方法及びプログラム
JP6559014B2 (ja) 撮像装置、その制御方法及びプログラム
JP2006295316A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
US11055871B2 (en) Image capturing apparatus, control method for the same, and storage medium
JP2003333434A (ja) 撮像装置、撮像方法、プログラムおよび記憶媒体
JP4393177B2 (ja) 撮像装置および撮像方法
US11196921B2 (en) Image capturing apparatus, control method for the same, and storage medium
JP4948011B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP6611566B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2006109162A (ja) 撮像装置、撮像方法、プログラム及び記憶媒体
JP4682104B2 (ja) 撮像装置
JP2006060409A (ja) 撮像装置及びその制御方法
JP2006203665A (ja) 撮像装置及び方法、並びに記録媒体及びプログラム
JP2009302778A (ja) 撮像装置及びその制御方法
JP2016208206A (ja) 記録装置
JP2005057691A (ja) 撮像装置及び方法
JP2016208207A (ja) 撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113