(第1の実施の形態)
本発明の撮像装置、撮像方法、プログラム及び記憶媒体の実施の形態について、図面を参照しながら説明する。なお、本実施の形態の撮像装置は電子カメラに適用される。
図1は、本実施の形態における電子カメラの構成例を示すブロック図である。
図1において、100は画像処理装置である。12は撮像素子14の露光量を制御する絞り機能を有したシャッタであり、14は光学像を電気信号に変換する撮像素子である。
レンズユニット300内の撮影レンズ310に入射した光線は、絞り312、外側レンズマウント306、内側レンズマウント106、第1のミラー130及びシャッタ12を通じて一眼レフ方式により導かれた撮像素子14上に光学像として結像する。
16は撮像素子14から出力されるアナログ信号をディジタル信号に変換するA/D変換器である。18は撮像素子14、A/D変換器16及びD/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50によって制御されている。
20は画像処理回路であり、A/D変換器16から送られる画像データまたはメモリ制御回路22から送られる画像データに対して所定の画素補間処理や色変換処理を行う。画像処理回路20は必要に応じて撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づき、システム制御回路50が露光(シャッタ)制御部40及び第1の測距制御部42を制御するためのTTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理及びEF(フラッシュ調光)処理を行う。また、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
なお、本実施の形態では、第1の測距制御部42及び測光制御部46を専用に備えているので、システム制御回路50は、第1の測距制御部42及び測光制御部46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、画像処理回路20を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行わないように構成されていてもよい。
また、第1の測距制御部42及び測光制御部46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、さらに、画像処理回路20を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行うように構成されていてもよい。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、第1のメモリ30及び圧縮・伸長回路32を制御する。
A/D変換器16から送られる画像データは、画像処理回路20及びメモリ制御回路22を介して、または直接メモリ制御回路22を介して画像表示メモリ24または第1のメモリ30に書き込まれる。
24は画像表示メモリであり、26はD/A変換器である。28はTFT方式のLCDからなる画像表示部である。画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28に表示される。撮像された画像データを画像表示部28で逐次表示する場合は、電子ファインダ機能を実現することが可能である。
また、画像表示部28はシステム制御回路50の指示に従って表示のON/OFFを任意に行うことが可能であり、表示をOFFにした場合は、画像処理装置100の電力消費を大幅に低減することができる。
30は撮影された静止画像や動画像を格納するための第1のメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。したがって、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みを第1のメモリ30に対して行うことが可能である。また、第1のメモリ30はシステム制御回路50の作業領域としても使用することが可能である。
32は適応離散コサイン変換(ADCT)などにより画像データを圧縮伸長する圧縮・伸長回路であり、第1のメモリ30に格納された画像を読み出して圧縮処理または伸長処理を行い、処理を終えた画像データを第1のメモリ30に書き込む。
40は測光制御部46から送られる測光情報に基づいて、絞り312を制御する絞り制御部340と連携しながらシャッタ12を制御するシャッタ制御部である。42はAF(オートフォーカス)処理を行うための第1の測距制御部であり、レンズユニット300内の撮影レンズ310に入射した光線を絞り312、外側レンズマウント306、内側レンズマウント106、第1のミラー130及び測距用サブミラー(図示せず)を介して一眼レフ方式で入射することにより、光学像として結像された画像の合焦状態を測定する。
44は温度計であり、撮影環境における周囲温度を検出する。温度計が撮像素子(センサ)14内にある場合は、センサの暗電流をより正確に予想することが可能となっている。
46はAE(自動露出)処理を行うための測光制御部であり、レンズユニット300内の撮影レンズ310に入射した光線を、絞り312、外側レンズマウント306、内側レンズマウント106、第1のミラー130及び測光用サブミラー(図示せず)を介して一眼レフ方式で入射することにより、光学像として結像された画像の露出状態を測定する。
測光制御部46はフラッシュ部48と連携することにより、EF(フラッシュ調光)処理機能も有する。48はフラッシュ部であり、AF補助光の投光機能及びフラッシュ調光機能を有する。
なお、前述したように、撮像素子14によって撮像された画像データを用いて画像処理回路20により演算された演算結果に基づき、システム制御回路50が露光(シャッタ)制御部40、絞り制御部340、第2の測距制御部342に対し、ビデオTTL方式を用いた露出制御及びAF(オートフォーカス)制御を行うことが可能である。
また、第1の測距制御部42による測定結果と、撮像素子14によって撮像された画像データを画像処理回路20によって演算した演算結果とを用いて、AF(オートフォーカス)制御を行うようにしてもよい。さらに、測光制御部46による測定結果と、撮像素子14によって撮像された画像データを画像処理回路20によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
50は画像処理装置100全体を制御するシステム制御回路であり、周知のCPUなどを内蔵する。52はシステム制御回路50の動作用の定数、変数、プログラムなどを記憶する第2のメモリである。
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声などで動作状態やメッセージなどを表示する液晶表示装置、スピーカなどを有する表示部であり、画像処理装置100の操作部70近辺の視認し易い単数または複数箇所に設置されている。表示部54は、LCD、LED、発音素子などの組合せにより構成されている。また、表示部54の一部の機能は光学ファインダ104内に設けられている。
表示部54の表示内容のうち、LCDなどに表示するものとしては、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、第1の記録媒体200及び第2の記録媒体210の着脱状態表示、レンズユニット300の着脱状態表示、通信I/F動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示などがある。
また、表示部54に表示される表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタスピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示などがある。
さらに、表示部54に表示される表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電表示などがある。
また、表示部54に表示される表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ等がある。このセルフタイマ通知ランプはAF補助光と共用してもよい。
56は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、この不揮発性メモリ56にはEEPROMなどが用いられる。この不揮発性メモリ56には、各種パラメータやISO(International Organization for Standardization)感度などの設定値、設定モード、及び欠陥画素の位置とレベルのデータが格納される。
この欠陥画素の位置とレベルのデータは、生産工程において、調整時または検査時に作成されて書き込まれる。この欠陥画素の位置とレベルのデータの作成方法としては、例えばダーク撮影を行って得られた画像の所定レベル以上の出力を持つ画素を抽出することによりデータとする方法等が考えられる。
60、62、64、66、68及び70はシステム制御回路50の各種動作指示を入力するための操作材等であり、スイッチ、ダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置などの単数または複数の組合せで構成されている。これら操作部材等の詳細を以下に示す。
60はモードダイアルスイッチであり、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先(デプス)撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替えて設定することが可能である。
62は第1のシャッタスイッチ(SW1)であり、シャッタボタン(図示せず)の操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理などの動作開始を指示する。
64は第2のシャッタスイッチ(SW2)であり、シャッタボタン(図示せず)の操作完了でONとなる。この第2のシャッタスイッチ(SW2)64は、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介して第1のメモリ30に画像データを書き込む露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、第1のメモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200、210に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
66は再生スイッチであり、撮影モード状態で撮影した画像を第1のメモリ30または記録媒体200、210から読み出して画像表示部28に表示する再生動作の開始を指示する。
68は単写/連写スイッチであり、第2のシャッタスイッチ64を押した場合、1コマの撮影を行って待機状態とする単写モードと、第2のシャッタスイッチ64を押している間、連続して撮影を行い続ける連写モードとを設定することが可能である。
69はISO感度設定スイッチであり、撮像素子14または画像処理回路20におけるゲインの設定を変更することによりISO感度を設定することが可能である。
70は各種ボタンやタッチパネルなどからなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切替ボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチ、JPEG圧縮の圧縮率を選択するため、または撮像素子14の信号をそのままディジタル化して第1及び第2の記録媒体200、210に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定可能な再生スイッチ、第1のシャッタスイッチを押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続けるワンショットAFモードと第1のシャッタスイッチを押している間、連続してオートフォーカス動作を続けるサーボAFモードとを設定可能なAFモード設定スイッチなどがある。
また、前記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
72は電源スイッチであり、画像処理装置100の電源オン、電源オフの各モードを切り替え設定が可能である。また、画像処理装置100に接続されたレンズユニット300、外部ストロボ、第1及び第2の記録媒体200、210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定が可能である。
80は電源制御部であり、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路などから構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200、210を含む各部に供給する。
82及び84はそれぞれ第1の内側コネクタ及び第1の外側コネクタであり、86はアルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池、Li電池などの二次電池、ACアダプタなどからなる電源部である。
90はメモリカードやハードディスク等の第1の記録媒体200との第1のインターフェースであり、94はメモリカードやハードディスク等の第2の記録媒体210との第2のインターフェースである。
92及び96はメモリカードやハードディスクなどの第1及び第2の記録媒体200、210との接続を行う第2の内側コネクタ及び第3の内側コネクタであり、98は第2及び第3の内側コネクタ92、96に第1及び第2の記録媒体200、210が装着されているか否かを検知する記録媒体着脱検知部である。
なお、本実施の形態では、記録媒体を取り付けるインターフェース及びコネクタが2系統装備されているが、記録媒体を取り付けるインターフェース及びコネクタは単数または任意の系統数だけ装備されていてもよい。また、異なる規格のインターフェース及びコネクタとして、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードなどの規格に準拠したものを用いてもよい。
さらに、第1及び第2のインターフェース90、94、第2及び第3のコネクタ92、96をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードなどの規格に準拠したものを用いて構成した場合、LANカード、モデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHSなどの通信カードなどの各種通信カードを接続することより、他のコンピュータやプリンタなどの周辺機器との間で画像データや画像データに付属した管理情報を相互に転送することが可能である。
104は光学ファインダであり、撮影レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、106、第1のミラー130、第2のミラー132を介して導き、光学像として結像させて表示することが可能である。これにより、画像表示部28による電子ファインダ機能を使用することなく、光学ファインダ104だけを用いて撮影を行うことが可能である。また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設けられている。
110は通信部であり、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信などの各種通信機能を有する。112は通信部110により画像処理装置100を他の機器と接続するコネクタ、もしくは無線通信を行う場合のアンテナである。
120はレンズマウント106内で画像処理装置100をレンズユニット300と接続するための第3のインターフェースである。122は画像処理装置100をレンズユニット300と電気的に接続する第4の内側コネクタである。なお、本実施の形態においては、レンズマウント106及び/または第4の内側コネクタ122にレンズユニット300が装着されているか否かを検知するレンズ着脱検知部(図示せず)を有している。
第4の内側コネクタ122は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、第4の内側コネクタ122は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。
130、132はそれぞれ第1及び第2のミラーであり、撮影レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導く。第2のミラー132はクイックリターンミラーの構成にしてもハーフミラーの構成にしてもどちらでもよい。
200はメモリカードやハードディスクなどの第1の記録媒体である。第1の記録媒体200は、半導体メモリや磁気ディスクなどから構成される第1の記録部202、画像処理装置100との第4のインターフェース204、及び画像処理装置100との接続を行う第2の外側コネクタ206とを有している。
210は、第1の記録媒体200と同様、メモリカードやハードディスク等の第2の記録媒体である。第2の記録媒体210は、半導体メモリや磁気ディスク等から構成される第2の記録部212、画像処理装置100との第5のインターフェース214、及び画像処理装置100との接続を行う第3の外側コネクタ216とを有している。
300は交換レンズタイプのレンズユニットである。306はレンズユニット300を画像処理装置100と機械的に結合する外側レンズマウントである。外側レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。
310は撮影レンズであり、312は絞りである。320は外側レンズマウント306内でレンズユニット300を画像処理装置100と接続するための第6のインターフェースである。322はレンズユニット300を画像処理装置100と電気的に接続する第4の外側コネクタである。
第4の外側コネクタ322は画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うとともに、各種電流が供給され、または電流を供給する機能を備えている。また、第4の外側コネクタ322は電気信号だけでなく、光信号、音声信号などを伝達する構成としてもよい。
340は測光制御部46からの測光情報に基づいて、シャッタ12を制御するシャッタ制御部40と連携しながら、絞り312を制御する絞り制御部である。342は撮影レンズ310のフォーカシングを制御する第2の測距制御部である。344は撮影レンズ310のズーミングを制御するズーム制御部である。
350はレンズユニット300全体を制御するレンズシステム制御回路である。レンズシステム制御回路350は、動作用の定数、変数、プログラムなどを記憶するメモリやレンズユニット300固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。
前記ブロック構成を有する電子カメラの動作について説明する。
図2、図3及び図4は、本実施の形態における画像処理装置100の撮影動作処理手順の一例を示すフローチャートである。この処理プログラムは不揮発性メモリ56などの記憶媒体に格納されており、第2のメモリ52にロードされてシステム制御回路50内のCPUによって実行される。
図2において、電池交換などの電源投入がなされると、システム制御回路50により、フラグや制御変数等を初期化し、画像処理装置100の各部に対して必要な所定の初期設定を行う(ステップS101)。次に、システム制御部50により、電源スイッチ72の設定位置を判別し、電源スイッチ72が電源OFFに設定されているか否かを判別する(ステップS102)。
この判別の結果、電源スイッチ72が電源OFFに設定されている場合は、各表示部の表示を終了状態に変更し、フラグや制御変数などを含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御部80により、画像表示部28を含む画像処理装置100各部の不要な電源を遮断する等の所定の終了処理(ステップS103)を行う。そして、全ての撮像動作処理を終了するか否かを判別する(ステップS110)。この判別の結果、全ての撮像動作処理を終了しない場合は、ステップS102の処理に戻る。一方、ステップS110の判別の結果、全ての撮像動作処理を終了する場合は、そのまま処理を終了する。
一方、ステップS102の判別の結果、電源スイッチ72が電源ONに設定されていた場合は、システム制御回路50により、電源制御部80で制御される電池などの電源の残容量や動作状況が画像処理装置100の動作に問題があるか否かを判別する(ステップS104)。この判別の結果、問題があると判別した場合は、表示部54に画像の表示や音声の出力により所定の警告(ステップS105)を行った後、ステップS102の処理に戻る。
一方、ステップS104の判別の結果、電源に問題がないと判別した場合は、システム制御回路50により、モードダイアルスイッチ60の設定位置を判断し、モードダイアルスイッチ60が撮影モードに設定されているかその他のモードに設定されているかを判別する(ステップS106)。この判別の結果、モードダイアルスイッチ60がその他のモードに設定されている場合は、システム制御回路50により、選択されたモードに応じた処理を実行し(ステップS107)、実行後にステップS102の処理に戻る。
一方、ステップS106の判断の結果、モードダイアルスイッチ60が撮影モードに設定されている場合は、第1及び第2の記録媒体200、210が装着されているか否かの判断、第1及び第2の記録媒体200、210に記録された画像データの管理情報の取得、第1及び第2の記録媒体200、210の動作状態が画像処理装置100の動作、特に第1及び第2の記録媒体200、210に対する画像データの記録再生動作に問題があるか否かを判別する(ステップS108)。この判別の結果、問題があると判別した場合は、表示部54に画像の表示や音声の出力により所定の警告(ステップS105)を行った後、ステップS102の処理に戻る。
一方、ステップS108の判別の結果、問題がないと判別した場合は、システム制御回路50により、表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示を行う(ステップS109)。ここで、画像表示部28の画像表示スイッチがONである場合は画像表示部28を用いて画像や音声により画像処理装置100の各種設定状態を表示するようにしてもよい。
次に、図3において、第1のシャッタスイッチ62(SW1)が押されているか否かを判別する(ステップS113)。この判別の結果、第1のシャッタスイッチ62が押されていない場合は、ステップS102の処理に戻る。一方、ステップS113の判別の結果、第1のシャッタスイッチ62が押されている場合は、システム制御回路50により、測距処理を行って撮影レンズ310の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ速度を決定する測距・測光処理を行う(ステップS114)。また、測光処理では、必要であればフラッシュの設定を行う。
次に、第2のシャッタスイッチ64(SW2)が押されているか否かを判別する(ステップS115)。この判別の結果、第2のシャッタスイッチ64が押されていない場合は、第1のシャッタスイッチ62が離されたか否かを判別する(ステップS116)。この判別の結果、第1のシャッタスイッチ62が離されていなければ、ステップS115の処理へ戻る。
一方、ステップS116の判別の結果、第1のシャッタスイッチ62が離された場合は、ステップS102の処理に移行する。また、ステップS115の判別の結果、第2のシャッタスイッチ64が押された場合は、ステップS126へ進む。
次に、図4において、システム制御回路50により、撮影した画像データの記憶可能な画像記憶バッファ領域が第1のメモリ30にあるか否かを判別する(ステップS126)。この判別の結果、第1のメモリ30の画像記憶バッファ領域内に新たな画像データの記憶可能な領域がないと判別した場合は、表示部54に画像の表示や音声の出力により所定の警告(ステップS127)を行った後、ステップS102の処理に戻る。
例えば、第1のメモリ30の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後であり、第1のメモリ30から読み出して記録媒体200、210に書き込むべき最初の画像がまだ記録媒体200、210に未記録な状態であり、まだ1枚の空き領域も第1のメモリ30の画像記憶バッファ領域上に確保できない状態である場合などである。
なお、撮影した画像データを圧縮処理してから第1のメモリ30の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域が第1のメモリ30の画像記憶バッファ領域上にあるか否かをステップS126の処理で判断することになる。
一方、ステップS126で第1のメモリ30に撮影した画像データの記憶可能な画像記憶バッファ領域があると判別した場合は、システム制御回路50により、撮像して所定時間蓄積した撮像信号を撮像素子14から読み出し、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、またはA/D変換器16から直接、メモリ制御回路22を介して、第1のメモリ30の所定領域に撮影した画像データを書き込む撮影処理を実行する(ステップS128)。この撮影処理の詳細については、後述する。
ステップS128の撮影処理を終えると、システム制御回路50により、その内部メモリまたはメモリ52に記憶されているキズ補正テーブルのデータを使って欠陥画素補正を行う(ステップS129)。欠陥画素補正処理の詳細についても後述する。
次に、現像処理(ステップS130)に移行する。具体的には、システム制御回路50により、第1のメモリ30の所定領域に書き込まれた画像データの一部をメモリ制御回路22を介して読み出して現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御回路50の内部メモリまたはメモリ52に記憶する。
そして、システム制御回路50により、メモリ制御回路22、必要に応じて画像処理回路20を用いて、第1のメモリ30の所定領域に書き込まれた撮影画像データを読み出し、システム制御回路50の内部メモリまたはメモリ52に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(ステップS130)。
次に、システム制御回路50により、第1のメモリ30の所定領域に書き込まれた画像データを読み出して、設定されたモードに応じた画像圧縮処理を圧縮・伸長回路32により行い、第1のメモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う(ステップS131)。
そして、システム制御回路50により、第1のメモリ30の画像記憶バッファ領域に記憶された画像データを読み出し、インターフェース90、94、コネクタ92、96を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の第1及び第2の記録媒体200、210に読み出した画像データを書き込む記録処理を開始する(ステップS132)。
この記録開始処理は、第1のメモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。
なお、第1及び第2の記録媒体200、210に画像データの書き込みを行っている間、書き込み動作中であることを示すために、表示部54に例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
次に、システム制御回路50により、第1のシャッタスイッチ62(SW1)が押されているか否かを判別する(ステップS133)。この判別の結果、第1のシャッタスイッチ62が離された状態である場合は、ステップS102の処理へ戻る。
一方、ステップS133の判断の結果、第1のシャッタスイッチ62が押された状態である場合は、単写が設定されているか否かを判別する(ステップS134)。この判別の結果、連写と判別したならば、ステップS115の処理へ戻り、次の撮影に移行する。また、ステップS134の判別の結果、単写と判別したならば、ステップS133の処理に戻り、第1のシャッタスイッチ62が離されるまで現在の処理を繰り返す。以上により、撮影に関する一連の処理が終了する。
図5は、図3のステップS114における測距・測光処理手順の一例を示すフローチャートである。測距・測光処理では、システム制御回路50と、絞り制御部340または第2の測距制御部342との間の各種信号のやり取りは、第3のインターフェース120、第4の内側コネクタ122、第4の外側コネクタ322、第6のインターフェース320及びレンズシステム制御回路350を介して行われる。
図5において、システム制御回路50により、撮像素子14、第1の測距制御部42及び第2の測距制御部342を用いて、AF(オートフォーカス)処理を開始する(ステップS201)。
次に、システム制御回路50により、撮影レンズ310に入射した光線を、絞り312、外側レンズマウント306、内側レンズマウント106、第1のミラー130、測距用サブミラー(図示せず)を介して、第1の測距制御部42に入射させることにより、測距制御部342を用いて撮影レンズ310を駆動しながら、測距制御部42を用いて合焦状態を検出するAF制御を実行する(ステップS202)。
次に、光学像として結像された画像の合焦状態を判断する(ステップS203)。この判断の結果、合焦状態でないと判断した場合は、ステップS202へ戻る。
また、ステップS203の判断の結果、測距(AF)が合焦と判断した場合は、システム制御回路50により、撮影画面内の複数の測距点の中から合焦した測距点を決定し、決定した測距点データとともに測距データ及び/または設定パラメータをシステム制御回路50の内部メモリまたは第2のメモリ52に記憶する(ステップS204)。
次に、システム制御回路50により、測光制御部46を用いてAE(自動露出)処理を開始する(ステップS205)。そして、システム制御回路50により、撮影レンズ310に入射した光線を、絞り312、外側レンズマウント306、内側レンズマウント106、第1のミラー130、第2のミラー132及び測光用レンズ(図示せず)を介して、測光制御部46に入射させるように制御させることにより、光学像として結像された画像の露出状態を測定し、露光(シャッタ)制御部40を用いて測光処理を行う(ステップS206)。
ステップS206の測光処理で検出した露出(AE)結果と、モードダイアルスイッチ60によって設定された撮影モードとに応じて、システム制御回路50では絞り値(Av値)及びシャッタ速度(Tv値)が決定される。ここで、決定されたシャッタ速度(Tv値)に応じて、システム制御回路50は、撮像素子14の電荷蓄積時間を決定する。
次に、露出(AE)が適正であるか否かを判断する(ステップS207)。この判断の結果、露出(AE)が適正でないと判断した場合は、ステップS206へ戻る。また、ステップS207の判断の結果、露出(AE)が適正であると判断した場合は、ステップS206の測光処理で得られた測定データから、システム制御回路50により、フラッシュが必要であるか否かを判別する(ステップS208)。
この判別の結果、フラッシュが必要でない場合は、そのまま測距・測光処理は終了する。一方、ステップS208の判別の結果、フラッシュが必要である場合は、フラッシュフラグをセットし、充電が完了するまでフラッシュ部48を充電する(ステップS209)。
次に、フラッシュ部48の充電が完了したか否かを判断する(ステップS210)。この判断の結果、完了していなかったら、ステップS209へ戻り、充電が完了するまで繰り返す。また、ステップS210の判断の結果、充電が完了したならば、本処理を終了してメインの処理に復帰する。
図6は、図4のステップS128における撮影処理手順の一例を示すフローチャートである。この撮影処理では、システム制御回路50と、絞り制御部340または第2の測距制御部342との間の各種信号のやり取りは、第3のインターフェース120、第4の内側コネクタ122、第4の外側コネクタ322、第6のインターフェース320及びレンズシステム制御回路350を介して行われる。
図6において、処理が開始されると、システム制御回路50により、第1のミラー130をミラー駆動部(図示せず)によってミラーアップ位置に移動させる(ステップS301)。次に、システム制御回路50の内部メモリまたは第2のメモリ52に記憶された測光データに従って、絞り制御部340によって絞り312を所定の絞り値まで駆動する(ステップS302)。
次に、システム制御回路50により、撮像素子14の電荷クリア動作を行い(ステップS303)、撮像素子14の電荷蓄積を開始する(ステップS304)。そして、シャッタ制御部40からの制御によってシャッタ12を開け(ステップS305)、撮像素子14の露光を開始する(ステップS306)。
次に、フラッシュフラグによりフラッシュ部48が必要であるか否かを判別する(ステップS307)。この判別の結果、必要である場合は、フラッシュ部48を発光させて(ステップS308)、ステップS309へ進む。一方、ステップS307の判別の結果、必要でない場合は、ステップS309へジャンプする。
次に、システム制御回路50により、測光データに従って撮像素子14の露光が終了したか否かを判断する(ステップS309)。この判断の結果、露光が終了していなければ終了するまで待つ。また、ステップS309の判断の結果、露光が終了したならば、シャッタ制御部40からの制御によってシャッタ12を閉じ(ステップS310)、撮像素子14の露光を終了する。
次に、システム制御回路50により、絞り制御部340によって絞り312を開放の絞り値まで駆動し(ステップS311)、第1のミラー130をミラー駆動部(図示せず)によってミラーダウン位置に移動させる(ステップS312)。
そして、設定した電荷蓄積時間が経過したか否かを判別する(ステップS313)。この判断の結果、設定した電荷蓄積時間が経過していなければ経過するまで待つ。また、ステップS313の判別の結果、設定した電荷蓄積時間が経過した場合は、システム制御回路50により、撮像素子14の電荷蓄積を終了する(ステップS314)。
次に、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、またはA/D変換器16から直接、メモリ制御回路22を介して第1のメモリ30の所定領域に撮影画像データを書き込む(ステップS315)。そして、一連の処理を終了すると、本処理を終了してメインの処理に復帰する。
図7は、図4のステップS129におけるキズ補正処理手順の一例を示すフローチャートである。
図7において、まず画像処理装置100のシステム制御回路50により、キズ補正処理を行う際に使用するためのキズ補正データの読み出しを行う(ステップS401)。
この場合、キズ補正データは不揮発性メモリ56またはシステム制御回路50の内蔵メモリに保存されており、撮影後のキズ補正処理において実際に使用するキズ補正データを読み出す。ここで、キズ補正データは事前に検出された欠陥画素の種類別に応じて選択された欠陥画素のアドレスに関する情報を保持するデータである。
図8を用いて、前記キズ補正データ読み出しシーケンスについて詳細に説明する。
図8は、図7のステップS401におけるキズ補正のための補正データ読み出し処理手順の一例を示すフローチャートである。
撮像素子14は、その出荷時に、所定の環境温度、所定の電荷蓄積時間に得られた画像データにより、各種のキズ画素(欠陥画素)が抽出される。具体的には、周辺画素のメディアン値(中央値)を基準にして設定された所定レベルの以上の出力がある画素を欠陥として検出する。これらのキズ画素は欠陥画素のアドレスが隣接して存在するか否かを検出し、R、G、Bごとに分離され、かつ種類別のテーブルに分けられる。そして、アドレス、キズレベルが記載された出荷時データをもとに、本画像処理装置100内のメモリに格納するデータを成形する。この処理は画像処理装置100の外部で行われる。
キズ画素の種類は、ゴミなどの付着により発生するもの、画素の感度が低いために発生するもの、暗電流の発生が多いために発生するもの、画素近傍回路のリークや微小な発光現象によって発生するもの、画素が光応答しないものなどいくつかの発生原因別に分類される。そして、環境温度やシャッタ速度などの使用条件別のキズ補正テーブルに分類される。本実施の形態では、シャッタ速度に依存しないキズのテーブルを1、シャッタ速度に依存してキズの大きさが変わるタイプのキズのテーブルを2としている。
図8のキズ補正データ読み出しシーケンスを、前述した説明に対応させてステップ順に説明すると、まず、システム制御回路50、ISO感度の設定値(例えば100、200、400、800)を確認する(ステップS501)。次に、シャッタ速度(Tv)を確認し(ステップS502)、キズ補正を行うテーブル設定情報(TABLE)に1を入れる(ステップS503)。
次に、シャッタ速度が1秒を超えるか否かを判断する。この判断の結果、1秒を超える場合は、キズ補正を行うTABLEに更に2を入れる(ステップ505)。また、ステップS504の判断の結果、1秒を超えない場合は、ステップS506へジャンプする。
次に、キズ補正データ読み出しを行う(ステップS506)。ステップS506ではテーブル設定情報(TABLE)に入力された設定値のテーブルの読み出しを行う。TABLEに1が入っていればキズ補正テーブル1のアドレス情報が読み出され、TABLEに1、2が入っていればキズ補正テーブル1と2のアドレス情報が読み出される。
次に、シャッタ速度が8秒を超えたか否かを判断する(ステップS507)。この判断の結果、シャッタ速度が8秒を超えない場合はキズ補正を行う大きさを設定するAREAに1を入れ(ステップS508)、そしてステップS514へ移行する。
一方、ステップS507の判断の結果、シャッタ速度が8秒を超えた場合はステップS509へ進み、シャッタ速度が15秒を超えたか否かを判断する。この判断の結果、シャッタ速度が15秒を超えない場合は、キズ補正を行う大きさを設定するAREAに2を入れ(ステップS510)、ステップS514へ移行する。
一方、ステップS509の判断の結果、シャッタ速度が15秒を超えた場合はステップS511へ進み、シャッタ速度が30秒を超えたか否かを判断する。この判断の結果、30秒を超えない場合は、キズ補正を行う大きさを設定するAREAに3を入れ(ステップS512)、ステップS514へ移行する。
一方、ステップS511の判断の結果、シャッタ速度が30秒を超えた場合はステップS513へ進み、キズ補正を行う大きさを設定するAREAに4を入れ(ステップS513)、ステップ514へ移行する。
ステップS514では、キズ補正テーブル(TABLE2)のキズアドレスに対してAREA別のキズ補正の大きさを設定し、キズ補正範囲設定を行う。その後、本処理を終了してメイン処理に復帰する。
ここで、ステップS514で行うキズ補正範囲設定について説明する。
AREA=1の場合は、キズ補正テーブル2のキズアドレスに対応する画素を中心に1×1の画素の大きさで、キズ補正を行う範囲をキズ補正アドレスとして設定する。
AREA=2の場合は、キズ補正テーブル2のキズアドレスに対応する画素を中心に3×3の画素の大きさで、キズ補正を行う範囲をキズ補正アドレスとして設定する。また、AREA=3の場合は、同じくキズ補正テーブル2のキズアドレスに対応する画素を中心に5×5の大きさで、キズ補正を行う範囲をキズ補正アドレスとして設定する。さらに、AREA=4の場合は、同じくキズ補正テーブル2のキズアドレスに対応する画素を中心に7×7の大きさで、キズ補正を行う範囲をキズ補正アドレスとして設定する。
図7の説明に戻ると、次に、システム制御回路50により、使用するキズ補正データを指定する(ステップS402)。そして、撮像素子14の白キズを補償するために、前記ステップS402で指定したキズ補正データに記載された白キズ画素のアドレスを示す情報を参照しながら、第1のメモリ30の所定領域に書き込まれた撮影画像の対応する画素に対し、隣接する同色画素の撮影画像データを用いて点キズ補正処理を行う。
具体的にはまず、システム制御回路50により、選択したキズ補正データの先頭から1画素分のキズアドレス情報と、ステップS514にて設定されたキズ補正アドレス情報とを読み出す(ステップS403)。このキズ補正アドレス情報を参照し、第1のメモリ30に書き込まれた撮影画像における該当画素のアドレスを特定することが可能である。
次に、システム制御回路50により、前記ステップS403でアドレスを特定した該当画素に隣接する同色画素の撮影画像データを読み出す(ステップS404)。次に、システム制御回路50により、前記ステップS404で得られた隣接画素の値から、該当画素の補正量を算出する(ステップS405)。
続いて、システム制御回路50により、前記ステップS405で算出した該当画素の補正量を、第1のメモリ30における該当アドレスに書き込む(ステップS406)。これにより、該当画素の補正処理は完了する。
次に、システム制御回路50により、指定したキズ補正データに記載されたキズ画素のキズ補正処理が全て完了したか否かを判断する(ステップS407)。この判断の結果、キズ画素の補正処理がいまだ完了していないと判断した場合は、前記ステップS403に戻り、キズ補正データに記載された次のキズアドレス情報を読み出し、前記と同様の処理を繰り返す。
一方、ステップS407の判断の結果、指定したキズ補正データに記載された全てのキズ補正処理が完了したと判断した場合は、システム制御回路50は、次の補正すべきデータがあるか否かを判断する(ステップS408)。この判断の結果、次の補正すべきデータがあるならば、ステップS402へ戻り、次の補正すべきデータを指定し、前記と同様の処理を繰り返す。
一方、ステップS408の判断の結果、補正すべきデータがないならば、ステップS401で読み出された全てのキズ画素に対するキズ補正処理が全て終了し、キズ補正処理シーケンスを全て完了する。
図10は、図9に示すキズをステップS514で設定されたキズ補正範囲設定に基づいてキズ補正を行い、キズ補正されている状態を示す図である。
以上説明したように本実施の形態によれば、蓄積時間によって欠陥の画素範囲が広がるようなキズが発生し、長時間蓄積でのキズ補正誤差が生じることによって画質が低下することを防ぎ、かつシャッタ速度や蓄積時間に合った必要最小限の欠陥画素補正が可能となった。
また、欠陥となるキズアドレスに対応する画素の単独での補正と、キズアドレスを中心とした所定範囲の画素のキズ補正を行う補正とを組み合わせたことによって、撮影条件に適応したキズ補正が可能となった。
(第2の実施の形態)
なお、第1の実施の形態では、シャッタ速度に応じてキズ補正を行う範囲の設定を変えているが、さらに温度に応じてキズ補正範囲の設定を変えても無論問題ない。
また、第1の実施の形態では、シャッタ速度が30秒以上では同じキズ補正範囲を設定しているが、さらにシャッタ速度を伸ばし、キズ補正範囲を拡大しても問題ない。その際は、所定のシャッタ速度を超えた場合またはキズ補正範囲が所定範囲を超えた場合は、シャッタ速度と同一蓄積時間で遮光画像を撮影し、暗時の撮像素子出力で減算処理を実施しても勿論問題ない。
また、第1の実施の形態では、キズ補正範囲の設定が1×1、3×3、5×5、7×7の4段階となっているが、これに限るものではなく、キズ補正範囲の設定はこれに限定されるものではない。また、シャッタ速度や温度、ISOの分割を変え、キズ補正範囲の段階を増減しても勿論問題ない。
また、第1の実施の形態では、第1のミラー130をミラーアップ位置、ミラーダウン位置を移動して撮影動作を行う場合を示したが、第1のミラー130をハーフミラーの構成として、移動せずに撮影動作を行うようにしても勿論問題ない。
また、第1の実施の形態では、第1及び第2の記録媒体200、210は、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等だけでなく、マイクロDAT、光磁気ディスク、CD−R、CD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成されていても勿論問題ない。さらには、第1及び第2の記録媒体200、210がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題ない。この場合、複合媒体から一部が着脱自在な構成であっても勿論問題ない。
また、第1の実施の形態では、第1及び第2の記録媒体200、210は画像処理装置100と分離しており、任意に接続可能なものであるとしたが、いずれかまたは全ての記録媒体が画像処理装置100に固定されたままであってもよい。また、画像処理装置100に、第1及び第2の記録媒体200、210が単数または複数の任意の個数接続可能な構成であっても勿論問題ない。
また、第1の実施の形態では、画像処理装置100に第1及び第2の記録媒体200、210を装着する構成として説明したが、記録媒体は単数または複数のいずれかの組み合わせの構成であっても勿論問題ない。
(本発明に係る他の実施の形態)
前述した本発明の実施の形態における撮像装置を構成する各手段、並びに撮像装置の制御方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム(実施の形態では図2〜8に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給し、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。