JP2004032802A

JP2004032802A - Photographing equipment and its signal processing method

Info

Publication number: JP2004032802A
Application number: JP2003209573A
Authority: JP
Inventors: Hiroyuki Nakada; 中田　浩之; Noriyasu Murata; 村田　憲保
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1999-03-26
Filing date: 2003-08-29
Publication date: 2004-01-29
Anticipated expiration: 2020-01-26
Also published as: JP3788449B2

Abstract

PROBLEM TO BE SOLVED: To provide photographing equipment which can perform correction processing to eliminate noise components from the image data without deteriorating the image quality to obtain good image data and a signal processing method. SOLUTION: In an imaging apparatus having a γ correction circuit 21 on an output signal processing path of a CCD 13, an incident light path to the CCD 13 is kept open while the γ correction in the circuit 21 is inhibited. First image data (CCD data; DATA 1) is generated based on an electric signal output from the CCD 13, and the incident light path to the CCD 13 is kept closed. Second image data (CCD data; DATA 2) is generated based on an electric signal output from the CCD 13, and the second image data DATA 2 is subtracted from the first image data DATA 1 for processing, thereby correcting to eliminate dark output components in the first data DATA 1. COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置及びその信号処理方法に関し、特に、撮像デバイスに電荷結合素子を用い、さらに、メカシャッタを備えた、たとえば、電子スチルカメラ等の撮像装置及びその信号処理方法に関する。
【０００２】
【従来の技術】
近年、半導体技術の発展に伴い、電子スチルカメラやノート型パソコン等のモバイルツールが普及している。特に、電子スチルカメラは、写真レンズを透過した被写体の像を二次元のイメージセンサにより電気信号に変換し、その電気信号に基づいて生成される画像データを液晶ディスプレイに表示したり、不揮発性の半導体メモリカードに記憶させ、さらに、パソコン等に取り込んで画像処理を施すことができるため、身近な画像編集機器として急速に普及している。
【０００３】
従来の電子スチルカメラの概略構成及びその動作について、簡単に説明する。
一般に、電子スチルカメラは、撮像部、信号処理部、記憶部、表示部、操作部及び制御部を有して構成され、まず、撮像部において、アクチュエータによりメカシャッタを制御して開状態とし、写真レンズを介して、所望の被写体像をイメージセンサの受光面に結像させ、自動露出（ＡＥ）部からの出力に基づいて、ドライバ及びタイミング発生器（ＴＧ）により制御される露光時間に蓄積された電荷量に応じて被写体像の画像情報をアナログ電気信号として出力する。
そして、相関二重サンプリング回路（ＣＤＳ）により、イメージセンサから時系列的に出力される電気信号をサンプリングするとともに、電気信号に含まれるノイズ成分を除去し、アナログ−ディジタル変換器（Ａ／Ｄ）によりアナログ電気信号をディジタル信号に変換する。
【０００４】
次いで、信号処理部において、γ補正回路により、所定の非線形（非リニア）特性を有するγ補正テーブルに基づいてγ補正処理を施し、カラープロセス回路により、たとえば、Ｒ、Ｇ、Ｂ３原色の補間処理、露出計算（ＡＥ）、ホワイトバランス処理（ＡＷＢ）、ディジタル信号に変換された画像情報に基づいて輝度・色差マルチプレクス信号（ＹＵＶ信号）の生成等の周知の色信号処理を行い、被写体像の画像データをビデオトランスファー回路を介して、バッファメモリやフラッシュメモリを備えた記憶部、液晶ディスプレイ（以下、ＬＣＤと略記する）等の表示部に出力する。なお、カラープロセス回路における色信号処理は、前述したγ補正回路を含む信号処理回路により実行するものであってもよいし、また、カラープロセス回路の後段に別の信号処理回路を設けて実行するものであってもよい。
【０００５】
ビデオトランスファー回路は、撮像部の出口に位置するカラープロセス回路、記憶部への入り口に位置する圧縮・伸張回路、及び、表示部への入り口に位置するディジタルビデオエンコーダの各構成間を行き来するデータの流れをコントロールする。
上述した各部の制御は、ＣＰＵ等により構成される制御部の内部ＲＯＭに格納されたプログラムにしたがって、あるいは、スイッチキー等により構成される操作部からの指示入力にしたがって実行される。
【０００６】
ここで、上述した電子スチルカメラに搭載されるイメージセンサは、一般に電荷結合素子（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ：以下、ＣＣＤと略記する）を原形とし、光ダイオードやＭＯＳキャパシタなどからなる多数の光電変換素子を画素毎に配列して２次元的な感光部を構成したものである。このイメージセンサの画素信号の出力スタイルは、すべての画素信号を一気に出力するプログレッシヴ型（ノン・インターレース型ともいう）と、すべての画素信号を二回に分けて出力するインターレース型に分かれるが、４０万画素以上の高解像度ＣＣＤはインターレース型が主流である。近年の数百万画素の高機能の電子スチルカメラに搭載されるＣＣＤは、ほとんどがインターレース型であるので、以下、単にＣＣＤという場合はインターレース型のＣＣＤを指すことにする。詳しくは後述する。
【０００７】
【発明が解決しようとする課題】
ところで、上述した電子スチルカメラに搭載されるＣＣＤにおいては、入射光を遮蔽した状態においても出力電圧が生じる、いわゆる暗出力（暗電圧）特性を有し、これに伴って暗電流と呼ばれる微電流が発生することが知られている。このＣＣＤにおける暗電圧は、概ね８℃の周囲温度の変化（上昇）により暗電圧が約２倍に増大するという、温度依存性を有している。また、同一の温度条件下においては、露光時間が長いほど、暗電圧が増加する傾向を示す露光時間（電荷蓄積期間）依存性を有している。
このＣＣＤにおける暗電圧がノイズ成分となり、結果として、画像データに対して悪影響を及ぼし画質を劣化させる要因となっている。
したがって、従来の電子スチルカメラにおいては、ＣＣＤの上記特性により、以下のような問題点を有している。
【０００８】
（１）たとえば、夜景の撮影等、暗い環境下で撮影を行う場合、被写体の照度（光量）を確保するために露光時間を長くすると、暗電圧が増加して画質の劣化が著しくなるため、シャッター速度を十分に遅くすることができず、暗い環境下での撮影に適さないという問題を有している。
そこで、このような問題を解決するために、ＣＣＤから出力される微弱な電気信号を増幅するアンプの利得（ゲイン）を大きくすると、本来微小であった暗電圧が増幅されてしまい、やはり画質の劣化を招くという問題を有していた。
【０００９】
（２）また、暗電圧は本来、ＣＣＤを構成する各光電変換素子固有のものであるので、あらかじめ暗電圧の大きい画素の画面上でのアドレスを記憶しておき、撮影終了後に、該当するアドレスの画素データを隣接する画素データと置換することにより暗電圧の影響を抑制する手法が知られている。
しかしながら、暗電圧は、上述したように、周囲の温度や露光時間等の撮影条件に依存する特性を有しているため、置換の対象となる画素データの数が撮影環境に応じて大きく変動することになり、あらかじめ記憶された固定のアドレスの画素データを置換する方法では、十分な補正処理を実現することができないという問題を有している。
【００１０】
（３）さらに、撮影終了後に１画面の画像データをスキャンして、周辺の画素データに比較してデータレベルが際立って突出している孤立点を検出し、隣接する画素データと置換することにより暗電圧の影響を抑制する手法が知られている。ここで、孤立点は、暗電圧の大きい画素であって、明時白黒キズや暗時白キズ等がある。一般に、黒を背景とする白キズが目立つため、明時白黒キズの白キズを対象とするものとし、以下、代表して「白キズ」と記す。
しかしながら、撮影環境により白キズが広い領域にわたって連続して発生した場合等には、孤立点としての検出が困難となり、十分な画像データの補正処理を実現することができないという問題を有している。
（４）さらに、メカシャッタを開いた状態で撮影した画像データ（暗出力成分を含む被写体像データ）から、メカシャッタを閉じた状態で撮影した画像データ（暗出力成分）を減算することにより、画像データからノイズ成分を除去する手法が知られている。
しかしながら、このような手法においては、非線形特性を有するγ補正処理を行なった後の画像データや飽和状態の画像データを用いて減算処理を行なったり、暗出力成分のレベルが低いにもかかわらず減算処理を行なったりすると、良好な画像データを得ることができないという問題を有している。
【００１１】
そこで、本発明は、上記問題点を解決し、画像データからノイズ成分を除去するための補正処理を画質を劣化させることなく行なって、良好な画像データを得ることが可能な撮像装置及びその信号処理方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１記載の撮像装置は、入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、この第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、前記撮像手段から出力された前記画像データに対して、非線形処理を行う非線形処理手段と、前記第１及び第２の撮影制御手段により前記第１及び第２の画像データを取得する場合、前記非線形処理手段による前記画像データに対する非線形処理を禁止する禁止手段とを備え、前記第１及び第２の撮影制御手段は、この禁止手段により、前記非線形処理手段による非線形処理が施されていない第１及び第２の画像データを取得することを特徴としている。
【００１３】
請求項２記載の撮像装置は、請求項１記載の撮像装置において、前記禁止手段は、前記撮像手段から出力された前記画像データに対して線形処理を行うことにより、前記非線形処理を禁止することを特徴としている。
請求項３記載の撮像装置は、請求項２記載の撮像装置において、前記非線形処理手段は、非線形特性を有するγ補正テーブルを用いることにより非線形処理を行い、前記禁止手段は、前記γ補正テーブルを線形特性を有するγ補正テーブルに変更することにより、前記非線形処理を禁止することを特徴としている。
請求項４記載の撮像装置は、請求項１記載の撮像装置において、前記非線形処理手段は、γ補正回路を用いて非線形処理を行い、前記禁止手段は、前記撮像手段から出力された前記画像データを、前記γ補正回路に対して迂回させることにより、前記非線形処理を禁止することを特徴としている。
【００１４】
請求項５記載の撮像装置は、請求項１乃至４のいずれかに記載の撮像装置において、前記画像補正手段は、前記第１の画像データから前記第２の画像データを減算する処理を行うことにより、前記第１の画像データの補正を行うことを特徴としている。
請求項６記載の撮像装置は、請求項１乃至５のいずれかに記載の撮像装置において、前記画像補正手段により補正された第１の画像データに対して、非線形処理を行う第２の非線形処理手段を備えたことを特徴としている。
請求項７記載の撮像装置は、請求項６記載の撮像装置において、前記非線形処理手段は、γ補正回路を用いて非線形処理を行い、前記第２の非線形処理手段は、前記γ補正回路を用いて、前記第１の画像データに対して前記非線形処理を行うことを特徴としている。
【００１５】
請求項８記載の撮像装置は、請求項１乃至７のいずれかに記載の撮像装置において、撮影モードとして特殊撮影モードを設定する撮影モード設定手段を備え、前記第１及び第２の撮影制御手段は、前記撮影モード設定手段により特殊撮影モードが設定されている場合に、前記第１及び第２の画像データを取得することを特徴としている。
請求項９記載の撮像装置は、請求項１乃至８のいずれかに記載の撮像装置において、前記撮像手段への入射光路を開とした状態で、前記撮像手段から出力され、前記非線形処理手段により非線形処理された第３の画像データを取得する第３の撮影制御手段を備えたことを特徴としている。
請求項１０記載の撮像装置は、請求項９記載の撮像装置において、前記第３の撮影制御手段により取得された第３の画像データを表示する表示手段を備え、前記第３の画像データは、ファインダ画像として前記表示手段に表示されることを特徴としている。
【００１６】
請求項１１記載の撮像装置は、請求項９記載の撮像装置において、撮影モードとして通常撮影モードを設定する撮影モード設定手段を備え、前記第３の撮影制御手段は、前記撮影モード設定手段により通常撮影モードが設定されている場合に、前記第３の画像データを取得することを特徴としている。
請求項１２記載の撮像装置は、入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、この第２の撮影制御手段により取得された前記第２の画像データに孤立点が含まれるか否かを判定する判定手段と、この判定手段による判定結果に基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、を備えたことを特徴としている。
【００１７】
請求項１３記載の撮像装置は、入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、前記第１の撮影制御手段により取得された第１の画像データのレベルが飽和状態にあるか否かを判定する判定手段と、この判定手段による判定結果及び前記第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、を備えたことを特徴としている。
【００１８】
請求項１４記載の撮像装置は、入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、この第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、前記撮像手段周辺の温度を検出する温度検出手段と、この温度検出手段により検出された前記温度に基づいて、前記画像補正手段による前記第１の画像データの補正を行うか否かを制御する補正制御手段と、を備えたことを特徴としている。
【００１９】
請求項１５記載の撮像装置は、入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、この第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、前記撮像手段の電荷蓄積期間を判定する電荷蓄積期間判定手段と、この蓄積期間判定手段により判定された前記電荷蓄積期間に基づいて、前記画像補正手段による前記第１の画像データの補正を行うか否かを制御する補正制御手段と、を備えたことを特徴としている。
【００２０】
請求項１６記載の撮像装置の信号処理方法は、イメージセンサから出力された画像データに対して、非線形処理を行う撮像装置の信号処理方法であって、前記イメージセンサへの入射光路を開とした状態で前記イメージセンサから出力された画像データに対する前記非線形処理を禁止することにより、非線形処理が施されていない第１の画像データを取得する工程と、前記イメージセンサへの入射光路を閉とした状態で前記イメージセンサから出力された画像データに対する前記非線形処理を禁止することにより、非線形処理が施されていない第２の画像データを取得する工程と、前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、からなることを特徴としている。
【００２１】
請求項１７記載の撮像装置の信号処理方法は、イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、前記第２の画像データに孤立点が含まれるか否かを判定する工程と、前記判定結果に基づいて、前記第１の画像データの補正を行う工程と、からなることを特徴としている。
請求項１８記載の撮像装置の信号処理方法は、イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、前記第１の画像データのレベルが飽和状態にあるか否かを判定する工程と、前記判定結果及び前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、からなることを特徴としている。
【００２２】
請求項１９記載の撮像装置の信号処理方法は、イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、前記イメージセンサ周辺の温度を検出する工程と、前記検出された温度が所定の条件を満たす場合、前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、からなることを特徴としている。
請求項２０記載の撮像装置の信号処理方法は、イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、前記イメージセンサの電荷蓄積期間を判定する工程と、前記判定された電荷蓄積期間が所定の条件を満たす場合、前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、からなることを特徴としている。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明に係る撮像装置の第１の実施形態の概略構成を示すブロック図である。
図１において、１１は写真レンズ、１２はメカシャッタ、１３はＣＣＤ（撮像手段、イメージセンサ）、１４は相関二重サンプリング回路（ＣＤＳ）、１５は、アナログ−ディジタル変換器（Ａ／Ｄ）、１６はメカシャッタ１２用のアクチュエータ、１７はイメージセンサ１３駆動用のドライバ、１８はタイミング発生器（ＴＧ）、２１はγ補正回路（非線形処理手段）、２２はカラープロセス回路、２３はビデオトランスファー回路、２４は圧縮・伸長回路、２５はディジタルビデオエンコーダ、３１はバッファメモリ、３２はフラッシュメモリ、４０はＬＣＤ（表示手段）、５０はキー入力部（撮影モード設定手段）、６０はＣＰＵ（第１の撮影制御手段、第２の撮影制御手段、第３の撮影制御手段、画像補正手段、禁止手段、判定手段、第２の非線形処理手段）、７０はバスをそれぞれ示している。
【００２４】
これら各部の機能は、概ね以下の通りである。
・写真レンズ１１：
ＣＣＤ１３の受光面上に被写体の像を結ばせるためのものであり、自動焦点機能のための焦点合わせ機構を備えている。なお、ズーム機能を備えたり、沈胴式であったりしてもよい。
・メカシャッタ１２及びアクチュエータ１６：
ＣＣＤ１３の受光面への入射光を機械的に遮断するもので、アクチュエータ１６はＣＰＵ６０からの制御信号に従ってメカシャッタ１２を開閉駆動し、メカシャッタ１２はその開状態時にＣＣＤ１３の受光面への光路を開放し、閉状態時に同光路を閉鎖する。
【００２５】
・ＣＣＤ１３：
前述したインターレース型のＣＣＤであって、外部制御によってフィールド読み出しとフレーム読み出しを切替えることができるものである。フィールド読み出し時の露光時間は電子シャッタの開閉操作（ＳＵＢとＸＳＧの印加タイミング）でコントロールされ、フレーム読み出し時の露光時間は電子シャッタの開操作（ＳＵＢの印加タイミング）と上記メカシャッタ１２の閉操作でコントロールされる。なお、フィールド読み出し（フィールド蓄積ともいう）、及び、フレーム読み出し（フレーム蓄積ともいう）については、後述する。
【００２６】
ここで、本実施形態に係る撮像装置に良好に適用されるＣＣＤの具体的な構成について、図面を参照して説明する。
図２は、ｎ列×ｍ行の画素を有するＣＣＤの概略構成図である。
図２に示すように、ＣＣＤは、入射光量に応じた電荷を蓄積するｎ×ｍ個の光電変換素子１３１をマトリクス状に配列するとともに、各列間に１本ずつ、全部でｎ本の垂直転送部１３２を配置して撮像領域１３３を形成し、さらに、撮像領域１３３の図面に向かって下側に水平転送部１３４を配置して構成されている。
光電変換素子１３１に蓄積された信号電荷は、図示を省略した駆動回路から印加される読み出し信号ＸＳＧに応答して隣接する垂直転送部１３２に取り込まれ、垂直転送部１３２の内部を垂直転送クロックφＶに同期して図面下方向に順次転送される。
【００２７】
すべての垂直転送部１３２の出力端は水平転送部１３４に接続されており、水平転送部１３４には、垂直転送クロックφＶに同期して１ライン分の信号電荷が順次に取り込まれる。水平転送部１３４に取り込まれた信号電荷は、水平転送クロックφＨに同期して図面左方向に順次転送され、水平転送部１３４の出力端に到達した信号電荷は、電荷検出部１３５で電気信号に変換され、アンプ１３６により増幅された後、端子１３７からＣＣＤ出力として外部に取り出される。なお、ＳＵＢはすべての光電変換素子１３１の蓄積電荷を基板に引き抜くための信号電圧（いわゆる電荷掃き出しパルス）である。このＳＵＢの印加時点からＸＳＧの印加時点までがＣＣＤの電気的なシャッタ（以下「電子シャッタ」という）の露光時間になる。
上述したフィールド読み出しとは、図２に示したＣＣＤにおいて、光電変換素子１３１の奇数ラインＯ１と偶数ラインＥ１、奇数ラインＯ２と偶数ラインＥ２、…のように、奇数ラインと偶数ラインの画素信号を混合して一度に出力する方式であり、フレーム読み出しとは、奇数フレーム（Ｏ１、Ｏ２、Ｏ３、…）と偶数フレーム（Ｅ１、Ｅ２、Ｅ３、…）の２回に分けてＣＣＤ出力を行う方式である。
【００２８】
近年のＬＣＤ搭載型の電子スチルカメラでは、被写体の画像をＬＣＤ画面にスルー画像として映し出して構図を調整するスルー画モードが採用されているが、このような動作モードにおいては、電子シャッタによる露光時間毎に、スルー画像が更新される。
一方、スルー画モードにおいて、所望の構図が得られた場合には、シャッターキーを押して被写体の画像をキャプチャー画像としてメモリ等に記録するキャプチャー動作が実行される。キャプチャー動作においては、ＣＣＤに結像された被写体像を固定するために、ＣＣＤへの入射光を遮断するための機械的なシャッタ機構（上述したメカシャッタ）が不可欠となり、シャッターキー（キー入力部５０）を押すことにより電子シャッタの露光が開始されてから、メカシャッタが閉じてＣＣＤへの入射光が遮断されるまでの時間がメカシャッタの露光時間となる。
【００２９】
・ドライバ１７とＴＧ１８：
ＣＣＤ１３の読み出しに必要な駆動信号（たとえば、図２のφＶ、ＸＳＧ、φＨ、ＳＵＢなど）を生成する部分であり、ＣＣＤ１３はこれらの駆動信号に同期して画像信号を出力する。
・ＣＤＳ１４：
ＣＣＤ１３から読み出された時系列の信号（この段階ではアナログ信号である）を、ＣＣＤ１３の解像度に適合した周波数で相関二重サンプリング処理を行うものである。なお、サンプリング後に自動利得調整を行うこともある。
・Ａ／Ｄ１５：
サンプリングされたアナログ信号をディジタル信号に変換するものである。
【００３０】
・γ補正回路２１：
デジタル変換された画像信号を、通常の非線形（非リニア）特性を有するγ補正テーブルに基づいて、γ補正処理（非線形処理）を行うとともに、本実施形態においては、ＣＰＵ６０からの制御信号にしたがって、γ補正テーブルを線形（リニア）特性に設定変更し、このγ補正テーブルに基づいてγ補正処理（線形処理）を行う機能を有している。
ここで、γ補正回路２１は、後述するように、デジタルクランプ回路やホワイトバランス補正処理回路等の他の信号処理回路とともに、一体的な回路構成（たとえば、ＬＳＩとして）で提供されるものであってもよい。
【００３１】
・カラープロセス回路２２：
カラープロセス回路２２は、γ補正回路２１からの出力信号に基づいて、Ｒ、Ｇ、Ｂ３原色の補間処理、露出計算（ＡＥ）、ホワイトバランス処理（ＡＷＢ）、ディジタル信号に変換された画像情報に基づいて輝度・色差マルチプレクス信号（ＹＵＶ信号）の生成等の周知の色信号処理を行うものである。
ここで、ＹＵＶ信号を生成する理由は、撮像系から出力される色データ（ＲＧＢデータ）のサイズが大きいため、限られたメモリ資源を有効に利用するとともに、処理時間の短縮を図る等の目的により、データ量削減信号として用いられるものである。なお、カラープロセス回路２２における色信号処理は、γ補正回路２１を含む信号処理回路により実行するものであってもよいし、また、カラープロセス回路２２の後段に別の信号処理回路を設けて実行するものであってもよい。
【００３２】
・ビデオトランスファー回路２３：
ビデオトランスファー回路２３は、カラープロセス回路２２、バッファメモリ３１、圧縮・伸張回路２４及びフラッシュメモリ３２、ディジタルビデオエンコーダ２５及びＬＣＤ４０の各構成間を行き来するデータの流れをコントロールするものである。
具体的には、圧縮・伸張回路２４を介して、カラープロセス回路２２により生成された画像データを保持するバッファメモリ３１と、フラッシュメモリ３２との間で、画像データを書き込み又は読み出す処理を実行し、また、ディジタルビデオエンコーダ２５を介して、バッファメモリ３１に保持された画像データをＬＣＤ４０に表示出力する処理を実行する。
【００３３】
・圧縮・伸長回路２４：
たとえばＪＰＥＧ符号化方式の圧縮処理と伸長処理を行う部分である。ＪＰＥＧの圧縮パラメータは固定であっても、圧縮処理の都度ＣＰＵ６０から与えるものであってもよい。
・ディジタルビデオエンコーダ２５：
ビデオトランスファー回路２３を介してバッファメモリ３１から読み出された画像データをアナログ電圧に変換するとともに、ＬＣＤ４０の走査方式に応じたタイミングで順次に出力するものである。
【００３４】
・バッファメモリ３１：
書き換え可能な半導体メモリの一種であるＤＲＡＭで構成されている。但し、本発明では、ＤＲＡＭに限定しない。書き換え可能な半導体メモリであればよい。
・フラッシュメモリ３２：
書き換え可能な読み出し専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ　ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものであり、フラッシュＥＥＰＲＯＭ（ｆｌａｓｈ　ｅｌｅｃｔｒｉｃａｌｌｙ　ｅｒａｓａｂｌｅ　ＰＲＯＭ）ともいう。本実施の形態におけるフラッシュメモリ３２は、カメラ本体に内蔵された固定型のものであってもよいし、カード型やパッケージ型のように着脱可能型のものであってもよい。
【００３５】
・ＣＰＵ６０：
所定のプログラムを実行してカメラ全体の動作を集中制御するものである。ここで、プログラムは、ＣＰＵ６０の内部のインストラクションＲＯＭに書き込まれており、記録モード時にはそのモード用のプログラムが内部ＲＡＭにロードされて実行されるほか、特に、シャッターキーを押す動作（半押し、全押し）に応じて、メカシャッタ１２を開閉駆動する制御信号、ＣＣＤ１３を駆動する制御信号、γ補正処理回路２１のγ補正テーブルの特性設定を変更する制御信号を出力する。
・バス７０：
上述した各部の間で共有されるデータ（及びアドレス）の転送路である。
【００３６】
次に、本実施形態に係る撮像装置の画像記録動作について、図面を参照して説明する。ここでは、上述したスルー画モードを備えた撮像装置（ＬＣＤ搭載型の電子スチルカメラ）に、本実施形態に係る画像記録動作を適用した場合について、詳しく説明する。
＜通常撮影モード＞
まず、通常の撮影モードについて、図面を参照して説明する。
図３は、本実施形態に係る撮像装置における通常撮影モードの処理動作を示すフローチャートである。ここで、図３では、画像記録動作のポイントのみを簡略化した用語により示す。
【００３７】
・スルー動作
まず、電子スチルカメラの使用者がキー入力部５０に備えられたモードスイッチ（撮影モード設定手段）を記録（ＲＥＣ）モードに切り替えた後に、ＬＣＤ４０に表示されるメニューの中から通常撮影モードを選択すると、メカシャッタ１２が開状態となり、ＣＣＤ１３の受光面に結像された被写体の画像情報が一定周期（露光時間）毎にＬＣＤ４０にスルー画像として表示出力される。
すなわち、記録モードへの切り替えにより、ＣＰＵ（第３の撮影制御手段）６０においてスルー画モードが設定され（Ｓ１０１）、被写体の撮影環境から取得される照度、焦点距離等の種々の情報に基づいて、露出時間Ｔ０が設定される（Ｓ１０２）。スルー画モードにおいては、ドライバ１７及びＴＧ１８により、露出時間Ｔ０の経過毎に（Ｓ１０３）、ＣＣＤ１３の電子シャッタが開閉駆動制御され、その都度ＣＣＤ１３から出力される電気信号（ＣＣＤデータ）を取り込んで（Ｓ１０４）、Ａ／Ｄ１５によるディジタル信号変換、及び、γ補正回路（非線形処理手段）２１による非線形γ補正処理が行われる（Ｓ１０５）。
【００３８】
次いで、カラープロセス回路２２により、Ｒ、Ｇ、Ｂ３原色の補間処理、自動露出計算（ＡＥ計算）／ホワイトバランス（ＡＷＢ）補正処理、輝度・色差マルチプレクス信号の生成等の色信号処理が実行され（Ｓ１０６、Ｓ１０７）、１画面分の画像データ（第３の画像データ）が生成される。
そして、カラープロセス回路２２により生成された画像データは、ビデオトランスファー回路２３によりバッファメモリ３１に転送された後、ディジタルビデオエンコーダ２５によりビデオ処理が施され（Ｓ１０８）、ＬＣＤ（表示手段）４０の表示方式に対応した信号形式に変換されてスルー画像（ファインダ画像）として表示出力される（Ｓ１０９）。
【００３９】
・キャプチャー動作
スルー画像動作において、カメラ本体又は写真レンズの向きを変えると、ＬＣＤ４０に表示されているスルー画像の構図が変化する。そして、所望の構図を有するスルー画像が得られた時点で、キー入力部５０に備えられたシャッターキーを“半押し”することにより（Ｓ１１０）、被写体の撮影環境から取得される情報に基づいて露出時間Ｔ１と焦点が設定され（Ｓ１１１）、“全押し”することにより電子シャッタを開駆動し（Ｓ１１２、Ｓ１１３）、ステップＳ１１１で設定された露出時間Ｔ１の経過後に（Ｓ１１４）、ドライバ１７及びＴＧ１８によりメカシャッタ１２を閉駆動し（Ｓ１１５）、ＣＣＤ１３から出力されるＣＣＤデータを取り込んで（Ｓ１１６）、Ａ／Ｄ１５によるディジタル信号変換、及び、γ補正回路２１による非線形γ補正処理が行われる（Ｓ１１７）。
【００４０】
次いで、カラープロセス回路２２により、Ｒ、Ｇ、Ｂ３原色の補間処理、ＡＥ計算／ＡＷＢ補正処理等の色信号処理が実行され（Ｓ１１８）、１画面分の画像データが生成され、ビデオトランスファー回路２３によりバッファメモリ３１に転送される。このとき、バッファメモリ３１に取り込まれる画像データは、メカシャッタ１２を閉じた時点のＣＣＤ１３に結像された被写体像で固定され、かつ、ＬＣＤ４０に表示されているスルー画像も同時点の画像で固定される。
さらに、ビデオトランスファー回路２３により、圧縮・伸長回路２３を介して、ＪＰＥＧ符号化等の圧縮処理が施された後（Ｓ１１９）、フラッシュメモリ３２に１画面分のキャプチャー画像として記録される（Ｓ１２０）。引き続き撮影を継続する場合、つまり通常撮影モードを解除しない場合には（Ｓ１２１）、ステップＳ１０１に戻って、再度、メカシャッタ１２が開状態となり、スルー画モードが設定され（Ｓ１０１）、上述したステップＳ１０１からＳ１２１の一連の処理動作が繰り返される。
このような一連の処理動作を有する撮像装置によれば、比較的明るい通常の撮影条件に適した露出時間（蓄積期間）Ｔ１が設定されて、被写体像の画像データが取り込まれた後、非線形γ補正処理等の所定の信号処理が実行されて、良好に撮影及び画像記録動作が行われる。
【００４１】
＜特殊撮影モード＞
次に、夜景等の撮影に適した特殊撮影モードについて、図面を参照して説明する。
図４は、本実施形態に係る撮像装置における特殊撮影モードの処理動作を示すフローチャートである。ここで、図４では、画像記録動作のポイントのみを簡略化した用語により示す。
【００４２】
・スルー動作
まず、電子スチルカメラの使用者がキー入力部５０に備えられたモードスイッチ（撮影モード設定手段）を記録（ＲＥＣ）モードに切り替えた後に、ＬＣＤ４０に表示されるメニューの中から特殊撮影モードを選択すると、メカシャッタ１２が開状態となり、ＣＰＵ（第３の撮影制御手段）６０においてスルー画モードが設定される（Ｓ２０１）。被写体の撮影環境から取得される照度、焦点距離等の種々の情報に基づいて、露出時間Ｔ０が設定され（Ｓ２０２）、スルー画モードにおいては、ドライバ１７及びＴＧ１８により、露出時間Ｔ０の経過毎に（Ｓ２０３）、ＣＣＤ１３の電子シャッタが開閉駆動制御され、その都度ＣＣＤ１３から出力される電気信号（ＣＣＤデータ）を取り込んで（Ｓ２０４）、Ａ／Ｄ１５によるディジタル信号変換、及び、γ補正回路（非線形処理手段）２１による非線形特性を有するγ補正テーブルに基づいて、通常の撮影モードと同様にγ補正処理が行われる（Ｓ２０５）。
【００４３】
次いで、カラープロセス回路２２により、Ｒ、Ｇ、Ｂ３原色の補間処理、自動露出計算（ＡＥ計算）／ホワイトバランス（ＡＷＢ）補正処理、輝度・色差マルチプレクス信号の生成等の色信号処理が実行され（Ｓ２０６、Ｓ２０７）、１画面分の画像データ（第３の画像データ）が生成される。
そして、カラープロセス回路２２により生成された画像データは、ビデオトランスファー回路２３によりバッファメモリ３１に転送された後、ディジタルビデオエンコーダ２５によりビデオ処理が施され（Ｓ２０８）、ＬＣＤ（表示手段）４０の表示方式に対応した信号形式に変換されてスルー画像（ファインダ画像）として表示出力される（Ｓ２０９）。
【００４４】
・キャプチャー動作
次いで、ＬＣＤ４０に所望の構図を有するスルー画像が表示された時点で、キー入力部５０に備えられたシャッターキーを“半押し”することにより（Ｓ２１０）、ＣＰＵ（第１の撮影制御手段、第２の撮影制御手段、禁止手段）６０が記録動作の開始を検知して、γ補正回路２１に制御信号を出力し、γ補正テーブルの特性設定を通常の非線形特性から線形特性に変更する（Ｓ２１１）。また、被写体の撮影環境から取得される情報に基づいて露出時間Ｔ１と焦点が設定される（Ｓ２１２）。
【００４５】
さらに、シャッターキーを押し込んで、“全押し”することにより電子シャッタを開駆動し、ステップＳ２１２で設定された露出時間Ｔ１の経過後に（Ｓ２１５）、ドライバ１７及びＴＧ１８によりメカシャッタ１２を閉駆動し（Ｓ２１６）、ＣＣＤ１３から出力される被写体像のＣＣＤデータ（ＤＡＴＡ１：第１の画像データ）を取り込んで（Ｓ２１７）、Ａ／Ｄ１５によるディジタル信号変換、及び、ステップＳ２１１で線形特性に設定変更されたγ補正テーブルに基づいて、γ補正回路２１による線形γ補正処理が行われる（Ｓ２１８）。なお、ステップＳ２１６、Ｓ２１７でメカシャッタ１２を閉駆動し、ＣＣＤ１３からＣＣＤデータ（ＤＡＴＡ１）を取り込む際には、電子シャッタは閉駆動される。
【００４６】
次いで、メカシャッタ１２を閉じた状態で（Ｓ２２０）、再び電子シャッタを開駆動し（Ｓ２１４）、ステップＳ２１２で設定された露出時間Ｔ１を用いて、上述したステップＳ２１４からＳ２１８までの各処理を実行することにより、被写体像を含まず、今回の撮影条件においてＣＣＤ１３が有する暗出力成分を含んだＣＣＤデータ（ＤＡＴＡ２：第２の画像データ）を取り込んで、先に取り込んだＣＣＤデータ（ＤＡＴＡ１）の場合と同様に、線形特性を有するγ補正テーブルに基づいて、γ補正回路２１による線形γ補正処理を行う。なお、上述したステップＳ２１４からＳ２１８までの各処理により取り込まれ、γ補正処理を施されたＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）は、たとえば、バッファメモリ３１に一時的に記憶されるものであってもよいし、後述する減算処理を実行するＣＰＵ６０に付設されたＲＡＭ（図示を省略）に記憶されるものであってもよい。
【００４７】
上述したように、２回のＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）の取り込みが終了すると（Ｓ２１９）、ＣＰＵ（判定手段）６０により、２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）中の画素データ（判定処理の対象となっている画素）が所定レベル以上の白キズであるか否かを判定し（Ｓ２２１）、さらに、その画素データが白キズであると判定された場合には、その画素に対応するＤＡＴＡ１中の画素データのレベルが飽和状態にあるか否かを判定する（Ｓ２２２）。
【００４８】
このような一連の判定処理（Ｓ２２１、Ｓ２２２）により、２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）中の画素データが所定レベル以上の白キズではない場合には、ＤＡＴＡ１中の対応する画素データを、補正処理を必要としない有効なデータとして取り扱う。また、２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）中の画素データが所定レベル以上の白キズである場合であっても、その画素に対応するＤＡＴＡ１中の画素データのレベルが飽和状態にある場合には、ＤＡＴＡ１中の対応する画素データを、補正処理の対象とならないデータとして取り扱う。なお、ステップＳ２２１、Ｓ２２２における判定処理の詳細については、後述する。
【００４９】
一方、２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）中の画素データが所定レベル以上の白キズであり、かつ、その画素に対応するＤＡＴＡ１中の画素データのレベルが飽和状態にない場合には、ＤＡＴＡ１中の対応する画素データを、補正処理の対象となるデータと判定して、ＣＰＵ（画像補正手段）６０により、１回目に取り込んだＣＣＤデータ（ＤＡＴＡ１）から２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）を画素単位で減算する補正処理（減算処理）、すなわち、ＣＣＤデータ（ＤＡＴＡ１）及びＣＣＤデータ（ＤＡＴＡ２）に共通して含まれる、ＣＣＤ１３が有する暗出力成分を除去する補正処理を実行する（Ｓ２２３）。
【００５０】
以上の白キズの判定処理及び補正処理の対象となる画素を順次変更して（Ｓ２２５）、ＣＣＤ１３から出力される１画面分の全画素について実行した後（Ｓ２２４）、各画素データについて、非線形γ補正処理を実行し（Ｓ２２６）、さらに、Ｒ、Ｇ、Ｂ３原色の補間処理、ＡＥ計算／ＡＷＢ補正処理等の色信号処理を実行し（Ｓ２２７）、ビデオトランスファー回路２３によりバッファメモリ３１に１画面分の画像データが転送される。ここで、ステップＳ２２６における非線形γ補正処理は、上述したγ補正処理回路２１を用いるものではなく、たとえば、ＣＰＵ（第２の非線形処理手段）６０によりソフトウェア的に、スルー動作時と同等の非線形γ補正処理（Ｓ２０５）を実行するものである。
【００５１】
さらに、ビデオトランスファー回路２３により、圧縮・伸長回路２４を介して、ＪＰＥＧ符号化等の圧縮処理が施された後（Ｓ２２８）、フラッシュメモリ３２に１画面分のキャプチャー画像として記録される（Ｓ２２９）。引き続き撮影を継続する場合、つまり特殊撮影モードを解除しない場合には（Ｓ２３０）、ステップＳ２０１に戻って、再度、メカシャッタ１２が開状態となり、スルー画モード（γ補正テーブルの非線形特性への設定変更を含む）が設定され（Ｓ２０１）、上述したステップＳ２０１からＳ２３０の一連の処理動作が繰り返される。
【００５２】
次に、上述したγ補正処理の特性設定と減算処理（被写体像の画像データからＣＣＤの暗出力成分を除去する補正処理）との関係について、図面を参照して説明する。
図５は、前記ＤＡＴＡ１とＤＡＴＡ２に対してγ補正回路２１による非線形γ補正処理を施した場合、つまり図４のフローチャート中のステップＳ２１１においてγ補正回路２１のγ補正テーブルをリニア特性に設定変更しなかった場合の減算処理の効果を示す図であり、図６は、前記ＤＡＴＡ１とＤＡＴＡ２に対してγ補正回路２１による線形γ補正処理を施した場合、つまり図４のフローチャート中のステップＳ２１１においてγ補正回路２１のγ補正テーブルをリニア特性に設定変更した場合（本実施の形態）の減算処理の効果を示す図である。
まず、図５（ａ）に示すように、γ補正回路２１における入出力信号特性が非線形の場合、入力レベル＜ａ＞、＜ｂ＞に対する特性曲線上での傾きＰａ、Ｐｂは、Ｐａ＜Ｐｂの関係となる。
【００５３】
一方、図５（ｂ）に示すように、メカシャッタ１２を開状態として１回目に取り込んだＣＣＤデータ（ＤＡＴＡ１）のデータレベルは、被写体像本来のデータ成分Ｃに加え、ランダムノイズ成分Ａ及び暗電圧成分（又は、白キズ成分）Ｂを付加した総計［ａ］となる。また、メカシャッタ１２を閉状態として２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）のデータレベルは、被写体のデータ成分Ｃを含まないので、ランダムノイズ成分Ａ´及び暗電圧成分Ｂ´の総計［ｂ］となる。
したがって、データレベルの大きいＤＡＴＡ１は、緩やかな傾き、すなわち小さいγ係数によりγ補正処理が行われるのに対して、データレベルの小さいＤＡＴＡ２は、急峻な傾き、すなわち大きいγ係数によりγ補正処理が行われるので、非線形γ補正処理により、暗電圧成分Ｂ、Ｂ´が不均一となり、上述したＤＡＴＡ１からＤＡＴＡ２を差し引く減算処理によっては、適正に暗電圧成分を除去することができないという問題が生じる。
【００５４】
これに対して、図６（ａ）に示すように、γ補正回路２１における入出力信号特性が線形の場合、入力レベル＜ａ＞、＜ｂ＞に対する特性線上での傾きは、常に等しく一定の関係となる。
そのため、図６（ｂ）に示すように、データレベルの大きいＤＡＴＡ１（総計［ａ］）においても、また、データレベルの小さいＤＡＴＡ２（総計［ｂ］）においても、一定のγ係数によりγ補正処理が行われるので、暗電圧成分Ｂ、Ｂ´は常に均一となり、上述したＤＡＴＡ１からＤＡＴＡ２を差し引く減算処理によって、適正に暗電圧成分を除去することができる。
【００５５】
次に、上述したγ補正処理回路２１について、図面を参照して説明する。
図７は、γ補正処理回路を含む信号処理用ＬＳＩの概略構成を示すブロック図である。
上述したように、γ補正回路２１は、γ補正テーブルの特性設定が可変に構成されたものであればよい。また、近年の電子スチルカメラ等の撮像装置においては、γ補正回路が他の信号処理回路とともに、１チップのＬＳＩに組み込まれて提供されることが多くなっている。
【００５６】
したがって、図７に示すように、信号処理用ＬＳＩ２０は、たとえば、ＣＣＤ１３から出力され、ＣＤＳ１４及びＡ／Ｄ１５によりサンプリング、デジタル信号化された信号（図中、ＣＣＤデータ）を入力とし、所定の黒レベルにクランプするデジタル・クランプ処理部Ａと、写真レンズ１１等の光学系においてシェーディングが発生する場合にシェーディング補正を行うシェーディング補正処理部Ｂと、ホワイトバランス補正処理部Ｃと、特性設定を変更可能なγ補正テーブルＥを備えたγ補正処理部Ｄを有して構成されている。そして、γ補正テーブルＥは、ＬＳＩ２０外部（すなわち、ＣＰＵ６０）からの制御信号に基づいて、γ特性を非線形、あるいは、線形に設定変更する（又は切り替える）ことが可能なように構成されている。
【００５７】
このような構成の信号処理用ＬＳＩ２０により、本実施の形態においては、スルー動作時及び通常撮影モードにおけるキャプチャー動作時にはＣＣＤから出力されるＣＣＤデータに対して通常の非線形γ補正処理を行う一方、特殊撮影モードにおけるキャプチャー動作時には線形γ補正処理を行うようにしている。さらに、上述したように、特殊撮影モードにおけるキャプチャー動作時には、後段の処理において、スルー動作時と同等の通常の非線形γ補正処理をソフトウェア的に実行している。
【００５８】
なお、本実施形態において、減算処理の実行の要否を決定する条件として、ＤＡＴＡ２中の白キズと判定された画素に対応する、ＤＡＴＡ１中の画素のレベルが飽和状態にあるか否かを判別する理由は、ＤＡＴＡ１における画素データの飽和状態に関わらず（たとえば、画素データのレベルが、飽和状態を判別するためのしきい値程度であっても、あるいは、しきい値を大きく越えている場合であっても）、上記減算処理においては、常に飽和レベルから対応するＤＡＴＡ２の白キズのレベルが減算されることになるため、飽和状態にある画素データから算出されるレベルが、画素データの本来のレベルよりも低くなって、周辺の画素に比較して階調が低く表示される等の、画質の劣化を招く問題を有しているためである。
【００５９】
特に、人間の視覚は、黒い（階調の低い）背景に微小な白い（階調の高い）点が存在する場合に比較して、白い（階調の高い）背景に微小な黒い（階調の低い）点が存在する場合の方を敏感に感知する性質があるため、上述したような飽和状態にある画素データを減算処理することにより、画素のレベルが周辺の画素に比較して黒く（階調が低く）表示されて、より敏感に画質の劣化が感じられる。そのため、レベルが飽和状態にあるＤＡＴＡ１中の画素データを減算処理の対象から除外し、飽和状態にない画素データについてのみ、対応するＤＡＴＡ２の白キズ画素のレベルを減算することにより、ＤＡＴＡ１中の画素データのレベルを適正に本来のレベルに補正して、画質の劣化を抑制するものである。
【００６０】
このような一連の処理動作を有する撮像装置によれば、γ補正テーブルを線形特性に変更設定して、γ補正回路によるγ補正処理を実質的に禁止した状態（線形処理した状態）で、ＣＣＤ１３への入射光路（メカシャッタ１２）を開状態として取り込んだＣＣＤデータ（ＤＡＴＡ１）から、入射光路を閉状態として取り込んだＣＣＤデータ（ＤＡＴＡ２）を減算処理することにより、露光時間の長い撮影であっても、暗電圧に起因するノイズ成分を良好に除去することができるので、夜景等の暗い環境下であっても良好に撮影を行うことができる。
また、撮影条件や撮影環境が変化した場合であっても、該条件や環境に応じたＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）を取り込むことができ、両者による減算処理により、変動する暗電圧成分を適正に除去する補正を行うことができるので、従来技術に示したようなＣＣＤを構成する各光電変換素子毎のアドレスデータを保持、記憶する必要がなく、簡易な構成により適正な被写体像の撮影及び画像記録を行うことができる。
【００６１】
さらに、ＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）について、白キズの有無及びデータレベルの飽和状態を判定して、白キズが本来の被写体像の画像データに及ぼす影響を低減するように減算処理が行われるので、暗電圧に起因する孤立点（白キズ）が除去されて、適正な被写体像の撮影及び画像記録を行うことができる。
なお、上述した実施形態においては、画素データ単位で白キズ判定（Ｓ２２１）やデータレベルの飽和の有無の判定（Ｓ２２２）を行い、減算処理（Ｓ２２３）の実行の要否を決定するようにしたが、このような処理（Ｓ２２１〜Ｓ２２５）を行わずに単純に（直接）ＤＡＴＡ１からＤＡＴＡ２を減算する処理を行うようにしてもよい。
【００６２】
＜第２の実施形態＞
次に、本発明に係る撮像装置の第２の実施形態について、図面を参照して説明する。
図８は、本発明に係る撮像装置の第２の実施形態の要部構成を示すブロック図であり、図９は、本発明に係る撮像装置の第２の実施形態の主要処理動作を示すフローチャートである。なお、上述した実施形態と同等の構成又は処理動作については、同一の符号を付して、その説明を省略又は簡略化する。
本実施形態に係る撮像装置は、上述した第１の実施形態の構成（図１）において、γ補正回路２１に代えて、図８に示すように、非線形処理を行うγ補正回路（非線形処理手段）２１ａを経由する信号経路Ｌｎ１と、γ補正回路２１ａを介さないバイパス経路Ｌｎ２と、信号経路Ｌｎ１とバイパス経路Ｌｎ２とを選択的に切り換えるスイッチＳＷ１とを備えたことを特徴としている。
【００６３】
ここで、スイッチＳＷ１は、ＣＰＵ（禁止手段）６０からの制御信号により制御される。すなわち、通常撮影モード、及び、スルー画モードにおいては、γ補正回路２１ａを経由する信号経路Ｌｎ１が選択されるように制御され、また、ＣＣＤ１３の暗電圧成分を除去する補正処理に用いられるＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）を取り込む場合には、γ補正回路２１ａを含まないバイパス経路Ｌｎ２が選択されるように制御される。また、γ補正回路２１ａは、予め固定的に設定された非線形特性を有するγ補正テーブルに基づいて、γ補正処理を実行するように構成されている。
【００６４】
以下に、特殊撮影モードにおける具体的な処理動作について、図９のフローチャートを参照して説明する。なお、必要に応じて、図４に示したフローチャートチャートを参照する。
・スルー動作
まず、電子スチルカメラの使用者がキー入力部５０に備えられたモードスイッチ（撮影モード設定手段）を記録（ＲＥＣ）モードに切り替えた後に、ＬＣＤ４０に表示されるメニューの中から特殊撮影モードを選択すると、メカシャッタ１２が開状態となり、ＣＰＵ（第３の撮影制御手段）６０においてスルー画モードが設定される。このとき、ＣＰＵ６０から制御信号が出力されて、スイッチＳＷ１がγ補正回路２１ａを経由する信号経路Ｌｎ１側を選択するように切り換え設定される。そして、スルー画モードにおいては、図４に示した処理動作（Ｓ２０１からＳ２０９）と同様に、所定の露出時間Ｔ０の経過毎に、被写体像に基づくＣＣＤデータが取り込まれ、γ補正回路２１ａによる非線形γ補正処理や、カラープロセス回路２２による色信号処理等が施されて取得された１画面分の画像データ（第３の画像データ）が、ＬＣＤ（表示手段）４０にスルー画像（ファインダ画像）として表示出力される。
【００６５】
・キャプチャー動作
次いで、ＬＣＤ４０に所望の構図を有するスルー画像が表示された時点で、キー入力部５０に備えられたシャッターキーを“半押し”することにより（Ｓ２１０）、図９に示すように、ＣＰＵ（第１の撮影制御手段、第２の撮影制御手段、禁止手段）６０が記録動作の開始を検知して、スイッチＳＷ１に制御信号を出力し、γ補正回路２１ａを経由しない第２の信号経路Ｌｎ２側を選択するように切り換え設定する（Ｓ３０１）。また、被写体の撮影環境から取得される情報に基づいて露出時間Ｔ１と焦点が設定される（Ｓ３０２）。
さらに、シャッターキーを押し込んで、“全押し”することにより（Ｓ３０３）電子シャッタを開駆動し（Ｓ３０４）、ステップＳ３０２で設定された露出時間Ｔ１の経過後に（Ｓ３０５）、ドライバ１７及びＴＧ１８によりメカシャッタ１２を閉駆動し（Ｓ３０６）、ＣＣＤ１３から出力される被写体像のＣＣＤデータ（ＤＡＴＡ１：第１の画像データ）を取り込んで（Ｓ３０７）、Ａ／Ｄ１５によるディジタル信号変換が行われる（Ｓ３０８）。なお、ステップＳ３０６、Ｓ３０７でメカシャッタ１２を閉駆動し、ＣＣＤ１３からＣＣＤデータ（ＤＡＴＡ１）を取り込む際には、電子シャッタは閉駆動される。
【００６６】
次いで、メカシャッタ１２を閉じた状態で（Ｓ３１０）、再び電子シャッタを開駆動し（Ｓ３０４）、ステップＳ３０２で設定された露出時間Ｔ１を用いて、上述したステップＳ３０４からＳ３０８までの各処理を実行することにより、被写体像を含まず、今回の撮影条件においてＣＣＤ１３が有する暗出力成分を含んだＣＣＤデータ（ＤＡＴＡ２：第２の画像データ）を取り込んで、ディジタル信号変換を行う。
上述したように、２回のＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）の取り込みが終了すると（Ｓ３０９）、図４に示した処理動作（Ｓ２２１からＳ２３０）と同様に、ＣＰＵ（判定手段）６０により２回目に取り込んだＣＣＤデータ（ＤＡＴＡ２）中の画素データが所定レベル以上の白キズであるか否か、その画素データに対応するＤＡＴＡ１中の画素データのレベルが飽和状態にあるか否かが判定され、ＣＰＵ（画像補正手段）６０による減算処理（暗出力成分を除去する補正処理）の実行の要否が決定される。
【００６７】
以上の減算処理の実行要否に基づく暗出力成分の除去を、ＣＣＤ１３から出力される１画面分の全画素について判定、実行した後、ＣＰＵ（第２の非線形処理手段）６０によりソフトウェア的に非線形γ補正処理、及び、所定の色信号処理を実行し、ＪＰＥＧ符号化等の圧縮処理が施された後、フラッシュメモリ３２にキャプチャー画像として記録される。引き続き撮影を継続する場合には、再度、スルー画モードが設定されることにより、スイッチＳＷ１がγ補正回路２１ａを経由する第１の信号経路Ｌｎ１側を選択するように切り換え設定される。
これにより、暗電圧成分を除去する補正処理においては、γ補正回路２１ａを経由しない第２の信号経路Ｌｎ２側が選択されて、ＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）へのγ補正処理が禁止され、上記図６において説明した場合と同様に、ＤＡＴＡ１、ＤＡＴＡ２への非線形処理が施されないので、ＤＡＴＡ１からＤＡＴＡ２を差し引く減算処理により、暗電圧に起因するノイズ成分が良好に除去される。
【００６８】
また、この場合、γ補正回路２１ａのγ補正テーブルを変更設定することなく、スイッチＳＷ１を切り換える制御のみで、ＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）へのγ補正処理を禁止することができるので、簡易な構成で暗電圧に起因するノイズ成分を除去する処理を良好に実行することができる。
なお、通常撮影モードにおいては、図３に示したフローチャートと同等の動作処理が実行され、スルー画モードが設定された時点（Ｓ１０１）で、ＣＰＵ６０から制御信号が出力されて、スイッチＳＷ１がγ補正回路２１ａを経由する第１の信号経路Ｌｎ１側に固定的に設定されることにより、良好にスルー動作及びキャプチャー動作が実行される。
【００６９】
＜第３の実施形態＞
次に、本発明に係る撮像装置の第３の実施形態について、図面を参照して説明する。
図１０は、本発明に係る撮像装置の第３の実施形態の要部構成を示すブロック図であり、図１１は、本発明に係る撮像装置の第３の実施形態の主要処理動作を示すフローチャートである。なお、上述した実施形態と同等の構成又は処理動作については、同一の符号を付して、その説明を省略又は簡略化する。
本実施形態に係る撮像装置は、上述した第１の実施形態の構成（図１）において、図１０に示すように、暗電圧成分を除去した画像データ（ＤＡＴＡ１からＤＡＴＡ２を減算した画像データ：補正された第１の画像データ）を、ビデオトランスファー回路２３を介して非線形処理を行うγ補正回路（非線形処理手段、第２の非線形処理手段）２１ｂに取り込む信号経路Ｌｎ３と、γ補正回路２１ｂに取り込む信号（ＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）、又は、信号経路Ｌｎ３を経由して取り込まれる暗電圧成分を除去した画像データ）を選択的に切り換えるスイッチＳＷ２とを備えたことを特徴としている。
【００７０】
ここで、ＣＰＵ（禁止手段）６０からの制御信号により、スイッチＳＷ２が切り換え制御されるとともに、γ補正回路２１ｂのγ補正テーブルの特性設定が変更制御される。すなわち、通常撮影モード、及び、スルー画モードにおいては、スイッチＳＷ２がＣＣＤデータを取り込む接点側に制御されるとともに、γ補正回路（非線形処理手段）２１ｂのγ補正テーブルが非線形特性を有するように設定される。また、特殊撮影モードにおいて、暗電圧成分を除去する処理においては、スイッチＳＷ２がＣＣＤデータ（ＤＡＴＡ１、ＤＡＴＡ２）を取り込む接点側に制御されるとともに、γ補正回路２１ｂのγ補正テーブルが線形特性を有するように設定される。さらに、暗電圧成分を除去した後においては、スイッチＳＷ２が信号経路Ｌｎ３を介して入力される画像データを取り込む接点側に制御されるとともに、γ補正回路（第２の非線形処理手段）２１ｂのγ補正テーブルが非線形特性を有するように設定される。
【００７１】
以下に、特殊撮影モードにおける具体的な処理動作について、図１１のフローチャートを参照して説明する。なお、必要に応じて、図４に示したフローチャートチャートを参照する。
・スルー動作
まず、図１１（ａ）に示すように、電子スチルカメラの使用者がキー入力部５０に備えられたモードスイッチ（撮影モード設定手段）を記録（ＲＥＣ）モードに切り替えた後に、ＬＣＤ４０に表示されるメニューの中から特殊撮影モードを選択すると、メカシャッタ１２が開状態となり、ＣＰＵ（第３の撮影制御手段）６０においてスルー画モードが設定される（Ｓ４０１）。このとき、ＣＰＵ６０から制御信号が出力されて、スイッチＳＷ２がＣＣＤデータを取り込む接点側に制御される（Ｓ４０２）とともに、γ補正回路２１ｂのγ補正テーブルが非線形特性を有するように設定される（Ｓ４０３）。そして、スルー画モードにおいては、図４に示した処理動作（Ｓ２０２からＳ２０９）と同様に、所定の露出時間Ｔ０の経過毎に、被写体像に基づくＣＣＤデータが取り込まれ、γ補正回路２１ｂによる非線形γ補正処理や、カラープロセス回路２２による色信号処理等が施されて取得された１画面分の画像データ（第３の画像データ）が、ＬＣＤ（表示手段）４０にスルー画像（ファインダ画像）として表示出力される。
【００７２】
・キャプチャー動作
次いで、図４に示したキャプチャー動作（Ｓ２１０からＳ２２５）と同様に、ＬＣＤ４０に所望の構図を有するスルー画像が表示された時点で、キー入力部５０に備えられたシャッターキーを“半押し”することにより、ＣＰＵ６０（第１の撮影制御手段、第２の撮影制御手段、禁止手段）が記録動作の開始を検知して制御信号を出力し、γ補正回路２１ｂのγ補正テーブルが線形特性を有するように変更設定する。また、被写体の撮影環境から取得される情報に基づいて露出時間Ｔ１と焦点が設定される。
以下、上述した第１の実施形態における処理動作と同様に、メカシャッタ１２が開状態におけるＣＣＤデータ（ＤＡＴＡ１：第１の画像データ）と、閉状態におけるＣＣＤデータ（ＤＡＴＡ２：第２の画像データ）を取り込んで、γ補正回路２１ｂにより線形γ補正処理を行い、さらに、ＣＰＵ（判定手段）６０により取り込んだＣＣＤデータ（ＤＡＴＡ２）中の画素データが所定レベル以上の白キズであるか否か、その画素データに対応するＤＡＴＡ１中の画素データのレベルが飽和状態にあるか否かを判定して、ＣＰＵ（画像補正手段）６０による減算処理（暗出力成分を除去する補正処理）の実行の要否を決定する。そして、減算処理の実行要否の判定に基づいて暗出力成分が除去された画像データは、ビデオトランスファー回路２３を介して、たとえば、バッファメモリ３１に一時的に記憶される。
【００７３】
上記補正処理が１画面分の全画素について終了すると、図１１（ｂ）に示すように、ＣＰＵ６０から制御信号が出力されて、スイッチＳＷ２が信号経路Ｌｎ３を介してバッファメモリ３１に記憶された画像データを取り込む接点側に制御されるとともに（Ｓ４１１）、γ補正回路２１ｂのγ補正テーブルが非線形特性を有するように変更設定される（Ｓ４１２）。バッファメモリ３１に記憶された画像データは、ビデオトランスファー回路２３及び信号経路Ｌｎ３を介して、γ補正回路（第２の非線形処理手段）２１ｂに取り込まれ、ステップＳ４１２において非線形特性を有するように設定されたγ補正テーブルに基づいて、非線形γ補正処理（Ｓ４１３）が実行される。以後、図４に示したキャプチャー動作（Ｓ２２７からＳ２３０）と同様に、所定の色信号処理、ＪＰＥＧ符号化等の圧縮処理が施された後、フラッシュメモリ３２にキャプチャー画像として記録される。引き続き撮影を継続する場合には、再度、スルー画モードが設定されることにより、図１１（ａ）に示したように、スイッチＳＷ２がＣＣＤデータを取り込む接点側に制御されるとともに、γ補正回路２１ｂのγ補正テーブルが非線形特性を有するように設定変更される。
【００７４】
これにより、暗電圧成分を除去する補正処理の後に、γ補正テーブルが非線形特性に設定されたγ補正回路２１ｂａに、再び、画像データを取り込んで非線形γ補正を施すことができ、ソフトウェア的な非線形γ補正を行う必要がなくなるので、ＣＰＵ６０の制御処理上の負担を軽減することができる。
なお、通常撮影モードにおいては、図３に示したフローチャートと同等の動作処理が実行され、スルー画モードが設定された時点（Ｓ１０１）で、ＣＰＵ６０から制御信号が出力されて、スイッチＳＷ２がＣＣＤデータを取り込む接点側に固定的に制御されるとともに、γ補正回路２１ｂのγ補正テーブルが非線形特性を有するように固定的に設定されることにより、良好にスルー動作及びキャプチャー動作が実行される。
【００７５】
＜第４の実施形態＞
次に、本発明に係る撮像装置の第４の実施形態について、図面を参照して説明する。
図１２は、本発明に係る撮像装置の第４の実施形態の要部構成を示すブロック図であり、図１３は、本発明に係る撮像装置の第４の実施形態の主要処理動作を示すフローチャートである。なお、上述した実施形態と同等の構成又は処理動作については、同一の符号を付して、その説明を省略又は簡略化する。
図１２に示すように、本実施形態に係る撮像装置は、上述した第１の実施形態の構成（図１）に加え、被写体像の撮影時、又は、電気信号（ＣＣＤデータ）の取り込み時におけるＣＣＤ１３周辺の温度情報を検出する温度センサ（温度検出手段）８０を備えたことを特徴としている。
ここで、温度センサ８０は、ＣＣＤ１３周辺の温度情報を検出してＣＰＵ６０に出力し、ＣＰＵ（補正制御手段）６０は、検出された温度に基づいて、第１の実施形態に示した暗電圧成分を除去する補正処理（図４のステップＳ２１１からＳ２２５）を実行するか否かを制御する。
【００７６】
具体的には、図４のステップＳ２０１からＳ２１０と同等のスルー動作が実行され、ステップＳ２１０のシャッターキーの半押しにより、図１３のフローチャートに示すように、温度センサ８０からの温度情報をＣＰＵ６０が受け取り（Ｓ５０１）、検出された温度とあらかじめ設定された基準温度を比較する（Ｓ５０２）。そして、暗電圧が増大する程度の温度変化を検出した場合には、画像データに含まれる暗電圧成分の影響が大きいものと判定して、ＣＰＵ（画像補正手段）６０により暗電圧成分を除去する上記補正処理（図４のステップＳ２１１からＳ２２５）を実行する。
一方、温度変化がないか、あるいは、比較的小さく、暗電圧の影響が大きくない場合には、上記補正処理を実行せず、図３に示した通常撮影モードにおけるキャプチャー動作（図３のステップＳ１１１からＳ１１６）を実行する。
これは、前述したように、約８℃度の温度上昇により暗電圧が２倍に増大するという暗電圧の温度依存性の影響を抑制するためのものである。なお、白キズも同様の温度依存性を有していることが知られているので、かかる工夫により、白キズの影響も回避できる。したがって、撮影時の環境変化（温度変化）に応じて補正処理の有無を切り換えることができるので、ＣＰＵ６０の制御処理上の負担を軽減することができる。
【００７７】
＜第５の実施形態＞
次に、本発明に係る撮像装置の第５の実施形態について、図面を参照して説明する。
図１４は、本発明に係る撮像装置の第５の実施形態の主要処理動作を示すフローチャートである。なお、上述した実施形態と同等の構成又は処理動作については、同一の符号を付して、その説明を省略又は簡略化する。
本実施形態に係る撮像装置は、上述した実施形態の構成（図１）において、ＣＰＵ６０にＣＣＤ１３を駆動する電荷蓄積期間の監視機能（電荷蓄積期間判定手段）を設けたことを特徴としている。
ＣＰＵ（補正制御手段）６０は、撮影時のＣＣＤ１３の電荷蓄積期間、すなわち、露光時間に基づいて、第１の実施形態に示した補正処理（図４のステップＳ２１１からＳ２２５）を実行するか否かを制御する。
【００７８】
具体的には、図１４のフローチャートに示すように、ステップＳ２１０のシャッターキーの半押し状態で露光時間Ｔ１を設定し（Ｓ６０１）、該露光時間Ｔ１とあらかじめ設定された基準時間を比較する（Ｓ６０２）。そして、設定された露光時間Ｔ１が暗電圧が増大する程度の露光時間の変化があると判定した場合には、画像データに含まれる暗電圧成分の影響が大きいものと判定して、γ補正回路２１のγ補正テーブルを線形特性を有するように設定変更して（Ｓ６０３）、ＣＰＵ（画像補正手段）６０により暗電圧成分を除去する上記補正処理（図４のステップＳ２１３からＳ２２５）を含むキャプチャー動作（図４のステップＳ２１３からＳ２３０）を実行する。
一方、露光時間が基準値と同一か、あるいは、近似している場合には、上記補正処理を実行せず、図３に示した通常撮影モードにおけるキャプチャー動作（図３のステップＳ１１２からＳ１２１）を実行する。
これは、前述したように、暗電圧が露光時間に依存して増大するという特性の影響を抑制するためのものである。なお、白キズも同様の露光時間依存性を有していることが知られているので、かかる工夫により、白キズの影響も回避できる。したがって、撮影時の環境変化（露光時間の変化）に応じて補正処理の有無を切り換えることができるので、ＣＰＵ６０の制御処理上の負担を軽減することができる。
【００７９】
＜第６の実施形態＞
次に、本発明に係る撮像装置の第６の実施形態について、図面を参照して説明する。
図１５は、本発明に係る撮像装置の第６の実施形態の主要処理動作を示すフローチャートである。なお、上述した実施形態と同等の構成又は処理動作については、同一の符号を付して、その説明を省略又は簡略化する。
本実施形態に係る撮像装置は、上述した実施形態の構成（図１）において、ＣＰＵ６０に、第１の実施形態に示した補正処理（図４のステップＳ２１１からＳ２２５）を施された画像データ中に存在する孤立点を検出する機能を設けたことを特徴としている。
ＣＰＵ（判定手段）６０は、上記補正処理（図４のステップＳ２１１からＳ２２５）後の画像データ中に含まれるデータレベルが突出した画素（孤立点；明時白黒キズ又は暗時白キズ）を検出し、その検出結果に基づいて、孤立点の画素データを補正する処理を行う。
【００８０】
具体的には、図４のステップＳ２２１からＳ２２５のＤＡＴＡ１とＤＡＴＡ２の減算処理の後に生成される画像データに対して、図１５のフローチャートに示すように、データレベルが周囲の画素に比較して突出した孤立点を検出する（Ｓ７０１）。そして、ＣＰＵ６０により検出された孤立点の画素データを不良データと判定して、当該孤立点のアドレスに基づいて隣接する画素データにより置換する処理を行う（Ｓ７０２）。以後、図４に示したキャプチャー動作（Ｓ２２６からＳ２３０）と同様に、非線形γ補正処理、所定の色信号処理、ＪＰＥＧ符号化等の圧縮処理が施された後、フラッシュメモリ３２にキャプチャー画像として記録される。
これにより、上述した暗電圧成分を除去する補正処理（減算処理）の対象とならず、かつ、不良なデータレベルを有する画素データ、たとえば、ＤＡＴＡ１の画素データが所定レベル以上であって、かつ、ＤＡＴＡ１のデータレベルが飽和状態にあると判定された画素データについても、孤立点と判定されて補正処理（置換処理）され、適正な被写体像の撮影及び画像記録を行うことができる。
【００８１】
なお、上述した各実施形態においては、ＤＡＴＡ１に含まれる暗出力成分を除去する補正処理の手法として、ＣＰＵ６０によりγ補正処理を禁止した状態で、メカシャッタ１２を開駆動して取り込んだ被写体像のＣＣＤデータ（ＤＡＴＡ１）から、メカシャッタ１２を閉駆動して取り込んだＣＣＤデータ（ＤＡＴＡ２）を、ＣＰＵ６０内部で演算処理（減算処理）する場合について説明したが、本発明はこれに限定されるものではなく、他の補正処理の手法、たとえば、ソフトウェア的な処理や、減算回路を用いたハードウェア的な処理により暗出力成分を除去する処理方法を適用するものであってもよい。
【００８２】
以上、説明したように、本発明に係る撮像装置及びその信号処理方法は、次のような特徴及び作用効果を有している。
すなわち、本発明に係る撮像装置は、入射光に応じた電荷を蓄積し、該蓄積電荷を電気信号に変換して出力するイメージセンサと、前記イメージセンサへの入射光路を開閉する光路開閉手段と、前記光路開閉手段の開閉動作を制御する開閉制御手段と、前記イメージセンサから出力される前記電気信号に、少なくとも所定の特性を有するγ補正テーブルに基づいてγ補正処理を行うとともに、前記電気信号に基づいて画素データを生成する信号処理手段と、１画面分の前記画素データを画像データとして格納する記憶手段と、を有する撮像装置において、前記開閉制御手段により、前記光路開閉手段を開状態に保持し、前記イメージセンサから出力される前記電気信号に基づいて生成される第１の画素データ（ＤＡＴＡ１）と、前記光路開閉手段を閉状態に保持し、前記イメージセンサから出力される前記電気信号に基づいて生成される第２の画素データ（ＤＡＴＡ２）とに基づいて、前記第１の画素データに含まれる、前記イメージセンサによる暗出力成分を除去する補正を行う補正処理手段を備えたことを特徴としている。
【００８３】
したがって、本発明に係る撮像装置によれば、光路開閉手段を開状態に保持し、イメージセンサから出力される電気信号に基づいて第１の画素データを生成し、電荷蓄積期間の経過後、光路開閉手段を閉状態に保持し、先の電荷蓄積期間と同一の電荷蓄積期間にイメージセンサから出力される電気信号に基づいて第２の画素データを生成し、第２の画素データにより第１の画素データに含まれる暗出力成分を除去する補正を行うように構成されているので、イメージセンサを構成する各光電変換素子が有する固有の暗出力成分を、撮影の度に除去して、暗出力に伴う表示画質の劣化を良好に抑制することができ、従来、電子スチルカメラにおいて適用が困難とされていた夜景の撮影や長時間の露光によっても、暗出力成分の画像データへの混入を抑制して、電子スチルカメラの動作特性の向上を図ることができる。
【００８４】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記補正処理手段は、前記第１の画素データ（ＤＡＴＡ１）から前記第２の画素データ（ＤＡＴＡ２）を減算する処理を行い、前記第１の画素データに含まれる前記暗出力成分を除去することを特徴としている。
したがって、本発明に係る撮像装置によれば、第１の画素データから第２の画素データを減算するという簡易な処理方法により、ＣＣＤの暗出力の影響を抑制することができるので、ＣＰＵ等への負荷を軽減しつつ、良好な表示画質を実現することができる。
【００８５】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記補正処理手段は、前記第２の画素データ（ＤＡＴＡ２）に白キズ成分が含まれるか否かを判定し、該判定結果に基づいて前記減算処理を行うことを特徴としている。
また、上記撮像装置の構成において、前記補正処理手段は、前記第１の画素データ（ＤＡＴＡ１）のレベルが飽和状態にあるか否かを判定し、該判定結果に基づいて前記減算処理を行うことを特徴としている。
したがって、本発明に係る撮像装置によれば、第２の画素データに白キズ成分が含まれるか否か、また、第２の画素データの白キズに対応する第１の画素データのレベルが飽和状態にあるか否かを判定することにより、上記減算処理に先立って、暗出力成分を把握することができるので、不必要な補正処理を抑制して、ＣＰＵの負荷や処理時間の軽減を図ることができる。
【００８６】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記信号処理手段は、前記第１及び第２の画素データ（ＤＡＴＡ１、ＤＡＴＡ２）の生成に際し、線形特性を有するγ補正テーブルに基づいて、前記電気信号にγ補正処理を行うことを特徴としている。
したがって、本発明に係る撮像装置によれば、第１及び第２の画素データの生成に際し、線形γ補正処理を行うことにより、第１及び第２の画素データに含まれる暗出力成分を均一化することができるので、上記減算処理により、第１の画素データから良好に暗出力成分を除去することができ、良好な表示画質を実現することができる。
【００８７】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記信号処理手段は、前記γ補正テーブルの特性設定が変更可能に構成されていることを特徴としている。
したがって、本発明に係る撮像装置によれば、γ補正テーブルの特性設定を変更することにより、スルー動作時には非線形γ補正を行い、キャプチャー動作時には線形γ補正を行うことができるので、表示画質が重視されるキャプチャー動作時に画素データに含まれる暗出力成分を良好に除去することができる。
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記補正処理手段は、前記第１の画素データ（ＤＡＴＡ１）に含まれる前記暗出力成分を除去する補正処理を行った後、前記第１の画素データ（ＤＡＴＡ１）に非線形特性を有するγ補正テーブルに基づいて、前記電気信号にγ補正処理を行うことを特徴としている。
したがって、本発明に係る撮像装置によれば、第１の画素データに含まれる暗出力成分を除去した後、第１の画素データに通常の非線形γ補正を行うことにより、補正処理を行った画素データと、補正処理を行わなかった画素データとを同等に扱うことができるので、従来と同等の処理により画像データを表示出力することができる。
【００８８】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記イメージセンサ周辺の温度を検出する温度検出手段を備え、前記イメージセンサから前記電気信号を出力する際に、前記温度検出手段により検出された前記温度に基づいて、前記補正処理手段による補正処理を実行するか否かを制御することを特徴としている。
したがって、本発明に係る撮像装置によれば、イメージセンサ周辺の温度を検出する温度検出手段を備え、撮影時に検出された温度に基づいて、上記補正処理を実行するか否かを制御することにより、暗出力成分の温度依存性に対応することができるので、不必要な補正処理を抑制して、ＣＰＵの負荷や処理時間の軽減を図ることができる。
【００８９】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記イメージセンサの電荷蓄積期間を判定する蓄積期間判定手段を備え、前記イメージセンサから前記電気信号を出力する際に、前記蓄積期間判定手段により判定された前記電荷蓄積期間に基づいて、前記補正処理手段による補正処理を実行するか否かを制御することを特徴としている。
したがって、本発明に係る撮像装置によれば、イメージセンサの電荷蓄積期間を判定する蓄積期間判定手段を備え、判定された電荷蓄積期間に基づいて、上記補正処理を実行するか否かを制御することにより、暗出力成分の露出時間依存性に対応することができるので、不必要な補正処理を抑制して、ＣＰＵの負荷や処理時間の軽減を図ることができる。
【００９０】
また、本発明に係る撮像装置は、上記撮像装置の構成において、前記補正処理手段により前記第１の画素データ（ＤＡＴＡ１）に含まれる前記暗出力成分を除去する補正処理を行った後、前記画像データを構成する１画面分の前記第１の画素データ（ＤＡＴＡ１）のうち、突出したデータレベルを有する画素データを検出する孤立点検出手段を備え、前記孤立点検出手段により検出された前記画素データを隣接データにより置換する処理を行うことを特徴としている。
したがって、本発明に係る撮像装置によれば、補正処理後の画像データに含まれる孤立点を検出する孤立点検出手段を備え、検出された孤立点を隣接データにより置換する処理を行うことにより、上記補正処理の対象にならなかった画素データを検出して補正することができるので、より一層表示画質の向上を図ることができる。
【００９１】
そして、本発明に係る撮像装置の信号処理方法は、入射光に応じた電荷を蓄積し、該蓄積電荷を電気信号に変換して出力するイメージセンサと、前記イメージセンサへの入射光路を開閉する光路開閉手段と、前記光路開閉手段の開閉動作を制御する開閉制御手段と、前記イメージセンサから出力される前記電気信号に、少なくとも所定の特性を有するγ補正テーブルに基づいてγ補正処理を行うとともに、前記電気信号に基づいて１画面分の画素データを生成する信号処理手段と、前記画像データを格納する記憶手段と、を有する撮像装置の信号処理方法において、前記開閉制御手段により、前記光路開閉手段を開状態に保持し、電荷蓄積期間に前記イメージセンサから出力される前記電気信号に基づいて第１の画素データ（ＤＡＴＡ１）を生成する第１のステップと、前記電荷蓄積期間の経過後、前記光路開閉手段を閉状態に保持し、前記電荷蓄積期間と同一の電荷蓄積期間に前記イメージセンサから出力される前記電気信号に基づいて第２の画素データ（ＤＡＴＡ２）を生成する第２のステップと、前記記憶手段に格納された前記第１及び第２の画素データ（ＤＡＴＡ１、ＤＡＴＡ２）に基づいて、前記第１の画素データ（ＤＡＴＡ１）に含まれる、前記イメージセンサによる暗出力成分を除去する補正を行う第３のステップと、を含むことを特徴としている。
【００９２】
したがって、本発明に係る撮像装置の信号処理方法によれば、光路開閉手段を開状態に保持し、イメージセンサから出力される電気信号に基づいて第１の画素データを生成し、電荷蓄積期間の経過後、光路開閉手段を閉状態に保持し、先の電荷蓄積期間と同一の電荷蓄積期間にイメージセンサから出力される電気信号に基づいて第２の画素データを生成し、第２の画素データにより第１の画素データに含まれる暗出力成分を除去する補正を行うので、イメージセンサを構成する各光電変換素子が有する固有の暗出力成分を、撮影の度に除去して、暗出力に伴う表示画質の劣化を良好に抑制することができ、従来、電子スチルカメラにおいて適用が困難とされていた夜景の撮影や長時間の露光によっても、暗出力成分の画像データへの混入を抑制して、電子スチルカメラの動作特性の向上を図ることができる。
【００９３】
また、本発明に係る撮像装置の信号処理方法は、上記信号処理方法において、前記第３のステップは、前記第１の画素データ（ＤＡＴＡ１）から前記第２の画素データ（ＤＡＴＡ２）を減算する処理を行い、前記第１の画素データに含まれる前記暗出力成分を除去することを特徴としている。
したがって、本発明に係る撮像装置の信号処理方法によれば、第１の画素データから第２の画素データを減算するという簡易な処理方法により、ＣＣＤの暗出力の影響を抑制することができるので、ＣＰＵ等への負荷を軽減しつつ、良好な表示画質を実現することができる。
また、本発明に係る撮像装置の信号処理方法は、上記信号処理方法において、前記第３のステップは、前記第２の画素データ（ＤＡＴＡ２）に含まれる白キズ成分に基づいて、前記減算処理を実行するか否かが制御されることを特徴としている。
したがって、本発明に係る撮像装置の信号処理方法によれば、第２の画素データに白キズ成分が含まれるか否か、また、第２の画素データの白キズに対応する第１の画素データのレベルが飽和状態にあるか否かを判定することにより、上記減算処理に先立って、暗出力成分を把握することができるので、不必要な補正処理を抑制して、ＣＰＵの負荷や処理時間の軽減を図ることができる。
【００９４】
また、本発明に係る撮像装置の信号処理方法は、上記信号処理方法において、前記第１及び第２のステップに先立って、前記信号処理手段に線形特性を有するγ補正テーブルを設定するステップを含むことを特徴としている。
したがって、本発明に係る撮像装置の信号処理方法によれば、第１及び第２の画素データの生成に際し、線形γ補正処理を行うことにより、第１及び第２の画素データに含まれる暗出力成分を均一化することができ、上記減算処理により、第１の画素データから良好に暗出力成分を除去することができるので、良好な表示画質を実現することができる。
【００９５】
また、本発明に係る撮像装置の信号処理方法は、上記信号処理方法において、前記第３のステップによる、前記第１の画素データ（ＤＡＴＡ１）に含まれる前記暗出力成分を除去する補正処理を行った後、前記第１の画素データ（ＤＡＴＡ１）に非線形特性を有するγ補正テーブルに基づいて、前記電気信号にγ補正処理を行うステップを含むことを特徴としている。
したがって、本発明に係る撮像装置の信号処理方法によれば、第１の画素データに含まれる暗出力成分を除去した後、第１の画素データに通常の非線形γ補正を行うことにより、補正処理を行った画素データと、補正処理を行わなかった画素データとを同等に扱うことができるので、従来と同等の処理により画像データを表示出力することができる。
【００９６】
また、本発明に係る撮像装置の信号処理方法は、上記信号処理方法において、前記第１及び第２のステップに先立って、前記イメージセンサから出力される前記電気信号に基づいて画像データを生成するステップを含み、該ステップは、前記信号処理手段に非線形特性を有するγ補正テーブルに基づいて、前記電気信号にγ補正処理を行うことを特徴としている。
したがって、本発明に係る撮像装置の信号処理方法によれば、スルー動作時には、画像データの生成に際し、非線形γ補正を施すことにより、被写体の構図を設定するためのスルー画像へのＣＰＵの負荷や処理時間の軽減を図ることができ、動作特性に優れた電子スチルカメラを提供することができる。
【００９７】
【発明の効果】
請求項１又は１６記載の発明によれば、撮像手段（イメージセンサ）への入射光路を開とした状態で、非線形処理手段による画像データに対する非線形処理を禁止することにより、非線形処理が施されていない第１の画像データを取得するとともに、撮像手段への入射光路を閉とした状態で、非線形処理手段による画像データに対する非線形処理を禁止することにより、非線形処理が施されていない第２の画像データを取得し、該第２の画像データに基づいて、第１の画像データに含まれる暗出力成分を除去する補正を行うように構成されているので、第１及び第２の画像データに含まれる暗電圧成分が非線形処理により不均一化されることなく、適正に除去され、良好な画像データを得ることができる。したがって、露光時間の長い特殊な撮影条件であっても、暗電圧に起因するノイズ成分を良好に除去することができ、夜景等の暗い環境下であっても良好に撮影を行うことができる。
【００９８】
請求項２又は３記載の発明によれば、撮像手段から出力された画像データに対して、非線形特性を有するγ補正テーブルを用いることにより非線形処理を行い、γ補正テーブルを線形特性を有するγ補正テーブルに変更して線形処理を行うことにより、上記非線形処理を禁止するように構成されているので、単一の非線形処理手段を用い、その処理特性を変更するという簡易な構成及び方法により、非線形処理が施されていない第１及び第２の画像データを取得することができ、第１の画像データに含まれる暗電圧に起因するノイズ成分を良好に除去する補正を行うことができる。
請求項４記載の発明によれば、撮像手段から出力された画像データを、非線形処理を行うγ補正回路を迂回させることにより、上記非線形処理を禁止するように構成されているので、γ補正回路のγ補正テーブルを固定的に非線形特性を有するように設定し、画像データを取り込む信号経路を切り換えるという簡易な構成及び方法により、非線形処理が施されていない第１及び第２の画像データを取得することができ、第１の画像データに含まれる暗電圧に起因するノイズ成分を良好に除去する補正を行うことができる。
【００９９】
請求項５記載の発明によれば、第１の画像データから第２の画像データを減算する処理を行うことにより、上記第１の画像データの補正を行うように構成されているので、非線形処理が施されていない第１及び第２の画像データを減算処理するという簡易な構成及び方法により、第１の画像データに含まれる暗電圧に起因するノイズ成分を良好に除去する補正を行うことができる。
請求項６記載の発明によれば、上記第１の画素データに含まれる暗出力成分を除去する補正を行った後、第２の非線形処理手段により第１の画素データに非線形処理を行うようにしているので、第１及び第２の画像データを取得する際に、画像データに対する非線形処理を禁止したことによる被写体像の画質の劣化を抑制することができる。
請求項７記載の発明によれば、上記非線形処理手段及び第２の非線形処理手段は、単一のγ補正回路を用いて、画素データに対して非線形処理を行うようにしているので、簡易な構成及び方法により、第１及び第２の画像データに対する非線形処理を禁止したことによる被写体像の画質の劣化を抑制することができる。
【０１００】
請求項８記載の発明によれば、撮影モード設定手段により特殊撮影モードが設定されている場合に、第１及び第２の画像データを取得するようにしているので、撮影モードを簡易かつ任意に切り換え設定して非線形処理が施されていない第１及び第２の画像データを取得することができ、第１の画像データに含まれる暗電圧に起因するノイズ成分を良好に除去する補正を行うことができる。
請求項９又は１０記載の発明によれば、撮像手段への入射光路を開とした状態で、非線形処理された第３の画像データを取得するようにし、また、取得された第３の画像データをファインダ画像として表示手段に表示するようにしているので、スルー画モードにおいて、被写体像の取り込み状態を表示手段を通して確認することができ、簡易かつ確実に任意の構図を有する画像を撮影（記録）することができる。
請求項１１記載の発明によれば、撮影モード設定手段により通常撮影モードが設定されている場合に、上記第３の画像データを取得するようにしているので、撮影モードを簡易かつ任意に切り換え設定して非線形処理が施された第３の画像データを取得することができ、暗電圧に起因するノイズ成分の影響が少ない通常撮影モードにおける被写体像の画質の劣化を抑制することができる。
【０１０１】
請求項１２又は１７記載の発明によれば、撮像手段（イメージセンサ）への入射光路を開とした状態で、撮像手段から出力された第１の画像データを取得するとともに、撮像手段への入射光路を閉とした状態で、撮像手段から出力された第２の画像データを取得し、該第２の画像データに孤立点が含まれるか否かを判定し、その判定結果に基づいて、第１の画像データに含まれる暗出力成分を除去する補正を行うように構成されているので、上記第１の画像データの補正（例えば、第１及び第２の画像データを減算する処理）を行った場合に、孤立点において生じる不適正な処理結果を防止することができ、被写体像の画質の劣化を抑制することができる。
請求項１３又は１８記載の発明によれば、撮像手段（イメージセンサ）への入射光路を開とした状態で、撮像手段から出力された第１の画像データを取得するとともに、撮像手段への入射光路を閉とした状態で、撮像手段から出力された第２の画像データを取得し、該第１の画像データのレベルが飽和状態にあるか否かを判定し、その判定結果及び第２の画像データに基づいて、第１の画像データに含まれる暗出力成分を除去する補正を行うように構成されているので、上記第１の画像データの補正（例えば、第１及び第２の画像データを減算する処理）を行った場合に、飽和状態にある画素データにおいて生じる不適正な処理結果を防止することができ、被写体像の画質の劣化を抑制することができる。
【０１０２】
請求項１４又は１９記載の発明によれば、撮像手段（イメージセンサ）への入射光路を開とした状態で、撮像手段から出力された第１の画像データを取得するとともに、撮像手段への入射光路を閉とした状態で、撮像手段から出力された第２の画像データを取得し、イメージセンサ周辺の温度が所定の条件を満たす場合に、第２の画像データに基づいて、第１の画像データに含まれる暗出力成分を除去する補正を行うように構成されているので、暗電圧や白キズの温度依存性による画質の劣化を抑制して、良好な被写体像の画像データを得ることができる。また、撮影時の環境変化（温度変化）に応じて画像データの補正の有無を切り換えることができるので、制御処理上の負担を軽減することもできる。
【０１０３】
請求項１５又は２０記載の発明によれば、撮像手段（イメージセンサ）への入射光路を開とした状態で、撮像手段から出力された第１の画像データを取得するとともに、撮像手段への入射光路を閉とした状態で、撮像手段から出力された第２の画像データを取得し、イメージセンサの電荷蓄積期間が所定の条件を満たす場合に、第２の画像データに基づいて、第１の画像データに含まれる暗出力成分を除去する補正を行うように構成されているので、暗電圧や白キズの露光時間依存による画質の劣化を抑制して、良好な被写体像の画像データを得ることができる。また、撮影時の環境変化（露光時間の変化）に応じて画像データの補正の有無を切り換えることができるので、制御処理上の負担を軽減することもできる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の第１の実施形態の概略構成を示すブロック図である。
【図２】第１の実施形態に係る撮像装置に適用されるｎ列×ｍ行の画素を有するＣＣＤの概略構成図である。
【図３】第１の実施形態に係る撮像装置における通常撮影モードの処理動作を示すフローチャートである。
【図４】第１の実施形態に係る撮像装置における特殊撮影モードの処理動作を示すフローチャートである。
【図５】非線形γ補正処理を施した場合の減算処理の効果を示す図である。
【図６】線形γ補正処理を施した場合の減算処理の効果を示す図である。
【図７】γ補正処理回路を含む信号処理用ＬＳＩの概略構成を示すブロック図である。
【図８】本発明に係る撮像装置の第２の実施形態の要部構成を示すブロック図である。
【図９】本発明に係る撮像装置の第２の実施形態の主要処理動作を示すフローチャートである。
【図１０】本発明に係る撮像装置の第３の実施形態の要部構成を示すブロック図である。
【図１１】本発明に係る撮像装置の第３の実施形態の主要処理動作を示すフローチャートである。
【図１２】本発明に係る撮像装置の第４の実施形態の要部構成を示すブロック図である。
【図１３】本発明に係る撮像装置の第４の実施形態の主要処理動作を示すフローチャートである。
【図１４】本発明に係る撮像装置の第５の実施形態の主要処理動作を示すフローチャートである。
【図１５】本発明に係る撮像装置の第６の実施形態の主要処理動作を示すフローチャートである。
【符号の説明】
１１　　　写真レンズ
１２　　　メカシャッタ
１３　　　ＣＣＤ（撮像手段、イメージセンサ）
１４　　　ＣＤＳ
１５　　　Ａ／Ｄ
１６　　　アクチュエータ
２１、２１ａ　　γ補正回路（非線形処理手段）
２１ｂ　　　　　γ補正回路（第２の非線形処理手段）
２２　　　カラープロセス回路
２３　　　ビデオトランスファー回路
２４　　　圧縮・伸長回路
２５　　　ディジタルビデオエンコーダ
３１　　　バッファメモリ
３２　　　フラッシュメモリ
４０　　　ＬＣＤ（表示手段）
５０　　　キー入力部（撮影モード設定手段）
６０　　　ＣＰＵ（第１の撮影制御手段、第２の撮影制御手段、第３の撮影制御手段、画像補正手段、禁止手段、判定手段、第２の非線形処理手段、補正制御手段、電荷蓄積期間判定手段）
８０　　　温度センサ（温度検出手段）[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image pickup apparatus and a signal processing method thereof, and more particularly to an image pickup apparatus such as an electronic still camera using a charge-coupled device as an image pickup device and further including a mechanical shutter, and a signal processing method thereof.
[0002]
[Prior art]
In recent years, with the development of semiconductor technology, mobile tools such as electronic still cameras and notebook computers have become widespread. In particular, an electronic still camera converts an image of a subject transmitted through a photographic lens into an electric signal using a two-dimensional image sensor, and displays image data generated based on the electric signal on a liquid crystal display, Since it can be stored in a semiconductor memory card and further imported into a personal computer or the like and subjected to image processing, it is rapidly spreading as a familiar image editing device.
[0003]
The schematic configuration and operation of a conventional electronic still camera will be briefly described.
Generally, an electronic still camera is configured to include an imaging unit, a signal processing unit, a storage unit, a display unit, an operation unit, and a control unit. A desired subject image is formed on the light receiving surface of the image sensor via the lens, and is accumulated at an exposure time controlled by a driver and a timing generator (TG) based on an output from an automatic exposure (AE) unit. The image information of the subject image is output as an analog electric signal according to the charge amount.
Then, the correlated double sampling circuit (CDS) samples the electric signal output in time series from the image sensor, removes a noise component included in the electric signal, and converts the signal into an analog-digital converter (A / D). Converts an analog electric signal into a digital signal.
[0004]
Next, in the signal processing section, the γ correction circuit performs γ correction processing based on a γ correction table having a predetermined non-linear (non-linear) characteristic, and the color processing circuit interpolates R, G, and B primary colors, for example. A known color signal processing such as exposure calculation (AE), white balance processing (AWB), and generation of a luminance / color difference multiplex signal (YUV signal) based on the image information converted into a digital signal is performed. The image data is output via a video transfer circuit to a storage unit including a buffer memory and a flash memory, and to a display unit such as a liquid crystal display (hereinafter abbreviated as LCD). The color signal processing in the color process circuit may be executed by a signal processing circuit including the above-described gamma correction circuit, or may be executed by providing another signal processing circuit at a stage subsequent to the color process circuit. It may be something.
[0005]
The video transfer circuit includes a color process circuit located at the exit of the imaging unit, a compression / decompression circuit located at the entrance to the storage unit, and data that passes between the components of the digital video encoder located at the entrance to the display unit. Control the flow of
The control of each unit described above is executed in accordance with a program stored in an internal ROM of the control unit including a CPU or the like, or in accordance with an instruction input from an operation unit including a switch key or the like.
[0006]
Here, an image sensor mounted on the above-mentioned electronic still camera generally has a charge coupled device (hereinafter, abbreviated as CCD) as a prototype, and includes a large number of photoelectric conversion elements such as photodiodes and MOS capacitors. The two-dimensional photosensitive unit is configured by arranging each pixel. The output style of pixel signals of this image sensor is divided into a progressive type (also called non-interlaced type) that outputs all pixel signals at once, and an interlaced type that outputs all pixel signals twice. Interlaced CCDs are the mainstream for high-resolution CCDs of 10,000 pixels or more. Most of the CCDs mounted on high-performance electronic still cameras with several million pixels in recent years are of the interlaced type. Details will be described later.
[0007]
[Problems to be solved by the invention]
By the way, the CCD mounted on the above-mentioned electronic still camera has a so-called dark output (dark voltage) characteristic in which an output voltage is generated even in a state where incident light is shielded. Is known to occur. The dark voltage of the CCD has a temperature dependency that the dark voltage increases approximately twice by a change (rise) of the ambient temperature of about 8 ° C. Further, under the same temperature condition, the exposure time (charge accumulation period) has a tendency to increase the dark voltage as the exposure time becomes longer.
The dark voltage in the CCD becomes a noise component, and as a result, adversely affects image data and deteriorates image quality.
Therefore, the conventional electronic still camera has the following problems due to the above characteristics of the CCD.
[0008]
(1) For example, when shooting in a dark environment such as a night scene, if the exposure time is increased to secure the illuminance (light amount) of the subject, the dark voltage increases and the image quality deteriorates significantly. There is a problem that the shutter speed cannot be sufficiently reduced, which is not suitable for shooting in a dark environment.
In order to solve such a problem, if the gain of the amplifier for amplifying a weak electric signal output from the CCD is increased, the dark voltage which was originally small is amplified, and the image quality is also reduced. There was a problem of causing deterioration.
[0009]
(2) Also, since the dark voltage is inherently unique to each photoelectric conversion element constituting the CCD, the address of the pixel with the large dark voltage on the screen is stored in advance, and the corresponding address is set after the end of shooting. A method is known in which the influence of dark voltage is suppressed by replacing pixel data of a pixel with adjacent pixel data.
However, as described above, the dark voltage has characteristics that depend on shooting conditions such as ambient temperature and exposure time, so that the number of pixel data to be replaced greatly varies depending on the shooting environment. In other words, the method of replacing pixel data at a fixed address stored in advance has a problem that a sufficient correction process cannot be realized.
[0010]
(3) Further, after the photographing is completed, the image data of one screen is scanned to detect an isolated point whose data level stands out significantly as compared with the surrounding pixel data, and replaces the adjacent pixel data with the adjacent pixel data. Techniques for suppressing the effect of voltage are known. Here, the isolated point is a pixel having a large dark voltage, such as a bright white black defect or a dark white defect. In general, white flaws with a black background are conspicuous, and therefore, white flaws of black and white flaws at the time of light are targeted. Hereinafter, "white flaws" will be representatively described.
However, when white spots occur continuously over a wide area due to the shooting environment, etc., it is difficult to detect an isolated point, and there is a problem that a sufficient image data correction process cannot be realized. .
(4) Further, image data (dark output component) photographed with the mechanical shutter closed is subtracted from image data (subject image data including a dark output component) photographed with the mechanical shutter opened, thereby obtaining image data. There is known a method of removing a noise component from a sound.
However, in such a method, subtraction processing is performed using image data after performing gamma correction processing having nonlinear characteristics or image data in a saturated state, or performing subtraction even though the level of a dark output component is low. For example, there is a problem that good image data cannot be obtained when the processing is performed.
[0011]
Therefore, the present invention solves the above-mentioned problems, and an image pickup apparatus capable of obtaining good image data by performing a correction process for removing a noise component from image data without deteriorating image quality, and a signal therefor. It is intended to provide a processing method.
[0012]
[Means for Solving the Problems]
The imaging device according to claim 1, wherein the imaging device accumulates charges corresponding to incident light, converts the accumulated charges into image data and outputs the image data, and the incident light path to the imaging device is opened. First imaging control means for acquiring the first image data output from the imaging means, and obtaining second image data output from the imaging means in a state in which the optical path to the imaging means is closed. A second photographing control unit that performs correction of the first image data acquired by the first photographing control unit based on the second image data acquired by the second photographing control unit A correction unit, a non-linear processing unit that performs non-linear processing on the image data output from the imaging unit, and the first and second image data obtained by the first and second imaging control units The said nonlinear processing means Prohibiting means for prohibiting the non-linear processing of the image data by the first and second photographing control means, wherein the first and second photographing control means do not perform the non-linear processing by the non-linear processing means by the prohibiting means. Is acquired.
[0013]
In the imaging device according to claim 2, in the imaging device according to claim 1, the prohibition unit prohibits the non-linear processing by performing a linear process on the image data output from the imaging unit. It is characterized by.
According to a third aspect of the present invention, in the imaging apparatus according to the second aspect, the non-linear processing unit performs non-linear processing by using a γ correction table having a non-linear characteristic, and the prohibition unit executes the γ correction table. The nonlinear processing is prohibited by changing to a γ correction table having linear characteristics.
5. The imaging device according to claim 4, wherein the non-linear processing unit performs non-linear processing using a γ correction circuit, and the prohibition unit performs the non-linear processing using the image data output from the imaging unit. Is bypassed to the γ correction circuit to prohibit the nonlinear processing.
[0014]
According to a fifth aspect of the present invention, in the imaging apparatus according to any one of the first to fourth aspects, the image correction unit performs a process of subtracting the second image data from the first image data. Thus, the first image data is corrected.
7. The imaging device according to claim 6, wherein a second nonlinear process is performed on the first image data corrected by the image correction unit. It is characterized by having means.
The imaging device according to claim 7 is the imaging device according to claim 6, wherein the non-linear processing unit performs non-linear processing using a γ correction circuit, and the second non-linear processing unit uses the γ correction circuit. The non-linear processing is performed on the first image data.
[0015]
An image pickup apparatus according to claim 8, further comprising a photographing mode setting unit for setting a special photographing mode as a photographing mode, wherein the first and second photographing control units are provided. Is characterized in that the first and second image data are acquired when the special shooting mode is set by the shooting mode setting means.
According to a ninth aspect of the present invention, in the imaging device according to any one of the first to eighth aspects, the imaging device is output from the imaging unit in a state where an incident optical path to the imaging unit is opened, and is output by the non-linear processing unit. The image processing apparatus further includes a third imaging control unit that acquires third image data that has been subjected to nonlinear processing.
An imaging device according to a tenth aspect is the imaging device according to the ninth aspect, further comprising a display unit that displays third image data obtained by the third imaging control unit, wherein the third image data is: The image is displayed on the display unit as a finder image.
[0016]
An imaging device according to an eleventh aspect of the present invention is the imaging device according to the ninth aspect, further comprising a shooting mode setting unit that sets a normal shooting mode as a shooting mode, and the third shooting control unit is configured to set the normal shooting mode by the shooting mode setting unit. The third image data is acquired when a shooting mode is set.
The imaging device according to claim 12, wherein the imaging device accumulates electric charge according to the incident light, converts the accumulated electric charge into image data and outputs the image data, and in a state where an incident optical path to the imaging device is opened, First imaging control means for acquiring the first image data output from the imaging means, and obtaining second image data output from the imaging means in a state in which the optical path to the imaging means is closed. A second photographing control means for determining whether or not an isolated point is included in the second image data acquired by the second photographing control means; And an image correcting means for correcting the first image data obtained by the first photographing control means.
[0017]
The imaging device according to claim 13, wherein the imaging device accumulates charges corresponding to the incident light, converts the accumulated charges into image data and outputs the image data, and the incident light path to the imaging device is opened. First imaging control means for acquiring the first image data output from the imaging means, and obtaining second image data output from the imaging means in a state in which the optical path to the imaging means is closed. A second image capturing control means for determining whether or not the level of the first image data acquired by the first image capturing control means is in a saturated state; Image correction means for correcting the first image data obtained by the first imaging control means based on the second image data obtained by the second imaging control means. And
[0018]
The imaging device according to claim 14, wherein the imaging device accumulates charges corresponding to the incident light, converts the accumulated charges into image data and outputs the image data, and the incident light path to the imaging device is opened. First imaging control means for acquiring the first image data output from the imaging means, and obtaining second image data output from the imaging means in a state in which the optical path to the imaging means is closed. A second photographing control unit that performs correction of the first image data acquired by the first photographing control unit based on the second image data acquired by the second photographing control unit Correction means, temperature detection means for detecting a temperature around the imaging means, and whether or not to correct the first image data by the image correction means based on the temperature detected by the temperature detection means. Compensation control to control It is characterized by comprising: a stage, a.
[0019]
The imaging device according to claim 15, wherein the imaging device accumulates electric charges according to the incident light, converts the accumulated electric charges into image data and outputs the image data, and the optical system in a state where an incident optical path to the imaging device is opened. First imaging control means for acquiring the first image data output from the imaging means, and obtaining second image data output from the imaging means in a state in which the optical path to the imaging means is closed. A second photographing control unit that performs correction of the first image data acquired by the first photographing control unit based on the second image data acquired by the second photographing control unit Correction means, a charge accumulation period determining means for determining a charge storage period of the image pickup means, and the first image data of the first image data by the image correction means based on the charge storage period determined by the charge period determination means. Make correction It is characterized by comprising a correction control means for controlling whether or not.
[0020]
A signal processing method for an imaging device according to claim 16, wherein the signal processing method for the imaging device performs non-linear processing on image data output from the image sensor, wherein an incident optical path to the image sensor is opened. Prohibiting the non-linear processing on the image data output from the image sensor in a state to obtain first image data that has not been subjected to the non-linear processing, and closing an optical path incident on the image sensor; Prohibiting the non-linear processing on the image data output from the image sensor in a state to obtain second image data that has not been subjected to the non-linear processing, and based on the second image data, Correcting the first image data.
[0021]
18. The signal processing method for an image pickup apparatus according to claim 17, wherein the first image data output from the image sensor is acquired in a state where an incident optical path to the image sensor is opened, and the light is incident on the image sensor. Obtaining a second image data output from the image sensor in a state where the optical path is closed; determining whether the second image data includes an isolated point; and determining the determination result. And a step of correcting the first image data based on
19. The signal processing method for an image pickup apparatus according to claim 18, wherein the first image data output from the image sensor is acquired in a state where an incident light path to the image sensor is opened, and the light is incident on the image sensor. Obtaining the second image data output from the image sensor with the optical path closed, determining whether the level of the first image data is in a saturated state, Correcting the first image data based on a result and the second image data.
[0022]
20. The signal processing method for an imaging device according to claim 19, wherein the first image data output from the image sensor is acquired in a state in which an incident optical path to the image sensor is opened, and the light is input to the image sensor. Obtaining the second image data output from the image sensor in a state where the optical path is closed, detecting the temperature around the image sensor, and when the detected temperature satisfies a predetermined condition. Correcting the first image data based on the second image data.
21. The signal processing method for an image pickup device according to claim 20, wherein the first image data output from the image sensor is acquired in a state where an incident optical path to the image sensor is opened, and the light incident on the image sensor is obtained. Obtaining the second image data output from the image sensor in a state where the optical path is closed; determining the charge storage period of the image sensor; and determining the determined charge storage period under a predetermined condition. And a step of correcting the first image data based on the second image data.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First embodiment>
FIG. 1 is a block diagram illustrating a schematic configuration of a first embodiment of an imaging device according to the present invention.
In FIG. 1, 11 is a photographic lens, 12 is a mechanical shutter, 13 is a CCD (imaging means, image sensor), 14 is a correlated double sampling circuit (CDS), 15 is an analog-digital converter (A / D), 16 Is an actuator for the mechanical shutter 12, 17 is a driver for driving the image sensor 13, 18 is a timing generator (TG), 21 is a gamma correction circuit (non-linear processing means), 22 is a color process circuit, 23 is a video transfer circuit, 24 Is a compression / expansion circuit, 25 is a digital video encoder, 31 is a buffer memory, 32 is a flash memory, 40 is an LCD (display means), 50 is a key input unit (photographing mode setting means), and 60 is a CPU (first photographing mode). Control means, second photography control means, third photography control means, image correction means, prohibition means, determination means Second nonlinear processing means), 70 denotes a bus.
[0024]
The function of each of these parts is generally as follows.
・ Photo lens 11:
This is for forming an image of a subject on the light receiving surface of the CCD 13, and includes a focusing mechanism for an automatic focusing function. Note that a zoom function may be provided, or a retractable type may be provided.
-Mechanical shutter 12 and actuator 16:
The actuator 16 mechanically blocks light incident on the light receiving surface of the CCD 13, and the actuator 16 drives the mechanical shutter 12 to open and close according to a control signal from the CPU 60. The mechanical shutter 12 opens an optical path to the light receiving surface of the CCD 13 when the mechanical shutter 12 is in the open state. The optical path is closed in the closed state.
[0025]
・ CCD13:
The interlaced CCD described above is capable of switching between field reading and frame reading by external control. The exposure time at the time of field reading is controlled by the opening and closing operation of the electronic shutter (SUB and XSG application timing), and the exposure time at the time of frame reading is controlled by the opening operation of the electronic shutter (SUB application timing) and the closing operation of the mechanical shutter 12. Controlled. Note that field reading (also referred to as field accumulation) and frame reading (also referred to as frame accumulation) will be described later.
[0026]
Here, a specific configuration of a CCD favorably applied to the imaging device according to the present embodiment will be described with reference to the drawings.
FIG. 2 is a schematic configuration diagram of a CCD having pixels of n columns × m rows.
As shown in FIG. 2, the CCD has n × m photoelectric conversion elements 131 that accumulate electric charges according to the amount of incident light arranged in a matrix, and a total of n vertical conversion elements, one between each column. The image pickup area 133 is formed by arranging the transfer section 132, and the horizontal transfer section 134 is arranged below the image pickup area 133 in the drawing.
The signal charge accumulated in the photoelectric conversion element 131 is taken into the adjacent vertical transfer unit 132 in response to a read signal XSG applied from a drive circuit (not shown), and the vertical transfer clock 132 Are sequentially transferred downward in the drawing in synchronization with
[0027]
The output terminals of all the vertical transfer units 132 are connected to a horizontal transfer unit 134, and signal charges for one line are sequentially taken into the horizontal transfer unit 134 in synchronization with the vertical transfer clock φV. The signal charges taken into the horizontal transfer unit 134 are sequentially transferred in the left direction in the drawing in synchronization with the horizontal transfer clock φH, and the signal charges reaching the output terminal of the horizontal transfer unit 134 are converted into electric signals by the charge detection unit 135. After being converted and amplified by the amplifier 136, it is taken out from the terminal 137 as a CCD output. Note that SUB is a signal voltage (a so-called charge sweeping pulse) for extracting the accumulated charges of all the photoelectric conversion elements 131 to the substrate. The time from the application of SUB to the application of XSG is the exposure time of the electric shutter (hereinafter referred to as “electronic shutter”) of the CCD.
The above-mentioned field readout means that in the CCD shown in FIG. 2, pixel signals of odd lines and even lines such as odd lines O1 and even lines E1 and odd lines O2 and even lines E2,. This is a method of mixing and outputting at once, and the frame readout is a method of performing CCD output in two parts, odd-numbered frames (O1, O2, O3,...) And even-numbered frames (E1, E2, E3,...). It is.
[0028]
In recent years, an LCD-equipped electronic still camera employs a through image mode in which an image of a subject is projected as a through image on an LCD screen to adjust the composition. In such an operation mode, the exposure time by an electronic shutter is used. Each time, the through image is updated.
On the other hand, when a desired composition is obtained in the through image mode, a capture operation of pressing a shutter key and recording an image of a subject as a captured image in a memory or the like is performed. In the capture operation, in order to fix the subject image formed on the CCD, a mechanical shutter mechanism (mechanical shutter described above) for blocking incident light to the CCD becomes indispensable, and a shutter key (key input unit 50) is provided. ) Is the exposure time of the mechanical shutter from the start of the exposure of the electronic shutter to the closing of the mechanical shutter to cut off the light incident on the CCD.
[0029]
・ Driver 17 and TG18:
This is a section for generating drive signals (for example, φV, XSG, φH, SUB, etc. in FIG. 2) necessary for reading the CCD 13, and the CCD 13 outputs an image signal in synchronization with these drive signals.
・ CDS14:
A time-series signal (analog signal at this stage) read from the CCD 13 is subjected to correlated double sampling at a frequency suitable for the resolution of the CCD 13. Note that automatic gain adjustment may be performed after sampling.
A / D15:
It converts a sampled analog signal into a digital signal.
[0030]
.Gamma. Correction circuit 21:
The digitally converted image signal is subjected to γ correction processing (non-linear processing) based on a γ correction table having ordinary non-linear (non-linear) characteristics, and in the present embodiment, in accordance with a control signal from the CPU 60, It has a function of changing the setting of the γ correction table to linear (linear) characteristics and performing γ correction processing (linear processing) based on the γ correction table.
Here, the γ correction circuit 21 is provided in an integrated circuit configuration (for example, as an LSI) together with other signal processing circuits such as a digital clamp circuit and a white balance correction processing circuit, as described later. You may.
[0031]
-Color process circuit 22:
The color process circuit 22 performs interpolation processing of R, G, and B primary colors, exposure calculation (AE), white balance processing (AWB) based on the output signal from the gamma correction circuit 21, and converts the image information into a digital signal. A well-known color signal processing such as generation of a luminance / color difference multiplex signal (YUV signal) is performed based on this.
Here, the reason for generating the YUV signal is that the size of the color data (RGB data) output from the imaging system is large, so that limited memory resources are effectively used and the processing time is shortened. Is used as a data amount reduction signal. Note that the color signal processing in the color process circuit 22 may be executed by a signal processing circuit including the γ correction circuit 21, or may be executed by providing another signal processing circuit after the color process circuit 22. May be used.
[0032]
-Video transfer circuit 23:
The video transfer circuit 23 controls the flow of data flowing between the color process circuit 22, buffer memory 31, compression / expansion circuit 24 and flash memory 32, digital video encoder 25, and LCD 40.
Specifically, a process of writing or reading image data is executed between the buffer memory 31 holding the image data generated by the color process circuit 22 and the flash memory 32 via the compression / expansion circuit 24. Further, a process of displaying and outputting the image data held in the buffer memory 31 to the LCD 40 via the digital video encoder 25 is executed.
[0033]
-Compression / expansion circuit 24:
For example, it is a part that performs compression processing and decompression processing of the JPEG encoding method. The JPEG compression parameters may be fixed or may be provided from the CPU 60 each time compression processing is performed.
-Digital video encoder 25:
The image data read from the buffer memory 31 via the video transfer circuit 23 is converted into an analog voltage, and is sequentially output at a timing according to the scanning method of the LCD 40.
[0034]
-Buffer memory 31:
It is composed of a DRAM which is a kind of rewritable semiconductor memory. However, the present invention is not limited to a DRAM. Any rewritable semiconductor memory may be used.
-Flash memory 32:
Of a rewritable read-only memory (PROM), the contents of all bits (or blocks) can be erased electrically and the contents can be rewritten electrically, and is also referred to as a flash EEPROM (flash electrically programmable PROM). The flash memory 32 in the present embodiment may be a fixed type built in the camera body or a detachable type such as a card type or a package type.
[0035]
-CPU60:
A predetermined program is executed to centrally control the operation of the entire camera. Here, the program is written in the instruction ROM inside the CPU 60. In the recording mode, the program for the mode is loaded into the internal RAM and executed, and in particular, the operation of pressing the shutter key (half press, full press) In response to the pressing, a control signal for opening and closing the mechanical shutter 12, a control signal for driving the CCD 13, and a control signal for changing the characteristic setting of the γ correction table of the γ correction processing circuit 21 are output.
・ Bus 70:
This is a transfer path for data (and addresses) shared between the above-described units.
[0036]
Next, an image recording operation of the imaging apparatus according to the present embodiment will be described with reference to the drawings. Here, a case where the image recording operation according to the present embodiment is applied to an imaging device (electronic still camera with an LCD) having the above-described through image mode will be described in detail.
<Normal shooting mode>
First, a normal shooting mode will be described with reference to the drawings.
FIG. 3 is a flowchart illustrating a processing operation in the normal imaging mode in the imaging apparatus according to the present embodiment. Here, in FIG. 3, only the points of the image recording operation are indicated by simplified terms.
[0037]
・ Through operation
First, after the user of the electronic still camera switches the mode switch (photographing mode setting means) provided on the key input unit 50 to the recording (REC) mode, the user selects the normal photographing mode from the menu displayed on the LCD 40. Then, the mechanical shutter 12 is opened, and the image information of the subject formed on the light receiving surface of the CCD 13 is displayed and output as a through image on the LCD 40 at regular intervals (exposure time).
That is, by switching to the recording mode, a through image mode is set in the CPU (third imaging control unit) 60 (S101), and based on various information such as illuminance and focal length acquired from the imaging environment of the subject. The exposure time T0 is set (S102). In the through image mode, the electronic shutter of the CCD 13 is controlled to be opened and closed by the driver 17 and the TG 18 every time the exposure time T0 elapses (S103), and an electric signal (CCD data) output from the CCD 13 is fetched each time (S103). S104), digital signal conversion by the A / D 15 and nonlinear γ correction processing by the γ correction circuit (nonlinear processing means) 21 are performed (S105).
[0038]
Next, the color process circuit 22 performs color signal processing such as interpolation processing of the R, G, and B primary colors, automatic exposure calculation (AE calculation) / white balance (AWB) correction processing, and generation of a luminance / color difference multiplex signal. (S106, S107) Image data for one screen (third image data) is generated.
Then, the image data generated by the color process circuit 22 is transferred to the buffer memory 31 by the video transfer circuit 23, and then subjected to video processing by the digital video encoder 25 (S108), and displayed on the LCD (display means) 40. The signal is converted into a signal format corresponding to the system and displayed and output as a through image (finder image) (S109).
[0039]
・ Capture operation
In the through image operation, when the direction of the camera body or the photographic lens is changed, the composition of the through image displayed on the LCD 40 changes. Then, when a through image having a desired composition is obtained, the shutter key provided on the key input unit 50 is "half-pressed" (S110), based on information obtained from the shooting environment of the subject. The exposure time T1 and the focus are set (S111), and the electronic shutter is driven to open by pressing "fully" (S112, S113). After the exposure time T1 set in step S111 has elapsed (S114), the driver 17 The mechanical shutter 12 is driven to be closed by the TG 18 (S115), the CCD data output from the CCD 13 is fetched (S116), and digital signal conversion by the A / D 15 and nonlinear γ correction processing by the γ correction circuit 21 are performed (S117). ).
[0040]
Next, the color process circuit 22 performs color signal processing such as R, G, and B primary color interpolation processing, AE calculation / AWB correction processing, and the like (S118), and generates image data for one screen, and the video transfer circuit 23. Is transferred to the buffer memory 31. At this time, the image data taken into the buffer memory 31 is fixed at the subject image formed on the CCD 13 at the time when the mechanical shutter 12 is closed, and the through image displayed on the LCD 40 is also fixed at the same point. You.
Further, after a compression process such as JPEG encoding is performed by the video transfer circuit 23 via the compression / decompression circuit 23 (S119), the captured image for one screen is recorded in the flash memory 32 (S120). . When shooting is continued, that is, when the normal shooting mode is not canceled (S121), the process returns to step S101, the mechanical shutter 12 is again opened, the through image mode is set (S101), and the above-described step S101 is performed. To S121 are repeated.
According to the imaging apparatus having such a series of processing operations, after setting the exposure time (accumulation period) T1 suitable for a relatively bright normal shooting condition and capturing the image data of the subject image, the nonlinear γ The predetermined signal processing such as the correction processing is performed, and the photographing and image recording operations are performed favorably.
[0041]
<Special shooting mode>
Next, a special shooting mode suitable for shooting a night scene or the like will be described with reference to the drawings.
FIG. 4 is a flowchart illustrating a processing operation in the special imaging mode in the imaging apparatus according to the present embodiment. Here, in FIG. 4, only the points of the image recording operation are indicated by simplified terms.
[0042]
・ Through operation
First, after the user of the electronic still camera switches the mode switch (photographing mode setting means) provided on the key input unit 50 to the recording (REC) mode, the special photographing mode is selected from the menu displayed on the LCD 40. Then, the mechanical shutter 12 is opened, and the CPU (third shooting control unit) 60 sets the through image mode (S201). The exposure time T0 is set based on various information such as the illuminance and the focal length obtained from the shooting environment of the subject (S202), and in the through image mode, the driver 17 and the TG 18 each time the exposure time T0 elapses. (S203) The electronic shutter of the CCD 13 is controlled to open and close. Each time, an electric signal (CCD data) output from the CCD 13 is fetched (S204), and a digital signal conversion by the A / D 15 and a γ correction circuit (non-linear processing) The gamma correction process is performed based on the gamma correction table having the non-linear characteristic by the means 21 in the same manner as in the normal shooting mode (S205).
[0043]
Next, the color process circuit 22 performs color signal processing such as interpolation processing of the R, G, and B primary colors, automatic exposure calculation (AE calculation) / white balance (AWB) correction processing, and generation of a luminance / color difference multiplex signal. (S206, S207) Image data for one screen (third image data) is generated.
Then, the image data generated by the color process circuit 22 is transferred to the buffer memory 31 by the video transfer circuit 23, and then subjected to video processing by the digital video encoder 25 (S208), and is displayed on the LCD (display means) 40. It is converted into a signal format corresponding to the system and displayed and output as a through image (finder image) (S209).
[0044]
・ Capture operation
Next, when a through-image having a desired composition is displayed on the LCD 40, the shutter key provided on the key input unit 50 is "half-pressed" (S210), whereby the CPU (first photographing control means, The second photographing control means, prohibition means) 60 detects the start of the recording operation, outputs a control signal to the γ correction circuit 21, and changes the characteristic setting of the γ correction table from normal nonlinear characteristics to linear characteristics (S211). ). Further, the exposure time T1 and the focus are set based on information acquired from the shooting environment of the subject (S212).
[0045]
Further, the electronic shutter is driven to open by pressing the shutter key and fully pressed, and after the exposure time T1 set in step S212 has elapsed (S215), the mechanical shutter 12 is driven to close by the driver 17 and the TG 18 ( S216), CCD data (DATA1: first image data) of the subject image output from the CCD 13 is fetched (S217), digital signal conversion by the A / D 15 is performed, and γ is changed to linear characteristics in step S211. Based on the correction table, a linear γ correction process is performed by the γ correction circuit 21 (S218). When the mechanical shutter 12 is driven to be closed in steps S216 and S217 and the CCD data (DATA1) is taken in from the CCD 13, the electronic shutter is driven to be closed.
[0046]
Next, with the mechanical shutter 12 closed (S220), the electronic shutter is again driven to open (S214), and the above-described processes from steps S214 to S218 are executed using the exposure time T1 set in step S212. Accordingly, the CCD data (DATA2: second image data) that does not include the subject image but includes the dark output component of the CCD 13 under the current photographing conditions is captured, and the CCD data (DATA1) captured earlier is used. Similarly, a linear γ correction process is performed by the γ correction circuit 21 based on a γ correction table having linear characteristics. Note that the CCD data (DATA1, DATA2) captured by the above-described steps S214 to S218 and subjected to the γ correction processing may be temporarily stored in the buffer memory 31, for example. Alternatively, the program may be stored in a RAM (not shown) attached to the CPU 60 that performs a subtraction process described later.
[0047]
As described above, when the two captures of the CCD data (DATA1, DATA2) are completed (S219), the CPU (determination means) 60 causes the CPU 60 (determination means) to execute the pixel data in the second capture of the CCD data (DATA2). It is determined whether or not the target pixel is a white defect of a predetermined level or more (S221). If it is determined that the pixel data is a white defect, DATA1 corresponding to the pixel is determined. It is determined whether or not the level of the middle pixel data is saturated (S222).
[0048]
According to such a series of determination processes (S221 and S222), when the pixel data in the CCD data (DATA2) captured for the second time is not a white defect of a predetermined level or more, the corresponding pixel data in DATA1 is deleted. Handle as valid data that does not require correction processing. Further, even if the pixel data in the CCD data (DATA2) fetched for the second time is a white defect of a predetermined level or more, if the level of the pixel data in DATA1 corresponding to the pixel is saturated, Treats the corresponding pixel data in DATA1 as data that is not subject to correction processing. The details of the determination processing in steps S221 and S222 will be described later.
[0049]
On the other hand, when the pixel data in the CCD data (DATA2) captured for the second time is a white defect of a predetermined level or more, and the level of the pixel data in DATA1 corresponding to the pixel is not saturated, DATA1 The corresponding pixel data therein is determined as the data to be subjected to the correction processing, and the CPU (image correction means) 60 converts the first captured CCD data (DATA1) to the second captured CCD data (DATA2). (Subtraction process), that is, a correction process for removing a dark output component of the CCD 13 that is included in the CCD data (DATA1) and the CCD data (DATA2) in common (S223). .
[0050]
The pixels to be subjected to the above-described white defect determination processing and correction processing are sequentially changed (S225), and the processing is performed for all pixels for one screen output from the CCD 13 (S224). Correction processing is performed (S226), and further, color signal processing such as R, G, B primary color interpolation processing and AE calculation / AWB correction processing is performed (S227), and one screen is stored in the buffer memory 31 by the video transfer circuit 23. Minute image data is transferred. Here, the non-linear gamma correction processing in step S226 does not use the above-described gamma correction processing circuit 21. For example, the CPU (second non-linear processing means) 60 uses software to generate non-linear gamma equivalent to that during the through operation. The correction processing (S205) is executed.
[0051]
Further, after a compression process such as JPEG encoding is performed by the video transfer circuit 23 via the compression / decompression circuit 24 (S228), it is recorded in the flash memory 32 as a captured image for one screen (S229). . If shooting is continued, that is, if the special shooting mode is not canceled (S230), the process returns to step S201, where the mechanical shutter 12 is again opened, and the through image mode (setting change to the nonlinear characteristic of the γ correction table) is performed. Is set (S201), and the above-described series of processing operations of steps S201 to S230 are repeated.
[0052]
Next, the relationship between the above-described characteristic setting of the γ correction processing and the subtraction processing (correction processing for removing the dark output component of the CCD from the image data of the subject image) will be described with reference to the drawings.
FIG. 5 shows a case where the non-linear γ correction processing by the γ correction circuit 21 is performed on DATA1 and DATA2, that is, in step S211 in the flowchart of FIG. 4, the γ correction table of the γ correction circuit 21 is changed to linear characteristics. FIG. 6 is a diagram showing the effect of the subtraction processing when there is no data. FIG. 6 shows the case where the linear γ correction processing by the γ correction circuit 21 is performed on DATA1 and DATA2, that is, γ in step S211 in the flowchart of FIG. FIG. 14 is a diagram illustrating the effect of the subtraction processing when the setting of the γ correction table of the correction circuit 21 is changed to the linear characteristic (this embodiment).
First, as shown in FIG. 5A, when the input / output signal characteristics in the γ correction circuit 21 are nonlinear, the slopes Pa and Pb on the characteristic curves with respect to the input levels <a> and are Pa <Pb. It becomes the relationship.
[0053]
On the other hand, as shown in FIG. 5 (b), the data level of the CCD data (DATA1) captured for the first time with the mechanical shutter 12 opened is the random noise component A and the dark voltage in addition to the original data component C of the subject image. The sum of the components (or white flaw components) B is [a]. Since the data level of the CCD data (DATA2) captured second time with the mechanical shutter 12 closed is not including the data component C of the subject, the data level is the total [b] of the random noise component A ′ and the dark voltage component B ′. Become.
Therefore, the DATA1 having a large data level is subjected to the γ correction processing with a gentle slope, that is, a small γ coefficient, whereas the DATA2 having a small data level is subjected to the γ correction processing with a steep slope, that is, a large γ coefficient. Therefore, the dark voltage components B and B ′ become non-uniform due to the non-linear γ correction processing, and there is a problem that the dark voltage component cannot be properly removed by the above-described subtraction processing of subtracting DATA2 from DATA1.
[0054]
On the other hand, as shown in FIG. 6A, when the input / output signal characteristics in the γ correction circuit 21 are linear, the slopes on the characteristic lines for the input levels <a> and are always equal and constant. Become a relationship.
Therefore, as shown in FIG. 6B, the gamma correction processing is performed using a constant gamma coefficient both for DATA1 having a large data level (total [a]) and for DATA2 having a small data level (total [b]). Is performed, the dark voltage components B and B ′ are always uniform, and the dark voltage component can be appropriately removed by the above-described subtraction processing of subtracting DATA2 from DATA1.
[0055]
Next, the above-described γ correction processing circuit 21 will be described with reference to the drawings.
FIG. 7 is a block diagram showing a schematic configuration of a signal processing LSI including a γ correction processing circuit.
As described above, the γ correction circuit 21 may be any circuit in which the characteristic setting of the γ correction table is variably configured. In recent years, in an imaging apparatus such as an electronic still camera, a gamma correction circuit is often provided together with another signal processing circuit in a one-chip LSI.
[0056]
Therefore, as shown in FIG. 7, the signal processing LSI 20 receives, for example, a signal (CCD data in the figure) output from the CCD 13 and sampled and digitized by the CDS 14 and the A / D 15 and outputs a predetermined black signal. A digital clamp processing unit A for clamping to a level, a shading correction processing unit B for performing shading correction when shading occurs in an optical system such as the photographic lens 11, a white balance correction processing unit C, and characteristic settings can be changed. And a gamma correction processing unit D having a gamma correction table E. The γ correction table E is configured to be able to change (or switch) the γ characteristic in a non-linear or linear manner based on a control signal from outside the LSI 20 (that is, the CPU 60).
[0057]
In the present embodiment, the signal processing LSI 20 performs normal nonlinear γ correction processing on the CCD data output from the CCD during the through operation and the capture operation in the normal shooting mode, while using the signal processing LSI 20 in the present embodiment. At the time of the capture operation in the photographing mode, the linear γ correction processing is performed. Further, as described above, during the capture operation in the special photographing mode, the normal non-linear γ correction processing equivalent to that during the through operation is executed by software in the subsequent processing.
[0058]
In the present embodiment, as a condition for determining whether or not execution of the subtraction process is necessary, it is determined whether or not the level of the pixel in DATA1 corresponding to the pixel determined to be a white defect in DATA2 is saturated. The reason for this is that regardless of the saturation state of the pixel data in DATA1 (for example, when the level of the pixel data is about the threshold value for determining the saturation state or greatly exceeds the threshold value). However, in the above-described subtraction processing, the level of the corresponding white defect of DATA2 is always subtracted from the saturation level. Therefore, the level calculated from the pixel data in the saturated state is the original level of the pixel data. Is lower than the level of the image, and the gradation is displayed lower than that of the surrounding pixels.
[0059]
In particular, human vision has a small black (gradation) on a white (high gradation) background compared to a case where a small white (high gradation) point exists on a black (low gradation) background. (Low) is more sensitive to the presence of a point, and by performing the subtraction processing on the pixel data in the saturated state as described above, the pixel level becomes black (compared to the surrounding pixels). (Low gradation) is displayed, and the image quality is more sensitively deteriorated. Therefore, the pixel data in DATA1 whose level is saturated is excluded from the target of the subtraction processing, and only the pixel data which is not saturated is subtracted from the level of the corresponding white defect pixel of DATA2, thereby obtaining the pixel in DATA1. This is to correct the data level appropriately to the original level and suppress the deterioration of the image quality.
[0060]
According to the imaging apparatus having such a series of processing operations, the CCD 13 is changed in a state where the γ correction table is changed to the linear characteristic and the γ correction processing by the γ correction circuit is substantially prohibited (in a state where the linear processing is performed). The CCD data (DATA2) captured with the incident optical path closed is subtracted from the CCD data (DATA1) captured with the incident optical path (mechanical shutter 12) to the open state, so that even long-exposure shooting can be performed. Since the noise component caused by the dark voltage can be satisfactorily removed, it is possible to take a good image even in a dark environment such as a night scene.
Further, even when the photographing conditions and the photographing environment change, CCD data (DATA1, DATA2) corresponding to the conditions and the environment can be captured, and the fluctuating dark voltage component can be properly corrected by the subtraction processing. Since the correction for removal can be performed, it is not necessary to hold and store the address data for each photoelectric conversion element constituting the CCD as shown in the prior art. Records can be made.
[0061]
Further, with respect to the CCD data (DATA1, DATA2), the presence / absence of white flaws and the saturation state of the data level are determined, and the subtraction processing is performed so as to reduce the influence of the white flaws on the original image data of the subject image. In addition, an isolated point (white defect) caused by the dark voltage is removed, so that appropriate photographing and image recording of a subject image can be performed.
In the above-described embodiment, the white defect determination (S221) and the determination as to whether or not the data level is saturated (S222) are performed in units of pixel data, and the necessity of performing the subtraction process (S223) is determined. However, a process of simply (directly) subtracting DATA2 from DATA1 may be performed without performing such processes (S221 to S225).
[0062]
<Second embodiment>
Next, a second embodiment of the imaging apparatus according to the present invention will be described with reference to the drawings.
FIG. 8 is a block diagram illustrating a main configuration of an imaging apparatus according to a second embodiment of the present invention. FIG. 9 is a flowchart illustrating main processing operations of the imaging apparatus according to the second embodiment of the present invention. It is. The same components or processing operations as those in the above-described embodiment are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The imaging apparatus according to the present embodiment has a γ correction circuit (non-linear processing means) for performing non-linear processing as shown in FIG. 8 instead of the γ correction circuit 21 in the configuration of the above-described first embodiment (FIG. 1). ) 21a, a signal path Ln1 passing through 21a, a bypass path Ln2 not passing through the γ correction circuit 21a, and a switch SW1 for selectively switching between the signal path Ln1 and the bypass path Ln2.
[0063]
Here, the switch SW1 is controlled by a control signal from the CPU (prohibiting means) 60. That is, in the normal shooting mode and the through image mode, the signal path Ln1 passing through the γ correction circuit 21a is controlled to be selected, and the CCD data used for the correction processing for removing the dark voltage component of the CCD 13 is controlled. When (DATA1, DATA2) is taken in, control is performed such that the bypass path Ln2 not including the γ correction circuit 21a is selected. The γ correction circuit 21a is configured to execute γ correction processing based on a γ correction table having a non-linear characteristic fixedly set in advance.
[0064]
Hereinafter, a specific processing operation in the special shooting mode will be described with reference to a flowchart of FIG. In addition, as needed, the flowchart shown in FIG. 4 is referred to.
・ Through operation
First, after the user of the electronic still camera switches the mode switch (photographing mode setting means) provided on the key input unit 50 to the recording (REC) mode, the special photographing mode is selected from the menu displayed on the LCD 40. Then, the mechanical shutter 12 is opened, and the CPU (third shooting control unit) 60 sets the through image mode. At this time, a control signal is output from the CPU 60, and the switch SW1 is switched and set to select the signal path Ln1 passing through the γ correction circuit 21a. Then, in the through image mode, similarly to the processing operation (S201 to S209) shown in FIG. 4, every time the predetermined exposure time T0 elapses, the CCD data based on the subject image is fetched, and the nonlinear correction by the γ correction circuit 21a is performed. One screen of image data (third image data) obtained by performing γ correction processing, color signal processing by the color process circuit 22, and the like is displayed on the LCD (display unit) 40 as a through image (finder image). Displayed and output.
[0065]
・ Capture operation
Next, when a through image having a desired composition is displayed on the LCD 40, the shutter key provided on the key input unit 50 is "half-pressed" (S210), and as shown in FIG. The first photographing control unit, the second photographing control unit, and the prohibiting unit) 60 detect the start of the recording operation and output a control signal to the switch SW1, so that the second signal path Ln2 side that does not pass through the γ correction circuit 21a (S301). Further, the exposure time T1 and the focus are set based on information acquired from the shooting environment of the subject (S302).
Furthermore, the electronic shutter is opened (S304) by depressing the shutter key and pressing "fully" (S303). After the exposure time T1 set in step S302 has elapsed (S305), the mechanical shutter is operated by the driver 17 and TG18. 12 is closed (S306), the CCD data (DATA1: first image data) of the subject image output from the CCD 13 is fetched (S307), and digital signal conversion by the A / D 15 is performed (S308). When the mechanical shutter 12 is driven to be closed in steps S306 and S307 and the CCD data (DATA1) is taken in from the CCD 13, the electronic shutter is driven to be closed.
[0066]
Next, with the mechanical shutter 12 closed (S310), the electronic shutter is again driven to open (S304), and the above-described processes from steps S304 to S308 are executed using the exposure time T1 set in step S302. Thus, under the current photographing conditions, CCD data (DATA2: second image data) that does not include the subject image but includes the dark output component of the CCD 13 is captured and digital signal conversion is performed.
As described above, when the two captures of the CCD data (DATA1, DATA2) are completed (S309), the CPU (determination means) 60 performs the second capture in the same manner as the processing operation (S221 to S230) shown in FIG. It is determined whether or not the pixel data in the captured CCD data (DATA2) is a white defect of a predetermined level or more, and whether or not the level of the pixel data in DATA1 corresponding to the pixel data is saturated. The necessity of executing the subtraction processing (correction processing for removing the dark output component) by the (image correction means) 60 is determined.
[0067]
After the dark output component removal based on the necessity of the above-described subtraction processing is determined and executed for all pixels for one screen output from the CCD 13, the CPU (second nonlinear processing means) 60 performs software nonlinear processing. After performing gamma correction processing and predetermined color signal processing and performing compression processing such as JPEG encoding, the image is recorded in the flash memory 32 as a captured image. When shooting is continued, the through image mode is set again, so that the switch SW1 is switched and set to select the first signal path Ln1 passing through the γ correction circuit 21a.
As a result, in the correction processing for removing the dark voltage component, the second signal path Ln2 that does not pass through the γ correction circuit 21a is selected, and the γ correction processing on the CCD data (DATA1, DATA2) is prohibited. Similarly to the case described in No. 6, since the non-linear processing is not performed on DATA1 and DATA2, the noise component caused by the dark voltage is favorably removed by the subtraction processing of subtracting DATA2 from DATA1.
[0068]
Further, in this case, the gamma correction process for the CCD data (DATA1, DATA2) can be prohibited only by switching the switch SW1 without changing and setting the gamma correction table of the gamma correction circuit 21a. With the configuration, it is possible to satisfactorily execute a process of removing a noise component caused by a dark voltage.
In the normal shooting mode, the same operation processing as that of the flowchart shown in FIG. 3 is executed. At the time when the through image mode is set (S101), a control signal is output from the CPU 60 and the switch SW1 is set to the γ correction. By being fixedly set on the first signal path Ln1 side passing through the circuit 21a, the through operation and the capture operation are performed well.
[0069]
<Third embodiment>
Next, a third embodiment of the imaging device according to the present invention will be described with reference to the drawings.
FIG. 10 is a block diagram illustrating a main configuration of an imaging apparatus according to a third embodiment of the present invention. FIG. 11 is a flowchart illustrating main processing operations of the imaging apparatus according to the third embodiment of the present invention. It is. The same components or processing operations as those in the above-described embodiment are denoted by the same reference numerals, and description thereof will be omitted or simplified.
As shown in FIG. 10, the image pickup apparatus according to the present embodiment has the same configuration as that of the first embodiment (FIG. 1), as shown in FIG. 10, except for the image data from which the dark voltage component has been removed (image data obtained by subtracting DATA2 from DATA1: correction). Signal path Ln3 which takes in the obtained first image data) via the video transfer circuit 23 into a γ correction circuit (non-linear processing means, second non-linear processing means) 21b for performing non-linear processing, and into the γ correction circuit 21b A switch SW2 for selectively switching a signal (CCD data (DATA1, DATA2) or image data from which a dark voltage component taken in via the signal path Ln3 has been removed).
[0070]
Here, the control signal from the CPU (prohibiting means) 60 controls the switching of the switch SW2, and also controls the change of the characteristic setting of the γ correction table of the γ correction circuit 21b. That is, in the normal photographing mode and the through image mode, the switch SW2 is controlled to the contact side for taking in the CCD data, and the γ correction table of the γ correction circuit (nonlinear processing means) 21b is set to have a non-linear characteristic. Is done. In the special photographing mode, in the processing for removing the dark voltage component, the switch SW2 is controlled to the contact side for taking in the CCD data (DATA1, DATA2), and the γ correction table of the γ correction circuit 21b has a linear characteristic. It is set as follows. Further, after removing the dark voltage component, the switch SW2 is controlled to the contact side for taking in the image data input via the signal path Ln3, and the γ of the γ correction circuit (second nonlinear processing means) 21b. The correction table is set to have a non-linear characteristic.
[0071]
Hereinafter, a specific processing operation in the special shooting mode will be described with reference to a flowchart of FIG. In addition, as needed, the flowchart shown in FIG. 4 is referred to.
・ Through operation
First, as shown in FIG. 11A, after the user of the electronic still camera switches the mode switch (photographing mode setting means) provided on the key input unit 50 to the recording (REC) mode, the display is displayed on the LCD 40. When the special shooting mode is selected from the menu, the mechanical shutter 12 is opened, and the CPU (third shooting control means) 60 sets the through image mode (S401). At this time, a control signal is output from the CPU 60, the switch SW2 is controlled to the contact side for taking in the CCD data (S402), and the γ correction table of the γ correction circuit 21b is set to have a non-linear characteristic (S403). ). In the through image mode, similarly to the processing operation (S202 to S209) shown in FIG. 4, every time the predetermined exposure time T0 elapses, the CCD data based on the subject image is fetched, and the non-linear One screen of image data (third image data) obtained by performing γ correction processing, color signal processing by the color process circuit 22, and the like is displayed on the LCD (display unit) 40 as a through image (finder image). Displayed and output.
[0072]
・ Capture operation
Next, similarly to the capture operation (S210 to S225) shown in FIG. 4, when a through image having a desired composition is displayed on the LCD 40, the shutter key provided on the key input unit 50 is "half-pressed". As a result, the CPU 60 (first imaging control means, second imaging control means, prohibiting means) detects the start of the recording operation and outputs a control signal, and the γ correction table of the γ correction circuit 21b has a linear characteristic. To change the settings. Further, the exposure time T1 and the focus are set based on information acquired from the shooting environment of the subject.
Hereinafter, similarly to the processing operation in the first embodiment described above, the CCD data (DATA1: first image data) when the mechanical shutter 12 is open and the CCD data (DATA2: second image data) when the mechanical shutter 12 is closed are converted. Then, a linear γ correction process is performed by the γ correction circuit 21b, and further, whether or not the pixel data in the CCD data (DATA2) fetched by the CPU (determination means) 60 is a white defect of a predetermined level or more is determined. It is determined whether or not the level of the pixel data in DATA1 corresponding to the data is in a saturated state, and whether or not execution of a subtraction process (correction process for removing a dark output component) by the CPU (image correction means) 60 is necessary. decide. Then, the image data from which the dark output component has been removed based on the determination of the necessity of performing the subtraction process is temporarily stored in, for example, the buffer memory 31 via the video transfer circuit 23.
[0073]
When the above-described correction processing is completed for all pixels for one screen, as shown in FIG. 11B, a control signal is output from the CPU 60, and the switch SW2 is switched to the image stored in the buffer memory 31 via the signal path Ln3. The control is performed on the contact side to take in the data (S411), and the γ correction table of the γ correction circuit 21b is changed and set to have a non-linear characteristic (S412). The image data stored in the buffer memory 31 is taken into the gamma correction circuit (second non-linear processing means) 21b via the video transfer circuit 23 and the signal path Ln3, and is set to have a non-linear characteristic in step S412. The nonlinear γ correction processing (S413) is executed based on the γ correction table. Thereafter, similarly to the capture operation (S227 to S230) shown in FIG. 4, a predetermined color signal processing, compression processing such as JPEG encoding and the like are performed, and then the captured image is recorded in the flash memory 32 as a captured image. When shooting is continued, the through image mode is set again, so that the switch SW2 is controlled to the contact side for taking in the CCD data, as shown in FIG. The setting is changed so that the gamma correction table 21b has a non-linear characteristic.
[0074]
As a result, after the correction processing for removing the dark voltage component, the γ correction circuit 21ba in which the γ correction table is set to the non-linear characteristic can take in the image data again and perform the non-linear γ correction. Since it is not necessary to perform γ correction, the load on the control processing of the CPU 60 can be reduced.
In the normal shooting mode, the same operation processing as that of the flowchart shown in FIG. 3 is executed. At the time when the through image mode is set (S101), a control signal is output from the CPU 60 and the switch SW2 is set to the CCD data. Is fixedly controlled to the contact side that takes in the data, and the gamma correction table of the gamma correction circuit 21b is fixedly set so as to have a non-linear characteristic, so that the through operation and the capture operation are performed well.
[0075]
<Fourth embodiment>
Next, a fourth embodiment of the imaging apparatus according to the present invention will be described with reference to the drawings.
FIG. 12 is a block diagram illustrating a main configuration of an imaging apparatus according to a fourth embodiment of the present invention. FIG. 13 is a flowchart illustrating main processing operations of the imaging apparatus according to the fourth embodiment of the present invention. It is. The same components or processing operations as those in the above-described embodiment are denoted by the same reference numerals, and description thereof will be omitted or simplified.
As shown in FIG. 12, the imaging apparatus according to the present embodiment has the same configuration as that of the above-described first embodiment (FIG. 1), and additionally has a function of capturing a subject image or capturing an electric signal (CCD data). A temperature sensor (temperature detecting means) 80 for detecting temperature information around the CCD 13 is provided.
Here, the temperature sensor 80 detects temperature information around the CCD 13 and outputs the information to the CPU 60. The CPU (correction control means) 60 detects the dark voltage component shown in the first embodiment based on the detected temperature. Is controlled (steps S211 to S225 in FIG. 4).
[0076]
Specifically, a through operation equivalent to steps S201 to S210 in FIG. 4 is executed, and the CPU 60 receives the temperature information from the temperature sensor 80 as shown in the flowchart in FIG. 13 by half-pressing the shutter key in step S210. Upon receipt (S501), the detected temperature is compared with a preset reference temperature (S502). When a temperature change that increases the dark voltage is detected, it is determined that the influence of the dark voltage component included in the image data is large, and the CPU (image correcting unit) 60 removes the dark voltage component. The above correction processing (steps S211 to S225 in FIG. 4) is executed.
On the other hand, if there is no temperature change or the temperature is relatively small and the influence of the dark voltage is not large, the above-described correction processing is not executed and the capture operation in the normal shooting mode shown in FIG. 3 (step S111 in FIG. 3). To S116).
As described above, this is to suppress the influence of the temperature dependence of the dark voltage that the dark voltage doubles due to the temperature rise of about 8 ° C. It is known that white flaws also have the same temperature dependence, so that such a device can avoid the effects of white flaws. Therefore, since the presence or absence of the correction process can be switched according to the environmental change (temperature change) at the time of shooting, the load on the control process of the CPU 60 can be reduced.
[0077]
<Fifth embodiment>
Next, a fifth embodiment of the imaging apparatus according to the present invention will be described with reference to the drawings.
FIG. 14 is a flowchart showing the main processing operation of the fifth embodiment of the imaging apparatus according to the present invention. The same components or processing operations as those in the above-described embodiment are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The imaging apparatus according to the present embodiment is characterized in that, in the configuration of the above-described embodiment (FIG. 1), the CPU 60 is provided with a function of monitoring a charge accumulation period for driving the CCD 13 (charge accumulation period determination means).
The CPU (correction control means) 60 determines whether or not to execute the correction processing shown in the first embodiment (steps S211 to S225 in FIG. 4) based on the charge accumulation period of the CCD 13 during shooting, that is, the exposure time. Control.
[0078]
More specifically, as shown in the flowchart of FIG. 14, the exposure time T1 is set with the shutter key half-pressed in step S210 (S601), and the exposure time T1 is compared with a preset reference time (S602). ). When it is determined that the set exposure time T1 has a change in the exposure time such that the dark voltage increases, it is determined that the influence of the dark voltage component included in the image data is large, and the γ correction circuit is used. 21. The capture operation including the correction processing (steps S213 to S225 in FIG. 4) in which the setting of the γ correction table 21 is changed to have a linear characteristic (S603), and the dark voltage component is removed by the CPU (image correction means) 60. (Steps S213 to S230 in FIG. 4) are executed.
On the other hand, if the exposure time is equal to or close to the reference value, the above-described correction processing is not performed, and the capture operation (steps S112 to S121 in FIG. 3) in the normal shooting mode shown in FIG. 3 is performed. Execute.
This is to suppress the effect of the characteristic that the dark voltage increases depending on the exposure time, as described above. It is known that white flaws also have the same exposure time dependency, so that such a device can avoid the effects of white flaws. Therefore, since the presence or absence of the correction processing can be switched according to a change in environment (change in exposure time) at the time of shooting, the load on the control processing of the CPU 60 can be reduced.
[0079]
<Sixth embodiment>
Next, a sixth embodiment of the imaging apparatus according to the present invention will be described with reference to the drawings.
FIG. 15 is a flowchart showing the main processing operation of the sixth embodiment of the imaging apparatus according to the present invention. The same components or processing operations as those in the above-described embodiment are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The imaging apparatus according to the present embodiment has the same configuration as that of the above-described embodiment (FIG. 1), except that the CPU 60 executes the correction processing (steps S211 to S225 in FIG. 4) shown in FIG. Is provided with a function of detecting an isolated point existing in the image.
The CPU (determination means) 60 detects pixels (isolated points; bright white black defects or dark white defects) in the image data after the above-described correction processing (steps S211 to S225 in FIG. 4) having a prominent data level. Then, a process of correcting the pixel data of the isolated point is performed based on the detection result.
[0080]
Specifically, as shown in the flowchart of FIG. 15, the data level of the image data generated after the subtraction processing of DATA1 and DATA2 in steps S221 to S225 of FIG. The isolated point detected is detected (S701). Then, the CPU 60 determines that the pixel data of the isolated point detected by the CPU 60 is defective data, and performs a process of replacing the isolated pixel data with adjacent pixel data based on the address of the isolated point (S702). Thereafter, similarly to the capture operation (S226 to S230) shown in FIG. 4, after performing a non-linear γ correction process, a predetermined color signal process, and a compression process such as JPEG encoding, the captured image is recorded in the flash memory 32. Is done.
As a result, the pixel data which is not subjected to the above-described correction processing (subtraction processing) for removing the dark voltage component and has a defective data level, for example, the pixel data of DATA1, is higher than a predetermined level, and Pixel data for which the data level of DATA1 is determined to be in a saturated state is also determined to be an isolated point and subjected to correction processing (replacement processing), so that appropriate subject image capturing and image recording can be performed.
[0081]
In each of the above-described embodiments, as a method of the correction process for removing the dark output component included in DATA1, the CCD 60 of the subject image captured by opening the mechanical shutter 12 while the gamma correction process is prohibited by the CPU 60 is performed. A case has been described where CCD data (DATA2) captured by driving the mechanical shutter 12 closed from the data (DATA1) is subjected to arithmetic processing (subtraction processing) inside the CPU 60. However, the present invention is not limited to this. Another correction processing method, for example, a processing method of removing a dark output component by software processing or hardware processing using a subtraction circuit may be applied.
[0082]
As described above, the imaging apparatus and the signal processing method according to the present invention have the following features, functions, and effects.
That is, the image pickup apparatus according to the present invention includes an image sensor that accumulates charges according to incident light, converts the accumulated charges into an electric signal and outputs the electric signal, and an optical path opening and closing unit that opens and closes an incident optical path to the image sensor. An opening / closing control unit for controlling the opening / closing operation of the optical path opening / closing unit; and performing the γ correction process on the electric signal output from the image sensor based on a γ correction table having at least a predetermined characteristic. A signal processing unit that generates pixel data based on the image data, and a storage unit that stores the pixel data for one screen as image data, wherein the opening / closing control unit sets the optical path opening / closing unit to an open state. Holding the first pixel data (DATA1) generated based on the electric signal output from the image sensor; The image sensor, wherein the image sensor is included in the first pixel data based on a second pixel data (DATA2) generated based on the electric signal output from the image sensor while holding a stage in a closed state; And a correction processing means for performing a correction for removing a dark output component by the correction processing means.
[0083]
Therefore, according to the imaging device of the present invention, the optical path opening / closing means is kept open, the first pixel data is generated based on the electric signal output from the image sensor, and the optical path The opening / closing means is held in a closed state, and second pixel data is generated based on the electric signal output from the image sensor during the same charge accumulation period as the previous charge accumulation period, and the first pixel data is generated based on the second pixel data. Since it is configured to perform correction for removing a dark output component included in pixel data, a unique dark output component possessed by each photoelectric conversion element constituting an image sensor is removed each time shooting is performed, and a dark output component is removed. The deterioration of the display image quality due to the image quality can be satisfactorily suppressed. It is possible to suppress the, improved operating characteristics of the electronic still camera.
[0084]
In the imaging device according to the present invention, in the configuration of the imaging device, the correction processing unit performs a process of subtracting the second pixel data (DATA2) from the first pixel data (DATA1). The dark output component included in the first pixel data is removed.
Therefore, according to the imaging apparatus of the present invention, the influence of the dark output of the CCD can be suppressed by a simple processing method of subtracting the second pixel data from the first pixel data. , The display quality can be improved while reducing the load on the display.
[0085]
In the imaging device according to the present invention, in the configuration of the imaging device, the correction processing unit determines whether or not the second pixel data (DATA2) includes a white defect component. It is characterized in that the subtraction processing is performed on the basis of this.
In the configuration of the imaging device, the correction processing unit may determine whether a level of the first pixel data (DATA1) is in a saturated state, and perform the subtraction process based on the determination result. It is characterized by.
Therefore, according to the imaging apparatus of the present invention, whether or not the second pixel data includes a white defect component, and the level of the first pixel data corresponding to the white defect of the second pixel data is saturated. By determining whether or not the state is in the state, the dark output component can be grasped prior to the subtraction processing. Therefore, unnecessary correction processing is suppressed, and the load on the CPU and the processing time are reduced. be able to.
[0086]
In the imaging device according to the present invention, in the configuration of the imaging device, the signal processing unit is configured to generate the first and second pixel data (DATA1, DATA2) based on a γ correction table having a linear characteristic. And performing gamma correction processing on the electric signal.
Therefore, according to the imaging apparatus of the present invention, when generating the first and second pixel data, the linear output correction processing is performed to uniform the dark output components included in the first and second pixel data. Therefore, the above-described subtraction process can favorably remove the dark output component from the first pixel data, and can achieve good display image quality.
[0087]
Further, the imaging apparatus according to the present invention is characterized in that, in the configuration of the imaging apparatus, the signal processing unit is configured to change a characteristic setting of the γ correction table.
Therefore, according to the imaging apparatus of the present invention, by changing the characteristic setting of the γ correction table, nonlinear γ correction can be performed during the through operation, and linear γ correction can be performed during the capture operation. The dark output component included in the pixel data can be satisfactorily removed during the capture operation.
Further, in the imaging device according to the present invention, in the configuration of the imaging device, the correction processing unit may perform the correction process for removing the dark output component included in the first pixel data (DATA1), and then perform the correction process. The electronic signal is subjected to a gamma correction process based on a gamma correction table having a non-linear characteristic in the first pixel data (DATA1).
Therefore, according to the imaging apparatus of the present invention, after the dark output component included in the first pixel data is removed, the first pixel data is subjected to normal non-linear γ correction to perform the correction processing on the pixel. Since the data and the pixel data that has not been subjected to the correction processing can be treated equally, the image data can be displayed and output by the same processing as in the related art.
[0088]
Further, the imaging device according to the present invention, in the configuration of the imaging device, further includes a temperature detection unit that detects a temperature around the image sensor, and when outputting the electric signal from the image sensor, the temperature detection unit It is characterized in that whether or not to execute a correction process by the correction processing means is controlled based on the detected temperature.
Therefore, according to the imaging apparatus of the present invention, the image processing apparatus includes the temperature detecting unit that detects the temperature around the image sensor, and controls whether or not to execute the correction processing based on the temperature detected at the time of shooting. Since it is possible to cope with the temperature dependency of the dark output component, unnecessary correction processing can be suppressed, and the load on the CPU and the processing time can be reduced.
[0089]
Further, the imaging device according to the present invention, in the configuration of the imaging device, further includes an accumulation period determination unit configured to determine a charge accumulation period of the image sensor, and when outputting the electric signal from the image sensor, the accumulation period. It is characterized in that whether or not to execute the correction processing by the correction processing means is controlled based on the charge accumulation period determined by the determination means.
Therefore, according to the imaging apparatus of the present invention, there is provided an accumulation period determination unit that determines a charge accumulation period of the image sensor, and based on the determined charge accumulation period, controls whether or not to execute the correction processing. This makes it possible to cope with the exposure time dependency of the dark output component, thereby suppressing unnecessary correction processing and reducing the load on the CPU and the processing time.
[0090]
Further, in the imaging device according to the present invention, in the configuration of the imaging device, after performing the correction processing for removing the dark output component included in the first pixel data (DATA1) by the correction processing means, And an isolated point detecting unit for detecting pixel data having a prominent data level among the first pixel data (DATA1) for one screen constituting data, wherein the pixel data detected by the isolated point detecting unit is provided. Is replaced with adjacent data.
Therefore, according to the imaging apparatus of the present invention, by providing an isolated point detection unit that detects an isolated point included in the image data after the correction processing, by performing a process of replacing the detected isolated point with adjacent data, Since the pixel data that has not been subjected to the correction processing can be detected and corrected, the display quality can be further improved.
[0091]
The signal processing method of the image pickup apparatus according to the present invention stores an electric charge corresponding to the incident light, converts the accumulated electric charge into an electric signal and outputs the electric signal, and opens and closes an incident optical path to the image sensor. An optical path opening / closing unit, an opening / closing control unit for controlling an opening / closing operation of the optical path opening / closing unit, and performing an γ correction process on the electric signal output from the image sensor based on a γ correction table having at least predetermined characteristics. A signal processing unit that generates pixel data for one screen based on the electric signal; and a storage unit that stores the image data. Means is held in an open state, and first pixel data (DATA1) is generated based on the electric signal output from the image sensor during a charge accumulation period. A first step to be performed, and after the charge accumulation period, the optical path opening / closing means is held in a closed state, and based on the electric signal output from the image sensor during the same charge accumulation period as the charge accumulation period. A second step of generating second pixel data (DATA2) using the first and second pixel data (DATA1, DATA2) stored in the storage means. And a third step of performing correction for removing a dark output component by the image sensor, which is included in DATA1).
[0092]
Therefore, according to the signal processing method of the image pickup apparatus according to the present invention, the optical path opening / closing unit is held in the open state, the first pixel data is generated based on the electric signal output from the image sensor, and the first pixel data is generated during the charge accumulation period. After the lapse of time, the optical path opening / closing means is held in a closed state, and second pixel data is generated based on an electric signal output from the image sensor during the same charge accumulation period as the previous charge accumulation period. Is performed to remove the dark output component included in the first pixel data, so that the unique dark output component of each photoelectric conversion element included in the image sensor is removed each time shooting is performed, and the dark output component associated with the dark output component is removed. Deterioration of display image quality can be suppressed well, and dark output components are prevented from being mixed into image data even when shooting night scenes or prolonged exposure, which has been difficult to apply in electronic still cameras. , It is possible to improve the operating characteristics of the electronic still camera.
[0093]
In the signal processing method of the imaging apparatus according to the present invention, in the signal processing method, the third step is a step of subtracting the second pixel data (DATA2) from the first pixel data (DATA1). And the dark output component included in the first pixel data is removed.
Therefore, according to the signal processing method of the imaging apparatus according to the present invention, the influence of the dark output of the CCD can be suppressed by a simple processing method of subtracting the second pixel data from the first pixel data. In addition, good display quality can be realized while reducing the load on the CPU and the like.
Further, in the signal processing method of the imaging device according to the present invention, in the signal processing method, the third step includes performing the subtraction processing based on a white defect component included in the second pixel data (DATA2). It is characterized in that whether or not to execute is controlled.
Therefore, according to the signal processing method of the image pickup apparatus according to the present invention, it is determined whether or not the second pixel data includes a white defect component, and whether the first pixel data corresponds to the white defect of the second pixel data. By determining whether or not the level is saturated, it is possible to grasp the dark output component prior to the subtraction processing. Therefore, unnecessary correction processing is suppressed, and the load on the CPU and the processing time are reduced. Can be reduced.
[0094]
Further, the signal processing method of the imaging apparatus according to the present invention, in the signal processing method described above, includes a step of setting a γ correction table having a linear characteristic in the signal processing means prior to the first and second steps. It is characterized by:
Therefore, according to the signal processing method of the image pickup apparatus according to the present invention, when the first and second pixel data are generated, the linear output correction processing is performed so that the dark output included in the first and second pixel data is reduced. Since the components can be made uniform and the above-described subtraction process can favorably remove the dark output component from the first pixel data, it is possible to realize good display image quality.
[0095]
Further, in the signal processing method of the imaging apparatus according to the present invention, in the signal processing method described above, the correction processing for removing the dark output component included in the first pixel data (DATA1) is performed in the third step. After that, performing a gamma correction process on the electric signal based on a gamma correction table having a non-linear characteristic in the first pixel data (DATA1).
Therefore, according to the signal processing method of the imaging device according to the present invention, after the dark output component included in the first pixel data is removed, the first pixel data is subjected to a normal nonlinear γ correction to perform the correction processing. The pixel data subjected to the correction and the pixel data not subjected to the correction processing can be treated equally, so that the image data can be displayed and output by the same processing as in the related art.
[0096]
Also, in the signal processing method of the imaging device according to the present invention, in the signal processing method, prior to the first and second steps, image data is generated based on the electric signal output from the image sensor. A step of performing a gamma correction process on the electric signal based on a gamma correction table having a non-linear characteristic in the signal processing means.
Therefore, according to the signal processing method of the imaging apparatus according to the present invention, during the through operation, the load of the CPU on the through image for setting the composition of the subject is reduced by performing the nonlinear γ correction when generating the image data. The processing time can be reduced, and an electronic still camera with excellent operation characteristics can be provided.
[0097]
【The invention's effect】
According to the first or sixteenth aspect of the present invention, the nonlinear processing is performed by prohibiting the nonlinear processing of the image data by the nonlinear processing means in a state where the incident light path to the imaging means (image sensor) is opened. A second image not subjected to non-linear processing is obtained by obtaining non-linear processing on image data by obtaining non-linear processing on the image data by acquiring the first image data that is not present and closing the optical path incident on the imaging means. Data is obtained, and based on the second image data, correction is performed to remove a dark output component included in the first image data. The dark voltage component is appropriately removed without being made non-uniform by the non-linear processing, and good image data can be obtained. Therefore, even under special shooting conditions with a long exposure time, noise components due to dark voltage can be satisfactorily removed, and shooting can be performed well even in a dark environment such as a night scene.
[0098]
According to the second or third aspect of the present invention, non-linear processing is performed on image data output from the imaging unit by using a γ correction table having a non-linear characteristic, and the γ correction table is converted to a γ correction having a linear characteristic. By performing linear processing by changing to a table, the above-described nonlinear processing is prohibited.Since a single nonlinear processing means is used and its processing characteristics are changed, the nonlinear processing is simplified. It is possible to acquire the first and second image data that have not been subjected to the processing, and to perform the correction that favorably removes the noise component caused by the dark voltage included in the first image data.
According to the fourth aspect of the present invention, the non-linear processing is prohibited by bypassing the gamma correction circuit that performs the non-linear processing on the image data output from the imaging unit. The first and second image data not subjected to the non-linear processing are obtained by a simple configuration and method in which the γ correction table is fixedly set to have the non-linear characteristic and the signal path for taking the image data is switched. Therefore, it is possible to perform a correction for favorably removing a noise component caused by a dark voltage included in the first image data.
[0099]
According to the fifth aspect of the present invention, the first image data is corrected by performing the process of subtracting the second image data from the first image data. With a simple configuration and method of subtracting the first and second image data that have not been subjected to the correction, it is possible to perform a correction that favorably removes a noise component caused by a dark voltage included in the first image data. it can.
According to the sixth aspect of the present invention, after performing the correction for removing the dark output component included in the first pixel data, the second nonlinear processing means performs the nonlinear processing on the first pixel data. Therefore, when acquiring the first and second image data, it is possible to suppress the deterioration of the image quality of the subject image due to the prohibition of the non-linear processing on the image data.
According to the seventh aspect of the present invention, the non-linear processing means and the second non-linear processing means use a single γ correction circuit to perform non-linear processing on pixel data. With the configuration and the method, it is possible to suppress the deterioration of the image quality of the subject image due to the prohibition of the non-linear processing on the first and second image data.
[0100]
According to the eighth aspect of the invention, when the special shooting mode is set by the shooting mode setting means, the first and second image data are acquired, so that the shooting mode can be easily and arbitrarily set. First and second image data that have not been subjected to non-linear processing can be acquired by setting switching, and correction is performed to satisfactorily remove a noise component caused by dark voltage included in the first image data. Can be.
According to the ninth or tenth aspect of the present invention, the third image data subjected to the non-linear processing is acquired in a state where the optical path incident on the imaging means is open, and the acquired third image data is acquired. Is displayed on the display means as a finder image, so that in the through image mode, the state of capturing the subject image can be confirmed through the display means, and an image having an arbitrary composition can be easily and reliably photographed (recorded). can do.
According to the eleventh aspect, the third image data is acquired when the normal shooting mode is set by the shooting mode setting means, so that the shooting mode can be easily and arbitrarily switched and set. As a result, the third image data subjected to the non-linear processing can be obtained, and it is possible to suppress the deterioration of the image quality of the subject image in the normal shooting mode in which the influence of the noise component due to the dark voltage is small.
[0101]
According to the twelfth or seventeenth aspect of the present invention, the first image data output from the imaging unit is acquired while the optical path to the imaging unit (image sensor) is open, and the first image data is input to the imaging unit. In a state where the optical path is closed, the second image data output from the imaging unit is obtained, and it is determined whether or not the second image data includes an isolated point. Since it is configured to perform the correction for removing the dark output component included in the one image data, the correction of the first image data (for example, the process of subtracting the first and second image data) is performed. In this case, it is possible to prevent an improper processing result that occurs at an isolated point, and it is possible to suppress deterioration of the image quality of the subject image.
According to the thirteenth or eighteenth aspect of the present invention, the first image data output from the imaging unit is acquired while the optical path to the imaging unit (image sensor) is open, and the incident light on the imaging unit is acquired. In a state in which the optical path is closed, the second image data output from the imaging unit is obtained, and it is determined whether or not the level of the first image data is in a saturated state. Since the correction for removing the dark output component included in the first image data is performed based on the image data, the correction of the first image data (for example, the first and second image data is performed). ), It is possible to prevent inappropriate processing results that occur in pixel data in a saturated state, and to suppress deterioration in image quality of a subject image.
[0102]
According to the fourteenth aspect of the present invention, the first image data output from the imaging unit is acquired while the incident optical path to the imaging unit (image sensor) is open, and the incident light to the imaging unit is acquired. In a state where the optical path is closed, the second image data output from the imaging unit is acquired, and when the temperature around the image sensor satisfies a predetermined condition, the first image based on the second image data is obtained. Since the correction is performed to remove the dark output component included in the data, it is possible to suppress the deterioration of the image quality due to the temperature dependency of dark voltage and white spots, and obtain good image data of the subject image. it can. In addition, since the presence or absence of correction of the image data can be switched according to the environmental change (temperature change) at the time of photographing, the load on the control processing can be reduced.
[0103]
According to the fifteenth or twentieth aspect of the present invention, the first image data output from the imaging unit is acquired while the optical path of the light incident on the imaging unit (image sensor) is open, and the first image data is input to the imaging unit. In a state where the optical path is closed, the second image data output from the imaging unit is acquired, and when the charge accumulation period of the image sensor satisfies a predetermined condition, the first image data is obtained based on the second image data. Since it is configured to perform correction to remove dark output components included in image data, it is possible to suppress deterioration in image quality due to exposure time dependence of dark voltage and white spots and obtain good image data of a subject image. Can be. In addition, since it is possible to switch between correction and non-correction of image data according to a change in environment (change in exposure time) at the time of photographing, it is possible to reduce the load on control processing.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a first embodiment of an imaging device according to the present invention.
FIG. 2 is a schematic configuration diagram of a CCD having pixels of n columns × m rows applied to the imaging device according to the first embodiment.
FIG. 3 is a flowchart illustrating a processing operation in a normal shooting mode in the imaging apparatus according to the first embodiment.
FIG. 4 is a flowchart illustrating a processing operation in a special imaging mode in the imaging apparatus according to the first embodiment.
FIG. 5 is a diagram illustrating an effect of a subtraction process when a nonlinear γ correction process is performed.
FIG. 6 is a diagram illustrating an effect of a subtraction process when a linear γ correction process is performed.
FIG. 7 is a block diagram illustrating a schematic configuration of a signal processing LSI including a γ correction processing circuit.
FIG. 8 is a block diagram illustrating a main configuration of an imaging device according to a second embodiment of the present invention.
FIG. 9 is a flowchart illustrating a main processing operation of the imaging apparatus according to the second embodiment of the present invention.
FIG. 10 is a block diagram illustrating a main configuration of an imaging device according to a third embodiment of the present invention.
FIG. 11 is a flowchart showing a main processing operation of a third embodiment of the imaging apparatus according to the present invention.
FIG. 12 is a block diagram illustrating a main configuration of an imaging apparatus according to a fourth embodiment of the present invention.
FIG. 13 is a flowchart illustrating a main processing operation of an imaging device according to a fourth embodiment of the present invention.
FIG. 14 is a flowchart showing a main processing operation of a fifth embodiment of the imaging apparatus according to the present invention.
FIG. 15 is a flowchart showing a main processing operation of a sixth embodiment of the imaging apparatus according to the present invention.
[Explanation of symbols]
11 Photo lens
12 Mechanical shutter
13 CCD (imaging means, image sensor)
14 CDS
15 A / D
16 Actuator
21, 21a γ correction circuit (non-linear processing means)
21b γ correction circuit (second nonlinear processing means)
22 Color Process Circuit
23 Video transfer circuit
24 Compression / expansion circuit
25 Digital Video Encoder
31 Buffer memory
32 flash memory
40 LCD (display means)
50 Key input section (shooting mode setting means)
60 CPU (first imaging control means, second imaging control means, third imaging control means, image correction means, prohibition means, determination means, second non-linear processing means, correction control means, charge accumulation period determination means )
80 temperature sensor (temperature detecting means)

Claims

入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、
この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、
この第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、
前記撮像手段から出力された前記画像データに対して、非線形処理を行う非線形処理手段と、
前記第１及び第２の撮影制御手段により前記第１及び第２の画像データを取得する場合、前記非線形処理手段による前記画像データに対する非線形処理を禁止する禁止手段とを備え、
前記第１及び第２の撮影制御手段は、
この禁止手段により、前記非線形処理手段による非線形処理が施されていない第１及び第２の画像データを取得することを特徴とする撮像装置。Imaging means for accumulating charges corresponding to the incident light, converting the accumulated charges into image data and outputting the image data,
A first photographing control unit for acquiring first image data output from the imaging unit in a state where an incident optical path to the imaging unit is opened;
A second imaging control unit that acquires second image data output from the imaging unit in a state where an incident optical path to the imaging unit is closed;
An image correcting unit that corrects the first image data obtained by the first shooting control unit based on the second image data obtained by the second shooting control unit;
Non-linear processing means for performing non-linear processing on the image data output from the imaging means,
Prohibiting means for prohibiting non-linear processing on the image data by the non-linear processing means when the first and second image data are acquired by the first and second photographing control means;
The first and second photographing control means include:
An image pickup apparatus characterized by acquiring first and second image data to which non-linear processing by the non-linear processing means has not been performed by the prohibiting means.

前記禁止手段は、前記撮像手段から出力された前記画像データに対して線形処理を行うことにより、前記非線形処理を禁止することを特徴とする請求項１記載の撮像装置。The imaging apparatus according to claim 1, wherein the prohibition unit prohibits the non-linear processing by performing a linear process on the image data output from the imaging unit.

前記非線形処理手段は、非線形特性を有するγ補正テーブルを用いることにより非線形処理を行い、
前記禁止手段は、前記γ補正テーブルを線形特性を有するγ補正テーブルに変更することにより、前記非線形処理を禁止することを特徴とする請求項２記載の撮像装置。The non-linear processing means performs non-linear processing by using a γ correction table having a non-linear characteristic,
The imaging apparatus according to claim 2, wherein the prohibition unit prohibits the non-linear processing by changing the γ correction table to a γ correction table having a linear characteristic.

前記非線形処理手段は、γ補正回路を用いて非線形処理を行い、
前記禁止手段は、前記撮像手段から出力された前記画像データを、前記γ補正回路に対して迂回させることにより、前記非線形処理を禁止することを特徴とする請求項１記載の撮像装置。The non-linear processing means performs non-linear processing using a γ correction circuit,
The imaging apparatus according to claim 1, wherein the prohibition unit prohibits the non-linear processing by diverting the image data output from the imaging unit to the γ correction circuit.

前記画像補正手段は、前記第１の画像データから前記第２の画像データを減算する処理を行うことにより、前記第１の画像データの補正を行うことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。5. The image processing device according to claim 1, wherein the image correction unit corrects the first image data by performing a process of subtracting the second image data from the first image data. 6. An imaging device according to any one of the above.

前記画像補正手段により補正された第１の画像データに対して、非線形処理を行う第２の非線形処理手段を備えたことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。6. The imaging apparatus according to claim 1, further comprising a second non-linear processing unit that performs non-linear processing on the first image data corrected by the image correction unit.

前記非線形処理手段は、γ補正回路を用いて非線形処理を行い、
前記第２の非線形処理手段は、前記γ補正回路を用いて、前記第１の画像データに対して前記非線形処理を行うことを特徴とする請求項６記載の撮像装置。The non-linear processing means performs non-linear processing using a γ correction circuit,
The imaging apparatus according to claim 6, wherein the second non-linear processing means performs the non-linear processing on the first image data using the γ correction circuit.

撮影モードとして特殊撮影モードを設定する撮影モード設定手段を備え、
前記第１及び第２の撮影制御手段は、前記撮影モード設定手段により特殊撮影モードが設定されている場合に、前記第１及び第２の画像データを取得することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。A shooting mode setting means for setting a special shooting mode as a shooting mode,
The first and second photographing control means acquires the first and second image data when a special photographing mode is set by the photographing mode setting means. 8. The imaging device according to any one of 7.

前記撮像手段への入射光路を開とした状態で、前記撮像手段から出力され、前記非線形処理手段により非線形処理された第３の画像データを取得する第３の撮影制御手段を備えたことを特徴とする請求項１乃至８のいずれかに記載の撮像装置。A third imaging control unit that obtains third image data output from the imaging unit and subjected to nonlinear processing by the nonlinear processing unit in a state where an optical path to the imaging unit is opened. The imaging device according to claim 1.

前記第３の撮影制御手段により取得された第３の画像データを表示する表示手段を備え、
前記第３の画像データは、ファインダ画像として前記表示手段に表示されることを特徴とする請求項９記載の撮像装置。Display means for displaying the third image data acquired by the third photographing control means,
The imaging apparatus according to claim 9, wherein the third image data is displayed on the display unit as a finder image.

撮影モードとして通常撮影モードを設定する撮影モード設定手段を備え、
前記第３の撮影制御手段は、
前記撮影モード設定手段により通常撮影モードが設定されている場合に、前記第３の画像データを取得することを特徴とする請求項９記載の撮像装置。A shooting mode setting means for setting a normal shooting mode as a shooting mode is provided,
The third photographing control means includes:
The imaging apparatus according to claim 9, wherein the third image data is acquired when a normal imaging mode is set by the imaging mode setting unit.

入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、
この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、
この第２の撮影制御手段により取得された前記第２の画像データに孤立点が含まれるか否かを判定する判定手段と、
この判定手段による判定結果に基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、
を備えたことを特徴とする撮像装置。Imaging means for accumulating charges corresponding to the incident light, converting the accumulated charges into image data and outputting the image data,
A first photographing control unit for acquiring first image data output from the imaging unit in a state where an incident optical path to the imaging unit is opened;
A second imaging control unit that acquires second image data output from the imaging unit in a state where an incident optical path to the imaging unit is closed;
Determining means for determining whether or not an isolated point is included in the second image data acquired by the second photographing control means;
Image correction means for correcting the first image data obtained by the first image capturing control means based on the determination result by the determination means;
An imaging device comprising:

入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、
この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、
前記第１の撮影制御手段により取得された第１の画像データのレベルが飽和状態にあるか否かを判定する判定手段と、
この判定手段による判定結果及び前記第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、
を備えたことを特徴とする撮像装置。Imaging means for accumulating charges corresponding to the incident light, converting the accumulated charges into image data and outputting the image data,
A first photographing control unit for acquiring first image data output from the imaging unit in a state where an incident optical path to the imaging unit is opened;
A second imaging control unit that acquires second image data output from the imaging unit in a state where an incident optical path to the imaging unit is closed;
Determining means for determining whether or not the level of the first image data acquired by the first photographing control means is in a saturated state;
Image correcting means for correcting the first image data obtained by the first image capturing control means based on the determination result by the determining means and the second image data obtained by the second image capturing control means When,
An imaging device comprising:

入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、
この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、
この第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、
前記撮像手段周辺の温度を検出する温度検出手段と、
この温度検出手段により検出された前記温度に基づいて、前記画像補正手段による前記第１の画像データの補正を行うか否かを制御する補正制御手段と、
を備えたことを特徴とする撮像装置。Imaging means for accumulating charges corresponding to the incident light, converting the accumulated charges into image data and outputting the image data,
A first photographing control unit for acquiring first image data output from the imaging unit in a state where an incident optical path to the imaging unit is opened;
A second imaging control unit that acquires second image data output from the imaging unit in a state where an incident optical path to the imaging unit is closed;
An image correcting unit that corrects the first image data obtained by the first shooting control unit based on the second image data obtained by the second shooting control unit;
Temperature detection means for detecting a temperature around the imaging means,
Correction control means for controlling whether or not the first image data is corrected by the image correction means based on the temperature detected by the temperature detection means;
An imaging device comprising:

入射光に応じた電荷を蓄積し、該蓄積電荷を画像データに変換して出力する撮像手段と、
この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された第１の画像データを取得する第１の撮影制御手段と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された第２の画像データを取得する第２の撮影制御手段と、
この第２の撮影制御手段により取得された第２の画像データに基づいて、前記第１の撮影制御手段により取得された第１の画像データの補正を行う画像補正手段と、
前記撮像手段の電荷蓄積期間を判定する電荷蓄積期間判定手段と、
この蓄積期間判定手段により判定された前記電荷蓄積期間に基づいて、前記画像補正手段による前記第１の画像データの補正を行うか否かを制御する補正制御手段と、
を備えたことを特徴とする撮像装置。Imaging means for accumulating charges corresponding to the incident light, converting the accumulated charges into image data and outputting the image data,
A first photographing control unit for acquiring first image data output from the imaging unit in a state where an incident optical path to the imaging unit is opened;
A second imaging control unit that acquires second image data output from the imaging unit in a state where an incident optical path to the imaging unit is closed;
An image correcting unit that corrects the first image data obtained by the first shooting control unit based on the second image data obtained by the second shooting control unit;
Charge accumulation period determination means for determining a charge accumulation period of the imaging means;
Correction control means for controlling whether or not the first image data is corrected by the image correction means based on the charge storage period determined by the storage period determination means;
An imaging device comprising:

イメージセンサから出力された画像データに対して、非線形処理を行う撮像装置の信号処理方法であって、
前記イメージセンサへの入射光路を開とした状態で前記イメージセンサから出力された画像データに対する前記非線形処理を禁止することにより、非線形処理が施されていない第１の画像データを取得する工程と、
前記イメージセンサへの入射光路を閉とした状態で前記イメージセンサから出力された画像データに対する前記非線形処理を禁止することにより、非線形処理が施されていない第２の画像データを取得する工程と、
前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、
からなる撮像装置の信号処理方法。A signal processing method of an imaging device that performs nonlinear processing on image data output from an image sensor,
Prohibiting the non-linear processing on the image data output from the image sensor in a state where the incident optical path to the image sensor is open, obtaining first image data that has not been subjected to the non-linear processing;
Prohibiting the non-linear processing on the image data output from the image sensor in a state in which the incident light path to the image sensor is closed, obtaining second image data that has not been subjected to the non-linear processing,
Correcting the first image data based on the second image data;
A signal processing method for an imaging device, comprising:

イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、
前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、
前記第２の画像データに孤立点が含まれるか否かを判定する工程と、
前記判定結果に基づいて、前記第１の画像データの補正を行う工程と、
からなる撮像装置の信号処理方法。A step of acquiring first image data output from the image sensor in a state where an incident optical path to the image sensor is opened;
Acquiring the second image data output from the image sensor in a state in which the light path incident on the image sensor is closed;
Determining whether or not the second image data includes an isolated point;
Correcting the first image data based on the determination result;
A signal processing method for an imaging device, comprising:

イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、
前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、
前記第１の画像データのレベルが飽和状態にあるか否かを判定する工程と、
前記判定結果及び前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、
からなる撮像装置の信号処理方法。A step of acquiring first image data output from the image sensor in a state where an incident optical path to the image sensor is opened;
Acquiring the second image data output from the image sensor in a state in which the light path incident on the image sensor is closed;
Determining whether the level of the first image data is saturated;
Correcting the first image data based on the determination result and the second image data;
A signal processing method for an imaging device, comprising:

イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、
前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、
前記イメージセンサ周辺の温度を検出する工程と、
前記検出された温度が所定の条件を満たす場合、前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、
からなる撮像装置の信号処理方法。A step of acquiring first image data output from the image sensor in a state where an incident optical path to the image sensor is opened;
Acquiring the second image data output from the image sensor in a state in which the light path incident on the image sensor is closed;
Detecting a temperature around the image sensor;
Correcting the first image data based on the second image data when the detected temperature satisfies a predetermined condition;
A signal processing method for an imaging device, comprising:

イメージセンサへの入射光路を開とした状態で、前記イメージセンサから出力された第１の画像データを取得する工程と、
前記イメージセンサへの入射光路を閉とした状態で、前記イメージセンサから出力された第２の画像データを取得する工程と、
前記イメージセンサの電荷蓄積期間を判定する工程と、
前記判定された電荷蓄積期間が所定の条件を満たす場合、前記第２の画像データに基づいて、前記第１の画像データの補正を行う工程と、
からなる撮像装置の信号処理方法。A step of acquiring first image data output from the image sensor in a state where an incident optical path to the image sensor is opened;
Acquiring the second image data output from the image sensor in a state in which the light path incident on the image sensor is closed;
Determining a charge accumulation period of the image sensor;
Correcting the first image data based on the second image data when the determined charge accumulation period satisfies a predetermined condition;
A signal processing method for an imaging device, comprising: