JP2010114834A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010114834A
JP2010114834A JP2008287902A JP2008287902A JP2010114834A JP 2010114834 A JP2010114834 A JP 2010114834A JP 2008287902 A JP2008287902 A JP 2008287902A JP 2008287902 A JP2008287902 A JP 2008287902A JP 2010114834 A JP2010114834 A JP 2010114834A
Authority
JP
Japan
Prior art keywords
display
pixel
flicker
flicker detection
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008287902A
Other languages
English (en)
Inventor
Daikichi Morohashi
大吉 師橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2008287902A priority Critical patent/JP2010114834A/ja
Publication of JP2010114834A publication Critical patent/JP2010114834A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】フリッカー検出用の読み出しのラインと表示用の読み出しラインとを同一にして構成を簡単化し、かつフリッカー検出のフレームレートを上げてフリッカー検出時間を短縮し、かつ露光時間を短縮すること。
【解決手段】CMOSイメージセンサ10の撮影時前のLCD表示部13への記録用画像データの表示時の画素読出し状態にあるとき、CMOSイメージセンサ10における各フリッカー検出用画素ブロックF00、…、F11に対する露光時間及び読み出し時間を、各表示用画素D00、…、D11に対する露光時間及び読み出し時間の整数分の1倍とし、かつ表示用画素D00、…、D11から読み出される各蓄積電荷とフリッカー検出用画素ブロックF00、…、F11から読み出されるフリッカー用の各蓄積電荷とを時分割に交互に1本の出力読み出し線Wに出力させる。
【選択図】図5

Description

本発明は、特に低い点灯周波数を有する照明の環境下での被写体の撮影に際し、撮像画像のライブビューの表示を行ないながら照明光の影響によるフリッカー周波数の検出に要する時間を短縮することを可能とする撮像装置に関する。
一般的にデジタルカメラ等の撮像装置は、撮影画像の画角を合わせるために光学式又は電子式のファインダーの機能を備えている。このうち電子式のファインダーは、ライブビューの画像の表示を行う液晶ディスプレイも含む。このような撮像装置では、被写体を撮影してその撮影画像をライブビューとして表示しながら、そのライブビューの画像データを用いて自動焦点(AF)、自動露光(AE)、自動ホワイトバランス(AWB)等の制御のための検出を行なう。
このような撮像装置は、電源周波数の影響を受けて低い点灯周波数を発生する蛍光灯等による照明の環境下で撮影を行うことがある。このような環境下の撮影では、撮像装置は、フリッカー(flicker)といわれる明滅現象を発生することが一般に知られている。撮像装置は、被写体からの光像を電気信号に変換するCCD等から成る撮像素子を備える。この撮像素子に対する読み出しには、例えばグローバルシャッターと呼ばれる画素の露光の開始と終了とが各画素位置によらず同一の方式と、撮像素子に対する読み出しが例えばローリングシャッターと呼ばれる画素の露光の開始と終了とが画素位置で順次ずれていく方式とがある。グローバルシャッターの方式の場合、フリッカーは、撮影画像中のフレーム毎の輝度レベルが変動する明滅現象として観測される。又、ローリングシャッターの方式の場合、撮影画像の1フレーム中の露光ムラとして観測されたりする。
このような撮影装置は、フリッカーの影響の無い露光条件を設定するが、これに先だって照明の点灯周波数又はフリッカー周波数を検出する必要がある。これら点灯周波数又はフリッカー周波数の検出時間が長くなるとシャッターラグ時間が延び、シャッターチャンスを逃してしまうことがある。
照明の点灯周波数又はフリッカー周波数の検出を短時間で完了するためには、撮像素子の露光フレームレートを上げることが必要であることはサンプリング理論から自明なことである。又、ライブビューの表示画像には、フリッカー成分が小さくて目立たないことが要求される。ところが、ライブビューの表示画像は、一般的に比較的長時間の露光による撮影によって取得されるので、これに伴ってフリッカー周波数の検出も時間が掛かってしまう。
AF、AE、AWB等の制御のための対象となる画像データ、例えばライブビューの画像データ等の検出対象画像情報にフリッカー成分が含まれると、AF、AE、AWB等の制御が正確に行われなくなる。例えばAFの制御では、フリッカー成分の影響により画像データの輝度のピークを誤って検出すると、被写体に対して焦点の合っていない状態すなわち偽合焦状態(ボケ)になってしまう。このため、例えばライブビューの画像データ等の検出対象画像情報に対するフリッカーの影響を低減し、かかるフリッカーの影響による撮影画像の画質劣化を排除することが根本とする課題になる。
フリッカーに対する対策を施した技術として例えば特許文献1(特許第3826904号:特開2005−33616号公報)、特許文献2(特開2007−206606号公報)、特許文献3(特開2006−287361号公報)がある。
特許文献1は、撮像のフレームレートと電子シャッター値との組み合わせで、フリッカー成分を低減することを開示している。しかしながら、撮像フレームレートは、120/60/30fps以外の組み合わせでは使用できず、電源周波数を検出するのに時間が掛かる。また、その間、カメラの操作者は、表示画像のフリッカーをかんじることになる。
特許文献2は、高速撮像フレームレートを使用するもので、AF制御前にフリッカー周波数を調べ、フリッカーを検出すると、フリッカー周波数Lのn倍に撮像のフレームレートを設定し、複数の画像からAF評価値を算出し、フリッカー周波数よりも短い周期でコントラストAF制御のサンプリングを行うことを開示している。これにより、イメージャーAFを速くしかつフリッカー成分を低減している。しかしながら、電源周波数50/60Hzを認識するのに時間を要するので、その間、カメラの操作者は、表示画像にフリッカーをかんじることになる。実際にはサンプリング周波数を上げるために短時間の露光を行なうと、イメージセンサの感度限界により表示画像の画質が低下する。
以上の各特許文献1、2は、次のような課題が解決されていない。第一に、電子的なファインダーにライブビュー画像を表示するときの露光、読出し条件でフリッカー検出用の露光、読出しの条件が決まってしまうために、フリッカー検出だけ十分高速化することができない。
第二に、電子的なファインダーに表示されるライブビュー画像に含まれるフリッカー成分を低くするためと、電子的なファインダーに表示されるライブビュー画像が見るに堪えられるノイズレベルに抑えるためとには、十分な露光時間を必要とするので、実際には露光のフレームレートを十分高速化することができない。
ところで、フリッカー周波数以上に撮像フレームレートを高めてサンプリングし、複数の撮像画像データにおける輝度のピークを検出し、こられピークからフリッカー周波数を検出することは公知技術である。フリッカー成分を含む撮像画像データを取得しないために、撮像素子の撮像によって撮像画像データを取得する際に、シャッター速度を撮像画像データの輝度ピークの検出結果から適正に選ぶ等のことが行われている。フリッカーの検出時間を短縮するには、シャッター速度を速くし、高フレームレートで画像を読み出すことによってサンプリング周波数を高くすることが基本的に必要なことである。
又、別のフリッカー周波数を検出する技術としては、例えば一画面の輝度分布の正規化と画面間の比較、周波数解析により行なう技術がある。しかしながら、フリッカー周波数の検出には、表示系の複数フレームの画像を取得するまでの時間を要してしまうので十分速いとはいえず、このフリッカー周波数の検出期間内にフリッカーが観測されてしまう。
電子的なファインダーに表示を行うためのライブビュー画像の情報からフリッカー成分を検出する場合、フレーム周波数を上げると、ファインダーに表示されるライブビュー画像にフリッカーが目立ち易くなる。しかるに、フレーム周波数を上げると、検出時間の短縮と精度の向上が望めるが、逆に観察者にとっては好ましくないという矛盾が発生していた。
この矛盾を解決するのが例えば特許文献3である。この特許文献3は、ファインダー表示系とフリッカー検出系とを独立させることにより検出精度を高めるもので、ファインダー表示系で使用しない画素を独立とし、かつ非同期で読出す構造としてフリッカーを検出しやすい垂直周波数で駆動することで検出精度を高めることを開示する。具体的に特許文献3は、XYアドレス指定型イメージセンサの第1画素回路群から出力される表示用映像信号に基づく映像を表示装置に表示する一方で、第1画素回路群及び第2画素回路群から出力される記録用映像信号に基づく画像データを記録装置に記録するデジタルカメラであって、第1画素回路群が表示用映像信号を出力する際の第1垂直同期信号と第2画素回路群がフリッカー検出用映像信号を出力する際の第2垂直同期信号とが非同期であり、かつ第1画素回路群からの表示用映像信号の出力を制御する第1垂直走査回路と第2画素回路群からのフリッカー検出用映像信号の出力を制御する第2垂直走査回路とが出力した各映像信号をそれぞれ異なる各出力端子から出力する水平走査回路を有することを開示している。
特許第3826904号 特開2007−206606号公報 特開2006−287361号公報
しかしながら、特許文献3は、ファインダー表示系とフリッカー検出系との各読出し線を別系統で確保、すなわち表示用映像信号用の出力端子とフリッカー検出用映像信号用の出力端子とを別々に設けている。このため、特許文献3は、無駄な大型化を招き、イメージセンサーシフト方式による手振れ補正の動きを鈍くする要因になるので実装面での課題が大きい。
本発明の目的は、フリッカー検出用の読み出しのラインと表示用の読み出しラインとを同一にして構成を簡単化し、かつフリッカー検出のフレームレートを上げてフリッカー検出時間を短縮し、かつ露光時間を短縮できる撮像装置を提供することにある。
本発明の主要な局面に係る撮像画像を表示しながら当該撮像画像に基づいて撮影制御を行う撮影装置であって、予め設定された間隔毎に配置された撮像画像の表示用の画素と、当該表示用画素とは別でフリッカー周波数を検出するための複数の画素から成るフリッカー検出用の画素ブロックとを有する撮像素子と、表示用画素から読み出される表示用の情報とフリッカー検出用画素ブロックから読み出されるフリッカー用の情報とを同一ライン上で出力する読み出し線と、表示用画素に対する露光制御とフリッカー検出用画素ブロックに対する露光制御とをそれぞれ独立して行ない、フリッカー検出用画素ブロックに対する読み出しのフレームレートを、表示用画素に対する読み出しのフレームレートよりも高くして制御する制御手段とを具備する。
本発明によれば、フリッカー検出用の読み出しのラインと表示用の読み出しラインとを同一にして構成を簡単化し、かつフリッカー検出のフレームレートを上げてフリッカー検出時間を短縮し、かつ露光時間を短縮できる撮像装置を提供できる。
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1はデジタルカメラ等の撮像装置のシステムブロック図を示す。この撮像装置は、レンズユニット1と、カメラ本体2とから成る。レンズユニット1は、被写体からの反射光である光学情報Sの倍率やフォーカス、明るさを調整してカメラ本体2に導くもので、ズームレンズ3と、フォーカスレンズ4と、絞り5とから成る。これらズームレンズ3とフォーカスレンズ4と絞り5とは、光学情報Sを導く光軸Q上に配置されている。ズームレンズ3は、ズームレンズ駆動部6の駆動によって光軸Q上に沿って移動可能である。フォーカスレンズ4は、フォーカスレンズ駆動部7の駆動によって光軸Q上に沿って移動可能である。絞り5は、絞り駆動部8の駆動によってその絞り径が可変可能である。
レンズ制御マイクロコンピュータ9は、カメラ本体2からの指令に従ってズームレンズ駆動部6と、フォーカスレンズ駆動部7と、絞り駆動部8とをそれぞれ駆動制御する。
カメラ本体2は、撮像素子としてのイメージセンサ10を搭載する。このイメージセンサ10は、入射した光学情報Sを光電変換して映像信号として出力する。このイメージセンサ10は、例えばCMOSから成る(以下、CMOSイメージセンサと称する)。図2は一般的なCMOSイメージセンサ10の画素の等価回路を示す。このCMOSイメージセンサ10は、フォトダイオード(図中PDで示す)等から成る複数の画素101−1〜101−mnをXY方向の2次元平面上に配列して成る。なお、CMOSイメージセンサ10は、画素数m×nであるが、図示する関係上、図2は画素数4×4のCMOSイメージセンサ10を示す。
このイメージセンサ10は、例えば各画素101−1〜101−mnに対する露光の開始と終了とが各画素位置に対して同一であるグローバルシャッター、又は各画素101−1〜101−mnに対する露光の開始と終了とが順次移動するローリングシャッターを有する。
CMOSイメージセンサ10は、XYアドレス走査方式と呼ばれる方式により蓄積電荷の読み出しが行われるもので、列方向のデコーダ(Rowデコーダ)102と縦方向のデコーダ(Columnデコーダ)103とが設けられている。Rowデコーダ102は、タイミングジェネレータ20により発生するRow駆動信号G1を入力すると、このRow駆動信号G1に対応した信号を各水平読み出し選択信号線J00、J01、…、J0nに出力する。
Columnデコーダ103は、タイミングジェネレータ20により発生するColumn駆動信号G2を入力すると、このColumn駆動信号G2に対応した信号を各スイッチング素子T00、T01、…、T0mに与える。これにより、スイッチング素子T00、T01、…、T0mが選択的に導通することにより垂直方向(Y方向)に配列されている各一列の各画素101−1、101−p等から蓄積電荷が選択的に読み出される。通常、Rowデコーダ102による各水平読み出し選択信号線J00、J01、…、J0nへのRow駆動信号G1の出力と、Columnデコーダ103によるスイッチング素子T00、T01、…、T0mを通しての各垂直読み出し線K00、K01、…、K0mへのColumn駆動信号G2の出力とは、同期して行われ、例えば水平方向(X方向)の一列の各画素毎に各蓄積電荷の読み出しが行われる。
CMOSイメージセンサ10から出力される映像信号は、アナログフロントエンド(以下、AFEと称する)11に送られる。このAFE11は、CMOSイメージセンサ10からの映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、これによって後段のデジタルシグナルプロセッサー(以下、DSPと称する)12において画像記録しやすい画像データに処理する。
DSP12は、ファインダー機能として用いられる液晶パネルから成るLCD表示部13と、撮影画像記録用の外部フラッシュメモリ14と、RAM15とが接続されている。DSP12は、AFE11からの画像データに基づいて被写体の画像をLCD表示部13にリアルタイムに表示させ、かつレリーズボタンが押し操作されたときの撮影時に本画像データを外部フラッシュメモリ14に記録する。本画像データは、表示用画像データよりも含まれる画素数が多くなっている。なお、LCD表示部13は、カメラ本体1の背面に設けられている。
具体的にDSP12は、画素分配部12−1と、表示処理部12−2と、記録処理部12−3と、累積処理部12−4とを有する。このうち、画素分配部12−1は、撮影前のAFE11からの画像データが後述するようにCMOSイメージセンサ10におけるフリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータと、表示用画素の蓄積電荷に応じた表示用画像データとが時分割に交互に配列されたものとなっている。従って、画素分配部12−1は、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータと、表示用画素の蓄積電荷に応じた表示用画像データとのうち表示用画素の蓄積電荷に応じた表示用画像データを表示処理部12−2に送り、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータを累積処理部12−4に送り、撮影時のCMOSイメージセンサ10における全画素の蓄積電荷に応じたデータを記録処理部12−3に送る。なお、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータと表示用画素の蓄積電荷に応じた表示用画像データとの2系統の分離は、画素出力のクロックを独立させる、又は表示期間を示すディスプレイ信号を独立させたり、有効極性を排他的に割り当てることで行なう。
表示処理部12−2は、撮影前のAFE11からの表示用画像データをLCD表示部13のドット構成に合わせるリサイズ処理とフレームレートの整合処理とを行なう。
記録処理部12−3は、撮影時に、AFE11からの本画像データに対する圧縮処理などを行って記録用の画像データを生成し、この記録用画像データを外部フラッシュメモリ14に記録する。この記録用画像データを生成する処理の過程では、画像データやパラメータをRAM15に記録する。
累積処理部12−4は、表示処理部12−2による表示用画像データの生成と並行して、表示用画像データを用いた自動焦点(AF)、自動露光(AE)、自動ホワイトバランス(AWB)等の検出用の画面領域とフリッカー検出用の画面領域との各画素の情報、例えば各画素の輝度値の累積値をそれぞれ求め、これら累積値をシステム制御マイクロコンピュータ19に送る。
システム制御マイクロコンピュータ19は、レンズユニット1のレンズ制御マイクコロンピュータ9に対して指示を与えると共に、CMOSイメージセンサ10の動作モードを設定し、かつタイミングジェネレータ(TG)20により発生するCMOSイメージセンサ10の駆動タイミングのモードを設定するもので、露出制御部21と、フリッカー検出部22とを有する。なお、システム制御マイクロコンピュータ19は、カメラ本体2内のCMOSイメージセンサ10、AFE11、DSP12、LCD表示部13、外部フラッシュメモリ14、RAM15、タイミングジェネレータ20に対する設定や動作制御を行う。又、システム制御マイクロコンピュータ19には、図示しないがユーザーインターフェイスが接続され、このユーザーインターフェイスから操作者の操作指令を受ける。
露出制御部21は、CMOSイメージセンサ10の複数の画素11−1〜11−mnの中から例えば図3に示すように表示用の画素D00〜Dkiと、フリッカー検出用画素ブロックF00〜Fkiとを予め設定し、これら表示用画素D00〜Dkiに対する露光制御とフリッカー検出用画素ブロックF00〜Fkiに対する露光制御とをそれぞれ独立して行う。
すなわち、図3はCMOSイメージセンサ10の記録撮影前のLCD表示部13への表示用画像データの表示時の画素読出し状態の模式図を示す。CMOSイメージセンサ10は、上記の通り複数の画素101−1〜101−mnをXY方向の2次元平面上に配列して成る。これら画素101−1〜101−mnは、記録撮影前のLCD表示部13への表示用画像データの表示時の画素読出し状態において、撮像画像の表示用の画素D00〜Dkiと、フリッカー検出用の画素ブロックF00〜Fkiとに区分される。
表示用の画素D00〜Dkiは、それぞれ例えば1画素から成り、予め設定された間隔毎、例えば水平方向(X方向)に6画素毎で、かつ垂直方向(Y方向)に7画素毎に複数配置される。一方、フリッカー検出用の画素ブロックF00〜Fkiは、それぞれ例えば5×6画素から成り、表示用の画素D00〜Dkiと区分して表示用の各画素D00〜Dkiの間にそれぞれ複数配置される。
デジタルカメラのCMOSイメージセンサ10の画素数は、例えばRGB色の合計で1000万画素(概略3600V×2800H画素)以上が標準的に採用されている。一方、ファインダー機能として用いられる背面のLCD表示部13は、30万画素(概略640V×480H画素)程度のものが採用されている。LCD表示部13は、例えばCMOSイメージセンサ10の縦横6画素中の1画素を用いればよいことになる。
CMOSイメージセンサ10の縦横6画素中の1画素の他の画素は、撮影環境下が非常に暗い場合に感度アップさせるため画素混合される場合があるが、室内蛍光灯の照明環境下では、当該照明により発生するフリッカーを低減するため露光時間を例えば1/120秒又は1/100秒の整数倍の長時間に設定する必要がある。上記感度アップさせるため画素混合は、近傍の画素、例えば図3では表示用画素D00〜Dkiの垂直方向の間の画素を加算に用いる場合があるが、大半の画素は読み出されることがなく、無駄になっている。
本装置は、表示用画素D00〜Dkiの間の無駄になっている画素、すなわちフリッカー検出用の画素ブロックF00〜Fkiがフリッカー検出やAEの検出に利用可能であるので、当該フリッカー検出用の画素ブロックF00〜Fkiを電荷混合したり、電圧の平均値を求めることで、読み出し情報量を表示用画素数以下に抑えることによりフレームレートの低下を防ぐ。
露出制御部21は、図3に示すように表示用画素D00〜Dkiに対する露光制御とフリッカー検出用画素ブロックF00〜Fkiに対する露光制御とをそれぞれ独立して行い、フリッカー検出用画素ブロックF00〜Fkiに対する露光時間及び読み出しのフレームレートを、表示用画素D00〜Dkiに対する露光時間及び読み出しのフレームレート以上に高速に制御する。具体的に露出制御部21は、タイミングジェネレータ20により発生するRow駆動信号G1とColumn駆動信号G2とを制御し、CMOSイメージセンサ10の駆動タイミングを設定する。
フリッカー検出部22は、撮影環境下における照明によるフリッカーの発生状態を調べるために、DSP12からのフリッカー検出用画素ブロックF00〜Fkiの各画素の情報として例えば各画素の輝度値の累積値を更新毎に逐次読み出し、この累積値の変化からフリッカーの周波数やそのレベルを求める。
図4はCMOSイメージセンサ10で一般的なXYアドレス走査読出しによるローリングシャッター方式の露光時の光源フリッカーと画面内ムラの関係を示す。同図は電源周波数によって変動する光源の光量をシャッター速度による露光時間で各露光領域毎に区間積分した結果を示し、露光領域の単位を水平ラインとしている。シャッター速度制御による露光時間が電源周波数によって発生する光源フリッカーの整数倍であれば、均一に露光されて読み出し画像にムラは発生しない。これに対してシャッター速度制御による露光時間が電源周波数よりも短い又は長いと、読み出し画像にムラが発生する。露光時間が短い方よりも長い方が積分によるローパスフィルター効果が大きいので、ムラのレベル差が小さいことが分かる。
以下、具体的にCMOSイメージセンサ10とタイミングジェネレータ20により発生するRow駆動信号G1、Column駆動信号G2とについて説明する。
図5はCMOSイメージセンサ10における表示用画素D00〜Dkiからの画像情報とフリッカー検出用画素ブロックF00〜Fkiからの画像情報との各読出しレートが1:1の順次で読み出す方式を示す。すなわち、フリッカー検出用読出し時間比率(=フリッカー検出用読出し画素時間/1フレーム読出し時間)は、1/2である。
CMOSイメージセンサ10は、上記図3と同様に、複数の画素101−1〜101−mnをXY方向の2次元平面上に配列して成り、このうち画素D00〜Dkiを表示用とし、画素ブロックF00〜Fkiをフリッカー検出用とする。なお、図示する関係上、表示用画素D00〜Dkiは、4つ画素の表示用画素D00、D01、D10、D11のみを示し、フリッカー検出用画素ブロックF00〜Fkiは、4つのフリッカー検出用画素ブロックF00、F01、F10、F11のみを示す。表示用画素D00、…D11は、上記同様に、例えば1画素から成る。これら表示用画素D00、…、D11は、ライン状に複数列配列して成り、予め設定された間隔毎、例えば水平方向(X方向)に6画素毎で、かつ垂直方向(Y方向)に6画素毎に複数配置される。
一方、フリッカー検出用画素ブロックF00、…、F11は、それぞれ例えば5×6画素から成る。これらフリッカー検出用画素ブロックF00、…、F11は、表示用画素D00、…、D11とは別で、表示用の各画素D00、…、D11の間の水平方向(X方向)と垂直方向(Y方向)とにそれぞれ複数配置される。すなわち、フリッカー検出用画素ブロックF00、F10は、ライン状に配列された表示用画素D00、…、D11の一列に対して少なくとも1ブロック、ここでは表示用画素D00、…、D11とフリッカー検出用画素ブロックF00、…、F11とは、1対1で配置されている。
これら表示用画素D00、…D11とフリッカー検出用画素ブロックF00、…、F11との近傍の水平方向(X方向)と垂直方向(Y方向)には、それぞれRowデコーダ102とColumnデコーダ103とが設けられている。Rowデコーダ102には、複数の水平読み出し選択信号線J00、J01、…、J15が接続されている。これら複数の水平読み出し選択信号線J00、J01、…、J15は、例えば水平読み出し選択信号線J00〜J05と水平読み出し選択信号線J10〜J15とに分けられ、このうち水平読み出し選択信号線J00〜J05は、各表示用画素D00、D01と各フリッカー検出用画素ブロックF00、F01とに配線され、水平読み出し選択信号線J10〜J15は、各表示用画素D10、D11と各フリッカー検出用画素ブロックF10、F11とに配線されている。これら水平読み出し選択信号線J00、J01、…、J15は、それぞれ水平方向(X方向)に配列されている各一列の各画素101−1、101−2等に接続されている。
Rowデコーダ102は、タイミングジェネレータ20により発生するRow駆動信号G1を入力すると、このRow駆動信号G1に対応したデコード信号を各水平読み出し選択信号線J00、J01、…、J15に出力する。
Columnデコーダ103には、複数のスイッチング素子T00、T01、…、T15を介して複数の垂直読み出し線K00、K01、…、K15が接続されている。これら複数の垂直読み出し線K00、K01、…、K15は、例えば垂直読み出し線K00〜K05と垂直読み出し線K10〜K15とに分けられ、このうち垂直読み出し線K00〜K05は、各表示用画素D00、D10と各フリッカー検出用画素ブロックF00、F10とに配線され、垂直読み出し線K10〜K15は、各表示用画素D01、D11と各フリッカー検出用画素ブロックF01、F11とに配線されている。これら垂直読み出し線K00、K01、…、K15は、それぞれ垂直方向(Y方向)に配列されている各一列の各画素101−1、101−p等に接続されている。
又、複数のスイッチング素子T00、T01、…、T15には、1本の出力読み出し線Wが共通接続されている。
Columnデコーダ103は、タイミングジェネレータ20により発生するColumn駆動信号G2を入力すると、このColumn駆動信号G2に対応したデコード信号を各スイッチング素子T00、T01、…、T15に与える。これにより、スイッチング素子T00、T01、…、T15が導通することにより垂直方向(Y方向)に配列されている各一列の各画素101−1、101−p等から蓄積電荷が電圧に変換されて読み出される。これら読み出された各電圧は、順次1本の出力読み出し線Wを通して出力される。
露光制御部21は、各フリッカー検出用画素ブロックF00、…、F11に対する露光時間及び読み出し時間を、各表示用画素D00、…、D11に対する露光時間及び読み出し時間の整数分の1倍とし、かつ表示用画素D00、…、D11から読み出される各蓄積電荷とフリッカー検出用画素ブロックF00、…、F11から読み出されるフリッカー用の各蓄積電荷とを時分割に交互に1本の出力読み出し線Wに出力させるためのRow駆動信号G1、Column駆動信号G2をタイミングジェネレータ20から発生させる。
具体的に、各フリッカー検出用画素ブロックの露光時間及び読み出し時間は、図5に示すように各表示用画素の露光時間及び読み出し時間と同じに設定されているが、画素混合による感度アップの分だけ各フリッカー検出用画素ブロックの露光時間及び読み出し時間を短く設定してもよい。
次に、上記の如く構成された撮像装置の動作について説明する。
被写体からの反射光である光学情報Sは、先ず、レンズユニット1内のズームレンズ3により倍率調整され、フォーカスレンズ4によりCMOSイメージセンサ10の面上に結像され、絞り5を通ることにより所望の明るさに調整されてCMOSイメージセンサ10の面上に入射する。このイメージセンサ10は、入射した光学情報Sを光電変換して映像信号として出力する。
AFE11は、CMOSイメージセンサ10からの映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換して画像データを取得する。
DSP12は、AFE11からの画像データ、例えば記録撮影前の表示用画像データをLCD表示部13にリアルタイムに表示させ、かつ記録撮影時に本画像データを外部フラッシュメモリ14に記録する。具体的にDSP12の画素分配部12−1は、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータと、表示用画素の蓄積電荷に応じた表示用画像データとのうち表示用画素の蓄積電荷に応じた表示用画像データを表示処理部12−2に送り、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータ累積処理部12−4に送り、撮影時のCMOSイメージセンサ10における全画素の蓄積電荷に応じたデータを記録処理部12−3に送る。
表示処理部12−2は、撮影前のAFE11からの表示用画像データをLCD表示部13のドット構成に合わせるリサイズ処理とフレームレートの整合処理とを行ない、表示用画像データをLCD表示部13にリアルタイムに表示する。
記録処理部12−3は、撮影時に、AFE11からの本画像データに対する圧縮処理などを行って記録用の画像データの生成し、この記録用画像データを外部フラッシュメモリ14に記録すると共に、この記録用画像データを生成する処理の途中の画像データやパラメータをRAM15に一時的に記録する。
累積処理部12−4は、表示処理部12−2による表示用画像データの生成と並行して、表示用画像データにおけるAE、AF、AWB検出用の画面領域と、フリッカー検出用の画面領域との各画素の情報、例えば表示用画素D00、…D11からの各画像データの各画素の輝度値の累積値と、フリッカー検出用画素ブロックF00、…、F11からの各画像データの各画素の輝度値の累積値とをそれぞれ求め、これら累積値をシステム制御マイクロコンピュータ19に送る。
システム制御マイクロコンピュータ19は、レンズユニット1のレンズ制御マイクコロンピュータ9に対して指示を与えると共に、CMOSイメージセンサ10の動作モードを設定し、かつタイミングジェネレータ(TG)20により発生するCMOSイメージセンサ10の駆動タイミングをフリッカー検出モードに設定する。
ここで、システム制御マイクロコンピュータ19の露出制御部21は、図5に示す各フリッカー検出用画素ブロックF00、…、F11に対する露光時間及び読み出し時間を、各表示用画素D00、…、D11に対する露光時間及び読み出し時間の整数分の1倍とし、かつ表示用画素D00、…、D11から読み出される各蓄積電荷とフリッカー検出用画素ブロックF00、…、F11から読み出されるフリッカー用の各蓄積電荷とを時分割に交互に1本の出力読み出し線Wに出力させるためにRow駆動信号G1、Column駆動信号G2をタイミングジェネレータ20から発生させ、例えば図6に示すようなRow、Columnの各デコード信号(駆動信号)V10〜V15、H10〜H15を発生させる。
ここで、図6を参照して表示用画素D00、…、D11とフリッカー検出用画素ブロックF00、…、F11とからの各蓄積電荷の読み出しについて説明する。
Row駆動信号G1のデコード信号は、Rowの各駆動信号V00〜V05と、Rowの各駆動信号V10〜V15とに分けられ、このうちRowの各駆動信号V00〜V05は、各水平読み出し選択信号線J00〜J05にそれぞれ供給され、Rowの各駆動信号V10〜V15は、各水平読み出し選択信号線J10〜J15にそれぞれ供給される。これにより、Rowの各駆動信号V00〜V05は、各水平読み出し選択信号線J00〜J05に接続されている各表示用画素D00、D01と各フリッカー検出用画素ブロックF00、F01とに供給される。又、Rowの各駆動信号V10〜V15は、各水平読み出し選択信号線J10〜J15に接続されている各表示用画素D10、D11と各フリッカー検出用画素ブロックF10、F11とに供給される。
Rowの各駆動信号V00〜V05は、先ず、フリッカー検出用画素ブロックF00中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V00のみ表示用画素D00から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの各駆動信号V00〜V05は、フリッカー検出用画素ブロックF01中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V00のみ表示用画素D01から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの各駆動信号V00〜V05は、図示していないがフリッカー検出用画素ブロックF02中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V00のみ表示用画素D02から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
そして、水平方向(X方向)のフリッカー検出用画素ブロックと表示用画素とからの各蓄積電荷の読み出しが終了すると、引き続き、Rowの各駆動信号V10〜V15は、先ず、フリッカー検出用画素ブロックF10中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V10のみ表示用画素D10から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの各駆動信号V10〜V15は、フリッカー検出用画素ブロックF11中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V10のみ表示用画素D11から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの各駆動信号V10〜V15は、図示していないがフリッカー検出用画素ブロックF12中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V10のみ表示用画素D12から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
一方、Column駆動信号G2は、Columnの各駆動信号H00〜H05と、Columnの各駆動信号H10〜H15とに分けられ、先ず、Columnの各駆動信号H00〜H05のうちH00〜H04は、フリッカー検出用画素ブロックF00中の各画素の蓄積電荷を読み出すために、上記Rowの各駆動信号V00〜V05が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF00中の各画素の蓄積電荷は、各垂直読み出し線K00〜K04から各スイッチング素子T00〜T04を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H00〜H05のうちColumnの駆動信号H05のみが表示用画素D00の蓄積電荷を読み出すために、上記Rowの駆動信号V00が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D00の蓄積電荷が垂直読み出し線K05からスイッチング素子T05を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H10〜H15のうちH10〜H14は、フリッカー検出用画素ブロックF01中の各画素の蓄積電荷を読み出すために、上記Rowの各駆動信号V00〜V05が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF01中の各画素の蓄積電荷は、各垂直読み出し線K10〜K14から各スイッチング素子T10〜T14を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H10〜H15のうち駆動信号H15のみが表示用画素D01の蓄積電荷を読み出すために上記Rowの駆動信号V00が予め設定された期間ハイレベルになるのに同期して期間ハイレベルになる。これにより、表示用画素D01の蓄積電荷が垂直読み出し線K15からスイッチング素子T15を通して1本の出力読み出し線Wに送られる。
以下、同様に、Columnの各駆動信号H00〜H05のうちH00〜H04は、フリッカー検出用画素ブロックF10中の各画素の蓄積電荷を読み出すために、上記Rowの各駆動信号V10〜V15が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF10中の各画素の蓄積電荷は、各垂直読み出し線K00〜K04から各スイッチング素子T00〜T04を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H00〜H05のうちColumnの駆動信号H05のみが表示用画素D10の蓄積電荷を読み出すために、上記Rowの駆動信号V10が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D10の蓄積電荷が垂直読み出し線K05からスイッチング素子T05を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H10〜H15のうちH10〜H14は、フリッカー検出用画素ブロックF11中の各画素の蓄積電荷を読み出すために、上記Rowの各駆動信号V10〜V15が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF11中の各画素の蓄積電荷は、各垂直読み出し線K10〜K14から各スイッチング素子T10〜T14を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H10〜H15のうち駆動信号H15のみが表示用画素D11の蓄積電荷を読み出すために上記Rowの駆動信号V10が予め設定された期間ハイレベルになるのに同期して期間ハイレベルになる。これにより、表示用画素D11の蓄積電荷が垂直読み出し線K15からスイッチング素子T15を通して1本の出力読み出し線Wに送られる。
この結果、CMOSイメージセンサ10の1本の出力読み出し線Wからは、映像信号としてフリッカー検出用画素ブロックF00中の各画素の蓄積電荷が出力され、次に表示用画素D00の蓄積電荷、次にフリッカー検出用画素ブロックF01中の各画素の蓄積電荷、次に表示用画素D01の蓄積電荷、…、次にフリッカー検出用画素ブロックF11中の各画素の蓄積電荷、次に表示用画素D11の蓄積電荷のようにフリッカー検出用画素ブロックの各画素の蓄積電荷と表示用画素の蓄積電荷とが時分割に交互に1本の出力読み出し線Wに出力される。
AFE11は、CMOSイメージセンサ10からの映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換して画像データを取得する。
DSP12は、AFE11からの画像データ、例えば記録撮影前の表示用画像データをLCD表示部13にリアルタイムに表示させ、かつ記録撮影時に表示用画像データと本画像データとを外部フラッシュメモリ14に記録する。具体的に画素分配部12−1は、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータと、表示用画素の蓄積電荷に応じた表示用画像データとのうち表示用画素の蓄積電荷に応じた表示用画像データを表示処理部12−2に送り、フリッカー検出用画素ブロックの各画素の蓄積電荷に応じたデータ累積処理部12−4に送り、撮影時のCMOSイメージセンサ10における全画素の蓄積電荷に応じたデータを記録処理部12−3に送る。
表示処理部12−2は、記録撮影前のAFE11からの表示用画像データをLCD表示部13のドット構成に合わせるリサイズ処理とフレームレートの整合処理とを行ない、表示用画像データをLCD表示部13にリアルタイムに表示する。これによりLCD表示部13には、被写体のライブビュー画像が表示される。
記録処理部12−3は、記録撮影時に、AFE11からの本画像データに対する圧縮処理などを行って記録用の画像データの生成し、この記録用画像データを外部フラッシュメモリ14に記録すると共に、この記録用画像データを生成する処理の途中の画像データやパラメータをRAM15に一時的に記録する。
累積処理部12−4は、表示処理部12−2による表示用画像データの生成と並行して、表示用画像データにおけるAE、AF、AWB検出用の画面領域と、フリッカー検出用の画面領域との各画素の情報、例えば表示用画素D00、…D11からの表示用画像データの各画素の輝度値の累積値と、フリッカー検出用画素ブロックF00、…、F11からの各画像データの各画素の輝度値の累積値とをそれぞれ求め、これら累積値をシステム制御マイクロコンピュータ19に送る。
システム制御マイクロコンピュータ19は、撮影環境下における照明によるフリッカーの発生状態を調べるために、DSP12からのフリッカー検出用画素ブロックF00、…、F11からの各画像データの各画素の輝度値の累積値を更新毎に逐次読み出し、この累積値の変化からフリッカーの周波数やそのレベルを求める。
システム制御マイクロコンピュータ19は、例えば図7に示すフリッカー検出時の処理シーケンスに対応するフリッカー検出のフローチャートに従ってフリッカーを検出する。撮影が開始されると、先ず、システム制御マイクロコンピュータ19は、撮影開始時、未だフリッカー状態を判定できないので、フリッカー検出を行なうために、CMOSイメージセンサ10の駆動モードを上記フリッカー検出モードに設定すると共に、シャッター速度制御を高速シャッター速度に切り替える。
システム制御マイクロコンピュータ19は、これに先立って、ステップ#1において、ライブビュー画像をLCD表示部13に表示するための表示用画素D00〜Dkiからの表示用画像データに基づいて被写体の輝度を求め、この輝度が規定値、例えば規定値4BVよりも低いか否かを判断する。すなわち、被写体が室内光ではあり得ない程の明るさを有し、例えば屋外で撮影されているか否かを判断する。
この判断の結果、被写体の輝度を求め、この輝度が規定値、例えば規定値4BVよりも高ければ、システム制御マイクロコンピュータ19は、ステップ#2に移り、屋外撮影用P線図パラメータを使用して露出制御パラメータを算出する。
次に、システム制御マイクロコンピュータ19は、ステップ#3において、絞り5の絞り径と、シャッター速度と、ISO感度等の露出制御を行うための設定を行う。
一方、被写体の輝度が規定値、例えば規定値4BVよりも低ければ、システム制御マイクロコンピュータ19は、ステップ#4に移り、レンズユニット1の実効開放値と絞り5の絞り値とを確認する。
次に、システム制御マイクロコンピュータ19は、ステップ#5において、光源フリッカー周波数の検出前処理としてCMOSイメージセンサ10をフリッカー検出モードに切り替え、例えば1/400secの高速シャッター速度に設定する。
次に、システム制御マイクロコンピュータ19は、ステップ#6において、DSP12からのフリッカー検出用画素ブロックF00、…、F11からの各画像データの各画素の輝度値の累積値を更新毎に逐次読み出し、この累積値の変化からフリッカー条件としてピーク検出個数、ピーク間隔、ピーク近傍の変化率を求め、これらピーク検出個数、ピーク間隔、ピーク近傍の変化率に基づいて光源のフリッカー周波数やそのレベルを求める。
次に、システム制御マイクロコンピュータ19は、ステップ#7において、光源のフリッカー周波数が50Hz又は60Hzのいずれかであるかを判断する。実際の光源のフリッカー周波数の判断は、ピークの検出個数から各ピークを求めたことを確認し、これらピークの間隔を計測する。又、光源のフリッカー周波数がピークのレベル差とピークの繰り返しの再現性とに基づいて被写体の変動やノイズの影響でないか否かを判断する。
上記判断の結果、光源のフリッカー周波数が50Hzであれば、システム制御マイクロコンピュータ19は、ステップ#8に移り、50Hz用P線図パラメータを使用して露出制御パラメータを算出する。次に、システム制御マイクロコンピュータ19は、ステップ#3において、絞り5の絞り径と、シャッター速度と、ISO感度等の露出制御を行うための設定を行う。
一方、光源のフリッカー周波数が60Hzであれば、システム制御マイクロコンピュータ19は、ステップ#9に移り、60Hz用P線図パラメータを使用して露出制御パラメータを算出する。次に、システム制御マイクロコンピュータ19は、ステップ#3において、絞り5の絞り径と、シャッター速度と、ISO感度等の露出制御を行うための設定を行う。
このように上記第1の実施の形態によれば、CMOSイメージセンサ10の撮影時前のLCD表示部13への記録用画像データの表示時の画素読出し状態にあるとき、CMOSイメージセンサ10における各フリッカー検出用画素ブロックF00、…、F11に対する露光時間及び読み出し時間を、各表示用画素D00、…、D11に対する露光時間及び読み出し時間の整数分の1倍とし、かつ表示用画素D00、…、D11から読み出される各蓄積電荷とフリッカー検出用画素ブロックF00、…、F11から読み出されるフリッカー用の各蓄積電荷とを時分割に交互に1本の出力読み出し線Wに出力させる。
これにより、従来、表示用画素D00、…、D11の間の無駄になっている画素、すなわちフリッカー検出用画素ブロックF00、…、F11をフリッカー検出やAEの検出に利用するので、当該フリッカー検出用の画素ブロックF00、…、F11からの各蓄積電荷を電荷混合したり、電圧の平均値等を求めることで、読み出し情報量を表示用画素数以下に抑えてフレームレートの低下を防ぐことができる。
しかるに、イメージセンサ10が例えば各画素101−1〜101−mnに対する露光の開始と終了とが各画素位置に対して同一であるグローバルシャッター、又は各画素101−1〜101−mnに対する露光の開始と終了とが順次移動するローリングシャッターを有するものでも、蛍光灯下でのフリッカーの影響を抑えた撮影を行なうのに際し、フリッカー周波数の検出に要する時間を短縮し、シャッターラグを押さえて室内撮影時のシャッターチャンスを逃すことがなくなる。ライブビュー表示機能やその画質を損なうことなく、フリッカー検出を高速化できる。フリッカーを検出してシャッター速度による補正が行なわれる間に、撮影者は、ライブビュー画像でフリッカーを目視することになるが、その時間が十分に短くなるため、ちらつきを感じることがなくなる。
この結果、表示用画素D00、…、D11の露光制御に対してフリッカー検出用画素ブロックF00、…、F11の露光時間を独立で制御するので、表示用画素D00、…、D11の露光を比較的長時間に設定することができ、画像中のフリッカーレベルを低く抑えて明滅やムラを目立たなくさせることができる。
又、フリッカー検出の高速化のためにフレームレートを上げると、シャッター速度も速くなって感度不足になり、シャッター速度を例えば2桁以上早くすると、画像の信号レベルがノイズに埋もれてしまい、フリッカーの検出精度が低下し過ぎるという課題がある。この課題を解決するために上記特許文献3は、ゲイン補正によるレベル確保を行なおうとしているが大幅な改善は望めない。
本装置は、フリッカー検出用画素ブロックF00、…、F11の各画素からの各蓄積電荷の画素混合による感度アップでノイズ改善を図りながら、最終的な読出し時間を短縮するので、大幅にフレームレートを上げる改善効果がある。
CMOSイメージセンサ10の1本の出力読み出し線Wを通してフリッカー検出用画素ブロックF00中の各画素の蓄積電荷、表示用画素D00の蓄積電荷、フリッカー検出用画素ブロックF01中の各画素の蓄積電荷、…、表示用画素D11の蓄積電荷のようにフリッカー検出用画素ブロックの各画素の蓄積電荷と表示用画素の蓄積電荷とを時分割に交互に出力するので、CMOSイメージセンサ10の出力読み出し線Wを1本にできてフリッカー検出用画素ブロック用と表示用画素用とに共用化でき、無駄な配線数の増加による巨大化を避けることができる。
フリッカー検出用画素ブロックF00、…、F11には、多数の画素が有するが、各フリッカー検出用画素ブロックF00、…、F11単位で同時に各蓄積電荷を読み出して画素混合を行なうので、CMOSイメージセンサ10の1本の出力読み出し線Wは、表示用画素D00、…、D11から読み出される各蓄積電荷とフリッカー検出用画素ブロックF00、…、F11から読み出されるフリッカー用の各蓄積電荷との時分割の切り替えであることから、表示用画素D00、…、D11から読み出される各蓄積電荷の読み出しレートの2倍の帯域で駆動される。
表示用画素D00、…、D11の露光制御に対してフリッカー検出用画素ブロックF00、…、F11の露光時間を独立で制御し、露光時間を短時間に設定できる。これにより、表示用画素D00、…、D11の蓄積電荷の出力をフリッカー検出に流用する場合に比べて、フリッカーのレベル差を大きくとれてフリッカー検出の安定性を増すことができる。又、フリッカー検出用の画素混合領域を表示画素の分布割合よりも広げて独立読み出しする信号数を減らしてフリッカー検出用の画像フレームレートを上げることで、フリッカーの検出時間を短縮することができる。
以上、上記第1の実施の形態によれば、CMOSイメージセンサ10をフリッカー検出用画素ブロックF00、…、F11と表示用画素D00、…、D11とに分けて、各々独立で露光制御が可能とすることで、フリッカー検出ブロックのフレームレートを上げてフリッカー検出時間を短縮する。
フリッカー検出用画素ブロックF00、…、F11内では、画素混合加算による感度アップを行なうことで、より露光時間を短縮でき、読出し情報数を減らしてフレームレートをさげることができる。
次に、本発明の第2の実施の形態について図面を参照して説明する。なお、図1及び図5と同一部分には同一符号を付してその詳しい説明は省略する。
図8はCMOSイメージセンサ10における上記図5と同様の表示用画素D00、…、D11からの画像情報とフリッカー検出用画素ブロックF00、…、F11からの画像情報との各読出しレートを高速化した読み出す方式を示す。この読み出す方式は、表示用画素D00、…、D11の各ラインに対してフリッカー検出用画素ブロックF00、…、F11の読み出しを各1ブロックとして読み出し比率を、表示用画素の水平読み出し画素数をVGAサイズの640画素とした場合、約640:1に改善している。
具体的にCMOSイメージセンサ10とタイミングジェネレータ20により発生するRow駆動信号G1のデコード信号と、Column駆動信号G2のデコード信号とについて説明する。
CMOSイメージセンサ10は、図示する関係上、表示用画素D00〜Dkiを4つ画素の表示用画素D00、…、D11とし、フリッカー検出用画素ブロックF00〜Fkiを2つのフリッカー検出用画素ブロックF00、F10とする。
フリッカー検出用画素ブロックF00、F10は、それぞれ例えばm×5画素から成る。mは水平画素数である。これらフリッカー検出用画素ブロックF00、F10は、表示用画素D00、…、D11とは別で、表示用画素D00、…、D11の垂直方向(Y方向)の間で、水平方向(X方向)にm×5画素の長方形状のエリアに配置される。ここでは、フリッカー検出用画素ブロックF00、F10は、ライン状に配列された表示用画素D00、…、D11の一列に対して1ブロックずつ配列される。
Rowデコーダ102には、複数の水平読み出し選択信号線J00、J01、…、J15が接続され、このうち水平読み出し選択信号線J00は、各表示用画素D00、D01に配線され、水平読み出し選択信号線J01〜J05は、1つのフリッカー検出用画素ブロックF00に配線され、水平読み出し選択信号線J10は、各表示用画素D10、D11に配線され、水平読み出し選択信号線J11〜J15は、1つのフリッカー検出用画素ブロックF10に配線されている。
Rowデコーダ102は、タイミングジェネレータ20により発生するRow駆動信号G1を入力すると、このRow駆動信号G1に対応したデコード信号を各水平読み出し選択信号線J00、J01、…、J15に出力する。
Columnデコーダ103には、複数のスイッチング素子T00、T01、…、T15を介して複数の垂直読み出し線K00、K01、…、K15が接続されている。これら垂直読み出し線K00、K01、…、K15は、各表示用画素D00、…、D11と各フリッカー検出用画素ブロックF00、F10とに配線されている。
又、複数のスイッチング素子T00、T01、…、T15は、上記同様に、1本の出力読み出し線Wが共通接続されている。
Columnデコーダ103は、タイミングジェネレータ20により発生するColumn駆動信号G2を入力すると、このColumn駆動信号G2に対応したデコード信号を各スイッチング素子T00、T01、…、T15に与える。これにより、スイッチング素子T00、T01、…、T15が導通することにより垂直方向(Y方向)に配列されている各一列の各画素101−1、101−p等から蓄積電荷が電圧に変換されて読み出される。これら読み出された各電圧は、順次1本の出力読み出し線Wを通して出力される。
しかるに、露光制御部21は、ライン毎の各表示用画素D00、…、D11からの各蓄積電荷の読み出しと、各フリッカー検出用画素ブロックF00、F10からの各蓄積電荷の読み出しとを時分割に1本の出力読み出し線Wに出力させるためのRow駆動信号G1、Column駆動信号G2をタイミングジェネレータ20から発生させる。
次に、図9を参照して表示用画素D00、…、D11とフリッカー検出用画素ブロックF00、F10とからの各蓄積電荷の読み出しについて説明する。
Row駆動信号G1のデコード信号は、Rowの各駆動信号V00〜V05と、Rowの各駆動信号V10〜V15とに分けられ、このうちRowの各駆動信号V00〜V05は、各水平読み出し選択信号線J00〜J05にそれぞれ供給され、Rowの各駆動信号V10〜V15は、各水平読み出し選択信号線J10〜J15にそれぞれ供給される。これにより、Rowの駆動信号V00は、水平読み出し選択信号線J00に接続されている各表示用画素D00、D01に供給され、各駆動信号V01〜V05は、各水平読み出し選択信号線J01〜J05に接続されている1つのフリッカー検出用画素ブロックF00とに供給される。又、Rowの各駆動信号V10は、各水平読み出し選択信号線J10に接続されている各表示用画素D10、D11に供給され、各駆動信号V11〜V15は、各水平読み出し選択信号線J11〜J15に接続されている1つのフリッカー検出用画素ブロックF10とに供給される。
Rowの各駆動信号V01〜V05は、先ず、1つのフリッカー検出用画素ブロックF00中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V00のみ表示用画素D00から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの各駆動信号V00〜V05のうち駆動信号V00のみが表示用画素D01から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、続いて表示用画素D02から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、表示用画素D03から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
そして、水平方向(X方向)のフリッカー検出用画素ブロックと表示用画素とからの各蓄積電荷の読み出しが終了すると、引き続き、Rowの各駆動信号V10〜V15は、1つのフリッカー検出用画素ブロックF10中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V10のみ表示用画素D10から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、引き続き、Rowの駆動信号V10のみが表示用画素D11から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、続いて表示用画素D12から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、表示用画素D13から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
一方、Column駆動信号G2のデコード信号は、Columnの各駆動信号H00〜H05と、Columnの各駆動信号H10〜H15とに分けられ、先ず、Columnの各駆動信号H00〜H05、H10〜H15は、フリッカー検出用画素ブロックF00中の各画素の蓄積電荷が電圧変換された信号を読み出すために、上記Rowの各駆動信号V01〜V05が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF00中の各画素の蓄積電荷は、電圧変換されて各垂直読み出し線K00〜K15から各スイッチング素子T00〜T15を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H00〜H05のうちColumnの駆動信号H05のみが表示用画素D00の蓄積電荷を読み出すために、上記Rowの駆動信号V00が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D00の蓄積電荷が電圧変換された信号が垂直読み出し線K05からスイッチング素子T05を通して1本の出力読み出し線Wに送られる。
次に、Columnの各駆動信号H00〜H05のうちColumnの駆動信号H15のみが表示用画素D01の蓄積電荷を読み出すために、上記Rowの駆動信号V00が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D01の蓄積電荷が電圧変換された信号が垂直読み出し線K15からスイッチング素子T15を通して1本の出力読み出し線Wに送られる。
同様に、表示用画素D02の蓄積電荷が垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られ、表示用画素D03の蓄積電荷が垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られる。
次に、Rowの各駆動信号V11〜V15は、1つのフリッカー検出用画素ブロックF10中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V10のみ表示用画素D10から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの駆動信号V10のみが表示用画素D11から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、続いて表示用画素D12から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、表示用画素D13から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
一方、Column駆動信号G2のデコードされた各駆動信号H00〜H05、H10〜H15は、フリッカー検出用画素ブロックF10中の各画素の蓄積電荷を読み出すために、上記Rowの各駆動信号V11〜V15が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF10中の各画素の蓄積電荷は、電圧変換されて各垂直読み出し線K00〜K15から各スイッチング素子T00〜T15を通して1本の出力読み出し線Wに送られる。
次に、Columnの駆動信号H05のみが表示用画素D10の蓄積電荷を電圧信号として読み出すために、上記Rowの駆動信号V10が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D10の蓄積電荷が電圧信号として垂直読み出し線K05からスイッチング素子T05を通して1本の出力読み出し線Wに送られる。
次に、Columnの駆動信号H15のみが表示用画素D11の蓄積電荷を電圧信号として読み出すために、上記Rowの駆動信号V10が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D11の蓄積電荷が電圧信号として垂直読み出し線K15からスイッチング素子T15を通して1本の出力読み出し線Wに送られる。
同様に、表示用画素D12の蓄積電荷が電圧信号として垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られ、表示用画素D13の蓄積電荷が垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られる。
この結果、CMOSイメージセンサ10の1本の出力読み出し線Wからは、映像信号としてフリッカー検出用画素ブロックF00中の各画素の蓄積電荷が平均化された電圧信号として出力され、次に表示用画素D00、D01、D02、D03、…、の蓄積電荷が電圧信号として時分割に読み出され、さらにフリッカー検出用画素ブロックF10中の各画素の蓄積電荷が電圧信号として出力され、次に表示用画素D00、D01、D02、D03、…、の蓄積電荷が電圧信号として時分割に読み出される。
このように上記第2の実施の形態によれば、CMOSイメージセンサ10の記録撮影前のLCD表示部13への表示用画像データの表示時の画素読出し状態にあるとき、CMOSイメージセンサ10における各フリッカー検出用画素ブロックF00、F10に対する露光時間及び読み出し時間と、各表示用画素D00、…、D11に対する露光時間及び読み出し時間とを独立に制御して表示用画素D00、…、D11の1ラインに対してフリッカー検出用画素ブロックF00、F10の読み出しを約640:1にし、かつ表示用画素D00、…、D11から読み出される各信号とフリッカー検出用画素ブロックF00、F10から読み出されるフリッカー用の各信号とを時分割に1本の出力読み出し線Wに出力させるので、上記第1の実施の形態と同様の効果を奏することができることは言うまでもなく、CMOSイメージセンサ10における各フリッカー検出用画素ブロックF00、F10の領域を広げることで、個別に読み出す画素ブロックの数を減らしたので、上記第1の実施の形態よりもフリッカー検出用画素ブロックF00、F10の読み出しレートを高速化できる。
次に、本発明の第3の実施の形態について図面を参照して説明する。なお、図1及び図8と同一部分には同一符号を付してその詳しい説明は省略する。
図10はCMOSイメージセンサ10における表示用画素からの画像情報とフリッカー検出用の画素ブロックからの画像情報との各読出しレートを上記第2の実施の形態よりも更に高速化した読み出す方式を示す。この読み出す方式は、表示用画面1ラインに対して画面全体に渡って平均化された1個のフリッカー情報(Fxx)を得る。具体的にフリッカー検出用読出し時間比率(=フリッカー検出用読出し画素時間/1フレーム読出し時間)は、1/307200である。
具体的にCMOSイメージセンサ10とタイミングジェネレータ20により発生するRow駆動信号G1のデコード信号と、Column駆動信号G2のデコード信号とについて説明する。
CMOSイメージセンサ10は、図示する関係上、表示用画素D00〜Dkiを4つ画素の表示用画素D00、…、D11とし、フリッカー検出用画素ブロックF00〜Fkiを2つのフリッカー検出用画素ブロックF00、F10とする。
フリッカー検出用画素ブロックF00、F10は、それぞれ例えばm×5画素から成る。これらフリッカー検出用画素ブロックF00、F10は、表示用画素D00、…、D11とは別で、表示用画素D00、…、D11の垂直方向(Y方向)の間で、水平方向(X方向)にm×5画素の長方形状のエリアに配置される。
露光制御部21は、ライン毎の各表示用画素D00、…、D11からの各蓄積電荷の読み出しと、各フリッカー検出用画素ブロックF00、F10からの各蓄積電荷の読み出しとを時分割に1本の出力読み出し線Wに出力させるためのRow駆動信号G1、Column駆動信号G2をタイミングジェネレータ20から発生させる。
次に、図11を参照して表示用画素D00、…、D11とフリッカー検出用画素ブロックF00、F10とからの各蓄積電荷の読み出しについて説明する。
Rowの各駆動信号V01〜V05、V11〜V05は、先ず、CMOSイメージセンサ10中の全てのフリッカー検出用画素ブロックF00、F10中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになる。次に、Rowの駆動信号V00のみが表示用画素D00から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの各駆動信号V00のみが表示用画素D01から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、続いてRowの各駆動信号V00のみが表示用画素D02から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次にRowの各駆動信号V00のみが表示用画素D03から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
そして、全てのフリッカー検出用画素ブロックと水平方向(X方向)の表示用画素D00、…、D0iからの各蓄積電荷の読み出しが終了すると、引き続き、Rowの各駆動信号V01〜V05、V11〜V15は、全てのフリッカー検出用画素ブロックF00、F10中の各画素からそれぞれ蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、Rowの駆動信号V10のみ表示用画素D10から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、続いてRowの駆動信号V10のみが表示用画素D11から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、表示用画素D12から蓄積電荷を読み出すために予め設定された期間ハイレベルになり、次に、表示用画素D13から蓄積電荷を読み出すために予め設定された期間ハイレベルになる。
一方、Columnの各駆動信号H00〜H05、H10〜H15は、フリッカー検出用画素ブロックF00、F10を含む全てのフリッカー検出用画素ブロックFxx中の各画素の蓄積電荷を電圧変換して読み出すために、上記Rowの各駆動信号V01〜V05、V11〜V15が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、フリッカー検出用画素ブロックF00、F10を含む全てのフリッカー検出用画素ブロックFxx中の各画素の蓄積電荷は電圧変換されて、各垂直読み出し線K00〜K15から各スイッチング素子T00〜T15を通して1本の出力読み出し線Wに送られる。
次に、Columnの駆動信号H05のみが表示用画素D00の蓄積電荷を電圧変換して読み出すために、上記Rowの駆動信号V00が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D00の蓄積電荷が電圧変換されて垂直読み出し線K05からスイッチング素子T05を通して1本の出力読み出し線Wに送られる。
次に、Columnの駆動信号H15のみが表示用画素D01の蓄積電荷を電圧変換して読み出すために、上記Rowの駆動信号V00が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D01の蓄積電荷が電圧変換されて垂直読み出し線K15からスイッチング素子T15を通して1本の出力読み出し線Wに送られる。
同様に、表示用画素D02の蓄積電荷が電圧変換されて垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られ、表示用画素D03の蓄積電荷が電圧変換されて垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られる。
再び、Columnの各駆動信号H00〜H05、H10〜H15は、F00、F10を含む全てのフリッカー検出用画素ブロックFxx中の各画素の蓄積電荷を電圧変換して読み出すために、上記Rowの各駆動信号V01〜V05、V11〜V15が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、F00、F10を含む全てのフリッカー検出用画素ブロックFxx中の各画素の蓄積電荷は電圧変換されて、各垂直読み出し線K00〜K15から各スイッチング素子T00〜T15を通して1本の出力読み出し線Wに送られる。
次に、Columnの駆動信号H05のみが表示用画素D10から蓄積電荷を電圧変換して読み出すために、上記Rowの駆動信号V10が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D10の蓄積電荷が垂直読み出し線K05からスイッチング素子T05を通して1本の出力読み出し線Wに送られる。
次に、Columnの駆動信号H15のみが表示用画素D11から蓄積電荷を電圧変換して読み出すために、上記Rowの駆動信号V10が予め設定された期間ハイレベルになるのに同期してハイレベルになる。これにより、表示用画素D11の蓄積電荷が電圧変換されて垂直読み出し線K15からスイッチング素子T15を通して1本の出力読み出し線Wに送られる。
続いて表示用画素D12の蓄積電荷が電圧変換されて垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られ、次に、表示用画素D13の蓄積電荷が電圧変換されて垂直読み出し線からスイッチング素子を通して1本の出力読み出し線Wに送られる。
以下、上記同様の動作が繰り返される。
この結果、CMOSイメージセンサ10の1本の出力読み出し線Wからは、映像信号として全てフリッカー検出用画素ブロックFxx中の各画素の蓄積電荷が出力され、次に表示用画素D00、D01、D02、D03、…、の蓄積電荷が時分割に読み出され、再び全てのフリッカー検出用画素ブロックFxx中の各画素の蓄積電荷が出力され、次に表示用画素D10、D11、D12、D13、…、の蓄積電荷が時分割に読み出されることが繰り返される。
このように上記第3の実施の形態によれば、CMOSイメージセンサ10の記録撮影前のLCD表示部13への表示用画像データの表示時の画素読出し状態にあるとき、CMOSイメージセンサ10における全てのフリッカー検出用画素ブロックF00、F10に対する露光時間及び読み出し時間と、各表示用画素D00、…、D11に対する露光時間及び読み出し時間とを独立に制御し、フリッカー検出用画素ブロックF00、F10の読み出しを高速化すると共に、表示用画素D00、…、D11から読み出される各蓄積電荷と全てのフリッカー検出用画素ブロックF00、F10から読み出されるフリッカー用の各蓄積電荷とを時分割に1本の出力読み出し線Wに出力させるので、上記第1の実施の形態と同様の効果を奏することができることは言うまでもなく、表示用画面1ラインに対して画面全体に渡って平均化された1個のフリッカー情報を得るので、上記第1の実施の形態よりもフリッカー検出用画素ブロックF00、F10の読み出しレートを高速化できる。
なお、光源フリッカー周波数検出処理について補足説明する。
図12は光源フリッカー周波数検出処理を行なう過渡的なフリッカー検出用サンプリングすなわちCMOSイメージセンサ10からの蓄積電荷の読み出しを示す。この光源フリッカー周波数検出処理は、上記第3の実施の形態における表示用画素D00、…、D11からの各蓄積電荷の読み出しと、全てのフリッカー検出用画素ブロックF00、F10からの蓄積電荷の読み出しとを時分割に行なう場合のフリッカー検出時間である。
システム制御マイクロコンピュータ19のフリッカー検出部22は、DSP12からの全てのフリッカー検出用画素ブロックF00、F10からの各画像データの各画素の輝度値の累積値を更新毎に逐次読み出し、この累積値の変化から照明光量の変動レベルを検知する。そして、フリッカー検出部22は、照明光量のハイピークとローピークとを探し出し、これらハイピークとローピークとの間の時間を計測し、この計測時間から照明光量の点灯周波数を求める。
ところで、実際の蛍光灯等の光源の発光輝度変化カーブは、きれいなサインカーブに相似する電源カーブとして現れず、放電ムラによるノイズを含む。このノイズの影響を受けるのを避けるために前後の測定値との平均値を求めることでローパスフィルターをかけて照明光量のサンプリング値としている。
照明光量の最大値は、事前に判定できないので、照明光量の最大値に対応する信号レベルの100%のレベルは、規定できない。そのため、照明光量の測定途中は、照明光量のサンプリング値を逐次記憶する。このとき、照明光量のサンプリング値の最大値と最小値を逐次更新して記憶する。
このように照明光量のサンプリング値の最大値と最小値を更新しながら最大値のレベルの閾値として10%以上下がったレベルのサンプリング値が最大値の前後で求められていることを条件に最大値のサンプリングを検出し、かつそのサンプリング位置を求める。このような最大値のサンプリングの検出は、特に、ハイピーク付近において照明光量の変化よりもノイズ成分が大きいので、ローパスフィルターだけでなく、より検出位置精度を向上させるために行なっている。
ローピークは、ハイピークよりもノイズの影響を受けにくいが、ローピークの前後で最小値レベルの閾値として10%以上上がったサンプリング値が最小値の前後で求められていることを条件に最小値のサンプリングを検出し、かつそのサンプリング位置を求める。
ハイピークを1個、ローピークを1個検出すると、ハイピークのサンプリング位置とローピークのサンプリング位置の時間差を求める。そして、このサンプリング位置の時間差が1/100秒に近いか、又は1/120秒に近いかを判断し、この判断結果から光源のフリッカー周波数が100Hz又は120Hzであるのかを判別する。
なお、フリッカー波形が正弦波でハイピークとローピークとの各ピークの検出の閾値を10%に設定した場合、理論的には約17m秒のサンプリング期間の情報で光源のフリッカー周波数の判別が可能である。白熱電球や高周波インバーター蛍光灯等の光源の場合、フリッカーレベルが小さかったり、周波数が異なるのでピークを検出できなかったり、ピーク間隔が判定基準とは全く異なる場合がある。これらの場合は、検出処理を数回繰り返すが、それでも見つからない場合は、光源フリッカーがないと判定する。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
上記各実施形態における表示用画素D00〜Dkiと各フリッカー検出用画素ブロックF00〜Fkiとは、それぞれの画素の数量を任意に設定可能であり、これによりフリッカー検出用画素ブロックF00〜Fkiのブロックの大きさを可変可能である。フリッカー検出用画素ブロックF00〜Fkiのブロックの大きさを可変すれば、露光制御部21は、フリッカー検出用画素ブロックの大きさに応じて表示用画素から読み出す表示用情報とフリッカー用情報とのレートを可変する。
又、垂直方向に並ぶ各々のフリッカー検出用画素ブロックを同時に読み出し線上で平均化するブロック数は、任意に設定可能で、露出制御部21は、読み出す表示用情報とフリッカー情報とのレートを可変する。
本発明に係るデジタルカメラ等の撮像装置の第1の実施の形態を示すシステムブロック図。 同装置における一般的なCMOSイメージセンサの画素の等価回路を示す図。 同装置におけるCMOSイメージセンサの撮影前のLCD表示部への表示時の画素読出し状態を示す模式図。 同装置におけるCMOSイメージセンサの一般的なXYアドレス走査読出しによるローリングシャッター方式の露光時の光源フリッカーと画面内ムラの関係を示す図。 同装置におけるCMOSイメージセンサにおける表示用画素からの画像情報とフリッカー検出用の画素ブロックからの画像情報との各読出しレートが1:1の順次で読み出す方式を示す図。 同装置における表示用画素とフリッカー検出用画素ブロックとからの各蓄積電荷の読み出しを説明するための図。 同装置におけるフリッカー検出フローチャート。 本発明に係るデジタルカメラ等の撮像装置の第2の実施の形態におけるCMOSイメージセンサにおける表示用画素からの画像情報とフリッカー検出用の画素ブロックからの画像情報との各読出しレートを高速化した読み出す方式を示す図。 同装置における表示用画素とフリッカー検出用画素ブロックとからの各蓄積電荷の読み出しについて説明するための図。 本発明に係るデジタルカメラ等の撮像装置の第3の実施の形態におけるCMOSイメージセンサにおける表示用画素からの画像情報とフリッカー検出用の画素ブロックからの画像情報との各読出しレートを高速化した読み出す方式を示す図。 同装置における表示用画素とフリッカー検出用画素ブロックとからの各蓄積電荷の読み出しについて説明するための図。 同装置における光源フリッカー周波数検出処理を行なう過渡的なフリッカー検出用サンプリングを示す図。
符号の説明
1:レンズユニット、2:カメラ本体、3:ズームレンズ、4:フォーカスレンズ、5:絞り、6:ズームレンズ駆動部、7:フォーカスレンズ駆動部、8:絞り駆動部、9:レンズ制御マイクロコンピュータ、10:イメージセンサ、101−1〜101−mn:複数の画素、102:Rowデコーダ、103:Columnデコーダ、20:タイミングジェネレータ、J00、J01、…、J0n:水平読み出し線、T00、T01、…、Tm:スイッチング素子、K00、K01、…、K0m:垂直読み出し線、11:アナログフロントエンド(AFE)、12:デジタルシグナルプロセッサー(DSP)、13:LCD表示部、14:外部フラッシュメモリ、15:RAM、12−1:画素分配部、12−2:表示処理部、12−3:記録処理部、12−4:累積処理部、19:システム制御マイクロコンピュータ、20:タイミングジェネレータ(TG)、21:露出制御部、22:フリッカー検出部、D00〜Dki:表示用画素、F00〜Fki:フリッカー検出用画素ブロック、W:出力読み出し線。

Claims (6)

  1. 撮像画像を表示しながら当該撮像画像に基づいて撮影制御を行う撮影装置において、
    予め設定された間隔毎に配置された前記撮像画像の表示用の画素と、当該表示用画素とは別でフリッカー周波数を検出するための複数の画素とから成るフリッカー検出用の画素ブロックとを有する撮像素子と、
    前記表示用画素から読み出される表示用の情報と前記フリッカー検出用画素ブロックから読み出されるフリッカー用の情報とを同一ライン上で出力する読み出し線と、
    前記表示用画素に対する露光制御と前記フリッカー検出用画素ブロックに対する露光制御とをそれぞれ独立して行ない、前記フリッカー検出用画素ブロックに対する読み出しのフレームレートを、前記表示用画素に対する読み出しのフレームレートよりも高くして制御する制御手段と、
    を具備することを特徴とする撮像装置。
  2. 前記表示用画素から読み出される前記表示用情報と前記フリッカー検出用画素ブロックから読み出される前記フリッカー用情報とを前記読み出し線を通して出力することを特徴とする請求項1記載の撮像装置。
  3. 前記フリッカー検出用画素ブロックから読み出される前記各画素の前記各フリッカー用情報を混合加算又は平均化するフリッカー処理部を有することを特徴とする請求項1記載の撮像装置。
  4. 前記制御手段は、前記フリッカー検出用画素ブロックに対する露光時間又は読み出し間隔を、前記表示用画素に対する露光時間又は読み出し間隔の整数分の1倍とし、かつ前記表示用画素から読み出される前記表示用情報と前記フリッカー検出用画素ブロックから読み出される前記フリッカー用情報とを時分割に出力することを特徴とする請求項2記載の撮像装置。
  5. 前記撮像素子は、前記複数の画素を縦横に配列して成り、かつ前記各画素に対する露光の開始と終了とが前記各画素位置に対して同一であるグローバルシャッター、又は前記各画素に対する露光の開始と終了とが順次移動するローリングシャッターであることを特徴とする請求項1記載の撮像装置。
  6. 前記表示用画素と前記フリッカー検出用画素ブロックの各々の画素とから記録用画像情報を生成する記録手段を具備することを特徴とする請求項1乃至5のうちいずれか1項記載の撮像装置。
JP2008287902A 2008-11-10 2008-11-10 撮像装置 Withdrawn JP2010114834A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008287902A JP2010114834A (ja) 2008-11-10 2008-11-10 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008287902A JP2010114834A (ja) 2008-11-10 2008-11-10 撮像装置

Publications (1)

Publication Number Publication Date
JP2010114834A true JP2010114834A (ja) 2010-05-20

Family

ID=42303014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008287902A Withdrawn JP2010114834A (ja) 2008-11-10 2008-11-10 撮像装置

Country Status (1)

Country Link
JP (1) JP2010114834A (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012094956A (ja) * 2010-10-25 2012-05-17 Nikon Corp 撮像装置
JP2013042297A (ja) * 2011-08-12 2013-02-28 Nikon Corp 撮像装置及びフリッカー発生周波数検出方法
JP2013042298A (ja) * 2011-08-12 2013-02-28 Nikon Corp 撮像装置及びフリッカー発生周波数検出方法
JP2014220764A (ja) * 2013-05-10 2014-11-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2014220763A (ja) * 2013-05-10 2014-11-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム
CN104702853A (zh) * 2013-12-09 2015-06-10 苹果公司 图像传感器闪烁检测
JP2016015692A (ja) * 2014-07-03 2016-01-28 日本放送協会 撮像装置およびフリッカー除去プログラム
JP2016515358A (ja) * 2013-03-14 2016-05-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated 低レート可視光通信信号を復号する方法および装置
JP2016213660A (ja) * 2015-05-08 2016-12-15 キヤノン株式会社 撮像装置、光量変化の検出方法及びプログラム
JP2017108461A (ja) * 2017-03-09 2017-06-15 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
JP2018143005A (ja) * 2018-06-06 2018-09-13 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2019029726A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10263032B2 (en) 2013-03-04 2019-04-16 Apple, Inc. Photodiode with different electric potential regions for image sensors
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10438987B2 (en) 2016-09-23 2019-10-08 Apple Inc. Stacked backside illuminated SPAD array
US10609348B2 (en) 2014-05-30 2020-03-31 Apple Inc. Pixel binning in an image sensor
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10801886B2 (en) 2017-01-25 2020-10-13 Apple Inc. SPAD detector having modulated sensitivity
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
JP6844055B1 (ja) * 2020-05-29 2021-03-17 丸善インテック株式会社 監視カメラ
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012094956A (ja) * 2010-10-25 2012-05-17 Nikon Corp 撮像装置
JP2013042297A (ja) * 2011-08-12 2013-02-28 Nikon Corp 撮像装置及びフリッカー発生周波数検出方法
JP2013042298A (ja) * 2011-08-12 2013-02-28 Nikon Corp 撮像装置及びフリッカー発生周波数検出方法
US10263032B2 (en) 2013-03-04 2019-04-16 Apple, Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US10943935B2 (en) 2013-03-06 2021-03-09 Apple Inc. Methods for transferring charge in an image sensor
JP2016515358A (ja) * 2013-03-14 2016-05-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated 低レート可視光通信信号を復号する方法および装置
JP2014220764A (ja) * 2013-05-10 2014-11-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2014220763A (ja) * 2013-05-10 2014-11-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US10708515B2 (en) 2013-05-10 2020-07-07 Canon Kabushiki Kaisha Imaging apparatus and method for suppressing influence of flicker occurring under an artificial light source
US9906731B2 (en) 2013-05-10 2018-02-27 Canon Kabushiki Kaisha Imaging apparatus, method for controlling the same, and storage medium
US9794491B2 (en) 2013-05-10 2017-10-17 Canon Kabushiki Kaisha Imaging apparatus having anti-flicker timing offset, control method, and storage medium therefor
JP2021064952A (ja) * 2013-10-01 2021-04-22 株式会社ニコン 電子機器
JP7318631B2 (ja) 2013-10-01 2023-08-01 株式会社ニコン 撮像素子及び電子機器
JP2015092660A (ja) * 2013-10-01 2015-05-14 株式会社ニコン 撮像装置、撮像装置の制御方法、電子機器、電子機器の制御方法、及び制御プログラム
JP2017501627A (ja) * 2013-12-09 2017-01-12 アップル インコーポレイテッド 画像センサのフリッカ検出
CN104702853A (zh) * 2013-12-09 2015-06-10 苹果公司 图像传感器闪烁检测
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US10609348B2 (en) 2014-05-30 2020-03-31 Apple Inc. Pixel binning in an image sensor
JP2016015692A (ja) * 2014-07-03 2016-01-28 日本放送協会 撮像装置およびフリッカー除去プログラム
JP2016213660A (ja) * 2015-05-08 2016-12-15 キヤノン株式会社 撮像装置、光量変化の検出方法及びプログラム
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
US10658419B2 (en) 2016-09-23 2020-05-19 Apple Inc. Stacked backside illuminated SPAD array
US10438987B2 (en) 2016-09-23 2019-10-08 Apple Inc. Stacked backside illuminated SPAD array
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10801886B2 (en) 2017-01-25 2020-10-13 Apple Inc. SPAD detector having modulated sensitivity
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
JP2017108461A (ja) * 2017-03-09 2017-06-15 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
JP2019029726A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
JP2018143005A (ja) * 2018-06-06 2018-09-13 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US11659298B2 (en) 2018-07-18 2023-05-23 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
JP6844055B1 (ja) * 2020-05-29 2021-03-17 丸善インテック株式会社 監視カメラ
JP2021190864A (ja) * 2020-05-29 2021-12-13 丸善インテック株式会社 監視カメラ
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors

Similar Documents

Publication Publication Date Title
JP2010114834A (ja) 撮像装置
US10554889B2 (en) Image-displaying device and method for controlling image-displaying device
JP2015115922A (ja) 撮像装置および撮像方法
JP5523124B2 (ja) 撮像装置
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP2008300949A (ja) カメラの表示制御装置及び方法
JP5343588B2 (ja) 撮像装置
JP5759190B2 (ja) 撮像装置及びその制御方法
JP5480025B2 (ja) 撮像装置、撮像システム、撮像方法
US8144216B2 (en) Imaging apparatus and imaging method
JP2010074634A (ja) 撮像装置及び撮像方法
JP5581968B2 (ja) 撮像装置
JP2009272813A (ja) 撮像装置及び画像表示方法
JP5440245B2 (ja) 撮像装置
JP2009135792A (ja) 撮像装置および画像信号処理方法
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP2008005083A (ja) 撮像装置
JP2022171438A (ja) 露光制御装置、撮像装置、制御方法及びプログラム
JP5750262B2 (ja) 撮像装置及び撮像方法
JP2010093780A (ja) 撮像装置および撮像方法
JP2016096551A (ja) 撮像装置
JP2005167465A (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP2021044621A (ja) 撮像装置およびその制御方法
JP6288990B2 (ja) 撮像装置、制御方法及びそのプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100607

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120110