JP2015115922A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2015115922A
JP2015115922A JP2013259054A JP2013259054A JP2015115922A JP 2015115922 A JP2015115922 A JP 2015115922A JP 2013259054 A JP2013259054 A JP 2013259054A JP 2013259054 A JP2013259054 A JP 2013259054A JP 2015115922 A JP2015115922 A JP 2015115922A
Authority
JP
Japan
Prior art keywords
image
pixel group
flicker
frame
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013259054A
Other languages
English (en)
Inventor
幸治 青田
Koji Aota
幸治 青田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013259054A priority Critical patent/JP2015115922A/ja
Priority to US14/558,178 priority patent/US9307163B2/en
Priority to CN201410771907.8A priority patent/CN104717435B/zh
Publication of JP2015115922A publication Critical patent/JP2015115922A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】デジタルカメラ等の携帯機器においても、ハイスピードカメラモードでフリッカをキャンセル可能な撮像装置および撮像方法を提供する。【解決手段】第１の画素群と第２の画素群からなる複数の画素を有するイメージセンサ１と、第２の画素群からの画像出力から被写体に含まれる光源の周期的な明滅動作に基づいて、撮影画像全体の明状態および暗状態を検知するフリッカ検出部３２と、周期的な明滅により明状態及び暗状態の輝度の光が入射した際には、第１の画素群による撮影画像の輝度出力を基準となる輝度出力となるようにして、第１の画素群に対応する複数の画素の各画素に対応する輝度出力ゲインを補正するフリッカ補正演算部を有する。【選択図】図４

Description

本発明は、フリッカ量が周期的に変動する外部照明が被写体に照射される場合であっても、光源フリッカの影響を低減するようにした撮像装置および撮像方法に関する。
室内での動画の撮影やライブビュー表示時に、蛍光灯などの商用電源周波数に同期して、光源の明るさが周期的に変動してしまい、ライブビュー表示や動画撮影に悪影響を与えることが知られている。この現象は光源フリッカと言われ、撮影時やライブビュー表示時のフレームレートと、光源の明るさ変化の周波数が同期していない場合に、フレームごとに明るさが変化し（面フリッカといわれる）、また同一フレーム内の画像で、線状に明るさが空間周期毎に生ずる（ラインフリッカといわれる）。
上述の光源フリッカの影響を低減するために、従来から種々の技術が提案されている（例えば。特許文献１、２参照）。これらの従来技術では、光源フリッカの影響を補正するにあたって、まずカメラの撮像素子によって複数フレーム分の画像データを取得し、取得された画像データの輝度出力の時間変換に基づいて、光源フリッカの周波数を検出し、この検出したフリッカ周波数に基づいて、各フレームで画像の輝度が一様になるように、撮像素子から取得される各フレーム画像の輝度ゲインを補正する。
室内光源となる電灯のフリッカは、電源商用周波数に基づくことから、５０Ｈｚまたは６０Ｈｚで変動する。一般的なフリッカ検出は、特許文献１に記載されているように、電灯のフリッカ周波数と同じ或いは遅いフレーム周波数で動作させ、フレームの垂直強度部分布を確認することにより行う。この方法は、電灯の明滅周期よりも同じ或いは遅いフレーム周波数でライブビュー表示や動画記録を行う場合に、フリッカ検出と補正を有効に行うことができる。
特開平１１−１２２５１３号公報 特開平６−１０５２０４号公報
上述の特許文献１においては、複数の二次元撮像素子を用いて、複数の画像を一気にフリッカ補正を行うため、画像データ記憶用の非常に大きなメモリが必要となる。また、複数フィールドの垂直強度分布から、現フレームの垂直明暗差（ラインフリッカ）を補正するに有効な手段であるが、ハイスピード動画の場合には、フレーム間の明暗差（面フリッカ）を有効に補正することができない。
また、特許文献２のように高速度カメラのデータを各系統に分け、フレームメモリを備え、各系統毎に画像処理したデータを合成することによりフリッカをキャンセルすることが実現できる。しかし、この場合には、多数のフレームメモリと画像処理ＩＣが必要となり、大型化してしまい、デジタルスチルカメラ等の携帯型の機器には適していない。
本発明は、このような事情を鑑みてなされたものであり、デジタルカメラ等の携帯機器においても、ハイスピードカメラモードでフリッカをキャンセル可能な撮像装置および撮像方法を提供することを目的とする。
上記目的を達成するため第１の発明に係る撮像装置は、二次元状に配列された、第１の画素群と第２の画素群からなる複数の画素と、上記第１の画素群および第２の画素群に対応する画素で、それぞれ生成された出力信号を、それぞれ同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子と、上記撮像素子の第１の画素群および第２の画素群に対応する画素から、それぞれ独立に画像信号を読み出すための画像信号読出部と、被写体に含まれる光源の周期的な明滅動作に基づいて、上記撮像素子に結像された被写体像を光電変換し、撮影画像全体の明状態および暗状態を、上記第２の画素群に対応する画素に対応する画像出力から検知することによって上記光源の明滅周期を検出するフリッカ検出部と、上記フリッカ検出部において、上記第２の画素群に対応する画素によって取得された画像が、周期的な明滅により明状態及び暗状態の輝度の光が入射した際には、上記第２の画素群に対応して配置される上記第１の画素群による撮影画像の輝度出力を基準となる輝度出力になるようにして、上記第１の画素群に対応する複数の画素の各画素に対応する輝度出力ゲインを補正するフリッカ補正部と、を備える。
第２の発明に係る撮像装置は、上記第１の発明において、上記画像信号読出部は、上記第１画素群の１フレームの画像信号の読み出し期間内において、上記第２画素群の画像信号を読み出し、上記フリッカ検出部は、上記第２画素群の画像信号によって、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出し、上記フリッカ補正部は、上記第２画素群の読み出し期間を含む期間内に読み出された上記第１画素群に対して画像信号のゲイン補正を行う。
第３の発明に係る撮像装置は、上記第１の発明において、上記フリッカ検出部は、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出して、上記第１画素群からなる画像の読み出し周期と、上記検出された光源の明滅周波数とを比較し、上記第１画素群からの取得画像が面フリッカを発生しているか否かを判定し、上記フリッカ補正部は、上記フリッカ検出部の判定により、上記第１画素群からの取得画像が面フリッカと判定された場合は、上記第２画素群によって読み出された画像と対応する時間にある上記第１画素群から読み出された画像信号の輝度出力に対して一律にゲイン補正を行う。
第４の発明に係る撮像装置は、上記第１の発明において、上記フリッカ検出部は、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出して、上記第１画素群からなる画像の読み出し周期と、上記検出された光源の明滅周波数を比較し、上記第１画素群からの取得画像がラインフリッカを発生しているか否かを判定し、上記フリッカ補正部は、上記フリッカ検出部の判定により、上記第１画素群からの取得画像は、ラインフリッカと判定された場合は、上記第２画素群によって読み出された画像と対応する配置にある上記第１画素群から読み出された各フレーム画像信号の輝度出力に対して、フレーム内での輝度ゲイン補正を行う。
第５の発明に係る撮像装置は、上記第１の発明において、上記画像信号読出部は、上記撮像素子の第１画素群および第２画素群に対応する画素から画像信号を読み出す周波数は、動画撮影時とライブビュー表示時で、それぞれ異なる周波数で設定し、動画撮影時のそれぞれのフレームレートは、ライブビュー表示時のそれぞれのフレームレートよりも速いフレームを設定する。
第６の発明に係る撮像方法は、二次元状に配列された、第１の画素群と第２の画素群からなる複数の画素と、上記第１の画素群および第２の画素群に対応する画素で、それぞれ生成された出力信号を、それぞれ同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子から、上記撮像素子の第１の画素群および第２の画素群に対応する画素から、それぞれ独立に画像信号を読み出すステップと、被写体に含まれる光源の周期的な明滅動作に基づいて、上記撮像素子に結像された被写体像を光電変換し、撮影画像全体の明状態および暗状態を、上記第２の画素群に対応する画素に対応する画像出力から検知することによって上記光源の明滅周期を検出するフリッカ検出ステップと、上記フリッカ検出ステップにおいて、上記第２の画素群に対応する画素によって取得された画像が、周期的な明滅により明状態及び暗状態の輝度の光が入射した際には、上記第２の画素群に対応して配置される上記第１の画素群による撮影画像の輝度出力を基準とある輝度出力となるようにして、上記第１の画素群に対応する複数の画素の各画素に対応する輝度出力ゲインを補正するフリッカ補正ステップと、を備える。
本発明によれば、デジタルカメラ等の携帯機器においても、ハイスピードカメラモードでフリッカをキャンセル可能な撮像装置および撮像方法を提供することができる。
本発明の一実施形態に係るカメラのイメージセンサの画素構成を示す平面図である。 本発明の一実施形態に係るカメラのイメージセンサの内部回路構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、電灯明滅周期とフレームレートの関係を示す図である。 本発明の一実施形態に係るカメラにおいて、リアルタイムフリッカを補正するための概略回路を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、フリッカ検知およびフリッカ補正処理回路の詳細を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、イメージセンサの第１系列と第２系列の読み出しタイミングを示すタイミングチャートである。 本発明の一実施形態に係るカメラの動作を示すフローチャートである。 本発明の一実施形態に係るカメラの動作を示すフローチャートである。 本発明の一実施形態に係るカメラのフリッカ補正動作を示すフローチャートである。 本発明の一実施形態に係るカメラの動画情報ストリーム動作を示すフローチャートである。 本発明の一実施形態に係るカメラの動画情報ストリーム動作を示すフローチャートである。 本発明の一実施形態に係るカメラの静止画読み込み動作を示すフローチャートである。
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るカメラは、概略、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換する。撮像部内のイメージセンサの出力は第１画素群のデータを出力する系統１と、第２の画素群のデータを出力する系統２の２系統あり、それぞれ読み出しのフレームレートを独立に設定できる（言い換えると、それぞれ独立に電子シャッタ速度を設定できる）。ライブビュー表示や動画撮影時には、高速フレームレートで読み出した画像データを用いて、フリッカを検出し、この検出結果に応じて、一様な輝度とするためのゲインを算出する。このゲインを用いて、低速フレームレートで読み出した画像データのフリッカの補正を行う。この補正された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示し、また動画モードでは動画釦の操作等に応じて取得した動画の画像データを記録する。
図１は、本発明の一実施形態に係るカメラのイメージセンサの画素構成を示す平面図であり、また図２は、イメージセンサの内部回路構成を示すブロック図である。
図１には、イメージセンサ１のフォトダイオードアレイ２（図２参照）における画素構成を示しており、有効画素２ｂは被写体像の画像データを取得するための有効画像領域の画素である。実効画素２ａは有効画像領域の内、実際に使用される画像領域の画素である。また、有効画素２ｂからなる有効画像領域の外側に、垂直方向に沿って水平ＯＢ（オプティカルブラック）画素２ｃと、水平方向に沿って垂直ＯＢ画素２ｄが配置されている。水平ＯＢ画素２ｃと垂直ＯＢ画素２ｄは、撮影レンズ１１（図４参照）によって被写体像が形成されず、暗黒下での暗電流にあたる信号を出力する。このＯＢ画素から出力される暗電流を用いて、ＯＢ補正を行う。有効画素２ｂ、水平ＯＢ画素２ｃ、垂直ＯＢ画素２ｄの外側の領域は無効画素（ダミー画素）である。
図２は、デジタルカメラ用のイメージセンサ１の内部回路を示す。イメージセンサ１は、内部にフォトダイオードアレイ２、水平・垂直ドライバ３、タイミングコントローラ４、ＡＤ変換器５、並び替え部６、バッファアンプ７ａ〜７ｍを有する。フォトダイオードアレイ２における画素の構成は、図１を用いて説明した通りである。
水平・垂直ドライバ３は、タイミングコントローラ４からのタイミング信号に従って、フォトダイオードアレイ２中の有効画素２ｂ、水平ＯＢ画素２ｃ、垂直ＯＢ画素２ｄ、無効画素２ｅ等の画像データを読み出す。
ＡＤ変換器５は、タイミングコントローラ４からのタイミング信号に従って、フォトダイオードアレイ２から読み出した画像データをＡＤ変換し、並び替え部６に出力する。並び替え部６は、ライブビュー表示、静止画撮影、動画撮影等のモードに応じて、フォトダイオードアレイ２中から読み出した有効画素２ｂの画像データを適宜間引いてバッファアンプ７ａ〜７ｍに出力する。
このように、本実施形態のイメージセンサ１は構成されている。一般に、デジタルカメラでは、全画素静止画撮影時、動画撮影時、およびライブビュー表示用の画像取得時では、画像生成時にイメージセンサにおける画素出力の活用方法が異なる。すなわち、全画素静止画撮影時には、記録用に有効画素のすべてを利用する。一方、ライブビュー表示用の画像取得時、動画撮影時、ハイスピードカメラ動作時は、カメラの背面液晶やＥＶＦ、ＴＶ出力などの表示デバイスに応じた画像サイズを、撮像素子の有効画像領域から切り出し、または間引き等により読出し、読み出されない画素の画素データは利用されない。
本実施形態に係るカメラにおいても、全画素静止画撮影時は記録用に有効画素２ｂをすべて利用するが、ライブビュー表示時、動画記録時、ハイスピードカメラ動作時等においては、背面液晶パネル等の表示部や、ＥＶＦ（電子ビューファインダ）、ＴＶ（テレビ）出力など、表示デバイスに合わせた画像サイズを、有効画像領域から間引いて（または切出して）読み出している。間引き又は切り出しにより読み出されない画素のデータは利用されない。
イメージセンサ１からのデータ出力についてみると、全画素静止画撮影時には、イメージセンサ１が有する出力チャンネルをＣｈ１〜Ｃｈｍまで使用して全チャンネルでデータ出力する。一方、ライブビュー表示時、動画記録時、ハイスピードカメラ動作時等には、データを出力する帯域が全画素静止画に比べて少なく済むため、イメージセンサが有する出力チャンネルの内の一部を使用して画像データの出力を行う。例えば、出力チャンネルの内の一部を使用する例として、イメージセンサ１のチャンネル１（Ｃｈ１）とチャンネル２（Ｃｈ２）のみを使用してデータ出力を行う手段等がある。なお、詳しい構成及び作用は後述するが、イメージセンサ１は、各チャンネルに対する画素回路に対して、各チャンネル毎に独立した露光制御を有し、チャンネル１（Ｃｈ１）を読み出す際のフレームレート（電子シャッタ速度）と、チャンネル２（Ｃｈ２）を読み出す際のフレームレート（電子シャッタ速度）を異ならせることが可能である。
したがって、本実施形態において、全画素静止画撮影時は、イメージセンサ１が有している全ての出力チャンネル（図２のＣｈ１〜Ｃｈｍまで）を使用して出力する。一方、ライブビュー表示時、動画記録時、およびハイスピードカメラ動作時は、データを出力する帯域が全画素静止画撮影時に比べて少なくて済むため、イメージセンサ１の有している出力チャンネルの内の一部（例えば、図２のＣｈ１とＣｈ２のみ）を使用してデータを出力する。本実施形態においては、イメージセンサ１は、二次元状に配列された、第１の画素群と第２の画素群からなる複数の画素と、第１の画素群および第２の画素群に対応する画素で、それぞれ生成された出力信号を、それぞれ同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子として機能する。
本実施形態では、ライブビュー表示時、動画記録時、ハイスピードカメラ動作時に適切なフリッカ補正ができるよう、イメージセンサ１の出力を２系統に分けて駆動し、補正動作を行うようにしている。
すなわち、全画素静止画を撮影する際には、系統１（例えばＣｈ１とＣｈ２）および系統２（例えばＣｈｎとＣｈｍ）の両方を使用してデータ転送を行い、ライブビュー表示時、動画撮影時、ハイスピードカメラ動作時には、メインの動画の画像データを系統１から取得し、フリッカ補正用の画像データを系統２から取得し、動画に対してリアルタイムにフリッカを補正した画像を取得し、ライブビュー表示し、記録する。また、系統２からの画像データをＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）にも使用する。本実施形態においては、イメージセンサ１は、撮像素子の第１の画素群および第２の画素群に対応する画素から、それぞれ独立に画像信号を読み出すための画像信号読出部（系統１および系統２）を有する。
また、本実施形態における撮像部内のイメージセンサ１の出力は、前述したように、第１画像群のデータを出力する系統１と、第２の画素群のデータを出力する系統２の２系統が設けられている。これらの２系統の出力は、それぞれ読み出しのフレームレートを独立して設定できる。言い換えると、それぞれ独立に電子シャッタ速度を設定することができる。
ライブビュー表示時、動画撮影時、ハイスピードカメラ動作時には、高速フレームレートで読み出した系統２の画像データを用いて、面フリッカのある画像から、明滅周波数を検出する。この検出されたフリッカ明滅周波数を用いて、系統１で取得されるライブビュー画像や動画像に対して、リアルタイムで光源フリッカの補正を行う。
次に、図３を用いて、光源フリッカの影響を受ける高速撮影時の撮影画像（ライブビュー表示を含む）の変化について説明する。図３は。光源である照明の明滅周期とフレームレートの関係を示す。
図３の最上段に示す図３（ａ）は、光源が商用周波数６０Ｈｚで点灯する蛍光灯の輝度の変化を示す波形図であり、次段に示す図３（ｂ）は、商用周波数５０Ｈｚで点灯する蛍光灯の輝度変化を示す波形図である。蛍光灯に印加される商用周波数の印加電圧は、商用周波数に応じた周期で、正負の符号をもつ。一方、蛍光灯の輝度は、印加電圧の絶対値と比例する関係で変化する。したがって、図３（ａ）（ｂ）の実線で示すように、例えば、６０Ｈｚで駆動される場合には、その倍の周波数（１２０Ｈｚ）で、明暗を繰り返すことになる。
図３（ｃ）〜（ｅ）は、蛍光灯の明滅変化に応じてイメージセンサ１が取得する各フレーム画像の輝度変化を示す。図３（ｃ）は撮影時（ライブビュー表示時も含む）のフレームレートが４８０ｆｐｓの場合の輝度変化を示し、図３（ｄ）はフレームレートが１２０ｆｐｓの場合の輝度変化を示し、図３（ｅ）はフレームレートが６０ｆｐｓの場合の輝度変化を示す。なお、各図において、それぞれのフレームレートの条件の下で、蛍光灯の印加電圧が６０Ｈｚ、５０Ｈｚの場合における、輝度変化を上下に並べて示す。
図３（ｃ）〜（ｅ）に示すように、イメージセンサ１を光源の明滅周期よりも速い周波数となるフレームレートで動作させるほど、ラインフリッカよりも面フリッカが支配的になってくる。ここで、面フリッカは、撮像された各フレーム画像ないで全体の輝度が、フレーム毎に周期的に変化する現象である。また、ラインフリッカは、フレーム内の画像に明暗の輝度分布が生じている現象である。
イメージセンサ１の画像データの読み出しを行うフレームレートに応じて、支配的となるフリッカの種類が異なるのは、以下の理由による。各フレームで取得される画像は、フレーム周期毎に、イメージセンサ１が被写体光を蓄積することによって形成される。このため、光源の明滅周期に対して、フレームレートの周期が短い場合、すなわちフレームレートが高速の場合ほど、各フレーム内の画像の輝度分布は略一様となり、位置による輝度変化が少なく、従って、面フリッカが支配的になる。
また、ラインフリッカは、光源の明滅周波数とフレームレートが同期する条件では（例えば、図３（ｅ）のフレームレート１２０ｆｐｓ、蛍光灯の駆動周波数６０Ｈｚ）、フレーム画像の輝度分布をみると、明暗のピークとなる位置は、必ず同じ画像の位置となる。一方、光源の明滅周波数とフレームレートが同期しない場合には、各フレームで取得された画像の輝度分布は、フレーム毎に明暗のピークとなる位置が移動していく。
低速フレームレート時のラインフリッカの補正は、一般的には、所定のフレームレートで画像を読み出し、この読み出されたフレーム画像の輝度分布が時間的に変化するか否かを検出する。この検出結果に基づいて、光源の駆動周波数（一般的には商用周波数）を検出し、この検出結果に応じて、フレーム画像の輝度が一様となるように、画像の位置に応じてラインフリッカ補正を行う。
高速フレーレート時の面フリッカの補正は、光源の明滅により、各フレーム画像の輝度分布は一様になるため、各フレーム画像の一部のライン出力の輝度に対し、フレーム毎の輝度変化から光源のフリッカ周波数を検出する。このフリッカ周波数を用いて、フレーム画像の輝度が一様となるように、面フリッカ補正を行う。
なお、静止画のデジタルカメラにおいては、高速フレームレートで静止画を連続撮影するハイスピードカメラが知られている。ハイスピードカメラのフレームレートとしては、例えば、５００ｆｐｓ（flame per second）で各種スポーツのスローモーション記録が可能である。
また、蛍光灯のフリッカ明滅は、商用周波数の２倍周波数が主流である。そこで、本実施形態においては、商用周波数で駆動される光源（５０Ｈｚ／６０Ｈｚ）環境下において、リアルタイムでライブビュー表示、動画記録時等におけるフリッカをキャンセルする。
次に、図４を用いて、リアルタイムでフリッカを補正するための回路の構成を説明する。前述のイメージセンサ１は、撮影レンズ１１によって形成される被写体像の結像位置付近に配置されている。撮影レンズ１は、レンズ制御部１３からの制御信号に従って駆動されるモータ１２によって光軸方向に移動する。
イメージンセンサ１の画像データは、系統１および系統２を介してＤＳＰ（デジタルシグナルプロセッサ：Digital Signal Processor）２０に出力する。すなわち、系統１を介してＤＳＰ２０内の並替回路Ａ３１に、系統２を介してＤＳＰ２０内の並替回路Ｂ２６に出力する。また、イメージセンサ１は、ＤＳＰ２０の制御ブロック２７からの読み出し制御信号等の信号を入力する。なお、系統１および系統２から読み出す読出し周波数（フレームレート）は、動画撮影時とライブビュー表示時で、それぞれ異なる周波数で設定し、動画撮影時のそれぞれのフレームレートは、ライブビュー表示時のそれぞれのフレームレートよりも速いフレームを設定してもよい。この場合には、動画記録を行わないライブビュー表示時の動作で撮像装置の消費電力を抑えることができる。
ＤＳＰ２０は、並列回路Ｂ２６、制御ブロック２７、スイッチ２８、ＡＥ／ＡＦ２９、並列回路Ａ３１、フリッカ検出部３２、レベル設定部３３、画像処理プロセッサ３４、ＣＰＵ（Central Processing Unit）２１を有している。並替回路Ｂ２６は、高速でイメージセンサ１の読み出し系統２から読み出される画像データの並び替え処理を行う。この並び替え処理は、系統２から読み出されるライン毎の読み出し画像を間引いたりして並び替える処理を行うものである。スイッチ２８は、並替回路Ｂ２６から出力される画像データを、後述のＡＥ／ＡＦ（Auto Exposure／Auto focus）２９、並替回路Ａ３１、フリッカ検出部３２のいずれかに切り替えて出力する。また、並替回路Ｂ２６は、パススルー機能も有しており、この機能により並び替え回路Ｂ２６の画像データ出力は高速でイメージセンサ１から読み出される画像データに対して並び替え処理を行うことなく前述のスイッチ回路２８への出力とは別に、ＤＲＡＭ５１へ一時記憶させることができる。
ＡＥ／ＡＦ２９は、スイッチ２８を介して入力した系統２の画像データ、または並替回路Ａ３１から入力した系統１の画像データを入力し、露出制御用の輝度値を算出し、この輝度値に基づいてイメージセンサ１の電子シャッタのシャッタ速度を制御する。また、ＡＥ／ＡＦ２９は、系統１または系統２からの画像データの高周波成分を抽出し、レンズ制御部１３は、高周波成分に基づくコントラスト信号がピークとなるように、撮影レンズ１１の焦点調節を行う。
並替回路Ａ３１は、イメージセンサ１からの系統１の画像データおよびスイッチ２８からの系統２からの画像データを入力し、並び替えを行い、画像処理プロセッサ３４に出力する。この並替回路Ａ３１は、ライブビュー表示時や動画撮影時等においては、系統１からの画像データを用いて、表示デバイスに応じた画像サイズの画像データを画像処理プロセッサ３４に出力する。また、全画素静止画撮影時には、並替回路Ａ３１は、系統１および系統２からの画像データを用いて、全画素からなる画像データに並び替えて、画像処理プロセッサ３４に出力する。また、並替回路Ａ３１の出力は、画像処理プロセッサ３４への出力とは別に、ＤＲＡＭ５１へ一時記憶させることができる。
フリッカ検出部３２は、高速フレームレートで読み出される系統２の画像データを入力し、この画像出力のフレーム毎の平均輝度の変化を検出して面フリッカによる明滅輝度変化するフレーム周期、及びフリッカ周波数を検出する。また、上述の系統２を読み出すフレームレート設定を変え、この画像出力のライン毎の平均輝度の変化を検出して、系統２から得られる画像データが、各フレーム内に明暗が生じるラインフリッカによるフリッカ周波数を特定する。フリッカ検出部３２の詳細な構成は、図４を用いて後述する。このフリッカ検出部３２は、被写体に含まれる光源の周期的な明滅動作に基づいて、撮像素子（イメージセンサ１）に結像された被写体像を光電変換し、撮影画像全体の明状態および暗状態を、第２の画素群に対応する画素に対応する画像出力から検知することによって光源の明滅周期を検出するフリッカ検出部として機能する。
ＤＲＡＭ５１は、揮発性の書き換え可能なメモリであり、並替回路Ｂ２６および並替回路Ａ３１から出力される画像データ等を入力し記憶する。また、ＤＲＡＭ５１は、記憶した画像データ等を画像処理プロセッサ３４に出力する。
画像処理プロセッサ３４は、並替回路Ａ３１から出力される画像データを入力し、フリッカ検出部３２からの検出結果に基づいて、画像データに対してフリッカ補正を施す。また、ホワイトバランス、ＯＢ補正、ガンマ補正、画像圧縮等の種々の画像処理や、またライブビュー表示用画像データ、静止画記録用画像データ、動画記録用画像データ、再生表示用画像データ等の生成も行う。
表示デバイス５２は、液晶パネルや有機ＥＬ等の表示デバイスを有し、画像処理プロセッサ３４から出力されるライブビュー表示用画像データや再生表示用画像データ等の画像データを入力し、ライブビュー表示や再生表示等の画像表示を行う。
ＣＰＵ２１は、ＤＳＰ２０内の各部等からデータ等を入力し、各部等に制御信号を出力し、ＤＳＰ２０の全体制御を行う。
次に、図５を用いて、図４に示したフリッカ検出部３２の詳細な構成について説明する。なお、図５には、フリッカ検出部３２以外に、フリッカ検出に関係している並替回路Ａ３１、スイッチ２８、および画像処理プロセッサ３４の一部も含めて示す。
本実施形態においては、全画素静止画像は、イメージセンサ１の系統１と系統２の両出力に基づいて取得される。一方、動画やライブビュー表示画像の取得時は、系統１の出力となる画像出力を取得し、系統２からの画像出力に基づいて、輝度情報（ＡＥ）、コントラスト情報（ＡＦ）、輝度情報の時間変化からフリッカ周波数と補正値を検出する。
水平有効画素輝度値平均化部６１は、スイッチ２８を介して系統２の画像データを入力する。この水平有効画素輝度値平均化部６１は、画像データの水平ライン毎に平均輝度を算出し、水平有効ライン輝度値平均化部６２と輝度比較部７１に出力する。
水平有効ライン輝度値平均化部６２は、水平有効画素輝度値平均化部６１によって算出された水平ラインの平均輝度を複数用いて、フレーム全体の平均輝度を算出し、１次記憶メモリ６３とフレーム輝度平均値明滅周期判定部６４に出力する。
１次記憶メモリ６３は、水平有効ライン輝度値平均化部６２によって取得された１フレーム分の平均値を記憶する。フレーム輝度平均値明滅周期判定部６４は、１次記憶メモリ６３に記憶された１フレーム分の平均値（過去の値）と、水平有効ライン輝度値平均部６２によって算出された１フレーム分の平均値（現在の値）を用いて、明滅周期を検出し、この検出された明滅周期は、フレーム輝度補正ゲイン算出部６５に出力する。なお、１次記憶メモリ６３には、明滅周期を判定するために十分な数（例えば、３〜４フレーム以上）のフレーム数の平均値が記憶される。図３（ｃ）に示すように、例えば、イメージセンサ１の系統２の出力を４８０ｆｐｓで読み出す場合には、各取得したフレーム毎の平均輝度のフレーム周期は１６フレームあれば光源の明滅周期（５０Ｈｚまたは６０Ｈｚ）は特定することができる。
フレーム輝度補正ゲイン算出部６５は、フレーム輝度平均値明滅周期判定部６４によって検出された明滅周期のタイミングに合わせて、フレーム間での輝度補正ゲインを算出する。すなわち、面フリッカが発生している場合に、各フレームで平均輝度が一様とするための輝度補正ゲインを算出し、この算出された輝度補正ゲインは補正値ゲイン調整部８１に出力する。
輝度比較部７１は、水平有効画素輝度値平均化部６１におって算出された水平ライン平均輝度に基づいて、最大輝度値（ＭＡＸ輝度アドレスを含む）と、最小輝度値（ｍｉｎ輝度アドレスを含む）を検出する。１次記憶メモリ７２は、輝度比較部７１において検出結果に基づいて、個々のラインでの輝度平均値、最大輝度値、最小輝度値を一時記憶する。したがって、輝度比較部７１は、１次記憶メモリ７２に記憶されている最大輝度値と最小輝度と、水平有効画素輝度値平均化部６１から出力されるライン毎の輝度平均値を比較し、最大輝度値または最小輝度値を更新する。１次記憶メモリ７３は、ライン毎に輝度平均値、最大輝度値（ＭＡＸ輝度アドレスを含む）、最小輝度値（ｍｉｎ輝度アドレスを含む）をライン輝度補正ゲイン算出部７３に出力する。
ライン輝度補正ゲイン算出部７３は、ラインフリッカによる輝度明滅を補正するゲイン量を算出する。すなわち、１次記憶メモリ７２に記憶されている最大輝度値と最小輝度値、ライン毎の平均輝度値を用いて、ライン毎に発生するラインフリッカの影響を除去し、各ラインの輝度が一様に補正するためのゲイン量を算出する。この算出したゲイン量はラインアドレス変換部７４に出力する。
ラインアドレス変換部７４は、系統２でリアルタイムに読み出されたラインが、系統１で読み出された記録用画像のどのラインに該当するかを変換する。前述したように系統２からの画像データは高速フレームレートで読み出され、ラインフリッカを補正するための補正ゲイン量がライン輝度補正ゲイン算出部７３によって算出される。この算出された補正ゲイン量を用いて系統１からの画像データのラインフリッカを補正するが、フレームレートと読出し画像データサイズ（ライン数）の異なる画像間で補正するため、系統１からの画像データの画素位置（ライン位置）と系統２からの画像データの画素位置（ライン位置）を適切に一致させるように、ラインアドレス変換部７４はラインアドレスの変換を行う。ラインアドレス変換部７４による変換結果は、補正値ゲイン調整部８１に出力される。
補正値ゲイン調整部８１は、ラインフリッカが発生している場合には、ラインアドレス変換部７４からラインフリッカの明滅周期、各フレーム画像でのライン内の輝度補正量等を入力し、また面フリッカが発生している場合には、フレーム輝度補正ゲイン算出部６５から面フリッカの明滅周期、フレーム輝度補正ゲイン量等を入力し、系統１からの画像データに対して補正するためのゲイン補正量等を、補正演算部８２に出力する。
例えば、系統１から読み出される記録用画像サイズが、系統２から読み出されるフリッカ検出画像サイズの２以上の整数倍であった場合、ライン輝度補正ゲイン算出部７３で算出された「系統２で読み出された任意の１ラインの輝度補正ゲイン量」を、そのまま系統１の２以上の整数倍のラインへ反映してしまうと、過補正が発生する。そこで、ラインアドレス変換部７４のラインフリッカ明滅周期、各フレーム画像でのライン内の輝度補正量等を入力し、系統１で読み出された各ライン毎に、輝度補正ゲインの補正値を微調整し、補正演算部８２へ出力する。フレーム輝度補正ゲイン算出部６５の出力と、ラインアドレス変換部７４の出力の両方を用いることで、面フリッカに対してきめ細かく補正ゲイン値を微調整することができる。
補正演算部８２は、補正値ゲイン調整部８１からの出力に基づいて、系統１の画像データに対して、フリッカ補正を行い、カラー化およびその他画像処理部８３に出力する。カラー化およびその他画像処理部８３は、フリッカの補正処理を行った画像データに対して、カラー化画像処理等の画像処理を行う。
補正演算部８２等は、フリッカ検出部において、第２の画素群に対応する画素によって取得された画像が、周期的な明滅により明状態の輝度の光が入射した際には、第２の画素群に対応して配置される第１の画素群による撮影画像の輝度と出力を低減するようにし、第２の画素群に対応する画素によって取得された画像が暗状態の輝度の光が入射した際には、第２の画素群に対応して配置される上記第２の画素群による撮影画像の輝度出力を増加するようにして、第１の画素群に対応する複数の画素の各画素に対応する輝度出力ゲインを補正するフリッカ補正部として機能する。
なお、本実施形態の一例では、補正演算部８２等による輝度出力ゲインの補正量は、フリッカ明滅による輝度変化の平均輝度出力となる値を、補正目標値としている。しかし、これに限らず、例えば輝度出力が明状態の輝度出力を基準にして、第２の画素群に対応して配置される第１の画素群による撮影画像の輝度出力を増加させるように補正するようにしてもよい。また逆に輝度出力が暗状態の輝度出力を基準にして、第２の画素群に対応して配置される第１の画素群による撮影画像の輝度出力を減少させるように補正するようにしてもよい。
本実施形態におけるフリッカ検出用の回路は、高速フレームレートで読み出される系統２からの画像データについて、水平ライン毎に平均輝度値を求める水平有効画素輝度値平均化部６１を設け、この出力を入力する水平有効ライン輝度値平均化部６２、１次記憶メモリ６３、フレーム輝度平均値明滅周期判定部６４、フレーム輝度補正ゲイン算出部６５によって面フリッカの検出と補正ゲイン量を算出する。また、水平ライン毎の平均輝度値を入力する輝度比較部７１、１次記憶メモリ７２、ライン輝度補正ゲイン算出部７３、ラインアドレス変換部７４によってラインフリッカの検出と補正ゲイン量を算出する。面フリッカおよびラインフリッカの検出結果を入力する補正値ゲイン調整部８１と補正演算部８２によって、系統１からの画像データに対して、フリッカ補正を行い、フリッカの影響を除去した画像データを生成し、出力している。
また、イメージセンサ１の画像信号読出部は、系統１からの第１画素群の１フレームの画像信号の読み出し期間内において、系統２から第２画素群の画像信号を読み出し、フリッカ検出部３４（水平有効画素輝度値平均化部６１からラインアドレス変換部７４の各部）は、第２画素群の画像信号によって、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出し、フリッカ補正部（補正演算部８２等）は、系統２からの第２画素群の読み出し期間を含む期間内に読み出された第１画素群の画像信号へゲイン補正を行う。
また、フリッカ検出部（水平有効画素輝度値平均化部６１〜フレーム輝度平均値明滅周期判定部６４の各部）は、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出して、系統１からの第１画素群からなる画像の読み出し周期と、検出された光源の明滅周波数とを比較し、第１画素群からの取得画像が面フリッカを発生しているか否かを判定し、フリッカ補正部（補正演算部８２）は、フリッカ検出部の判定により、第１画素群からの取得画像が面フリッカと判定された場合は、系統２から読み出された画像と対応する時間にある第１画素群から読み出された画像信号の輝度出力に対して一律にゲイン補正を行う。
また、フリッカ検出部（水平有効画素輝度値平均化部６１、輝度比較部７２、１次記憶メモリ７３）は、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出して、系統１からの第１画素群からなる画像の読み出し周期と、検出された光源の明滅周波数を比較し、第１画素群からの取得画像がラインフリッカを発生しているか否かを判定し、フリッカ補正部（補正演算部８２）は、フリッカ検出部の判定により、第１画素群からの取得画像は、ラインフリッカと判定された場合は、系統２からの第２画素群によって読み出された画像と対応する配置にある第１画素群から読み出された各フレーム画像信号の輝度出力に対して、フレーム内での輝度ゲイン補正を行う。
このように、本実施形態においては、イメージセンサ１から系統１の画像データの読み出しを行う。この場合、動画撮影時やライブビュー表示用画像取得時には、撮影用のフレームレートに同期して画像データの読み出しを行う。一方、イメージセンサ１から系統２の画像データの読み出しを、系統１の読み出しフレームレートよりも高速で行う。このときの読み出し動作について、図６に示すタイミングチャートを用いて説明する。
図６は、イメージセンサ１の系統１と系統２において、画像データの読み出しタイミングを示すタイミングチャートである。図６（ａ）は、外部入力垂直同期信号のタイミングを示し、図６（ｂ）は系統１の垂直同期信号を示し、図６（ｃ）は系統１から出力される画像データを示す。系統１の画像データは、期間ｔ１０〜ｔ２０、ｔ２０〜ｔ３０、ｔ３０〜ｔ４０、・・・において、それぞれ１フレームの画像である。
図６（ｄ）は系統２の垂直同期信号を示し、図６（ｅ）は系統２から出力される画像データを示す。系統２の画像データは、期間ｔ１０〜ｔ１１、ｔ１１〜ｔ１２、ｔ１２〜ｔ１３、・・・において、それぞれ１フレームの画像である。したがって、図６に示す例では、系統１から１フレームの画像データを読み出す間に、系統２からは４フレームの画像データが読み出される。系統１から画像データが１フレーム読み出される間に、系統２からは整数倍のフレームが読み出されることが、画像処理を簡単にするためには望ましい。
フリッカの補正にあたっては、まず、図６（ｅ）に示す系統２からの画像データを用いて、水平ラインの輝度平均値と、垂直ラインの輝度平均値を比較する。具体的には、輝度比較部７１において、読出し画像の水平ラインの輝度平均値を画面上下で比較し、上下で差があれば、ラインフリッカが発生していることを検出できる。
また、水平有効ライン輝度値平均化部６２が、各読出しラインの平均値を加算平均して、１フレーム毎の画面全体の輝度平均値（面平均輝度）を算出する。この算出されたフレームごとの面平均輝度値についてフレーム周期毎に比較し、変化があれば、面フリッカが発生することを検出できる。
ライン輝度補正ゲイン算出部７３は、各検出ラインの平均輝度値から、ラインフリッカの補正ゲイン量等の補正データを算出する。この補正データの算出にあたっては、一例では各検出ラインの平均輝度値を基準に補正ゲイン量などの補正データを算出するが、平均輝度値以外に、フリッカ明滅に伴う最大輝度値、もしくは最低輝度値を基準として補正ゲイン量を算出するようにしてもよい。
上述のライン輝度補正ゲイン算出部７３によって算出されたラインフリッカの補正ゲイン量などの情報は、ラインアドレス変換部７４に出力される。ラインアドレスへんぁんぶ７４では、系統１の画像のラインアドレスに対応するように、上述のラインフリッカの補正ゲイン量と、対応する系統１のラインアドレス情報を付加して、補正値ゲイン調整部８１へ情報が転送される。
補正値ゲイン調整部８１では、ラインアドレス変換部７４から転送されたラインフリッカの補正ゲイン量の情報と対応する系統１のラインアドレス情報に基づいて、系統１の画像出力に対するゲイン補正させる値を補間演算によって算出する。この補間手法は、フリッカの明暗の時間変化をリニア補間するか、または光源となる電灯等の照明の明滅波形（全波整流された交流波形の輝度変化）に基づいて、近似曲線（例えば、ラグランジュ補間等）による近似特性を用いて、補正値の算出を行う。
次に、図７Ａ〜図１０に示すフローチャートを用いて、本実施形態におけるフリッカ補正の動作について説明する。これらのフローは、メモリ（不図示）に記憶されたプログラムに従って、ＣＰＵ２１が各部を制御することにより、実行する。
カメラの電源がオンとなると（Ｓ１）、動作を開始する。カメラが動作を開始すると、まず、フレームレートの初期動作を実行する（Ｓ３）。ここでは、イメージセンサ１から画像データの読み出しを行う。この場合、系統２からは、高速フレームレートで画像データの読み出しを行う。図６に示す例では、系統１から１フレーム読み出される場合には、系統２から４フレームの画像データを読み出す。
フレームレートで読出しを行うと、続いて、各フレームの平均輝度を算出する（Ｓ５）。ここでは、水平有効画素輝度値平均化部６１が、取得された高速フレーム画像の各フレーム毎に、平均輝度値を算出する。
平均輝度値の算出を行うと、次に、フレーム明滅周期の検出を行う（Ｓ７）。ここでは、ステップＳ５において取得した高速フレーム画像の平均輝度値を用いて、フレーム毎の輝度変化（明滅）の周期を検出する。すなわち、各フレーム画像の平均輝度の変化周期より、光源フリッカの明滅周波数を検出する。明滅周波数としては、例えば、商用周波数が６０Ｈｚの蛍光灯が点灯されている場合には、各フレーム画像の明滅周期は、商用周波数の２倍、つまり、１２０Ｈｚの繰り返し周波数が現れる。
フレーム明滅周期を検出すると、次に動画フレームレートを決定する（Ｓ９）。ここでは、ステップＳ７において検出した光源フリッカの明滅周波数に基づいて、イメージセンサ１の系統１のライン（メインストリームと称す）の読み出しフレームレートを決定する。具体的には、系統１の読み出しのためのフレームレートを、ステップＳ７で検出した光源フリッカの明滅周波数と同期するフレームレートを設定する。系統１の読み出しフレームレートをｆ１（ｆｐｓ）とし、検出された光源フリッカの明滅周波数をｆｒ（ｆｐｓ）とすると、ｆ１＝ｆｒ／ｎ （ｎ：整数） の関係となるフレームレートに設定する。
ステップＳ９において、フレームレートを設定すると、所定の周期で、動画情報ストリーム動作のサブルーチンが、インターブル割り込み処理として実行される。この動画情報ストリーム動作の詳しい動作については、図９Ａ、図９Ｂを用いて後述する。
次に、ライブビュー動作を開始する（Ｓ１１）。ここでは、ステップＳ９において設定したフレームレートｆ１で、イメージセンサ１の系統１から画像データを取得し、表示デバイス５２にライブビュー表示を行う。
ライブビューを開始すると次に、フリッカ補正動作を行う（Ｓ１２）。ここでは、ライブビュー画像を取得中に、リアルタイムで取得画像のフリッカを検出し、フリッカによる輝度変動を補正する。このフリッカ補正の詳しい動作については、図８を用いて後述する。
フリッカ補正動作を行うと、次に、動画記録ボタン（不図示）の押し下げがなされたか否かを判定する（Ｓ１３）。撮影者がライブビュー表示を観察し、動画撮影開始のタイミングを決定すると、動画記録ボタンを押し下げる。そこで、このステップでは、動画記録ボタンが押し下げられたか否かを判定する。
ステップＳ１３における判定の結果、動画記録押し下げボタンが押し下げられていない場合には、次に、静止画記録ボタン（不図示）の押し下げがなされたか否かを判定する（Ｓ１５）。撮影者がライブビュー表示を観察し、静止画撮影のタイミングを決定すると、静止画記録ボタン（シャッタボタンともいう）を押し下げる。そこで、このステップでは、静止画記録ボタンが押し下げられたか否かを判定する。この判定の結果、静止画記録ボタンが押し下げられていない場合には、ステップＳ１１に戻り、ライブビュー表示を更新する。
ステップＳ１５における判定の結果、静止画記録ボタンが押し下げられた場合には、静止画撮影割り込み動作を開始する（Ｓ１７）。ここでは、ライブビュー表示動作及び動画情報ストリーム動作を中断し、静止画撮影を開始する割り込み動作が発行される。この割り込み動作が発行されると、静止画撮影を実行する。静止画撮影を行うために、イメージセンサ１に結像された被写体像が露光される、イメージセンサ１の系統１及び系統２のいずれからも静止画撮影データが読み出される。露光時間は、動画情報ストリーム（Ｓ１００）で得られたＡＥ演算結果から決定されており（シャッタスピードに相当）、この露光時間の間、露光動作を行う。
露光時間が経過すると、静止画データの読み込みを行い、静止画データの読み込みが終了したか否かを判定する（Ｓ１９）。静止画画像の読み出しが終了すると内部処理の状態を示す静止画データ読み込み終了フラグがセットされるので、この終了フラグに基づいて判定する。この終了フラグがセットされていない状態では、ステップＳ１９の判定動作を継続する。
ステップＳ１３における判定の結果、動画記録ボタンが押し下げられると、動画撮影の処理に移行する。まず、動画撮影割り込みを開始する（Ｓ３１）。ここでは、内部処理として、動画撮影記録を開始する状態、すなわち、動画割り込み発行をセットする。
続いて、動画メインストリーム記録用動作条件へ変更する（Ｓ３３）。ここでは、イメージセンサ１の撮像動作を、動画撮影動作のタイミングに変更するように設定する。動画撮影時のフレームレートは、ステップＳ９において設定したフレームレート、または撮影者がメニュー画面等において設定したフレームレート、またはカメラが動画撮影時に自動的に設定するフレームレートとする。イメージセンサ１の系統１から設定されたフレームレートで画像データが読み出される。なお、動画メインストリームは、イメージセンサ１の第１の画素群から取得する画像を読み出すことをいう。
次に、フリッカ補正動作を行う（Ｓ３４）。ステップＳ３３において、イメージセンサ１の系統１から読み出されるフレームレートよりも、系統２から読み出されるフレームレートを同じか高速に設定する。この系統２から読み出される画像データを用いて、フリッカ補正の補正ゲイン量を算出し、さらに変換アドレスに応じて、系統１から読み出される画像データに対してフリッカ補正を行う。このステップＳ３４における動作は、ステップＳ１２における動作と同様であり、フリッカ補正動作の詳しい動作は、図８を用いて後述する。
フリッカ補正動作を行うと、次に、動画記録用動画像処理を行う（Ｓ３５）。ここでは、フリッカ補正動作（Ｓ３４）でフリッカ補正処理された、系統１から出力された動画記録用読出しデータを動画記録形式に対応するように、データ圧縮、符号化処理を行う。
動画像処理を行うと、次に、動画記録終了ボタンの押し下げ、または所定時間が経過したか否かを判定する（Ｓ３７）。動画記録終了を指示するための動画記録終了ボタンが押し下げられたか、または予め指定された記録時間を経過したか否かを判定する。この判定の結果、Ｎｏであった場合には、ステップＳ３４に戻り、フリッカ補正を行うと共に動画撮影を続行する。
ステップＳ３７における判定の結果、Ｙｅｓであった場合には、動画データの読み込み終了フラグを発行する（Ｓ３８）。ここでは、動画データの読み込み終了状態を設定する終了フラグを設定する。
ステップＳ３８において終了フラグを発行すると、またはステップＳ１９における判定の結果、静止画データ読み込み終了の場合には、電源オフボタン（不図示）が押し下げられた否かを判定する（Ｓ３９）。ここでは、電源をオフするための電源オフボタンが押し下げられたか否かを判定する。この判定の結果、電源オフボタンが押し下げられていない場合には、ステップＳ１１に戻る。一方、電源オフボタンが押し下げられていた場合には、電源オフ処理に移行し、電源オフ状態となり（Ｓ４０）、カメラ動作を終了する。
次に、図８に示すフローチャートを用いて、ステップ１２、Ｓ３４におけるフリッカ補正動作の詳しい動作について説明する。フリッカ補正動作のフローに入ると（Ｓ５１）、まず、記録フレームレートと動画情報フレームレートが等しいか否かを判定する（Ｓ５３）。ここで、記録フレームレートは、イメージセンサ１の系統１から読み出される画像データのフレームレートであり、動画情報フレームレートは、イメージセンサ１の系統２から読み出される画像データのフレームレートである。なお、系統１から読み出される画像データは、前述したように、動画撮影時の記録画像およびライブビュー表示用の表示画像が含まれる。
ステップＳ５３における判定の結果、記録フレームレートと動画情報フレームレートが一致する場合は、動画像の各フレーム内に明暗部分が生じる所謂ラインフリッカが発生する可能性がある。そこで、ステップＳ５５以下において、ラインフリッカの補正処理を行う。
ラインフリッカ補正処理を行うにあたって、まず、動画メインストリームデータの読み込みを行う（Ｓ５５）。ここでは、イメージセンサ１の系統１から、動画像を設定されたフレームレートで周期的に読み出す。
続いて、動画データにフレーム番号を付与する（Ｓ５７）。ここでは、イメージセンサ１の系統１から読み出した画像データに対して、動画像の各フレームが順番に並ぶようにフレーム番号を付与する。
動画データにフレーム番号を付与すると、次に、該当フレームのフレーム内補正データの読み込みを行う（Ｓ５９）。ここでは、フレーム輝度補正ゲイン算出部７３において算出された補正ゲイン量やラインアドレス変換部７４で変換されたラインアドレス等の補正データの読み込みを行う。なお、このラインフリッカ補正用の補正データは、フレーム毎に算出されるとバッファメモリに一時記憶し、メモリから読み出すようにしてもよい。
補正データの読み込みを行うと、次に、動画各フレームデータの補正処理を行う（Ｓ６１）。ここでは、ステップＳ５５において読み出した系統１の画像データに対して、ステップＳ５９において、読み込んだ補正データを用いて、補正演算部８２（図５参照）がラインフリッカ補正を行う。すなわち、ラインアドレス変換部７４で求めたラインアドレスの画像データに対して、ライン輝度補正ゲイン算出部７３で算出した補正ゲイン量に、系統１の画像に適正な補正値ゲイン調整した値を用いて、ラインフリッカ補正を行い、各フレーム画像内で輝度が一様になるようにする。
ステップＳ５３における判定の結果、記録フレームレートと動画情報フレームレートが一致しない場合は、動画像の各フレーム毎に明暗部分が生じる所謂面フリッカが発生する可能性がある。そこで、ステップＳ６３以下において、面フリッカの補正処理を行う。
面フリッカ補正処理を行うにあたって、まず、動画メインストリームデータの読み込みを行う（Ｓ６３）。ここでは、ステップＳ５５と同様に、イメージセンサ１の系統１から、動画像を設定されたフレームレートで周期的に読み出す。
続いて、動画データにフレーム番号を付与する（Ｓ６５）。ここでは、ステップＳ５７と同様に、イメージセンサ１の系統１から読み出した画像データに対して、動画像の各フレームが順番に並ぶようにフレーム番号を付与する。
動画データにフレーム番号を付与すると、次に、該当フレーム番号に対応するフレーム毎補正データの読み込みを行う（Ｓ６７）。ここでは、フレーム輝度補正ゲイン算出部６３において算出された補正ゲイン量等の補正データの読み込みを行う。この補正データは、フレーム毎の平均輝度に基づいて面フリッカを補正する。なお、この面フリッカ補正用の補正データは、フレーム毎に算出されるとバッファメモリに一時記憶しておき、このバッファメモリから読み出すようにしてもよい。
補正データの読み込みを行うと、次に、動画各フレームデータの補正処理を行う（Ｓ６９）。ここでは、ステップＳ６３において読み出した系統１の画像データに対して、ステップＳ６７において、読み込んだ補正データを用いて、補正演算部８２（図５参照）が面フリッカ補正を行う。すなわち、ステップＳ６７において読み出したフレーム毎補正データを用いて、平均輝度が各フレームで一様となるように、各フレームの画像全体に対して輝度補正を行う。
ステップＳ６１またはステップＳ６９において、ラインフリッカ補正または面フリッカ補正の処理を行うと、次に、動画記録データの一時記録を行う（Ｓ７１）。ここでは、ステップＳ６１またはＳ６９においてフリッカ補正された動画の画像データを一時記憶する。ライブビュー表示時には、この一時記録された画像データに基づいてライブビュー画像を表示し（図７ＡのＳ１１）、また、動画撮影時には、一時記録された画像データを用いて記録用の画像データを生成し記録する（図７ＢのＳ３５）。データの一時記録を行うと、フリッカ補正動作を終了し、元のフローに戻る。
このように、本フローにおいては、記録フレームレートと動画情報フレームレートの比較結果に基づいて（Ｓ５３）、ラインフリッカ補正（Ｓ５５〜Ｓ６１）、または面フリッカ補正（Ｓ６３〜Ｓ６９）を行っている。光源の発光波形によっては、記録フレームレートと動画情報フレームレートが一致しない場合でも、面フリッカ内にラインフリッカが発生する場合がある。その場合は、ステップＳ５３の判定に関わらず、ライン輝度補正ゲイン算出部７３、及びフレーム輝度補正ゲイン算出部６５を同時に動作させておき、ステップＳ５９において読み込んだフレーム内補正データと、ステップＳ６７において読み出したフレーム毎補正データを、補正値ゲイン調整部８１にて合成することで適正な補正が可能となる。この場合の合成処理は、ステップＳ５９において読み込んだフレーム内補正データと、ステップＳ６７において読み出したフレーム毎補正データを乗算し、乗算後の補正データに対して画像が白とびをしないように画像全体に対して一律のマイナス補正をしたゲイン補正を微調整する。
次に、図９Ａ、９Ｂに示すフローチャートを用いて、ステップ１００における動画情報ストリーム処理の詳しい動作について説明する。この動画情報ストリーム処理は、ステップＳ９（ライブビュー表示前、図７参照）が実行されると、以後、所定周期毎に実施するタスク処理（インターバルタスク処理）として発生し、実行される処理ルーチンである。前述したように、ライブビュー表示中にはステップＳ１２において、また動画撮影中にはステップＳ３４において、それぞれフリッカ補正が行われる。この動画情報ストリーム処理は、フリッカ補正を行うための補正データを作成する。
動画情報ストリーム動作を開始すると（Ｓ１０１）、まず、動画情報ストリームのフレームレートの決定を行う（Ｓ１０１）。ここでは、イメージセンサ１の系統２からの読み出しのフレームレートを決定する。この動画情報ストリームのフレームレートｆ２は、イメージセンサ１の系統１から読み出される動画メインストリームのフレームレートの整数倍のフレームレートである。
動画情報ストリームレートの決定を行うと、次に、動画情報ストリームの動作を開始する（Ｓ１０５）。ここでは、ステップＳ１０３で設定した動画情報ストリームのフレームレートで、イメージセンサ１の系統２から画像データの読み出しを行う。
ステップ１０５において、動画情報ストリームの動作を開始すると、次に、動画情報ストリームから読み出したデータ処理を行う（Ｓ１０９）。ここでは、イメージセンサ１の系統２から読み出した画像データを用いて、焦点状態、露出状態、および色温度状態を検出する。焦点状態は、系統２からの画像データを用いて、画像のコントラスト情報を取得することによって、検出することができ、この取得したコントラスト情報が最大となるように撮影レンズ１１内のフォーカスレンズを駆動する。焦点状態に基づいて、所謂コントラスト検出方式による自動焦点調節（ＡＦ）を行う。
また、露出状態は、イメージセンサ１によって撮像される際の画像データの状態でありい、系統２に係る画像データに基づいて、被写体輝度を検出し、この被写体輝度に基づいて撮影画像の最適の露出状態となるように、光学系の絞り開口量、イメージセンサ１の感度（ゲイン）が調整される。露出状態に基づいて、自動露出制御（ＡＥ）が行われる。
色温度状態は、イメージセンサ１から出力される３原色の色信号の状態であり、系統２に係る画像データに基づいて、撮影画像の色温度状態を検出し、撮影画像を最適の色温度となるように、イメージセンサ１の３原色の出力バランスが調整される。色温度状態に基づいて、自動ホワイトバランス（ＡＷＢ）等が行われる。
動画情報ストリームから読み出したデータ処理を行うと、次に、動画記録の割り込み要求があるか否かを判定する（Ｓ１１１）。撮影者が動画撮影を開始する場合には、動画記録ボタンを押し下げ、このとき動画割り込み要求が発生する。このステップでは、この動画割り込み要求が発生しているか否かを判定する。
ステップＳ１１１における判定の結果、動画記録の割り込み要求がない場合には、次に、静止画撮影の割り込み要求があるか否かを判定する（Ｓ１１３）。撮影者が静止画の撮影を行う場合には、静止画撮影ボタン（シャッタレリーズボタンともいう）を押し下げ、このとき静止画撮影割り込み要求が発生する。このステップでは、この静止画撮影割り込み要求が発生しているか否かを判定する。この判定の結果、静止画撮影割り込み要求が発生していない場合には、ステップＳ１０５に戻る。
一方、ステップＳ１１３における判定の結果、静止画撮影割り込み要求が発生した場合には、静止画読み込み動作を実行する（Ｓ１１５）。ここでは、イメージセンサ１の全画素からの画像データを用いて静止画画像データを取得する。この静止画読み込み動作の詳しい動作については、図１０を用いて後述する。
続いて、静止画データ読み込み終了フラグ有りか否かの判定を行う（Ｓ１１７）。ここでは、ステップＳ１１５の割り込み処理動作が実行され、この割り込み処理動作が終了したか否かを判定する。この判定の結果、終了していない場合には、ステップＳ１１７に戻り、終了するのを待つ。一方、判定の結果、終了すると、ステップＳ１０５に戻る。
ステップＳ１１１における判定の結果、動画記録の割り込み要求が有る場合には、次に、Ｎ×記録フレームレートと動画情報ストリームフレームが一致するか否かを判定する（Ｓ１２１）。ここでは、動画撮影時の記録フレームレート（イメージセンサ１の系統１からの読み出す場合のフレームレート）の整数倍（整数Ｎ＝１、２、３、４、・・・）が、動画情報ストリームフレームレート（イメージセンサ１の系統２からの読み出す場合のフレームレート）と一致しているか否かを判定する。すなわち、動画撮影時の記録フレームレートと動画情報ストリームフレームレートが同期しているか否かを判定する。
ステップＳ１２１における判定の結果が、Ｎｏであった場合、すなわち、Ｎ×記録フレームレートと動画情報ストリームフレームレートが一致してない場合には、動画撮影時の記録フレームレートと同期するように、フレームレートを変更する（Ｓ１２２）。ここでは、動画情報ストリームのフレームレートを記録フレームレートの整数倍になるように変更する。
ステップＳ１２１における判定の結果がＹｅｓであった場合、またはステップＳ１２２において、動画情報ストリームのフレームレートの変更を行うと、次に、動画メインストリームフレームの番号を検出する（Ｓ１２３）。ここでは、動画メインストリームで時系列的に順次撮影された各フレーム画像に対して、時系列に応じた、動画メインストリームフレーム番号を検出する。
動画メインストリームフレーム番号の検出を行うと、次に、記録フレームレートと動画情報ストリームフレームレートが一致するか否かを判定する（Ｓ１２５）。ここでは、動画撮影時に、イメージセンサ１の系統１から読み出される記録フレームレートと、イメージセンサ１の系統２から読み出される動画情報ストリームフレームレートが一致しているか否かを判定する。
ステップＳ１２５における判定の結果、Ｙｅｓの場合は（すなわち、記録フレームレートと動画情報ストリームフレームレートが一致）、動画情報ストリームフレームとして取得する系統２からの各フレーム画像は、光源の明滅により１フレーム内に明暗の部分が生じている所謂ラインフリッカ状態となっている。そこで、ステップＳ１２７〜Ｓ１３２において、ラインフリッカ補正のための補正データを生成する。このラインフリッカ補正にあたっては、動画情報ストリームから各フレーム画像内のラインフリッカによる明暗の差情報と、明暗が発生する位置情報を検出し、これらの情報をステップＳ１３２において記録する。この記録された情報に基づいて、ステップＳ１２、Ｓ３４において、イメージセンサ１の系統１から読み出される撮影画像に対して、ラインフリッカ補正を行う。
まず、動画情報ストリームフレーム内のラインフリッカ検出を行う（Ｓ１２７）。ここでは、輝度比較部７１（図５参照）によって、１フレームの画像内において、ラインフリッカの発生する位置および明暗の差等を検出する。
ステップＳ１２７においてラインフリッカの検出を行うと、次に、フレーム内補正データの作成を行う（Ｓ１２９）。ここでは、ステップＳ１２７において検出したラインフリッカの情報に基づいて、ライン輝度補正ゲイン算出部７３等は各フレーム内のラインフリッカによる輝度変化を補正する輝度補正データ（読出しラインアドレスとそれに対応する平均輝度とピーク／ボトムの輝度値の差や、輝度のピーク発生位置のアドレス、輝度補正ゲイン量等）を生成する。
フレーム内補正データを生成すると、次に、対応する動画メインストリームのフレーム番号を付加する（Ｓ１３１）。ここでは、ステップＳ１２９において生成したフレーム内補正データを用いて、対応する動画メインストリームが取得したフレーム画像（系統１からの画像データ）に対して、フレーム番号を付加する。
続いて、フレーム内補正データと、対応するメインストリームのフレーム番号の記録を行う（Ｓ１３２）。ここでは、ステップＳ１２９において作成されたフレーム内補正データの情報とステップＳ１３１において作成された対応する動画メインストリームのフレーム番号の情報を、バッファメモリ（不図示）に記録する。
前述のステップＳ１２５における判定の結果、記録フレームレートと動画情報ストリームフレームレートが一致しない場合は、動画情報ストリームで取得する画像データ（系統１からの画像データ）は、光源の明滅による１フレーム内での明暗部分の差はなく、時系列で取得した各フレーム画像の平均輝度が、光源明滅周期に連動して変化する所謂面フリッカ状態である。そこで、ステップＳ１４１〜Ｓ１４７において、面フリッカ補正のための補正データを作成する。
まず、動画情報ストリームフレーム毎の平均輝度を検出する（Ｓ１４１）。ここでは、動画情報ストリーム（系統２からの画像データ）に基づいて、フレーム輝度平均値明滅周期判定部６４（図５参照）が、各フレーム画像の面平均輝度を算出する。そして、各フレームの平均輝度に対して、ピーク／ボトム（最大輝度／最小輝度）となるフレームの平均輝度の差と、時系列に明暗が発生するフレーム情報（対応するフレーム番号）を検出する。
続いて、フレーム番号毎に補正データを作成する（Ｓ１４３）。ここでは、ステップＳ１４１において検出した面フリッカ情報に基づいて、フレーム輝度補正現算出部６５（図５参照）が、時系列に取得するフレーム画像（系統１から取得）に対するフレーム毎の輝度補正データを算出し、補正データを作成する。
補正データを作成すると、次に、対応する動画メインストリームのフレーム番号を付加する（Ｓ１４５）。ここでは、ステップＳ１４３において作成した補正データに対して、フレーム番号を付与する。
次に、フレーム番号毎の補正データと、対応するメインストリームのフレーム番号を記録する（Ｓ１４６）。ここでは、ステップＳ１４３において作成されたフレーム番号毎の補正データと、ステップＳ１４５において処理された動画メインストリームのフレーム番号情報をバッファメモリ（不図示）に記録する。
ステップＳ１３２またはステップＳ１４６において記録を行うと、次に、動画記録終了フラグ有りか否かを判定する（Ｓ１３３）。撮影者が動画撮影を終了する場合には、動画記録終了ボタンの押し下げると動画記録終了となり、また所定時間が経過すると動画記録終了となる。動画記録終了となると、動画記録終了フラグが発行されることから、このステップでは、動画記録終了フラグの有無に基づいて判定する。この判定の結果、動画記録終了フラグがない場合には、ステップＳ１２３に戻り、一方、動画記録終了フラグが有る場合には、ステップＳ１０５に戻る。
このように、動画情報ストリーム動作は、所定周期毎に実行され、このサブルーチンでは、フリッカ補正動作を行うために使用する補正データを作成し、一時記録を行っている。
次に、図１０に示すフローチャートを用いて、ステップＳ１１５（図９Ａ参照）における静止画割り込み動作の詳しい動作について説明する。前述したように、静止画読み込み動作は、ステップＳ１７（図７参照）において静止画撮影割り込み動作開始において、フラグが発行されると、ステップＳ１１５において、静止画割り込み動作が実行される。
静止画割り込み動作が開始すると（Ｓ２０１）、まず、動画ストリームおよび動画情報ストリームの動作を停止する（Ｓ２０３）。ここでは、イメージセンサ１の系統１および系統２の両系統からの画像データの読み出しを停止する。
続いて、静止画データ読み込み終了フラグのリセットを行う（Ｓ２０５）。ここでは静止画データの読み込み終了を示すフラグである静止画データ読み込み終了フラグをリセットする。
静止画データ読み込み終了フラグのリセットを行うと、次に、静止画露光動作を行う（Ｓ２０７）。ここでは、静止画露光動作を行う。具体的には、イメージセンサ１の各画素をリセットし、予め決められた絞り値で、予め決められた露光時間（シャッタ速度）の間、イメージセンサ１に被写体像を露光し、各画素に光電変換電流を蓄積する。
続いて、露光終了か否かを判定する（Ｓ２０９）。ここでは、露光時間が経過したか否かを判定し、露光時間が経過するまでは、露光動作を継続する。一方、露光時間が経過すると、露光を終了する。
ステップＳ２０９における判定の結果、露光終了であれば、次に、静止画データの出力を行う（Ｓ２１１）。ここでは、露光動作によって蓄積した光電変換電流に基づく画像データを出力し、メモリに記録する。続いて、静止画データ出力終了か否かを判定し（Ｓ２１３）、終了していない場合には、ステップＳ２１１に戻る。
ステップＳ２１３における判定の結果、静止画データ出力が終了すると、静止画データ読み込み終了フラグを発行する（Ｓ２１５）。ここでは、ステップＳ２０５においてリセットした静止画読み込み終了フラグを発行する。終了フラグを発行すると、静止画読み込み動作を終了する（Ｓ２１７）。
以上説明したように、本発明の一実施形態においては、イメージセンサ１から系統１および系統２の少なくとも２つの系統を通じて画像データが出力される場合に、系統１からの画像データをライブビュー表示用と動画撮影用の画像データとして使用し、系統２からの画像データを用いてフリッカ検出を行い、この検出結果を用いて系統１からの画像データに対して、フリッカ補正を行うようしている。このため、ハイスピードカメラのような高速のフレームレートの動画や、またフレームレートが可変される動画であっても、リアルタイムかつ適切にフリッカを補正することが可能となる。
また、本発明の一実施形態においては、ラインフリッカおよび面フリッカを検出可能としており、画面内に明暗が発生する場合や、時系列の画面に明暗が発生する場合でも、明暗差が除去して、違和感のない画像とすることができる。
なお、本発明の一実施形態においては、ライブビュー表示と動画撮影の両方にフリッカ補正を施していたが、いずれか一方に対してのみフリッカ補正を行うようにしても勿論かまわない。また、面フリッカおよびラインフリッカの両方に対して補正を施していたが、いずれか一方に対してのみフリッカ補正を行うようにしても勿論かまわない。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の系統で画像の読み出しを行うことのできる撮像装置であれば、本発明を適用することができる。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１・・・イメージセンサ、２・・・フォトダイオードアレイ、２ａ・・・実行画素、２ｂ・・・有効画素、２ｃ・・・水平ＯＢ画素、２ｄ・・・垂直ＯＢ画素、２ｅ・・・無効画素、３・・・水平・垂直ドライバ、４・・・タイミングコントローラ、５・・・ＡＤ変換器、６・・・並び替え部、１１・・・撮影レンズ、１２・・・モータ通信部、１３・・・レンズ制御部、２０・・・ＤＳＰ、２１・・・ＣＰＵ、２６・・・並列回路Ｂ、２７・・・制御ブロック、２８・・・スイッチ、２９・・・ＡＥ／ＡＦ、３１・・・並列回路Ａ、３２・・・フリッカ検出部、３４・・・画像処理プロセッサ、５１・・・ＤＲＡＭ、５２・・・表示デバイス、６１・・・水平有効画素輝度値平均化部、６２・・・水平有効ライン輝度値平均化部、６３・・・１次記憶メモリ、６４・・・フレーム輝度平均値明滅周期判定部、６５・・・フレーム輝度補正ゲイン算出部、７１・・・輝度比較部、７２・・・１次記憶メモリ、７３・・・ライン輝度補正ゲイン算出部、７４・・・ラインアドレス変換部、８１・・・補正値ゲイン調整部、８２・・・補正演算部、８３・・・カラー化およびその他画像処理部

Claims (6)

  1. 二次元状に配列された、第１の画素群と第２の画素群からなる複数の画素と、上記第１の画素群および第２の画素群に対応する画素で、それぞれ生成された出力信号を、それぞれ同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子と、
    上記撮像素子の第１の画素群および第２の画素群に対応する画素から、それぞれ独立に画像信号を読み出すための画像信号読出部と、
    被写体に含まれる光源の周期的な明滅動作に基づいて、上記撮像素子に結像された被写体像を光電変換し、撮影画像全体の明状態および暗状態を、上記第２の画素群に対応する画素に対応する画像出力から検知することによって上記光源の明滅周期を検出するフリッカ検出部と、
    上記フリッカ検出部において、上記第２の画素群に対応する画素によって取得された画像が、周期的な明滅により明状態及び暗状態の輝度の光が入射した際には、上記第２の画素群に対応して配置される上記第１の画素群による撮影画像の輝度出力を基準となる輝度出力になるようにして、上記第１の画素群に対応する複数の画素の各画素に対応する輝度出力ゲインを補正するフリッカ補正部と、
    を備えたことを特徴とする撮像装置。
  2. 上記画像信号読出部は、上記第１画素群の１フレームの画像信号の読み出し期間内において、上記第２画素群の画像信号を読み出し、
    上記フリッカ検出部は、上記第２画素群の画像信号によって、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出し、
    上記フリッカ補正部は、上記第２画素群の読み出し期間を含む期間内に読み出された上記第１画素群に対して画像信号のゲイン補正を行う、
    ことを特徴とする請求項１に記載の撮像装置。
  3. 上記フリッカ検出部は、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出して、上記第１画素群からなる画像の読み出し周期と、上記検出された光源の明滅周波数とを比較し、上記第１画素群からの取得画像が面フリッカを発生しているか否かを判定し、
    上記フリッカ補正部は、上記フリッカ検出部の判定により、上記第１画素群からの取得画像が面フリッカと判定された場合は、上記第２画素群によって読み出された画像と対応する時間にある上記第１画素群から読み出された画像信号の輝度出力に対して一律にゲイン補正を行う、
    ことを特徴とする請求項２に記載の撮像装置。
  4. 上記フリッカ検出部は、周期的に発生する明滅フレーム数に基づいて光源の明滅周波数を検出して、上記第１画素群からなる画像の読み出し周期と、上記検出された光源の明滅周波数を比較し、上記第１画素群からの取得画像がラインフリッカを発生しているか否かを判定し、
    上記フリッカ補正部は、上記フリッカ検出部の判定により、上記第１画素群からの取得画像は、ラインフリッカと判定された場合は、上記第２画素群によって読み出された画像と対応する配置にある上記第１画素群から読み出された各フレーム画像信号の輝度出力に対して、フレーム内での輝度ゲイン補正を行う、
    ことを特徴とする請求項２に記載の撮像装置。
  5. 上記画像信号読出部は、上記撮像素子の第１画素群および第２画素群に対応する画素から画像信号を読み出す周波数は、動画撮影時とライブビュー表示時で、それぞれ異なる周波数で設定し、動画撮影時のそれぞれのフレームレートは、ライブビュー表示時のそれぞれのフレームレートよりも速いフレームを設定することを特徴とする請求項２ないし４のいずれか１項に記載の撮像装置。
  6. 二次元状に配列された、第１の画素群と第２の画素群からなる複数の画素と、上記第１の画素群および第２の画素群に対応する画素で、それぞれ生成された出力信号を、それぞれ同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子から、上記撮像素子の第１の画素群および第２の画素群に対応する画素から、それぞれ独立に画像信号を読み出すステップと、
    被写体に含まれる光源の周期的な明滅動作に基づいて、上記撮像素子に結像された被写体像を光電変換し、撮影画像全体の明状態および暗状態を、上記第２の画素群に対応する画素に対応する画像出力から検知することによって上記光源の明滅周期を検出するフリッカ検出ステップと、
    上記フリッカ検出ステップにおいて、上記第２の画素群に対応する画素によって取得された画像が、周期的な明滅により明状態及び暗状態の輝度の光が入射した際には、上記第２の画素群に対応して配置される上記第１の画素群による撮影画像の輝度出力を基準とする輝度出力になるようにして、上記第１の画素群に対応する複数の画素の各画素に対応する輝度出力ゲインを補正するフリッカ補正ステップと、
    を備えたことを特徴とする撮像方法。
JP2013259054A 2013-12-16 2013-12-16 撮像装置および撮像方法 Pending JP2015115922A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013259054A JP2015115922A (ja) 2013-12-16 2013-12-16 撮像装置および撮像方法
US14/558,178 US9307163B2 (en) 2013-12-16 2014-12-02 Imaging device and imaging method
CN201410771907.8A CN104717435B (zh) 2013-12-16 2014-12-12 摄像装置以及摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013259054A JP2015115922A (ja) 2013-12-16 2013-12-16 撮像装置および撮像方法

Publications (1)

Publication Number Publication Date
JP2015115922A true JP2015115922A (ja) 2015-06-22

Family

ID=53370012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013259054A Pending JP2015115922A (ja) 2013-12-16 2013-12-16 撮像装置および撮像方法

Country Status (3)

Country Link
US (1) US9307163B2 (ja)
JP (1) JP2015115922A (ja)
CN (1) CN104717435B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154285A (ja) * 2015-02-20 2016-08-25 キヤノン株式会社 撮像装置、電子機器及び光量変化特性の算出方法
JP2018006888A (ja) * 2016-06-29 2018-01-11 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2018112459A (ja) * 2017-01-11 2018-07-19 コイト電工株式会社 明滅度測定装置、明滅度測定方法、明滅度測定プログラムおよび記憶媒体
KR20190019904A (ko) 2016-06-17 2019-02-27 소니 주식회사 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
JPWO2018079390A1 (ja) * 2016-10-27 2019-09-12 ソニー株式会社 映像信号処理装置、撮像装置、撮像装置におけるフリッカ確認方法およびサーバ
JP2020080512A (ja) * 2018-11-14 2020-05-28 キヤノン株式会社 撮像装置
JPWO2019069633A1 (ja) * 2017-10-05 2020-12-17 コニカミノルタ株式会社 二次元フリッカ測定装置及び二次元フリッカ測定方法
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396571B2 (en) * 2014-02-10 2016-07-19 International Business Machines Corporation Simplified lighting compositing
JP6379811B2 (ja) * 2014-07-30 2018-08-29 カシオ計算機株式会社 表示装置、表示制御方法及び表示制御プログラム
JP6727205B2 (ja) * 2015-07-24 2020-07-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP6614853B2 (ja) * 2015-08-07 2019-12-04 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR102489279B1 (ko) 2016-02-04 2023-01-18 삼성전자주식회사 이미지 처리장치 및 방법
US10602111B2 (en) * 2016-09-06 2020-03-24 Apple Inc. Auto white balance control algorithm based upon flicker frequency detection
GB2554663B (en) * 2016-09-30 2022-02-23 Apical Ltd Method of video generation
DE102016122934A1 (de) * 2016-11-28 2018-06-14 SMR Patents S.à.r.l. Bildgebungssystem für ein Fahrzeug und Verfahren zum Erhalten eines superaufgelösten Antiflimmer-Bildes
EP3618419B1 (en) 2017-04-25 2023-10-04 FUJIFILM Corporation Image processing device, image processing method, and program
US10816397B2 (en) * 2017-06-05 2020-10-27 Osram Sylvania Inc. Device and system for measuring flicker
JP2019036907A (ja) * 2017-08-21 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び機器
CN107633826B (zh) * 2017-09-11 2019-06-11 惠科股份有限公司 显示面板的驱动方法及显示装置
WO2019071543A1 (en) * 2017-10-12 2019-04-18 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR AUTOMATIC DETECTION AND CORRECTION OF LUMINANCE VARIATIONS ON IMAGES
GB2567668B (en) * 2017-10-20 2022-03-02 Vivo Mobile Communication Co Ltd Deflickering of a series of images
US11991808B2 (en) * 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
WO2020066187A1 (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US11032507B2 (en) * 2018-12-06 2021-06-08 Flir Commercial Systems, Inc. Frame rate and associated device manufacturing techniques for imaging systems and methods
US10931874B2 (en) 2018-12-06 2021-02-23 Flir Commercial Systems, Inc. Burst mode calibration sensing and image mode sensing for imaging systems and methods
CN113766114B (zh) * 2020-06-01 2023-11-07 中移(苏州)软件技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2023001373A1 (en) * 2021-07-22 2023-01-26 Huawei Technologies Co., Ltd. Device and method for processing image data
CN114422773A (zh) * 2022-01-27 2022-04-29 重庆长安汽车股份有限公司 一种定制化影像调试***及方法
CN117676112A (zh) * 2022-08-24 2024-03-08 万有引力（宁波）电子科技有限公司 一种mr装置及消除mr装置图像闪烁的方法
US11877071B1 (en) * 2022-09-22 2024-01-16 Apple Inc. Flicker and proximity detection in image sensors with embedded low power readout circuitry
CN116112785B (zh) * 2023-02-27 2023-08-22 之江实验室 一种基于fpga的图像传感器帧率控制***及控制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105204A (ja) 1992-09-11 1994-04-15 Nippon Avionics Co Ltd 高速度ｔｖカメラ出力信号の速度変換装置
JPH11122513A (ja) 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
JP4377840B2 (ja) 2005-03-31 2009-12-02 イーストマン コダック カンパニー デジタルカメラ
KR20080098864A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 이미지 센서의 플리커 감소 방법 및 장치
KR20090005843A (ko) * 2007-07-10 2009-01-14 삼성전자주식회사 촬상 장치 및 촬상 장치의 감도 개선 방법
CN101533611B (zh) * 2008-03-10 2014-03-12 群创光电股份有限公司 液晶显示面板、液晶显示装置及其控制方法
JP2009284424A (ja) * 2008-05-26 2009-12-03 Sony Corp 撮像装置、撮像方法及びプログラム
JP2011091775A (ja) * 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
JP2011193065A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
TWI483616B (zh) * 2010-08-09 2015-05-01 Chunghwa Picture Tubes Ltd 顯示裝置、顯示控制模組及顯示控制方法
JP5296112B2 (ja) * 2011-02-04 2013-09-25 パナソニック株式会社 フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
WO2012147337A1 (ja) * 2011-04-28 2012-11-01 オリンパス株式会社 フリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラム
JP2014232916A (ja) * 2013-05-28 2014-12-11 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016154285A (ja) * 2015-02-20 2016-08-25 キヤノン株式会社 撮像装置、電子機器及び光量変化特性の算出方法
US11202046B2 (en) 2016-06-17 2021-12-14 Sony Corporation Image processor, imaging device, and image processing system
KR20190019904A (ko) 2016-06-17 2019-02-27 소니 주식회사 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
JP2018006888A (ja) * 2016-06-29 2018-01-11 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US11582401B2 (en) 2016-10-27 2023-02-14 Sony Group Corporation Image signal processing device, imaging device, flicker check method in imaging device, and server
JPWO2018079390A1 (ja) * 2016-10-27 2019-09-12 ソニー株式会社 映像信号処理装置、撮像装置、撮像装置におけるフリッカ確認方法およびサーバ
JP7047766B2 (ja) 2016-10-27 2022-04-05 ソニーグループ株式会社 映像信号処理装置、撮像装置および撮像装置におけるフリッカ確認方法
JP2018112459A (ja) * 2017-01-11 2018-07-19 コイト電工株式会社 明滅度測定装置、明滅度測定方法、明滅度測定プログラムおよび記憶媒体
JPWO2019069633A1 (ja) * 2017-10-05 2020-12-17 コニカミノルタ株式会社 二次元フリッカ測定装置及び二次元フリッカ測定方法
JP7310606B2 (ja) 2017-10-05 2023-07-19 コニカミノルタ株式会社 二次元フリッカ測定装置及び二次元フリッカ測定方法
JP2020080512A (ja) * 2018-11-14 2020-05-28 キヤノン株式会社 撮像装置
JP7278750B2 (ja) 2018-11-14 2023-05-22 キヤノン株式会社 撮像装置
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
CN104717435A (zh) 2015-06-17
US20150172529A1 (en) 2015-06-18
US9307163B2 (en) 2016-04-05
CN104717435B (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
JP2015115922A (ja) 撮像装置および撮像方法
JP6466786B2 (ja) 撮像装置、撮像方法およびプログラム
JP2010114834A (ja) 撮像装置
JP5523124B2 (ja) 撮像装置
US9961269B2 (en) Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing
JP2009077057A (ja) 撮像装置、撮像装置の制御方法
JP5759190B2 (ja) 撮像装置及びその制御方法
WO2016158247A1 (ja) 撮影装置、撮影装置本体、及び撮影装置の制御方法
JP2016082510A (ja) 画像処理装置及び画像処理方法
EP3520389B1 (en) Imaging apparatus and imaging method
JP2013031010A (ja) 撮像装置、撮像方法およびプログラム
JP5581968B2 (ja) 撮像装置
JP2014216775A (ja) 撮像装置、検出方法およびプログラム
JP2010187113A (ja) 撮像装置およびホワイトバランスブラケティング撮影プログラム
JP2010154171A (ja) 撮像装置および撮像方法
JP2013015722A (ja) 撮像装置、その制御方法、および制御プログラム
JP2012119788A (ja) 撮影装置、画像処理装置、撮影方法及び画像処理方法
JP5440245B2 (ja) 撮像装置
JP2011112853A (ja) オートフォーカス調整回路、撮像装置、オートフォーカス調整方法
JP2010068046A (ja) 撮像装置
JP2016092786A (ja) 撮像装置
JP2013255005A (ja) 電子カメラ
JP2012227744A (ja) 撮像装置
JP2012163878A (ja) 撮像装置
JP2017169026A (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置