JP6759089B2 - 画像処理装置、撮像装置、制御方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法に関する。

移動している被写体のスピード感を表現する撮影技術として流し撮りがある。流し撮りでは、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流す。流し撮りにおいては、撮影者が被写体の動きに合わせてパンニングをする必要があるが、パンニング速度が速すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度の間に差が発生してしまうと、被写体までぶれた画像になることも多い。

ユーザによる流し撮りをアシストする技術として、シフトレンズの移動により被写体の移動速度とパンニング速度の差を吸収する技術が提案されている。例えば、特許文献１は、被写体を検知し、検知された被写体を画像中央に位置させるための補正量を算出し、光軸シフトレンズの移動で補正して流し撮り撮影を行う技術を開示している。特許文献２は、動きベクトルを検知する技術を開示している。

また、デジタルカメラの高ＩＳＯ化に伴い、フリッカーを含んだ人工光源下でも、高速なシャッタ速度で撮影を行うことができるようになっている。フリッカー光源下で高速なシャッタ速度で連続撮影を行うと、外光の光量変化により、コマ毎の露出にバラツキが発生する。特許文献３は、光源のフリッカーによる露光ムラの有る画像と露光ムラの無い画像を撮像し、輝度変化に基づいてフリッカーの光量変化の少ないタイミングを検出することで、コマ毎の露出のバラツキのない画像を撮像する撮像装置を開示している。

特開２００６−３１７８４８号公報 特開平８−８８８５５号公報 特開２０１５−８８９１７号公報

特許文献２が開示する技術では、動きベクトル検知を行う際に、連続して撮影された画像のサンプリング間隔が長いので、ある一定時間内でのサンプリング数が少なくなる場合、ブレまでを含んだ被写体の動きが大きいと、被写体の移動量が大きくなる。したがって、連続画像における参照ブロックと候補ブロックの比較エリアを広げなければ、精度よく動きベクトル検知ができない。サンプリング数を増やしても、露光時間を制御することで、露光ムラの有る画像と露光ムラの無い画像を撮像して、フリッカー検知を行う場合には、フリッカー光源下では画像間に露光ムラがあり、精度良く動きベクトル検知を行うことができない。また、動きベクトル検知を行う被写体の輝度が極端に高いか、低い場合は、画像自体が白飛び、もしくは黒つぶれすることで、動きベクトルを得るための主被写体の比較エリアが均一になる。つまり、主被写体のコントラストが低い場合は、精度良く動きベクトル検知を行うことができない。本発明は、異なる露光時間で撮像された画像に基づくフリッカーの検知結果に応じて、精度良く動きベクトルを検出することができる画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、第１の露光時間で撮像された第１の画像と、前記第１の露光時間より短い第２の露光時間で撮像された第２の画像を取得する取得手段と、前記第１の画像または前記第２の画像のうち動きベクトルの算出に用いる画像を、前記第１の画像と前記第２の画像とに基づくフリッカーの検知結果に応じて変更する決定手段と、前記決定手段により決定された画像に基づいて、動きベクトルを算出する算出手段とを備える。

本発明の画像処理装置によれば、異なる露光時間で撮像された画像に基づくフリッカーの検知結果に応じて、精度良く動きベクトルを検出することができる。

本実施形態の画像処理装置の構成を示す図である。 カメラ本体が備える撮像素子の構成図である。 撮像素子の露光量を制御するスリットローリングシャッタ動作である。 撮像素子の露光量を制御する電子先幕シャッタ動作である。 フリッカー光源の光量変化、シャッタを切るタイミング、静止画像を示す図である。 フリッカー光源の光量変化、シャッタを切るタイミング、静止画像を示す図である。 フリッカーの光量変化の少ないタイミングを検出する処理である。 動きベクトルの検知処理を説明するフローチャートである。 Ａ画像撮像表示処理を説明するフローチャートである。 Ｂ画像撮像処理を説明するフローチャートである。 画像選択動きベクトル検知処理を説明するフローチャートである。 ＡＢ画像両方使用判断処理を説明するフローチャートである。 ＡＢ画像間動きベクトル検知処理を説明するフローチャートである。 Ａ画像間で動きベクトル検知を行う際の処理を説明する図である。 Ｂ画像間で動きベクトル検知を行う際の処理を説明する図である。 ＡＢ画像間動きベクトル検知を行う際の処理を説明する図である。 画像選択動きベクトル検知処理を説明するフローチャートである。 ＡＢ画像間コントラスト判断動きベクトル検知処理を示す図である。 コントラスト判断動きベクトル検知処理を示す図である。 ＡＢ画像間動きベクトル検知処理を説明する図である。 画像間動きベクトル検知処理を説明する図である。

（実施例１）
図１は、本実施形態の画像処理装置の構成を示す図である。
図１では、画像処理装置として、交換レンズ１００と、カメラ本体１２０を備えるデジタルカメラ等の撮像装置を例にとって説明する。交換レンズ１００は、カメラ本体１２０に着脱可能である。なお、本発明は、レンズとカメラ本体とが一体となった撮像装置にも適用可能である。

交換レンズ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、焦点距離を変更可能なズームレンズ群１０３、および撮像装置に加わる振れによる光軸に対する像のブレを光軸と垂直方向に移動することにより光学的に補正するシフトレンズ群１０４を有する。

また、交換レンズ１００は、ズームレンズ群の位置を検出するズームエンコーダ１０５、シフトレンズ群の位置を検出する位置センサ１０６、撮像装置の振れを検出する角速度センサ１１１を備える。また、交換レンズ１００は、角速度センサ１１１の出力を増幅するアンプ１１２、レンズシステム制御用マイクロコンピュータ（以下「レンズマイコン」と記述）１１３を備える。また、交換レンズ１００は、シフトレンズを駆動するドライバ１１４、シフトレンズの位置センサ１０６の出力を増幅するアンプ１１５、およびカメラ本体１２０とのマウント接点部１１６を備える。

レンズマイコン１１３は、交換レンズ１００全体を制御する。レンズマイコン１１３は、手ブレ補正制御を行う手ブレ補正制御部１１７と、流し撮りアシスト用の制御を行う流し撮り制御部１１８を備える。レンズマイコン１１３は、その他にもフォーカスレンズ制御、絞り制御等も行うが、説明の簡略化のため、図１では省略している。また、手ブレ補正のためには、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正を行うが、横方向と縦方向に関する振れの検出および補正の構成は同じ構成であるので、本明細書中では１軸分に関してのみ記述する。

カメラ本体１２０は、シャッタ１２１、ＣＭＯＳセンサ等の撮像素子１２２、アナログ信号処理回路１２３、カメラ信号処理回路１２４、撮像素子１２２やアナログ信号処理回路１２３の動作タイミングを設定するタイミングジェネレータ１２５を備える。また、カメラ本体１２０は、電源スイッチ、レリーズスイッチ、流し撮りアシストモードにするか否かを切り替える切り替えスイッチ等を有するカメラ操作スイッチ１３１を備える。また、カメラ本体１２０は、カメラ全体のシステムを制御するカメラシステム制御用マイクロコンピュータ（以下「カメラマイコン」と記述）１３２、シャッタ動作を行わせるためのモータを駆動するドライバ１３３、シャッタ駆動用モータ１３４を備える。

また、カメラ本体１２０は、撮影した映像を記録するメモリカード１７１、カメラで撮影しようとしている画像をモニタし、撮影した画像を表示する液晶パネル（以下ＬＣＤ）１７２、交換レンズ１００とのマウント接点部１６１を備える。レンズマイコン１１３とカメラマイコン１３２は、マウント接点部１１６および１６１を介して所定のタイミングでシリアル通信を行う。カメラ信号処理回路１２４は、動きベクトル検知部１４１とリサイズ部１４２とフレームレート変更部１４３と表示更新部１４４を備える。動きベクトル検知部１４１は、撮影された画像に基づいて、動きベクトルを検知する（動きベクトル検知を行う）。本明細書において、動きベクトル検知とは、動きベクトルを検出し、その量を算出することを含む。フレームレート変更部１４３は、フレームレートを変更する。リサイズ部１４２は、撮影された画像のリサイズ処理を行う。表示更新部１４４は、ＬＣＤ１７２に画像を表示する。カメラマイコン１３２は、カメラ本体１２０全体を制御する。カメラマイコン１３２は、シャッタ制御部１５１、主被写体の角速度を算出する被写体角速度算出部１５２、流し撮り判定部１５３を備える。

図１において、操作スイッチ１３１によりカメラの電源がＯＮされると、その状態変化をカメラマイコン１３２が検出し、カメラマイコン１３２の制御によりカメラ本体１２０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１３の制御により、交換レンズ１００内の初期設定が行われる。そして、レンズマイコン１１３とカメラマイコン１３２との間で所定のタイミングで通信が開始される。この通信で、カメラからレンズへはカメラの状態、撮影設定等が、またレンズからカメラへはレンズの焦点距離情報、角速度情報等がそれぞれ必要なタイミングで送受信される。

流し撮りアシストモード設定が行われていない通常モード時、交換レンズ内では、角度速度センサ１１１が手ブレ等によるカメラのブレを検出する。手ブレ補正制御部１１７が、その検出結果に基づいて、シフトレンズ１０４を駆動し、手ブレ補正動作を実行する。操作スイッチ１３１により、流し撮りアシストモードが設定されると、カメラマイコン１３２は、流し撮りアシスト用の制御に切り替わる。流し撮りアシスト用の制御に切り替わったことを示す情報が、カメラマイコン１３２からレンズマイコン１１３へと送信され、レンズマイコン１１３は流し撮りアシストモードに移行する。

流し撮りアシストモード設定中のカメラ本体１２０は、一定のフレームレートで撮像した映像情報からカメラ信号処理回路１２４内の動きベクトル検知部１４１により検知された被写体の動きベクトルを出力する。同時に、カメラ本体１２０は、レンズマイコン１１３から、交換レンズ１００内の角速度センサで検出されたカメラ角速度データを受信する。さらに、映像情報に対して現像処理などを実施した画像データが、ＲＡＭ１８１に一旦出力され、表示更新部１４４が同期信号に対応する更新間隔でＲＡＭ１８１上の画像データを読み込んでＬＣＤ１７２へ出力し、ライブビュー画像の表示更新を行う。

撮影者が流し撮りを行っている場合、動きベクトル検知部１４１が検知して出力する被写体の動きベクトルは、撮影者が撮影しようとしている主被写体に対応したベクトルと、流れている背景に対応したベクトルの２種類となる。背景に対応したベクトルは、カメラ角速度データから換算した像面上の移動量とほぼ等しくなり、また主被写体の動きベクトルは、背景のベクトルに対して、動き量が小さくなるので、主被写体の動きベクトル（主被写体の像面上の移動量）を特定できる。

一方、レンズから受信したカメラ角速度データは、カメラの流し撮り速度に対応している。したがって、受信したカメラ角速度データと、主被写体の像面上の移動量およびレンズの現在の焦点距離から算出される角速度の差分を算出すると、その算出結果は、カメラに対する主被写体の被写体角速度データとなる。カメラマイコン１３２は、算出した主被写体の被写体角速度データをレンズマイコン１１３に送信する。

流し撮り判定部１５３では、レンズマイコン１１３から送信されたカメラ角速度データを積分して保持しておくことができる。また、流し撮り判定部１５３は、所定のタイミングで保持しておいた積分データをリセットすることもできる。これにより、ユーザが流し撮りを行う際に、所定のタイミングを起点としたカメラの角度変化（以降、流し撮り角度）を得ることができる。本実施形態の撮像装置は、撮影者により流し撮り動作が行われると、カメラのパンニング時のカメラ角速度と被写体角速度の差分に対応した量を補正することで、流し撮り撮影をアシストする。

図２は、図１のカメラ本体１２０が備える撮像素子１２２の構成図である。
撮像素子１２２は、２次元の走査方法を採用する。図２において、画素２０１は、駆動の単位である１つの画素である。フォトダイオード（ＰＤ）２０２は、光を電荷に変換する。フローティングディフュージョン（ＦＤ）２０６は、電荷を一時的に蓄積しておく領域である。転送スイッチ２０３は、転送パルスφＴＸによってＰＤ２０２で発生した電荷をＦＤ２０６に転送する。増幅ＭＯＳアンプ２０７は、ソースフォロアとして機能する。選択スイッチ２０８は、選択パルスφＳＥＬＶによって画素を選択する。リセットスイッチ２０９は、リセットパルスφＲＥＳによってＦＤ２０６に蓄積された電荷を除去する。

定電流源２１１は、増幅ＭＯＳアンプ２０７の負荷となる。読み出し回路２１５は、選択スイッチ２０８で選択された画素のＦＤ２０６に蓄積された電荷を、増幅ＭＯＳアンプ２０７と定電流源２１１による電荷・電圧変換で電圧に変換された後、信号出力線２１０を経て画素データとして読み出す。選択スイッチ２１２は、読み出し回路２１５で読み出した画素データ（画素信号）を選択する。選択スイッチ２１２は、水平走査回路２１６によって駆動される。水平走査回路２１６によって選択された画素データは出力アンプ２１３で増幅されて撮像素子１２２から出力される。垂直走査回路２１４は、スイッチ２０３，２０８，２０９を選択する。

ここで、φＴＸ、φＲＥＳ、φＳＥＬＶのそれぞれにおいて、垂直走査回路２１４によって走査選択された第ｎ番目の走査ラインをφＴＸｎ、φＲＥＳｎ、φＳＥＬＶｎ、第ｎ＋１番目の走査ラインをφＴＸｎ＋１、φＲＥＳｎ＋１、φＳＥＬＶｎ＋１とする。図２には、便宜上、第ｎ番目の走査ラインから第ｎ＋６番目の走査ラインまでを示している。また、ＦＤ２０６、増幅ＭＯＳアンプ２０７及び定電流源２１１により、フローティングディフュージョンアンプが構成される。

図３は、スリットローリングシャッタ撮影の際に電子の先幕シャッタと電子の後幕シャッタとを用いて露光量が適正となるように制御を行い、画素データを読み出す撮像素子の動作を示すタイミングチャートである。図３を用いて、撮像素子１２２の露光量を制御するスリットローリングシャッタ動作を説明する。

電子先幕シャッタの動作では、第ｎラインにおいて、まず時刻ｔ３０１からｔ３０２の間、φＲＥＳｎとφＴＸｎにパルスが印加されて、転送スイッチ２０３及びリセットスイッチ２０９がオンする。これにより、第ｎラインのＰＤ２０２とＦＤ２０６に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻ｔ３０２でφＲＥＳｎとφＴＸｎへのパルスの印加が解除されて、転送スイッチ２０３及びリセットスイッチ２０９がオフになり、第ｎラインのＰＤ２０２に発生する電荷の蓄積動作が開始される。
第ｎ＋１ライン及び第ｎ＋２ラインは画像として使用しないので、ここでは何も処理を行わない。本実施形態では、第ｎ＋１ライン及び第ｎ＋２ラインに対して処理を行っていない。しかし、ＰＤに電荷が溜まり、周辺の画素へと漏れ出すことを考慮するのであれば、第ｎ＋１ライン及び第ｎ＋２ラインのφＲＥＳｎとφＴＸｎをオンし、ＰＤ２０２の電荷を常にリセットしておく必要がある。

時刻ｔ３０３で、時刻ｔ３０２と同様に、第ｎ＋３ラインの蓄積動作が開始し、時刻ｔ３０４で、第ｎ＋６ラインの蓄積動作が開始する。この様に、一定間隔で順次ラインのリセットを解除し電荷の蓄積動作を開始することで、電子的な先幕シャッタ動作を実現している。

ここで第ｎラインに戻り、時刻ｔ３０５からｔ３０６の間、φＴＸｎにパルスが印加されて、転送スイッチ２０３がオンし、ＰＤ２０２に蓄積された電荷をＦＤ２０６に転送する転送動作が行われる。第ｎラインの転送動作の終了に続いて、時刻ｔ３０６からｔ３０７の間、φＳＥＬＶｎにパルスが印加され選択スイッチ２０８がオンすることにより、ＦＤ２０６で保持した電荷が電圧に変換され、画素データ（画素信号）として読み出し回路２１５に出力される。読み出し回路２１５で一時的に保持された画素データは、時刻ｔ３０７から、水平走査回路２１６によって順次出力される。そして、時刻ｔ３０８で第ｎラインにおける画素からの画素データの読み出しが完了する。

第ｎ＋３ラインにおいて、時刻ｔ３０８からｔ３０９の間、φＴＸｎ＋３にパルスが印加されて、転送スイッチ２０３がオンし、ＰＤ２０２に蓄積された電荷をＦＤ２０６に転送する転送動作が行われる。第ｎ＋３ラインの転送動作の終了に続いて、時刻ｔ３０９からｔ３１０の間、φＳＥＬＶｎ＋３にパルスが印加されて選択スイッチ２０８がオンすることにより、ＦＤ２０６で保持した電荷が電圧に変換され、画素データとして読み出し回路２１５に出力される。読み出し回路２１５で一時的に保持された画素データは、時刻ｔ３１０から、水平走査回路２１６によって順次出力される。そして、時刻ｔ３１１で第ｎ＋３ラインにおける画素からの画素データの読み出しが完了する。以上説明したように、図３では、一定間隔で電荷の転送及び読み出しを行うことにより電子的な後幕シャッタを実現している。各ラインのＰＤのリセットから転送までの時間が、各画素の露光時間となっている。

図４は、電子先幕シャッタ撮影の際に電子の先幕シャッタとメカの後幕シャッタとを用いて露光量が適正となるように制御を行い、画素データを読み出す撮像素子の動作を示すタイミングチャートである。

図４を用いて、電子の先幕シャッタとメカの後幕シャッタを用いて撮像素子１２２の露光量を制御する電子先幕シャッタ動作を説明する。電子先幕シャッタの動作では、第ｎラインにおいて、まず、時刻ｔ４０１からｔ４０２の間、φＲＥＳｎとφＴＸｎにパルスが印加されて、転送スイッチ２０３及びリセットスイッチ２０９がオンする。これにより、第ｎラインのＰＤ２０２とＦＤ２０６に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻ｔ４０２でφＲＥＳｎとφＴＸｎへのパルスの印加が解除されて、転送スイッチ２０３及びリセットスイッチ２０９がオフになり、第ｎラインのＰＤ２０２に発生する電荷の蓄積動作が開始される。同様に、時刻ｔ４０３で第ｎ＋１ラインの蓄積動作が開始し、時刻ｔ４０４で第ｎ＋２ラインの蓄積動作が開始し、時刻ｔ４０５で第ｎ＋３ラインの蓄積動作が開始し、時刻ｔ４０８で第ｎ＋４ラインの蓄積動作が開始する。

また、時刻ｔ４１０で、第ｎ＋５ラインの蓄積動作が開始し、時刻ｔ４１３で第ｎ＋６ラインの蓄積動作が開始する。この様に、順次ラインのリセットを解除し電荷の蓄積動作を開始することで、電子的な先幕シャッタ動作が実現される。これに続いて、メカの後幕シャッタが走行する。電子的な先幕シャッタとメカの後幕シャッタの間が露光時間となり、各ラインの露光量が適切になるように電子的な先幕シャッタのリセットタイミングが制御される。

第ｎラインに戻り、時刻ｔ４０５からｔ４０６の間、φＴＸｎにパルスが印加されて、転送スイッチ２０３がオンし、ＰＤ２０２に蓄積された電荷をＦＤ２０６に転送する転送動作が行われる。第ｎラインの転送動作の終了に続いて、時刻ｔ４０６からｔ４０７の間、φＳＥＬＶｎにパルスが印加され選択スイッチ２０８がオンすることにより、ＦＤ２０６で保持した電荷が電圧に変換され、画素データ（画素信号）として読み出し回路２１５に出力される。読み出し回路２１５で一時的に保持された画素データは、時刻ｔ４０７より、水平走査回路２１６によって順次出力される。そして、時刻ｔ４０９で第ｎラインにおける画素からの画素データの読み出しが完了する。

第ｎ＋１ラインにおいて、時刻ｔ４０９からｔ４１１の間、φＴＸｎ＋１にパルスが印加されて、転送スイッチ２０３がオンし、ＰＤ２０２に蓄積された電荷をＦＤ２０６に転送する転送動作が行われる。第ｎ＋１ラインの転送動作の終了に続いて、時刻ｔ４１１からｔ４１２の間、φＳＥＬＶｎ＋１にパルスが印加されて選択スイッチ２０８がオンすることにより、ＦＤ２０６で保持した電荷が電圧に変換され、画素データとして読み出し回路２１５に出力される。読み出し回路２１５で一時的に保持された画素データは、時刻ｔ４１２より、水平走査回路２１６によって順次出力される。そして、時刻ｔ４１３で第ｎ＋１ラインにおける画素からの画素データの読み出しが完了する。

図５および図６は、フリッカー光源の光量変化、シャッタを切るタイミング、及び、そのタイミングで撮影される静止画画像を示す図である。図４では、撮像素子の走査方向に合わせてシャッタが上から下に動いているが、図５及び図６では、実際のシャッタがカメラに対して下から上に走行するので、この方向に合わせて下から上に動いている。

図５（Ａ），（Ｂ）に示すように、フリッカーの光量が最大のタイミングでシャッタを切ると、図５（Ｃ）に示す画像が撮影される。図６（Ａ），（Ｂ）に示すように、フリッカーの光量が最小のタイミングでシャッタを切ると、図６（Ｃ）に示す画像が撮影される。

図７は、フリッカーの光量変化の少ないタイミングを検出する処理を説明する図である。図７（Ａ）は、フリッカー光源の光量変化を示す。図７（Ｂ）は、シャッタを切るタイミングを示す。また、図中の「Ａ」は、ライブビュー表示用の露光ムラの無い画像（Ａ画像）を示す。また、「Ｂ」は、タイミング検出用の露光ムラの有る画像（Ｂ画像）を示す。

カメラ本体１２０は、露光時間を制御してフリッカーによる露光ムラが発生しない通常のライブビュー表示用の画像を定期的に取得する。そして、カメラ本体１２０は、取得した画像をＬＣＤ１７２に表示することにより、ライブビュー表示を実現する。露光時間の制御は、フリッカーの周期の整数倍の時間で蓄積を行うか、フリッカーの周期よりも十分に長い時間での蓄積を行うように、制御される。これにより、フリッカーによる露光ムラが発生しないようにすることができる。

一方で、カメラ本体１２０が備えるカメラマイコン１３２は、図７（Ｃ）に示すように、ライブビュー表示用であるＡ画像と、フリッカー検知用のＢ画像とを交互に撮像する。すなわち、カメラマイコン１３２は、第１の露光時間で第１の画像（Ａ画像）を撮像し、第１の露光時間より短い第２の露光時間で第２の画像（Ｂ画像）を撮像する撮像手段として機能する。その際、露光時間を制御してフリッカーによる露光ムラが発生した画像を意図的に取得する。カメラ本体１２０は、露光ムラが発生した画像をＬＣＤ１７２に表示しない。この時の露光時間の制御は、フリッカー周期よりも短い時間で露光を行うように制御される。これにより、フリッカーによる露光ムラを意図的に発生させることができる。

カメラ本体１２０は、フリッカーによる露光ムラの有る画像、及び、フリッカーによる露光ムラの無い画像に基づいて、フリッカーの周期、及び垂直同期信号（ＶＤ）からの光量が最大になるタイミングを検出する。図７（Ｄ）は、露光ムラの有る画像及び露光ムラの無い画像から、フリッカーを検出するための演算処理を示す。カメラ１２０は、画像Ａを画像Ｂで割ることにより、画像Ａ及び画像Ｂからフリッカー成分だけを抽出した画像Ｃを生成する。カメラ１２０は、この様にして得られた画像Ｃの縞模様、即ち画像内の輝度変化に基づいて、フリッカーの周期と、ＶＤからの光量が最大になるタイミングを検出し、光量変化の少ないタイミングを検出する。フリッカー光源下でない場合には、露光ムラを意図的に発生させる短い時間の露光においても、画像Ｃの縞模様が発生しないので、フリッカー光源下でないことが判断できる。

フリッカーの周期及びＶＤからの光量が最大になるタイミングが分かれば、フリッカーの光量変化の少ないタイミングが分かる。その後、カメラ本体１２０は、検出結果に基づき、光量変化の少ないタイミングで画像を撮像する。これにより、フリッカーによる露光への影響を抑えた画像を取得することができる。

図８は、実施例１での動きベクトルの検知処理を説明するフローチャートである。
ステップＳ８０１において、表示更新部１４４が、Ａ画像撮像表示処理を行う。Ａ画像撮像表示処理については、図９のフローチャートを用いて後述する。続いて、ステップＳ８０２において、カメラ本体１２０のカメラマイコン１３２が、Ｂ画像撮像処理を行う。Ｂ画像撮像処理については、図１０のフローチャートを用いて後述する。

次に、ステップＳ８０３において、カメラマイコン１３２が、フリッカー検知処理を行う。フリッカー検知処理は、ステップＳ８０１とステップＳ８０２で取得したＡ画像、Ｂ画像からフリッカーの有無、その周期ピークを検出する処理であり、その詳細な説明については前述した通りである。続いて、ステップＳ８０４において、カメラマイコン１３２が、ステップＳ８０３のフリッカー検知処理の結果により、フリッカー有りか、つまりフリッカー光源下での撮影であるかを判断する。フリッカー有りの場合は、処理がステップＳ８０５に進む。ステップＳ８０５において、カメラマイコン１３２が、Ａ画像を動きベクトルの検知に用いる画像として決定して、Ａ画像間動きベクトル検知処理を行う。Ａ画像間動きベクトル検知処理とは、前回に撮像したＡ画像と現在撮像したＡ画像を用いてベクトル検知を行うことである。

図１４は、Ａ画像間動きベクトル検知処理を説明する図である。
フリッカー光源下である場合、Ｂ画像は縞画像になるので、Ａ画像とＢ画像間での動きベクトル検知では、精度良く動きベクトルを検知できない。したがって、カメラマイコン１２４の制御により、動きベクトル検知部１４１は、縞のないＡ画像間で動きベクトル検知をする。これにより、フリッカー光源の影響を受けずに精度よく動きベクトル検知が可能となる。

図８の説明に戻る。ステップＳ８０４において、カメラマイコン１３２が、フリッカー無しと判断した場合は、処理がステップＳ８０６に進む。ステップＳ８０６において、動きベクトル検知部１４１が、画像選択動きベクトル検知処理を行う。画像選択動きベクトル検知処理については、図１１のフローチャートを用いて後述する。続いて、ステップＳ８０７において、カメラマイコン１５３が、ライブビューが終了かを判断する。ライブビューが終了でない場合は、処理がステップＳ８０１に戻る。ライブビューが終了である場合は、処理が終了する。

図９は、図８のステップＳ８０１におけるＡ画像撮像表示処理を説明するフローチャートである。
まず、ステップＳ９０１において、カメラマイコン１３２が、フリッカー光源下でも露光ムラが出ない蓄積時間で電荷の蓄積処理を行う。露光ムラの出ない蓄積時間とはフリッカーの周期の整数倍の時間で蓄積を行うか、フリッカーの周期よりも十分に長い時間のことである。続いて、ステップＳ９０２において、カメラマイコン１３２が、ステップＳ９０１で蓄積した画像を読み出す処理を行う。読み出した画像は、図１のＲＡＭ１８１に保持される。

次に、ステップＳ９０３において、表示更新部１４４が、同期信号に対応する更新間隔でＲＡＭ１８１上の画像データを読み込み、ＬＣＤ１７２へ出力し、ライブビュー画像の表示更新処理を行う。

図１０は、図８のステップＳ８０２におけるＢ画像撮像処理を説明するフローチャートである。
まず、ステップＳ１００１において、カメラマイコン１３２が、フリッカー光源下では露光ムラが出る蓄積時間で電荷の蓄積処理を行う。この時の露光時間の制御は、フリッカー周期よりも短い時間で行われる。続いて、ステップＳ１００２において、カメラマイコン１３２が、ステップＳ１００１で蓄積した画像を読み出す処理を行う。読み出された画像は、図１のＲＡＭ１８１に保持される。Ｂ画像は、本実施例では表示に使用しない。

図１１は、図８のＳ８０６における画像選択動きベクトル検知処理を説明するフローチャートである。
まず、ステップＳ１１０１において、カメラマイコン１３２が、ＡＢ画像両方使用判断処理を行う。ＡＢ画像両方使用判断処理については、図１２のフローチャートを用いて後述する。続いて、ステップＳ１１０２において、カメラマイコン１３２が、ＲＡＭ１８１に保持されたＡＢ画像両方使用ＦｌａｇがＴＲＵＥに設定されているかを判断する。ＡＢ画像両方使用Ｆｌａｇは、Ａ画像とＢ画像の両方を用いて動きベクトルを検知するか否かを示す。

ＡＢ画像両方使用ＦｌａｇがＴＲＵＥに設定されている場合は、処理がステップＳ１１０３に進む。ステップＳ１１０３において、カメラマイコン１３２が、ＡＢ画像間動きベクトル検知処理を行う。ＡＢ画像間動きベクトル検知処理については、図１３のフローチャートを用いて後述する。

ＡＢ画像両方使用ＦｌａｇがＴＲＵＥに設定されていない場合は、処理がステップＳ１１０４に進む。ステップＳ１１０４において、カメラマイコン１３２が、動きベクトル検知部１４１を制御して、Ｂ画像間動きベクトル検知処理を行う。Ｂ画像間動きベクトル検知処理とは、前回に撮像したＢ画像と現在撮像したＢ画像を用いてベクトル検知を行うことである。

図１５は、Ｂ画像間で動きベクトル検知を行う際の処理を説明する図である。
図８のＳ８０４でフリッカー無しと判断されているので、Ｂ画像は、縞画像にならない。また、図１１のＳ１１０２において、ＡＢ画像両方使用ＦｌａｇがＴＲＵＥでないと判断されている。この条件下では、Ｂ画像の方がＡ画像より蓄積時間が短いので、暗くなるが、被写体のブレ量が少なく、Ａ画像間で動きベクトル検知をするよりも、精度良く動きベクトル検知を行うことができる。

図１２は、図１１のＳ１１０１におけるＡＢ画像両方使用判断処理を説明するフローチャートである。
まず、ステップＳ１２０１において、カメラマイコン１３２が、交換レンズ１００から焦点距離を取得する。続いて、ステップＳ１２０２において、カメラマイコン１３２が、焦点距離が閾値以上であるかを判断する。焦点距離が閾値以上である場合は、処理がステップＳ１２０３に進む。焦点距離が閾値以上でない場合は、処理がステップＳ１２０４に進む。

ステップＳ１２０３において、カメラマイコン１３２が、ＡＢ画像両方使用ＦｌａｇをＴＲＵＥにする。焦点距離が長い場合には、パンニング時に像面上の移動距離が焦点距離の短いレンズに比べて大きくなるので、Ａ画像、Ｂ画像両方を使って主被写体の動きベクトルの検知を高頻度で行う。これにより、主被写体の移動に係る動きベクトル検知を探索領域内で行うことができる。

また、ステップＳ１２０４においては、カメラマイコン１３２が、交換レンズ１００から角速度情報を取得し、ステップＳ１２０５に進む。ステップＳ１２０５において、カメラマイコン１３２が、角速度が閾値以上であるかを判断する。角速度が閾値以上である場合は、処理がステップＳ１２０３に進む。すなわち、カメラマイコン１３２は、角速度、つまりカメラのパンニング速度が早いので、ユーザが被写体を流し撮りしようとしていると判断する。そして、ステップＳ１２０３において、ＡＢ画像両方使用ＦｌａｇをＴＲＵＥに設定する。角速度が閾値以上でない場合は、処理がステップＳ１２０６に進む。ステップＳ１２０６において、カメラマイコン１３２が、ＡＢ画像両方使用ＦｌａｇをＦＡＬＳＥに設定し、処理を終了する。

図１３は、図１１のＳ１１０３におけるＡＢ画像間動きベクトル検知処理を説明するフローチャートである。
ステップＳ１３０１において、カメラマイコン１３２が、カメラ信号処理回路１２４を制御して、Ｂ画像のゲインアップ処理を行う。Ｂ画像の方がＡ画像より蓄積時間が短いので画像が暗くなる。このような明暗の違いから、明るさの異なる連続したＡ画像およびＢ画像から、移動体の動きベクトル検知を行うと、正確な動きベクトル検知ができない。したがって、カメラ信号処理回路１２４は、Ｂ画像をＡ画像と同様の明るさになるように、Ｂ画像に関し、蓄積時間に対応したゲインアップ処理を行う。

次に、ステップＳ１３０２において、動きベクトル検知部１４１が、ＡＢ画像間動きベクトル検知処理を行う。ＡＢ画像間動きベクトル検知処理とは、連続して撮像されたＡ画像とＢ画像とに基づいて動きベクトル検知処理を行うことである。具体的には、動きベクトル検知部１４１は、Ａ画像と、Ａ画像の直後に撮像されて、ステップＳ１３０１でゲインアップ処理したＢ画像とを用いて、動きベクトル検知を行う。

図１６は、ＡＢ画像間動きベクトル検知を行う際の処理を説明する図である。
フリッカー光源下の撮影ではないので、Ｂ画像は縞画像にならない。また、図１１のステップＳ１１０２により、ＡＢ画像両方使用ＦｌａｇはＴＲＵＥに設定されている。この条件下では、Ａ画像、Ｂ画像両方を使って、主被写体の動きベクトル検知を高頻度に行うことで，精度良く動きベクトルを検知できる。

以上、説明したように、実施例１によれば、露光ムラの有る画像と露光ムラの無い画像に基づくフリッカーの有無の判断結果に応じて、動きベクトルの検知に用いる画像を決定する。したがって、通常の光源またはフリッカー光源のいずれの条件下においても、精度良く動きベクトル検知をすることが可能となる。

（実施例２）
実施例２における動きベクトル検知処理のフローチャートは、図８に示すフローチャートと同様である。以下では、実施例１と差異のある図８のステップＳ８０６の画像選択動きベクトル検知処理について説明する。

図１７は、実施例２における画像選択動きベクトル検知処理を説明するフローチャートである。
ステップＳ１７０１およびＳ１７０２は、図１１のステップＳ１１０１およびＳ１１０２と同様である。ステップＳ１７０３において、カメラマイコン１３２が、ＡＢ画像間コントラスト判定動きベクトル検知処理を行う。ＡＢ画像間コントラスト判定動きベクトル検知処理については、図１８のフローチャートを用いて後述する。ステップＳ１７０４において、カメラマイコン１３２が、コントラスト判定動きベクトル検知処理を行う。コントラスト判定動きベクトル検知処理については、図１９のフローチャートを用いて後述する。

図１８は、図１７のステップＳ１７０３におけるＡＢ画像間コントラスト判定動きベクトル検知処理を説明するフローチャートである。
ステップＳ１８０１において、カメラマイコン１３２が、ＲＡＭ１８１に保存されているゲインアップＦｌａｇがＴＲＵＥに設定されているかを判断する。ゲインアップＦｌａｇは、画像のゲインアップ処理をするか否かを示す。本実施例では、ゲインアップＦｌａｇは、初期値としてＴＲＵＥに設定されているものとする。

ゲインアップＦｌａｇがＴＲＵＥに設定されている場合は、処理がステップＳ１８０２に進む。ステップＳ１８０２において、カメラマイコン１３２が、カメラ信号処理回路１２４を制御して、Ｂ画像のゲインアップ処理を行う。Ｂ画像のゲインアップ処理は、図１３を用いて説明した処理と同様である。

次に、ステップＳ１８０３において、カメラマイコン１３２が、ＡＢ画像間動きベクトル検知処理を行う。ＡＢ画像間動きベクトル検知処理は、図１３、図１６を用いて説明した処理と同様である。続いて、ステップＳ１８０４において、カメラマイコン１３２が、主被写体、またはその付近が低コントラストだったかを判断する。具体的には、動きベクトル検知部１４１が、動きベクトル検知結果とともに、低コントラストだったか否かを示す情報を出力するので、カメラマイコン１３２は、この情報に基づいて、低コントラストだったかを判断する。低コントラストとは、白とびや黒つぶれ画像の動きベクトル検知を行った場合に参照ブロックと候補ブロックのそれぞれの比較領域に、被写体を判別できる充分なコントラストがなかったことを示す。

主被写体、またはその付近が低コントラストでなかった場合は、処理を終了する。主被写体、またはその付近が低コントラストだった場合は、処理がステップＳ１８０５に進む。そして、カメラマイコン１３２が、ゲインアップＦｌａｇをＦＡＬＳＥに変更し、処理を終了する。

ステップＳ１８０１の判断処理で、ゲインアップＦｌａｇがＴＲＵＥに設定されていないと判断された場合は、処理がステップＳ１８０６に進む。ステップＳ１８０６において、カメラ信号処理回路１２４が、Ａ画像のゲインダウン処理を行う。Ｂ画像の方がＡ画像より蓄積時間が短いので、画像が暗くなる。このような明暗の違いから、明るさの異なる連続したＡＢ画像から、移動体の動きベクトル検知を行うと、正確な動きベクトル検知ができない。したがって、Ａ画像をＢ画像と同様の明るさになるように、Ａ画像について、電荷の蓄積時間に対応したゲインダウン処理を行う。

ステップＳ１８０７において、動きベクトル検知部１４１が、ＡＢ画像間動きベクトル検知処理を行う。ＡＢ画像間動きベクトル検知処理とは、Ｂ画像と、直前に撮像されてステップＳ１８０６でゲインダウン処理されたＡ画像とを用いて、動きベクトル検知を行うことである。

図２０は、ＡＢ画像間動きベクトル検知処理を説明する図である。
フリッカー光源下ではないので、Ｂ画像は縞画像にならないが、Ａ画像が低コントラストと判断した際に行われる処理なので、Ａ画像が白とびしている。また、図１１のステップＳ１１０２によりＡＢ画像両方使用ＦｌａｇがＴＲＵＥに設定されている。この条件下では、Ａ画像、Ｂ画像両方を使って、主被写体の動きベクトル検知を高頻度に行うことで精度よく動きベクトル検知が可能となる。

次に、ステップＳ１８０８では、カメラマイコン１３２が、主被写体、またはその付近が低コントラストだったを判断する。主被写体、またはその付近が低コントラストだった場合は、処理がステップＳ１８０９に進む。そして、カメラマイコン１３２が、ゲインアップＦｌａｇをＴＲＵＥに変更し、処理を終了する。低コントラストであると判断されない場合は処理を終了する。

図１９は、図１７のステップＳ１７０４におけるコントラスト判定動きベクトル検知処理を説明するフローチャートである。
ステップＳ１９０１において、カメラマイコン１３２が、ＲＡＭ１８１に保存されているＢ画像使用ＦｌａｇがＴＲＵＥに設定されているかを判断する。Ｂ画像使用Ｆｌａｇは、Ｂ画像を使用して動きベクトル検知を行うか否かを示す。本実施例では、Ｂ画像使用Ｆｌａｇは、初期値としてＴＲＵＥに設定されているものとする。

Ｂ画像使用ＦｌａｇがＴＲＵＥに設定されていると判断された場合は、処理がステップＳ１９０２に進む。ステップＳ１９０２において、動きベクトル検知部１４１が、Ｂ画像間動きベクトル検知処理を行う。Ｂ画像間動きベクトル検知は、図１１、図１５を用いて説明した処理と同様である。続いて、ステップＳ１９０３において、カメラマイコン１３２が、主被写体、またはその付近が低コントラストだったを判断する。この判断処理は、Ｂ画像間動きベクトル検知結果において出力される、低コントラストだったか否かを示す情報に基づいて行われる。

主被写体、またはその付近が低コントラストでなかった場合は、処理を終了する。主被写体、またはその付近が低コントラストだった場合は、処理が、ステップＳ１９０４に進む。ステップＳ１９０４において、カメラマイコン１３２が、Ｂ画像使用ＦｌａｇをＦＡＬＳＥに変更し、処理を終了する。

また、ステップＳ１９０１において、Ｂ画像使用ＦｌａｇがＴＲＵＥに設定されていないと判断された場合は、処理がステップＳ１９０５に進む。ステップＳ１９０５において、カメラマイコン１３２が、Ａ画像間間動きベクトル検知処理を行う。Ａ画像間動きベクトル検知は、図８を参照して説明した処理と同様である。

図２１は、実施例２におけるＡ画像間動きベクトル検知処理を説明する図である。
フリッカー光源下でないので、Ｂ画像は縞画像にならないが、Ｂ画像が低コントラストであると判断された際に行われる処理なので、Ｂ画像が黒つぶれしている。

図１９の説明に戻る。ステップＳ１９０６において、カメラマイコン１３２が、主被写体、またはその付近が低コントラストだったかを判断する。この判断処理は、Ａ画像間動きベクトル検知において出力される、低コントラストだったか否かを示す情報に基づいて行われる。

主被写体、またはその付近が低コントラストでなかったと判断された場合は、処理を終了する。主被写体、またはその付近が低コントラストだったと判断された場合は、処理がステップＳ１９０７に進む。ステップＳ１９０７において、カメラマイコン１３２が、Ｂ画像使用ＦｌａｇをＴＲＵＥに変更し、処理を終了する。

以上説明したように、実施例２によれば、通常の光源、およびフリッカー光源、どちらの条件下においても、コントラストを判断した上で画像を選択し、精度良く動きベクトル検知をすることが可能となる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 交換レンズ
１２０ カメラ本体

Claims (11)

1. 第１の露光時間で撮像された第１の画像と、前記第１の露光時間より短い第２の露光時間で撮像された第２の画像を取得する取得手段と、
   前記第１の画像または前記第２の画像のうち動きベクトルの算出に用いる画像を、前記第１の画像と前記第２の画像とに基づくフリッカーの検知結果に応じて変更する決定手段と、
   前記決定手段により決定された画像に基づいて、動きベクトルを算出する算出手段とを備える
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記フリッカーが検知された場合は、前記第１の画像を前記動きベクトルの算出に用いる画像として決定し、前記第２の画像を前記動きベクトルの算出に用いる画像として決定しない
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記フリッカーが検知されなかった場合は、焦点距離または前記画像処理装置に加わる振れを示す角速度に基づいて、前記動きベクトルの算出に用いる画像を変更する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記決定手段は、前記フリッカーが検知されなかった場合に、
   前記焦点距離が閾値以上である場合は、前記第１の画像および前記第２の画像を前記動きベクトルの算出に用いる画像として決定し、
   前記焦点距離が閾値以上でない場合であって、前記角速度が閾値以上でないときは、前記第２の画像を前記動きベクトルの算出に用いる画像として決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記焦点距離が閾値以上でない場合であっても、前記角速度が閾値以上であるときは、前記第１の画像および前記第２の画像を前記動きベクトルの算出に用いる画像として決定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、前記第１の画像および前記第２の画像が前記動きベクトルの算出に用いる画像として決定された場合は、前記第２の画像をゲインアップすることによって、前記第１の画像と前記第２の画像を同じ明るさにして、前記動きベクトルを算出する
   ことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記フリッカーが検知されなかった場合に、
   前記焦点距離が閾値以上である場合は、前記第１の画像および前記第２の画像を前記動きベクトルの算出に用いる画像として決定し、
   前記焦点距離が閾値以上でない場合であって、前記角速度が閾値以上でないときは、被写体のコントラストに応じて、前記動きベクトルの算出に用いる画像を前記第１の画像または前記第２の画像のいずれかに決定する
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記決定手段は、前記焦点距離が閾値以上でない場合であっても、前記角速度が閾値以上であるときは、前記第１の画像および前記第２の画像を前記動きベクトルの算出に用いる画像として決定する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記算出手段は、前記第１の画像および前記第２の画像が前記動きベクトルの算出に用いる画像として決定された場合は、被写体のコントラストに応じて、前記第２の画像をゲインアップするか、または前記第１の画像をゲインダウンすることによって、前記第１の画像と前記第２の画像を同じ明るさにして、前記動きベクトルを算出する
   ことを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 請求項１乃至９のいずれか１項に記載の画像処理装置と、前記第１の画像と前記第２の画像とを交互に撮像する撮像手段とを備える撮像装置であって、
    前記算出手段は、前記動きベクトルの算出に前記第１の画像および前記第２の画像を用いる場合には、連続して撮像された前記第１の画像と前記第２の画像とに基づいて、前記動きベクトルを算出する
    ことを特徴とする撮像装置。
11. 第１の露光時間で撮像された第１の画像と、前記第１の露光時間より短い第２の露光時間で撮像された第２の画像を取得する取得工程と、
    前記第１の画像または前記第２の画像のうち動きベクトルの算出に用いる画像を、前記第１の画像と前記第２の画像とに基づくフリッカーの検知結果に応じて変更する変更工程と、
    前記変更工程で変更された画像に基づいて、動きベクトルを算出する算出工程とを有する
    ことを特徴とする画像処理装置の制御方法。